JP2014014069A

JP2014014069A - 撮像装置、及びその制御方法

Info

Publication number: JP2014014069A
Application number: JP2013035155A
Authority: JP
Inventors: Makoto Ise; 誠伊勢
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-06-08
Filing date: 2013-02-25
Publication date: 2014-01-23
Anticipated expiration: 2033-02-25
Also published as: US20130329090A1; US9210333B2; JP6082274B2; CN103491310B; CN103491310A

Abstract

【課題】撮像装置によりＨＤＲ画像合成を行いながら動画を撮影中にズーム動作が行われる場合に、出力される画像のぶれを、ズーム速度を制限せずに抑制する技術を提供する。
【解決手段】被写体の画像を撮像する撮像手段と、前記撮像手段により撮像される画像のズーム倍率を制御するズーム制御手段と、露光量の異なる複数の画像を所定期間内に撮像するように前記撮像手段を制御する撮像制御手段と、前記複数の画像からハイダイナミックレンジ（ＨＤＲ）画像を生成して出力する生成出力手段と、前記所定期間に前記ズーム倍率が変更中であるか否かを判定する判定手段と、を備え、前記ズーム倍率が変更中であると判定された場合、前記生成出力手段は、前記所定期間内に前記撮像手段により撮像された画像のうちの１つをＨＤＲ画像の代わりに出力することを特徴とする撮像装置を提供する。
【選択図】図２

Description

本発明は、撮像装置、及びその制御方法に関する。

画像を生成する装置として、ＣＭＯＳやＣＣＤなどの一般的な撮像素子を用いたデジタルカメラがある。しかしながら、ＣＭＯＳやＣＣＤなどの一般的な撮像素子のダイナミックレンジは狭く、せいぜい５０〜７０デシベル程度しかない。そのため、そのようなデジタルカメラでは人間が目で見たような明るさを表現する画像を生成することは困難である。例えば、コントラストの大きい風景をデジタルカメラで撮影すると、暗部は黒くつぶれ、明部は白く飛んでしまう。

上記問題を解決するための技術が、例えば、特許文献１に開示されている。特許文献１に開示の技術では、適正露出（適切な明るさ）の画像に比べて全体的に暗い画像（低露出画像）と、全体的に明るい画像（高露出画像）とから、それぞれ、適正露出部分が抜き出される。そして、抜き出された適正露出部分を合成することで、高いダイナミックレンジを有する画像が得られる。このような技術は、ハイダイナミックレンジ（ＨｉｇｈＤｙｎａｍｉｃＲａｎｇｅ；ＨＤＲ）画像合成などと呼ばれる。

図１０（ａ）は、ＨＤＲ画像合成の態様を模式的に表す図である。ＨＤＲ画像合成により、背景の暗部の黒つぶれとハイライト部（文字Ａの部分）の白飛びとが抑えられる様子が示される。また、動画撮影時には、図１０（ｂ）に示すように、このＨＤＲ画像合成が連続的に繰り返される。図１０（ａ）及び図１０（ｂ）に示されるように、ＨＤＲ画像合成を行うことにより、元の画像（撮影時に得られた個々の画像）よりも人間が目で見たものに比較的近い画像を最終的に得ることができる。

特公平７−９７８４１号公報

ところで、昨今のビデオカメラを含む撮像装置の多くで光学ズームレンズが広く使用されている。このような撮像装置を用いてＨＤＲ画像合成を行いながら動画を撮影する場合、光学ズームレンズによるズーム動作が行われると、図１０（ｃ）に示すように低露出画像と高露出画像とで画角が異なってしまう。その結果、図１０（ｄ）に示すように、ズーム動作中は合成対象画像間に画角差が発生し、出力される合成画像がぶれてしまうという問題が発生する。この問題は、ズーム速度が大きい場合に特に顕著である。

そのため、従来の撮像装置の中には、ＨＤＲ画像合成を行いながら動画を撮影する場合に、ズーム速度を、画像のぶれが目立たない範囲に制限するものもあった。従って、従来の撮像装置では、ズーム動作時に、画像のぶれの抑制と高速なズーム動作とを両立することができなかった。

本発明はこのような状況に鑑みてなされたものであり、撮像装置によりＨＤＲ画像合成を行いながら動画を撮影中にズーム動作が行われる場合に、出力される画像のぶれを、ズーム速度を制限せずに抑制する技術を提供することを目的とする。

上記課題を解決するために、第１の本発明は、被写体の画像を撮像する撮像手段と、前記撮像手段により撮像される画像のズーム倍率を制御するズーム制御手段と、露光量の異なる複数の画像を所定期間内に撮像するように前記撮像手段を制御する撮像制御手段と、前記複数の画像からハイダイナミックレンジ（ＨＤＲ）画像を生成して出力する生成出力手段と、前記所定期間に前記ズーム倍率が変更中であるか否かを判定する判定手段と、を備え、前記ズーム倍率が変更中であると判定された場合、前記生成出力手段は、前記所定期間内に前記撮像手段により撮像された画像のうちの１つをＨＤＲ画像の代わりに出力することを特徴とする撮像装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

以上の構成により、本発明によれば、撮像装置によりＨＤＲ画像合成を行いながら動画を撮影中にズーム動作が行われる場合に、出力される画像のぶれを、ズーム速度を制限せずに抑制することが可能となる。

第１の実施形態に係る撮像装置１００の概略構成を示すブロック図。第１の実施形態に係る動画像撮影処理を示すフローチャート。第１の実施形態に係る、動画像撮影時の撮像素子１２０の駆動タイミングを示すタイミングチャート。第１の実施形態に係る、光学ズームステータスフラグ及びズームスピードの値に応じた画像合成制御の変化を定義する画像合成制御テーブル。第１の実施形態に係る、判別信号に応じて画像合成制御の態様を切り換える様子を模式的に説明する図。第２の実施形態に係る動画像撮影処理を示すフローチャート。第２の実施形態に係る、動画像撮影時の撮像素子１２０の駆動タイミングを示すタイミングチャート。第２の実施形態に係る、光学ズームステータスフラグ及びズームスピードの値に応じた画像合成制御の変化を定義する画像合成制御テーブル。第２の実施形態に係る、判別信号に応じて画像合成制御の態様を切り換える様子を模式的に説明する図。（ａ）ＨＤＲ画像合成の態様を模式的に表す図、（ｂ）動画撮影時のＨＤＲ画像合成の態様を模式的に表す図、（ｃ）ズーム動作時のＨＤＲ画像合成の態様を模式的に表す図、（ｄ）動画撮影時にズーム動作を行った場合のＨＤＲ画像合成の態様を模式的に表す図。撮像素子１２０の内部構成を示す図。第３の実施形態に係る動画像撮影処理の全体の動作を模式的に示すタイミングチャート。（ａ）垂直走査回路１１００から生成される走査信号の、フレーム間ＨＤＲ動作時のタイミングチャート、（ｂ）垂直走査回路１１００から生成される走査信号の、フレーム内ＨＤＲ動作時のタイミングチャート。第３の実施形態に係る動画像撮影処理を示すフローチャート。第３の実施形態に係る、光学ズームステータスフラグ及びズームスピードの値に応じた画像合成制御の変化を定義する画像合成制御テーブル。第４の実施形態に係る、撮像素子１２０の列Ａ／Ｄ変換部１６０１の構成を示すブロック図。第４の実施形態に係るフレーム内ＨＤＲ処理を模式的に説明する図。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。

［第１の実施形態］
図１は、第１の実施形態に係る撮像装置１００の概略構成を示すブロック図である。図１において、撮影レンズ１１０は、フォーカスレンズやズームレンズ等、複数のレンズ群、絞り機構などから構成される。レンズ制御部１１１は、システム制御回路１８０による制御に基づいて、撮影レンズ１１０のフォーカスやズーム、絞りを制御する。撮像素子１２０は、光電変換により入射光量に応じた電荷を生成してＡ／Ｄ変換した後にデジタル出力するＣＭＯＳセンサであり、全画素の信号を読み出す以外に、特定の画素の加算及び特定の行又は列おきに間引いて電荷を読み出すこともできる。

撮像素子駆動回路１２１は、システム制御回路１８０による制御に基づいて撮像素子１２０を駆動する。撮像素子駆動回路１２１の制御に基づいて、撮像素子１２０の撮影時の露光時間や信号増幅量などを変更することができる。

撮像素子１２０から出力された画像信号は、ダイナミックレンジ拡大回路２００を内包する画像処理回路１３０に取り込まれる。ダイナミックレンジ拡大回路２００は、予めメモリ１４０に保存された高露出画像及び低露出画像を用いて、ダイナミックレンジ拡大画像を生成する機能を備えている。また、動き検出回路２１０は、必要に応じて、処理対象フレーム及び前フレームの画像から主被写体の動き量を検出する処理を行い、検出結果をシステム制御回路１８０に伝達する。

画像処理回路１３０は、画像信号に対してガンマ処理、色信号処理、露出補正処理などの各種信号処理を行う。また、画像処理回路１３０は、ズーム操作に伴う拡大、縮小といった画像変倍処理（所謂、電子ズーム処理）も行う。この際に、画像処理回路１３０は、メモリ１４０との間で画像信号の書き込み／読み出し処理を行う。また、画像処理回路１３０の出力は、ＬＣＤ１５０に表示することも可能である。

画像処理回路１３０で画像処理が施された画像データは、画像変換回路１６０により圧縮され、メモリカード１７０に書き込まれる。画像変換回路１６０は、画像処理回路１３０からの画像データを圧縮してメモリカード１７０へ出力する機能と、メモリカード１７０より読み出した画像データを伸長して画像処理回路１３０へ出力する機能とを有している。

システム制御回路１８０は、画像処理回路１３０にて処理された信号を用いて、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理等を行う。なお、画像撮影時の露出条件については、システム制御回路１８０は、自動露出（ＡＥ）処理の結果やダイナミックレンジ拡大に必要な条件などから任意の条件を算出し、レンズ制御部１１１や撮像素子駆動回路１２１に指示することができる。

操作部１９０は、ユーザが撮像装置１００に指示を入力するための操作部であり、例えば、レリーズ釦やモード切り換えダイヤル、ズーム操作レバーなどを含む。操作部１９０を介したユーザ入力は、システム制御回路１８０に通知される。

操作部１９０を介したズーム操作が行われる場合、ズーム操作を指示するユーザ入力がシステム制御回路１８０に入力される。システム制御回路１８０は、このユーザ入力に従い、ズーム制御を行う。システム制御回路１８０は、ズーム倍率と、ズーム倍率の値により振り分けられる光学ズームか電子ズームかを示す光学ズームステータスフラグＦＬＧと、ズームスピードｓとを算出する。光学ズームステータスフラグＦＬＧは、光学ズームの場合は「１」にセットされ、電子ズームの場合は「０」にセットされる。システム制御回路１８０は、システム制御回路１８０内部のパラメータ記憶領域（不図示）に、光学ズームステータスフラグＦＬＧ及びズームスピードｓを一時的に記憶する。また、システム制御回路１８０は、画像処理回路１３０に対して、電子ズームに係る制御情報として光学ズームステータスフラグＦＬＧとともに電子ズーム倍率を通知する。

続いて、第１の実施形態に係る動画像撮影処理について、図２乃至図５を参照して説明する。図２は、第１の実施形態に係る動画像撮影処理を示すフローチャートである。図３は、動画像撮影時の撮像素子１２０の駆動タイミングを示すタイミングチャートである。図４は、光学ズームステータスフラグ及びズームスピードの値に応じた画像合成制御の変化を定義する画像合成制御テーブルである。図５は、判別信号に応じて画像合成制御の態様を切り換える様子を模式的に説明する図である。

本実施形態の動画像撮影処理では、画像処理回路１３０は、動画像を構成するフレーム画像として、露光量の異なる複数の画像から生成されるハイダイナミックレンジ（ＨＤＲ）画像、又は通常の（撮像された１枚の画像に基づく）画像を出力する。画像処理回路１３０は、ズームの状態に応じて、ＨＤＲ画像と通常の画像とのいずれを出力するかを切り替える。以下の説明においては、画像処理回路１３０がフレーム画像として出力する画像のことを、「合成画像」や「合成後の画像」などと呼ぶ場合もある。厳密に言えば、通常の画像は複数の画像の合成により得られる画像ではないが、説明を簡単にするために、「通常の画像」であっても「合成画像」などと呼ぶ場合もある。従って、以下の説明においては、「合成画像」は文脈に応じて「ＨＤＲ画像」を意味する場合もあれば「通常の画像」を意味する場合もある。

図３において、判別信号は、システム制御回路１８０が画像処理回路１３０に出力する制御信号である。システム制御回路１８０は、光学ズームステータスフラグＦＬＧ及びズームスピードｓの値に基づいて判別信号を出力する。図４に示すように、光学ズームステータスフラグＦＬＧが１の場合、ズームスピードｓが所定の閾値ｓ０未満（第１閾値未満）であれば論理レベルＬｏの判別信号が、所定の閾値ｓ０以上であれば論理レベルＨｉの判別信号が、それぞれ出力される。また、光学ズームステータスフラグＦＬＧが０の場合には、ズームスピードｓの値によらず論理レベルＬｏの判別信号が出力される。画像処理回路１３０は、判別信号に応じて、合成後の出力画像の態様を切り換える。

ズームスピードｓの判定の閾値ｓ０は、ズームレンズの移動距離によって低露出画像と高露出画像の２枚の画像間で生じる画角差が、ＨＤＲ合成時に画像ぶれとして認知されるか否かの境界値に設定される。

なお、図示しないが、システム制御回路１８０は、光学ズームステータスフラグＦＬＧが１の場合、ズームスピードに関わらず論理レベルＨｉの判別信号を出力してもよい。また、システム制御回路１８０は、光学ズームステータスフラグの代わりに、光学ズームと電子ズームとを区別しないズームステータスフラグに基づいて判別信号を決定してもよい。この場合、ズームステータスフラグは、（光学ズームであれ電子ズームであれ）ズーム動作中は「１」にセットされ、非ズーム動作中は「０」にセットされる。

再び図３を参照すると、出力同期信号は、合成後の画像を出力するタイミングを指示する同期信号であり、この周期が動画像のフレームレートに対応する。また、撮影同期信号は、１枚の画像（合成対象画像）を撮像するタイミングを指示する同期信号であり、この周期が、撮像素子１２０による撮像のフレームレート（撮像レート）に対応する。図３の例では、出力同期信号は撮影同期信号の２倍の周期となっている。

また、図３は、撮像画像及び合成後の出力画像を、撮像タイミング及び合成タイミングを示す概念図として表しており、低露出画像をＬ、高露出画像をＨ、これらの画像の合成後のＨＤＲ画像をＨＤＲ（ＬＨ）として記号表記している。

画像処理回路１３０（生成出力手段）は、判別信号がＬｏの場合は低露出画像Ｌ及び高露出画像ＨからＨＤＲ画像を生成して出力し、判別信号がＨｉの場合はＨＤＲ画像の代わりに低露出画像Ｌを出力する。

ここで図５を参照して、合成画像の生成処理（画像合成制御）の具体例を説明する。図５には、低露出画像及び高露出画像それぞれの露出条件と撮影信号の入出力レンジとの関係が示されている。

低露出画像Ｌを撮像する場合、システム制御回路１８０は、適正より１段アンダーの低露出条件によりフルレンジ−１段のレンジを用いて画像の撮像処理を行う。そして、画像処理回路１３０は、撮像された画像を、露出補正処理により＋１段のゲインアップで適正レンジとなるように補正する。この際のゲインアップにより、出力レンジの下位側ではノイズや階調精度の劣化による黒潰れや画質劣化が生じやすい。

高露出画像Ｈを撮像する場合、システム制御回路１８０は、適正より１段オーバーの高露出条件によりフルレンジ＋１段のレンジを用いて画像の撮像処理を行う。そして、画像処理回路１３０は、撮像された画像を、露出補正処理により−１段のゲインダウンで適正レンジとなるように補正する。この際に、出力レンジの上位半分は、レンジオーバーにあるため正しく再現できない階調領域（所謂、白飛びが発生する領域）となる。

ＨＤＲ合成画像（ＬＨ）は、それぞれ適正露出部分として、低露出画像Ｌから抽出した上位半分のレンジの画像データと、高露出画像Ｈから抽出した下位半分のレンジの画像データとを合成して生成される。なお、段数はスケールの単位を表し、＋１段は２倍、−１段は（１／２）倍に相当する。そして、判別信号による判定の結果、出力画像として非合成画像（低露出画像Ｌ）とＨＤＲ合成画像（ＬＨ）のいずれか一方の画像が選択され出力される。

次に、図２を参照して、本実施形態の動画像撮影処理について説明する。操作部１９０のレリーズ釦やモード切り換えダイヤル等を介して動画撮影の開始指示がシステム制御回路１８０に入力されると、動画像撮影処理が開始する。図２のフローチャートにおいて、各ステップの処理は、特に断らない限り、システム制御回路１８０が制御プログラムを実行することにより実現される。

Ｓ２０１で、システム制御回路１８０は、既定の露出条件にて１フレームの撮影を行い、撮像画像をメモリ１４０に保存する。Ｓ２０２で、システム制御回路１８０は、メモリ１４０に保存された撮像画像に基づく自動露出（ＡＥ）処理を行い、被写体の適正露出条件を算出する。

Ｓ２０３で、システム制御回路１８０は、Ｓ２０２で算出された適正露出条件より１段アンダーの低露出条件にて１フレームの撮影を行い、低露出画像Ｌをメモリ１４０に保存する。続いてＳ２０４で、システム制御回路１８０は、適正露出条件より１段オーバーの高露出条件にて１フレームの撮影を行い、高露出画像Ｈをメモリ１４０に保存する。

次に、システム制御回路１８０は、システム制御回路１８０の内部に設けられた図４に示すような画像合成制御テーブルを参照して、Ｓ２０５乃至Ｓ２０８の処理を実行する。具体的には、Ｓ２０５で、システム制御回路１８０は、ズーム倍率が変更中であるか否かを判定する。この判定のために、システム制御回路１８０は、光学ズームステータスフラグＦＬＧをチェックする。ＦＬＧ＝０の場合（即ち、ズーム倍率が変更中でない場合）、処理はＳ２０７に進む。Ｓ２０７で、システム制御回路１８０は、論理レベルＬｏの判別信号を画像処理回路１３０へ出力する。その結果、画像処理回路１３０は、メモリ１４０に記憶された低露出画像Ｌ及び高露出画像Ｈをダイナミックレンジ拡大回路２００で合成することにより、ＨＤＲ合成画像（ＬＨ）を生成する。

一方、Ｓ２０５においてＦＬＧ＝１であった場合（即ち、ズーム倍率が変更中であった場合）、処理はＳ２０６に進む。

Ｓ２０６で、システム制御回路１８０は、ズームスピードｓの値をチェックする。ｓ＜ｓ０の場合（即ち、ズーム倍率の変更の速度が第１閾値未満の場合）、処理はＳ２０７に進む。この場合、Ｓ２０５においてＦＬＧ＝０であった場合と同様に、画像処理回路１３０は、ＨＤＲ合成画像（ＬＨ）を生成する。

一方、Ｓ２０６においてｓ≧ｓ０であった場合、処理はＳ２０８に進む。Ｓ２０８で、システム制御回路１８０は、論理レベルＨｉの判別信号を画像処理回路１３０へ出力する。その結果、画像処理回路１３０は、ＨＤＲ合成画像の代わりに、低露出画像Ｌを選択する。

Ｓ２０７又はＳ２０８に続き、Ｓ２０９で、画像処理回路１３０は、Ｓ２０７又はＳ２０８で得られた画像に対して各種の画像処理を施し、この画像をＬＣＤ１５０又は画像変換回路１６０に対して出力する。画像処理回路１３０では、必要に応じて電子ズーム処理も行われる。このように、Ｓ２０５乃至Ｓ２０９の処理により、ズームの動作状態に応じて、ＨＤＲ合成画像（ＬＨ）又は低露出画像Ｌが、動画像の１フレーム分の画像として出力される。

Ｓ２１０で、システム制御回路１８０は、操作部１９０のレリーズ釦やモード切り換えダイヤル等を介して動画撮影の終了指示が入力されたか否かを判定する。終了指示が入力されるまで、Ｓ２０２乃至Ｓ２０９の処理が繰り返される。換言すると、終了指示が入力されるまで、システム制御回路１８０は、低露出画像Ｌ及び高露出画像Ｈを所定期間内（図３における出力同期信号１つ分の期間内）に撮像する処理（撮像制御）を繰り返す。そして、画像処理回路１３０は、ズームの動作状態に応じて、ＨＤＲ合成画像（ＬＨ）又は低露出画像Ｌを出力する。

なお、図４を参照して前述した通り、システム制御回路１８０は、光学ズームステータスフラグＦＬＧが１の場合、ズームスピードに関わらず論理レベルＨｉの判別信号を出力してもよい。この場合、Ｓ２０６の判定処理は省略され、Ｓ２０５においてＦＬＧ＝１であった場合、処理はＳ２０５からＳ２０８に進む。また、システム制御回路１８０は、光学ズームステータスフラグの代わりに、光学ズームと電子ズームとを区別しないズームステータスフラグに基づいて判別信号を決定してもよい。この場合、システム制御回路１８０は、光学ズームだけでなく電子ズームによるズーム倍率の変更も考慮し、ズーム倍率の変更中は処理をＳ２０５からＳ２０６に進める。

また、図２のフローチャートにおいては、システム制御回路１８０が所定期間内に２枚の画像（低露出画像Ｌ及び高露出画像Ｈ）を撮像するものとしたが、撮像枚数は２枚に限定されず、露光量の異なる３枚以上の画像を撮像してもよい。更に、Ｓ２０８では低露出画像Ｌが選択されるものとしたが、画像処理回路１３０は、低露出画像Ｌに限らず、所定期間内に撮像された任意の画像を選択することができる。例えば、画像処理回路１３０は、白飛び防止を優先する場合、低露出画像Ｌを選択し、ノイズ劣化防止を優先する場合、高露出画像Ｈを選択する。

また、本実施形態では、説明を簡単にするため低露出条件及び高露出条件をそれぞれ適正露出条件のプラスマイナス１段としたが、これらの条件は適宜変更可能である。

以上説明したように、本実施形態によれば、撮像装置１００は、ズーム倍率が変更中でない場合はＨＤＲ画像を出力し、ズーム倍率が変更中の場合はＨＤＲ画像の代わりに通常の画像を出力する。その結果、ズーム倍率の変更に起因して画角が異なる複数の画像に基づいてＨＤＲ画像を生成することが抑制される。

従って、撮像装置によりＨＤＲ画像合成を行いながら動画を撮影中にズーム動作が行われる場合に、出力される画像のぶれを、ズーム速度を制限せずに抑制することが可能となる。

［第２の実施形態］
第１の実施形態では、撮像装置１００は、ズーム動作中でない場合は２枚の撮像画像からＨＤＲ画像を生成した。しかしながら、前述の通り、撮像装置１００は、３枚以上の撮像画像からＨＤＲ画像を生成しても構わない。また、第１の実施形態では、撮像装置１００は、閾値以上の速度でズーム動作中はＨＤＲ画像の生成を停止した。しかしながら、ＨＤＲ画像の生成を停止しなくても、ズーム動作中でない場合よりも少ない数の画像からＨＤＲ画像を生成するようにすれば、ＨＤＲ画像のぶれを低減することができる。

そこで、第２の実施形態では、ズーム動作中でない場合は３枚の撮像画像からＨＤＲ画像を生成し、ズーム動作中はズーム速度に応じて合成対象画像の数を減らしたりＨＤＲ画像の生成を停止したりする構成について説明する。なお、本実施形態において、撮像装置１００の構成は第１の実施形態（図１参照）と同様であるため、その説明を省略する。

第２の実施形態に係る動画像撮影処理について、図６乃至図９を参照して説明する。図６は、第２の実施形態に係る動画像撮影処理を示すフローチャートである。図７は、動画像撮影時の撮像素子１２０の駆動タイミングを示すタイミングチャートである。図８は、光学ズームステータスフラグ及びズームスピードの値に応じた画像合成制御の変化を定義する画像合成制御テーブルである。図９は、判別信号に応じて画像合成制御の態様を切り換える様子を模式的に説明する図である。

本実施形態の以下の説明においても、第１の実施形態と同様、「合成画像」は文脈に応じて「ＨＤＲ画像」を意味する場合もあれば「通常の画像」を意味する場合もある。

図７において、判別信号１及び判別信号２は、システム制御回路１８０が画像処理回路１３０に出力する制御信号である。システム制御回路１８０は、光学ズームステータスフラグＦＬＧ及びズームスピードｓの値に基づいて判別信号１及び判別信号２を出力する。図８に示すように、光学ズームステータスフラグＦＬＧが１の場合、ズームスピードｓが第１閾値ｓ１未満（第１閾値未満）であれば判別信号１及び判別信号２は論理レベルＬｏの信号として出力される。また、ズームスピードｓが第１閾値ｓ１以上であり第２閾値ｓ２未満であれば、判別信号１は論理レベルＨｉの信号として、判別信号２は論理レベルＬｏの信号として、それぞれ出力される。更に、ズームスピードｓが第２閾値ｓ２以上（第２閾値以上）であれば、判別信号１及び判別信号２は号論理レベルＨｉの信号として出力される。また、光学ズームステータスフラグＦＬＧが０の場合には、ズームスピードｓの値によらず判別信号１及び判別信号２は論理レベルＬｏの信号として出力される。画像処理回路１３０は、判別信号１及び判別信号２に応じて、合成後の出力画像の態様を切り換える。

ズームスピードｓの判定の第１閾値ｓ１は、ズームレンズの移動距離によって低露出画像Ｌと適正露出画像Ｍと高露出画像Ｈの３枚の画像間で生じる画角差が、ＨＤＲ合成時に画像ぶれとして認知されるか否かの境界値に設定される。

また、ズームスピードｓの判定の第２閾値ｓ２は、ズームレンズの移動距離によって低露出画像Ｌと適正露出画像Ｍの２枚の画像間で生じる画角差が、ＨＤＲ合成時に画像ぶれとして認知されるか否かの境界値に設定される。

再び図７を参照すると、出力同期信号は、合成後の画像を出力するタイミングを指示する同期信号であり、この周期が動画像のフレームレートに対応する。また、撮影同期信号は、１枚の画像（合成対象画像）を撮像するタイミングを指示する同期信号であり、この周期が、撮像素子１２０による撮像のフレームレート（撮像レート）に対応する。図７の例では、出力同期信号は撮影同期信号の３倍の周期となっている。

また、図７は、撮像画像及び合成後の出力画像を、撮像タイミング及び合成タイミングを示す概念図として表しており、低露出画像をＬ、適正露出画像をＭ、高露出画像をＨ、これらの画像の合成後のＨＤＲ画像をＨＤＲ（ＬＭＨ）として記号表記している。

画像処理回路１３０（生成出力手段）は、判別信号１及び判別信号２がＬｏの場合は低露出画像Ｌ、適正露出画像Ｍ、及び高露出画像ＨからＨＤＲ画像を生成して出力する。また、画像処理回路１３０は、判別信号１がＨｉで判別信号２がＬｏの場合は、低露出画像Ｌ及び適正露出画像ＭからＨＤＲ画像を生成して出力する。また、画像処理回路１３０は、判別信号１及び判別信号２がＨｉの場合は、ＨＤＲ画像の代わりに低露出画像Ｌを出力する。

低露出画像Ｌ及び適正露出画像Ｍは、低露出画像Ｌ、適正露出画像Ｍ、及び高露出画像Ｈが撮像される期間（所定期間）よりも短い期間内に撮像される。従って、低露出画像Ｌ及び適正露出画像ＭからＨＤＲ画像を生成する場合、低露出画像Ｌ、適正露出画像Ｍ、及び高露出画像ＨからＨＤＲ画像を生成する場合よりも合成対象画像間の画角差が小さくなり、ＨＤＲ画像のぶれが低減される。

ここで図９を参照して、合成画像の生成処理（画像合成制御）の具体例を説明する。図９には、低露出画像、適正露出画像、及び高露出画像それぞれの露出条件と撮影信号の入出力レンジとの関係が示されている。

低露出画像Ｌを撮像する場合、システム制御回路１８０は、適正より（３／２）段アンダーの低露出条件によりフルレンジ−（３／２）段のレンジを用いて画像の撮像処理を行う。そして、画像処理回路１３０は、撮像された画像を、露出補正処理により＋（３／２）段のゲインアップで適正レンジとなるように補正する。この際のゲインアップにより、出力レンジの下位側ではノイズや階調精度の劣化による黒潰れや画質劣化が生じやすい。

適正露出画像Ｍを撮像する場合、システム制御回路１８０は、適正露出条件によりちょうどフルレンジを用いて画像の撮像処理を行う。従って、撮像画像は露出補正処理なしに適正レンジに収められて、適正露出画像Ｍが得られる。

高露出画像Ｈを撮像する場合、システム制御回路１８０は、適正より（３／２）段オーバーの高露出条件によりフルレンジ＋（３／２）段のレンジを用いて画像の撮像処理を行う。そして、画像処理回路１３０は、撮像された画像を、露出補正処理により−（３／２）段のゲインダウンで適正レンジとなるように補正する。この際に、出力レンジの上位（３／２）段は、レンジオーバーにあるため正しく再現できない階調領域（所謂、白飛びが発生する領域）となる。

ＨＤＲ合成画像（ＬＭ）は、それぞれ適正露出部分として、低露出画像Ｌから抽出したレンジ上位の画像データと、適正露出画像Ｍから抽出したレンジ下位及びレンジ中位の画像データとを合成して生成される。また、ＨＤＲ合成画像（ＬＭＨ）は、それぞれ適正露出部分として、低露出画像Ｌから抽出したレンジ上位の画像データと、適正露出画像Ｍから抽出したレンジ中位の画像データと、高露出画像Ｈから抽出したレンジ下位の画像データとを合成して生成される。なお、段数はスケールの単位を表し、（３／２）段は（２√２）倍、−１段は（１／２√２）倍に相当する。

そして、判別信号１及び判別信号２による判定の結果、出力画像として非合成画像（適正露出画像Ｍ）、ＨＤＲ合成画像（ＬＨ）、及びＨＤＲ合成画像（ＬＭＨ）のいずれかの画像が選択され出力される。

次に、図６を参照して、本実施形態の動画像撮影処理について説明する。操作部１９０のレリーズ釦やモード切り換えダイヤル等を介して動画撮影の開始指示がシステム制御回路１８０に入力されると、動画像撮影処理が開始する。図６のフローチャートにおいて、各ステップの処理は、特に断らない限り、システム制御回路１８０が制御プログラムを実行することにより実現される。また、図６のフローチャートにおいて、図２と同一又は同様の処理が実行されるステップには同一の符号を付し、その説明を省略する。

Ｓ６０３で、システム制御回路１８０は、Ｓ２０２で算出された適正露出条件より３／２段アンダーの低露出条件にて１フレームの撮影を行い、低露出画像Ｌをメモリ１４０に保存する。続いてＳ６０４で、システム制御回路１８０は、適正露出条件にて１フレームの撮影を行い、適正露出画像Ｍをメモリ１４０に保存する。続いてＳ６０５で、システム制御回路１８０は、適正露出条件より３／２段オーバーの高露出条件にて１フレームの撮影を行い、高露出画像Ｈをメモリ１４０に保存する。

次に、システム制御回路１８０は、システム制御回路１８０の内部に設けられた図８に示すような画像合成制御テーブルを参照して、Ｓ６０６乃至Ｓ６１０の処理を実行する。具体的には、Ｓ６０６で、システム制御回路１８０は、ズーム倍率が変更中であるか否かを判定する。この判定のために、システム制御回路１８０は、光学ズームステータスフラグＦＬＧをチェックする。ＦＬＧ＝０の場合（即ち、ズーム倍率が変更中でない場合）、処理はＳ６０８に進む。Ｓ６０８で、システム制御回路１８０は、論理レベルＬｏの判別信号１及び判別信号２を画像処理回路１３０へ出力する。その結果、画像処理回路１３０は、メモリ１４０に記憶された低露出画像Ｌ、適正露出画像Ｍ、及び高露出画像Ｈをダイナミックレンジ拡大回路２００で合成することにより、ＨＤＲ合成画像（ＬＭＨ）を生成する。

一方、Ｓ６０６においてＦＬＧ＝１であった場合（即ち、ズーム倍率が変更中であった場合）、処理はＳ６０７に進む。

Ｓ６０７で、システム制御回路１８０は、ズームスピードｓの値をチェックする。ｓ＜ｓ１の場合（即ち、ズーム倍率の変更の速度が第１閾値未満の場合）、処理はＳ６０８に進む。この場合、Ｓ６０６においてＦＬＧ＝０であった場合と同様に、画像処理回路１３０は、ＨＤＲ合成画像（ＬＭＨ）を生成する。

一方、Ｓ２０６においてｓ１≦ｓ＜ｓ２であった場合、処理はＳ６０９に進む。Ｓ６０９で、システム制御回路１８０は、論理レベルＨｉの判別信号１、及び論理レベルＬｏの判別信号２を画像処理回路１３０へ出力する。その結果、画像処理回路１３０は、メモリ１４０に記憶された低露出画像Ｌ及び適性露出画像Ｍをダイナミックレンジ拡大回路２００で合成することにより、ＨＤＲ合成画像（ＬＭ）を生成する。

また、Ｓ６０７においてｓ≧ｓ２であった場合、処理はＳ６１０に進む。Ｓ６１０で、システム制御回路１８０は、論理レベルＨｉの判別信号１及び判別信号２を画像処理回路１３０へ出力する。その結果、画像処理回路１３０は、ＨＤＲ合成画像の代わりに、適正露出画像Ｍを選択する。

Ｓ６０８、Ｓ６０９、又はＳ６１０に続き、Ｓ６１１で、画像処理回路１３０は、Ｓ６０８、Ｓ６０９、又はＳ６１０で得られた画像に対して各種の画像処理を施し、この画像をＬＣＤ１５０又は画像変換回路１６０に対して出力する。画像処理回路１３０では、必要に応じて電子ズーム処理も行われる。このように、Ｓ６０６乃至Ｓ６１１の処理により、ズームの動作状態に応じて、ＨＤＲ合成画像（ＬＭＨ）、ＨＤＲ合成画像（ＬＭ）、又は適正露出画像Ｍが、動画像の１フレーム分の画像として出力される。

このように、Ｓ２１０において終了指示が入力されるまで、システム制御回路１８０は、低露出画像Ｌ、適正露出画像Ｍ、及び高露出画像Ｈを所定期間内（図７における出力同期信号１つ分の期間内）に撮像する処理（撮像制御）を繰り返す。そして、画像処理回路１３０は、ズームの動作状態に応じて、ＨＤＲ合成画像（ＬＭＨ）、ＨＤＲ合成画像（ＬＭ）、又は適正露出画像Ｍを出力する。

なお、第１の実施形態と同様、システム制御回路１８０は、光学ズームステータスフラグＦＬＧが１の場合、ズームスピードに関わらず論理レベルＨｉの判別信号１を出力してもよい。この場合、Ｓ６０７において第１閾値ｓ１は考慮されず、ｓ＜ｓ２の場合は処理はＳ６０９に進む。また、システム制御回路１８０は、光学ズームステータスフラグの代わりに、光学ズームと電子ズームとを区別しないズームステータスフラグに基づいて判別信号を決定してもよい。この場合、システム制御回路１８０は、光学ズームだけでなく電子ズームによるズーム倍率の変更も考慮し、ズーム倍率の変更中は処理をＳ６０６からＳ６０７に進める。

また、図６のフローチャートにおいては、システム制御回路１８０が所定期間内に３枚の画像（低露出画像Ｌ、適正露出画像Ｍ、及び高露出画像Ｈ）を撮像するものとしたが、撮像枚数は３枚に限定されず、露光量の異なる４枚以上の画像を撮像してもよい。この場合、システム制御回路１８０は、Ｓ６０７の判定において３つ以上の閾値を利用し、ズームスピードが速いほど、より短い期間内に撮像されたより少ない数の画像からＨＤＲ画像を生成するように判別信号を出力してもよい。

更に、Ｓ６１０では適正露出画像Ｍが選択されるものとしたが、画像処理回路１３０は、適正露出画像Ｍに限らず、所定期間内に撮像された任意の画像を選択することができる。また、Ｓ６０９では、画像処理回路１３０は、ＨＤＲ合成画像（ＬＭ）の代わりにＨＤＲ合成画像（ＭＨ）を生成してもよい。

また、本実施形態では、説明を簡単にするため低露出条件及び高露出条件をそれぞれ適正露出条件のプラスマイナス（３／２）段としたが、これらの条件は適宜変更可能である。

以上説明したように、本実施形態によれば、撮像装置１００は、ズーム倍率が変更中でない場合はＨＤＲ画像を出力する。また、撮像装置１００は、ズーム倍率が変更中の場合は、ズーム倍率が変更中でない場合よりも少ない数の画像からＨＤＲ画像を生成して出力する。その結果、ズーム倍率の変更に起因する、合成対象画像間の画角差が減少する。

［第３の実施形態］
第１の実施形態では、撮像装置１００は、ズーム倍率が変更中の場合はＨＤＲ画像の代わりに通常の画像を出力した（即ち、ＨＤＲ画像を生成しなかった）。これに対し、第３の実施形態では、ズーム倍率が変更中の場合もＨＤＲ画像を生成する構成について説明する。第３の実施形態において、撮像装置１００の基本的な構成は第１の実施形態と同様である（図１参照）が、動画像撮影処理においてズーム倍率が変更中の場合の処理が若干異なる。以下、主に第１の実施形態との相違点について、詳細に説明する。

本実施形態の動画像撮影処理では、撮像装置１００は、ズームの状態に応じて、フレーム間ＨＤＲ処理とフレーム内ＨＤＲ処理とを切り替える。フレーム間ＨＤＲ処理とは、露光期間の異なる複数回の撮像により露光量の異なる複数の画像を生成してそこからＨＤＲ画像を生成する処理である。フレーム内ＨＤＲ処理とは、１回の撮像により露光量の異なる複数の画像を生成してそこからＨＤＲ画像を生成する処理である。以下の説明では、フレーム間ＨＤＲ処理において、撮像装置１００は露光量の異なる２枚の画像からＨＤＲ画像を生成するものとするが、３枚以上の画像からＨＤＲ画像を生成しても構わない。

図１１は、撮像素子１２０の内部構成を示す図である。図１１において、１１０１は撮影レンズ１１０からの光を受光する受光画素部であり、表面に入射した光を光電変換して電気信号として出力する。受光画素部１１０１は、フォトダイオード１１０２、転送トランジスタ１１０３、信号増幅アンプ１１０４、及びリセット用トランジスタ１１０５を１単位として構成されている。受光画素部１１０１は、それぞれ所定の水平行数、垂直列数で２次元配列上に構成される。

転送トランジスタ１１０３及びリセット用トランジスタ１１０５は、撮像素子１２０に配置された垂直走査回路１１００からの信号によって動作する。垂直走査回路１１００には、シフトレジスタや、各画素の転送トランジスタ１１０３等を駆動させる走査信号生成回路などが含まれる。そして、生成された走査信号（ＴＸ１〜４、ＲＳ１〜４等）により、転送トランジスタ１１０３及びリセット用トランジスタ１１０５を制御することによって、フォトダイオード１１０２の電荷をリセットしたり読み出したりして露光期間を制御することができる。

１１０６は列Ａ／Ｄ変換部であり、受光画素部１１０１の各画素部からの出力をＡ／Ｄ変換するために列毎に設けられている。列Ａ／Ｄ変換部１１０６は、コンパレータ１１０９と、多ビットのメモリ１１１０とにより構成される。更に、全垂直列に共通のランプ信号発生器１１０７とカウンタ１１０８とが設けられている。そして、各受光画素部１１０１からの出力とランプ信号発生器１１０７の出力とをコンパレータ１１０９で比較して大小が反転するまでの到達時間をカウンタ１１０８で計数することによりＡ／Ｄ変換が行われる。そして、計数値はメモリ１１１０に列毎にラッチされる。

１１１２は水平走査回路であり、列Ａ／Ｄ変換部１１０６では、水平走査回路１１１２からの走査信号によって、列毎のデジタル信号の選択と読み出しが行われて、撮像素子１２０の撮像出力１１１１が得られる。

続いて、第３の実施形態に係る動画像撮影処理について、図１２乃至図１５を参照して説明する。図１２は、第３の実施形態に係る動画像撮影処理の全体の動作を模式的に示すタイミングチャートである。図１３は、第３の実施形態においてＨＤＲ画像を生成するための低露出画像及び高露出画像を取得する際の、垂直走査回路１１００から生成される走査信号を示したタイミングチャートである。図１３（ａ）はフレーム間ＨＤＲ動作時のタイミングチャートであり、図１３（ｂ）はフレーム内ＨＤＲ動作時のタイミングチャートである。図１４は、第３の実施形態に係る動画像撮影処理を示すフローチャートである。図１５は、第３の実施形態に係る、光学ズームステータスフラグ及びズームスピードの値に応じた画像合成制御の変化を定義する画像合成制御テーブルである。まず、個別に、図１２、図１３、及び図１５の説明を行い、最後に、図１４のフローチャートにおいて全体の動作を説明する。

図１２において、撮影画像及び合成後の出力画像は、撮影及び生成のタイミングを示す概念図として表されている。図１２では、低露出画像をＬ、高露出画像をＨ、これらの画像の合成後のダイナミックレンジ拡大画像をＨＤＲ（ＬＨ）として記号表記している。

図１２は、第１の実施形態を説明する図３と似ているが、判別信号がＨｉの場合の動作が図３と異なっている。図１２では、判別信号がＨｉの場合、フレーム内ＨＤＲ処理が行われる。即ち、第３の実施形態では、システム制御回路１８０からの判別信号により、フレーム間ＨＤＲ処理とフレーム内ＨＤＲ処理とが切り替えられる。

従って、第３の実施形態に係る画像合成制御テーブル（図１５参照）は、出力画像の行が第１の実施形態（図４参照）と異なる。具体的には、図１５に示すように、判別信号がＬｏの場合、出力画像はフレーム間ＨＤＲ合成画像であり、判別信号がＨｉの場合、出力画像はフレーム内ＨＤＲ合成画像である。

次に、図１３（ａ）を参照して、フレーム間ＨＤＲ動作時のタイミングについて説明する。まず、垂直同期信号によって区分される最初のフレーム期間に、短露光期間ＴＬで露光された低露出画像Ｌの露光・読み出しが行われる。

ＴＸ信号及びＲＳ信号が立ち上がることによって、フォトダイオード１１０２の電荷がリセットされ露光が開始される。この動作はシステム制御回路１８０によって設定された条件で、受光画素部１１０１から所定の順番で順次行われる。

まず、ＲＳ１〜ＲＳ４及びＴＸ１〜ＴＸ４信号が順次立ち上がり、低露出画像Ｌ用の行がリセットされる。そして、低露出画像Ｌ用の短露光期間ＴＬの経過後に、再度、ＴＸ１〜ＴＸ４信号が順次立ち上がり、フォトダイオード１１０２の電荷が信号増幅アンプ１１０４に読み出され、水平走査回路１１１２を通して出力され、次の低露出画像Ｌ用の行信号が取得される。以下同様にして、後続行のＴＸ信号及びＲＳ信号のタイミングがフレーム期間の最終行まで繰り返されることで、１フレーム分の低露出画像Ｌが取得される。

最初の１フレーム期間が終了し次のフレーム期間が始まると、今度は長露光期間ＴＨで露光された高露出画像Ｈの露光・読み出しが行われる。まず、ＲＳ１〜ＲＳ４及びＴＸ１〜ＴＸ４が順次立ち上がり、高露出画像Ｈ用の行がリセットされる。そして、高露出画像Ｈ用の長露光期間ＴＨの経過後に、再度、ＴＸ１〜ＴＸ４信号が順次立ち上がり、フォトダイオード１１０２の電荷が信号増幅アンプ１１０４に読み出され、水平走査回路１１１２を通して出力され、次の高露出画像Ｈ用の行信号が取得される。以下同様にして、後続行のＴＸ信号及びＲＳ信号のタイミングがフレーム期間の最終行まで繰り返されることで、１フレーム分の高露出画像Ｈが取得される。そして、次のフレーム期間は、再び、短露光期間ＴＬで露光された低露出画像Ｌの露光・読み出しが行われる。

このようにして、フレーム間ＨＤＲ動作時には、低露出画像Ｌの露光・読み出し用のフレーム期間と、高露出画像Ｈの露光・読み出し用のフレーム期間とが、１フレーム毎に交互に繰り返されるタイミングとなっている。

次に、図１３（ｂ）を参照して、フレーム内ＨＤＲ動作時のタイミングについて説明する。本実施形態における撮像素子１２０は、低露出画像Ｌ取得用と高露出画像Ｈ取得用のそれぞれの露出条件を行周期で（行毎に）設定することができる。この動作は、システム制御回路１８０によって設定された条件で、受光画素部１１０１から所定の順番で順次行われる。

まず、ＲＳ１、ＴＸ１及びＲＳ２、ＴＳ２が立ち上がり、低露出画像Ｌ用及び高露出画像Ｈ用の行をリセットする。そして、低露出画像Ｌ用の短露光期間ＴＬの経過後に、再度、ＴＸ１が立ち上がり、フォトダイオード１１０２の電荷が信号増幅アンプ１１０４に読み出され、水平走査回路１１１２を通して出力され、低露出画像Ｌ用の行信号が取得される。また、高露出画像Ｈ用の長露光期間ＴＨの経過後に、再度、ＴＸ２信号が立ち上がり、フォトダイオード１１０２の電荷が信号増幅アンプ１１０４に読み出され、水平走査回路１１１２を通して出力され、高露出画像Ｈ用の行信号が取得される。

次に、ＲＳ３、ＴＸ３及びＲＳ４、ＴＸ４が立ち上がり、低露出画像Ｌ用及び高露出画像Ｈ用の行をリセットする。そして、低露出画像Ｌ用の短露光期間ＴＬの経過後に、再度、ＴＸ３が立ち上がり、フォトダイオード１１０２の電荷が信号増幅アンプ１１０４に読み出され、水平走査回路１１１２を通して出力され、次の低露出画像Ｌ用の行信号が取得される。また、高露出画像Ｈ用の長露光期間ＴＨの経過後に、再度、ＴＸ４信号が立ち上がり、フォトダイオード１１０２の電荷が信号増幅アンプ１１０４に読み出され、水平走査回路１１１２を通して出力され、次の高露出画像Ｈ用の行信号が取得される。

以下同様にして、低露出画像Ｌ用の行信号と高露出画像Ｈ用の行信号の露光、読み出し、取得を行うために、後続行のＴＸ信号及びＲＳ信号のタイミングがフレーム期間の最終行まで繰り返されることで、１フレーム分の低露出画像Ｌと高露出画像Ｈとが取得される。以降、同じフレーム動作が、フレーム毎に繰り返される。

このようにして、フレーム内ＨＤＲ動作時には、１フレーム期間に、低露出画像Ｌ用の行信号と高露出画像Ｈ用の行信号の露光、読み出し、取得が、１行毎に交互に繰り返されて、更に、同じフレーム動作が連続して繰り返されるタイミングとなっている。

なお、フレーム内ＨＤＲ動作時における低露出画像Ｌ用及び高露出画像Ｈ用の行の設定は、図１３（ｂ）で説明したものに限定されない。一般化すると、撮像装置１００は、撮像素子１２０の受光画素部１１０１を複数（３以上でもよい）のグループに分けてグループ毎に異なる露光期間で撮像を行うことにより、露光量の異なる複数の画像を生成する。

第３の実施形態において低露出画像Ｌと高露出画像Ｈとに基づいてＨＤＲ画像を生成する方法は、第１の実施形態において判別信号がＬｏの場合と同様である（図５参照）。即ち、第３の実施形態では、低露出画像Ｌ及び高露出画像Ｈの生成方法が判別信号に応じて変化するが、出力画像は判別信号に関わらず図５の右上に示すＨＤＲ合成画像（ＬＨ）である。

次に、図１４を参照して、本実施形態の動画像撮影処理について説明する。操作部１９０のレリーズ釦やモード切り換えダイヤル等を介して動画撮影の開始指示がシステム制御回路１８０に入力されると、動画像撮影処理が開始する。図１４のフローチャートにおいて、各ステップの処理は、特に断らない限り、システム制御回路１８０が制御プログラムを実行することにより実現される。図１４において、図２と同一又は同様の処理が行われるステップには同一の符号を付し、その説明を省略する。

Ｓ２０５で光学ズームステータスフラグＦＬＧが０であった場合、又は、Ｓ２０５で光学ズームステータスフラグＦＬＧが１でありＳ２０６でズームスピードｓがｓ０より小さかった場合、Ｓ１４０１の処理が行われる。Ｓ１４０１で、システム制御回路１８０は、図１３（ａ）を参照して説明したフレーム間ＨＤＲ動作時のタイミングに従って、２フレーム期間に亘る撮像制御（第１制御モード）を行う。そして、システム制御回路１８０は、最初の１フレーム期間に取得した低露出画像Ｌと、次の１フレーム期間に取得した高露出画像Ｈとを、メモリ１４０に記憶する。

一方、Ｓ２０５で光学ズームステータスフラグＦＬＧが１でありＳ２０６でズームスピードｓがｓ０以上であった場合、Ｓ１４０２の処理が行われる。Ｓ１４０２で、システム制御回路１８０は、図１３（ｂ）を参照して説明したフレーム内ＨＤＲ動作時のタイミングに従って、２フレーム期間に亘る撮像制御を行う（第２制御モード）。そして、システム制御回路１８０は、最初の１フレーム期間に取得した低露出画像Ｌと高露出画像Ｈとをメモリ１４０に記憶する。

Ｓ１４０３で、画像処理回路１３０は、メモリ１４０に記憶された低露出画像Ｌ及び高露出画像Ｈをダイナミックレンジ拡大回路２００で合成することにより、ＨＤＲ合成画像（ＬＨ）を生成する。

なお、第１の実施形態と同様、低露出条件及び高露出条件はそれぞれ適正露出条件のプラスマイナス１段であってもよいが、これらの条件は適宜変更可能である。また、第１の実施形態と同様、図１４のＳ２０６の処理は省略可能である。また、第１の実施形態と同様、システム制御回路１８０は、光学ズームと電子ズームとを区別せず、電子ズームによるズーム倍率の変更中もＳ２０５からＳ１４０１へ進むように処理を行ってもよい。

以上説明したように、本実施形態によれば、撮像装置１００は、ズーム倍率が変更中でない場合はフレーム間ＨＤＲ処理によりＨＤＲ画像を生成し、ズーム倍率が変更中の場合はフレーム内ＨＤＲ処理によりＨＤＲ画像を生成する。その結果、ズーム倍率の変更に起因して画角が異なる複数の画像に基づいてＨＤＲ画像を生成することが抑制される。

［第４の実施形態］
第３の実施形態のフレーム内ＨＤＲ処理では、撮像装置１００は、撮像素子１２０の露光期間を行毎に変化させることにより、１回の撮像により低露出画像及び高露出画像を生成した。これに対し、第４の実施形態のフレーム内ＨＤＲ処理では、撮像装置１００は、１フレーム期間に撮像される画像の各画素に対して画素信号のレベルに応じて異なるゲイン特性を与えることにより、ダイナミックレンジが拡大された画像を生成する。以下、第４の実施形態のフレーム内ＨＤＲ処理について、主に第３の実施形態との相違点を説明する。

図１６は、第４の実施形態に係る、撮像素子１２０の列Ａ／Ｄ変換部１６０１の構成を示すブロック図である。図１６において、図１１と同一又は同様の構成要素には同一の符号を付し、その説明を省略する。第４の実施形態では、撮像素子１２０が列Ａ／Ｄ変換部１１０６の代わりに列Ａ／Ｄ変換部１６０１を備える点が第３の実施形態と異なる。

列Ａ／Ｄ変換部１６０１は、各受光画素部１１０１からの出力をＡ／Ｄ変換するために列毎に設けられている。列Ａ／Ｄ変換部１６０１は、初段コンパレータ１６０２、列アンプ１６０３、Ａ／Ｄ用コンパレータ１６０４、多ビットのメモリ１６０５、及びデジタルアンプ１６０６により構成される。

次に、列Ａ／Ｄ変換部１６０１の動作について説明する。各受光画素部１１０１からの出力は、列毎に共通の垂直信号線を通して列Ａ／Ｄ変換部１６０１に入力され、２つに分岐する。一方は初段コンパレータ１６０２に供給されてリファレンス電圧ＶＲＥＦと比較され、他方は列アンプ１６０３に供給されて所望のゲイン特性が付与される。

そして、初段コンパレータ１６０２の出力は、１水平走査期間保持されており、列アンプ１６０３にゲイン制御信号として供給される。これにより、各受光画素部１１０１からの出力レベルに応じて、列アンプ１６０３のゲイン特性が、１倍と４倍とで切り替えられる。

列アンプ１６０３の出力は、Ａ／Ｄ用コンパレータ１６０４でランプ信号発生器１１０７の出力と比較して大小が反転するまでの到達時間をカウンタ１１０８で計数することにより、Ａ／Ｄ変換が行われる。そして、計数値はメモリ１６０５に列毎にラッチされる。

更に、メモリ１６０５の出力は、デジタルアンプ１６０６に供給されて所望のゲイン特性が付与される。また、初段コンパレータ１６０２の出力は、デジタルアンプ１６０６にゲイン制御信号として供給される。これにより、各受光画素部１１０１からの出力レベルに応じて、デジタルアンプ１６０６のゲイン特性が、４倍と１倍とで切り替えられる。

列Ａ／Ｄ変換部１６０１では、水平走査回路１１１２からの走査信号によって、列毎のデジタル信号の選択と読み出しが行われて、撮像素子１２０の撮像出力１１１１が得られる。

図１７は、第４の実施形態に係るフレーム内ＨＤＲ処理を模式的に説明する図である。図１７は、ＨＤＲの元になる低レベル画素信号及び高レベル画素信号それぞれの撮影信号の入出力レンジの関係についての一例を示している。

図１７（ａ）は、受光画素部１１０１からの画素信号出力、図１７（ｂ）は、ゲイン１倍時の列アンプ出力、図１７（ｃ）は、ゲイン４倍時の列アンプ出力を示す。また、図１７（ｄ）は、ゲイン１倍時のＡ／Ｄ変換出力、図１７（ｅ）は、ゲイン４倍時のＡ／Ｄ変換出力、図１７（ｆ）は、ＨＤＲ画像を示す。図１７を用いて、１フレーム内の画像で、撮像信号のダイナミックレンジを拡大する様子を以下に説明する。

初段コンパレータ１６０２に設定されたリファレンス電圧ＶＲＥＦは、画素信号出力の出力フルレンジに対して、ちょうど１／４のところに設定されている。そして、画素信号出力Ｇのうち、出力フルレンジの１／４を超える画素信号出力は、図１７（ｂ）で示されるゲイン１倍時の列アンプ出力となる。他方、画素信号出力Ｇのうち、出力フルレンジの１／４以下の画素信号出力は、図１７（ｃ）で示されるゲイン４倍時の列アンプ出力となる。換言すると、システム制御回路１８０は、撮像素子１２０に所定期間の露光によりアナログ画像信号を生成させる。そして、システム制御回路１８０は、アナログ画像信号において、信号レベルが閾値未満の画素に対して信号レベルが前記閾値以上の画素よりも大きなゲイン（４倍）を乗じさせる制御を行う（第２制御モード）。これにより、低輝度領域の感度が向上し、最終的にダイナミックレンジが拡大された画像が得られる。

そして、ゲイン１倍時の列アンプ出力は、図１７（ｄ）で示されるＡ／Ｄ変換出力に１０ビット精度でＡ／Ｄ変換されて、フルレンジの１／４〜フルレンジ（２５６〜１０２４階長）の階調レンジが得られる。更に、ゲイン１倍時のＡ／Ｄ変換出力は、デジタルアンプ１６０６で４倍のゲインが付与されて、フルレンジ〜フルレンジの４倍（１０２４〜４０９６階長）の階調レンジが得られる。

一方、ゲイン４倍時の列アンプ出力は、図１７（ｅ）で示されるＡ／Ｄ変換出力に１０ビット精度でＡ／Ｄ変換されて、０〜フルレンジ（０〜１０２３階長）の階調レンジが得られる。更に、ゲイン４倍時のＡ／Ｄ変換出力は、デジタルアンプ１６０６で１倍のゲインが付与されて、０〜フルレンジ（０〜１０２３階長）の階調レンジのままである。

そして、上記の１０２４を境界とする階調レンジで住み分けられた図１７（ｄ）で示されるＡ／Ｄ変換出力と図１７（ｅ）で示されるＡ／Ｄ変換出力とが合成される。これにより、図１７（ｆ）で示される合成後の出力画像によって、１０ビットフルレンジ（１０２４）の４倍の階調レンジ（４０９６）を得ることができる。

画素信号の出力フルレンジの１／４から上の領域は、デジタルアンプの４倍のゲインアップより、そのままでは階調精度やデジタルノイズも４倍に劣化してしまう。しかしながら、これら高輝度領域は、画像処理回路１３０で行われるガンマ処理により、４倍程度のゲインアップであれば、通常、信号レベルが抑圧されて問題となることはない。即ち、図１７の処理は、デジタル領域において、画素信号の出力フルレンジの１／４を境界にして画素信号の線形性を維持したまま、信号のダイナミックレンジを４倍拡大できたことに他ならない。

このように、第４の実施形態のフレーム内ＨＤＲ処理を用いれば、第３の実施形態の場合と異なり、露出条件を行毎に変化させる必要が無い。そのため、フレーム間ＨＤＲ処理と同様に、フレーム内の全画素信号を対象に、より均質性の高いＨＤＲ処理を行うことができる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

被写体の画像を撮像する撮像手段と、
前記撮像手段により撮像される画像のズーム倍率を制御するズーム制御手段と、
露光量の異なる複数の画像を所定期間内に撮像するように前記撮像手段を制御する撮像制御手段と、
前記複数の画像からハイダイナミックレンジ（ＨＤＲ）画像を生成して出力する生成出力手段と、
前記所定期間に前記ズーム倍率が変更中であるか否かを判定する判定手段と、
を備え、
前記ズーム倍率が変更中であると判定された場合、前記生成出力手段は、前記所定期間内に前記撮像手段により撮像された画像のうちの１つをＨＤＲ画像の代わりに出力する
ことを特徴とする撮像装置。
前記ズーム倍率が変更中であると判定された場合であっても、当該変更の速度が第１閾値未満の場合は、前記生成出力手段は、前記複数の画像からＨＤＲ画像を生成して出力する
ことを特徴とする請求項１に記載の撮像装置。
被写体の画像を撮像する撮像手段と、
前記撮像手段により撮像される画像のズーム倍率を制御するズーム制御手段と、
露光量の異なる複数の画像を所定期間内に撮像するように前記撮像手段を制御する撮像制御手段と、
前記複数の画像からハイダイナミックレンジ（ＨＤＲ）画像を生成して出力する生成出力手段と、
前記所定期間に前記ズーム倍率が変更中であるか否かを判定する判定手段と、
を備え、
前記ズーム倍率が変更中であると判定された場合、前記生成出力手段は、前記所定期間よりも短い期間内に前記撮像手段により撮像された、前記ズーム倍率が変更中でない場合よりも少ない数の画像からＨＤＲ画像を生成して出力する
ことを特徴とする撮像装置。
前記ズーム倍率が変更中であると判定された場合であっても、当該変更の速度が第１閾値未満の場合は、前記生成出力手段は、前記複数の画像からＨＤＲ画像を生成して出力する
ことを特徴とする請求項３に記載の撮像装置。
前記生成出力手段は、前記ズーム倍率の前記変更の速度が速いほど、より短い期間内に前記撮像手段により撮像されたより少ない数の画像からＨＤＲ画像を生成して出力する
ことを特徴とする請求項３又は４に記載の撮像装置。
前記生成出力手段は、前記ズーム倍率の前記変更の速度が第２閾値以上の場合は、前記所定期間内に前記撮像手段により撮像された画像のうちの１つをＨＤＲ画像の代わりに出力する
ことを特徴とする請求項５に記載の撮像装置。
被写体の画像を撮像する撮像手段と、
前記撮像手段により撮像される画像のズーム倍率を制御するズーム制御手段と、
露光量の異なる複数の画像を生成するように前記撮像手段を制御する撮像制御手段であって、前記撮像手段に露光期間の異なる複数回の撮像を行わせることにより前記複数の画像を生成させる第１制御モード、又は、前記撮像手段の画素を複数のグループに分けて前記撮像手段にグループ毎に異なる露光期間で撮像を行わせることにより前記複数の画像を生成させる第２制御モードで動作する撮像制御手段と、
前記複数の画像からハイダイナミックレンジ（ＨＤＲ）画像を生成して出力する生成出力手段と、
前記ズーム倍率が変更中であるか否かを判定する判定手段と、
を備え、
前記ズーム倍率が変更中であると判定された場合、前記撮像制御手段は前記第２制御モードで動作する
ことを特徴とする撮像装置。
前記ズーム倍率が変更中であると判定された場合であっても、当該変更の速度が第１閾値未満の場合は、前記撮像制御手段は前記第１制御モードで動作する
ことを特徴とする請求項７に記載の撮像装置。
被写体の画像を撮像する撮像手段と、
前記撮像手段により撮像される画像のズーム倍率を制御するズーム制御手段と、
前記撮像手段を制御する撮像制御手段であって、前記撮像手段に露光期間の異なる複数回の撮像を行わせることにより露光量の異なる複数の画像を生成させる第１制御モード、又は、前記撮像手段に所定期間の露光によりアナログ画像信号を生成させ、当該アナログ画像信号において、信号レベルが閾値未満の画素に対して信号レベルが前記閾値以上の画素よりも大きなゲインを乗じさせることにより、ダイナミックレンジが拡大された画像を生成させる第２制御モードで動作する撮像制御手段と、
前記撮像制御手段が前記第１制御モードで動作する場合に、前記複数の画像からハイダイナミックレンジ（ＨＤＲ）画像を生成して出力し、前記撮像制御手段が前記第２制御モードで動作する場合に、前記ダイナミックレンジが拡大された画像を出力する、生成出力手段と、
前記ズーム倍率が変更中であるか否かを判定する判定手段と、
を備え、
前記ズーム倍率が変更中であると判定された場合、前記撮像制御手段は前記第２制御モードで動作する
ことを特徴とする撮像装置。
前記ズーム倍率が変更中であると判定された場合であっても、当該変更の速度が第１閾値未満の場合は、前記撮像制御手段は前記第１制御モードで動作する
ことを特徴とする請求項９に記載の撮像装置。
前記ズーム制御手段は、光学ズーム及び電子ズームのうちの少なくとも一方により前記ズーム倍率を変更可能であり、
前記判定手段は、前記判定に際して、前記電子ズームによる前記ズーム倍率の変更を考慮しない
ことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
被写体の画像を撮像する撮像手段を備える撮像装置の制御方法であって、
前記撮像装置のズーム制御手段が、前記撮像手段により撮像される画像のズーム倍率を制御するズーム制御工程と、
前記撮像装置の撮像制御手段が、露光量の異なる複数の画像を所定期間内に撮像するように前記撮像手段を制御する撮像制御工程と、
前記撮像装置の生成出力手段が、前記複数の画像からハイダイナミックレンジ（ＨＤＲ）画像を生成して出力する生成出力工程と、
前記撮像装置の判定手段が、前記所定期間に前記ズーム倍率が変更中であるか否かを判定する判定工程と、
を備え、
前記ズーム倍率が変更中であると判定された場合、前記生成出力工程では、前記所定期間内に前記撮像手段により撮像された画像のうちの１つをＨＤＲ画像の代わりに出力する
ことを特徴とする制御方法。
被写体の画像を撮像する撮像手段を備える撮像装置の制御方法であって、
前記撮像装置のズーム制御手段が、前記撮像手段により撮像される画像のズーム倍率を制御するズーム制御工程と、
前記撮像装置の撮像制御手段が、露光量の異なる複数の画像を所定期間内に撮像するように前記撮像手段を制御する撮像制御工程と、
前記撮像装置の生成出力手段が、前記複数の画像からハイダイナミックレンジ（ＨＤＲ）画像を生成して出力する生成出力工程と、
前記撮像装置の判定手段が、前記所定期間に前記ズーム倍率が変更中であるか否かを判定する判定工程と、
を備え、
前記ズーム倍率が変更中であると判定された場合、前記生成出力工程では、前記所定期間よりも短い期間内に前記撮像手段により撮像された、前記ズーム倍率が変更中でない場合よりも少ない数の画像からＨＤＲ画像を生成して出力する
ことを特徴とする制御方法。
被写体の画像を撮像する撮像手段を備える撮像装置の制御方法であって、
前記撮像装置のズーム制御手段が、前記撮像手段により撮像される画像のズーム倍率を制御するズーム制御工程と、
前記撮像装置の撮像制御手段が、露光量の異なる複数の画像を生成するように前記撮像手段を制御する撮像制御工程であって、前記撮像手段に露光期間の異なる複数回の撮像を行わせることにより前記複数の画像を生成させる第１制御モード、又は、前記撮像手段の画素を複数のグループに分けて前記撮像手段にグループ毎に異なる露光期間で撮像を行わせることにより前記複数の画像を生成させる第２制御モードで動作する撮像制御工程と、
前記撮像装置の生成出力手段が、前記複数の画像からハイダイナミックレンジ（ＨＤＲ）画像を生成して出力する生成出力工程と、
前記撮像装置の判定手段が、前記ズーム倍率が変更中であるか否かを判定する判定工程と、
を備え、
前記ズーム倍率が変更中であると判定された場合、前記撮像制御工程は前記第２制御モードで動作する
ことを特徴とする制御方法。
被写体の画像を撮像する撮像手段を備える撮像装置の制御方法であって、
前記撮像装置のズーム制御手段が、前記撮像手段により撮像される画像のズーム倍率を制御するズーム制御工程と、
前記撮像装置の撮像制御手段が、前記撮像手段を制御する撮像制御工程であって、前記撮像手段に露光期間の異なる複数回の撮像を行わせることにより露光量の異なる複数の画像を生成させる第１制御モード、又は、前記撮像手段に所定期間の露光によりアナログ画像信号を生成させ、当該アナログ画像信号において、信号レベルが閾値未満の画素に対して信号レベルが前記閾値以上の画素よりも大きなゲインを乗じさせることにより、ダイナミックレンジが拡大された画像を生成させる第２制御モードで動作する撮像制御工程と、
前記撮像装置の生成出力手段が、前記撮像制御工程が前記第１制御モードで動作する場合に、前記複数の画像からハイダイナミックレンジ（ＨＤＲ）画像を生成して出力し、前記撮像制御工程が前記第２制御モードで動作する場合に、前記ダイナミックレンジが拡大された画像を出力する、生成出力工程と、
前記撮像装置の判定手段が、前記ズーム倍率が変更中であるか否かを判定する判定工程と、
を備え、
前記ズーム倍率が変更中であると判定された場合、前記撮像制御工程は前記第２制御モードで動作する
ことを特徴とする制御方法。
コンピュータに、請求項１２乃至１５のいずれか１項に記載の制御方法の各工程を実行させるためのプログラム。