JP2021197613A - 撮像装置、及び撮像方法 - Google Patents
撮像装置、及び撮像方法 Download PDFInfo
- Publication number
- JP2021197613A JP2021197613A JP2020102320A JP2020102320A JP2021197613A JP 2021197613 A JP2021197613 A JP 2021197613A JP 2020102320 A JP2020102320 A JP 2020102320A JP 2020102320 A JP2020102320 A JP 2020102320A JP 2021197613 A JP2021197613 A JP 2021197613A
- Authority
- JP
- Japan
- Prior art keywords
- transmittance
- image
- exposure period
- exposure
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Blocking Light For Cameras (AREA)
Abstract
【課題】フリッカ現象を低減しつつ、より広いダイナミックレンジを持つ画像を取得することが可能な撮像装置、及び撮像方法を提供すること。【解決手段】本撮像装置は、透過率調整部と、撮像素子と、露光期間設定部と、透過率設定部と、合成部とを具備する。透過率調整部は、光の透過率を調整する。撮像素子は、透過率調整部を透過した光を露光することで撮像を実行する。露光期間設定部は、透過率調整部を透過した光のフリッカ周期に基づいて、第１の露光期間と第１の露光期間よりも短い第２の露光期間とを設定する。透過率設定部は、第１の露光期間での撮像が実行される際の第１の透過率、及び第２の露光期間での撮像が実行される際の第２の透過率を設定する。合成部は、第１の露光期間及び第１の透過率での撮像により取得される第１の画像と、第２の露光期間及び第２の透過率での撮像により取得される第２の画像とを合成する。【選択図】図１０
Description
本技術は、撮像装置、及び撮像方法に関する。
特許文献１に記載の撮像装置では、ＨＤＲ（High Dynamic Range）モードとフリッカ低減モードとが実行される。
ＨＤＲモードでは、２ライン（画素行）毎に長時間露光と短時間露光とが繰り返される。そして、各々の露光時間で得られた２種類の画像が合成されることで、ＨＤＲ画像が取得される。
フリッカ低減モードでは、長短の露光時間の合計が、フリッカ周期と同じ時間に設定される。そして連続するフレームにて、長時間露光の画像と短時間露光の画像とが合成される。これにより、フリッカ現象がキャンセルされた画像が取得される（特許文献１の明細書段落［０００８］［００３５］［００３６］等）。
ＨＤＲモードでは、２ライン（画素行）毎に長時間露光と短時間露光とが繰り返される。そして、各々の露光時間で得られた２種類の画像が合成されることで、ＨＤＲ画像が取得される。
フリッカ低減モードでは、長短の露光時間の合計が、フリッカ周期と同じ時間に設定される。そして連続するフレームにて、長時間露光の画像と短時間露光の画像とが合成される。これにより、フリッカ現象がキャンセルされた画像が取得される（特許文献１の明細書段落［０００８］［００３５］［００３６］等）。
フリッカ現象を低減しつつ、より広いダイナミックレンジを持つ画像を取得することが可能となる技術が求められている。
以上のような事情に鑑み、本技術の目的は、フリッカ現象を低減しつつ、より広いダイナミックレンジを持つ画像を取得することが可能な撮像装置、及び撮像方法を提供することにある。
上記目的を達成するため、本技術の一形態に係る撮像装置は、透過率調整部と、撮像素子と、露光期間設定部と、透過率設定部と、合成部とを具備する。
前記透過率調整部は、光の透過率を調整する。
前記撮像素子は、透過率調整部を透過した光を露光することで撮像を実行する。
前記露光期間設定部は、前記透過率調整部を透過した光のフリッカ周期に基づいて、第１の露光期間と前記第１の露光期間よりも短い第２の露光期間とを設定する。
前記透過率設定部は、前記第１の露光期間での撮像が実行される際の第１の透過率、及び前記第２の露光期間での撮像が実行される際の第２の透過率を設定する。
前記合成部は、前記第１の露光期間及び前記第１の透過率での撮像により取得される第１の画像と、前記第２の露光期間及び前記第２の透過率での撮像により取得される第２の画像とを合成する。
前記透過率調整部は、光の透過率を調整する。
前記撮像素子は、透過率調整部を透過した光を露光することで撮像を実行する。
前記露光期間設定部は、前記透過率調整部を透過した光のフリッカ周期に基づいて、第１の露光期間と前記第１の露光期間よりも短い第２の露光期間とを設定する。
前記透過率設定部は、前記第１の露光期間での撮像が実行される際の第１の透過率、及び前記第２の露光期間での撮像が実行される際の第２の透過率を設定する。
前記合成部は、前記第１の露光期間及び前記第１の透過率での撮像により取得される第１の画像と、前記第２の露光期間及び前記第２の透過率での撮像により取得される第２の画像とを合成する。
この撮像装置では、第１の露光期間と、第１の露光期間よりも短い第２の露光期間とが、撮像の対象となる光のフリッカ周期に基づいて設定される。また第１の露光期間及び第２の露光期間の各々に対応する透過率として、第１の透過率及び第２の透過率が設定される。これにより、第１の画像と第２の画像とを合成することで、フリッカ現象を低減しつつ、より広いダイナミックレンジを持つ画像を取得することが可能となる。
前記露光期間設定部は、前記第２の露光期間を前記フリッカ周期に基づいて設定してもよい。
前記合成部は、前記第１の画像と前記第２の画像とを合成することで、ＨＤＲ（High Dynamic Range）画像を生成してもよい。
前記露光期間設定部は、前記第２の露光期間を前記フリッカ周期の１／２の整数倍に設定してもよい。
前記露光期間設定部は、前記第１の露光期間を前記フリッカ周期の１／２の整数倍に設定してもよい。
前記透過率設定部は、前記第１の透過率を前記第２の透過率よりも大きい値に設定してもよい。
前記透過率設定部は、前記第１の透過率を１００％に設定してもよい。
前記透過率設定部は、前記第１の透過率を前記第２の透過率と同じ値に設定してもよい。
前記撮像装置は、さらに、前記第１の画像を取得するための第１の露光量の設定、及び前記第２の画像を取得するための第２の露光量の設定を実行する露光量設定部を具備してもよい。この場合、前記透過率設定部は、設定された前記第２の露光量、及び設定された前記第２の露光期間に基づいて、前記第２の透過率を設定してもよい。
前記透過率設定部は、設定された前記第１の露光量、及び設定された前記第１の露光期間に基づいて、前記第１の透過率を設定してもよい。
前記透過率調整部は、印加される電圧に応じて前記透過率を調整してもよい。
前記透過率調整部は、液晶ＮＤ（Neutral Density）フィルタであってもよい。
前記撮像装置は、さらに、前記透過率調整部を透過した光のフリッカ周期を検出する検出部を具備してもよい。
本技術の一形態に係る撮像方法は、撮像装置により実行される撮像方法であって、光の透過率を調整可能な透過率調整部を透過した光のフリッカ周期に基づいて、第１の露光期間と、前記第１の露光期間よりも短い第２の露光期間とを設定することを含む。前記透過率調整部を透過した光を露光することで撮像を実行する撮像素子により前記第１の露光期間での撮像が実行される際の第１の透過率が設定される。前記撮像素子により前記第２の露光期間での撮像が実行される際の第２の透過率が設定される。前記第１の露光期間及び前記第１の透過率での撮像により取得される第１の画像と、前記第２の露光期間及び前記第２の透過率での撮像により取得される第２の画像が合成される。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
［撮像装置１００の全体構成及び各部の構成］
図１は、本技術の一実施形態に係る撮像装置１００の機能的な構成例を示すブロック図である。
図１に示す撮像装置１００は、静止画像、及び動画像を撮像可能なデジタルカメラ（デジタルスチルカメラ、デジタルビデオカメラ）である。また、この撮像装置１００は、記録された画像データを再生可能とされている。撮像装置１００の具体的な構成は限定されず、任意に設計されてよい。
図１は、本技術の一実施形態に係る撮像装置１００の機能的な構成例を示すブロック図である。
図１に示す撮像装置１００は、静止画像、及び動画像を撮像可能なデジタルカメラ（デジタルスチルカメラ、デジタルビデオカメラ）である。また、この撮像装置１００は、記録された画像データを再生可能とされている。撮像装置１００の具体的な構成は限定されず、任意に設計されてよい。
図１に示すように、撮像装置１００は、レンズ系１０と、液晶ＮＤ（Neutral Density）フィルタ１１と、撮像素子１２と、アナログ信号処理回路１３と、Ａ／Ｄ変換回路１４と、デジタル信号処理回路１５とを有する。
また撮像装置１００は、レンズドライバ１６と、液晶ＮＤドライバ１７と、タイミングジェネレータ（ＴＧ：Timing Generator）１８と、記録部１９と、操作部２０とを有する。
また撮像装置１００は、制御部３０と、データ保存部２１と、表示処理部２２とを有する。
また撮像装置１００は、レンズドライバ１６と、液晶ＮＤドライバ１７と、タイミングジェネレータ（ＴＧ：Timing Generator）１８と、記録部１９と、操作部２０とを有する。
また撮像装置１００は、制御部３０と、データ保存部２１と、表示処理部２２とを有する。
レンズ系１０には、撮像対象となる被写体からの光である被写体光が入射する。
レンズ系１０は、撮像レンズ、フォーカスレンズ等の各種のレンズと、絞りとを含む。
被写体光は、レンズ系１０内の各種レンズ及び絞りを通って、撮像素子１２の露光面に結像される。
絞りは、その開度を調整することにより機械的に被写体光の光量を調整することが可能に構成されている。
絞りは、撮像レンズとフォーカスレンズとの間に配置されていてもよいし、フォーカスレンズよりも後方に配置されてもよい。
レンズ系１０は、撮像レンズ、フォーカスレンズ等の各種のレンズと、絞りとを含む。
被写体光は、レンズ系１０内の各種レンズ及び絞りを通って、撮像素子１２の露光面に結像される。
絞りは、その開度を調整することにより機械的に被写体光の光量を調整することが可能に構成されている。
絞りは、撮像レンズとフォーカスレンズとの間に配置されていてもよいし、フォーカスレンズよりも後方に配置されてもよい。
液晶ＮＤフィルタ１１は、被写体光の光路上に配置される。
液晶ＮＤフィルタ１１は、印加される電圧に応じて光の透過率を調整可能に構成されている。透過率とは、液晶ＮＤフィルタ１１に入射する光の光量と、液晶ＮＤフィルタ１１から出射される光の光量との比率である。なお透過率を、濃度と表現することも可能である。
本実施形態では、液晶ＮＤフィルタ１１の光の透過率を制御することで、撮像素子１２に結像される被写体光の光量を調整することが可能である。
液晶ＮＤフィルタ１１を用いることで、透過率を精度よく調整することが可能となる。従って、撮像素子１２に結像される被写体光の光量を精度よく調整することが可能となる。
本実施形態において、液晶ＮＤフィルタ１１は、透過率調整部の一実施形態として機能する。透過率調整部として、液晶ＮＤフィルタ１１とは異なるデバイスが用いられてもよい。また透過率の調整方法として、電圧の印加とは異なる方法が採用されてもよい。
例えば、透過率（濃度）が異なる複数のＮＤフィルタが、光路上に切り替え可能に配置されるような構成に対しても、本技術は適用可能である。
液晶ＮＤフィルタ１１は、印加される電圧に応じて光の透過率を調整可能に構成されている。透過率とは、液晶ＮＤフィルタ１１に入射する光の光量と、液晶ＮＤフィルタ１１から出射される光の光量との比率である。なお透過率を、濃度と表現することも可能である。
本実施形態では、液晶ＮＤフィルタ１１の光の透過率を制御することで、撮像素子１２に結像される被写体光の光量を調整することが可能である。
液晶ＮＤフィルタ１１を用いることで、透過率を精度よく調整することが可能となる。従って、撮像素子１２に結像される被写体光の光量を精度よく調整することが可能となる。
本実施形態において、液晶ＮＤフィルタ１１は、透過率調整部の一実施形態として機能する。透過率調整部として、液晶ＮＤフィルタ１１とは異なるデバイスが用いられてもよい。また透過率の調整方法として、電圧の印加とは異なる方法が採用されてもよい。
例えば、透過率（濃度）が異なる複数のＮＤフィルタが、光路上に切り替え可能に配置されるような構成に対しても、本技術は適用可能である。
撮像素子１２は、液晶ＮＤフィルタ１１を透過した光を露光することで撮像を実行する。
具体的には、撮像素子１２は、複数の画素（Ｒ画素、Ｇ画素、Ｂ画素）を有している。液晶ＮＤフィルタ１１を透過して露光面に入射された被写体光は、画素毎に光電変換により電子信号に変換される。ＲＧＢの各画素にて変換された電子信号である３原色信号（Ｒ、Ｇ、Ｂ）は、アナログ画像データとしてアナログ信号処理回路１３へ出力される。
撮像素子１２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサや、ＣＣＤ（Charge Coupled Device）センサなどにより構成されている。その他、撮像素子１２として、任意の構成が用いられてもよい。
具体的には、撮像素子１２は、複数の画素（Ｒ画素、Ｇ画素、Ｂ画素）を有している。液晶ＮＤフィルタ１１を透過して露光面に入射された被写体光は、画素毎に光電変換により電子信号に変換される。ＲＧＢの各画素にて変換された電子信号である３原色信号（Ｒ、Ｇ、Ｂ）は、アナログ画像データとしてアナログ信号処理回路１３へ出力される。
撮像素子１２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサや、ＣＣＤ（Charge Coupled Device）センサなどにより構成されている。その他、撮像素子１２として、任意の構成が用いられてもよい。
アナログ信号処理回路１３は、撮像素子１２から出力された画像信号に対して、例えばＣＤＳ（Correlated Double Sampling）処理や、ゲイン処理等を実行する。その他、信号処理の方式は限定されず、任意の方式が採用されてよい。
Ａ／Ｄ変換回路１４は、アナログ信号処理回路１３から出力されたアナログ画像データをデジタル画像データに変換する。具体的なＡ／Ｄ変換の方法は限定されず、任意の方法が採用されてよい。
デジタル信号処理回路１５は、Ａ／Ｄ変換回路１４から出力されたデジタル画像データに対して、例えばノイズ除去処理、ホワイトバランス調整処理、色補正処理、エッジ強調処理、ガンマ補正処理などの各種のデジタル信号処理を実行する。その他、デジタル画像データに対する処理は限定されず、任意の処理が実行されてよい。
デジタル信号処理回路１５によって処理されたデジタル画像データは、制御部３０に出力される。
またデジタル信号処理回路１５は、後述のＨＤＲモードにおいては、Ａ／Ｄ変換回路１４から出力されたデジタル画像データを検波して、その結果を制御部３０に出力する。
Ａ／Ｄ変換回路１４は、アナログ信号処理回路１３から出力されたアナログ画像データをデジタル画像データに変換する。具体的なＡ／Ｄ変換の方法は限定されず、任意の方法が採用されてよい。
デジタル信号処理回路１５は、Ａ／Ｄ変換回路１４から出力されたデジタル画像データに対して、例えばノイズ除去処理、ホワイトバランス調整処理、色補正処理、エッジ強調処理、ガンマ補正処理などの各種のデジタル信号処理を実行する。その他、デジタル画像データに対する処理は限定されず、任意の処理が実行されてよい。
デジタル信号処理回路１５によって処理されたデジタル画像データは、制御部３０に出力される。
またデジタル信号処理回路１５は、後述のＨＤＲモードにおいては、Ａ／Ｄ変換回路１４から出力されたデジタル画像データを検波して、その結果を制御部３０に出力する。
レンズドライバ１６は、制御部３０からの指示に応じて、レンズ系１０を制御する。具体的には、撮像レンズ、フォーカスレンズ及び絞りの位置を制御したり、絞りの開度を制御したりする。
液晶ＮＤドライバ１７は、制御部３０からの指示に応じて、液晶ＮＤフィルタ１１に印加される電圧を制御することによって、液晶ＮＤフィルタ１１の透過率（濃度）を制御する。
液晶ＮＤドライバ１７は、制御部３０からの指示に応じて、液晶ＮＤフィルタ１１に印加される電圧を制御することによって、液晶ＮＤフィルタ１１の透過率（濃度）を制御する。
タイミングジェネレータ１８は、制御部３０からの指示に応じて撮像素子１２の駆動に必要な駆動パルスを生成して、撮像素子１２に供給する。タイミングジェネレータ１８によって撮像素子１２が駆動されることで、被写体像が撮像され（電子シャッター）、被写体像の画像が取得される。
またタイミングジェネレータ１８が、撮像素子１２のシャッタースピードを調整することで、撮像の際の露光期間が制御される。
露光期間とは、撮像により画像が取得される際に、撮像素子１２に光が入射される時間幅のことである。露光期間は、シャッター時間ともいえる。
タイミングジェネレータ１８は、例えば、３０ｆｐｓのフレームレートで撮像素子１２に撮像を行わせる。もちろんこのフレームレートに限定される訳ではない。
またタイミングジェネレータ１８が、撮像素子１２のシャッタースピードを調整することで、撮像の際の露光期間が制御される。
露光期間とは、撮像により画像が取得される際に、撮像素子１２に光が入射される時間幅のことである。露光期間は、シャッター時間ともいえる。
タイミングジェネレータ１８は、例えば、３０ｆｐｓのフレームレートで撮像素子１２に撮像を行わせる。もちろんこのフレームレートに限定される訳ではない。
記録部１９は、制御部３０から出力された画像データや、その画像データに関連するメタデータ（例えば、その画像データが取得された日時等）を記録する。
記録部１９は、例えば、メモリーカード等の半導体メモリ、光ディスク、ＨＤ（hard Disc）などの記録媒体にデータを記録する。
記録媒体は、撮像装置１００の内部に固定されていてもよいし、撮像装置１００に対して着脱可能に構成されていてもよい。
記録部１９は、例えば、メモリーカード等の半導体メモリ、光ディスク、ＨＤ（hard Disc）などの記録媒体にデータを記録する。
記録媒体は、撮像装置１００の内部に固定されていてもよいし、撮像装置１００に対して着脱可能に構成されていてもよい。
操作部２０は、例えば、電源スイッチ、シャッターボタン、録画ボタン、設定ボタン、モード切替えボタンなどを含む。
電源スイッチは、撮像装置１００の電源のＯＮ／ＯＦＦを切替えるために用いられる。
シャッターボタンは、静止画像を撮像する静止画像撮像モードにおいて、画像データを静止画データとして記録するために用いられる。
録画ボタンは、動画像を撮像する動画像撮像モードにおいて、画像データを動画データとして記録するために用いられる。
設定ボタンは、例えば、ズームレンズ、フォーカスレンズ、絞りの位置を調整したり、絞りの開度を調整したりするために用いられる。
また設定ボタンは、電子シャッターを調整したり、アナログ信号処理回路１３のゲイン処理におけるゲイン値を変更したり、デジタル信号処理回路１５による各種の処理の設定値を変更したりするために用いられる。
モード切替えボタンは、静止画像撮像モードと、動画像撮像モードとを切替えるために用いられる。またモード切替えボタンにより、連写モードを選択することが可能である。
また本実施形態では、モード切替えボタンにより、記録部１９により記録された画像を再生する再生モードへの切替えが実行される。
電源スイッチは、撮像装置１００の電源のＯＮ／ＯＦＦを切替えるために用いられる。
シャッターボタンは、静止画像を撮像する静止画像撮像モードにおいて、画像データを静止画データとして記録するために用いられる。
録画ボタンは、動画像を撮像する動画像撮像モードにおいて、画像データを動画データとして記録するために用いられる。
設定ボタンは、例えば、ズームレンズ、フォーカスレンズ、絞りの位置を調整したり、絞りの開度を調整したりするために用いられる。
また設定ボタンは、電子シャッターを調整したり、アナログ信号処理回路１３のゲイン処理におけるゲイン値を変更したり、デジタル信号処理回路１５による各種の処理の設定値を変更したりするために用いられる。
モード切替えボタンは、静止画像撮像モードと、動画像撮像モードとを切替えるために用いられる。またモード切替えボタンにより、連写モードを選択することが可能である。
また本実施形態では、モード切替えボタンにより、記録部１９により記録された画像を再生する再生モードへの切替えが実行される。
さらに本実施形態では、静止画像撮像モード、動画像撮像モード、及び連写モードの各々において、ノーマルモード及びＨＤＲモードを切替えて設定することが可能である。
ノーマルモードは、通常の動作によって撮像を行うモードである。具体的には、所定のフレームレートにて撮像素子１２により撮像が実行される。そして撮像素子１２、アナログ信号処理回路１３、Ａ／Ｄ変換回路１４、及びデジタル信号処理回路１５を介して出力されるデジタル画像データが、撮像画像のデータとして記録される。
ＨＤＲモードは、露光期間の異なる複数の画像を撮影し、１枚の画像として合成することで、ＨＤＲ画像を生成するモードである。
ＨＤＲモードを選択することで、より広いダイナミックレンジを持つ階調表現の豊かなＨＤＲ画像を生成することが可能となる。
ＨＤＲモードにおける動作は、後述する。
ノーマルモードは、通常の動作によって撮像を行うモードである。具体的には、所定のフレームレートにて撮像素子１２により撮像が実行される。そして撮像素子１２、アナログ信号処理回路１３、Ａ／Ｄ変換回路１４、及びデジタル信号処理回路１５を介して出力されるデジタル画像データが、撮像画像のデータとして記録される。
ＨＤＲモードは、露光期間の異なる複数の画像を撮影し、１枚の画像として合成することで、ＨＤＲ画像を生成するモードである。
ＨＤＲモードを選択することで、より広いダイナミックレンジを持つ階調表現の豊かなＨＤＲ画像を生成することが可能となる。
ＨＤＲモードにおける動作は、後述する。
データ保存部２１は、例えば、各種のプログラムや、各種のデータが固定的に記憶される不揮発性のメモリ（例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、プログラムＲＯＭ（Read Only Memory））、一時格納領域として利用されるＲＡＭ（Radom Access Memory）等のメモリデバイスにより構成される。
データ保存部２１は、ＨＤＲモードにおいて、合成される画像を保存するためのフレームメモリとしても使用される。
またデータ保存部２１には、透過率対電圧テーブルが記憶されている。透過率対電圧テーブルは、液晶ＮＤフィルタ１１の透過率と、印加電圧との関係が示されたテーブルである。
もちろんデータ保存部２１に、制御部３０から出力された画像データや、その画像データに関連するメタデータが保存されてもよい。
データ保存部２１は、ＨＤＲモードにおいて、合成される画像を保存するためのフレームメモリとしても使用される。
またデータ保存部２１には、透過率対電圧テーブルが記憶されている。透過率対電圧テーブルは、液晶ＮＤフィルタ１１の透過率と、印加電圧との関係が示されたテーブルである。
もちろんデータ保存部２１に、制御部３０から出力された画像データや、その画像データに関連するメタデータが保存されてもよい。
表示処理部２２は、表示デバイスに対する表示処理を実行する。例えば、撮像された画像やユーザ操作のためのＧＵＩ（Graphical User Interface）等が表示される。
なお本実施形態では、表示デバイスも含めて表示処理部２２が実現されている。すなわち液晶ディスプレイや、有機ＥＬ（Electro luminescence）ディスプレイ等からなる表示デバイスが、撮像装置１００に備えられている。
もちろんこれに限定されず、撮像装置１００に接続された外部の表示デバイスに対して、画像やＧＵＩ等の表示処理が実行されてもよい。
例えば、表示処理部２２は、デジタル信号処理回路１５から出力された画像データをリアルタイムで表示することによって、スルー画像を表示する。スルー画像は、静止画像や動画像を撮像するときに、ユーザが画角を合わせることを可能とするために表示される。
また表示処理部２２は、記録部１９により記録された画像を再生することも可能である。
なお本実施形態では、表示デバイスも含めて表示処理部２２が実現されている。すなわち液晶ディスプレイや、有機ＥＬ（Electro luminescence）ディスプレイ等からなる表示デバイスが、撮像装置１００に備えられている。
もちろんこれに限定されず、撮像装置１００に接続された外部の表示デバイスに対して、画像やＧＵＩ等の表示処理が実行されてもよい。
例えば、表示処理部２２は、デジタル信号処理回路１５から出力された画像データをリアルタイムで表示することによって、スルー画像を表示する。スルー画像は、静止画像や動画像を撮像するときに、ユーザが画角を合わせることを可能とするために表示される。
また表示処理部２２は、記録部１９により記録された画像を再生することも可能である。
制御部３０は、例えばＣＰＵ、ＧＰＵ、ＤＳＰ等のプロセッサ、ＲＯＭやＲＡＭ等のメモリ、ＨＤＤ等の記憶デバイス等、コンピュータの構成に必要なハードウェアを有する。例えばＣＰＵ等がＲＯＭ等に予め記録されている本技術に係るプログラムをＲＡＭにロードして実行することにより、本技術に係る撮像方法が実行される。
制御部３０の構成は限定されず、任意のハードウェア及びソフトウェアが用いられてよい。もちろんＦＰＧＡ、ＡＳＩＣ等のハードウェアが用いられてもよい。
本実施形態では、ＣＰＵ等が所定のプログラムを実行することで、機能ブロックとして露出制御処理部３１、画像合成処理部３２、及びフリッカ検出部３３が構成される。もちろん機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが用いられてもよい。
また図１に示すデータ保存部２１や表示処理部２２等の他のブロックが、制御部３０内の機能ブロックとして構成されてもよい。
プログラムは、例えば種々の記録媒体を介して撮像装置１００にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。
プログラムが記録される記録媒体の種類等は限定されず、コンピュータが読み取り可能な任意の記録媒体が用いられてよい。例えば、コンピュータが読み取り可能な非一過性の任意の記憶媒体が用いられてよい。
制御部３０の構成は限定されず、任意のハードウェア及びソフトウェアが用いられてよい。もちろんＦＰＧＡ、ＡＳＩＣ等のハードウェアが用いられてもよい。
本実施形態では、ＣＰＵ等が所定のプログラムを実行することで、機能ブロックとして露出制御処理部３１、画像合成処理部３２、及びフリッカ検出部３３が構成される。もちろん機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが用いられてもよい。
また図１に示すデータ保存部２１や表示処理部２２等の他のブロックが、制御部３０内の機能ブロックとして構成されてもよい。
プログラムは、例えば種々の記録媒体を介して撮像装置１００にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。
プログラムが記録される記録媒体の種類等は限定されず、コンピュータが読み取り可能な任意の記録媒体が用いられてよい。例えば、コンピュータが読み取り可能な非一過性の任意の記憶媒体が用いられてよい。
フリッカ検出部３３は、撮像対象となる被写体光にフリッカが発生しているか否かを検出することが可能である。またフリッカ検出部３３は、フリッカが発生している場合には、フリッカ周期を検出することが可能である。
上記したように本実施形態では、撮像素子１２により、液晶ＮＤフィルタ１１を透過した光が露光されることで撮像が実行される。
フリッカ検出部３３は、液晶ＮＤフィルタ１１を透過した光のフリッカの有無、及びフリッカ周期を検出することが可能である。
フリッカ検出部３３は、本技術に係る検出部の一実施形態として機能する。
上記したように本実施形態では、撮像素子１２により、液晶ＮＤフィルタ１１を透過した光が露光されることで撮像が実行される。
フリッカ検出部３３は、液晶ＮＤフィルタ１１を透過した光のフリッカの有無、及びフリッカ周期を検出することが可能である。
フリッカ検出部３３は、本技術に係る検出部の一実施形態として機能する。
画像合成処理部３２は、ＨＤＲモードの設定時において、異なる露光量により撮像された２枚の画像（後に説明する長時間露光画像及び短時間露光画像）を合成することで、ＨＤＲ画像を生成する。
画像合成処理部３２は、本技術に係る合成部の一実施形態として機能する。
画像合成処理部３２は、本技術に係る合成部の一実施形態として機能する。
図２は、露出制御処理部３１の機能的な構成例を示すブロック図である。
露出制御処理部３１は、撮像が実行される際の露光量を制御するための種々の処理を実行することが可能であり、露光量設定部３４と、露光期間設定部３５と、透過率設定部３６とを有する。
露光量設定部３４は、撮像が実行される際の露光量を設定する。
露光期間設定部３５は、撮像が実行される際の露光期間を設定する。
透過率設定部３６は、撮像が実行される際の液晶ＮＤフィルタ１１の透過率を設定する。
露出制御処理部３１は、撮像が実行される際の露光量を制御するための種々の処理を実行することが可能であり、露光量設定部３４と、露光期間設定部３５と、透過率設定部３６とを有する。
露光量設定部３４は、撮像が実行される際の露光量を設定する。
露光期間設定部３５は、撮像が実行される際の露光期間を設定する。
透過率設定部３６は、撮像が実行される際の液晶ＮＤフィルタ１１の透過率を設定する。
例えば、露光量、露光期間、及び透過率は、以下の式に従って設定される。
Ｌｏｇ（露光量）＝Ｌｏｇ（露光期間）＋Ｌｏｇ（透過率）・・・・・・・・（１）
例えば、露光量設定部３４により、撮像が実行される際に必要となる露光量が設定される。当該露光量が実現されるように、式（１）に従って、露光期間設定部３５及び透過率設定部３６により、露光期間及び透過率が設定される。
あるいは、露光期間又は透過率のいずれかが固定された状態で、必要な露光量となるように、固定されていない方のパラメータが調整されてもよい。
あるいは、必要な露光量を設定することなく、最大の露光期間及び最大の透過率で撮像を行うといった制御も可能である。
Ｌｏｇ（露光量）＝Ｌｏｇ（露光期間）＋Ｌｏｇ（透過率）・・・・・・・・（１）
例えば、露光量設定部３４により、撮像が実行される際に必要となる露光量が設定される。当該露光量が実現されるように、式（１）に従って、露光期間設定部３５及び透過率設定部３６により、露光期間及び透過率が設定される。
あるいは、露光期間又は透過率のいずれかが固定された状態で、必要な露光量となるように、固定されていない方のパラメータが調整されてもよい。
あるいは、必要な露光量を設定することなく、最大の露光期間及び最大の透過率で撮像を行うといった制御も可能である。
［動作説明］
次に、本実施形態に係る撮像装置１００による処理について具体的に説明する。図３は本実施形態に係る撮像装置１００の処理を示すフローチャートである。
次に、本実施形態に係る撮像装置１００による処理について具体的に説明する。図３は本実施形態に係る撮像装置１００の処理を示すフローチャートである。
まず、制御部３０は、撮像の設定がＨＤＲモードであるか否かを判定する（ステップ１０１）。なお、ノーマルモードと、ＨＤＲモードとの切替えは、例えば操作部２０のモード切替えボタンによって実行することができる。
現在のモードがＨＤＲモードではない場合（ステップ１０１のＮＯ）、つまり、現在のモードがノーマルモードである場合、撮像装置１００は、通常撮像処理を行う（ステップ１０２）。
現在のモードがＨＤＲモードではない場合（ステップ１０１のＮＯ）、つまり、現在のモードがノーマルモードである場合、撮像装置１００は、通常撮像処理を行う（ステップ１０２）。
[通常撮像処理]
図４は、通常撮像処理の一例を示すフローチャートである。
露光量設定部３４により、画像を取得するための露光量が設定される（ステップ２０１）。
露光量は、例えばユーザにより入力された設定値や、被写体を照らす環境光の光量に基づいて設定される。もちろん露光量を設定する方法は限定されず、任意の方法が採用されてよい。
露光期間設定部３５により、撮像が実行される際の露光期間が設定される。また透過率設定部３６により、撮像が実行される際の液晶ＮＤフィルタ１１の透過率が設定される（ステップ２０２）。
例えば、上記した式（１）に従って、ステップ２０１にて設定された露光量が実現されるように、露光期間及び透過率を算出することが可能である。
図４は、通常撮像処理の一例を示すフローチャートである。
露光量設定部３４により、画像を取得するための露光量が設定される（ステップ２０１）。
露光量は、例えばユーザにより入力された設定値や、被写体を照らす環境光の光量に基づいて設定される。もちろん露光量を設定する方法は限定されず、任意の方法が採用されてよい。
露光期間設定部３５により、撮像が実行される際の露光期間が設定される。また透過率設定部３６により、撮像が実行される際の液晶ＮＤフィルタ１１の透過率が設定される（ステップ２０２）。
例えば、上記した式（１）に従って、ステップ２０１にて設定された露光量が実現されるように、露光期間及び透過率を算出することが可能である。
ステップ２０２にて設定された露光期間及び透過率で、撮像素子１２により撮像が実行され、画像が取得される（ステップ２０３）。
例えば、制御部３０により、次フレームの画像データが撮像されるタイミングに合わせて、ステップ２０２にて算出された透過率となるように、液晶ＮＤフィルタ１１の透過率が制御される。
具体的には、制御部３０により、透過率対電圧テーブルが参照され、ステップ２０２にて算出された透過率に対応する印加電圧が読み出される。
制御部３０により、読み出された印加電圧を印加するように、液晶ＮＤドライバ１７に指示が出される。なお制御部３０によりテーブルが参照される場合に限定されず、プログラムに従ってリアルタイムに電圧が算出されてもよい。
液晶ＮＤドライバ１７により、制御部３０からの指示に基づいて、液晶ＮＤフィルタ１１に電圧が印加される。液晶ＮＤフィルタ１１により、印加された電圧に応じて透過率が調整される。
液晶ＮＤフィルタ１１を用いることで、高い精度で透過率を調整することが可能となる。
例えば、制御部３０により、次フレームの画像データが撮像されるタイミングに合わせて、ステップ２０２にて算出された透過率となるように、液晶ＮＤフィルタ１１の透過率が制御される。
具体的には、制御部３０により、透過率対電圧テーブルが参照され、ステップ２０２にて算出された透過率に対応する印加電圧が読み出される。
制御部３０により、読み出された印加電圧を印加するように、液晶ＮＤドライバ１７に指示が出される。なお制御部３０によりテーブルが参照される場合に限定されず、プログラムに従ってリアルタイムに電圧が算出されてもよい。
液晶ＮＤドライバ１７により、制御部３０からの指示に基づいて、液晶ＮＤフィルタ１１に電圧が印加される。液晶ＮＤフィルタ１１により、印加された電圧に応じて透過率が調整される。
液晶ＮＤフィルタ１１を用いることで、高い精度で透過率を調整することが可能となる。
制御部３０により、タイミングジェネレータ１８が制御され、ステップ２０２で算出された露光期間となるように、撮像素子１２のシャッタースピードが調整される。
液晶ＮＤフィルタ１１を透過した被写体像が撮像素子１２の露光面に結合され、撮像素子１２により画像データが生成される。この画像データは、アナログ信号処理回路１３により各種の処理が施された後、Ａ／Ｄ変換回路１４によってデジタル信号に変換される。
デジタル信号に変換された画像データは、デジタル信号処理回路１５において各種の処理が実行された後、制御部３０により取得され、記録部１９に記憶される。
もちろん通常撮像の具体的な方法として、他の任意の方法が採用されてよい。
デジタル信号に変換された画像データは、デジタル信号処理回路１５において各種の処理が実行された後、制御部３０により取得され、記録部１９に記憶される。
もちろん通常撮像の具体的な方法として、他の任意の方法が採用されてよい。
図３に示すように、現在のモードがＨＤＲモードである場合（ステップ１０１のＹＥＳ）、撮像装置１００は、ステップ１０３からステップ１０８の処理により、ＨＤＲ画像の生成を実行する。
［ＨＤＲ画像の生成の基本動作］
ここで、まずＨＤＲ画像を生成する際の基本動作について説明する。
図５及び図６は、ＨＤＲ画像の生成の基本動作を説明するための模式図である。
ＨＤＲ画像とは、白飛びや黒つぶれが十分に抑制された、より広いダイナミックレンジを持つ画像である。例えば、露光量を変えつつ複数枚の写真が撮像され、撮像された画像が合成されることでＨＤＲ画像が取得される。
ここで、まずＨＤＲ画像を生成する際の基本動作について説明する。
図５及び図６は、ＨＤＲ画像の生成の基本動作を説明するための模式図である。
ＨＤＲ画像とは、白飛びや黒つぶれが十分に抑制された、より広いダイナミックレンジを持つ画像である。例えば、露光量を変えつつ複数枚の写真が撮像され、撮像された画像が合成されることでＨＤＲ画像が取得される。
図５及び図６に示すように本実施形態では、連続するフレームにて、長時間露光画像Ｐ１と、短時間露光画像Ｐ２とが生成される。そして、長時間露光画像Ｐ１と、短時間露光画像Ｐ２とが合成されることで、ＨＤＲ画像Ｐ３が生成される。
長時間露光画像Ｐ１は、長時間露光により撮像が実行されることで生成される。本実施形態では、露光期間及び透過率が適宜設定されて長時間露光による撮像が実行される。
以下、長時間露光画像Ｐ１を撮像するための露光期間を第１の露光期間Ｔ１とする。また長時間露光画像Ｐ１を撮像するための透過率を第１の透過率とする。第１の透過率は、第１の露光期間Ｔ１での撮像が実行される際の透過率ともいえる。
長時間露光画像Ｐ１は、第１の露光期間Ｔ１及び第１の透過率での撮像により取得される。
長時間露光画像Ｐ１は、長時間露光により撮像が実行されることで生成される。本実施形態では、露光期間及び透過率が適宜設定されて長時間露光による撮像が実行される。
以下、長時間露光画像Ｐ１を撮像するための露光期間を第１の露光期間Ｔ１とする。また長時間露光画像Ｐ１を撮像するための透過率を第１の透過率とする。第１の透過率は、第１の露光期間Ｔ１での撮像が実行される際の透過率ともいえる。
長時間露光画像Ｐ１は、第１の露光期間Ｔ１及び第１の透過率での撮像により取得される。
短時間露光画像Ｐ２は、短時間露光により撮像が実行されることで生成される。本実施形態では、第１の露光期間Ｔ１よりも短い露光期間、及び透過率が適宜設定されて短時間露光による撮像が実行される。
以下、短時間露光画像Ｐ２を撮像するための露光期間を第２の露光期間Ｔ２とする。第２の露光期間Ｔ２は、第１の露光期間Ｔ１よりも短くなる。
また短時間露光画像Ｐ２を撮像するための透過率を第２の透過率とする。第２の透過率は、第２の露光期間Ｔ２での撮像が実行される際の透過率ともいえる。
短時間露光画像Ｐ２は、第２の露光期間Ｔ２及び第２の透過率での撮像により取得される。
以下、短時間露光画像Ｐ２を撮像するための露光期間を第２の露光期間Ｔ２とする。第２の露光期間Ｔ２は、第１の露光期間Ｔ１よりも短くなる。
また短時間露光画像Ｐ２を撮像するための透過率を第２の透過率とする。第２の透過率は、第２の露光期間Ｔ２での撮像が実行される際の透過率ともいえる。
短時間露光画像Ｐ２は、第２の露光期間Ｔ２及び第２の透過率での撮像により取得される。
図５に示す例では、ｎフレーム目にて、長時間露光による撮像が実行される。従って第１の露光期間Ｔ１にて撮像が実行される。
ｎ＋１フレーム目にて、短時間露光による撮像が実行される。従って、第２の露光期間Ｔ２にて撮像が実行される。またｎ＋１フレーム目にて、ｎフレーム目で撮像された長時間露光画像Ｐ１の画像データが出力されフレームメモリに記憶される。
ｎ＋２フレーム目にて、ｎ＋１フレーム目で撮像された短時間露光画像Ｐ２の画像データが出力される。そしてｎ＋２フレーム目にて、長時間露光画像Ｐ１の画像データと、短時間露光画像Ｐ２の画像データとが合成され、ＨＤＲ画像Ｐ３が生成される。
なお、ｎ＋２フレーム目には、次フレームのＨＤＲ画像を生成するための、長時間露光による撮像が実行される。
従って図５に示すｎ、ｎ＋１、ｎ＋２の各フレームが繰り返されるフレームレートをＭ（ｆｐｓ）とすると、ＨＤＲ画像Ｐ３が生成されるフレームレートは、１／２倍のＭ／２（ｆｐｓ）となる。
ｎ＋１フレーム目にて、短時間露光による撮像が実行される。従って、第２の露光期間Ｔ２にて撮像が実行される。またｎ＋１フレーム目にて、ｎフレーム目で撮像された長時間露光画像Ｐ１の画像データが出力されフレームメモリに記憶される。
ｎ＋２フレーム目にて、ｎ＋１フレーム目で撮像された短時間露光画像Ｐ２の画像データが出力される。そしてｎ＋２フレーム目にて、長時間露光画像Ｐ１の画像データと、短時間露光画像Ｐ２の画像データとが合成され、ＨＤＲ画像Ｐ３が生成される。
なお、ｎ＋２フレーム目には、次フレームのＨＤＲ画像を生成するための、長時間露光による撮像が実行される。
従って図５に示すｎ、ｎ＋１、ｎ＋２の各フレームが繰り返されるフレームレートをＭ（ｆｐｓ）とすると、ＨＤＲ画像Ｐ３が生成されるフレームレートは、１／２倍のＭ／２（ｆｐｓ）となる。
図６Ａに示す例では、長時間露光画像Ｐ１は、被写体の手前側に相当する部分に白飛びが発生している。すなわち本例では、露光量の多い箇所が白く写り、階調が失われている。長時間露光画像Ｐ１は、黒つぶれが発生しないように、十分に長い露光期間が設定される。長時間露光画像Ｐ１として、白飛びが許容された画像が撮像されてもよい。
図６Ｂに示す例では、短時間露光画像Ｐ２は、被写体の奥側に相当する部分に黒つぶれが発生している。すなわち本例では、露光量の少ない箇所が黒く写り、階調が失われている。短時間露光画像Ｐ２は、白飛びが発生しないように、短い露光期間が設定される。短時間露光画像Ｐ２として、黒つぶれが許容された画像が撮像されてもよい。
図６Ｃに例示するように、長時間露光画像Ｐ１と、短時間露光画像Ｐ２とがＨＤＲ合成されることでＨＤＲ画像Ｐ３が生成される。
これにより、被写体の手前側に相当する部分、及び被写体の奥側に相当する部分のいずれにおいても階調が失われない画像を生成することが可能となる。すなわち、より広いダイナミックレンジを持つ階調表現の豊かなＨＤＲ画像Ｐ３を取得することが可能となる。
ＨＤＲ合成の方法としては、例えば階調値（画素値）について閾値が設定される。そして、各画素に対して長時間露光画像Ｐ１の階調値又は短時間露光画像Ｐ２の階調値を、閾値に基づいて適宜割り振り、合成画像として出力する。
もちろん画像合成の方法は限定されず、例えばゲイン処理等を含んだ画像合成方法等、任意の方法が採用されてよい。
本実施形態において、長時間露光画像Ｐ１は、第１の画像の一実施形態に相当する。また短時間露光画像Ｐ２は、第２の画像の一実施形態に相当する。
図６Ｂに示す例では、短時間露光画像Ｐ２は、被写体の奥側に相当する部分に黒つぶれが発生している。すなわち本例では、露光量の少ない箇所が黒く写り、階調が失われている。短時間露光画像Ｐ２は、白飛びが発生しないように、短い露光期間が設定される。短時間露光画像Ｐ２として、黒つぶれが許容された画像が撮像されてもよい。
図６Ｃに例示するように、長時間露光画像Ｐ１と、短時間露光画像Ｐ２とがＨＤＲ合成されることでＨＤＲ画像Ｐ３が生成される。
これにより、被写体の手前側に相当する部分、及び被写体の奥側に相当する部分のいずれにおいても階調が失われない画像を生成することが可能となる。すなわち、より広いダイナミックレンジを持つ階調表現の豊かなＨＤＲ画像Ｐ３を取得することが可能となる。
ＨＤＲ合成の方法としては、例えば階調値（画素値）について閾値が設定される。そして、各画素に対して長時間露光画像Ｐ１の階調値又は短時間露光画像Ｐ２の階調値を、閾値に基づいて適宜割り振り、合成画像として出力する。
もちろん画像合成の方法は限定されず、例えばゲイン処理等を含んだ画像合成方法等、任意の方法が採用されてよい。
本実施形態において、長時間露光画像Ｐ１は、第１の画像の一実施形態に相当する。また短時間露光画像Ｐ２は、第２の画像の一実施形態に相当する。
図３に示すように、倍速駆動設定が実行される（ステップ１０３）。
本実施形態では、図５に示すｎ、ｎ＋１、ｎ＋２の各フレームが繰り返されるフレームレートが、通常撮像処理のフレームレートの２倍のフレームレートとなるように、駆動周波数が設定される。
これにより、ノーマルモードにてノーマル画像が生成されるフレームレートと、ＨＤＲモードにてＨＤＲ画像が生成されるフレームレートとを等しくすることが可能となる。これにより、撮像装置１００を使用するユーザに対するユーザビリティが向上する。
もちろんＨＤＲ画像Ｐ３が生成されるフレームレートが限定される訳ではない。
本実施形態では、図５に示すｎ、ｎ＋１、ｎ＋２の各フレームが繰り返されるフレームレートが、通常撮像処理のフレームレートの２倍のフレームレートとなるように、駆動周波数が設定される。
これにより、ノーマルモードにてノーマル画像が生成されるフレームレートと、ＨＤＲモードにてＨＤＲ画像が生成されるフレームレートとを等しくすることが可能となる。これにより、撮像装置１００を使用するユーザに対するユーザビリティが向上する。
もちろんＨＤＲ画像Ｐ３が生成されるフレームレートが限定される訳ではない。
[長時間露光画像の撮像処理]
長時間露光画像Ｐ１の撮像処理が実行される（ステップ１０４）。
図７は、長時間露光画像Ｐ１の撮像処理の一例を示すフローチャートである。
露光量設定部３４により、長時間露光画像Ｐ１を取得するための第１の露光量が設定される（ステップ３０１）。本実施形態では、ユーザからの設定値や環境光の光量等に基づいて目標となる第１の露光量が設定される。
露光期間設定部３５により、長時間露光画像Ｐ１の撮像が実行される際の第１の露光期間Ｔ１が設定される。また透過率設定部３６により、長時間露光画像Ｐ１の撮像が実行される際の第１の透過率が設定される（ステップ３０２）。
長時間露光画像Ｐ１の撮像処理が実行される（ステップ１０４）。
図７は、長時間露光画像Ｐ１の撮像処理の一例を示すフローチャートである。
露光量設定部３４により、長時間露光画像Ｐ１を取得するための第１の露光量が設定される（ステップ３０１）。本実施形態では、ユーザからの設定値や環境光の光量等に基づいて目標となる第１の露光量が設定される。
露光期間設定部３５により、長時間露光画像Ｐ１の撮像が実行される際の第１の露光期間Ｔ１が設定される。また透過率設定部３６により、長時間露光画像Ｐ１の撮像が実行される際の第１の透過率が設定される（ステップ３０２）。
例えば、第１の露光量、第１の露光期間Ｔ１、及び第１の透過率は、以下の式に従って設定される。
Ｌｏｇ（第１の露光量）＝Ｌｏｇ（第１の露光期間）＋Ｌｏｇ（第１の透過率）・・・（２）
例えば、目標となる第１の露光量が設定され、まず第１の露光期間Ｔ１が設定される。そして第１の露光量及び第１の露光期間Ｔ１に基づいて、式（２）に従って、第１の透過率が設定される。
本実施形態では、液晶ＮＤフィルタ１１により高い精度で第１の透過率を設定することが可能である。従って、第１の露光量及び第１の露光期間Ｔ１が設定された後に、第１の透過率を設定することは容易に実現可能である。
もちろんこのような設定方法に限定される訳ではない。
Ｌｏｇ（第１の露光量）＝Ｌｏｇ（第１の露光期間）＋Ｌｏｇ（第１の透過率）・・・（２）
例えば、目標となる第１の露光量が設定され、まず第１の露光期間Ｔ１が設定される。そして第１の露光量及び第１の露光期間Ｔ１に基づいて、式（２）に従って、第１の透過率が設定される。
本実施形態では、液晶ＮＤフィルタ１１により高い精度で第１の透過率を設定することが可能である。従って、第１の露光量及び第１の露光期間Ｔ１が設定された後に、第１の透過率を設定することは容易に実現可能である。
もちろんこのような設定方法に限定される訳ではない。
ステップ３０２にて設定された第１の露光期間Ｔ１及び第１の透過率で、撮像素子１２により撮像が実行され、長時間露光画像Ｐ１が取得される（ステップ３０３）。
撮像により取得された長時間露光画像Ｐ１は、データ保存部２１のフレームメモリに保存される。
撮像により取得された長時間露光画像Ｐ１は、データ保存部２１のフレームメモリに保存される。
図３に示すように、フリッカ検出部３３により、撮像対象となる被写体光、すなわち液晶ＮＤフィルタ１１を透過した被写体光に、フリッカが発生しているか否かが判定される（ステップ１０５）。
例えば、被写体を照明する光源が蛍光灯であった場合に、被写体光にフリッカが発生する場合がある。蛍光灯は、電源周波数（５０Ｈｚ、６０Ｈｚ）の２倍の周波数（１００Ｈｚ、１２０Ｈｚ）で明滅を繰り返している。この明滅が被写体光のフリッカの原因となる。
被写体光にフリッカが発生すると、撮像される画像にフリッカ現象が発生してしまい、画像の品質が低下してしまう場合があり得る。例えば、所定のフレームレートで撮影される動画像において、フレーム間フリッカが発生してしまう場合があり得る。
フリッカ現象が発生すると、表示される画像がちらついているように見えてしまい、ユーザに不快感を与えてしまう。
例えば、被写体を照明する光源が蛍光灯であった場合に、被写体光にフリッカが発生する場合がある。蛍光灯は、電源周波数（５０Ｈｚ、６０Ｈｚ）の２倍の周波数（１００Ｈｚ、１２０Ｈｚ）で明滅を繰り返している。この明滅が被写体光のフリッカの原因となる。
被写体光にフリッカが発生すると、撮像される画像にフリッカ現象が発生してしまい、画像の品質が低下してしまう場合があり得る。例えば、所定のフレームレートで撮影される動画像において、フレーム間フリッカが発生してしまう場合があり得る。
フリッカ現象が発生すると、表示される画像がちらついているように見えてしまい、ユーザに不快感を与えてしまう。
［フリッカ検出処理]
図８は、フリッカ検出処理の一例を示すフローチャートである。
本実施形態では、図３に示す撮像のための処理とは別に、図８に示すフリッカ検出処理が定期的に実行されている。
フリッカ検出部３３により、フリッカの有無とフリッカ周期とが検出される（ステップ４０１）。
本実施形態では、デジタル信号処理回路１５により、Ａ／Ｄ変換回路１４から入力されたデジタル画像データが検波され、検波結果が制御部３０に出力される。フリッカ検出部３３は、この検波結果に基づいて、フリッカが発生しているかどうかを判定する。
例えば、フリッカ検出部３３により、所定フレーム分（５フレーム程度）の画像データの検波結果が取得される。そして、これらの画像データ全体の輝度（階調）の変動具合に基づいて、フリッカの有無、及びフリッカ周期が検出される。
例えば、通常撮像処理において取得された画像を用いてフリッカの検出が実行されてもよい。又は短時間露光画像Ｐ２に基づいて、フリッカの検出が実行されてもよい。あるいは、フリッカ検出用の撮像が実行されてもよい。
フリッカの検出方法は限定されない。例えば、離散フーリエ変換を用いてフリッカの有無及びフリッカ周期を特定する方法等、任意の方法が採用されてよい。
図８は、フリッカ検出処理の一例を示すフローチャートである。
本実施形態では、図３に示す撮像のための処理とは別に、図８に示すフリッカ検出処理が定期的に実行されている。
フリッカ検出部３３により、フリッカの有無とフリッカ周期とが検出される（ステップ４０１）。
本実施形態では、デジタル信号処理回路１５により、Ａ／Ｄ変換回路１４から入力されたデジタル画像データが検波され、検波結果が制御部３０に出力される。フリッカ検出部３３は、この検波結果に基づいて、フリッカが発生しているかどうかを判定する。
例えば、フリッカ検出部３３により、所定フレーム分（５フレーム程度）の画像データの検波結果が取得される。そして、これらの画像データ全体の輝度（階調）の変動具合に基づいて、フリッカの有無、及びフリッカ周期が検出される。
例えば、通常撮像処理において取得された画像を用いてフリッカの検出が実行されてもよい。又は短時間露光画像Ｐ２に基づいて、フリッカの検出が実行されてもよい。あるいは、フリッカ検出用の撮像が実行されてもよい。
フリッカの検出方法は限定されない。例えば、離散フーリエ変換を用いてフリッカの有無及びフリッカ周期を特定する方法等、任意の方法が採用されてよい。
フリッカ検出部３３により、ステップ４０１の結果に基づいて、フリッカの有無が判定される（ステップ４０２）。
被写体光にフリッカが発生している場合（ステップ４０２のＹＥＳ）、被写体の状態がフリッカ状態に設定される（ステップ４０３）。
被写体光にフリッカが発生していない場合（ステップ４０２のＮＯ）、被写体の状態が通常状態に設定される（ステップ４０４）。
被写体光にフリッカが発生している場合（ステップ４０２のＹＥＳ）、被写体の状態がフリッカ状態に設定される（ステップ４０３）。
被写体光にフリッカが発生していない場合（ステップ４０２のＮＯ）、被写体の状態が通常状態に設定される（ステップ４０４）。
図３に示すステップ１０５では、被写体の状態がどちらの状態に設定されているかが判定される。
被写体の状態が通常状態である場合には、被写体光にフリッカは発生していないと判定される。被写体の状態がフリッカ状態である場合には、被写体光にフリッカが発生していると判定される（ステップ１０５）。
被写体光にフリッカが発生していない場合は（ステップ１０５のＮｏ）、フリッカがない場合の短時間露光画像Ｐ２の撮像処理が実行される（ステップ１０６）。
被写体光にフリッカが発生している場合は（ステップ１０５のＹｅｓ）、フリッカがある場合の短時間露光画像Ｐ２の撮像処理が実行される（ステップ１０７）。
被写体の状態が通常状態である場合には、被写体光にフリッカは発生していないと判定される。被写体の状態がフリッカ状態である場合には、被写体光にフリッカが発生していると判定される（ステップ１０５）。
被写体光にフリッカが発生していない場合は（ステップ１０５のＮｏ）、フリッカがない場合の短時間露光画像Ｐ２の撮像処理が実行される（ステップ１０６）。
被写体光にフリッカが発生している場合は（ステップ１０５のＹｅｓ）、フリッカがある場合の短時間露光画像Ｐ２の撮像処理が実行される（ステップ１０７）。
[短時間露光画像の撮像処理（フリッカなし）]
図９は、フリッカが発生していない場合の、短時間露光画像Ｐ２の撮像処理の一例を示すフローチャートである。
露光量設定部３４により、短時間露光画像Ｐ２を取得するための第２の露光量が設定される（ステップ５０１）。本実施形態では、ユーザからの設定値や環境光の光量等に基づいて目標となる第２の露光量が設定される。
露光期間設定部３５により、短時間露光画像Ｐ２の撮像が実行される際の第２の露光期間Ｔ２が設定される。また透過率設定部３６により、短時間露光画像Ｐ２の撮像が実行される際の第２の透過率が設定される（ステップ５０２）。
図９は、フリッカが発生していない場合の、短時間露光画像Ｐ２の撮像処理の一例を示すフローチャートである。
露光量設定部３４により、短時間露光画像Ｐ２を取得するための第２の露光量が設定される（ステップ５０１）。本実施形態では、ユーザからの設定値や環境光の光量等に基づいて目標となる第２の露光量が設定される。
露光期間設定部３５により、短時間露光画像Ｐ２の撮像が実行される際の第２の露光期間Ｔ２が設定される。また透過率設定部３６により、短時間露光画像Ｐ２の撮像が実行される際の第２の透過率が設定される（ステップ５０２）。
例えば、第２の露光量、第２の露光期間Ｔ２、及び第２の透過率は、以下の式に従って設定される。
Ｌｏｇ（第２の露光量）＝Ｌｏｇ（第２の露光期間）＋Ｌｏｇ（第２の透過率）・・・（３）
例えば、目標となる第２の露光量が設定され、まず第２の露光期間Ｔ２が設定される。そして第２の露光量及び第２の露光期間Ｔ２に基づいて、式（３）に従って、第２の透過率が設定される。
本実施形態では、液晶ＮＤフィルタ１１により高い精度で第２の透過率を設定することが可能である。従って、第２の露光量及び第２の露光期間Ｔ２が設定された後に、第２の透過率を設定することも容易に実現可能である。
もちろんこのような設定方法に限定される訳ではない。
Ｌｏｇ（第２の露光量）＝Ｌｏｇ（第２の露光期間）＋Ｌｏｇ（第２の透過率）・・・（３）
例えば、目標となる第２の露光量が設定され、まず第２の露光期間Ｔ２が設定される。そして第２の露光量及び第２の露光期間Ｔ２に基づいて、式（３）に従って、第２の透過率が設定される。
本実施形態では、液晶ＮＤフィルタ１１により高い精度で第２の透過率を設定することが可能である。従って、第２の露光量及び第２の露光期間Ｔ２が設定された後に、第２の透過率を設定することも容易に実現可能である。
もちろんこのような設定方法に限定される訳ではない。
ステップ５０２にて設定された第２の露光期間Ｔ２及び第２の透過率で、撮像素子１２により撮像が実行され、短時間露光画像Ｐ２が取得される（ステップ５０３）。
撮像により取得された短時間露光画像Ｐ２は、データ保存部２１のフレームメモリに保存される。
撮像により取得された短時間露光画像Ｐ２は、データ保存部２１のフレームメモリに保存される。
[短時間露光フレーム撮像処理（フリッカあり）]
図１０は、フリッカが発生している場合の、短時間露光画像Ｐ２の撮像処理の一例を示すフローチャートである。
図１１は、フリッカ現象が低減される原理を説明するための模式図である。
図１１には、横軸に時間を、縦軸にフリッカ光源の光量を取ったグラフを示している。
図１１に示す例では、被写体がフリッカ周波数５０Ｈｚで明滅を行っている。従って、フリッカ周期は、１／５０ｓ＝０．０２ｓとなっている。
図１０は、フリッカが発生している場合の、短時間露光画像Ｐ２の撮像処理の一例を示すフローチャートである。
図１１は、フリッカ現象が低減される原理を説明するための模式図である。
図１１には、横軸に時間を、縦軸にフリッカ光源の光量を取ったグラフを示している。
図１１に示す例では、被写体がフリッカ周波数５０Ｈｚで明滅を行っている。従って、フリッカ周期は、１／５０ｓ＝０．０２ｓとなっている。
露光量設定部３４により、短時間露光画像Ｐ２を取得するための第２の露光量が設定される（ステップ６０１）。本実施形態では、ユーザからの設定値や環境光の光量等に基づいて目標となる第２の露光量が設定される。
露光期間設定部３５により、短時間露光画像Ｐ２の撮像が実行される際の第２の露光期間Ｔ２が設定される（ステップ６０２）。
本実施形態では、第２の露光期間Ｔ２は、フリッカ周期の１／２の整数倍（逓倍）に設定される。図１１に示す例では、第２の露光期間Ｔ２＝１／１００ｓ＝０．０１ｓ＝１／２フリッカ周期となっている。
このように第２の露光期間Ｔ２が設定されることにより、第２の露光期間Ｔ２が開始する時刻によらず、グラフと横軸がなす部分の面積が一定となる。
例えば図１１中では、第２の露光期間Ｔ２が２つの矢印で示されている。左側の矢印に示された第２の露光期間Ｔ２での、グラフと横軸がなす部分の面積は、右側の矢印に示された第２の露光期間Ｔ２での、グラフと横軸がなす部分の面積と一致している。
従って、短時間露光画像Ｐ２の撮像を開始する時刻によらず、第２の露光期間Ｔ２の間に液晶ＮＤフィルタ１１に入射する被写体光の光量を、一定にすることが可能となる。
これにより、被写体光のフリッカにより、短時間露光画像Ｐ２にフリッカ現象が発生してしまうことを十分に低減させることが可能となる。すなわち異なるフレームにて撮影された短時間露光画像Ｐ２の露光量が、被写体光のフリッカにより、ばらついてしまうことを十分に低減することが可能である。
もちろん、液晶ＮＤフィルタ１１の透過率を制御して、各短時間露光画像Ｐ２の露光量を変化させるといった処理は可能である。このような処理も、被写体光のフリッカを十分に低減させることで、精度よく実行することが可能である。
もちろん第２の露光期間Ｔ２は１／２フリッカ周期に限定されず、フリッカ周期の１／２の整数倍となる任意の値が設定されてよい。
本実施形態では、第２の露光期間Ｔ２は、フリッカ周期の１／２の整数倍（逓倍）に設定される。図１１に示す例では、第２の露光期間Ｔ２＝１／１００ｓ＝０．０１ｓ＝１／２フリッカ周期となっている。
このように第２の露光期間Ｔ２が設定されることにより、第２の露光期間Ｔ２が開始する時刻によらず、グラフと横軸がなす部分の面積が一定となる。
例えば図１１中では、第２の露光期間Ｔ２が２つの矢印で示されている。左側の矢印に示された第２の露光期間Ｔ２での、グラフと横軸がなす部分の面積は、右側の矢印に示された第２の露光期間Ｔ２での、グラフと横軸がなす部分の面積と一致している。
従って、短時間露光画像Ｐ２の撮像を開始する時刻によらず、第２の露光期間Ｔ２の間に液晶ＮＤフィルタ１１に入射する被写体光の光量を、一定にすることが可能となる。
これにより、被写体光のフリッカにより、短時間露光画像Ｐ２にフリッカ現象が発生してしまうことを十分に低減させることが可能となる。すなわち異なるフレームにて撮影された短時間露光画像Ｐ２の露光量が、被写体光のフリッカにより、ばらついてしまうことを十分に低減することが可能である。
もちろん、液晶ＮＤフィルタ１１の透過率を制御して、各短時間露光画像Ｐ２の露光量を変化させるといった処理は可能である。このような処理も、被写体光のフリッカを十分に低減させることで、精度よく実行することが可能である。
もちろん第２の露光期間Ｔ２は１／２フリッカ周期に限定されず、フリッカ周期の１／２の整数倍となる任意の値が設定されてよい。
なお図１１には、長時間露光画像Ｐ１が撮像される際の第１の露光期間Ｔ１も図示されている。第１の露光期間Ｔ１は、第２の露光期間Ｔ２よりも長い時間となる。
比較的長い第１の露光期間Ｔ１では、被写体光のフリッカの影響は小さく十分に許容範囲となる場合が多い。従って、例えば第１の露光期間Ｔ１として最大露光期間を設定することで、黒つぶれがない高精度の長時間露光画像Ｐ１を撮像することが可能となる。
一方で、フリッカの影響を十分に抑えるために、第１の露光期間Ｔ１がフリッカ周期の１／２の整数倍となるように設定されてもよい。
さらにいえば、図４に示す通常撮像処理が実行される際にも、露光期間が、フリッカ周期の１／２の整数倍となるように設定されてもよい。これにより、通常撮像処理におけるフレーム間フリッカを十分に抑制することが可能となる。
比較的長い第１の露光期間Ｔ１では、被写体光のフリッカの影響は小さく十分に許容範囲となる場合が多い。従って、例えば第１の露光期間Ｔ１として最大露光期間を設定することで、黒つぶれがない高精度の長時間露光画像Ｐ１を撮像することが可能となる。
一方で、フリッカの影響を十分に抑えるために、第１の露光期間Ｔ１がフリッカ周期の１／２の整数倍となるように設定されてもよい。
さらにいえば、図４に示す通常撮像処理が実行される際にも、露光期間が、フリッカ周期の１／２の整数倍となるように設定されてもよい。これにより、通常撮像処理におけるフレーム間フリッカを十分に抑制することが可能となる。
ステップ６０２で設定された第２の露光期間Ｔ２に基づいて、露光量設定部３４により、露光量が再設定される（ステップ６０３）。
例えば、露光量の再設定は、以下の式に従って設定される。
Ｌｏｇ（第２の露光量）−Ｌｏｇ（第２の露光期間）＝Ｌｏｇ（露光量_再設定）・・・（４）
透過率設定部３６は、再設定された露光量、及び設定された第２の露光期間Ｔ２に基づいて、以下の式に従って第２の透過率を設定する（ステップ６０４）。
Ｌｏｇ（露光量_再設定）＝Ｌｏｇ（第２の透過率）・・・・（５）
従って、本実施形態では、まず目標となる第２の露光量が設定される。そして、フリッカ周期の１／２の整数倍となるように、第２の露光期間Ｔ２が設定される。そして、目標となる第２の露光量、及び第２の露光期間Ｔ２に基づいて、最後に第２の透過率が設定される。
液晶ＮＤフィルタ１１を用いることで、このような第２の透過率の設定を高精度に実行することが可能となる。
第２の露光量、第２の露光期間Ｔ２、及び第２の透過率の設定として、他の方法が採用されてよい。
例えば、露光量の再設定は、以下の式に従って設定される。
Ｌｏｇ（第２の露光量）−Ｌｏｇ（第２の露光期間）＝Ｌｏｇ（露光量_再設定）・・・（４）
透過率設定部３６は、再設定された露光量、及び設定された第２の露光期間Ｔ２に基づいて、以下の式に従って第２の透過率を設定する（ステップ６０４）。
Ｌｏｇ（露光量_再設定）＝Ｌｏｇ（第２の透過率）・・・・（５）
従って、本実施形態では、まず目標となる第２の露光量が設定される。そして、フリッカ周期の１／２の整数倍となるように、第２の露光期間Ｔ２が設定される。そして、目標となる第２の露光量、及び第２の露光期間Ｔ２に基づいて、最後に第２の透過率が設定される。
液晶ＮＤフィルタ１１を用いることで、このような第２の透過率の設定を高精度に実行することが可能となる。
第２の露光量、第２の露光期間Ｔ２、及び第２の透過率の設定として、他の方法が採用されてよい。
ステップ６０２及び６０４にて設定された第２の露光期間Ｔ２及び第２の透過率で、撮像素子１２により撮像が実行され、短時間露光画像Ｐ２が取得される（ステップ６０５）。
撮像により取得された短時間露光画像Ｐ２は、データ保存部２１のフレームメモリに保存される。
撮像により取得された短時間露光画像Ｐ２は、データ保存部２１のフレームメモリに保存される。
図３に戻り、画像合成処理部３２により、フレームメモリに保存された長時間露光画像Ｐ１と短時間露光画像Ｐ２とが合成されることで、ＨＤＲ画像Ｐ３が生成される（ステップ１０８）。
なお、短時間露光画像Ｐ２はフレームメモリに保存されなくてもよい。すなわちフレームメモリに保存された長時間露光画像Ｐ１と、ステップ５０３や６０５で生成された短時間露光画像Ｐ２とが合成されて、ＨＤＲ画像Ｐ３が生成されてもよい（ステップ１０８）。
本実施形態では、被写体光にフリッカが発生している場合にも、フリッカ現象が低減されたＨＤＲ画像を、高い精度で生成することが可能となる。
表示処理部２２は、生成されたＨＤＲ画像Ｐ３の表示処理を実行する。
なお、短時間露光画像Ｐ２はフレームメモリに保存されなくてもよい。すなわちフレームメモリに保存された長時間露光画像Ｐ１と、ステップ５０３や６０５で生成された短時間露光画像Ｐ２とが合成されて、ＨＤＲ画像Ｐ３が生成されてもよい（ステップ１０８）。
本実施形態では、被写体光にフリッカが発生している場合にも、フリッカ現象が低減されたＨＤＲ画像を、高い精度で生成することが可能となる。
表示処理部２２は、生成されたＨＤＲ画像Ｐ３の表示処理を実行する。
以上、本実施形態に係る撮像装置１００では、第１の露光期間Ｔ１と、第１の露光期間Ｔ１よりも短い第２の露光期間Ｔ２が、撮像の対象となる被写体光のフリッカ周期に基づいて設定される。また第１の露光期間Ｔ１及び第２の露光期間Ｔ２の各々に対応する透過率として、第１の透過率及び第２の透過率とが設定される。これにより、長時間露光画像Ｐ１と短時間露光画像Ｐ２とを合成することで、フリッカ現象を低減しつつ、より広いダイナミックレンジを持つＨＤＲ画像Ｐ３を取得することが可能となる。
近年、撮像装置において、蛍光灯及びＬＥＤ（Light Emitting Diode）などの光源によるフリッカを抑制する技術が提案されている。
一方で、光源のフリッカを抑制しつつ、より広いダイナミックレンジを持つＨＤＲ画像を生成することは難しかった。
一方で、光源のフリッカを抑制しつつ、より広いダイナミックレンジを持つＨＤＲ画像を生成することは難しかった。
本実施形態では、短時間露光画像Ｐ２の露光期間Ｔ２がフリッカ周期に基づいて設定すされる。これにより短時間露光画像Ｐ２のフリッカ現象が低減される。
また目標となる第２の露光量を実現するために、液晶ＮＤフィルタ１１の透過率が調整される。これにより、高品質なＨＤＲ画像Ｐ３を生成することが可能となる。
例えば、目標となる第２の露光量を実現するために絞りの開度を調整することも考えられる。しかしながら絞りの開度を調整する方法では、長時間露光画像Ｐ１と短時間露光画像Ｐ２との間で絞りボケが発生してしまったり、被写体深度ずれが発生してしまう可能性が高い。この結果、合成により取得されるＨＤＲ画像Ｐ３の画質が劣化してしまう。
本実施形態では、液晶ＮＤフィルタ１１の透過率が調整することで、高品質な短時間露光画像Ｐ２が取得可能であり、合成により取得されるＨＤＲ画像Ｐ３の画質の向上を実現することが可能となる。
すなわち本実施形態では、液晶ＮＤフィルタ１１の透過率が調整することで、短時間露光画像Ｐ２の露光期間Ｔ２をフリッカ周期に設定するシンプルな方法により、フリッカ現象が低減された高品質なＨＤＲ画像Ｐ３を生成することが可能となる。
また目標となる第２の露光量を実現するために、液晶ＮＤフィルタ１１の透過率が調整される。これにより、高品質なＨＤＲ画像Ｐ３を生成することが可能となる。
例えば、目標となる第２の露光量を実現するために絞りの開度を調整することも考えられる。しかしながら絞りの開度を調整する方法では、長時間露光画像Ｐ１と短時間露光画像Ｐ２との間で絞りボケが発生してしまったり、被写体深度ずれが発生してしまう可能性が高い。この結果、合成により取得されるＨＤＲ画像Ｐ３の画質が劣化してしまう。
本実施形態では、液晶ＮＤフィルタ１１の透過率が調整することで、高品質な短時間露光画像Ｐ２が取得可能であり、合成により取得されるＨＤＲ画像Ｐ３の画質の向上を実現することが可能となる。
すなわち本実施形態では、液晶ＮＤフィルタ１１の透過率が調整することで、短時間露光画像Ｐ２の露光期間Ｔ２をフリッカ周期に設定するシンプルな方法により、フリッカ現象が低減された高品質なＨＤＲ画像Ｐ３を生成することが可能となる。
＜その他の実施形態＞
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
透過率の設定について、例えば、長時間露光画像Ｐ１の撮像時には、より明るい側の情報を得るために、透過率（第１の透過率）を高く設定する（濃度を薄く設定する）。そして、短時間露光画像Ｐ２の撮影時には、透過率（第２の透過率）を下げる（濃度を濃くする）。例えば第１の透過率を１００％（１００％に近い値）に設定し、第２の透過率を低い値に設定する。このように第１の透過率を、第２の透過率よりも大きい値に設定することで、さらに高品質なＨＤＲ画像３を生成することが可能となる。
なお、第１の透過率を１００％（１００％に近い値）に設定することは、液晶ＮＤフィルタ１１を使用しない場合と同等となる。従って、例えば第１の透過率を１００％（１００％に近い値）に設定し、第２の透過率を低い値に設定する制御は、長時間露光画像Ｐ１の撮像時には液晶ＮＤフィルタ１１を使用せず、短時間露光画像Ｐ２の撮影時にのみ液晶ＮＤフィルタ１１を使用する制御ともいえる。
なお、第１の透過率を１００％（１００％に近い値）に設定することは、液晶ＮＤフィルタ１１を使用しない場合と同等となる。従って、例えば第１の透過率を１００％（１００％に近い値）に設定し、第２の透過率を低い値に設定する制御は、長時間露光画像Ｐ１の撮像時には液晶ＮＤフィルタ１１を使用せず、短時間露光画像Ｐ２の撮影時にのみ液晶ＮＤフィルタ１１を使用する制御ともいえる。
もちろん、第１の透過率を第２の透過率と同じ値に設定することも可能である。これにより、頻繁に液晶ＮＤフィルタ１１を制御する必要がなくなるので、制御的／装置的に負荷を低減することが可能となる。この結果、負荷を低減しつつＨＤＲ画像を生成することが可能となる。
液晶ＮＤフィルタ１１の透過率は、温度環境の影響を受けることがある。例えば、液晶ＮＤフィルタ１１が高温になることで、透過率設定部３６により設定された透過率と撮像を実行する際の透過率に、差異が生じることがある。
この差異を抑制するために、例えばフィードバック制御が実行されてもよい。具体的には、制御部３０は、撮像が実行された際の透過率と設定した透過率を比較して、その差異が抑制されるように液晶ＮＤフィルタ１１への印加電圧を設定し、液晶ＮＤドライバ１７に指示を出してもよい。また、アナログ信号処理回路１３は、差異に基づいてゲイン処理等を実行してもよい。
この差異を抑制するために、例えばフィードバック制御が実行されてもよい。具体的には、制御部３０は、撮像が実行された際の透過率と設定した透過率を比較して、その差異が抑制されるように液晶ＮＤフィルタ１１への印加電圧を設定し、液晶ＮＤドライバ１７に指示を出してもよい。また、アナログ信号処理回路１３は、差異に基づいてゲイン処理等を実行してもよい。
各図面を参照して説明した撮像装置等の各構成、各処理フロー等はあくまで一実施形態であり、本技術の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本技術を実施するための他の任意の構成やアルゴリズム等が採用されてよい。
本開示において、「略」という文言が使用される場合、これはあくまで説明の理解を容易とするための使用であり、「略」という文言の使用／不使用に特別な意味があるわけではない。
すなわち、本開示において、「中心」「中央」「均一」「等しい」「一致」「同じ」「直交」「平行」「対称」「延在」「軸方向」「円柱形状」「円筒形状」「リング形状」「円環形状」等の、形状、サイズ、位置関係、状態等を規定する概念は、「実質的に中心」「実質的に中央」「実質的に均一」「実質的に等しい」「実質的に一致」「実質的に同じ」「実質的に直交」「実質的に平行」「実質的に対称」「実質的に延在」「実質的に軸方向」「実質的に円柱形状」「実質的に円筒形状」「実質的にリング形状」「実質的に円環形状」等を含む概念とする。
例えば「完全に中心」「完全に中央」「完全に均一」「完全に等しい」「完全に一致」「完全に同じ」「完全に直交」「完全に平行」「完全に対称」「完全に延在」「完全に軸方向」「完全に円柱形状」「完全に円筒形状」「完全にリング形状」「完全に円環形状」等を基準とした所定の範囲（例えば±１０％の範囲）に含まれる状態も含まれる。
従って、「略」の文言が付加されていない場合でも、いわゆる「略」を付加して表現される概念が含まれ得る。反対に、「略」を付加して表現された状態について、完全な状態が排除される訳ではない。
すなわち、本開示において、「中心」「中央」「均一」「等しい」「一致」「同じ」「直交」「平行」「対称」「延在」「軸方向」「円柱形状」「円筒形状」「リング形状」「円環形状」等の、形状、サイズ、位置関係、状態等を規定する概念は、「実質的に中心」「実質的に中央」「実質的に均一」「実質的に等しい」「実質的に一致」「実質的に同じ」「実質的に直交」「実質的に平行」「実質的に対称」「実質的に延在」「実質的に軸方向」「実質的に円柱形状」「実質的に円筒形状」「実質的にリング形状」「実質的に円環形状」等を含む概念とする。
例えば「完全に中心」「完全に中央」「完全に均一」「完全に等しい」「完全に一致」「完全に同じ」「完全に直交」「完全に平行」「完全に対称」「完全に延在」「完全に軸方向」「完全に円柱形状」「完全に円筒形状」「完全にリング形状」「完全に円環形状」等を基準とした所定の範囲（例えば±１０％の範囲）に含まれる状態も含まれる。
従って、「略」の文言が付加されていない場合でも、いわゆる「略」を付加して表現される概念が含まれ得る。反対に、「略」を付加して表現された状態について、完全な状態が排除される訳ではない。
本開示において、「Ａより大きい」「Ａより小さい」といった「より」を使った表現は、Ａと同等である場合を含む概念と、Ａと同等である場合を含なまい概念の両方を包括的に含む表現である。例えば「Ａより大きい」は、Ａと同等は含まない場合に限定されず、「Ａ以上」も含む。また「Ａより小さい」は、「Ａ未満」に限定されず、「Ａ以下」も含む。
本技術を実施する際には、上記で説明した効果が発揮されるように、「Ａより大きい」及び「Ａより小さい」に含まれる概念から、具体的な設定等を適宜採用すればよい。
本技術を実施する際には、上記で説明した効果が発揮されるように、「Ａより大きい」及び「Ａより小さい」に含まれる概念から、具体的な設定等を適宜採用すればよい。
以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
なお、本技術は以下のような構成も採ることができる。
（１）
光の透過率を調整可能な透過率調整部と、
前記透過率調整部を透過した光を露光することで撮像を実行する撮像素子と、
前記透過率調整部を透過した光のフリッカ周期に基づいて、第１の露光期間と前記第１の露光期間よりも短い第２の露光期間とを設定する露光期間設定部と、
前記第１の露光期間での撮像が実行される際の第１の透過率、及び前記第２の露光期間での撮像が実行される際の第２の透過率を設定する透過率設定部と、
前記第１の露光期間及び前記第１の透過率での撮像により取得される第１の画像と、前記第２の露光期間及び前記第２の透過率での撮像により取得される第２の画像とを合成する合成部と
を具備する撮像装置。
（２）（１）に記載の撮像装置であって、
前記露光期間設定部は、前記第２の露光期間を前記フリッカ周期に基づいて設定する
撮像装置。
（３）（１）又は（２）に記載の撮像装置であって、
前記合成部は、前記第１の画像と前記第２の画像とを合成することで、ＨＤＲ（High Dynamic Range）画像を生成する
撮像装置。
（４）（１）から（３）のうちいずれか１つに記載の撮像装置であって、
前記露光期間設定部は、前記第２の露光期間を前記フリッカ周期の１／２の整数倍に設定する
撮像装置。
（５）（１）から（４）のうちいずれか１つに記載の撮像装置であって、
前記露光期間設定部は、前記第１の露光期間を前記フリッカ周期の１／２の整数倍に設定する
撮像装置。
（６）（１）から（５）のうちいずれか１つに記載の撮像装置であって、
前記透過率設定部は、前記第１の透過率を前記第２の透過率よりも大きい値に設定する
撮像装置。
（７）（６）に記載の撮像装置であって、
前記透過率設定部は、前記第１の透過率を１００％に設定する
撮像装置。
（８）（１）から（５）のうちいずれか１つに記載の撮像装置であって、
前記透過率設定部は、前記第１の透過率を前記第２の透過率と同じ値に設定する
撮像装置。
（９）（１）から（８）のうちいずれか１つに記載の撮像装置であって、さらに、
前記第１の画像を取得するための第１の露光量の設定、及び前記第２の画像を取得するための第２の露光量の設定を実行する露光量設定部を具備し、
前記透過率設定部は、設定された前記第２の露光量、及び設定された前記第２の露光期間に基づいて、前記第２の透過率を設定する
撮像装置。
（１０）（９）に記載の撮像装置であって、
前記透過率設定部は、設定された前記第１の露光量、及び設定された前記第１の露光期間に基づいて、前記第１の透過率を設定する
撮像装置。
（１１）（１）から（１０）のうちいずれか１つに記載の撮像装置であって、
前記透過率調整部は、印加される電圧に応じて前記透過率を調整可能である
撮像装置。
（１２）（１１）に記載の撮像装置であって、
前記透過率調整部は、液晶ＮＤ（Neutral Density）フィルタである
撮像装置。
（１３）（１）から（１２）のうちいずれか１つに記載の撮像装置であって、さらに、
前記透過率調整部を透過した光のフリッカ周期を検出する検出部を具備する
撮像装置。
（１４）
光の透過率を調整可能な透過率調整部を透過した光のフリッカ周期に基づいて、第１の露光期間と、前記第１の露光期間よりも短い第２の露光期間とを設定し、
前記透過率調整部を透過した光を露光することで撮像を実行する撮像素子により前記第１の露光期間での撮像が実行される際の第１の透過率を設定し、
前記撮像素子により前記第２の露光期間での撮像が実行される際の第２の透過率を設定し、
前記第１の露光期間及び前記第１の透過率での撮像により取得される第１の画像と、前記第２の露光期間及び前記第２の透過率での撮像により取得される第２の画像とを合成する
ことを撮像装置が実行する撮像方法。
（１）
光の透過率を調整可能な透過率調整部と、
前記透過率調整部を透過した光を露光することで撮像を実行する撮像素子と、
前記透過率調整部を透過した光のフリッカ周期に基づいて、第１の露光期間と前記第１の露光期間よりも短い第２の露光期間とを設定する露光期間設定部と、
前記第１の露光期間での撮像が実行される際の第１の透過率、及び前記第２の露光期間での撮像が実行される際の第２の透過率を設定する透過率設定部と、
前記第１の露光期間及び前記第１の透過率での撮像により取得される第１の画像と、前記第２の露光期間及び前記第２の透過率での撮像により取得される第２の画像とを合成する合成部と
を具備する撮像装置。
（２）（１）に記載の撮像装置であって、
前記露光期間設定部は、前記第２の露光期間を前記フリッカ周期に基づいて設定する
撮像装置。
（３）（１）又は（２）に記載の撮像装置であって、
前記合成部は、前記第１の画像と前記第２の画像とを合成することで、ＨＤＲ（High Dynamic Range）画像を生成する
撮像装置。
（４）（１）から（３）のうちいずれか１つに記載の撮像装置であって、
前記露光期間設定部は、前記第２の露光期間を前記フリッカ周期の１／２の整数倍に設定する
撮像装置。
（５）（１）から（４）のうちいずれか１つに記載の撮像装置であって、
前記露光期間設定部は、前記第１の露光期間を前記フリッカ周期の１／２の整数倍に設定する
撮像装置。
（６）（１）から（５）のうちいずれか１つに記載の撮像装置であって、
前記透過率設定部は、前記第１の透過率を前記第２の透過率よりも大きい値に設定する
撮像装置。
（７）（６）に記載の撮像装置であって、
前記透過率設定部は、前記第１の透過率を１００％に設定する
撮像装置。
（８）（１）から（５）のうちいずれか１つに記載の撮像装置であって、
前記透過率設定部は、前記第１の透過率を前記第２の透過率と同じ値に設定する
撮像装置。
（９）（１）から（８）のうちいずれか１つに記載の撮像装置であって、さらに、
前記第１の画像を取得するための第１の露光量の設定、及び前記第２の画像を取得するための第２の露光量の設定を実行する露光量設定部を具備し、
前記透過率設定部は、設定された前記第２の露光量、及び設定された前記第２の露光期間に基づいて、前記第２の透過率を設定する
撮像装置。
（１０）（９）に記載の撮像装置であって、
前記透過率設定部は、設定された前記第１の露光量、及び設定された前記第１の露光期間に基づいて、前記第１の透過率を設定する
撮像装置。
（１１）（１）から（１０）のうちいずれか１つに記載の撮像装置であって、
前記透過率調整部は、印加される電圧に応じて前記透過率を調整可能である
撮像装置。
（１２）（１１）に記載の撮像装置であって、
前記透過率調整部は、液晶ＮＤ（Neutral Density）フィルタである
撮像装置。
（１３）（１）から（１２）のうちいずれか１つに記載の撮像装置であって、さらに、
前記透過率調整部を透過した光のフリッカ周期を検出する検出部を具備する
撮像装置。
（１４）
光の透過率を調整可能な透過率調整部を透過した光のフリッカ周期に基づいて、第１の露光期間と、前記第１の露光期間よりも短い第２の露光期間とを設定し、
前記透過率調整部を透過した光を露光することで撮像を実行する撮像素子により前記第１の露光期間での撮像が実行される際の第１の透過率を設定し、
前記撮像素子により前記第２の露光期間での撮像が実行される際の第２の透過率を設定し、
前記第１の露光期間及び前記第１の透過率での撮像により取得される第１の画像と、前記第２の露光期間及び前記第２の透過率での撮像により取得される第２の画像とを合成する
ことを撮像装置が実行する撮像方法。
Ｐ１…長時間露光画像
Ｐ２…短時間露光画像
Ｐ３…ＨＤＲ画像
Ｔ１…第１の露光期間
Ｔ２…第２の露光期間
１１…液晶ＮＤフィルタ
１２…撮像素子
３２…画像合成処理部
３３…フリッカ検出部
３４…露光量設定部
３５…露光期間設定部
３６…透過率設定部
１００…撮像装置
Ｐ２…短時間露光画像
Ｐ３…ＨＤＲ画像
Ｔ１…第１の露光期間
Ｔ２…第２の露光期間
１１…液晶ＮＤフィルタ
１２…撮像素子
３２…画像合成処理部
３３…フリッカ検出部
３４…露光量設定部
３５…露光期間設定部
３６…透過率設定部
１００…撮像装置
Claims (14)
- 光の透過率を調整可能な透過率調整部と、
前記透過率調整部を透過した光を露光することで撮像を実行する撮像素子と、
前記透過率調整部を透過した光のフリッカ周期に基づいて、第１の露光期間と前記第１の露光期間よりも短い第２の露光期間とを設定する露光期間設定部と、
前記第１の露光期間での撮像が実行される際の第１の透過率、及び前記第２の露光期間での撮像が実行される際の第２の透過率を設定する透過率設定部と、
前記第１の露光期間及び前記第１の透過率での撮像により取得される第１の画像と、前記第２の露光期間及び前記第２の透過率での撮像により取得される第２の画像とを合成する合成部と
を具備する撮像装置。 - 請求項１に記載の撮像装置であって、
前記露光期間設定部は、前記第２の露光期間を前記フリッカ周期に基づいて設定する
撮像装置。 - 請求項１に記載の撮像装置であって、
前記合成部は、前記第１の画像と前記第２の画像とを合成することで、ＨＤＲ（High Dynamic Range）画像を生成する
撮像装置。 - 請求項１に記載の撮像装置であって、
前記露光期間設定部は、前記第２の露光期間を前記フリッカ周期の１／２の整数倍に設定する
撮像装置。 - 請求項１に記載の撮像装置であって、
前記露光期間設定部は、前記第１の露光期間を前記フリッカ周期の１／２の整数倍に設定する
撮像装置。 - 請求項１に記載の撮像装置であって、
前記透過率設定部は、前記第１の透過率を前記第２の透過率よりも大きい値に設定する
撮像装置。 - 請求項６に記載の撮像装置であって、
前記透過率設定部は、前記第１の透過率を１００％に設定する
撮像装置。 - 請求項１に記載の撮像装置であって、
前記透過率設定部は、前記第１の透過率を前記第２の透過率と同じ値に設定する
撮像装置。 - 請求項１に記載の撮像装置であって、さらに、
前記第１の画像を取得するための第１の露光量の設定、及び前記第２の画像を取得するための第２の露光量の設定を実行する露光量設定部を具備し、
前記透過率設定部は、設定された前記第２の露光量、及び設定された前記第２の露光期間に基づいて、前記第２の透過率を設定する
撮像装置。 - 請求項９に記載の撮像装置であって、
前記透過率設定部は、設定された前記第１の露光量、及び設定された前記第１の露光期間に基づいて、前記第１の透過率を設定する
撮像装置。 - 請求項１に記載の撮像装置であって、
前記透過率調整部は、印加される電圧に応じて前記透過率を調整可能である
撮像装置。 - 請求項１１に記載の撮像装置であって、
前記透過率調整部は、液晶ＮＤ（Neutral Density）フィルタである
撮像装置。 - 請求項１に記載の撮像装置であって、さらに、
前記透過率調整部を透過した光のフリッカ周期を検出する検出部を具備する
撮像装置。 - 光の透過率を調整可能な透過率調整部を透過した光のフリッカ周期に基づいて、第１の露光期間と、前記第１の露光期間よりも短い第２の露光期間とを設定し、
前記透過率調整部を透過した光を露光することで撮像を実行する撮像素子により前記第１の露光期間での撮像が実行される際の第１の透過率を設定し、
前記撮像素子により前記第２の露光期間での撮像が実行される際の第２の透過率を設定し、
前記第１の露光期間及び前記第１の透過率での撮像により取得される第１の画像と、前記第２の露光期間及び前記第２の透過率での撮像により取得される第２の画像とを合成する
ことを撮像装置が実行する撮像方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020102320A JP2021197613A (ja) | 2020-06-12 | 2020-06-12 | 撮像装置、及び撮像方法 |
| PCT/JP2021/021165 WO2021251260A1 (ja) | 2020-06-12 | 2021-06-03 | 撮像装置、及び撮像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020102320A JP2021197613A (ja) | 2020-06-12 | 2020-06-12 | 撮像装置、及び撮像方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021197613A true JP2021197613A (ja) | 2021-12-27 |
Family
ID=78846116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020102320A Pending JP2021197613A (ja) | 2020-06-12 | 2020-06-12 | 撮像装置、及び撮像方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2021197613A (ja) |
| WO (1) | WO2021251260A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023248589A1 (ja) * | 2022-06-23 | 2023-12-28 | 株式会社ジャパンディスプレイ | カメラモジュール |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6116299B2 (ja) * | 2013-03-15 | 2017-04-19 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP2015198292A (ja) * | 2014-03-31 | 2015-11-09 | ソニー株式会社 | 撮像装置、フリッカの補正方法及びプログラム |
| JP6576115B2 (ja) * | 2015-06-17 | 2019-09-18 | キヤノン株式会社 | 撮像装置及びその制御方法 |
-
2020
- 2020-06-12 JP JP2020102320A patent/JP2021197613A/ja active Pending
-
2021
- 2021-06-03 WO PCT/JP2021/021165 patent/WO2021251260A1/ja active Application Filing
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023248589A1 (ja) * | 2022-06-23 | 2023-12-28 | 株式会社ジャパンディスプレイ | カメラモジュール |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021251260A1 (ja) | 2021-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6680377B2 (ja) | 撮像装置、撮像方法及びプログラム | |
| US10194091B2 (en) | Image capturing apparatus, control method therefor, program, and recording medium | |
| TWI390971B (zh) | 成像裝置，成像處理方法及成像控制程式 | |
| US20140253792A1 (en) | Image capture apparatus and control method thereof | |
| JP5123137B2 (ja) | 撮像装置および撮像方法 | |
| US9681060B2 (en) | Imaging apparatus, method of correcting flicker, and program | |
| US9277135B2 (en) | Image-pickup apparatus, control method for the same, and non-transitory computer-readable storage medium | |
| US9277134B2 (en) | Image pickup apparatus and image pickup method | |
| JP6576028B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2018006827A (ja) | 撮像装置、撮像プログラム、撮像方法 | |
| US11128799B2 (en) | Image processing apparatus and image processing method | |
| US11006050B2 (en) | Imaging apparatus and imaging method using first and second images for generating high dynamic range image | |
| JP5984975B2 (ja) | 撮像装置、撮像方法、およびプログラム | |
| WO2021251260A1 (ja) | 撮像装置、及び撮像方法 | |
| JPWO2015146471A1 (ja) | 撮影装置 | |
| JP2010103700A (ja) | 撮像装置および撮像方法 | |
| JP2018056941A (ja) | 撮像装置、表示装置、電子機器、撮像方法、プログラム、撮像システム、表示システムおよび画像処理装置。 | |
| JP6242129B2 (ja) | 撮像装置、その制御方法、及び制御プログラム | |
| JP2014146969A (ja) | デジタルカメラ | |
| JP6075829B2 (ja) | 撮像装置、カメラシステム、撮像装置の制御方法、プログラム、記憶媒体 | |
| JP2013255201A (ja) | 撮像装置、及びその制御方法 | |
| JP5268823B2 (ja) | 撮像装置及び撮像方法 | |
| JP3206826U (ja) | 画像処理装置 | |
| JP2009225252A (ja) | 撮像装置および撮像方法 | |
| JP2016140057A (ja) | 撮像装置 |