JP2020096280A - 撮像装置、撮像装置の制御方法、およびプログラム - Google Patents

Abstract

【課題】異なる露光時間で撮像された複数の画像を合成する場合において動体領域に生じる画質劣化を低減した画像を生成可能にすることを課題とする。【解決手段】撮像装置（４００）は、被写体を撮像する複数の露光時間を制御する露光時間制御手段（４０１，４０７）と、被写体を複数の露光時間で時分割して撮像した複数の撮像画像を取得する画像取得手段（４０３）と、複数の撮像画像を合成してＨＤＲ画像を生成する合成手段（４０５）と、少なくとも撮像画像とＨＤＲ画像とを基に、ＨＤＲ画像の中の被写体の残像による画質の劣化値を算出する算出手段（４０６）と、を有し、露光時間制御手段（４０１，４０７）は、劣化値が所定の閾値より低くなる露光時間を選択する。【選択図】図４

Description

本発明は、複数の画像を撮像して合成する場合の撮像制御の技術に関する。

従来、短い露光時間と長い露光時間のように異なる露光時間の撮像を繰り返して得られた複数の画像を合成することによりハイダイナミックレンジ（ＨＤＲ）画像を生成する場合に、画像内の動体領域に生じる画質劣化を低減する様々な方法が提案されている。特許文献１では、動体領域を検出し、その領域内の画素ではＨＤＲ合成を行わないことで、動体領域がＨＤＲ合成されることで生じる二重像を低減する方法を開示している。また特許文献２では、特殊なセンサを用いて、撮像フレーム間の時間間隔を短くすることで、動体に生じる二重像を低減する方法を開示している。

特開平１０−２４３２８８号公報 米国特許出願公開第２０１４／０２１１０４２号明細書

前述のような異なる露光時間の撮像で得られた画像をＨＤＲ合成した場合、動体領域の二重像の他に、露光時間の違いに起因して動体領域にシャープな残像（いわゆる尾引き）が発生することがある。一般的に、動画を撮像する際には、動体の動きが滑らかに見えるように、シャッタ角度が１８０°又は３６０°となる長い露光時間で撮像が行われるため、動体領域には大きなブレが生じて尾引きも大きくなる。このため、異なる露光時間で撮像した画像のＨＤＲ合成によりシャープな尾引きが発生したＨＤＲ画像を動画表示すると、動体の動きがカクカクして見えるいわゆるジャーキネスと呼ばれる画質劣化が発生する場合がある。しかしながら、前述した特許文献１や特許文献２に開示された方法では、動体領域のシャープな尾引きの発生に伴うジャーキネスを低減することができない。

そこで、本発明は、異なる露光時間で撮像された画像を合成する場合において動体領域に生じる画質劣化を低減した画像の生成を可能にすることを目的とする。

本発明の撮像装置は、被写体を撮像する複数の露光時間を制御する露光時間制御手段と、前記被写体を前記複数の露光時間で時分割して撮像した複数の撮像画像を取得する画像取得手段と、前記複数の撮像画像を合成してハイダイナミックレンジの合成画像を生成する合成手段と、少なくとも前記撮像画像と前記合成画像とを基に、前記合成画像の中の前記被写体の残像による画質の劣化値を算出する算出手段と、を有し、前記露光時間制御手段は、前記劣化値が所定の閾値より低くなる露光時間を選択することを特徴とする。

本発明によれば、異なる露光時間で撮像された複数の画像を合成する場合において動体領域に生じる画質劣化を低減した画像の生成が可能となる。

実施形態の撮像装置の構成例を示す図である。 移動する被写体とその撮影のイメージ図である。 時分割撮像タイミングと撮像画像例を示す図である。 撮像装置の機能ブロック図である。 第一の実施形態の撮像装置の動作を示すフローチャートである。 第二の露光時間で撮像した画像を合成したＨＤＲ画像例を示す図である。 動きブレを付与するフィルタの算出例を説明する図である。 第一の実施形態の劣化値算出部の動作を示すフローチャートである。 撮像画像とＨＤＲ画像をフーリエ変換した画像例を示す図である。 視覚の空間周波数応答特性を説明する図である。 視覚の空間周波数応答特性乗算後のフーリエ変換画像例を示す図である。 空間成分劣化値・フレームレート−尾引き劣化値のＬＵＴを示す図である。 第一の露光時間で撮像した画像を合成したＨＤＲ画像例を示す図である。 尾引き劣化が大きい領域を強調表示したＨＤＲ画像例を示す図である。 画素位置違いに伴う空間周波数特性の差異を説明する図である。 第二の実施形態の劣化値算出部の動作を示すフローチャートである。 撮像画像をフーリエ変換した画像例を示す図である。 評価画像例を示した図である。 枯葉チャートの幾何パラメータを説明する図である。 枯葉チャートの生成例を説明する図である。 評価画像をフーリエ変換した画像例を示す図である。 評価画像・ΔＤＲ−空間成分劣化値のＬＵＴ例を示す図である。 ブレを付与した評価画像例を示す図である。 ＨＤＲ合成した評価画像例を示す図である。 被写体情報を基に選択した第一の露光時間の表示ＵＩ例を示す図である。

以下、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態は本発明を限定するものではない。また以下の説明において同一の構成については同じ参照符号を付して説明する。
＜第一の実施形態＞
図１は、本発明実施形態の撮像装置（例えばデジタルカメラ）の概略構成例を示したブロック図である。

撮像部１０１は、レンズ、絞り、シャッタ、光学ローパスフィルタ、カラーフィルタ、及び、ＣＭＯＳやＣＣＤなどの撮像センサ、Ａ／Ｄ変換器等を有する。撮像部１０１は、被写体等から反射された反射光の光量を検知し、Ａ／Ｄ変換を経たデジタルデータを、データ転送経路であるバス１１１に出力する。撮像制御部１０５は、撮像部１０１に対して、フォーカス合わせ、シャッタ開閉、絞り調節、感度設定、露光時間設定などの制御を行う。本実施形態の撮像装置においてハイダイナミックレンジ（ＨＤＲ）合成によりＨＤＲ画像を生成する場合、撮像制御部１０５は、短い露光時間と長い露光時間の異なる露光時間による撮像を繰り返すように撮像部１０１を制御する。ＨＤＲ合成およびＨＤＲ画像の生成、そのための露光時間の制御等の詳細については後述する。

ＲＯＭ１０２とＲＡＭ１０３は、撮像や画像処理に必要なプログラム、データ、作業領域などをＣＰＵ１０４に提供する。ＲＡＭ１０３は、撮像部１０１により撮像されてＡ／Ｄ変換された画像データを一時的に蓄積するバッファメモリや、ディスプレイ等に表示する画像データを一時的に蓄積するビデオメモリ、ＣＰＵ１０４のワークメモリとして使用される。ＣＰＵ１０４は、ＲＯＭ１０２に格納されているプログラムを読み出してＲＡＭ１０３に展開して実行し、バス１１１を介して各構成を制御することで、後述する撮像装置の制御に関連する処理を含む様々な処理を実現する。

表示部１０７は、画像処理部１１０から受け取った撮像画像や文字等を、液晶ディスプレイなどの表示装置に表示させる。なおこの場合の表示装置には、デジタルカメラに搭載されたディスプレイや電子ビューファインダの他、外部接続されたディスプレイも含まれる。操作部１０６は、ボタンやモードダイヤルなどからなる。ユーザは、操作部１０６介して、電源の起動や処理パラメータの設定など各種の指示を入力することができる。またデジタルカメラの表示装置がタッチスクリーン機能を有している場合、このタッチスクリーンも操作部１０６に含まれ、ユーザはタッチスクリーンを介して様々な指示を入力することができる。

外部Ｉ／Ｆ部１０８は、ＰＣ（パーソナルコンピュータ）や、その他の外部メディア等１０９、例えばハードディスク、メモリカード、ＣＦカード（ＣＦは登録商標）、ＳＤカード、ＵＳＢメモリと接続するためのインターフェースである。

画像処理部１１０は、撮像部１０１で撮像されて一時的にＲＡＭ１０３に蓄積された画像データに対し、デジタルカメラにおいて行われる様々な画像処理を行う。また画像処理部１１０ではＨＤＲ画像を生成するＨＤＲ合成のための画像処理も行われる。本実施形態においてＨＤＲ画像を生成する場合、画像処理部１１０は、短い露光時間と長い露光時間の異なる露光時間による撮像を繰り返すような時分割撮像により得られた複数の画像を、後述するようにＨＤＲ合成するような画像処理を行う。

ここで、撮像装置（デジタルカメラ）において、短い露光時間と長い露光時間の異なる露光時間による撮像を繰り返すようにして時分割撮像した複数の画像をＨＤＲ合成してＨＤＲ画像を生成する場合の問題点について説明する。
図２は、撮像装置２０２が被写体２０１を撮影している状態を表したイメージ図である。被写体２０１は、幅Δ（ｐｉｘｅｌ）の物体であり、例えば図の右側方向へ速度ｖ（ｐｉｘｅｌ／ｆｒａｍｅ）で移動しているとする。そして、撮像装置２０２は、この被写体２０１を、短い露光時間と長い露光時間の異なる露光時間による撮像を繰り返す時分割撮像により複数の撮像画像を取得しているとする。

図３（ａ）には、時分割撮像により取得される各フレーム画像の露光開始および露出終了タイミングを表すタイムラインを示している。図３（ａ）において、露光時間Ｔ_Sと露光時間Ｔ_Lとは、それぞれが撮像時の露光時間を表しており、露光時間Ｔ_Lは露光時間Ｔ_Sよりも長い時間になっている。以下の説明では、時分割撮像により取得された時間順で隣接したｉ−１番目，ｉ番目，ｉ＋１番目，・・・のフレーム画像を、それぞれ撮像画像ｉ−１，撮像画像ｉ，撮像画像ｉ＋１，・・・とする。また以下の例では、撮像画像ｉが例えば長い露光時間Ｔ_Lで撮像された画像であり、撮像画像ｉの前後の撮像画像ｉ−１と撮像画像ｉ＋１とはそれぞれ短い露光時間Ｔ_Sにより撮像された画像であるとする。またこれら撮像画像ｉ−１，撮像画像ｉ，撮像画像ｉ＋１，・・・の撮像は、時間間隔Ｔ_FPSごとに繰り返し行われるとする。

図３（ｂ）は、短い露光時間Ｔ_Sにより撮像された例えば撮像画像ｉ−１のイメージ図である。撮像画像ｉ−１の場合、前述したように短い露光時間Ｔ_Sで撮像された画像であるため、この撮像画像内に写っている被写体２０１は暗く（適切な露光レベルに対して暗く）、また動きブレは小さくなっている。
一方、図３（ｃ）は、長い露光時間Ｔ_Lにより撮像された撮像画像ｉのイメージ図である。撮像画像ｉの場合、前述したように長い露光時間Ｔ_Lで撮像された画像であるため、撮像画像内に写っている被写体２０１は明るく（例えば適切な露光レベル）なるが、動きブレは大きくなっている。

また図２に示した被写体２０１は右側方向へ速度ｖで移動しているため、撮像画像ｉ−１内の被写体２０１は、撮像画像ｉ内の被写体２０１よりも左側へｖ×（Ｔ_FPS−０．５×（Ｔ_L−Ｔ_S））／Ｔ_FPS（ｐｉｘｅｌ）だけずれた位置となる。図示は省略しているが、撮像画像ｉ＋１内の被写体２０１は、撮像画像ｉ内の被写体２０１よりも右側へｖ×（Ｔ_FPS＋０．５×（Ｔ_L−Ｔ_S））／Ｔ_FPS（ｐｉｘｅｌ）ずれた位置となる。

また、時分割撮像された複数の撮像画像をＨＤＲ合成する場合には、前述したように、動体領域の二重像の他に、露光時間の違いに起因して動体領域にシャープな残像（いわゆる尾引き）が発生する。そして、そのＨＤＲ画像を動画表示する場合には、動体の動きがカクカクして見えるジャーキネスと呼ばれる画質劣化が発生する。

そこで、本実施形態では、ＨＤＲ画像の生成のために時分割撮像により複数の画像を撮像する際に、動体領域の尾引きに伴うジャーキネスを低減したＨＤＲ画像を取得可能となる露光時間を設定し、その露光時間で撮像した画像を用いたＨＤＲ合成を行う。詳細は後述するが、本実施形態の撮像装置は、撮像画像とＨＤＲ画像との空間周波数特性と、フレームレートとを基に、ＨＤＲ画像内での被写体の尾引き劣化値を算出し、その尾引き劣化値が所定の閾値よりも低くなる露光時間を設定する。尾引き劣化値が所定の閾値よりも低くなる露光時間は、例えば予め用意された複数の露出時間の中から選択する。

図４は本実施形態における主要部の機能ブロック４００を示した図であり、以下、本実施形態の機能ブロック４００に係る各機能について、図１に示した撮像装置１００の構成を参照しながら説明する。
露光時間設定部４０１と露光時間選択部４０７とは撮像部１０１の露光時間制御を行う機能部であり、露光時間設定部４０１の機能は、ＣＰＵ１０４による制御の下で撮像制御部１０５が撮像部１０１の露光時間を制御することにより実現される。露光時間設定部４０１は、撮像部１０１において前述した時分割撮像を行う際の異なる露光時間を設定する。また、露光時間設定部４０１は、その設定した露光時間の情報を感度設定部４０２と画像取得部４０３と画像合成部４０５とに出力する。露光時間選択部４０７については後述する。

感度設定部４０２は撮像部１０１の露光感度設定を行う機能部であり、この機能はＣＰＵ１０４による制御の下で撮像制御部１０５が撮像部１０１の露光感度を制御することにより実現される。感度設定部４０２は、撮像部１０１において前述した時分割撮像を行う際の複数のセンサ感度（ＩＳＯの値）を設定する。また、感度設定部４０２は、その設定したセンサ感度の情報を画像取得部４０３へ出力する。

画像取得部４０３は撮像部１０１により撮像画像を取得する機能部であり、この機能はＣＰＵ１０４による制御の下で撮像制御部１０５が撮像部１０１の撮像動作を制御することにより実現される。画像取得部４０３は、露光時間設定部４０１にて設定された異なる露光時間による時分割撮像を行って撮像画像を取得する。そして画像取得部４０３は、その取得した撮像画像を画像合成部４０５と劣化値算出部４０６とに出力する。

フレームレート取得部４０４は画像撮像時のフレームレートを取得する機能部であり、この機能はＣＰＵ１０４が実現する。フレームレート取得部４０４は、前述した時分割撮像による画像撮像時のフレームレートを取得する。フレームレートは予め決められているが、複数のフレームレートの中からユーザが任意に選択することも可能である。フレームレート取得部４０４は、取得したフレームレートの情報を劣化値算出部４０６へ出力する。

画像合成部４０５は時分割撮像により取得された撮像画像を合成する機能部であり、この機能はＣＰＵ１０４による制御の下で画像処理部１１０により実現される。画像合成部４０５は、露光時間設定部４０１からの露光時間の情報を基に、画像取得部４０３での時分割撮像により得られた複数の撮像画像をＨＤＲ合成する。画像合成部４０５にて合成されたＨＤＲ画像は、劣化値算出部４０６へ出力され、また、バス１１１を介して出力される。

劣化値算出部４０６は動体の被写体上に生じる尾引きに起因した画像の劣化度合いを表す尾引き劣化値を算出する機能部であり、この機能は概ねＣＰＵ１０４が実現する。なお、劣化値算出部４０６において画像に係る処理については画像処理部１１０が担当してもよい。劣化値算出部４０６は、画像取得部４０３からの撮像画像と、画像合成部４０５からのＨＤＲ画像とを基に、ＨＤＲ合成によって動体の被写体上に生じる尾引きに起因した画像の劣化度合いを算出する。劣化値算出部４０６における劣化値算出処理の詳細は後述する。劣化値算出部４０６は、尾引きに起因した画像の劣化度合いを表す尾引き劣化値を、露光時間選択部４０７へ出力する。

露光時間選択部４０７は撮像部１０１における露光時間を選択する機能部であり、この機能はＣＰＵ１０４が実現する。露光時間選択部４０７は、劣化値算出部４０６からの尾引き劣化値を基に、後述するようにして、ＨＤＲ合成により生じる被写体上の尾引きによる画質劣化を低減可能となる露光時間を選択する。本実施形態では、複数の露光時間の中から画質劣化を低減可能となる露光時間を選択する。露光時間選択部４０７は、その選択した露光時間の情報を露光時間設定部４０１へ出力する。これにより露光時間設定部４０１では、尾引きによる画質劣化を低減可能となる露光時間を設定することが可能となり、その設定した露光時間の情報を、感度設定部４０２と画像取得部４０３と画像合成部４０５とへ出力する。

図５は、第一の実施形態における撮像装置が実行する処理のフローチャートである。図５に示すフローチャートの処理は、ＣＰＵ１０４が、本実施形態に係るプログラムをＲＯＭ１０２から読み出してＲＡＭ１０３上に展開して実行することにより実施される。なお、図５のフローチャートの処理の全てがハードウェア構成により実現されても良いし、一部の処理がハードウェア構成により行われ残りの処理がプログラムによるソフトウェア構成により実行されてもよい。以下の説明では、図５のフローチャートの処理ステップＳ５０１〜ステップＳ５１４をそれぞれＳ５０１〜Ｓ５１４と略記する。これらのことは後述する他のフローチャートにおいても同様であるとする。

先ずＳ５０１において、露光時間設定部４０１は、後述するＳ５１２で選択済みの、尾引きを低減可能な第一の露光時間がＲＡＭ１０３等の記憶領域に記憶されているか否かを判定する。なお、以下の説明では記載の簡略化のため、ＲＡＭ１０３等の記憶領域を単に記憶領域とのみ表記する。露光時間設定部４０１は、選択済みの第一の露光時間が記憶されていると判定した場合にはＳ５０４へ処理を移行し、一方、選択済みの第一の露光時間が記憶されていないと判定した場合にはＳ５０２へ処理を移行する。

Ｓ５０２に進むと、露光時間設定部４０１は、ユーザにより指定されて所定の記憶領域に記憶されている第二の露光時間を、後述するＳ５０６で撮像画像を取得（撮像）する際の露光時間に設定する。本実施形態では、第二の露光時間として、露光時間Ｔ_S2＝１／４８０（ｓｅｃ）と露光時間Ｔ_L2＝１／３０（ｓｅｃ）とが設定されているとする。なお、第二の露光時間Ｔ_S2は図３で説明した短い露光時間Ｔ_Sであり、第二の露光時間Ｔ_L2は長い露光時間Ｔ_Lである。露光時間設定部４０１は、これら第二の露光時間Ｔ_S2，Ｔ_L2を、所定の記憶領域に記憶する。Ｓ５０２の後、撮像装置の処理は感度設定部４０２で行われるＳ５０３へと移行する。

Ｓ５０３に進むと、感度設定部４０２は、ユーザにより指定されて所定の記憶領域に記憶されている第二のセンサ感度を、後述するＳ５０６で撮像画像を取得（撮像）する際のセンサ感度に設定する。本実施形態では、第二のセンサ感度として、ＩＳＯ_S2＝８００、ＩＳＯ_L2＝８００が設定されているとする。なお、第二のセンサ感度ＩＳＯ_S2は第二の露光時間Ｔ_S2で画像を撮像する際のセンサ感度（ＩＳＯ）の設定値であり、第二のセンサ感度ＩＳＯ_L2は第二の露光時間Ｔ_L2で画像を撮像する際のセンサ感度（ＩＳＯ）の設定値である。感度設定部４０２は、これら第二のセンサ感度ＩＳＯ_S2，ＩＳＯ_L2を、所定の記憶領域に記憶する。

またＳ５０４に進んだ場合、露光時間設定部４０１は、第一の露光時間を、後述するＳ５０６で撮像画像を取得（撮像）する際の露光時間に設定する。本実施形態では、後述するＳ５１２で選択済みの第一の露光時間として、露光時間Ｔ_S1＝１／１２０（ｓｅｃ）と露光時間Ｔ_L1＝１／３０（ｓｅｃ）とが設定されているとする。なお、露光時間Ｔ_S1は図３で説明した短い露光時間Ｔ_Sであり、露光時間Ｔ_L1は長い露光時間Ｔ_Lである。露光時間設定部４０１は、これらの第一の露光時間Ｔ_S1，Ｔ_L1を、所定の記憶領域に記憶する。Ｓ５０４の後、撮像装置の処理は感度設定部４０２で行われるＳ５０５へと移行する。

Ｓ５０５に進むと、感度設定部４０２は、第一の露光時間Ｔ_S1およびＴ_L1と、第二の露光時間Ｔ_S2およびＴ_L2と、第二のセンサ感度ＩＳＯ_S2およびＩＳＯ_L2とから、以下の式（１）により第一のセンサ感度ＩＳＯ_S1およびＩＳＯ_L1を設定する。

ここで本実施形態において、第一の露光時間はＴ_S1＝１／１２０（ｓｅｃ）およびＴ_L1＝１／３０（ｓｅｃ）に設定され、第二の露光時間はＴ_S2＝１／４８０（ｓｅｃ）およびＴ_L2＝１／３０（ｓｅｃ）に設定されている。したがって、第二のセンサ感度をＩＳＯ_S2＝８００およびＩＳＯ_L2＝８００、第一のセンサ感度をＩＳＯ_L1＝８００に設定した場合、式（１）により、ＩＳＯ_S1＝２００となる。感度設定部４０２は、これら設定した第一のセンサ感度ＩＳＯ_S1およびＩＳＯ_L1を、所定の記憶領域に記憶する。

前述したＳ５０３またはＳ５０５の後、撮像装置の処理は画像取得部４０３で行われるＳ５０６へと移行する。
Ｓ５０６に進むと、画像取得部４０３は、Ｓ５０２およびＳ５０３、または、Ｓ５０４およびＳ５０５で設定した露光時間およびセンサ感度で撮像した画像を取得する。本実施形態では、解像度がＩＭＧ（ｐｉｘｅｌ）×ＩＭＧ（ｐｉｘｅｌ）で、８ｂｉｔグレースケールの撮像画像が取得されるとする。画像取得部４０３は、この取得した撮像画像を所定の記憶領域に記憶する。Ｓ５０６の後、撮像装置の処理はフレームレート取得部４０４で行われるＳ５０７へと移行する。

Ｓ５０７に進むと、フレームレート取得部４０４は、Ｓ５０６で取得された撮像画像のフレームレートを取得する。フレームレート取得部４０４は、取得したフレームレートの情報を所定の記憶領域に記憶する。Ｓ５０７の後、撮像装置の処理は画像合成部４０５で行われるＳ５０８へと移行する。

Ｓ５０８に進むと、画像合成部４０５は、時間的に隣接したフレームの画像、例えば撮像画像ｉ−１と撮像画像ｉとを用いて、公知のトーンマッピングアルゴリズムを用いてＨＤＲ画像を合成する。画像合成部４０５は、このＨＤＲ合成により生成したＨＤＲ画像を所定の記憶領域に記憶する。

本実施形態では、ユーザ指定の第二の露光時間による撮像で得られた撮像画像をＨＤＲ合成した場合、撮像画像ｉ−１の露光時間が１／４８０（ｓｅｃ）と短いため、図６に示すように画像内の被写体２０１の領域の尾引きのブレが小さい合成画像が生成される。一方で、被写体の尾引きのブレが小さいため、ＨＤＲ画像を動画として連続表示すると、被写体の動きがカクカクして見えるジャーキネスと呼ばれる画質劣化が発生する。Ｓ５０８の後、撮像装置の処理は劣化値算出部４０６で行われるＳ５０９へと移行する。

Ｓ５０９に進むと、劣化値算出部４０６は、第一の露光時間が所定の記憶領域に記憶されている否かを判定する。劣化値算出部４０６は、第一の露光時間が記憶されていると判定した場合には、尾引きを低減したＨＤＲ画像を取得できたと判定し、処理を終了する。一方、第一の露光時間が記憶されていないと判定した場合、劣化値算出部４０６は、尾引き劣化値の算出と尾引きを低減する露光時間の選択処理とが行われていないと判定し、Ｓ５１０へ処理を移行する。

Ｓ５１０に進むと、劣化値算出部４０６は、図３（ｃ）に示したような長い露光時間による撮像画像ｉをＨＤＲ合成したＨＤＲ画像の尾引き劣化値Ｖを算出する。尾引き劣化値算出処理の詳細については後述する。Ｓ５１０の後、撮像装置の処理は露光時間選択部４０７で行われるＳ５１１へと移行する。

Ｓ５１１に進むと、露光時間選択部４０７は、閾値Ｖｔｈを用いて、尾引き劣化値Ｖ＜Ｖｔｈ（本実施形態ではＶｔｈ＝０．２）を満たすか否かを判定する。露光時間選択部４０７は、Ｖ＜Ｖｔｈを満たすと判定した場合には、尾引き劣化を低減する露光時間を選択できていると判定してＳ５１２へ移行する。一方、Ｖ＜Ｖｔｈを満たさないと判定した場合、露光時間選択部４０７は、尾引き劣化を低減する露光時間を選択できていないと判定し、Ｓ５１３へ移行する。

Ｓ５１２に進むと、露光時間選択部４０７は、Ｓ５１１で尾引き劣化を低減できると判定した露光時間を第一の露光時間に選択する。本実施形態では、第一の露光時間として、Ｔ_S1＝１／１２０（ｓｅｃ）、Ｔ_L1＝１／３０（ｓｅｃ）が選択されているとする。露光時間選択部４０７は、この選択した第一の露光時間を所定の記憶領域に記憶する。これにより、露光時間選択部４０７で選択された露光時間が露光時間設定部４０１に送られることになる。Ｓ５１２の後、撮像装置の処理はＳ５０１へ戻る。

Ｓ５１３に進んだ場合、露光時間選択部４０７は、Ｓ５１１で尾引き劣化を低減できないと判定された露光時間を更新する。本実施形態では、撮像画像ｉ−１の露光時間Ｔ_S2＝１／４８０（ｓｅｃ）を所定倍、例えば２倍にしたＴ´_S2＝１／２４０（ｓｅｃ）を撮像画像ｉ−１の露光時間として更新する。露光時間選択部４０７は、更新した露光時間を所定の記憶領域に記憶する。これにより、露光時間選択部４０７で更新した露光時間が露光時間設定部４０１に送られることになる。Ｓ５１３の後、撮像装置の処理は画像合成部４０５で行われるＳ５１４へと移行する。

Ｓ５１４に進むと、画像合成部４０５は、Ｓ５１３の更新で撮像画像ｉ−１の露光時間Ｔ_S2が増加した分のブレを撮像画像ｉ−１に付与する。
ここでＳ５１４において、先ず、画像合成部４０５は、Ｓ５０６で取得された撮像画像ｉ−１と撮像画像ｉに対し、図７（ａ）、図７（ｂ）に示すフーリエ変換画像ＦＦＴ_i-1，ＦＦＴ_iを生成する。次に、画像合成部４０５は、図７（ｃ）に示すフィルタサイズＦ（ｐｉｘｅｌ）×Ｆ（ｐｉｘｅｌ）の平均値フィルタによりフーリエ変換画像ＦＦＴ_F（図７（ｄ））を生成する。本実施形態では、フィルタサイズＦの初期値はＦ＝２（ｐｉｘｅｌ）とする。次に、画像合成部４０５は、以下の式（２）を満たすか否かを判定し、式（２）を満たすまで平均値フィルタのサイズをＦ＝Ｆ＋１とする更新を繰り返す。なお式（２）において、ｆ_x，ｆ_yはフーリエ変換画像中心を原点（０，０）とした時における各画素のｘ座標、ｙ座標である。Δ_Fは平均値フィルタサイズの更新の可否を判定する閾値であり、本実施形態では、Δ_F＝０．１とする。

さらに画像合成部４０５は、撮像画像ｉ−１にブレを付与する平均値フィルタサイズＦ´を算出する。画像合成部４０５は、繰り返し演算で算出した式（２）を満たす平均値フィルタサイズＦ_Cと、撮像画像ｉ−１の更新前後の露光時間Ｔ_S2，Ｔ´_S2、撮像画像ｉフレームの露光時間Ｔ_L2から、以下の式（３）により、平均値フィルタサイズＦ´を算出する。

そして、画像合成部４０５は、撮像画像ｉ−１に対し、算出した平均値フィルタサイズＦ´による平均値フィルタ処理を行うことにより、テップＳ５１３の露光時間更新で撮像画像ｉ−１の露光時間Ｔ_S2が増加した分のブレを撮像画像ｉ−１に付与する。画像合成部４０５は、このようにしてブレを付与した撮像画像ｉ−１を所定の記憶領域に記憶する。Ｓ５１４の後、撮像装置の処理はＳ５０８へ戻る。

次に、Ｓ５１０で劣化値算出部４０６により行われる尾引き劣化値算出処理の詳細について、図８のフローチャートを参照しながら説明する。
先ずＳ８０１において、劣化値算出部４０６は、Ｓ５０６で取得された撮像画像ｉをフーリエ変換した画像ＦＦＴ_iを生成する。図９（ａ）はフーリエ変換画像ＦＦＴ_iの例を示した図である。劣化値算出部４０６は、この生成したフーリエ変換画像ＦＦＴ_iを所定の記憶領域に記憶する。

次にＳ８０２において、劣化値算出部４０６は、Ｓ５０８で合成されたＨＤＲ画像をフーリエ変換した画像ＦＦＴ_HDRを生成する。図９（ｂ）はＨＤＲ画像をフーリエ変換した画像ＦＦＴ_HDRの例を示した図である。劣化値算出部４０６は、その生成したＨＤＲ画像のフーリエ変換画像ＦＦＴ_HDRを所定の記憶領域に記憶する。

次にＳ８０３において、劣化値算出部４０６は、Ｓ８０１、Ｓ８０２で生成したフーリエ変換画像に対して、視覚の空間周波数応答特性を乗算する。例えば劣化値算出部４０６は、公知のＤｏｏｌｅｙの近似式から、視聴者の視距離Ｒを６００（ｍｍ）として、以下の式（４）に示す空間周波数応答特性を、フーリエ変換画像に対して乗算する。なお、式（４）のρは、撮像画像の視聴時における被写体の空間周波数（ｃｙｃｌｅ／ｄｅｇｒｅｅ）である。また図１０に示す曲線は、視覚の空間周波数応答特性ｖｔｆ（ρ）であり、４〜５ｃｙｃｌｅ／ｄｅｇｒｅｅ辺りにピークをもつバンドパス特性となる。

ｖｔｆ（ρ）＝5.05・exp(-0.138ρ)・(１−exp(-0.1ρ)) 式（４）

さらに劣化値算出部４０６は、ρの単位ｃｙｃｌｅ／ｄｅｇｒｅｅと、Ｓ８０１、Ｓ８０２で算出したフーリエ変換画像の空間周波数ｆの単位ｃｙｃｌｅ／ｐｉｘｅｌとが一致するようにリサンプリングする。リサンプリングした視覚の空間周波数応答特性ＶＴＦ（ｆ）は以下の式（５）に従う。

ここで、撮像画像を視聴するディスプレイの画素ピッチをｐ（ｍｍ）、映像のｘ方向画素数をＮ_x（ｐｉｘｅｌ）とする。これらの値は、一般的な視聴者の観察環境に基づいて定められているとする。したがって劣化値算出部４０６は、Ｓ８０１、Ｓ８０２で生成したフレーム変換画像ＦＦＴ_i、ＦＦＴ_HDRに対して、以下の式（６）に従い、ＶＴＦ（ｆ）を乗算することによりＶＴＦフィルタリング画像ＶＴＦ_i、ＶＴＦ_HDRを生成する。なお、式（６）のｆ_x、ｆ_yはフーリエ変換画像中心を原点（０，０）とした時における各画素のｘ座標、ｙ座標である。

図１１（ａ）と図１１（ｂ）は、撮像画像ｉとＨＤＲ画像のフーリエ変換画像に視覚の空間周波数応答特性を乗算したＶＴＦフィルタリング画像ＶＴＦ_i（図１１（ａ））、ＶＴＦ_HDR（図１１（ｂ））を示した図である。これら画像では、視覚の応答特性が高い空間周波数である４〜５ｃｙｃｌｅ／ｄｅｇｒｅｅの周波数帯域で画素値が高くなっている。そして劣化値算出部４０６は、それら生成したＶＴＦフィルタリング画像ＶＴＦ_i、ＶＴＦ_HDRを所定の記憶領域に記憶する。

次にＳ８０４において、劣化値算出部４０６は、ＶＴＦフィルタリング画像ＶＴＦ_i、ＶＴＦ_HDRから、以下の式（７）に従い、空間成分劣化値を算出する。そして劣化値算出部４０６は、算出した空間成分劣化値を所定の記憶領域に記憶する。

次にＳ８０５において、劣化値算出部４０６は、Ｓ８０４で算出した空間成分劣化値と、Ｓ５０７で取得されたフレームレートとから、予め算出しておいたＬＵＴ（ルックアップテーブル）を参照することにより、尾引き劣化値を算出する。本実施形態では、図１２に示すＬＵＴを参照しており、このＬＵＴによれば、フレームレートが低く、空間劣化値が大きい場合に、尾引き劣化値が大きくなっている。そして劣化値算出部４０６は、算出した尾引き劣化値を所定の記憶領域に記憶する。

図１３は、前述のようにして選択された第一の露光時間で撮像した画像を合成したＨＤＲ画像例を示した図である。本実施形態では、撮像画像ｉ−１の露光時間が１／１２０（ｓｅｃ）であり、第二の露光時間で設定した１／４８０（ｓｅｃ）よりも長いため、被写体２０１の尾引きのブレが大きいＨＤＲ画像が合成される。一方で、被写体２０１の尾引きのブレが大きいため、ＨＤＲ画像を動画として連続表示しても被写体の動きが滑らかに見えてジャーキネスは発生しない。

以上説明したように、第一の実施形態の撮像装置においては、異なる露光時間で時分割撮像した画像をＨＤＲ合成する際に、動体に生じるシャープな尾引きに伴うジャーキネスを低減したＨＤＲ画像を取得可能な露光時間を選択することができる。すなわち、本実施形態の撮像装置によれば、異なる露光時間で時分割撮像された複数の撮像画像をＨＤＲ合成する場合に動体領域に生じる画質劣化を低減したＨＤＲ画像を生成可能となる。
また本実施形態では、ＬＵＴを参照して尾引き劣化値を算出したが、前後数フレームの撮像画像とＨＤＲ画像のフーリエ変換画像に対し、フレームレートに応じて公知のＫｅｌｌｙのＶＴＦを乗算した時空間周波数特性の差分から尾引き劣化値を算出しても良い。
また本実施形態では、尾引き劣化値に基づき選択した第一の露光時間で画像を撮像したが、第一の露光時間で画像を撮像できない場合は、第二の露光時間で撮像した画像を出力しても良い。
また第二の露光時間で撮像した画像の内の短い露光画像に対し尾引き劣化を低減するブレを付与し、ＨＤＲ画像を合成しても良い。

本実施形態では、ＨＤＲ画像内全面の空間周波数特性から尾引き劣化値を算出したが、ＨＤＲ画像を領域分割して各分割領域の尾引き劣化値を算出し、算出した尾引き劣化値が所定の閾値より大きい分割領域をユーザインターフェース上に強調表示しても良い。図１４は、被写体２０１の領域において、尾引き劣化値が所定の閾値より大きい分割領域の境界を点線１４０１で囲んで強調表示した例を示した図である。

＜第二の実施形態＞
第一の実施形態では、撮像画像とＨＤＲ画像の空間周波数特性の差分と撮像画像のフレームレートとから尾引き劣化値を算出する方法を説明したが、第二の実施形態では、より高精度に尾引き劣化度を算出する方法について説明する。

例えば、図１５（ａ）、図１５（ｂ）に示すにように、撮像画像とＨＤＲ画像内に同じ尾引きのブレを有する被写体２０１が写っていても、それら被写体２０１の画素位置が異なる場合がある。このように被写体２０１の画素位置が異なると、図１５（ｃ）、図１５（ｄ）に示すように、フーリエ変換画像の空間周波数特性に差異が生じる。この場合、撮像タイミングが異なる複数の撮像画像と複数の撮像画像を合成したＨＤＲ画像に写る被写体の画素位置が異なるために、尾引き劣化値の算出精度が低下してしまうことがある。具体的には速度ｖの被写体を露光時間Ｔ_S、Ｔ_L、フレームレートＴ_FPSで撮像した場合と、速度２ｖの被写体を露光時間０．５Ｔ_S、０．５Ｔ_L、フレームレートＴ_FPSで撮像した場合とでは、被写体上の尾引きは略々同じであるが画素位置に差異が生ずる。

そこで、第二の実施形態では、撮像画像とＨＤＲ画像とで画像内に写る被写体の画素位置が異なる場合でも、高精度に尾引き劣化値を算出可能とする。なお、第二の実施形態の撮像装置の構成は第一の実施形態と同様であるため、それらの図示および説明は省略する。第二の実施形態の場合、Ｓ５１０で劣化値算出部４０６により行われる尾引き算出処理が第一の実施形態とは異なる。

図１６は、第二の実施形態において、Ｓ５１０で劣化値算出部４０６により行われる尾引き劣化値算出処理の流れを示すフローチャートである。なお、図１６のフローチャートのＳ８０５の処理は、前述した図８のＳ８０５と同様であるためその説明は省略する。

先ずＳ１６０１において、劣化値算出部４０６は、Ｓ５０６で取得した撮像画像ｉ−１をフーリエ変換した画像ＦＦＴ_i-1を生成する。図１７はフーリエ変換画像ＦＦＴ_i-1の例を示した図である。劣化値算出部４０６は、生成したフーリエ変換画像ＦＦＴ_i-1を所定の記憶領域に記憶する。

次にＳ１６０２において、劣化値算出部４０６は、予め生成されて記憶領域に用意しておいた、異なる空間周波数特性を有する複数の評価画像を取得する。図１８は、異なる空間周波数特性を有する複数の評価画像の例を示した図である。本実施形態では、画像の平行・回転移動、スケール変換等に対して空間周波数特性が変化しない特性を有するチャート（いわゆる枯葉チャート）を評価画像として取得する。枯葉チャートは、図１９に示すように、長辺ａ（ｐｉｘｅｌ）、短辺ｒ_asp×ａ（ｐｉｘｅｌ）の長方形の画像パターンを多数描画することで生成する。短辺ｒ_aspは長方形のアスペクト比で、０＜ｒ_asp＜１を満たす値である。

以下、図１９、図２０を用いて枯葉チャートの生成例について説明する。
先ず長方形の長辺の最大値ａ_MAX（ｐｉｘｅｌ）、最小値ａ_min（ｐｉｘｅｌ）、アスペクト比ｒ_asp（０＜ｒ_asp＜１）の幾何パラメータを設定する。枯葉チャート内に描画する長方形の大きさは、長方形の長辺の長さa（ｐｉｘｅｌ）を、図２０（ａ）に示す、最小値ａ_min、最大値ａ_MAXで１／ａ³に比例する確率分布からランダムに設定する。長方形の短辺の長さはｒ_asp×ａ（ｐｉｘｅｌ）に設定する。

長方形の枯葉チャート上の画素位置、傾きと長方形内の画素値は、図２０（ｂ）〜図２０（ｄ）に示す、一様な確率分布からランダムに設定する。枯葉チャート全面に長方形が描画されるまで、長方形の長辺・短辺の長さ、画素位置、傾き、画素値の設定を繰り返すことで枯葉チャートを生成する。本実施形態では幾何パラメータである最大値ａ_MAX（ｐｉｘｅｌ）と最小値ａ_min（ｐｉｘｅｌ）、短辺ｒ_aspの組み合わせを複数設定することで、異なる空間周波数特性を有する複数の枯葉チャートを生成する。そして、このようにして予め生成した複数の枯葉チャートが評価画像として所定の記憶領域に記憶されている。

次にＳ１６０３において、劣化値算出部４０６は、前述のように予め生成された異なる空間周波数特性を有する複数の評価画像（枯葉チャート）を、フーリエ変換して画像ＦＦＴ_Dを取得する。図２１は、図１８の評価画像をフーリエ変換した画像ＦＦＴ_Dの例を示した図である。そして劣化値算出部４０６は、フーリエ変換画像ＦＦＴ_Dを所定の記憶領域に記憶する。なおフーリエ変換画像ＦＦＴ_Dを予め生成しておいてもよく、この場合はＳ１６０２の評価画像の取得処理は省くことができる。

次にＳ１６０４において、劣化値算出部４０６は、以下の式（８）に従い、撮像画像ｉ−１に近い空間周波数特性を有する評価画像を選択する。なお、式（８）のｆ_x、ｆ_yはフーリエ変換画像中心を原点（０，０）とした時における各画素のｘ座標、ｙ座標である。Δ_Fは評価画像の選択可否を判定する閾値であり、本実施形態ではΔ_F＝０．１とする。

そして、劣化値算出部４０６は、その選択した評価画像Ｄ_Sを所定の記憶領域に記憶する。
次にＳ１６０５において、劣化値算出部４０６は、Ｓ１６０４で選択した評価画像Ｄ_Sと、Ｓ５０２で設定した第二の露光時間とから、予め算出しておいたＬＵＴを参照することにより、空間成分劣化値を算出する。本実施形態では、図２２に示すＬＵＴを参照しており、評価画像が高周波の空間周波数特性を有し、第二の露光時間で短秒と長秒の露光時間差によるダイナミックレンジの増加量ΔＤＲ（ｓｔｏｐｓ）が大きい場合に、空間成分劣化値が大きくなる。また本実施形態では、第二の露光時間Ｔ_S2＝１／４８０（ｓｅｃ）、Ｔ_L2＝１／３０（ｓｅｃ）が設定されているため、露光時間差によるダイナミックレンジの増加量ΔＤＲ＝４（ｓｔｏｐｓ）である。

図２３、図２４を用いてＬＵＴに予め記憶しておいた各評価画像に対する空間成分劣化値の算出例を説明する。
先ず、劣化値算出部４０６は、図１８に示す評価画像に対し、被写体２０１の速度ｖ（ｐｉｘｅｌ／ｆｒａｍｅ）、ダイナミックレンジの増加量ΔＤＲに応じた平均値フィルタでブレを付与した画像を生成する。図２３はブレを付与した評価画像の例を示した図である。本実施形態では被写体２０１の速度ｖ＝１０（ｐｉｘｅｌ／ｆｒａｍｅ）とする。なお図３（ａ）に示した撮像画像ｉ−１と撮像画像ｉの撮像タイミング違いにより生じる被写体の画素位置ずれを付与しても良いが、画像の平行移動に対して空間周波数特性が変化しない枯葉チャートを用いているため、本実施形態では画素位置ずれを付与しない。

次に、劣化値算出部４０６は、図１８に示す評価画像と図２３に示すブレを付与した評価画像とをＨＤＲ合成し、図２４に示すＨＤＲ画像を生成する。更に、劣化値算出部４０６は、生成したＨＤＲ画像とブレを付与した評価画像とから空間成分劣化値を算出する。そして、劣化値算出部４０６は、各評価画像とダイナミックレンジの増加量ΔＤＲについて算出した空間成分劣化値をＬＵＴとして予め所定の記憶領域に記憶する。また劣化値算出部４０６は、ＬＵＴの参照により算出した空間成分劣化値を所定の記憶領域に記憶する。

第二の実施形態の撮像装置では、撮像画像と同じ空間周波数特性を有し、画像の平行・回転移動、スケール変換に対して空間周波数特性が変化しない評価画像を用いて尾引き劣化値を算出している。これにより、第二の実施形態によれば、撮像画像とＨＤＲ画像内に写る被写体の画素位置が異なる場合でも、高精度に尾引き劣化値を算出することができる。
また第二の実施形態では、被写体２０１の速度ｖ＝１０（ｐｉｘｅｌ／ｆｒａｍｅ）として各評価画像と空間成分劣化値のＬＵＴを算出したが、複数の速度で空間成分劣化値を算出し、各劣化値の平均値や最大・最小値からＬＵＴを算出しても良い。

本実施形態では、撮像画像と評価画像とを用いて尾引き劣化を低減する露光時間を選択したが、ユーザが事前情報として入力した撮像する被写体のダイナミックレンジと移動速度から、尾引き劣化を低減する露光時間をユーザインターフェース上に表示しても良い。具体的には、被写体のダイナミックレンジと移動速度から、異なる空間周波数特性を有する複数の評価画像の尾引き劣化値を算出し、尾引き劣化値が所定の閾値以下となる評価画像の数が所定の数より多い露光時間をユーザインターフェース上に表示する。図２５は、ユーザが入力した被写体のダイナミックレンジと移動速度から選択した尾引き劣化を低減する露光時間及びセンサ感度の表示例を示した図である。

なお前述した実施形態では、撮像装置の一適用例としてデジタルカメラを挙げたが、本発明はこの例に限定されるものではない。本実施形態は、デジタルカメラ機能を備えたパーソナルコンピュータやタブレット端末、スマートフォン、携帯ゲーム機などの各種情報端末に適用可能である。また撮像装置は、デジタル一眼レフカメラ、ミラーレス一眼カメラ、コンパクトデジタルカメラ、カムコーダ、車載カメラ、監視カメラ、医療用カメラ、工業用カメラ等のいずれであってもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１：撮像部、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：ＣＰＵ、１０５：撮像制御部、１１０：画像処理部、４０１：露光時間設定部、４０３：画像取得部、４０４：フレームレート取得部、４０５：画像合成部、４０６：劣化値算出部、４０７：露光時間選択部

Claims (16)

1. 被写体を撮像する複数の露光時間を制御する露光時間制御手段と、
   前記被写体を前記複数の露光時間で時分割して撮像した複数の撮像画像を取得する画像取得手段と、
   前記複数の撮像画像を合成してハイダイナミックレンジの合成画像を生成する合成手段と、
   少なくとも前記撮像画像と前記合成画像とを基に、前記合成画像の中の前記被写体の残像による画質の劣化値を算出する算出手段と、を有し、
   前記露光時間制御手段は、前記劣化値が所定の閾値より低くなる露光時間を選択することを特徴とする撮像装置。
2. 前記複数の撮像画像のフレームレートを取得するレート取得手段をさらに有し、
   前記算出手段は、前記撮像画像と前記合成画像との空間周波数特性の差分と、前記フレームレートとを基に、前記劣化値を算出することを特徴とする請求項１に記載の撮像装置。
3. 前記複数の撮像画像のフレームレートを取得するレート取得手段をさらに有し、
   前記算出手段は、前記撮像画像と前記合成画像との空間周波数特性の差分と前記フレームレートとを基に、前記撮像画像と前記合成画像との時空間周波数特性の差分を算出し、前記時空間周波数特性の差分から前記劣化値を算出することを特徴とする請求項１に記載の撮像装置。
4. 前記算出手段は、前記撮像画像と前記合成画像とをフーリエ変換した画像に対し、視覚の空間周波数応答特性を乗算した画像から、前記空間周波数特性の差分を算出することを特徴とする請求項２または３に記載の撮像装置。
5. 前記算出手段は、前記撮像画像から、画像の撮像タイミング違いによる空間周波数特性の変化が所定の閾値より小さい評価画像と、前記評価画像に対する前記劣化値とのルックアップテーブルを算出し、前記ルックアップテーブルを参照して、前記合成画像の中の前記被写体における前記劣化値を算出することを特徴とする請求項１に記載の撮像装置。
6. 前記算出手段は、前記撮像画像と前記合成画像を複数の領域に分割した分割領域における前記劣化値を算出し、
   前記劣化値が所定の閾値より大きい前記分割領域を、表示装置のユーザインターフェース上に表示する表示手段を有することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 前記露光時間制御手段は、
   前記露光時間を選択した場合には、前記選択した露光時間を第一の露光時間として設定し、
   前記第一の露光時間が選択されていない場合には、ユーザが指定した露光時間を第二の露光時間として設定することを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記合成手段は、前記第一の露光時間で撮像した画像を取得できない場合に、前記第二の露光時間で撮像した画像を出力することを特徴とする請求項７に記載の撮像装置。
9. 前記露光時間制御手段による前記露光時間の設定に応じて露光感度を設定する露光感度設定手段を有することを特徴とする請求項７または８に記載の撮像装置。
10. 前記露光感度設定手段は、
    前記第二の露光時間が設定された場合には、ユーザが指定した露光感度を第二の露光感度として設定し、
    前記第一の露光時間が設定された場合には、前記第一の露光時間と前記第二の露光時間と前記第二の露光感度とを基に、第一の露光感度を設定することを特徴とする請求項９に記載の撮像装置。
11. 前記算出手段は、画像の中の前記被写体のダイナミックレンジと前記被写体の移動速度とを取得する手段を更に有し、前記ダイナミックレンジと前記移動速度とを基に、前記劣化値が所定の閾値より低くなる複数の露光時間を、表示装置のユーザインターフェース上に表示することを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
12. 前記第一の露光時間で撮像した画像を取得できない場合、
    前記合成手段は、前記第二の露光時間で時分割して撮像された撮像画像の内、露光時間が短い撮像画像に対して、前記残像による劣化を低減するブレを付与して前記合成画像を生成することを特徴とする請求項７から１１のいずれか１項に記載の撮像装置。
13. 前記露光時間制御手段は、前記第二の露光時間のうち短い露光時間を所定倍した露光時間を設定し、
    前記合成手段は、前記所定倍された露光時間により増加する前記残像による劣化を低減するブレを、前記第二の露光時間で時分割して撮像された前記露光時間が短い撮像画像に対して付与することを特徴とする請求項１２に記載の撮像装置。
14. 前記合成手段は、前記撮像画像をフーリエ変換した画像を基に算出したフィルタサイズの平均値フィルタ処理により、前記ブレの付与を行うことを特徴とする請求項１２または１３に記載の撮像装置。
15. 被写体を撮像する複数の露光時間を制御する露光時間制御工程と、
    前記被写体を前記複数の露光時間で時分割して撮像した複数の撮像画像を取得する画像取得工程と、
    前記複数の撮像画像を合成してハイダイナミックレンジの合成画像を生成する合成工程と、
    少なくとも前記撮像画像と前記合成画像とを基に、前記合成画像の中の前記被写体の残像による画質の劣化値を算出する算出工程と、を有し、
    前記露光時間制御工程では、前記劣化値が所定の閾値より低くなる露光時間を選択することを特徴とする撮像装置の制御方法。
16. コンピュータを請求項１から１４のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。