JP2023154575A - 撮像装置およびその制御方法、ならびに画像処理装置 - Google Patents

Abstract

【課題】高輝度被写体を含む低照度シーンをより手軽に撮影可能な撮像装置およびその制御方法を提供すること。【解決手段】撮像装置は、アンダー露出で複数回撮影を実施し、複数フレーム分の画像データを取得する。そして、複数フレーム分の画像データの明るさを補正したのちに合成することにより、合成画像のデータを生成する。【選択図】図１

Description

本発明は、撮像装置およびその制御方法、ならびに画像処理装置に関し、特には画像合成技術に関する。

高輝度被写体を含んだ低照度シーン（例えば夜景シーン）のように輝度のダイナミックレンジが広いシーンを適正露出で撮影すると、高輝度被写体が白飛びしやすい。そのため、同じシーンをアンダー露出、適正露出、オーバー露出で撮影した画像を合成して、ダイナミックレンジの広い画像を生成する技術が知られている（特許文献１）。

特開２０１４－６０５７８号公報

同じシーンを異なる露出で撮影する場合、低照度シーンでは特に適正露出やオーバー露出の撮影における露出時間が長くなるため、手ブレが起こりやすい。そのため、撮像装置を三脚などで固定して撮影する必要があり、使い勝手がよくない。

本発明はその一態様において、高輝度被写体を含む低照度シーンをより手軽に撮影可能な撮像装置およびその制御方法を提供する。

上述の目的は、アンダー露出で複数回撮影を実施し、複数フレーム分の画像データを取得する撮像手段と、複数フレーム分の画像データの明るさを補正する補正手段と、補正手段が補正した複数フレーム分の画像データを合成して合成画像のデータを生成する生成手段と、を有する撮像装置によって達成される。

本発明によれば、高輝度被写体を含む低照度シーンをより手軽に撮影可能な撮像装置およびその制御方法を提供することができる。

実施形態に係る撮像装置の機能構成例を示すブロック図 図１の画像処理部の機能構成例を示すブロック図 図２の現像処理部の機能構成例を示すブロック図 第１実施形態における低照度シーン撮影処理の例に関するフローチャート 図４のＳ４０２で実施する現像処理の例に関するフローチャート 実施形態で用いるガンマカーブの例を示す図 図４のＳ４０３で実施する現像処理の例に関するフローチャート ローカルトーンマッピング処理で用いるゲインマップの例を示す図 第２実施形態における低照度シーン撮影処理の例に関するフローチャート

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

図面においてブロックとして表現されている構成は、ＡＳＩＣやＦＰＧＡのような集積回路（ＩＣ）によって、ディスクリート回路によって、あるいはメモリと、メモリに格納されたプログラムを実行するプロセッサとの組み合わせによって実現されうる。また、１つのブロックが複数の集積回路パッケージによって実現されてもよいし、複数のブロックが１つの集積回路パッケージによって実現されてもよい。また、同一のブロックが動作環境や要求される能力などに応じて異なる構成で実施されてもよい。

なお、以下では、本発明をデジタルカメラなどの撮像装置で実施する形態に関して説明する。しかし、本発明は撮像機能を有する任意の電子機器でも実施可能である。このような電子機器には、撮像装置のほか、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダなどが含まれる。これらは例示であり、本発明は他の電子機器でも実施可能である。

●（第１実施形態）
図１は、本発明の実施形態に係る撮像装置１００の機能構成例を示すブロック図である。図１では撮像装置１００が有する構成のうち、代表的な構成のみを示している。光学系１０１は、複数のレンズ、シャッタ兼用の絞り、絞り駆動機構などを有し、被写体の光学像を形成する。複数のレンズには光学系１０１の合焦距離を調整するフォーカスレンズ、画角を変更するズームレンズなどの可動レンズが含まれる。また、光学系１０１は可動レンズの駆動機構も有する。

撮像部１０２は例えば原色ベイヤ配列のカラーフィルタを有する公知のＣＣＤもしくはＣＭＯＳカラーイメージセンサであってよい。撮像部１０２は複数の画素が２次元配列された画素アレイと、各画素から信号を読み出すための周辺回路とを有する。各画素は光電変換によって入射光量に応じた電荷を蓄積する。露光期間に蓄積された電荷量に応じた電圧を有する信号を各画素から読み出すことにより、光学系１０１が形成する被写体像を表す画素信号群（アナログ画像信号）が得られる。

Ａ／Ｄ変換部１０３は、撮像部１０２から読み出されたアナログ画像信号をＡ／Ｄ変換してデジタル画像信号（画像データ）に変換する。なお、撮像部１０２がＡ／Ｄ変換機能を有する場合にはＡ／Ｄ変換部１０３は不要である。

画像処理部１０４は、Ａ／Ｄ変換部１０３が出力する画像データや、記録部１０９から読み出された画像データに対して予め定められた画像処理を適用し、用途に応じた信号や画像データを生成したり、各種の情報を取得および／または生成したりする。画像処理部１０４は例えば特定の機能を実現するように設計されたＡＳＩＣ(Application Specific Integrated Circuit)のような専用のハードウェア回路であってよい。あるいは画像処理部１０４はＤＳＰ(Digital Signal Processor)やＧＰＵ(Graphics Processing Unit)のようなプロセッサがソフトウェアを実行することで特定の機能を実現する構成であってもよい。

画像処理部１０４が画像データに適用しうる画像処理には、例えば、前処理、色補間処理、補正処理、検出処理、データ加工処理、評価値算出処理、特殊効果処理などが含まれうる。
前処理には、信号増幅、基準レベル調整、欠陥画素補正などが含まれうる。
色補間処理は、撮像部１０２にカラーフィルタが設けられている場合に行われ、画像データを構成する個々の画素データに含まれていない色成分の値を補間する処理である。色補完処理はデモザイク処理とも呼ばれる。
補正処理には、ホワイトバランス調整、階調補正、光学系１０１の光学収差に起因する画像劣化の補正（画像回復）、光学系１０１の周辺減光の影響の補正、色補正などの処理が含まれうる。
検出処理には、特徴領域（たとえば顔領域や人体領域）やその動きの検出、人物の認識処理などが含まれうる。
データ加工処理には、領域の切り出し（トリミング）、合成、スケーリング、符号化および復号、ヘッダ情報生成（データファイル生成）などの処理が含まれうる。表示用画像データや記録用画像データの生成もデータ加工処理に含まれる。
評価値算出処理には、自動焦点検出（ＡＦ）に用いる信号や評価値の生成、自動露出制御（ＡＥ）に用いる評価値の生成などの処理が含まれうる。
特殊効果処理には、ボケ効果の付加、色調の変更、リライティングなどの処理などが含まれうる。
なお、これらは画像処理部１０４が画像データに適用可能な処理の例示であり、画像処理部１０４が適用する処理を限定するものではない。

露光量制御部１０５は、画像処理部１０４が算出する評価値と予め定められたプログラム線図に撮影条件（絞り値、シャッタスピード、ＩＳＯ感度）を決定する。また、露光量制御部１０５は、撮影時には決定した撮影条件に基づいて光学系１０１（絞り）および撮像部１０２の動作を制御する。また、露光量制御部１０５は、画像処理部１０４が算出する評価値に基づいて光学系１０１（フォーカスレンズ）を駆動し、光学系１０１の合焦距離を調整する。

システム制御部１０６は例えばプログラムを実行可能なプロセッサ（ＣＰＵ、ＭＰＵ、マイクロプロセッサなど）と、ＲＯＭと、ＲＡＭとを有する。システム制御部１０６は、ＲＯＭに記憶されたプログラムをＲＡＭに読み込んで実行することにより、撮像装置１００の各部の動作を制御し、撮像装置１００の機能を実現する。

ＲＯＭは書き換え可能であり、プロセッサが実行するプログラム、撮像装置１００の各種の設定値、ＧＵＩデータなどを記憶する。ＲＡＭは、システム制御部１０６がプログラムを実行する際に用いるメインメモリである。

操作部１０７は、ユーザが撮像装置１００に各種の指示を入力するために設けられた入力デバイス（ボタン、スイッチ、ダイヤルなど）の総称である。操作部１０７を構成する入力デバイスは、割り当てられた機能に応じた名称を有する。例えば、操作部１０７には、レリーズスイッチ、動画記録スイッチ、撮影モードを選択するための撮影モード選択ダイヤル、メニューボタン、方向キー、決定キーなどが含まれる。

レリーズスイッチは静止画記録用のスイッチであり、システム制御部１０６はレリーズスイッチの半押し状態を撮影準備指示、全押し状態を撮影開始指示と認識する。また、システム制御部１０６は、動画記録スイッチが撮影スタンバイ状態で押下されると動画の記録開始指示と認識し、動画の記録中に押下されると記録停止指示と認識する。なお、同一の入力デバイスに割り当てられる機能は可変であってよい。また、入力デバイスはタッチディスプレイを用いたソフトウェアボタンもしくはキーであってもよい。また、操作部１０７は、音声入力や視線入力など、非接触な入力方法に対応した入力デバイスを含んでもよい。

表示部１０８は、撮影によって得られた画像データや、記録部１０９から読み出された画像データに基づく画像を表示する。表示部１０８は、例えば、液晶ディスプレイや有機ＥＬディスプレイである。動画の撮影を行いながら、撮影によって得られた動画を表示部１０８に表示することにより、表示部１０８を電子ビューファインダ（ＥＶＦ）として機能させることができる。

記録部１０９は画像処理部１０４が生成する記録用画像データを格納する記憶装置である。記録部１０９は例えば不揮発性メモリや磁気ディスクを用いた記憶装置であってよい。また、記録部１０９は着脱可能な記録媒体を用いる記憶装置であってもよい。

メモリ１１１は例えばＲＡＭであり、画像処理部１０４やシステム制御部１０６が中間データなどの様々なデータを一時的に格納するために用いる。メモリ１１１の一部はビデオメモリとして用いられてもよい。

バス１１０は、接続されたブロック間におけるデータおよび制御信号の通信に用いられる。

図２は、画像処理部１０４が本実施形態で実行する画像合成に関する動作を機能ブロックで表現したものである。Ａ／Ｄ変換部１０３から画像処理部１０４に供給される入力画像データを構成する個々の画素データは、撮像部２０１が有する原色ベイヤ配列のカラーフィルタに応じた１つの色成分（Ｒ（赤）、Ｇ（緑）、またはＢ（青）成分）を有する。

現像処理部２０１は、入力画像データから、用途に応じたカラー画像データを生成する。カラー画像データは、個々の画素データがＹＵＶもしくはＲＧＢなど、カラー画像を表すために必要な色成分を有する画像データである。

図３は、現像処理部２０１の機能構成例を示すブロック図である。
入力画像データはホワイトバランス処理部３０１に入力される。ホワイトバランス処理部３０１は、入力画像データにホワイトバランス係数を適用する。ホワイトバランス係数は例えば入力画像データから公知の方法で算出することができる。ホワイトバランス処理部３０１は処理済みの画像データをノイズリダクション処理部３０２に出力する。

ノイズリダクション処理部３０２は、画像データに対し、含まれる暗電流ノイズや光ショットノイズを低減するノイズリダクション処理を適用する。ノイズリダクション処理は、例えばローパスフィルタ（ＬＰＦ）やバイラテラルフィルタを用いた公知の処理であってよい。ノイズリダクション処理部３０２は、処理済みの画像データをデモザイク処理部３０３に出力する。

デモザイク処理部３０３は、画像データに対してデモザイク処理を適用する。デモザイク処理は色補完処理とも呼ばれる。個々の画素データに不足している色成分の値を例えば周辺画素の値を用いて補完することにより、個々の画素データがＲ、Ｇ、Ｂの３成分の値を有するようにする。デモザイク処理は、例えば不足している色成分の値を、その色成分の値を有する周辺画素の値を補間して生成するなど、公知の方法を用いて実現することができる。デモザイク処理部３０３は、処理済みの画像データを色マトリクス処理部３０４に出力する。

色マトリクス処理部３０４は、画像データに、画像データの色域を出力装置の色域に合わせる色マトリクス処理を適用する。色マトリクス処理は、撮像部２０１（撮像素子）の分光特性および画像データの出力先の装置の色域に基づく公知の方法によって実現することができる。色マトリクス処理部３０４は、処理済みの画像データをガンマ処理部３０５に出力する。

ガンマ処理部３０５は、画像データに対して、光電気伝達関数（ＯＥＴＦ）を適用する。ここで適用するＯＥＴＦは、画像データの出力先の装置（表示装置）の電気光伝達関数（ＥＯＴＦ）に応じて定まる。ガンマ処理により、画像データの値が出力先の装置において適切に表示可能な値に変換される。ガンマ処理が適用された画像データは合成処理部２０２に出力される。

図２に戻り、合成処理部２０２は、現像処理部２０１で生成された複数フレームの画像データの位置合わせ処理と、位置合わせされた複数フレームの画像データの合成処理とを行う。合成処理部２０２は例えば複数フレーム分の画像データを対応する画素ごとに加算平均することにより合成画像データを生成する。合成処理部２０２は生成した合成画像データをローカルトーンマッピング処理部２０３に出力する。

ローカルトーンマッピング処理部２０３は、合成画像データに対してローカルトーンマッピング処理を適用する。ローカルトーンマッピング処理は、例えば低輝度から中輝度の局所的な領域の明るさを変化させる（ここでは明るくする）処理である。

次に、本実施形態に係る撮像装置１００が合成画像を生成する際の一連の動作について説明する。撮像装置１００は例えば夜景撮影モードなど、低照度シーンを撮影するモードが設定されたり、撮像画像の解析によって撮影シーンが低照度シーンであると判定される場合に、合成を前提とした複数フレームの撮影ならびに画像合成の生成を実行することができる。以下、複数回の撮影を行い、得られた複数フレーム分の画像データを合成して低照度シーンの画像を生成する処理を、低照度シーン撮影処理という。

図４は本実施形態において撮像装置１００が実施する低照度シーン撮影処理に関するフローチャートである。
Ｓ４０１でシステム制御部１０６は、操作部１０７から撮影開始指示が入力されたことを検出すると、露光量制御部１０５に対し、低照度シーン撮影処理に係る静止画撮影を開始するように指示する。

なお、露光量制御部１０５は、撮影スタンバイ状態において、例えばライブビュー表示用に撮影している動画データに基づいて画像処理部１０４が生成する評価値から、適正露出を得るための撮影条件を逐次決定しているものとする。また、露光量制御部１０５は、例えばライブビュー表示用に撮影している動画データに基づいて画像処理部１０４が生成する評価値に基づいてフォーカスレンズを継続的に駆動しているものとする。

露光量制御部１０５は、システム制御部１０６からの指示に応答して、アンダー露出で静止画撮影処理を複数回、連続して実行する。なお、適正露出に対してどの程度アンダー露出とするかと、撮影回数とは予め定められているものとする。ここでは一例として適正露出よりも１Ｅｖアンダー露出で３回撮影するものとする。なお、撮影回数は例えば適正露出を得るための撮影条件もしくはシーンの明るさ、アンダー露出と適正露出の差の大きさの１つ以上に応じて動的に決定してもよい。

また、アンダー露出と適正露出の差は、例えば撮影シーンの輝度情報に基づいて動的に決定してもよいし、他の方法で決定してもよい。また、ユーザが任意で指定できるようにしてもよい。

アンダー露出で撮影することにより、適正露出やオーバー露出での撮影を行う場合よりも速いシャッタスピードで撮影できる。そのため、複数回の撮影に要する時間を短縮でき、かつ手ブレを抑制することができる。

１フレーム分の撮影が行われるごとに、撮像部１０２およびＡ／Ｄ変換部１０３を通じて画像処理部１０４に画像データが供給される。

Ｓ４０２で、画像処理部１０４（現像処理部２０１）は、画像データに対して上述したようにデモザイク処理などを適用し、フルカラー画像データを生成する。

Ｓ４０３で、画像処理部１０４（合成処理部２０２）は、現像処理部２０１が生成したフルカラー画像データに対して位置合わせ処理を適用する。

Ｓ４０４で、画像処理部１０４（合成処理部２０２）は、Ｓ４０３で位置合わせした３フレーム分の画像データを合成して合成画像データを生成する。

Ｓ４０５で、画像処理部１０４（ローカルトーンマッピング処理部２０３）は、Ｓ４０４で生成した合成画像データに対してローカルトーンマッピング処理を適用する。システム制御部１０６は、ローカルトーンマッピング処理が適用され、画像処理部１０４から出力された合成画像データを、予め定められた形式のデータファイルに格納して記録部１０９に記録する。なお、システム制御部１０６は、記録前に、合成画像データに対して符号化処理など必要な処理を適用することができる。

また、画像処理部１０４は、生成した合成画像データから表示用の画像データを生成し、メモリ１１１のビデオメモリ領域に書き込むことで、表示部１０８に合成画像を表示指せてもよい。

＜現像処理の説明＞
次に、図５に示すフローチャートを用いて、図４のＳ４０２における現像処理の詳細について説明する。ここでは、現像処理部２０１が実行する処理を現像処理と呼ぶ。図５の各工程は、図３に示した機能ブロック３０１～３０５のそれぞれが行う処理に対応している。

Ｓ５０１で、ホワイトバランス処理部３０１は、入力された画像データに対し、撮影時の環境光の色温度に応じて色バランスを調整するホワイトバランス処理を適用する。ホワイトバランス処理とは、以下の式（１）に示すように、Ｒ、Ｇ、Ｂの各成分に個別のゲインを乗算して画像における色バランスを調整する処理である。

式（１）において、Ｒ_in、Ｇ_in、Ｂ_inはホワイトバランス処理前のＲ、Ｇ、Ｂ成分の値である。また、Ｒ_out、Ｇ_out、Ｂ_outはホワイトバランス処理後のＲ、Ｇ、Ｂ成分の値である。Ｇａｉｎ_R、Ｇａｉｎ_G、Ｇａｉｎ_BはそれぞれＲ、Ｇ、Ｂ成分に乗じるゲインである。
R_out=Gain_R×R_in
G_out=Gain_G×G_in ・・・式（１）
B_out=Gain_B×B_in

なお、ゲインの値は、例えば、環境光の色温度を推定し、色温度に応じた白領域を画像中から抽出し、白領域内の画素が無彩色となるような係数値として決定することができる。ホワイトバランス処理部３０１は、処理済みの画像データをノイズリダクション処理部３０２に出力する。

Ｓ５０２で、ノイズリダクション処理部３０２は、入力された画像データに対し、暗電流ノイズや光ショットノイズを低減するためのノイズリダクション処理を適用する。ノイズリダクション処理は、ローパスフィルタやバイラテラルフィルタを用いた公知の方法で実施することができる。ノイズリダクション処理部３０２は、処理済みの画像データをデモザイク処理部３０３に出力する。

Ｓ５０３で、デモザイク処理部３０３は、入力された画像データに対して、デモザイク処理を適用する。上述したように、デモザイク処理により、画像データを構成する個々の画素データがＲ、Ｇ、Ｂの３成分の値を有するようになる。デモザイク処理部３０３は、処理済みの画像データを色マトリクス処理部３０４に出力する。

Ｓ５０４で、現像処理部の色マトリクス処理部３０４は、入力された画像データに対して、出力先の装置の色域に合わせるための色マトリクス処理を適用する。具体的には、色マトリクス処理部３０４は、例えば以下の式（２）に示すように、入力画像データの各画素データについて、色成分の値Ｒ_in、Ｇ_in、Ｂ_inに３×３の係数ｋ₁₁～ｋ₃₃により構成されたマトリクスを適用する。これにより、各画素データが有する色成分の値を、出力先の装置が取り扱う色域に適した色成分の値Ｒ_out、Ｇ_out、Ｂ_outに変換する。

色マトリクス処理部３０４は、処理済みの画像データをガンマ処理部３０５に出力する。

Ｓ５０５で、ガンマ処理部３０５は、入力された画像データに対し、出力先の表示装置の入出力特性を表す電気光伝達関数（ＥＯＴＦ）に対応した光電気伝達関数（ＯＥＴＦ）を適用する。ＥＯＴＦおよびＯＥＴＦはガンマカーブもしくはガンマ特性とも呼ばれる。

ガンマ処理部３０５が実施するガンマ処理の具体例について説明する。本実施形態においてガンマ処理部３０５は、予め定められた複数のＯＥＴＦのうち１つを選択的に用いてガンマ処理を適用する。例えば、ガンマ処理部３０５は、高輝度階調を優先する場合のＯＥＴＦと、高輝度階調を優先しない場合のＯＥＴＦとのいずれかを用いる。

高輝度階調を優先する場合には、出力装置において中間調の明るさを持ち上げるような特性を有するＥＯＴＦを適用する。これにより、最終的に表示される画像の全体的な明るさを適正露出と同等に保ちながら、アンダー露出で撮像したことによる高輝度部の白とびの抑制効果が得られる。なお、高輝度階調を優先する場合に、ガンマ処理部３０５において高輝度階調を優先するＯＥＴＦを用い、出力装置において高輝度階調を優先しないＥＯＴＦを用いてもよい。

そのため、低照度シーン撮影処理を実行する場合、ガンマ処理部３０５は高輝度階調を優先するＯＥＴＦを用いたガンマ処理を画像データに適用する。

図６に、高輝度階調を優先する場合のＯＥＴＦ（高輝度優先ＯＥＴＦ）６０２と、高輝度階調を優先しない場合のＯＥＴＦ（通常ＯＥＴＦ）６０１の具体例を示す。ここでは、Ａ／Ｄ変換部１０３の出力する画像データが色成分あたり１２ビットの階調値（０～４０９５）を有するものとする。また、自動露出（ＡＥ）における目標階調値（ＡＥターゲット値）が５１２であるとする。ＡＥターゲット値は、特定の明るさの被写体、具体的には反射率１８％の無彩色被写体を適正露出で撮影した際に得られる階調値である。すなわち、ＡＥ処理では、反射率１８％の無彩色被写体を撮影した際に得られる階調値がＡＥターゲット値になる撮影条件を決定する。

ここでは、色成分あたり８ビットの階調値（０～２５５）の画像データを記録するため、ＯＥＴＦ６０１，６０２はいずれも１２ビットの入力値を８ビットの出力値に変換する入出力特性を有している。しかし、ＯＥＴＦ６０１、６０２はビット数を変換せず、ビット数の変換は別途実行してもよい。

また、通常ＯＥＴＦ６０１（第１のガンマカーブ）は、ＡＥターゲット値５１２が出力階調範囲０～２５５の中央値である階調値１２３に変換されるように設計されている。これは、反射率１８％の無彩色が、人間の視覚では白と黒の真ん中の明るさに視認されるためである。

ここでは低輝度シーン撮影処理において適正露出より１Ｅｖアンダー露出で撮影を行うため、１８％反射率の無彩色被写体の階調値は２５６となる。そして、低輝度シーン撮影処理で用いる高輝度優先ＯＥＴＦ６０２（第２のガンマカーブ）は、階調値の低い領域における立ち上がりが通常ＯＥＴＦ６０１よりも急な階調特性を有し、入力階調値２５６が出力階調値１２３に変換されるように設計されている。

つまり、高輝度優先ＯＥＴＦ６０２を用いるガンマ処理を適用することにより、１Ｅｖアンダー露出で撮影して得られる画像の明るさは、適正露出で撮影して得られる画像と同等の明るさに変換される。

しかし、アンダー露出で撮影したことで、適正露出で撮影した場合には階調値が飽和する画素のうち、飽和しなくなる画素が存在しうる。つまり、アンダー露出で撮影することにより白とびを抑制する効果が得られる。

このように、アンダー露出の撮影と、高輝度優先ＯＥＴＦ６０２を用いたガンマ処理の組み合わせにより、全体的な画像の明るさを維持しつつ、高輝度部の白とびを抑制した画像を取得することが可能になる。

＜位置合わせ処理および合成処理の説明＞
次に、図４のＳ４０３における位置合わせ処理とＳ４０４における合成処理の詳細について説明する。まず、図７に示すフローチャートを用いて、図４のＳ４０３における位置合わせ処理の詳細について説明する。

Ｓ７０１で、合成処理部２０２は、複数フレーム分の画像データのうち、位置合わせの基準となる画像（基準画像）のデータを取得する。基準画像のデータは、低照度シーン撮影処理における最初の撮影で得られた画像データであってよい。

Ｓ７０２で、合成処理部２０２は、基準画像に位置を合わせる画像（対象画像）のデータを取得する。対象画像は、基準画像以外で、かつ位置合わせが行われていない画像である。基準画像を最初の撮影で得られた画像とした場合、合成処理部２０２は、２回目以降の撮影で得られた画像データを順次対象画像のデータとして取得することができる。

Ｓ７０３で、合成処理部２０２は、基準画像と対象画像との位置ずれ量を求める。合成処理部２０２は、基準画像に対する対象画像の動きベクトルを位置ずれ量として求めることができる。合成処理部２０２は例えば、基準画像を複数の同サイズのブロックに分割し、各ブロックをテンプレートとしたテンプレートマッチングを実施することにより、対象画像でテンプレートに最も類似した領域を探索する。画像間の類似度は、対応する画素の値の差分絶対値和（ＳＡＤ）、差分二乗和（ＳＳＤ）、または正規化相互相関（ＮＣＣ）として算出することができる。探索範囲は対象画像の全体としてもよいし、一部としてもよい。

そして、合成処理部２０２は、探索された領域の位置と、テンプレートとして用いたブロックの基準画像における位置との差を動きベクトルとして検出する。合成処理部２０２は、ブロックごとに検出した動きベクトルから、基準画像に対する対象画像全体の動きベクトルを求め、位置ずれ量とする。

Ｓ７０４で、合成処理部２０２は、基準画像と対象画像との位置のずれ量から変換係数を算出する。合成処理部２０２は、変換係数として、例えば射影変換係数を算出する。アフィン変換係数や、より簡便な水平垂直シフト量を変換係数として算出してもよい。

Ｓ７０５で、合成処理部２０２は、Ｓ７０４で算出した変換係数を用いて対象画像を変換する。たとえば、合成処理部２０２は、以下の式（３）に従って対象画像を変形することができる。

式（３）において、（ｘ、ｙ）は変換前の座標を、（ｘ´、ｙ´）は変形後の座標である。行列ＡはＳ７０４で合成処理部２０２が算出した変形係数を示す。合成処理部２０２は変形後の対象画像のデータを、位置合わせ処理済みの画像データとして例えばメモリ１１１に格納する。

Ｓ７０６で、合成処理部２０２は、基準画像以外のすべての画像に対して位置合わせ処理を適用したか否かを判定する。合成処理部２０２は、位置合わせ処理を適用していない画像が残っていると判定されればＳ７０２からの処理を繰り返し実行する。合成処理部２０２は、基準画像以外のすべての画像に対して位置合わせ処理を適用したと判定されれば、図７のフローチャートに示す処理を終了する。

次に、図４のＳ４０４で合成処理部２０２が実施する合成処理について説明する。
合成処理部２０２は、位置合わせ済みの画像データを順次メモリ１１１から取得し、基準画像のデータに合成する。合成処理部２０２は、例えば、対応する座標の画素データを加算平均することにより合成画像のデータを生成する。加算平均により画像に重畳したランダムノイズを低減することができる。加算平均以外の方法で合成画像のデータを生成してもよいが、ランダムノイズが減少する方法を用いることが望ましい。

＜ローカルトーンマッピング処理の説明＞
次に、図４のＳ４０５でローカルトーンマッピング処理部２０３が実施するローカルトーンマッピング処理について説明する。なお、アンダー露出による撮影で得られた画像をガンマ処理によって適正露出相当の明るさに変換して合成することで、高輝度部の白とび（飽和）を抑制し、ダイナミックレンジを拡大した画像が得られる。したがって、ローカルトーンマッピング処理は必須ではない。しかしながら、ローカルトーンマッピング処理を適用することにより、さらなるダイナミックレンジの拡大が実現できる。

本実施形態におけるローカルトーンマッピング処理は、低輝度から中輝度の領域を局所的に明るくする処理である。このようなローカルトーンマッピング処理を適用することにより、高輝度領域の階調性を維持しながら暗部領域の階調性を改善することができる。

また、前述の撮像から現像処理において、１Ｅｖよりも更にアンダー露出で撮像を行い、入力画像に対して同様の現像処理を実施した場合、より高輝度部の階調性の劣化を抑えたアンダー露出画像を生成することができる。

ローカルトーンマッピング処理は、異なる周波数帯域の画像や領域の判別結果を用いて、局所的に階調特性が変化するようなゲインマップを生成し、ゲインマップを参照しながら階調変換処理を適用する公知の方法により実現できる。

図８（ａ）は、ローカルトーンマッピングで用いるゲインマップの一例を示している。ゲインマップは階調変換の特性を表すという点でガンマ特性と同様であり、ローカルトーンマッピング処理は局所的なガンマ処理とも言える。

ゲインマップ８０３は原点を通る傾き１の直線である。ゲインマップ８０３は階調値を変化させない特性を有する。一方、ゲインマップ８０１および８０２は、低輝度から中輝度の入力階調値を明るく補正する階調特性を有する。ゲインマップ８０１はゲインマップ８０２よりも補正量が大きい。本実施形態では、補正量の異なるゲインマップ８０１および８０２を重み付け加算することにより、ローカルトーンマッピング処理に用いるゲインマップを生成する。

具体的には、ローカルトーンマッピング処理部２０３は、入力される合成画像データのヒストグラムを生成する。図８（ｂ）は、ヒストグラムの一例を示す。そして、ローカルトーンマッピング処理部２０３は、閾値以下の度数を合計することで、画像に占める低輝度から中輝度の領域の割合を算出する。閾値ＴＨは例えば入力信号の階調範囲の真ん中の階調値であってよい。

次に、ローカルトーンマッピング処理部２０３は、算出した割合を用い、図８（ｃ）に示すように予め設定されたテーブルから係数αを取得する。係数αはゲインマップ８０１の重みであり、０≦α≦１である。図８（ｃ）に示す例では、画像に占める低輝度から中輝度の領域の割合が高くなると、低輝度から中輝度の領域の明るさの補正量が小さくなるように係数αが定められている。これは、明るさを補正される領域が画像に占める割合が大きい場合、ローカルトーンマッピングが画像全体の明るさに与える影響を抑制するためである。なお、係数αを取得するテーブルは、低照度シーン撮影処理の目的または意図に応じて変更してもよい。例えば、ローカルトーンマッピングが画像全体の明るさに与える影響の抑制よりも、暗部領域の階調性の改善効果を重視する場合に用いる係数αのテーブルを用意してもよい。この場合、係数αは、低輝度から中輝度の領域が画面に占める割合が高くなると、低輝度から中輝度の領域の明るさの補正量も大きくなるように定めることができる。

そして、ローカルトーンマッピング処理部２０３は、係数αを用いたゲインマップ８０１および８０２の重み付け加算により、合成画像データに適用するゲインマップを算出する。入力画素の階調値をｘ、変換後の階調値をｙとし、ゲインマップ８０１をｙ＝ｔｍ＿ａ（ｘ）、ゲインマップ８０２をｙ＝ｔｍ＿ｂ（ｘ）とすると、ローカルトーンマッピングに用いるゲインマップｔｍ（ｘ）は、以下の式（４）によって得られる。
y=tm(x)=α×tm_a(x)+(1-α)×tm_b(x) ・・・式（４）

ローカルトーンマッピング処理部２０３は、式（４）で得られるゲインマップｔｍ（ｘ）を合成画像データの画素値に適用する。入力画素の階調値をｐ、ローカルトーンマッピング処理を適用後の出力階調値ｐ＿ｏｕｔは式（５）で表される。
p_out=tm(p) ・・・式（５）

このようなローカルトーンマッピング処理により、低輝度から中輝度の領域の黒つぶれが抑制され、階調性が改善する。そのため、低輝度方向のダイナミックレンジをさらに拡大することができる。

本実施形態によれば、低照度シーンを撮影する場合、アンダー露出で複数回撮影を行い、得られた複数フレーム分の画像を合成するようにした。そのため、適正露出やオーバー露出で撮影を行う場合よりも速いシャッタスピードで撮影でき、手ブレおよび被写体ブレを抑制することができる。また、複数回の撮影に要する時間も短縮できる。さらに、高輝度部の白とびを抑制することができる。

また、アンダー露出で撮影した画像に対するガンマ処理により、画像全体の明るさを適正露出で撮影して得られる画像と同様の明るさに補正してから合成するようにした。そのため、高輝度部の白とびを抑制しつつ、適切な明るさを有する合成画像を得ることができる。さらに、合成時にランダムノイズを低減することが可能である。

加えて、合成画像の低輝度および中輝度領域に対してローカルトーンマッピング処理を適用することにより、黒つぶれを抑制し、合成画像のダイナミックレンジをさらに低輝度方向に拡大することができる。

●（第２実施形態）
次に、本発明の第２実施形態について説明する。図９は、本実施形態において撮像装置１００が実施する低照度シーン撮影処理に関するフローチャートである。図９において、第１実施形態と同じ処理を実施する工程には図４と同じ参照数字を付してある。本実施形態では、ローカルトーンマッピング処理を行うタイミングが第１実施形態と異なる。

具体的には、現像処理部２０１がローカルトーンマッピング処理部２０３に画像データを出力する。そして、ローカルトーンマッピング処理部２０３が、位置合わせ処理を行う前の各フレームの画像データに対してローカルマッピング処理を適用する。ローカルトーンマッピング処理は、合成画像の代わりに合成前の画像を用いることを除き、第１実施形態と同様であってよい。

ローカルトーンマッピング処理部２０３は処理済みの画像データを合成処理部２０２に出力する。合成処理部２０２は、ローカルトーンマッピング処理された画像を位置合わせならびに合成し、画像処理部１０４から出力する。図２に、本実施形態における画像処理部１０４内の画像データの流れを点線で示す。

本実施形態によっても、第１実施形態と同様の効果を得ることができる。また、画像間の動きが大きく位置合わせおよび合成ができない場合であっても、ローカルトーンマッピング処理までの処理で実現される効果を有する画像データを得ることができる。

（その他の実施形態）
なお、上述の実施形態で説明した低照度シーン撮影処理は、低照度シーン以外の撮影時に実施してもよい。例えば、撮影シーンにかかわらず、ダイナミックレンジを拡大した画像を生成するために実施することができる。

また、上述の実施形態で説明した低照度シーン撮影処理のうち、撮影に係る処理以外は撮像機能を有しない電子機器（画像処理装置）で実施してもよい。すなわち、画像処理装置はアンダー露出で撮影された複数フレーム分の画像データを外部装置から取得し、Ｓ４０２移行の処理を適用することができる。このような画像処理装置によっても、高輝度部の白とびを抑制しつつ、適切な明るさを有する合成画像を得ることができる。さらに、合成時にランダムノイズを低減することが可能である。

また、第１実施形態において、Ｓ７０３においてずれ量が検出できなかったり、ずれ量が閾値以上であったりする場合には、位置合わせ処理が正常に行えないと判定し、ローカルトーンマッピング処理を各フレームの画像データに対して適用するようにしてもよい。これにより、第２実施形態と同様の効果が得られる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本実施形態の開示は、以下の撮像装置、画像処理装置、撮像装置の制御方法およびプログラムを含む。
（項目１）
アンダー露出で複数回撮影を実施し、複数フレーム分の画像データを取得する撮像手段と、
前記複数フレーム分の画像データの明るさを補正する補正手段と、
前記補正手段が補正した前記複数フレーム分の画像データを合成して合成画像のデータを生成する生成手段と、
を有する撮像装置。
（項目２）
前記補正手段は、適正露出と前記アンダー露出との差の大きさに応じた階調特性を有するガンマカーブを画像データに適用することにより、前記画像データの明るさを補正する項目１に記載の撮像装置。
（項目３）
前記補正手段は、適正露出で撮影して得られる画像データに適用する第１のガンマカーブよりも、階調値の低い領域における立ち上がりが急な階調特性を有する第２のガンマカーブを適用することにより、前記アンダー露出で撮影して得られた画像データの明るさを補正する項目１に記載の撮像装置。
（項目４）
前記第１のガンマカーブと前記第２のガンマカーブとが、特定の被写体に対応する階調値を同じ階調値に変換する階調特性を有する、項目３に記載の撮像装置。
（項目５）
前記特定の被写体が、反射率１８％の無彩色被写体である項目４に記載の撮像装置。
（項目６）
前記合成画像のデータのうち、階調値が閾値以下のデータを明るくするローカルトーンマッピング処理を適用する処理手段をさらに有する項目１から５のいずれか１項に記載の撮像装置。
（項目７）
前記補正手段が補正した前記複数フレーム分の画像データに対し、前記合成の前に、階調値が閾値以下のデータを明るくするローカルトーンマッピング処理を適用する処理手段をさらに有する項目１から５のいずれか１項に記載の撮像装置。
（項目８）
前記処理手段は、前記合成ができない場合に前記ローカルトーンマッピング処理を適用する項目７に記載の撮像装置。
（項目９）
前記閾値が、前記ローカルトーンマッピング処理を適用する画像データの階調値のヒストグラムに基づいて決定される項目６から８のいずれか１項に記載の撮像装置。
（項目１０）
アンダー露出で撮影して得られた複数フレーム分の画像データを取得する取得手段と、
前記複数フレーム分の画像データの明るさを補正する補正手段と、
前記補正手段が補正した前記複数フレーム分の画像データを合成して合成画像のデータを生成する生成手段と、
を有することを特徴とする画像処理装置。
（項目１１）
撮像装置が実行する制御方法であって、
アンダー露出で複数回撮影を実施し、複数フレーム分の画像データを取得することと、
前記複数フレーム分の画像データの明るさを補正することと、
前記補正された前記複数フレーム分の画像データを合成して合成画像のデータを生成することと、
を有する撮像装置の制御方法。
（項目１２）
撮像装置が有するコンピュータを、項目１から９のいずれか１項に記載の撮像装置が有する各手段として機能させるためのプログラム。
（項目１３）
コンピュータを、項目１０に記載の画像処理装置が有する各手段として機能させるためのプログラム。

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

１００…撮像装置、１０２…撮像部、１０４…画像処理部、１０６…システム制御部、２０１…現像処理部、２０２…画像合成部、２０３…ローカルトーンマッピング処理部

Claims (14)

1. アンダー露出で複数回撮影を実施し、複数フレーム分の画像データを取得する撮像手段と、
   前記複数フレーム分の画像データの明るさを補正する補正手段と、
   前記補正手段が補正した前記複数フレーム分の画像データを合成して合成画像のデータを生成する生成手段と、
   を有する撮像装置。
2. 前記補正手段は、適正露出と前記アンダー露出との差の大きさに応じた階調特性を有するガンマカーブを画像データに適用することにより、前記画像データの明るさを補正する請求項１に記載の撮像装置。
3. 前記補正手段は、適正露出で撮影して得られる画像データに適用する第１のガンマカーブよりも、階調値の低い領域における立ち上がりが急な階調特性を有する第２のガンマカーブを適用することにより、前記アンダー露出で撮影して得られた画像データの明るさを補正する請求項１に記載の撮像装置。
4. 前記第１のガンマカーブと前記第２のガンマカーブとが、特定の被写体に対応する階調値を同じ階調値に変換する階調特性を有する、請求項３に記載の撮像装置。
5. 前記特定の被写体が、反射率１８％の無彩色被写体である請求項４に記載の撮像装置。
6. 前記合成画像のデータのうち、階調値が閾値以下のデータを明るくするローカルトーンマッピング処理を適用する処理手段をさらに有する請求項１から５のいずれか１項に記載の撮像装置。
7. 前記補正手段が補正した前記複数フレーム分の画像データに対し、前記合成の前に、階調値が閾値以下のデータを明るくするローカルトーンマッピング処理を適用する処理手段をさらに有する請求項１から５のいずれか１項に記載の撮像装置。
8. 前記処理手段は、前記合成ができない場合に前記ローカルトーンマッピング処理を適用する請求項７に記載の撮像装置。
9. 前記閾値が、前記ローカルトーンマッピング処理を適用する画像データの階調値のヒストグラムに基づいて決定される請求項６に記載の撮像装置。
10. 前記閾値が、前記ローカルトーンマッピング処理を適用する画像データの階調値のヒストグラムに基づいて決定される請求項７に記載の撮像装置。
11. アンダー露出で撮影して得られた複数フレーム分の画像データを取得する取得手段と、
    前記複数フレーム分の画像データの明るさを補正する補正手段と、
    前記補正手段が補正した前記複数フレーム分の画像データを合成して合成画像のデータを生成する生成手段と、
    を有することを特徴とする画像処理装置。
12. 撮像装置が実行する制御方法であって、
    アンダー露出で複数回撮影を実施し、複数フレーム分の画像データを取得することと、
    前記複数フレーム分の画像データの明るさを補正することと、
    前記補正された前記複数フレーム分の画像データを合成して合成画像のデータを生成することと、
    を有する撮像装置の制御方法。
13. 撮像装置が有するコンピュータを、請求項１に記載の撮像装置が有する各手段として機能させるためのプログラム。
14. コンピュータを、請求項１１に記載の画像処理装置が有する各手段として機能させるためのプログラム。

Images