JP2021117748A

JP2021117748A - 画像処理装置、画像処理方法、及びプログラム

Info

Publication number: JP2021117748A
Application number: JP2020010807A
Authority: JP
Inventors: 直人木村; Naoto Kimura
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2020-01-27
Filing date: 2020-01-27
Publication date: 2021-08-10
Anticipated expiration: 2040-01-27
Also published as: JP7446827B2

Abstract

【課題】複数枚合成の機能を実施する場合に、効率良くＨＤＲ画像とＳＤＲ画像とを生成して記録することができる画像処理装置を提供する。【解決手段】ＳＤＲ画像とＨＤＲ画像とを出力する画像処理装置において、画像処理部１０４は、入力画像に対して現像処理を行う現像処理部と、現像処理部により生成された複数の画像を合成する合成処理部と、ＨＤＲ画像をＳＤＲ画像に変換するＳＤＲ変換処理部とを有する。ＳＤＲ合成処理部により複数の画像の合成を行う場合、現像処理部により入力画像をＨＤＲ現像処理して生成したＨＤＲ画像と、合成処理部により合成したＨＤＲ画像をＳＤＲ変換処理部により変換したＳＤＲ画像と。を出力する。【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

ディスプレイの表示輝度が高くなることに伴い、これまで圧縮されていた高輝度側の階調を、より見た目に近い階調で再現できる画像を取得するＨＤＲ（high dynamic range：ハイダイナミックレンジ）カメラシステムが提案されている。ＨＤＲは、ＳＤＲ（standard dynamic range：スタンダードダイナミックレンジ）に比べてより広いダイナミックレンジを表現することができる。ＨＤＲモニタとＳＤＲモニタとが混在する環境を想定し、ＨＤＲ画像だけでなく、ＳＤＲ画像を同時に出力し記録するカメラシステムが求められている。

特許文献１には、ＨＤＲ画像を現像するだけでなく、ＨＤＲとＳＤＲとのダイナミックレンジの相関情報に基づいて、ＳＤＲ画像を現像して出力する技術が開示されている。また、特許文献２には、ＨＤＲ画像を第１の出力信号として出力し、現像したＳＤＲ画像と、ＨＤＲ画像を所定の信号レベルで合成した画像を第２の出力信号として出力する技術が開示されている。

特開２０１６−１９５３７８号公報特開２０１６−１９７８５４号公報

しかしながら、特許文献１、２に開示された技術では、複数枚の画像を入力して、それらの画像を現像し合成して出力する複数枚合成の機能を実施する場合、ＨＤＲ画像の現像処理とＳＤＲ画像の現像処理とを入力された画像の枚数分実施しなければならない。そのため、画像処理に係るメモリやＣＰＵ、チップ等の処理モジュールに多大な負荷がかかってしまう。本発明は、このような事情に鑑みてなされたものであり、複数枚合成の機能を実施する場合に、効率良くＨＤＲ画像とＳＤＲ画像とを生成して記録することができる画像処理装置を提供することを目的とする。

本発明に係る画像処理装置は、第１のダイナミックレンジの画像と前記第１のダイナミックレンジより広い第２のダイナミックレンジの画像とを出力する画像処理装置であって、入力画像に対して現像処理を行う現像手段と、前記現像手段により生成された複数の画像を合成する合成手段と、前記第２のダイナミックレンジの画像を前記第１のダイナミックレンジの画像に変換する変換手段とを有し、前記合成手段により複数の画像の合成を行う場合、前記現像手段により前記入力画像を現像処理して生成した前記第２のダイナミックレンジの画像と、前記合成手段により合成した前記第２のダイナミックレンジの画像を前記変換手段により変換した前記第１のダイナミックレンジの画像とを出力することを特徴とする。

本発明によれば、複数枚合成の機能を実施する場合に、効率良くＨＤＲ画像とＳＤＲ画像とを生成して記録することが可能となる。

本実施形態における撮像装置の構成例を示す図である。本実施形態における画像処理部の構成例を示す図である。本実施形態における現像処理部の構成例を示す図である。複数枚ダイナミックレンジ拡大合成を説明する図である。スイングパノラマ合成を説明する図である。本実施形態におけるＳＤＲ変換処理部の構成例を示す図である。本実施形態における画像処理部の動作例を示すフローチャートである。本実施形態における現像処理の例を示すフローチャートである。ガンマ特性を説明する図である。本実施形態におけるＳＤＲ変換処理の例を示すフローチャートである。ガンマ変換処理を説明する図である。ローカルトーンマッピング処理に係る階調特性を説明する図である。

以下、本発明の実施形態を図面に基づいて説明する。

図１は、本発明の一実施形態における画像処理装置を適用した撮像装置の構成例を示すブロック図である。撮像装置は、光学系１０１、現像部１０２、Ａ／Ｄ変換部１０３、画像処理部１０４、露光量制御部１０５、システム制御部１０６、操作部１０７、表示部１０８、記録部１０９、及びバス１１０を有する。

本実施形態における撮像装置は、撮像部１０２により撮影された画像に基づいて、画像処理部１０４でＨＤＲ画像とＳＤＲ画像とを生成して両画像を出力する処理を行う。また、撮像装置は、動作モードの１つとして、複数枚ダイナミックレンジ拡大合成やパノラマ合成等の複数枚合成を実施する複数枚合成モードを有する。複数枚合成モードである場合には、画像処理部１０４は、入力される複数枚の画像をＨＤＲ現像処理した後、複数枚のＨＤＲ画像を合成して合成ＨＤＲ画像を生成し、生成した合成ＨＤＲ画像をＳＤＲ変換処理することで合成ＳＤＲ画像を生成する。また、複数枚合成モードでない場合には、画像処理部１０４は、入力される画像をＨＤＲ現像処理してＨＤＲ画像を生成するとともに、入力される画像をＳＤＲ現像処理してＳＤＲ画像を生成する。

なお、本実施形態において、ＨＤＲ画像とは、ＨＤＲモニタで取り扱うＨＤＲ規格のＳＴ２０８４等に記載されたＯＥＴＦ（optical electro transfer function）特性を適用した画像を指すものとする。また、ＳＤＲ画像とは、ＨＤＲ画像よりも出力レンジ（ダイナミックレンジ）が狭い画像を指すものとする。本実施形態では、ＨＤＲ画像のガンマはＳＴ２０８４のＯＥＴＦ特性（以降、ＰＱガンマと呼称）、色域をＲｅｃ．２０２０とし、ＳＤＲ画像のガンマをｓＲＧＢガンマ、色域をｓＲＧＢとして説明を行う。

図１において、光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、及びシャッター装置を備えている。光学系１０１は、撮像部１０２に到達する被写体像の倍率やピント位置、あるいは、光量を調整する。撮像部１０２は、光学系１０１を通過した被写体像の光束を光電変換し電気信号に変換するＣＣＤセンサーやＣＭＯＳセンサー等の撮像素子である。Ａ／Ｄ変換部１０３は、撮像部１０２より入力される映像信号をアナログ−デジタル変換してデジタルの画像に変換する。

画像処理部１０４は、通常の信号処理の他に、露光量算出処理を行う。また、画像処理部１０４は、複数枚の画像を合成する処理やＨＤＲ画像（合成ＨＤＲ画像）をＳＤＲ画像（合成ＳＤＲ画像）に変換する処理等を行う。画像処理部１０４は、Ａ／Ｄ変換部１０３から出力された画像だけでなく、記録部１０９から読み出した画像に対しても同様の画像処理を行うことができる。露光量制御部１０５は、画像処理部１０４によって算出された露光量に基づいて光学系１０１及び撮像部１０２を制御して、絞り、シャッタースピード、センサーのアナログゲイン等を制御する。

システム制御部１０６は、撮像装置全体の動作を制御、統括する。また、システム制御部１０６は、画像処理部１０４で処理された画像から得られる輝度値や操作部１０７から送信された指示等に基づいて、光学系１０１や撮像部１０２の駆動制御も行う。表示部１０８は、画像処理部１０４で生成された画像や、記録部１０９から読み出した画像を表示する。表示部１０８は、例えば、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイである。

記録部１０９は、画像を記録する機能を有する。記録部１０９は、例えば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含んでもよく、この情報記録媒体を着脱可能にしてもよい。バス１１０は、画像処理部１０４、システム制御部１０６、表示部１０８、及び記録部１０９の間で画像をやり取りするために用いられる。

次に、図２を参照して、本実施形態における画像処理部１０４について説明する。本実施形態における画像処理部１０４は、複数枚合成を実施する複数枚合成モードであるか否かによって、ＨＤＲ現像処理して合成したＨＤＲ画像をＳＤＲ変換してＳＤＲ画像の出力とするか、ＳＤＲ現像処理した画像をＳＤＲ画像の出力とするかを選択する。

図２は、本実施形態における画像処理部１０４の構成例を示すブロック図である。画像処理部１０４は、ＨＤＲ現像処理部２０１、ＳＤＲ現像処理部２０２、合成処理部２０３、ＳＤＲ変換処理部２０４、ＨＤＲ出力画像選択部２０５、及びＳＤＲ出力画像選択部２０６を有する。本実施形態において、画像処理部１０４に入力される入力画像は、撮像部１０２で取得した信号をＡ／Ｄ変換部１０３でデジタル画像に変換したＲ（赤）、Ｇ（緑）、Ｂ（青）の３成分によるベイヤー画像とする。

ＨＤＲ現像処理部２０１は、入力画像をＨＤＲ現像処理してＨＤＲ画像を生成する。ＳＤＲ現像処理部２０２は、入力画像をＳＤＲ現像処理してＳＤＲ画像を生成する。現像処理とは、入力されたベイヤー画像から出力装置に最適なＹＵＶ画像もしくはＲＧＢ画像を生成する処理を指している。図３は、ＨＤＲ現像処理部２０１及びＳＤＲ現像処理部２０２の構成例を示すブロック図である。ＨＤＲ現像処理部２０１及びＳＤＲ現像処理部２０２の各々は、ホワイトバランス処理部３０１、ノイズリダクション処理部３０２、デモザイク処理部３０３、色マトリクス処理部３０４、及びガンマ処理部３０５を有する。ＨＤＲ現像処理部２０１及びＳＤＲ現像処理部２０２は、入力画像としてベイヤー画像が入力され、出力画像としてディスプレイ等の出力装置に最適なＹＵＶ画像もしくはＲＧＢ画像を出力する。

ホワイトバランス処理部３０１は、入力された画像に対して、色バランスを調整するホワイトバランス処理を行う。ノイズリダクション処理部３０２は、入力された画像に対して、暗電流ノイズや光ショットノイズを低減するためのノイズリダクション処理を行う。ノイズリダクション処理は、例えばローパスフィルタ（ＬＰＦ）やバイラテラルフィルタを用いた一般的な手法を適用すればよい。

デモザイク処理部３０３は、入力された画像に対して、ベイヤー画像からＲ、Ｇ、Ｂの３プレーン画像を生成するデモザイク処理を行う。デモザイク処理は、例えば線形補間や適応補間等の一般的な手法を適用すればよい。色マトリクス処理部３０４は、入力された画像に対して、センサーの分光特性から出力装置の色域に合わせるための色マトリクス処理を行う。ガンマ処理部３０５は、入力された信号に対して、出力装置のモニタガンマ（ＯＥＴＦ）に合わせた信号を生成するためのガンマ特性（ＥＯＴＦ）で信号値を変換するガンマ処理を行う。

図２において、合成処理部２０３は、ＨＤＲ現像処理部２０１で生成された複数枚のＨＤＲ画像を合成して合成ＨＤＲ画像を生成する合成処理を行う。合成処理部２０３における合成処理については、機能に応じて合成方法が異なる。一例として、ダイナミックレンジ拡大用の複数枚ダイナミックレンジ拡大合成、及びパノラマ画像を生成するスイングパノラマ合成における合成方法について説明する。

複数枚ダイナミックレンジ拡大合成では、例えば、合成処理部２０３は、図４（ａ）に示すように、アンダー露出画像４０１、適正露出画像４０２、及びオーバー露出画像４０３の露出の異なる画像を現像処理時のガンマ処理で明るさを合わせる。その後、合成処理部２０３は、アンダー露出画像４０１、適正露出画像４０２、及びオーバー露出画像４０３を図４（ｂ）に示すような合成比率で合成することで、１枚の時よりもダイナミックレンジの高い画像を取得する。図４（ｂ）において、４１１がオーバー露出画像４０３に係る合成比率を示し、４１２が適正露出画像４０２に係る合成比率を示し、４１３がアンダー露出画像４０１に係る合成比率を示している。

また、スイングパノラマ合成では、例えば、図５（ａ）に示すような風景を１枚の画像で収めたい場合、図５（ｂ）に示すように撮影画角をずらして撮影が行われ、画像５０１−１、５０１−２、５０１−３、・・・、５０１−Ｎが得られる。合成処理部２０３は、撮影画角をずらして撮影された複数の画像５０１−１〜５０１−Ｎを合成することで、図５（ｃ）に示すようなパノラマ画像５１１を生成する。

合成処理部２０３が実行する複数枚合成の処理は、これに限らず、複数枚の画像の画素信号を加算平均や加算することで多重露光画像を生成する合成処理や、複数枚の画像の画素信号のうち、最も明るい信号を選択して出力する比較明合成処理等がある。

ＳＤＲ変換処理部２０４は、合成処理部２０３で複数枚のＨＤＲ画像を合成処理して生成された合成ＨＤＲ画像に対して、ＳＤＲ変換処理を行って合成ＳＤＲ画像を生成する。図６は、ＳＤＲ変換処理部２０４の構成例を示すブロック図である。ＳＤＲ変換処理部２０４は、ガンマ変換部６０１、ローカルトーンマッピング処理部６０２、及び色域変換部６０３を有する。ＳＤＲ変換処理部２０４は、入力画像として合成ＨＤＲ画像が入力され、出力画像としてＳＤＲ変換処理した合成ＳＤＲ画像を出力する。

ガンマ変換部６０１は、入力された合成ＨＤＲ画像に対して、ＳＤＲ画像に対応するガンマ変換を行う。ローカルトーンマッピング処理部６０２は、ガンマ変換部６０１でガンマ変換された画像に対して、暗部や明部の明るさを変化させつつ、階調圧縮等が起きる輝度域に対してコントラストを高めるためのローカルトーンマッピング処理を行う。ガンマ変換部６０１及びローカルトーンマッピング処理部６０２は、階調変換手段の一例である。色域変換部６０３は、入力された合成ＨＤＲ画像の色域を、出力される合成ＳＤＲ画像の色域に変換する処理を行う。色域変換処理は、例えば、単純なマトリクス変換による処理でもよいし、ルックアップテーブルを用いた色域マッピング処理でもよい。色域変換部６０３は、色変換手段の一例である。

ＨＤＲ出力画像選択部２０５は、ＨＤＲ現像処理部２０１で生成されたＨＤＲ画像又は合成処理部２０３で生成された合成ＨＤＲ画像を、ＨＤＲ出力画像として出力する。ＨＤＲ出力画像選択部２０５は、複数枚合成モードである場合には合成処理部２０３で生成された合成ＨＤＲ画像を出力し、複数枚合成モードでない場合にはＨＤＲ現像処理部２０１で生成されたＨＤＲ画像を出力する。

ＳＤＲ出力画像選択部２０６は、ＳＤＲ現像処理部２０２で生成されたＳＤＲ画像又は合成処理部２０３及びＳＤＲ変換処理部２０４により生成された合成ＳＤＲ画像を、ＳＤＲ出力画像として出力する。ＳＤＲ出力画像選択部２０６は、複数枚合成モードである場合には合成処理部２０３及びＳＤＲ変換処理部２０４により生成された合成ＳＤＲ画像を出力し、複数枚合成モードでない場合にはＳＤＲ現像処理部２０２で生成されたＳＤＲ画像を出力する。

図７は、本実施形態における画像処理部１０４の動作例を示すフローチャートである。
ステップＳ７０１では、画像処理部１０４は、ユーザーからの入力受付の結果に応じて複数枚の画像を合成する複数枚合成モードであるか否かを判定して、ＨＤＲ画像とＳＤＲ画像との出力画像の生成方法を切り替える処理を行う。複数枚合成モードであると判定した場合（ＹＥＳ）には、処理はステップＳ７０２へ進み、複数枚合成モードでないと判定した場合（ＮＯ）には、処理はステップＳ７０５へ進む。本実施形態では、画像処理部１０４は、複数枚合成モードであるか否かを、ユーザーからの入力受付の結果に応じて判定するようにしているが、入力された画像を解析することで複数枚合成モードにするか否かを判定するようにしても良い。

複数枚合成モードであると判定した場合に進むステップＳ７０２では、画像処理部１０４のＨＤＲ現像処理部２０１が、入力された複数の入力画像に対してＨＤＲ現像処理を行い、複数枚のＨＤＲ画像を生成する。

ステップＳ７０３では、画像処理部１０４の合成処理部２０３が、ステップＳ７０２において生成された複数枚のＨＤＲ画像に対して合成処理を行う。

ステップＳ７０４では、画像処理部１０４のＳＤＲ変換処理部２０４が、ステップＳ７０３において複数枚のＨＤＲ画像を合成して得られた合成ＨＤＲ画像に対して、ＳＤＲ変換処理を行って合成ＳＤＲ画像を生成する。

このステップＳ７０２からステップＳ７０４までの処理により、複数枚合成モードであると判定された場合、画像処理部１０４は、ＨＤＲ現像処理した画像を複数枚合成した画像を出力用のＨＤＲ画像として出力する。また、画像処理部１０４は、複数枚合成して生成されたＨＤＲ画像をＳＤＲ変換処理したＳＤＲ画像を出力用のＳＤＲ画像として出力する。このように、複数枚合成モードでは、複数枚の現像処理をＨＤＲ画像の生成時のみ実施することで、システム負荷を低減してＨＤＲ画像とＳＤＲ画像とをともに出力することが可能となる。

次に、ステップＳ７０１において複数枚合成モードでないと判定された場合のＨＤＲ画像及びＳＤＲ画像の生成について説明する。複数枚合成モードでないと判定した場合に進むステップＳ７０５では、画像処理部１０４のＨＤＲ現像処理部２０１が、入力画像に対してＨＤＲ現像処理を行い、ＨＤＲ画像を生成する。

ステップＳ７０６では、画像処理部１０４のＳＤＲ現像処理部２０２が、入力画像に対してＳＤＲ現像処理を行い、ＳＤＲ画像を生成する。なお、ＨＤＲ現像処理とＳＤＲ現像処理との実行順序は、これに限定されるものではなく、ＳＤＲ現像処理を行った後にＨＤＲ現像処理を行ってもよいし、ＨＤＲ現像処理とＳＤＲ現像処理とを並列して行ってもよい。

このステップＳ７０５からステップＳ７０６までの処理により、複数枚合成モードでないと判定された場合、現像処理等のシステム負荷も少ないため、画像処理部１０４は、ＨＤＲ現像処理した画像を出力用のＨＤＲ画像として出力する。また、画像処理部１０４は、ＳＤＲ現像処理した画像を出力用のＳＤＲ画像として出力する。

以上が本実施形態における画像処理部１０４の処理例であり、前述のような処理を実施することで、ＨＤＲ画像とＳＤＲ画像との両画像の出力を効率良く行うことが可能となる。また、ＨＤＲ画像とＳＤＲ画像とをともに出力するだけでなく、ＨＤＲ画像のサムネイル画像や撮像装置の表示用画像としてＳＤＲ画像を採用することも可能となる。

次に、図８を参照して、図７に示したステップＳ７０２、Ｓ７０５、Ｓ７０６でＨＤＲ現像処理部２０１、ＳＤＲ現像処理部２０２が実施している現像処理について説明する。図８は、本実施形態における現像処理の例を示すフローチャートである。

ステップＳ８０１では、現像処理部のホワイトバランス処理部３０１が、入力された画像に対し、撮影時の光源の色温度に合わせて、色バランスを調整するホワイトバランス処理を行う。ホワイトバランス処理とは、（式１）に示すように、Ｒ、Ｇ、Ｂの各成分毎に異なるゲインを乗算することで画像における色バランスを調整する処理である。（式１）において、Ｒ_in、Ｇ_in、Ｂ_inはホワイトバランス処理前のＲ、Ｇ、Ｂ信号を表し、Ｒ_out、Ｇ_out、Ｂ_outはホワイトバランス処理後のＲ、Ｇ、Ｂ信号を表し、Ｇａｉｎ_R、Ｇａｉｎ_G、Ｇａｉｎ_BはＲ、Ｇ、Ｂごとのゲインを表している。

ステップＳ８０２では、現像処理部のノイズリダクション処理部３０２が、入力された画像に対し、暗電流ノイズや光ショットノイズを低減するためのノイズリダクション処理を行う。ノイズリダクション処理は、ローパスフィルタやバイラテラルフィルタを用いた一般的な手法を用いる。

ステップＳ８０３では、現像処理部のデモザイク処理部３０３が、入力された画像に対し、ベイヤー画像からＲ、Ｇ、Ｂの３プレーン画像を生成するデモザイク処理を行う。デモザイク処理は、線形補間や適応補間等の一般的な手法を用いる。

ステップＳ８０４では、現像処理部の色マトリクス処理部３０４が、入力された画像に対し、センサーの分光特性から出力装置の色域に合わせるための色マトリクス処理を行う。色マトリクス処理とは、例えば（式２）に示すように、３×３の係数ｋ₁₁〜ｋ₃₃により構成されたマトリクスを用いて、入力信号Ｒ_in、Ｇ_in、Ｂ_inに対し行列演算を行って出力の色域に合わせた信号Ｒ_out、Ｇ_out、Ｂ_outを生成する処理である。

なお、係数ｋ₁₁〜ｋ₃₃は、ＨＤＲ現像時とＳＤＲ現像時とで異なり、本実施形態ではＨＤＲ現像時はＨＤＲ出力の色域Ｒｅｃ．２０２０に合わせるための係数を設定し、ＳＤＲ現像時はＳＤＲ出力の色域ｓＲＧＢに合わせるための係数を設定する。

ステップＳ８０５では、現像処理部のガンマ処理部３０５が、入力された信号に対し、出力装置のモニタガンマ（ＯＥＴＦ）に合わせた信号を生成するためのガンマ特性（ＥＯＴＦ）で信号値を変換するガンマ処理を行う。ガンマ特性とは、横軸を入力信号とし、縦軸を出力信号とすると、図８に例示するような曲線９０１を描く特性を表す。

ここで、ガンマ特性は、出力装置のモニタガンマ（ＯＥＴＦ）に合わせるために、ＨＤＲ現像時とＳＤＲ現像時で異なる。本実施形態では、ＨＤＲ現像時のガンマ特性は、ＳＴ２０８４記載のＯＥＴＦ特性を使用するため、（式３）に示すようなガンマ特性になる。（式３）において、ｐ＿ｉｎは、リニアである入力信号を０．０〜１．０に正規化したＲ、Ｇ、Ｂの信号であり、０．０が０［ｃｄ／ｍ²］の輝度値を示し、１．０が１００００［ｃｄ／ｍ²］の輝度値を示す。ｐ＿ｏｕｔは、出力信号を０．０〜１．０に正規化したＲ、Ｇ、Ｂの信号であり、１．０が出力ビット数に応じた上限値に対応し、０．０が出力ビット数に応じた下限値に対応する。例えば、出力ビット数が１０ビットである場合、上限値は１０２３であり、下限値は０である。

また、本実施形態では、ＳＤＲ現像時のガンマ特性は、ｓＲＧＢ規格のＯＥＴＦ特性を使用するため、（式４）に示すようなガンマ特性になる。（式４）において、ｐ＿ｉｎは、リニアである入力信号を０．０〜１．０に正規化したＲ、Ｇ、Ｂの信号であり、０．０が０［ｃｄ／ｍ²］の輝度値を示し、１．０が１００［ｃｄ／ｍ²］の輝度値を示す。ｐ＿ｏｕｔは、出力信号を０．０〜１．０に正規化したＲ、Ｇ、Ｂの信号であり、１．０が出力ビット数に応じた上限値に対応し、０．０が出力ビット数に応じた下限値に対応する。例えば、出力ビット数が１０ビットである場合、上限値は１０２３であり、下限値は０である。

なお、基本ガンマ特性は前述した通りであるが、画作りに応じてカーブを変更させてもよい。また、前述した複数枚ダイナミックレンジ拡大合成を実施する際には、適正露出の画像にアンダー露出画像とオーバー露出画像の明るさを合わせるために、露出に応じてガンマを変更させる必要がある。以上が本実施形態における現像処理の処理例である。

次に、図１０を参照して、図７に示したステップＳ７０４でＳＤＲ変換処理部２０４が実施しているＳＤＲ変換処理について説明する。図１０は、本実施形態におけるＳＤＲ変換処理の例を示すフローチャートである。

ステップＳ１００１では、ＳＤＲ変換処理部２０４のガンマ変換部６０１が、入力されたＨＤＲ画像に対し、ＳＤＲ画像に対応するガンマ変換処理を行う。ガンマ変換処理とは、前述した（式３）、（式４）に示したようにＨＤＲ画像で適用されているガンマをリニア空間に戻して、ＳＤＲ画像に適用するガンマに変換する処理を指す。ガンマ変換処理では、ＨＤＲ画像に適用されているガンマの逆特性であるモニタガンマ（ＥＯＴＦ）を適用する。

本実施形態では、（式５）に示すようなＳＴ２０８４記載のモニタガンマ（ＥＯＴＦ）を適用する。（式５）において、ｐ＿ｏｕｔは、ＨＤＲ画像の出力信号を０．０〜１．０に正規化したＲ、Ｇ、Ｂの信号であり、１．０が出力ビット数に応じた上限値に対応し、０．０が出力ビット数に応じた下限値に対応する。例えば、出力ビット数が１０ビットである場合、上限値は１０２３であり、下限値は０である。ｐ＿ｉｎは、ＨＤＲ画像をリニア空間に戻した入力信号を０．０〜１．０に正規化したＲ、Ｇ、Ｂの信号であり、０．０が０［ｃｄ／ｍ²］の輝度値を示し、１．０が１００００［ｃｄ／ｍ²］の輝度値を示す。

（式５）により算出されるｐ＿ｉｎは、０．０が０［ｃｄ／ｍ²］の輝度値を示し、１．０が１００００［ｃｄ／ｍ²］の輝度値を示す。前述した（式４）に示すＳＤＲのガンマに適用するためには、（式６）に示すように、ｐ＿ｉｎを０．０が０［ｃｄ／ｍ²］の輝度値を示し、１．０が１００［ｃｄ／ｍ²］の輝度値を示すように正規化し直す必要がある。（式６）において、ｐ＿ｉｎ’は正規化し直した信号値を指す。

（式６）によって正規化し直した信号値ｐ＿ｉｎ’を、前述した（式４）におけるｐ＿ｉｎとして適用することでガンマ変換を実現できる。図１１は、ガンマ変換をリニア空間で表現した図である。横軸は入力のリニア信号、縦軸は出力のリニア信号で表しており、点線で示した特性１１０１はＨＤＲ画像の入出力特性を示し、実線で示した特性１１０２はガンマ変換後のＳＤＲ画像の入出力特性を示す。図１１に示すように、ガンマ変換後のＳＤＲ画像の入出力特性は、ＨＤＲ画像の入出力特性を線形に収めたようになる。

ステップＳ１００２では、ＳＤＲ変換処理部２０４のローカルトーンマッピング処理部６０２が、ステップＳ１００１においてガンマ変換を行った画像に対し、ローカルトーンマッピング処理を行う。ローカルトーンマッピング処理によって、暗部や明部の明るさを変化させつつ、階調圧縮等が起きる輝度域に対し、コントラストを高める処理を実施する。ローカルトーンマッピング処理は、異なる周波数帯域の画像や領域の判別結果を用いて、局所的に階調特性が変化するようなゲインマップＭＡＰを生成し、生成したゲインマップを参照しながら階調処理を実施するような一般的な手法を用いる。

図１２を参照して、ステップＳ１００２でのローカルトーンマッピング処理の一例について説明する。図１２（ａ）には、ローカルトーンマッピングで使用する階調特性の一例を示している。入力信号は、ステップＳ１００１においてＳＤＲガンマに変換された信号であり、出力信号は、ローカルトーンマッピングで処理した時に目標となる出力信号である。入力されたＨＤＲ画像に対しＳＤＲ画像に対応するガンマ変換を行った信号は、図１１を用いて説明したように、広いＨＤＲのダイナミックレンジの信号をＳＤＲのダイナミックレンジに収めているため、ＨＤＲ画像で表現されていた明るさに比べて一律暗くなる。そのため、図１２（ａ）に示す階調特性１２０１や階調特性１２０２のように、何も変化させない階調特性１２０３に対し、低輝度から中輝度を明るく補正する特性を作成する。階調特性１２０１は補正量が大きく、階調特性１２０２は補正量が小さい。本実施形態では、階調特性１２０１と階調特性１２０２とを合わせることで、目標とする階調特性を算出する。

具体的には、ローカルトーンマッピング処理部６０２は、まず、図１２（ｂ）に示すようにガンマ変換後の入力画像のヒストグラムを取得し、閾値ＴＨ以下の度数を合計することで、画像に占める低輝度から中輝度の割合ＲＡＴＩＯを算出する。次に、ローカルトーンマッピング処理部６０２は、割合ＲＡＴＩＯを用いて図１２（ｃ）に示すように予め設定されたテーブルからＭＩＸ係数αを算出し、階調特性１２０１と階調特性１２０２とをαでＭＩＸして目標とする階調特性を算出する。入力信号をｘ、出力信号をｙとして、階調特性１２０１の階調特性をｙ＝ｔｍ＿ａ（ｘ）、階調特性１２０２をｙ＝ｔｍ＿ｂ（ｘ）とすると、目標とする階調特性ｔｍ（ｘ）は（式７）に示すように生成される。

（式７）で生成した階調特性を用いて、ガンマ変換後の画像信号をｐとし、ガンマ変換後の画像信号に対しローパスフィルタ処理などで生成した低周波画像をｐ＿ｌｐｆとすると、ローカルトーンマッピングによる出力信号ｐ＿ｏｕｔは（式８）で表される。

前述のようにローカルトーンマッピング処理部６０２がローカルトーンマッピング処理を行うことで、低輝度から中輝度の領域にかけて被写体が多い画像とそうでない場合とで、適応的に最適な明るさでＳＤＲ画像を生成することができる。

ステップＳ１００３では、ＳＤＲ変換処理部２０４の色域変換部６０３が、ステップＳ１００１において入力されたＨＤＲ画像の色域を、出力されるＳＤＲ画像の色域に変換する色域変換処理を行う。色域変換処理は、例えば単純なマトリクス変換による処理でもよいし、ルックアップテーブルを用いた色域マッピング処理でもよい。以上が本実施形態におけるＳＤＲ変換処理の処理例である。

本実施形態によれば、多重露光やパノラマ合成等の複数枚合成機能を実施する複数枚合成モードでは、画像処理部１０４が、入力される複数枚の画像をＨＤＲ現像処理した後、複数枚のＨＤＲ画像を合成してＨＤＲ画像を生成する。また、画像処理部１０４が、複数枚のＨＤＲ画像を合成して生成されたＨＤＲ画像をＳＤＲ変換処理することでＳＤＲ画像を生成する。このようにすることで、複数枚合成の機能を実施する場合に、効率良くＨＤＲ画像とＳＤＲ画像とを生成して記録することが可能となる。

（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０４：画像処理部２０１：ＨＤＲ現像処理部２０２：ＳＤＲ現像処理部２０３：合成処理部２０４：ＳＤＲ変換処理部２０５：ＨＤＲ出力画像選択部２０６：ＳＤＲ出力画像選択部

Claims

第１のダイナミックレンジの画像と前記第１のダイナミックレンジより広い第２のダイナミックレンジの画像とを出力する画像処理装置であって、
入力画像に対して現像処理を行う現像手段と、
前記現像手段により生成された複数の画像を合成する合成手段と、
前記第２のダイナミックレンジの画像を前記第１のダイナミックレンジの画像に変換する変換手段とを有し、
前記合成手段により複数の画像の合成を行う場合、前記現像手段により前記入力画像を現像処理して生成した前記第２のダイナミックレンジの画像と、前記合成手段により合成した前記第２のダイナミックレンジの画像を前記変換手段により変換した前記第１のダイナミックレンジの画像とを出力することを特徴とする画像処理装置。
前記合成手段により複数の画像の合成を行わない場合、前記現像手段により前記入力画像を現像処理してそれぞれ生成した前記第１のダイナミックレンジの画像と前記第２のダイナミックレンジの画像とを出力することを特徴とする請求項１に記載の画像処理装置。
前記合成手段は、前記現像手段により複数の前記入力画像を現像処理して生成した複数の前記第２のダイナミックレンジの画像を合成することを特徴とする請求項１又は２に記載の画像処理装置。
前記現像手段は、
前記入力画像を現像処理して前記第１のダイナミックレンジの画像を生成する第１の現像手段と、
前記入力画像を現像処理して前記第２のダイナミックレンジの画像を生成する第２の現像手段とを有することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
前記合成手段により複数の画像の合成を行うか否かに応じて、前記合成手段により合成した前記第２のダイナミックレンジの画像を前記変換手段により変換した前記第１のダイナミックレンジの画像、又は前記現像手段により前記入力画像を現像処理して生成した前記第１のダイナミックレンジの画像を出力する出力手段を有することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
前記第１のダイナミックレンジの画像はＳＤＲ（standard dynamic range）画像であり、前記第２のダイナミックレンジの画像はＨＤＲ（high dynamic range）画像であることを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
前記変換手段は、画像における階調を変換する階調変換手段を有することを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
前記階調変換手段は、前記第２のダイナミックレンジに係るガンマを前記第１のダイナミックレンジに係るガンマに変換するガンマ変換処理を行うことを特徴とする請求項７に記載の画像処理装置。
前記階調変換手段は、ローカルトーンマッピング処理を行うことを特徴とする請求項７に記載の画像処理装置。
前記階調変換手段は、入力される画像から算出したヒストグラムの結果に応じて、階調変換を行うことを特徴とする請求項９に記載の画像処理装置。
前記変換手段は、前記第２のダイナミックレンジに係る色域を前記第１のダイナミックレンジに係る色域に変換する色変換手段を有することを特徴とする請求項７に記載の画像処理装置。
第１のダイナミックレンジの画像と前記第１のダイナミックレンジより広い第２のダイナミックレンジの画像とを出力する画像処理装置の画像処理方法であって、
入力画像に対して現像処理を行う現像工程と、
前記現像工程にて生成された複数の画像を合成する合成工程と、
前記第２のダイナミックレンジの画像を前記第１のダイナミックレンジの画像に変換する変換工程とを有し、
前記複数の画像の合成を行う場合、前記現像工程にて前記入力画像を現像処理して生成した前記第２のダイナミックレンジの画像と、前記合成工程にて合成した前記第２のダイナミックレンジの画像を前記変換工程にて変換した前記第１のダイナミックレンジの画像とを出力することを特徴とする画像処理方法。
第１のダイナミックレンジの画像と前記第１のダイナミックレンジより広い第２のダイナミックレンジの画像とを出力する画像処理装置のコンピュータに、
入力画像に対して現像処理を行う現像ステップと、
前記現像ステップにて生成された複数の画像を合成する合成ステップと、
前記第２のダイナミックレンジの画像を前記第１のダイナミックレンジの画像に変換する変換ステップとを実行させ、
前記複数の画像の合成を行う場合、前記現像ステップにて前記入力画像を現像処理して生成した前記第２のダイナミックレンジの画像と、前記合成ステップにて合成した前記第２のダイナミックレンジの画像を前記変換ステップにて変換した前記第１のダイナミックレンジの画像とを出力する制御を実行させるためのプログラム。