JP2023130222A - 画像処理装置、制御方法及びプログラム - Google Patents

Abstract

【課題】ダイナミックレンジの異なる画像を好適に合成した合成画像を生成する。【解決手段】画像処理装置は、第１の画像と、当該第１の画像よりもダイナミックレンジの広い第２の画像と、を取得する第１の取得手段と、第１の画像のダイナミックレンジを変換することで変換画像を生成する変換手段と、変換手段により生成された変換画像と第２の画像とを合成して合成画像を生成する生成手段と、を有し、変換手段は、第２の画像に基づいて合成レンジを決定し、第１の画像のダイナミックレンジを当該合成レンジに変換する。【選択図】図３

Description

本発明は、画像処理装置、制御方法及びプログラムに関し、特に、ダイナミックレンジの異なる画像を合成する技術に関する。

複数の撮像画像を合成することで、各撮像画像に表れる像が重ね合わせられた多重露出表現の合成画像を生成する技術がある。多重露出表現に係る合成手法には、合成する複数の画像の同位置の画素値を加算する加算合成や、輝度の高い方の画素値を合成後の画像値とする比較明合成、輝度の低い方の画素値を合成後の画素値とする比較暗合成等がある。

ＪＰＥＧ等の一般的なｓＲＧＢ８Ｂｉｔの画像は、標準ダイナミックレンジ（ＳＤＲ：Standard Dynamic Range）の画像であり、撮像シーンの輝度（シーン輝度）が０～２５５の範囲の画素値で表現されている。このようなＳＤＲ画像同士を合成して多重露出表現の合成画像を得る場合、出力される合成画像も、各画素値が０～２５５の範囲で表現したＳＤＲ画像となる。

また、近年ではＬＥＤ等の発光素子の性能が向上し、従来よりも表示輝度のダイナミックレンジが広いＨＤＲディスプレイと呼ばれる表示装置が登場しており、ＳＤＲ画像より広いダイナミックレンジに対応した階調表現の画像を表示することができる。従って、撮像装置の中には、このような表示装置において各輝度域の色やディテールの表現が確認可能なよう、高ダイナミックレンジ（ＨＤＲ：High Dynamic Range）の画像を記録可能なものも存在する。このようなＨＤＲ画像は、シーン輝度を一般に１０Ｂｉｔ、即ち、０～１０２３の範囲の表示輝度に変換して画素値として有している。

ところで、ＨＤＲ画像とＳＤＲ画像とはこのように画素値の分解能が異なるため、多重露出表現のような合成画像を生成する場合に、単純に合成することができない。特許文献１には、ＳＤＲ画像とＨＤＲ画像を表示可能な表示装置において、これらを合成した画像を好適な状態で表示可能にすべく、ＳＤＲ画像の輝度レンジをＨＤＲ画像の輝度レンジにマッピングしたＨＤＲの合成画像を生成して出力する技術が開示されている。具体的には特許文献１では、画像処理装置は、表示装置固有の最大輝度等の輝度範囲を示す情報を取得し、ＳＤＲ画像をＨＤＲの輝度レンジの階調に変換し、ＨＤＲ画像と合成する手法を採用している。

特開２０１９－１０３０４１号公報

ところで、ＨＤＲ画像における映像信号レベルと表示輝度との関係を表す信号特性は、ＥＯＴＦ（Electro-Optical Transfer Function：電気光伝達関数）で規定されており、以下の２種類の方式が採用されている。１つは、ＡＲＩＢ ＳＴＤ－Ｂ６７で規格化されているＨＬＧ（Hybrid Log Gamma）方式であり、映像信号レベルを表示輝度の相対値に変換するため、表示装置が出力可能な最大輝度に応じた表示輝度になる。もう１つは、ＳＭＰＴＥ ＳＴ ２０８４またはＩＴＵ－Ｒ ＢＴ．２１００で規格化されているＰＱ（Perceptual Quantization）方式であり、映像信号レベルを最大１００００ｎｉｔ（またはｃｄ／ｍ²）の範囲で表示輝度の絶対値に変換する。従って、シーンを撮像して得られたＨＤＲ画像を表示する場合、前者の方式では、表示装置が出力可能な最大輝度に応じた表示輝度にシーン輝度が変換され、後者の方式では、表示装置によらず絶対的に定まる表示輝度にシーン輝度が変換される。故に、ＰＱ方式が採用された表示装置での表示を想定する場合、例えば撮像装置でのエンコードにおいて、絶対的な輝度値を示すようにシーン輝度の画像信号を変換し、ＨＤＲ画像を生成する必要がある。

このため、シーン輝度を絶対的に表現するＰＱ方式のエンコードでは、同一のシーンを撮像したとしても、露出量の違いによりＨＤＲ画像に含まれるピーク輝度（表示輝度の最大値、出力ダイナミックレンジの最大値）が変化し得る。これは、センサ出力が飽和するシーン輝度が露出量に応じて変化するため、同一のシーン輝度に絶対的な表示輝度を割り当てるべく、変換に用いられるガンマカーブが異なることに依る。例えば、図１に示されるように、露出量の異なる２種類の撮像モードについての入出力特性（入力段数と出力輝度の関係）は、ピーク輝度（出力輝度の最大値）が異なる。ここで、露出量の高い撮像モードにおける入出力特性１１が実線で表され、露出量の低い撮像モードにおける入出力特性１２が一点鎖線で示されている。図示されるように、２つの撮像モードでは、高輝度域以外は共通の入出力特性を示し、露出量によらず同一の表示輝度に変換されるのに対し、高輝度域では飽和する輝度の違いに応じ、ピーク輝度が値１３と１４で異なる。なお、値１５は、１０ｂｉｔにおける最大値（１０２３）を示しており、ＰＱ方式における最大表示輝度の１００００ｎｉｔに対応している。

即ち、ＰＱ方式のＨＤＲ画像は、その撮像に採用された撮像モードによってピーク輝度が変化し得るものであるため、その飽和レベルは、必ずしもＰＱ方式の最大表示輝度や表示装置の最大輝度と一致しない。従って、特許文献１の方式でＳＤＲ画像とＨＤＲ画像とを合成したとしても、例えばＳＤＲ画像の高輝度側の表現が不自然に明るく表れる等、好適な態様の合成画像が生成されない可能性があった。

上記で例示したように、採用された撮像モードによってピーク輝度が変化し得る画像を用いて合成処理を行う場合、好適に合成された画像が生成されない可能性があるという問題点がある。

本発明は、上述の問題点に鑑みてなされたものであり、ダイナミックレンジの異なる画像を好適に合成した合成画像を生成する画像処理装置、制御方法及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、第１の画像と、当該第１の画像よりもダイナミックレンジの広い第２の画像と、を取得する第１の取得手段と、第１の画像のダイナミックレンジを変換することで変換画像を生成する変換手段と、変換手段により生成された変換画像と第２の画像とを合成して合成画像を生成する生成手段と、を有し、変換手段は、第２の画像に基づいて合成レンジを決定し、第１の画像のダイナミックレンジを当該合成レンジに変換することを特徴とする。

このような構成により本発明によれば、ダイナミックレンジの異なる画像を好適に合成した合成画像を生成することが可能となる。

露出量の異なる２種類の撮像モードについての入出力特性を説明するための図 本発明の実施形態及び変形例に係る画像処理装置１００のハードウェア構成を例示したブロック図 本発明の実施形態及び変形例に係る合成処理のモジュール構成を例示したブロック図 本発明の実施形態に係る合成処理を例示したフローチャート 本発明の実施形態に係る合成処理において採用される各種伝達関数を例示した図 本発明の実施形態及び変形例に係る、レンジ変換モジュール３０５における入出力特性を例示した図 本発明の実施形態及び変形例に係る合成画像の出力ファイル形式を例示した図 撮像モードに応じて定められたＭａｘＤＲＬを例示した図

［実施形態］
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下に説明する一実施形態は、画像処理装置の一例としての、ＰＱ方式でエンコードされた１つのＨＤＲ画像と１つのＳＤＲ画像とを合成して多重露出表現の合成画像を生成可能な画像処理装置に、本発明を適用した例を説明する。しかし、本発明は、ダイナミックレンジの異なる画像を合成して合成画像を生成することが可能な任意の機器に適用可能である。

また、本明細書において、「ＨＤＲ画像」とは、特に断りのない限り、ＩＴＵ－Ｒ ＢＴ．２１００で規格化されているＰＱ（Perceptual Quantization）方式のエンコードが適用され、デコードにより絶対表示輝度を取得可能に構成された画像（ＰＱ信号）であるものとして説明する。対して、「ＳＤＲ画像」とは、ＩＴＵ－Ｒ ＢＴ．７０９規格でエンコードされた画像であるものとして説明する。本実施形態では、合成画像の生成に用いられるＨＤＲ画像とＳＤＲ画像とは、いずれも撮像シーンを撮像することにより得られた、実写の撮像画像であるものとして説明する。また、以下の説明において、合成画像はＨＤＲ画像と同様にＰＱ信号であるものとする。

ここで、ＨＤＲ特性をＰＱ信号で表すには最低限１０ｂｉｔの深度が必要となり、ＨＤＲ画像や合成画像は、ＪＰＥＧフォーマットのような８ｂｉｔの画像を格納するファイルではないものとする。例えば、ＨＤＲ画像や合成画像は、Moving Picture Experts Group（ＭＰＥＧ）によって開発されＭＰＥＧ－Ｈ Ｐａｒｔ １２（ＩＳＯ／ＩＥＣ ２３００８－１２）で定義された画像ファイルフォーマットであるHigh Efficiency Image File Format（以降、ＨＥＩＦと称す）のコンテナを用いて格納されたＨＥＩＦファイルであってよい。ＨＥＩＦは、本画像だけでなく、サムネイルや複数の時間的に関連ある画像やＥＸＩＦ、ＸＭＰといったメタデータも１つのファイルの中に格納することができる。また、ＨＥＩＦは、ＨＥＶＣでエンコードされた１０ｂｉｔのイメージシーケンスも格納できるため本発明におけるＨＤＲ画像や合成画像の格納に適しているといえる。

《画像処理装置のハードウェア構成》
図２は、本実施形態に係る画像処理装置１００のハードウェア構成を示したブロック図である。図示されるように、本実施形態の画像処理装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、記録装置１０４、操作Ｉ／Ｆ１０５、表示装置１０６及びシステムバス１０７を有する。

ＣＰＵ１０１は、画像処理装置１００の全体的な制御を行う。ＲＯＭ１０２は、画像処理装置１００の起動に必要なＢＩＯＳ等の制御プログラムや、変更を必要としないプログラム、パラメータ及びデータを格納する記憶装置である。ＲＡＭ１０３は、ＣＰＵ１０１のワーク領域、各種データを一時的に記憶する一次記憶領域、各種プログラムのロード領域等を有する記憶装置である。

記録装置１０４は、ＯＳプログラム、各種の制御プログラム、ＯＳプログラム上で実行可能な各種ソフトウェアのプログラム、後述の合成処理に使用するＨＤＲ画像及び合成処理の結果に得られた合成画像等の各種データを格納する記録装置である。記録装置１０４は、例えば、画像処理装置１００に内蔵または着脱可能に接続されたハードディスクやフラッシュメモリ、着脱可能に接続されたフレキシブルディスクや光学ディスク、光磁気ディスク、ＩＣカード、メモリーカード等を含む。従って、ＣＰＵ１０１は、ＲＯＭ１０２または記録装置１０４に格納された各種プログラムをＲＡＭ１０３に展開して実行することにより画像処理装置１００の制御を行うことができる。

操作Ｉ／Ｆ１０５は、例えば、キーボードやマウス、タッチパネル等の画像処理装置１００が備えるユーザインタフェースである。操作Ｉ／Ｆ１０５は、ユーザによる操作入力がなされたことを検出すると、該当の操作に係る制御信号をＣＰＵ１０１に送出する。表示装置１０６は、例えば液晶ディスプレイであり、画像処理装置１００上で動作しているＯＳやソフトウェアに係るグラフィカルユーザインタフェースをはじめとして、各種の情報を表示する。システムバス１０７は、画像処理装置１００を構成する各ブロックを通信可能に接続する。

画像処理装置１００は、撮像済みのＲＡＷ画像を現像及び編集する専用装置であってもよく、その場合、ＲＯＭ１０２に合成処理のプログラムを格納することができる。また、汎用のパーソナルコンピュータ（ＰＣ）は、ＣＰＵ１０１が記録装置１０４に格納された合成処理のプログラムをＲＡＭ１０３に展開することによって、画像処理装置１００として機能することができる。さらに、撮像によりＲＡＷ画像を取得可能な撮像装置は、その制御ユニットが合成処理のプログラムを実行することによって、あるいは合成処理を行う画像処理ユニットが規定の動作を行うことで、画像処理装置１００としても機能することができる。

《合成処理》
次に、本実施形態に係る画像処理装置１００において実行される、１つのＨＤＲ画像と１つのＳＤＲ画像とを合成して多重露出表現の合成画像を生成する合成処理について、図を参照して詳細を説明する。本合成処理は、ＣＰＵ１０１が、ＲＯＭ１０２または記録装置１０４から合成処理のプログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現される。図３（ａ）は、本実施形態の合成処理の実行中にＣＰＵ１０１により実現される各種機能のモジュール構成を例示し、図４は、当該合成処理の流れを説明するためのフローチャートを例示した図である。

上述したように、合成処理の入力として用いられるＳＤＲ画像とＨＤＲ画像とは、撮像装置を用いて撮像された撮像画像であり、後者の方がシーン輝度の階調表現をより詳細に表現できるよう、ダイナミックレンジが広い。各画像は、撮像された撮像装置においてＯＥＴＦ（Opt-Electronic Transfer Function：光電伝達関数）を用いて、被写体の明るさが非線形の信号にエンコードされて現像される。またＨＤＲ画像は、ＰＱ方式でエンコードされたＰＱ画像（以下、ＨＤＲＰＱ画像として言及する場合がある）であるものとして説明する。従って、本実施形態では、合成処理の入力は、図３（ａ）に示されるようにＳＤＲ画像３０１とＨＤＲＰＱ画像３０２になる。ここで、ＯＥＴＦは、撮像装置において現像用に定められるものであり、ＳＤＲ用とＨＤＲ用が個別に設けられるものであってよい。

Ｓ４０１で、ＣＰＵ１０１は、記録装置１０４からＳＤＲ画像３０１及びＨＤＲＰＱ画像３０２を読み出し、ＲＡＭ１０３に展開する。本ステップの処理により合成対象となる画像の入力が実現される。

ＳＤＲ画像３０１とＨＤＲＰＱ画像３０２とは、上述したように異なるダイナミックレンジでシーン輝度を表現した画像であるため、画像の合成にあたってはダイナミックレンジを合わせることが好ましい。換言すると、ＳＤＲ画像３０１とＨＤＲＰＱ画像３０２とはとり得る信号レベルの値範囲が異なり単純に合成に用いることができないため、両者のダイナミックレンジを合わせる必要がある。より詳しくは、ＳＤＲ画像３０１とＨＤＲＰＱ画像３０２とは、生成にあたり、それぞれＳＤＲ用のＯＥＴＦまたはＨＤＲ用のＯＥＴＦを用いて被写体の明るさを非線形の信号に変換する態様が異なる画像である。

本実施形態の合成処理では、ＳＤＲ画像３０１を、より広いＨＤＲＰＱ画像３０２のダイナミックレンジで表現した画像（変換画像）に変換し、当該変換画像とＨＤＲＰＱ画像３０２とを用いて合成が行われる。このため、以下に続くＳ４０２～Ｓ４０６の処理において、ＳＤＲ画像３０１をＨＤＲＰＱ画像３０２と共通のダイナミックレンジの画像（ＰＱ形式の画像（ＨＤＲＰＱ画像））への変換が行われる。

Ｓ４０２で、ＳＤＲデガンマモジュール３０３は、合成対象のＳＤＲ画像３０１を線形化する。上述したように、ＳＤＲ画像３０１は、ＳＤＲ用のＯＥＴＦが適用されて得られた非線形の信号である。このため、ＳＤＲデガンマモジュール３０３は、例えば図５（ａ）に示されるようなＳＤＲ用のＥＯＴＦを適用することで、ＳＤＲ画像３０１の各画素の信号レベルをディスプレイライトな線形の輝度値に変換する。即ち、ＳＤＲデガンマモジュール３０３は、ＳＤＲ画像３０１を変換し、各画素が表示輝度を示す第１の中間画像を生成する。

ここで、ＳＤＲ用のＥＯＴＦは、ＩＴＵ－Ｒ ＢＴ．７０９で定義されているリファレンスのＥＯＴＦを用いてもよい。あるいは、ＳＤＲ画像３０１を撮像した撮像装置において用いられたＳＤＲ用のＯＥＴＦの逆関数を用いてもよい。なお、ＯＥＴＦは、各露出設定について予め設定された、あるいはユーザ設定による出力画像の制作意図に基づいたＯＯＴＦ（Opt-Optical Transfer Function：光光伝達関数）と、リファレンスのＥＯＴＦの逆関数の積である。線形化に用いられるＳＤＲ用のＥＯＴＦは、例えば画像処理装置１００の記録装置１０４に記録されていてもよいし、ＳＤＲ画像３０１に関連して撮像装置から取得されるものであってもよい。

Ｓ４０３で、色空間変換モジュール３０４は、必要に応じて、ＳＤＲデガンマモジュール３０３により第１の中間画像の色空間を変換する。本実施形態では、ＨＤＲＰＱ画像３０２がＰＱ形式のＨＤＲ画像であるため、色空間変換モジュール３０４は、ＢＴ．７０９からＢＴ．２０２０への色空間変換を行う。色空間変換の詳細は、ＩＴＵ－Ｒ ＢＴ．２０８７に記載されている。

Ｓ４０４で、ＣＰＵ１０１は、ＳＤＲ画像３０１を変換するダイナミックレンジの最大値を決定する。本実施形態の合成処理では、ＳＤＲ画像３０１をＨＤＲＰＱ画像３０２と共通のダイナミックレンジに変換するため、本ステップにおいて変換後のダイナミックレンジ（以下、合成レンジとして言及）の最大値を決定する。図１について上述したように、ＰＱ形式のＨＤＲ画像のピーク輝度値は、露出量の違いによって異なり得るものであるため、本ステップでＣＰＵ１０１は、ＨＤＲＰＱ画像３０２のピーク輝度値を取得し、これを合成レンジの最大値として決定する。即ち、ＣＰＵ１０１は、ＨＤＲＰＱ画像３０２の最大信号レベルを上回る信号レベルの画像が合成されることによって合成画像が不自然な表現とならないよう、ＨＤＲＰＱ画像３０２の最大信号レベルを、合成レンジの最大値に対応する信号レベルに採用する。

ここで、ＨＤＲＰＱ画像３０２のピーク輝度は、ＨＤＲＰＱ画像３０２に係る画像ファイル（ＨＥＩＦファイル等）に含められる、あるいはＨＤＲＰＱ画像３０２に別ファイルとして関連付けられるものであってよい。本実施形態ではＨＤＲＰＱ画像３０２に係る画像ファイルには、特開２０２０－０３９１１８号公報に記載のＭａｘＤＲＬ（Maximum Dynamic Range Level）がメタデータとして付されており、ＣＰＵ１０１は、これをピーク輝度値として取得するものとする。ＭａｘＤＲＬは、撮像された画像信号の現像及びエンコードにおいて、対応するＯＥＴＦを適用した後のＰＱ信号出力値の最大値であり、ＨＤＲＰＱ画像３０２で表現可能なダイナミックレンジのピーク輝度値（上限値）を示す。従って、本実施形態ではピーク輝度値であるものとして説明するが、ＭａｘＤＲＬは、ピーク輝度値に対応するｎｉｔ値を示す値であってもよい。

Ｓ４０５で、レンジ変換モジュール３０５は、第１の中間画像のダイナミックレンジを、Ｓ４０４で決定された最大値の合成レンジに変換した第２の中間画像を生成する。本実施形態では、レンジ変換モジュール３０５は、第２の中間画像の生成にあたり、図６（ａ）に示される入出力特性の輝度値の変換を行うことで、ダイナミックレンジを合成レンジに変換する。図６（ａ）の例では、横軸に入力（第１の中間画像）の輝度値を、縦軸に出力（第２の中間画像）の輝度値が設定されており、その入出力関係が示されている。図示されるように、レンジ変換モジュール３０５における入出力特性は、第１の中間画像の輝度値の値範囲を、最大値がＨＤＲＰＱ画像３０２のＭａｘＤＲＬ（ピーク輝度値）とする範囲に線形的にスケーリングする。ここで、第１の中間画像の輝度値の値範囲は、ＳＤＲ画像３０１における白を示す画素の情報に基づき、第１の中間画像の同位置の画素の輝度値を最大値、即ち、ピーク輝度値として規定される。つまり、レンジ変換モジュール３０５は、第１の中間画像の輝度値のピーク輝度値がＨＤＲＰＱ画像３０２のＭａｘＤＲＬになるように線形変換することで、第２の中間画像の各画素の輝度値を導出し、ダイナミックレンジを変換した第２の中間画像を生成する。より詳しくは、レンジ変換モジュール３０５は、第１の中間画像のピーク輝度値とＨＤＲＰＱ画像３０２のＭａｘＤＲＬとに基づいて、ダイナミックレンジの変換に係る変換係数を導出する。そして、レンジ変換モジュール３０５は、第１の中間画像の各画素の輝度値に当該変換係数を乗じて得られた輝度値を第２の中間画像の各画素として格納することで、第２の中間画像を生成する。

Ｓ４０６で、ＨＤＲＰＱガンマモジュール３０６は、第２の中間画像にガンマを適用することで輝度値を非線形の信号に変換（エンコード）し、変換画像を生成する。本実施形態では、変換画像と合成されるＨＤＲＰＱ画像３０２がＰＱ形式の画像であるため、ＨＤＲＰＱガンマモジュール３０６において適用されるガンマは、図５（ｂ）に示されるようなＰＱ形式に対応したＨＤＲ用のＯＥＴＦである。ここで、ＨＤＲ用のＯＥＴＦは、例えばＨＤＲＰＱ画像３０２に係る画像ファイルのメタデータに含められた、ＨＤＲＰＱ画像３０２のエンコードに用いられたＯＥＴＦを取得して用いることができる。あるいは、ＨＤＲ用のＯＥＴＦは、例えばＨＤＲＰＱ画像３０２の撮像に係る露出設定について定められたＯＯＴＦにＩＴＵ－Ｒ ＢＴ．２１００で定義されるリファレンスのＥＯＴＦの逆関数を乗じることで導出されるものであってもよい。

Ｓ４０７で、合成モジュール３０７は、Ｓ４０６において生成された変換画像とＨＤＲＰＱ画像３０２とを合成することで、多重露出表現の合成画像３０９を生成し、本合成処理を完了する。多重露出の合成方式には、加算、比較明、比較暗等の複数の方式があるため、本実施形態の合成処理では、ＳＤＲ画像３０１及びＨＤＲＰＱ画像３０２の他の入力として合成手法を一意に特定する合成手法３０８を受け付ける。入力される合成手法３０８は、操作Ｉ／Ｆ１０５を介してなされたユーザ操作入力に基づいて指定されるものであってもよいし、予め設定された情報を読み出すことで指定されるものであってもよい。従って、合成モジュール３０７は、入力された合成手法３０８に基づく処理を実行して合成画像３０９を生成する。

なお、生成された合成画像３０９は、例えば新たなＰＱ画像としてＨＥＩＦ形式の画像ファイルとして記録装置１０４に格納されてもよい。ＨＥＩＦ形式の画像ファイルは、図７（ａ）に示されるようなファイル構造を有する。即ち、ＨＥＩＦ形式のファイルは、ファイル形式を示すｆｔｙｐボックス７０１と、サムネイル画像７１１を含むメタデータを格納するｍｅｔａボックス７０２と、符号化データ（本画像７１２）を格納するｍｄａｔボックス７０３とで構成される。従って、合成モジュール３０７は、生成した合成画像３０９のデータをｍｄａｔボックス７０３に格納し、合成画像３０９のサムネイル画像及び合成画像３０９に係るＭａｘＤＲＬをｍｅｔａボックス７０２に格納し、ファイルを生成する。

ここで、メタデータに含められる合成画像３０９に係るＭａｘＤＲＬは、例えば入力画像であったＨＤＲＰＱ画像３０２のＭａｘＤＲＬを流用してもよい。あるいは、合成画像３０９に係るＭａｘＤＲＬは、例えば図８の表に示されるような、ＨＤＲＰＱ画像３０２の撮像時に設定されていた撮像モードに対応した最大信号ＰＱコード値を記録装置１０４から読み出し、ＭａｘＤＲＬとしてメタデータに含めてもよい。この他、メタデータには、合成画像３０９の線形化に用いられるＯＥＴＦやその他の情報が含められてもよい。

また、合成処理を行って出力される合成画像３０９のファイル形式は、少なくとも当該合成画像３０９に係るＭａｘＤＲＬを共に格納可能であればよく、例えば図７（ｂ）のようなＭＰ４形式を採用してもよい。この場合、ｍｄａｔボックス７２１中のｍｅｔａデータ７２２にＭａｘＤＲＬが格納されればよい。

また、本実施形態では合成処理の出力である合成画像が、ＰＱ形式のＨＤＲ画像であるものとして説明したが、本発明の実施はこれに限られるものではなく、さらにＳＤＲ画像に変換された画像が出力されるものであってもよい。

以上説明したように、本実施形態の画像処理装置によれば、ダイナミックレンジの異なる画像を好適に合成した合成画像を生成することができる。より詳しくは、ＳＤＲ画像とＨＤＲＰＱ画像とを合成する際に、ＨＤＲＰＱ画像のピーク輝度に基づいたダイナミックレンジにＳＤＲ画像を変換するため、絶対輝度が規定されないＳＤＲ画像であってもＨＤＲＰＱ画像に適合した態様で合成することができる。

［変形例１］
上述した実施形態では、レンジ変換モジュール３０５における入出力特性を、図６（ａ）に示されるような、単に第１の中間画像のピーク輝度値を、ＨＤＲＰＱ画像３０２のＭａｘＤＲＬまでの値範囲に線形的に割り当てる態様を説明した。しかしながら、本発明の実施はこれに限られるものではなく、入出力特性は、例えば図６（ｂ）に示されるように、第１の中間画像の輝度値について所定のニーポイントを基準に設け、その前後の輝度値の値範囲で異なる特性としてもよい。

図６（ｂ）の例では、ニーポイントを、ＳＤＲ画像３０１に含まれる適正露出の被写体に係る輝度値に設定している。より詳しくは、図６（ｂ）の入出力特性は、輝度値の下限値である０から適正露出に対応する輝度値（適正輝度値）までの値範囲（第１の値範囲）に係る輝度値の入力に対しては、傾き１の直線で示される特性を示す。即ち、第１の値範囲の輝度値が入力されると、同一の値が出力される。また入出力特性は、適正輝度値から第１の中間画像のピーク輝度値までの値範囲（第２の値範囲）に係る輝度値の入力に対しては、適正輝度値からＨＤＲＰＱ画像３０２のＭａｘＤＲＬまでの値範囲に線形的に割り当てた値を出力する。即ち、第２の値範囲に係る入出力特性に係る傾きは、ＳＤＲ画像３０１に係る適正輝度値に応じて適応的に変更される。レンジ変換モジュール３０５がこのような入出力特性を採用することで、第１の中間画像における適正露出までの階調表現を維持した態様で、第２の中間画像を生成することができる。

従って、本変形例に係る合成処理に係るモジュール構成は、図３（ｂ）に示されるように、ＳＤＲ画像３０１に関連付けて取得される適正輝度値の情報が、レンジ変換モジュール３０５に入力される。

ところで、図６（ｂ）のようなニーポイントにおいて入出力特性が変化するような変換を行うと、ニーポイントの輝度値によってはコントラストが強くなる値範囲があり、変換前は視認されにくかった低振幅のノイズが、変換後に強調されることがある。このようにして得られた第２の中間画像に基づく変換画像を合成して得られる多重露出表現の合成画像は、変換画像とＨＤＲＰＱ画像３０２とでノイズ感や解像感が異なるため、好適な表現とならない場合がある。

故に、本変形例の合成処理では図３（ｂ）に示されるように、ＨＤＲＰＱガンマモジュール３０６によるガンマが適用された第２の中間画像に対して、ニーポイントの輝度値に応じた画質調整処理を画質調整モジュール３１０が適用した上で変換画像を生成する。画質調整処理は、例えばノイズリダクション処理であってよく、その強度がニーポイントの輝度値に応じて制御される。例えば、ニーポイントの輝度値が、第１の中間画像のピーク輝度値に近い場合、即ち、第２の値範囲に係る入出力特性の傾きが急峻である場合には、ノイズリダクションの強度は高められる。反対に、第２の値範囲に係る入出力特性の傾きが緩やかである場合には、ノイズリダクションの強度は弱められる。

このようにすることで、ダイナミックレンジの変換に係り発生し得る画質劣化の影響を低減させることができるため、変換画像とＨＤＲＰＱ画像３０２のノイズ感や解像感を合わせ、好適な表現の合成画像を生成することができる。

なお、画質調整モジュール３１０により適用される画質調整処理は、ノイズリダクション処理入力に限られるものではない。例えば、ＳＤＲ画像３０１がコンピュータグラフィックス等の所謂ノイズレスな画像である場合、画質調整処理は、ノイズリダクション処理ではなく、ＨＤＲＰＱ画像３０２のノイズレベルに合わせるためにランダムノイズを付加する処理であってよい。

また、本変形例ではレンジ変換モジュール３０５における入出力特性が、図６（ｂ）に示されるような折れ線の態様を示すものとして説明したが、本発明の実施はこれに限られるものでなく、曲線の態様を示すものであってもよい。この場合、画質調整モジュール３１０により行われる画質調整処理も、入出力特性に応じて調整されるよう構成されればよい。

［変形例２］
上述した実施形態及び変形例では、１つのＨＤＲＰＱ画像と１つのＳＤＲ画像とを合成して多重露出表現の合成画像を生成する態様について説明したが、合成処理の入力に用いられる各ダイナミックレンジの画像は複数であってもよい。このとき、複数のＨＤＲＰＱ画像が合成対象として入力される場合には、合成レンジの最大値に設定されるピーク輝度値は、当該複数のＨＤＲＰＱ画像のＭａｘＤＲＬのうちの最大の値を用いればよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１：ＣＰＵ、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：記録装置、３０３：ＳＤＲデガンマモジュール、３０４：色空間変換モジュール、３０５：レンジ変換モジュール、３０６：ＨＤＲＰＱガンマモジュール、３０７：合成モジュール、３１０：画質調整モジュール

Claims (15)

1. 第１の画像と、当該第１の画像よりもダイナミックレンジの広い第２の画像と、を取得する第１の取得手段と、
   前記第１の画像のダイナミックレンジを変換することで変換画像を生成する変換手段と、
   前記変換手段により生成された前記変換画像と前記第２の画像とを合成して合成画像を生成する生成手段と、
   を有し、
   前記変換手段は、前記第２の画像に基づいて合成レンジを決定し、前記第１の画像のダイナミックレンジを当該合成レンジに変換する
   ことを特徴とする画像処理装置。
2. 前記変換手段は、前記第２の画像の最大信号レベルに基づいて前記合成レンジを決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の画像は、ＩＴＵ－Ｒ ＢＴ．２１００で規格化されたＰＱ（Perceptual Quantization）方式でエンコードされたＨＤＲ（High Dynamic Range）画像であり、
   前記変換手段は、前記合成レンジの最大値を前記第２の画像のダイナミックレンジのピーク輝度値に決定する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記変換手段は、前記変換画像の最大信号レベルが前記合成レンジの最大値に対応する信号レベルとなるように、前記第１の画像のダイナミックレンジを変換する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記第１の画像及び前記第２の画像は、それぞれのダイナミックレンジに対応するガンマが適用されることで、被写体の明るさを非線形の信号に変換した画像であり、
   前記変換手段は、
   前記第１の画像のダイナミックレンジに対応するデガンマを適用して、前記第１の画像の信号を線形の輝度値に変換した第１の中間画像を生成し、
   前記第１の中間画像の輝度値を、最大値が前記第２の画像のピーク輝度値である値範囲に割り当てた第２の中間画像を生成し、
   前記第２の画像のダイナミックレンジに対応するガンマを適用して前記第２の中間画像の輝度値を非線形の信号に変換することで、前記変換画像を生成する
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記第２の中間画像の生成に係る入出力特性は、前記第１の中間画像の輝度値の範囲を、最大値が前記第２の画像のピーク輝度値である範囲にスケーリングするものであることを特徴とする請求項５に記載の画像処理装置。
7. 前記第２の中間画像の生成に係る入出力特性は、前記第１の中間画像の輝度値について所定のニーポイントを基準に定まる第１の値範囲と第２の値範囲それぞれの入力に対して、異なる特性を示すことを特徴とする請求項５に記載の画像処理装置。
8. 前記第１の画像に係る適正露出に対応する輝度値を取得する第２の取得手段をさらに有し、
   前記所定のニーポイントは、前記第２の取得手段により取得された前記適正露出に対応する輝度値であり、
   前記第１の値範囲は、輝度値の下限値から前記適正露出に対応する輝度値までの値範囲であり、
   前記第２の値範囲は、前記適正露出に対応する輝度値から前記第１の中間画像のピーク輝度値までの値範囲である
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記第２の中間画像の生成に係る入出力特性は、前記第１の値範囲の輝度値の入力に対して同一の値を出力し、前記第２の値範囲の輝度値の入力に対して、前記適正露出に対応する輝度値から前記第２の画像のピーク輝度値までの値範囲にスケーリングした値を出力することを特徴とする請求項８に記載の画像処理装置。
10. 前記変換手段は、前記第２の中間画像の輝度値を非線形の信号に変換した後に、前記所定のニーポイントの輝度値に応じた画質調整処理を実行して前記変換画像を生成することを特徴とする請求項７乃至９のいずれか１項に記載の画像処理装置。
11. 前記変換手段は、前記第２の画像に関連付けられたメタデータから前記第２の画像のピーク輝度値を取得することを特徴とする請求項３乃至１０のいずれか１項に記載の画像処理装置。
12. 前記合成画像の生成に用いられる前記第２の画像は複数であり、
    前記変換手段は、前記合成レンジの最大値を、複数の前記第２の画像のピーク輝度値のうちの最大の値に決定する
    ことを特徴とする請求項３乃至１１のいずれか１項に記載の画像処理装置。
13. 前記第１の画像は、ＩＴＵ－Ｒ ＢＴ．７０９規格でエンコードされたＳＤＲ（Standard Dynamic Range）画像であることを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 画像処理装置の制御方法であって、
    第１の画像と、当該第１の画像よりもダイナミックレンジの広い第２の画像と、を取得する工程と、
    前記第１の画像のダイナミックレンジを変換することで変換画像を生成する変換工程と、
    前記変換工程において生成された前記変換画像と前記第２の画像とを合成して合成画像を生成する工程と、
    を有し、
    前記変換工程において、前記第２の画像に基づいて合成レンジが決定され、前記第１の画像のダイナミックレンジが当該合成レンジに変換される
    ことを特徴とする制御方法。
15. コンピュータを、請求項１乃至１３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images