JP2023041497A - 画像処理装置、撮像装置、制御方法、及びプログラム - Google Patents
画像処理装置、撮像装置、制御方法、及びプログラム Download PDFInfo
- Publication number
- JP2023041497A JP2023041497A JP2021148905A JP2021148905A JP2023041497A JP 2023041497 A JP2023041497 A JP 2023041497A JP 2021148905 A JP2021148905 A JP 2021148905A JP 2021148905 A JP2021148905 A JP 2021148905A JP 2023041497 A JP2023041497 A JP 2023041497A
- Authority
- JP
- Japan
- Prior art keywords
- image
- hdr
- dynamic range
- upper limit
- limit value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000003384 imaging method Methods 0.000 title claims description 11
- 239000000203 mixture Substances 0.000 claims abstract description 79
- 239000002131 composite material Substances 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims abstract description 16
- 230000008859 change Effects 0.000 claims description 45
- 230000002194 synthesizing effect Effects 0.000 claims description 41
- 230000015572 biosynthetic process Effects 0.000 claims description 39
- 238000003786 synthesis reaction Methods 0.000 claims description 39
- 238000012937 correction Methods 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 5
- 230000035945 sensitivity Effects 0.000 claims description 4
- 238000013139 quantization Methods 0.000 claims description 2
- 235000019557 luminance Nutrition 0.000 description 95
- 238000006243 chemical reaction Methods 0.000 description 20
- 230000004048 modification Effects 0.000 description 19
- 238000012986 modification Methods 0.000 description 19
- 238000011161 development Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03F—PHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
- G03F7/00—Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
- G03F7/20—Exposure; Apparatus therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
【課題】ダイナミックレンジを拡張した合成画像の生成について好適な合成割合を決定する。【解決手段】画像処理装置は、異なる露出量で撮影された複数のHDR(High Dynamic Range)画像のそれぞれについて、撮影の露出情報、及び画像に表現されるダイナミックレンジの上限値を取得する取得手段と、複数のHDR画像を合成してさらにダイナミックレンジを拡張した合成画像を生成する合成処理について、取得手段により取得された露出情報及びダイナミックレンジの上限値に基づいて、合成画像の信号域ごとの各HDR画像の合成割合を決定する決定手段と、を有することを特徴とする。【選択図】図4
Description
本発明は、画像処理装置、撮像装置、制御方法、及びプログラムに関し、特には高ダイナミックレンジ画像信号の合成技術に関する。
異なる露出量でシーンを撮影した複数枚の標準ダイナミックレンジ(SDR)画像を合成することで、ダイナミックレンジを拡張した高ダイナミックレンジ(HDR)合成画像を生成する技術がある。特許文献1では、適正露出の撮影で得られた適性画像、アンダー露出で得られたアンダー画像、オーバー露出で得られたオーバー画像の3種類のSDR画像を、予め定められた合成割合に従って合成することで、HDR(High Dynamic Range)合成画像を生成している。より詳しくは、合成基準の輝度閾値Y1、Y2、Y3、Y4(特許文献1の図10)を定め、Y1より暗い輝度域はオーバー画像を、Y2~Y3の輝度域は適性画像を、Y4より明るい輝度域はアンダー画像をそれぞれ使用するよう合成が制御される。またY1~Y2及びY3~Y4の中間領域については、それぞれオーバー画像と適性画像、適性画像とアンダー画像の合成比率(加重加算係数)を徐々に変化させるよう、合成が制御される。このような合成制御により、3種類の露出条件のSDR画像から、好適にダイナミックレンジを拡張したHDR合成画像を得ることができる。
また近年ではLED等の発光素子の性能が向上しており、従来よりも表示輝度のダイナミックレンジが広いHDRディスプレイと呼ばれる表示装置が登場している。このような表示装置では、高輝度域の色やディテールを有する画像(HDR画像)を、より忠実に表示することができる。HDR画像における映像信号レベルと表示輝度との関係を表す信号特性は、EOTF(Electro-Optical Transfer Function:電気光伝達関数)で規定されており、以下の2種類の方式が採用されている。1つは、ARIB STD-B67で規格化されているHLG(Hybrid Log Gamma)方式であり、映像信号レベルを表示輝度の相対値に変換するため、表示装置が出力可能な最大輝度に応じた表示輝度になる。もう1つは、SMPTE ST 2084またはITU-R BT.2100で規格化されているPQ(Perceptual Quantization)方式であり、映像信号レベルを最大10000nit(またはcd/m2)の範囲で表示輝度の絶対値に変換する。従って、シーンを撮影して得られたHDR画像を表示する場合、前者の方式では、表示装置が出力可能な最大輝度に応じた表示輝度にシーン輝度が変換され、後者の方式では、表示装置によらず絶対的に定まる表示輝度にシーン輝度が変換される。故に、PQ方式が採用された表示装置での表示を想定する場合、例えば撮像装置でのエンコードにおいて、絶対的な輝度値を示すようにシーン輝度の画像信号を変換し、HDR画像を生成する必要がある。
ところで、シーンについて、露出量を異ならせてこのようなHDR画像を取得して合成することで、さらにダイナミックレンジを拡張した合成画像を生成することもできる。即ち、特許文献1と同様に、適正露出の撮影で得られた適性HDR画像、アンダー露出で得られたアンダーHDR画像、オーバー露出で得られたオーバーHDR画像の3種類のHDR画像を合成することで、よりディテールを表現した合成画像を生成できる。
一方で、シーン輝度を絶対的に表現するPQ方式のエンコードでは、同一のシーンを撮影したとしても、露出量の違いによりHDR画像に含まれるピーク輝度(表示輝度の最大値、出力ダイナミックレンジの最大値)が変化し得る。これは、センサ出力が飽和するシーン輝度が露出量に応じて変化するため、同一のシーン輝度に絶対的な表示輝度を割り当てるべく、変換に用いられるガンマカーブが異なることに依る。例えば、図1に示されるように、露出量の異なる2種類の撮影モードについての入出力特性(入力段数と出力輝度の関係)は、ピーク輝度(出力輝度の最大値)が異なる。ここで、露出量の高い撮影モードにおける入出力特性11が実線で表され、露出量の低い撮影モードにおける入出力特性12が一点鎖線で示されている。図示されるように、2つの撮影モードでは、高輝度域以外は共通の入出力特性を示し、露出量によらず同一の表示輝度に変換されるのに対し、高輝度域では飽和する輝度の違いに応じ、ピーク輝度が値13と14で異なる。なお、値15は、10bitにおける最大値(1023)を示しており、PQ方式における最大表示輝度の10000nitに対応している。
従って、特許文献1のような合成方法を単純に適用したとしても、好適な合成画像が生成されない可能性がある。より詳しくは、特許文献1の合成方法は、露出条件ごとに最大値が255の画素値を割り当てた8bitのSDR画像を前提としているため、2種類の画像を合成する輝度域において、該当の画像の双方の画素値を常に参照することができた。しかしながら、露出量の異なるHDR画像を合成する場合、2種類の画像を合成する輝度域において、高露出のHDR画像にピーク輝度を超える被写体が表現されないことがあり、好適な合成結果が得られない可能性がある。
例えば、図2のヒストグラム24に示されるように適性HDR画像の輝度が分布している(適性HDR画像のピーク輝度が25である)態様について、特許文献1の合成割合を適用した場合を考える。図において、二点鎖線21、実線22及び一点鎖線23は、それぞれ特許文献1の合成割合に対応した、オーバーHDR画像の加重加算係数、適性HDR画像の加重加算係数、アンダーHDR画像の加重加算係数を示しており、全輝度域で係数の総和は1である。このとき、図示されるように、適性HDR画像とアンダーHDR画像が合成される輝度域(Y3~Y4)に適性HDR画像のピーク輝度25が含まれる場合、当該ピーク輝度~Y4までの輝度域では適性HDR画像が合成されないため、好適な合成結果とならない。換言すれば、適性HDR画像は、センサ出力の飽和によりピーク輝度25以上の画素を含まないため、合成画像の当該ピーク輝度近辺の被写体が分布する領域において、不自然な表現がなされる可能性があった。
以上説明した例のように、ピーク輝度が異なる複数の画像を合成した場合、不自然な画像となる可能性があった。
本発明は、上述の問題点に鑑みてなされたものであり、ダイナミックレンジを拡張した合成画像の生成について好適な合成割合を決定する画像処理装置、撮像装置、制御方法及びプログラムを提供することを目的とする。
前述の目的を達成するために、本発明の画像処理装置は、異なる露出量で撮影された複数のHDR(High Dynamic Range)画像のそれぞれについて、撮影の露出情報、及び画像に表現されるダイナミックレンジの上限値を取得する取得手段と、複数のHDR画像を合成してさらにダイナミックレンジを拡張した合成画像を生成する合成処理について、取得手段により取得された露出情報及びダイナミックレンジの上限値に基づいて、合成画像の信号域ごとの各HDR画像の合成割合を決定する決定手段と、を有することを特徴とする。
このような構成により本発明によれば、ダイナミックレンジを拡張した合成画像の生成について好適な合成割合を決定することが可能となる。
[実施形態1]
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
以下に説明する一実施形態は、画像処理装置の一例としての、PQ方式でエンコードされたHDR画像を合成してさらにダイナミックレンジを拡張した合成画像を生成可能な画像処理装置に、本発明を適用した例を説明する。しかし、本発明は、当該合成画像の生成に係る各HDR画像の合成割合を導出することが可能な任意の機器に適用可能である。
また、本明細書において、「HDR画像」とは、特に断りのない限り、PQ方式のエンコードが適用され、デコードにより絶対表示輝度を取得可能に構成された画像(PQ信号)であるものとして説明する。またHDR画像を合成することで得られる、さらにダイナミックレンジを拡張した画像を、従来のSDR画像を合成することで得られたHDR合成画像や、入力である(合成元の)HDR画像と峻別すべく、単に「合成画像」として説明する。以下の説明において、合成画像はHDR画像と同様にPQ信号であるものとする。
ここで、HDR特性をPQ信号で表すには最低限10bitの深度が必要となり、HDR画像や合成画像は、JPEGフォーマットのような8bitの画像を格納するファイルではないものとする。例えば、HDR画像や合成画像は、Moving Picture Experts Group(MPEG)によって開発されMPEG-H Part 12(ISO/IEC 23008-12)で定義された画像ファイルフォーマットであるHigh Efficiency Image File Format(以降、HEIFと称す)のコンテナを用いて格納されたHEIFファイルであってよい。HEIFは、本画像だけでなく、サムネイルや複数の時間的に関連ある画像やEXIF、XMPといったメタデータも1つのファイルの中に格納することができる。また、HEIFは、HEVCでエンコードされた10bitのイメージシーケンスも格納できるため本発明におけるHDR画像や合成画像の格納に適しているといえる。なお、本発明の実施は、これに限られるものではなく、HDR画像や合成画像は、RAWデータや現像処理後のTIFFデータ等、10bit以上の画像データを格納可能であればいずれの形式であってもよい。
《画像処理装置のハードウェア構成》
図3は、本実施形態に係る画像処理装置100のハードウェア構成を示したブロック図である。図示されるように、本実施形態の画像処理装置100は、CPU101、ROM102、RAM103、記録装置104、操作I/F105、表示装置106及びシステムバス107を有する。
図3は、本実施形態に係る画像処理装置100のハードウェア構成を示したブロック図である。図示されるように、本実施形態の画像処理装置100は、CPU101、ROM102、RAM103、記録装置104、操作I/F105、表示装置106及びシステムバス107を有する。
CPU101は、画像処理装置100の全体的な制御を行う。ROM102は、画像処理装置100の起動に必要なBIOS等の制御プログラムや、変更を必要としないプログラム、パラメータ及びデータを格納する記憶装置である。RAM103は、CPU101のワーク領域、各種データを一時的に記憶する一次記憶領域、各種プログラムのロード領域等を有する記憶装置である。
記録装置104は、OSプログラム、各種の制御プログラム、OSプログラム上で実行可能な各種ソフトウェアのプログラム、後述の合成処理に使用するHDR画像及び合成処理の結果に得られた合成画像等の各種データを格納する記録装置である。記録装置104は、例えば、画像処理装置100に内蔵または着脱可能に接続されたハードディスクやフラッシュメモリ、着脱可能に接続されたフレキシブルディスクや光学ディスク、光磁気ディスク、ICカード、メモリーカード等を含む。従って、CPU101は、ROM102または記録装置104に格納された各種プログラムをRAM103に展開して実行することにより画像処理装置100の制御を行うことができる。
操作I/F105は、例えば、キーボードやマウス、タッチパネル等の画像処理装置100が備えるユーザインタフェースである。操作I/F105は、ユーザによる操作入力がなされたことを検出すると、該当の操作に係る制御信号をCPU101に送出する。表示装置106は、例えば液晶ディスプレイであり、画像処理装置100上で動作しているOSやソフトウェアに係るグラフィカルユーザインタフェースをはじめとして、各種の情報を表示する。システムバス107は、画像処理装置100を構成する各ブロックを通信可能に接続する。
画像処理装置100は、撮影済みのRAW画像を現像及び編集する専用装置であってもよく、その場合、ROM102に合成処理のプログラムを格納することができる。また、汎用のパーソナルコンピュータ(PC)は、CPU101が記録装置104に格納された合成処理のプログラムをRAM103に展開することによって、画像処理装置100として機能することができる。さらに、撮像によりRAW画像を取得可能な撮像装置は、その制御ユニットが合成処理のプログラムを実行することによって、あるいは合成処理を行う画像処理ユニットが規定の動作を行うことで、画像処理装置100としても機能することができる。
《合成処理》
次に、本実施形態に係る画像処理装置100において実行される、露出量を異ならせて撮影された複数のHDR画像を合成して合成画像を生成する合成処理について、図を参照して詳細を説明する。本合成処理は、CPU101が、ROM102または記録装置104から合成処理のプログラムを読み出し、RAM103に展開して実行することにより実現される。図4は、合成処理の実行中に実現されるモジュール構成を例示し、図5は、当該合成処理の流れを説明するためのフローチャートを例示した図である。
次に、本実施形態に係る画像処理装置100において実行される、露出量を異ならせて撮影された複数のHDR画像を合成して合成画像を生成する合成処理について、図を参照して詳細を説明する。本合成処理は、CPU101が、ROM102または記録装置104から合成処理のプログラムを読み出し、RAM103に展開して実行することにより実現される。図4は、合成処理の実行中に実現されるモジュール構成を例示し、図5は、当該合成処理の流れを説明するためのフローチャートを例示した図である。
以下、合成処理の入力として用いられる、露出量を異ならせて撮影された複数のHDR画像は、いずれもPQ方式でエンコードされたHDRPQ画像(以下、PQ画像として言及)であるものとして説明する。また、本実施形態の合成処理では入力のPQ画像は、適正露出の撮影で得られた適性PQ画像402、オーバー露出の撮影で得られたオーバーPQ画像401、及びアンダー露出の撮影で得られたアンダーPQ画像403の3種類であるものとする。オーバーPQ画像401、適性PQ画像402及びアンダーPQ画像403は、合成画像の合成用に、共通のシーンについて順次、露出設定を異ならせた撮影モードで撮影が行われることにより得られた画像であってよい。本実施形態では、露出設定を異ならせた撮影を、便宜上、撮影モードを異ならせた撮影であるものとして説明するが、本発明の実施はこれに限られるものではないことは理解されよう。
なお、本実施形態では、入力であるPQ画像の各々には、当該PQ画像の撮影時における撮像装置の露出設定を示す露出情報と、当該PQ画像のエンコードに用いられたOETF(Opt-Electronic Transfer Function:光電伝達関数)の情報とがメタデータとして付されているものとする。露出情報は、例えば撮像時に設定されていた絞り、シャッタ秒時、ISO感度の情報であってよい。OETFは、各露出設定について予め設定された、あるいはユーザ設定による出力画像の制作意図に基づいたOOTF(Opt-Optical Transfer Function:光光伝達関数)と、ITU-R BT.2100で定義されるリファレンスのEOTFの逆関数の積である。またさらに、各PQ画像には、特開2020-039118号公報に記載のMaxDRL(Maximum Dynamic Range Level)がメタデータとして付されているものとする。MaxDRLは、撮影された画像信号の現像及びエンコードにおいて、対応するOETFを適用した後のPQ信号出力値の最大値であり、各PQ画像で表現可能なダイナミックレンジのピーク輝度値(上限値)である。本実施形態ではピーク輝度値であるものとして説明するが、MaxDRLは、ピーク輝度値に対応するnit値を示す値であってもよい。MaxDRLは、HDR画像をよりダイナミックレンジの狭いHDRやSDRの信号にトーンマッピングする際等に、入力画像のダイナミックレンジを知るために使用される。入力である3種類のPQ画像は、本明細書ではそれぞれ異なるHEIFファイルで入力されるものであってもよいし、1つのHEIFファイルに格納されているものであってもよい。
S501で、記録装置104からオーバーPQ画像401、適性PQ画像402及びアンダーPQ画像403が読み出され、RAM103に展開される。本ステップの処理により、合成画像の合成対象となるPQ画像の入力がなされる。
S502で、3種類のPQ画像の露出合わせが行われる。ここではPQ画像という非線形な信号のままでは露出合わせの精度が低下し得るため、一旦PQ画像を線形化して露出合わせを行う。より具体的には、3種類のPQ画像の露出合わせは、PQデガンマモジュール404による線形化、露出合わせモジュール405による露出合わせ、及びPQガンマモジュール406による非線形化により実現される。
PQデガンマモジュール404による線形化は、各PQ画像に付された、エンコードに用いられたOETFの情報を参照し、その逆関数(デガンマ)を適用することで行われればよい。
また露出合わせモジュール405による露出合わせは、線形化された各画像について、露出段差に基づくゲインを適用することで行われる。本実施形態では、適性露出(適性PQ画像402の取得に用いられた露出)を基準に露出合わせが行われるものとし、線形化されたオーバー露出に係る画像とアンダー露出に係る画像についてゲインが適用され、それぞれ適正露出と同じ露出に補正される。例えば、適性PQ画像402が絞りF5.6、シャッタ秒時1/60、ISO感度200、アンダーPQ画像403が絞りF5.6、シャッタ秒時1/500、ISO感度200で撮影されている場合、露出段差は3段差である。このため、露出合わせモジュール405は、アンダーPQ画像403を線形化した画像を3段分ゲインアップすることで、適性PQ画像402と同じ露出に補正する。
またその後、PQガンマモジュール406は、露出を補正後の各画像に対して共通のOETFを適用することで、非線形化する。PQガンマモジュール406により適用されるOETFは、図6に示されるように、入力されたPQ画像について適用されたOETF(実線601)に比べて、広いダイナミックレンジに対応するOETF(一点鎖線603)である。図示されるように、PQガンマモジュール406が適用するOETFは、後の合成処理においてダイナミックレンジを拡張した合成画像を得るべく、より高い輝度604に対応するものであってよい。ここで、PQガンマモジュール406が適用するOETFは、例えばITU-R BT.2100で定義されるリファレンスのEOTFの逆関数のように予め固定に設けられるものであってもよい。あるいは、当該OETFは、アンダーPQ画像403’に応じて最大輝度(輝度604)が設定されるよう、適応的に変更されるものであってもよい。
S502の処理が行われることで、露出の揃ったオーバーPQ画像、適性PQ画像及びアンダーPQ画像が得られる。以下、便宜上、S502の処理後の各PQ画像を、オーバーPQ画像401’、適性PQ画像402’、アンダーPQ画像403’として言及する。ここで、オーバーPQ画像401’は暗部において適性PQ画像402’よりもノイズが少なく、アンダーPQ画像403’は明部において適性PQ画像402’よりも白飛びが少なく、階調を有する画像となっている。
S503で、ずれ補正モジュール407は、オーバーPQ画像401’と適性PQ画像402’との間、アンダーPQ画像403’と適性PQ画像402’との間の位置ずれを検出し、位置ずれが生じている場合にはそれを補正する処理を行う。位置ずれの検出及び補正は、公知のいずれかの手法が用いられてよい。例えば、ブロック分割してエッジ抽出し、ブロックごとに画素値の差の絶対値の総和(SAD:Sum of Absolute Difference)が最も小さくなる動きベクトルを導出する。そして当該動きベクトルに基づいて得られたアフィン係数を用いて、補正対象の画像をアフィン変換することで位置ずれ補正が行われてよい。適性PQ画像402’を基準に位置ずれの補正を行う場合、アフィン変換はそれ以外の画像、即ち、オーバーPQ画像401’及びアンダーPQ画像403’に対して行われればよい。なお、本実施形態では画像間の明るさの差分を小さくすることで検出精度が向上するため、S502の処理後に位置ずれ検出及び補正を行うものとして説明するが、これらに依存関係はないため、処理の順序を入れ替えてもよいことは理解されよう。
S504で、割合変更モジュール408は、各画像の合成割合(加重加算割合、加重加算係数)を決定する。本実施形態では各画像の加重加算割合は、図7(a)に示されるような基準Mixテーブル409を変更すること変更Mixテーブルを構成し、当該変更Mixテーブルを参照して決定される。図示されるように、基準Mixテーブル409は、特許文献1と同様に、輝度値に応じてオーバーPQ画像401’、適性PQ画像402’、アンダーPQ画像403’の加重加算割合が異なるよう分布する。基準Mixテーブル409は、PQ方式の表示輝度域(上限10000nitに対応)について、各画像の加重加算割合を示す、オーバー画像割合701(二点鎖線)、適性画像割合702(実線)及びアンダー画像割合703(一点鎖線)を含む。ここで、基準Mixテーブル409における各画像の加重加算割合は、輝度値のそれぞれにおいて合計が1(100%)になるように構成されている。従って、各輝度域は、オーバーPQ画像401’のみを使用する値域、オーバーPQ画像401’と適性PQ画像402’を合成する値域、適性PQ画像402’のみを使用する値域、適性PQ画像402’及びアンダーPQ画像403’を合成する値域、アンダーPQ画像403’のみを使用する値域に区分される。これらの値域の区分は、各画像について設定された、合成の傾向を切り替える基準点(輝度閾値)に基づいて定義される。
割合変更モジュール408は、例えばROM102または記録装置104から基準Mixテーブル409を読み出し、続いてオーバーPQ画像401、適性PQ画像402、アンダーPQ画像403の各々に付された露出情報及びMaxDRLを取得する。そして割合変更モジュール408は、基準Mixテーブル409中に設けられた所定の輝度閾値を、取得した露出情報及びMaxDRLに基づいて変更することで、後段の合成モジュール410の合成結果を好適にせしめる加重加算割合を示すテーブルを構成する。本実施形態では所定の輝度閾値として、オーバーPQ画像401’の加重加算割合が0%になる輝度閾値704と、適性PQ画像402’の加重加算割合が0%になる輝度閾値705が設けられ、変更の対象となる。
上述したように、オーバーPQ画像401’と適性PQ画像402’とを合成する輝度域、適性PQ画像402’とアンダーPQ画像403’とを合成する輝度域については、高い露出量で撮影された画像に適切な輝度値の信号として表れない可能性がある。つまり、一方の画像に該当の輝度域の表現がないにもかかわらず、当該画像に0%を上回る加重加算割合を適用する、あるいは、他方の画像に100%に満たない加重加算割合を適用することは、好適でない合成結果を生じさせる可能性がある。従って、本実施形態の割合変更モジュール408は、輝度閾値704及び輝度閾値705を、それぞれ対応する画像で表現可能な最大の表示輝度を超えない値とするように変更する。
ここで、本実施形態では適性PQ画像402を基準にオーバーPQ画像401及びアンダーPQ画像403の露出を調整しているため、適性PQ画像402’に係る最大の表示輝度は適性PQ画像402のMaxDRLである。一方、オーバーPQ画像401’に係る最大の表示輝度は、S502における露出調整によりオーバーPQ画像401のMaxDRLと異なっているため、割合変更モジュール408は以下の式で導出する。
即ち、割合変更モジュール408は、S502と同様に、オーバーPQ画像401のMaxDRLにEOTF(OETF-1)を適用して線形化し、オーバーPQ画像401と適性PQ画像402との露出段差に係るゲイン適用する。その後、割合変更モジュール408は、得られた値にOETFを適用して非線形化して、オーバーPQ画像401’に係る最大の表示輝度を導出する。
即ち、割合変更モジュール408は、S502と同様に、オーバーPQ画像401のMaxDRLにEOTF(OETF-1)を適用して線形化し、オーバーPQ画像401と適性PQ画像402との露出段差に係るゲイン適用する。その後、割合変更モジュール408は、得られた値にOETFを適用して非線形化して、オーバーPQ画像401’に係る最大の表示輝度を導出する。
従って、割合変更モジュール408は、このようにして得られたオーバーPQ画像401’及び適性PQ画像402’に係る最大の表示輝度に輝度閾値704及び輝度閾値705のそれぞれを変更し、図7(b)のような新たな変更Mixテーブルを得る。より詳しくは、割合変更モジュール408は、オーバー画像割合701を輝度閾値704が輝度閾値714(オーバーPQ画像401’に係る最大の表示輝度)となるように線形スケーリングすることで、変更後のオーバー画像割合711を得る。割合変更モジュール408は、適性画像割合702を輝度閾値705が輝度閾値715(適性PQ画像402’に係る最大の表示輝度)となるように線形スケーリングすることで、変更後の適性画像割合712を得る。また割合変更モジュール408は、アンダー画像割合703についても適性画像割合712と同様の比率で線形スケーリングすることで、変更後のアンダー画像割合713を得る。
なお、このとき、オーバー画像割合711と適性画像割合712とで適用されるスケーリングの比率が異なり得るため、オーバーPQ画像401’と適性PQ画像402’とを合成する輝度域については、オーバー画像割合711を基準に定められてよい。即ち、適性画像割合712における該輝度域は、輝度閾値714において適性PQ画像402’の加重加算割合が100%になるように変更されればよい。また当該輝度域は、オーバー画像割合711における加重加算割合の低下が始まる輝度値716において適性PQ画像402’の加重加算割合が0%から上昇が始まるように変更されればよい。即ち、いずれの輝度値においても、合成対象の画像の加重加算割合の合計が100%となるよう、特に高露出側の画像を基準に調整されて変更Mixテーブルが構成されればよい。
S505で、合成モジュール410は、S504において構成された変更Mixテーブルに基づいて、位置合わせ後のオーバーPQ画像401’、適性PQ画像402’及びアンダーPQ画像403’を用いて輝度別合成処理を行い、合成画像を生成する。即ち、合成モジュール410は、暗部領域(オーバー画像割合711が100%の輝度域)については位置合わせ後のオーバーPQ画像401’の同位置の画素値を格納する。また合成モジュール410は、中間調領域(適性画像割合712が100%の輝度域)については適性PQ画像402’の同位置の画素値を格納する。また合成モジュール410は、明部領域(アンダー画像割合713が100%の輝度域)についてはアンダーPQ画像403’の同位置の画素値を格納する。また合成モジュール410は、暗部~中間調の領域については、適性PQ画像402’及び位置合わせ後のオーバーPQ画像401’の同位置の画素値にそれぞれの加重加算係数をかけたものを加算することで、画素値を導出して格納する。また合成モジュール410は、中間調~明部の領域については、適性PQ画像402’及び位置合わせ後のアンダーPQ画像403’の同位置の画素値にそれぞれの加重加算係数をかけたものを加算することで、画素値を導出して格納する。これにより、画像間の切り替わりが生じる輝度域の表現が滑らかになった、暗部から明部まで好適な態様でシーンが表現された合成画像を得ることができる。
なお、生成された合成画像は、例えば新たなPQ画像としてHEIF形式の画像ファイルとして記録装置104に格納されてもよい。HEIF形式の画像ファイルは、図8(a)に示されるようなファイル構造を有する。即ち、HEIF形式のファイルは、ファイル形式を示すftypボックス801と、サムネイル画像811を含むメタデータを格納するmetaボックス802と、符号化データ(本画像812)を格納するmdatボックス803とで構成される。従って、合成モジュール410は、生成した合成画像をPQ方式にエンコードしたデータをmdatボックス803に格納し、合成画像のサムネイル画像及び合成画像に係るMaxDRLをmetaボックス802に格納し、ファイルを生成する。
ここで、合成画像に係るMaxDRLは、例えばアンダーPQ画像403’に係る最大の表示輝度であってよい。即ち、合成画像のダイナミックレンジの上限は主としてゲインアップして合成されたアンダーPQ画像403に基づいて定まるため、合成モジュール410は、以下の式により当該最大の表示輝度の情報を導出し、MaxDRLとして用いてもよい。
即ち、アンダーPQ画像403のMaxDRLに対して、エンコードに用いられたOETFの逆特性を適用して線形化した値に変換し、当該値をゲインアップして共通のOETFを適用して非線形化した値が、合成画像のMaxDRLとして格納される。
即ち、アンダーPQ画像403のMaxDRLに対して、エンコードに用いられたOETFの逆特性を適用して線形化した値に変換し、当該値をゲインアップして共通のOETFを適用して非線形化した値が、合成画像のMaxDRLとして格納される。
あるいは、MaxDRLは画像のMaxDRLベースで定められる必要はなく、例えば、入力されるPQ画像の取得に用いられた撮影モードについて、図9に示されるように予めMaxDRLの情報が格納され、該当の値を採用するものであってもよい。例えば、撮影モードが±3段の通常モードで撮影された3枚のPQ画像が入力される場合、合成モジュール410は、記録装置104に格納された情報(最大信号PQコード値)に基づいて、合成画像のMaxDRLを888(2906nit)と決定できる。これにより、出力される合成画像を、容易に利用可能な態様のファイルとすることができる。
[実施形態2]
上述した実施形態では、合成処理の対象となる入力のHDR画像がPQ画像である態様について説明したが、本発明の実施はこれに限られるものではない。即ち、入力画像は、SDR画像のように露出条件に依らず固定の値域を割り当てる方式とは異なる方式でシーン輝度が表現されるHDR画像であればよく、例えばPQ画像(10bit)よりも分解能が高いRAW画像(12~14bit)であってもよい。この場合、例えば図10に示されるようなモジュール構成で、露出量を異ならせた撮影で得られた複数のRAW画像を入力として合成処理を実現すればよい。ここで、入力のRAW画像は、適正露出の撮影で得られた適性RAW画像1002、オーバー露出の撮影で得られたオーバーRAW画像1001、及びアンダー露出の撮影で得られたアンダーRAW画像1003の3種類であるものとする。また図9では、実施形態1の合成処理に係るモジュール構成と共通の構成については同一の参照番号を付し、以下での詳細な説明を省略する。
上述した実施形態では、合成処理の対象となる入力のHDR画像がPQ画像である態様について説明したが、本発明の実施はこれに限られるものではない。即ち、入力画像は、SDR画像のように露出条件に依らず固定の値域を割り当てる方式とは異なる方式でシーン輝度が表現されるHDR画像であればよく、例えばPQ画像(10bit)よりも分解能が高いRAW画像(12~14bit)であってもよい。この場合、例えば図10に示されるようなモジュール構成で、露出量を異ならせた撮影で得られた複数のRAW画像を入力として合成処理を実現すればよい。ここで、入力のRAW画像は、適正露出の撮影で得られた適性RAW画像1002、オーバー露出の撮影で得られたオーバーRAW画像1001、及びアンダー露出の撮影で得られたアンダーRAW画像1003の3種類であるものとする。また図9では、実施形態1の合成処理に係るモジュール構成と共通の構成については同一の参照番号を付し、以下での詳細な説明を省略する。
本実施形態の合成処理は、入力された現像前の3種類のRAW画像に対し、現像処理モジュール1004によるPQ画像への変換(現像処理)を含む。現像処理モジュール1004により実行される現像処理は、図11に示される機能モジュールによる処理に細分される。具体的には、入力されたRAW画像に対し、ホワイトバランスモジュール1101が白を白くするホワイトバランス処理を実行し、白くあるべき領域のR、G、Bが同じ信号値になるようなゲインがR、G、Bの各々にかけられる。そして、ノイズ低減モジュール1102が、入力された画像に対して、被写体像に由来しないセンサ起因のノイズ等を低減するノイズ低減処理を行う。そして色補間モジュール1103が、入力された色モザイク画像に色補間処理を適用し、全ての画素においてR、G、Bの色情報が揃ったカラー画像を生成する。生成されたカラー画像に対して、マトリクス変換モジュール1104によるマトリクス変換処理、及びガンマ変換モジュール1105によるガンマ変換処理を経て基本的なカラー画像が生成される。ここで、ガンマ変換モジュール1105によるガンマ変換処理には、例えば各RAW画像に付された、撮影モードに対応するOETFが用いられる。その後、色調整モジュール1106により、例えば、彩度強調、色相補正、エッジ強調等の画像の見栄えを改善するための画像補正処理がカラー画像に対して適用されて、PQ画像が出力される。
このように、線形なRAW画像が入力される態様であっても、一旦、OETFを適用してPQ画像に変換することで、実施形態1の合成処理に係る機能モジュールを用いて同様に好適な合成画像を生成することができる。
なお、本実施形態では実施形態1の合成処理と併用可能なよう、実施形態1の合成処理に係る機能モジュールを流用する態様について説明したが、本発明の実施がこれに限られるものではないことは容易に理解されよう。即ち、合成割合の決定に係る各画像の輝度域の情報は、線形化された画像を露出合わせして行われるものであるため、現像処理モジュール1004による現像処理及びPQデガンマモジュール404による線形化処理は行われなくてもよい。
[変形例1]
上述した実施形態では、合成処理の入力であるHDR画像について、現像・エンコードに使用された/使用するOETFが取得可能である態様について説明した。一方で、OETFの情報(あるいはその逆特性に対応するEOTFの情報)をメタデータとして画像ファイルに含めることはファイルサイズを増大させる要因になり得るため、当該情報が含まれないこともある。この場合、PQデガンマモジュール404による線形化に用いられるOETFの逆関数は、精度は低下し得るが、ITU-R BT.2100で定義されているリファレンスのEOTFを使用してもよい。またこのとき、PQガンマモジュール406による非線形化には、リファレンスのEOTFの逆関数が用いられてもよい。
上述した実施形態では、合成処理の入力であるHDR画像について、現像・エンコードに使用された/使用するOETFが取得可能である態様について説明した。一方で、OETFの情報(あるいはその逆特性に対応するEOTFの情報)をメタデータとして画像ファイルに含めることはファイルサイズを増大させる要因になり得るため、当該情報が含まれないこともある。この場合、PQデガンマモジュール404による線形化に用いられるOETFの逆関数は、精度は低下し得るが、ITU-R BT.2100で定義されているリファレンスのEOTFを使用してもよい。またこのとき、PQガンマモジュール406による非線形化には、リファレンスのEOTFの逆関数が用いられてもよい。
[変形例2]
また上述した実施形態及び変形例では、合成処理の入力であるHDR画像が、露出量を異ならせた撮影により得られ、ダイナミックレンジのピーク輝度値の大小関係が合成処理に適合した態様に分布しているものとして説明した。即ち、露出合わせしたHDR画像のMaxDRLに基づいて基準Mixテーブル409のスケーリングを行うことで、入力画像を好適に合成可能な加重加算割合が導出されるものとして説明した。
また上述した実施形態及び変形例では、合成処理の入力であるHDR画像が、露出量を異ならせた撮影により得られ、ダイナミックレンジのピーク輝度値の大小関係が合成処理に適合した態様に分布しているものとして説明した。即ち、露出合わせしたHDR画像のMaxDRLに基づいて基準Mixテーブル409のスケーリングを行うことで、入力画像を好適に合成可能な加重加算割合が導出されるものとして説明した。
しかしながら、例えば入力されるHDR画像が、撮影後に適用されたレタッチにより輝度変換特性が変更されている(MaxDRLが変わる)場合では、2種類の画像を合成する輝度域が抑圧され、画像間の切り替えを滑らかに表現できない可能性がある。即ち、切り替わりに割り当てられる輝度域が狭小であれば、当該輝度域における加重加算割合の変化が急峻となり、生成された合成画像において不自然な表現(以下、切り替わり段差として言及)を生じさせる可能性がある。
また、例えば変形例1のように入力のHDR画像についてOETFが取得できない場合や、輝度変換特性を異ならせる(線形化に必要となるEOTFが変化する)ようなレタッチが適用された場合では、線形化や露出合わせが不十分になり得る。即ち、各HDR画像の飽和輝度近辺の被写体について適切な輝度を割り当てることができないため、合成画像において色曲がり等が発生する可能性がある。
本変形例では、合成画像におけるこのような切り替わり段差や色曲がりの発生を防止すべく、各HDR画像の加重加算割合の決定に係る変更Mixテーブルの生成方法について、図を参照して説明する。即ち、本変形例では、入力のHDR画像のMaxDRLだけでなく、さらにその組み合わせに応じて各画像の加重加算割合を好適に設定可能ならしめる態様を説明する。
本実施形態では、上述した実施形態とは異なり、入力画像の参照画素のR、G、Bのいずれかの色信号の最大値であるMax(R,G,B)について、図12に示されているような基準Mixテーブルが設けられているものとする。図12の基準Mixテーブルは、図7(a)に示した基準Mixテーブル409と同様に、二点鎖線1201がオーバーHDR画像、実線1202が適性HDR画像、一点鎖線1203がアンダーHDR画像についての加重加算割合を示している。図7(a)に示した基準Mixテーブル409と異なる点は、図12の基準Mixテーブルが輝度値ではなくR、G、Bのうちの最大の信号値(Max(R,G,B))について規定されている点である。以下では、説明を簡易にすべく、オーバーHDR画像の加重加算割合が100%から減少しはじめ、適性HDR画像の加重加算割合が0%から増加しはじめる信号閾値1206、またはこれに対応する閾値を、Over1Endとして言及することがある。またオーバーHDR画像の加重加算割合が0%に至り、適性HDR画像の加重加算割合が100%に至る信号閾値1204、またはこれに対応する閾値を、Suit1Startとして言及することがある。また、適性HDR画像の加重加算割合が100%から減少しはじめ、アンダーHDR画像の加重加算割合が0%から増加しはじめる信号閾値1207、またはこれに対応する閾値を、Suit1Endとして言及することがある。また適性HDR画像の加重加算割合が0%に至り、アンダーHDR画像の加重加算割合が100%に至る信号閾値1205、またはこれに対応する閾値を、Under1Startとして言及することがある。本変形例の割合変更モジュール408は、これら指定した信号閾値1204~1207を調整することで、合成モジュール410における合成処理用の変更Mixテーブルを構成する。
《変更Mixテーブル構成の概要》
ここで、本変形例における、基準Mixテーブルを用いた各HDR画像の加重加算割合を定める変更Mixテーブルの構成について、概要を説明する。
ここで、本変形例における、基準Mixテーブルを用いた各HDR画像の加重加算割合を定める変更Mixテーブルの構成について、概要を説明する。
上述したような色曲がりの発生は、図6に示したように、主として飽和輝度値近辺における非線形の変換(出力カーブの寝かせ具合の変化)により生じる。故に、現像時に適用された変換特性またはレタッチを加味した変換特性を取得できない場合、入力のHDR画像の輝度値の線形化を正確に行うことができず、該当の値域の合成において画像間の整合性が担保されない。一方で、飽和輝度値近辺を除外すれば線形的な変換がなされている可能性が高い。このため、本変形例の割合変更モジュール408は、非線形な変換がなされる可能性がある段数(合成回避段数)を定数として定め、オーバーHDR画像と適性HDR画像について当該合成回避段数を加味して最大の表示輝度値(換算MaxDRL)を導出する。より詳しくは、割合変更モジュール408は、入力画像のMaxDRLに例えばリファレンスのEOTFを適用して線形化した値から、合成回避段数の値分だけ減少させることで換算MaxDRLを導出し、これに基づいて基準Mixテーブルの変更を行う。
また上述したような切り替わり段差の発生は、信号閾値1206~信号閾値1204で規定される信号域と、信号閾値1207~信号閾値1205で規定される信号域が抑圧されることで生じ得る。特に、本変形例のように、飽和輝度近辺の輝度域を除外するように設定された換算MaxDRLを用いて基準Mixテーブルの変更を行う場合、信号域の抑圧が発生する。アンダーHDR画像については飽和する信号値まで余裕があるため、本変形例では割合変更モジュール408は、適性HDR画像の換算MaxDRLに対応する信号値に基づいてオーバーHDR画像及び適性HDR画像の加重加算割合の割り当てを行う。故に、信号値0から適性HDR画像の換算MaxDRLに対応する信号値までの値域には、以下の2種類の値域が含まれることになる。一方は、オーバーHDR画像の加重加算割合が100%の値域及び0%~100%の値域(以下、オーバー使用域として言及)である。他方は、適性HDR画像の加重加算割合が100%の値域及び0%~100%の値域(以下、適性使用域として言及)である。本変形例では、オーバー使用域及び適性使用域について、滑らかな合成を行うために確保すべき信号域の幅について閾値Wを設け、少なくとも適性使用域が閾値W分の値域幅となるよう各信号閾値を調整することで、変更Mixテーブルが構成される。
割合変更モジュール408で行われる処理としては、まずオーバーHDR画像と適性HDR画像とについて、換算MaxDRLを以下の式により導出する。
具体的には、各画像のMaxDRLに例えばリファレンスのEOTFを適用して線形化した値について、適性露出との差及び合成回避段数に応じたゲインダウンを行って共通のOETFを適用して非線形化することで、各画像の換算MaxDRLが導出される。即ち、入力画像の現像時に使用されOETFの逆特性と線形化に適用されるEOTFとの特性の違いにより発生する不整合を回避すべく、割合変更モジュール408は、合成回避段数分ゲインダウンさせることで、飽和輝度近辺を除外した換算MaxDRLを得る。
具体的には、各画像のMaxDRLに例えばリファレンスのEOTFを適用して線形化した値について、適性露出との差及び合成回避段数に応じたゲインダウンを行って共通のOETFを適用して非線形化することで、各画像の換算MaxDRLが導出される。即ち、入力画像の現像時に使用されOETFの逆特性と線形化に適用されるEOTFとの特性の違いにより発生する不整合を回避すべく、割合変更モジュール408は、合成回避段数分ゲインダウンさせることで、飽和輝度近辺を除外した換算MaxDRLを得る。
そして割合変更モジュール408は、基準Mixテーブルの各信号閾値を、オーバーHDR画像と適性HDR画像のそれぞれについて得られた換算MaxDRLに基づいてスケーリングし、変更Mixテーブル用の各信号閾値を導出する。より詳しくは、割合変更モジュール408は、基準Mixテーブルの信号値0~信号閾値1204の値域を正規化し、これにオーバーHDR画像の換算MaxDRLに対応する信号値を乗算する。これにより、オーバーHDR画像について、換算MaxDRLに基づいたOver1End(信号閾値1206に対応)及びSuit1Start(信号閾値1204に対応)が得られる。また割合変更モジュール408は、基準Mixテーブルの信号値0~信号閾値1205の値域を正規化し、これに適性HDR画像の換算MaxDRLに対応する信号値を乗算する。これにより、適性HDR画像について、換算MaxDRLに基づいたSuit1End(信号閾値1207に対応)及びUnder1Start(信号閾値1205に対応)が得られる。
このように各画像の換算MaxDRLに基づいて得られた4種類の信号閾値(Over1End、Suit1Start、Suit1End及びUnder1Start)は、オーバー使用域及び適性使用域が閾値W分の値域幅を有するのであれば調整する必要はない。即ち、当該4種類の信号閾値に基づいて変更Mixテーブルが構成されても、切り替わり段差の発生を回避した合成画像を得ることができる。一方で、各使用域について値域幅の条件が満たされないのであれば、切り替わり段差が発生し得るため、割合変更モジュール408は当該4種類の信号閾値を用いて、例えば以下のように調整が必要であるか否かの判断及び調整を行う。
極端な例として、Suit1StartとUnder1Startとが同一であった場合を考える。この場合、割合変更モジュール408が単純に変更Mixテーブルを構成すると、図13(a)のようになる。当該変更Mixテーブルによると、特に適性HDR画像とアンダーHDR画像を合成する値域(Suit1End~Under1Start)が十分に確保されず、切り替わり段差が発生し得る。本変形例の割合変更モジュール408は、このような状況を回避すべく、図13(b)に示される通り、適性使用域が閾値W分の値域幅を有するようにSuit1Startを調整する。即ち、Suit1Startを適性HDR画像の換算MaxDRLに対応する信号値(Under1Start)から閾値W減算した値に変更することで適性使用域が確保される。結果、適性HDR画像とアンダーHDR画像を合成する値域が確保され、切り替わり段差の発生が回避される。
一方で、適性使用域を優先して確保することで、オーバー使用域が抑圧されることも考えられる。図13(a)の態様においてUnder1Startが閾値Wの2倍を上回る場合には、図13(b)のような調整を行っても適性使用域とオーバー使用域とについて、閾値Wの値域を確保できる。しかしながら、図14(a)に示されるようにUnder1Startが閾値Wの2倍以下の場合には、適性使用域について閾値Wの値域を確保することでオーバー使用域が抑圧され得る(図14(b))。より詳しくは、Under1Startが閾値Wの2倍以下、かつ、Suit1StartがUnder1Startの1/2以上である場合には、適性使用域が閾値Wの幅を有するよう調整することで、オーバー使用域が抑圧される。結果、オーバーHDR画像と適性HDR画像を合成する値域が確保されず、切り替わり段差が発生し得る。従って、このような場合に割合変更モジュール408は、オーバー使用域及び適性使用域における切り替わり段差の発生を可能な限り回避すべく、図14(c)に示されるように、例えば信号値0~Under1Startの値域を均等に分割するよう調整を行う。具体的には割合変更モジュール408は、Suit1StartをUnder1Startの1/2の値に調整する。
換言すれば、本変形例の割合変更モジュール408は、オーバーHDR画像及び適性HDR画像の換算MaxDRLに基づいた4種類の信号閾値を導出した後、以下のようにして変更Mixテーブルを構成する。
(1)Under1Start>閾値W×2、かつ、Under1Start-Suit1Start<閾値Wであれば、適性使用域が閾値WとなるようにSuit1Startを調整(図13(b))して変更Mixテーブルを構成
(2)Under1Start≦閾値W×2、かつ、Suit1Start≧Under1Start×1/2であれば、オーバー使用域と適性使用域が均等幅になるよう各信号閾値を調整(図14(c))して変更Mixテーブルを構成
(3)それ以外であれば、各信号値域を調整せずに変更Mixテーブルを構成
なお、変更Mixテーブルの構成に際して、割合変更モジュール408は、基準Mixテーブルにおける各信号閾値の相対関係が維持されるよう、Over1End及びSuit1Endを調整するものとする。このようにすることで、同一のHDR画像の組み合わせの合成が行われる信号域のそれぞれについて、閾値Wの幅または均等な幅を確保した変更Mixテーブルを構成することができる。
(1)Under1Start>閾値W×2、かつ、Under1Start-Suit1Start<閾値Wであれば、適性使用域が閾値WとなるようにSuit1Startを調整(図13(b))して変更Mixテーブルを構成
(2)Under1Start≦閾値W×2、かつ、Suit1Start≧Under1Start×1/2であれば、オーバー使用域と適性使用域が均等幅になるよう各信号閾値を調整(図14(c))して変更Mixテーブルを構成
(3)それ以外であれば、各信号値域を調整せずに変更Mixテーブルを構成
なお、変更Mixテーブルの構成に際して、割合変更モジュール408は、基準Mixテーブルにおける各信号閾値の相対関係が維持されるよう、Over1End及びSuit1Endを調整するものとする。このようにすることで、同一のHDR画像の組み合わせの合成が行われる信号域のそれぞれについて、閾値Wの幅または均等な幅を確保した変更Mixテーブルを構成することができる。
このように構成された変更Mixテーブルに係る加重加算割合を使用することで、合成モジュール410において、切り替わり段差や色曲がりの発生を低減させた合成画像を生成できる。なお、本変形例では各使用域について閾値Wを設けて信号閾値の調整及び変更Mixテーブルの構成を行うものとして説明したが、本発明の実施はこれに限られるものではない。例えば、HDR画像の合成を行う信号域について加重加算割合の変化が線形的に定められる場合、当該線形関数の傾き(加重加算割合の変化率)について閾値を設け、調整及び変更Mixテーブルの構成を行ってもよい。
以上の実施形態及び変形例で説明したように、本発明に係る画像処理装置によれば、HDR画像に基づく、さらにダイナミックレンジを拡張した合成画像の生成について好適な合成割合を決定することができる。
なお、本明細書では合成処理の入力が、露出量を異ならせて撮影された3種類のHDR画像であるものとして説明したが、本発明の実施がこれに限られるものではなく、任意の複数のHDR画像の合成処理に適用可能であることは言うまでもない。また合成画像の生成において、1つの信号域について合成されるHDR画像の最大数は2種類に限定されるものではなく、加重加算割合の総和が100%に収まれば2以上であってもよい。
また、本明細書では基準Mixテーブルを変更して変更Mixテーブルを構成することで、各HDR画像の加重加算割合を取得可能にせしめる態様について説明したが、本発明の実施はこれに限られるものではない。即ち、本発明の実施に際し、各HDR画像の加重加算割合はテーブルの態様で定義されるものである必要はなく、都度演算を行って加重加算割合を導出する関数等で定義されるものであってもよい。
また本明細書では、PQ方式のHDR画像を合成して合成画像を生成するため、PQガンマモジュール406において、同方式に係る共通のガンマを適用して非線形化するものとして説明した。しかしながら、加重加算割合の決定に際して当該非線形化が必須ではないことは理解されよう。即ち、各HDR画像の加重加算割合は、合成処理において合成されるHDR画像の形式、あるいは生成する合成画像の形式に応じて定められるものであればよい。
また、合成処理を行って出力される合成画像のファイル形式は、少なくとも当該合成画像に係るダイナミックレンジの上限値を共に格納可能であればよく、例えば図8(b)のようなMP4形式を採用してもよい。この場合、mdatボックス821中のmetaデータ822に上限値が格納されればよい。
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
100:画像処理装置、101:CPU、102:ROM、103:RAM、104:記録装置、404:PQデガンマモジュール、405:露出合わせモジュール、406:PQガンマモジュール、408:割合変更モジュール、410:合成モジュール
Claims (21)
- 異なる露出量で撮影された複数のHDR(High Dynamic Range)画像のそれぞれについて、撮影の露出情報、及び画像に表現されるダイナミックレンジの上限値を取得する取得手段と、
前記複数のHDR画像を合成してさらにダイナミックレンジを拡張した合成画像を生成する合成処理について、前記取得手段により取得された前記露出情報及び前記ダイナミックレンジの上限値に基づいて、前記合成画像の信号域ごとの各HDR画像の合成割合を決定する決定手段と、
を有することを特徴とする画像処理装置。 - 前記決定手段は、各HDR画像に係る前記ダイナミックレンジの上限値を前記露出情報に基づいて補正し、前記複数のHDR画像に係る前記補正後のダイナミックレンジの上限値に基づいて前記合成割合を決定することを特徴とする請求項1に記載の画像処理装置。
- 前記補正は、ゲインを調整することで、前記複数のHDR画像のいずれかのHDR画像の露出量に他のHDR画像の露出量を合わせる処理であることを特徴とする請求項2に記載の画像処理装置。
- 前記決定手段は、各HDR画像に係る前記補正後のダイナミックレンジの上限値を超える信号域について当該HDR画像を合成しないよう、前記合成割合を決定することを特徴とする請求項2または3に記載の画像処理装置。
- 前記合成画像の信号域について、各HDR画像の合成割合の傾向を切り替える基準の信号閾値を定義した基準Mixテーブルを取得する手段をさらに有し、
前記決定手段は、前記複数のHDR画像に係る前記補正後のダイナミックレンジの上限値に基づいて前記基準Mixテーブルの前記信号閾値を変更して変更Mixテーブルを構成し、当該変更Mixテーブルに基づいて前記合成割合を決定する
ことを特徴とする請求項2乃至4のいずれか1項に記載の画像処理装置。 - 前記決定手段は、前記複数のHDR画像に係る前記補正後のダイナミックレンジの上限値に基づいて前記基準Mixテーブルの前記信号閾値を変更した際に、同一の2以上のHDR画像が合成される信号域のそれぞれについて所定の幅を確保するように、前記信号閾値を調整して前記変更Mixテーブルを構成することを特徴とする請求項5に記載の画像処理装置。
- 前記決定手段は、前記複数のHDR画像に係る前記補正後のダイナミックレンジの上限値に基づいて前記基準Mixテーブルの前記信号閾値を変更した際に、同一の2以上のHDR画像が合成される信号域のそれぞれについて所定の合成割合の変化率を確保するように、前記信号閾値を調整して前記変更Mixテーブルを構成することを特徴とする請求項5に記載の画像処理装置。
- 前記複数のHDR画像のそれぞれは、ガンマが適用されて信号値が非線形化された画像であり、
前記決定手段は、各HDR画像に係る前記ダイナミックレンジの上限値にデガンマを適用して線形化した後に前記補正を行う
ことを特徴とする請求項2乃至7のいずれか1項に記載の画像処理装置。 - 前記決定手段は、各HDR画像に係る前記非線形化に適用されたガンマの逆関数を前記デガンマとして適用することで、当該HDR画像に係る前記ダイナミックレンジの上限値を線形化する
ことを特徴とする請求項8に記載の画像処理装置。 - 前記決定手段は、共通のデガンマを適用することで前記複数のHDR画像に係る前記ダイナミックレンジの上限値を線形化することを特徴とする請求項8に記載の画像処理装置。
- 前記決定手段は、各HDR画像に係る前記補正後のダイナミックレンジの上限値から所定の値分だけ減少させた値を、当該HDR画像に係る新たな前記ダイナミックレンジの上限値として設定し、当該新たなダイナミックレンジの上限値に基づいて前記合成割合を決定することを特徴とする請求項10に記載の画像処理装置。
- 前記複数のHDR画像は、ITU-R BT.2100で規格化されたPQ(Perceptual Quantization)方式でエンコードされた画像であり、露出量に応じたOETF(Opt-Electronic Transfer Function:光電伝達関数)が適用されて信号値が非線形化された画像であることを特徴とする請求項8乃至11のいずれか1項に記載の画像処理装置。
- 前記合成画像は、PQ方式でエンコードされた画像であり、
前記決定手段は、各HDR画像に係る前記補正後のダイナミックレンジの上限値にPQ方式のOETFを適用して得られた値に基づいて、前記合成割合を決定する
ことを特徴とする請求項12に記載の画像処理装置。 - 前記決定手段により前記合成割合が決定される信号域は、輝度域であることを特徴とする請求項1乃至13のいずれか1項に記載の画像処理装置。
- 前記決定手段により前記合成割合が決定される信号域は、いずれかの色信号の信号域であることを特徴とする請求項1乃至13のいずれか1項に記載の画像処理装置。
- 前記決定手段により決定された前記合成割合に基づいて前記合成処理を実行し、前記合成画像を生成する合成手段と、
前記合成手段により生成された前記合成画像を画像ファイルとして出力する出力手段と、
をさらに有し、
前記出力手段は、前記合成画像に係る前記さらに拡張されたダイナミックレンジの上限値の情報を前記画像ファイルに含めて出力する
ことを特徴とする請求項1乃至15のいずれか1項に記載の画像処理装置。 - 前記さらに拡張されたダイナミックレンジの上限値は、前記複数のHDR画像のうちの最も高露出で撮影されたHDR画像に係る前記ダイナミックレンジの上限値及び前記露出情報に基づいて決定されることを特徴とする請求項16に記載の画像処理装置。
- 前記露出情報は、絞り、秒時、ISO感度であることを特徴とする請求項1乃至17のいずれか1項に記載の画像処理装置。
- 請求項1乃至18のいずれか1項に記載の画像処理装置と、
露出量を異ならせて前記複数のHDR画像を撮影する撮像手段と、
を有することを特徴とする撮像装置。 - 異なる露出量で撮影された複数のHDR(High Dynamic Range)画像のそれぞれについて、撮影の露出情報、及び画像に表現されるダイナミックレンジの上限値を取得する取得工程と、
前記複数のHDR画像を合成してさらにダイナミックレンジを拡張した合成画像を生成する合成処理について、前記取得工程において取得された前記露出情報及び前記ダイナミックレンジの上限値に基づいて、前記合成画像の信号域ごとの各HDR画像の合成割合を決定する決定工程と、
を有することを特徴とする画像処理装置の制御方法。 - コンピュータを、請求項1乃至18のいずれか1項に記載の画像処理装置の各手段として機能させるプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021148905A JP2023041497A (ja) | 2021-09-13 | 2021-09-13 | 画像処理装置、撮像装置、制御方法、及びプログラム |
EP22191631.5A EP4148661A1 (en) | 2021-09-13 | 2022-08-23 | Image processing apparatus, image capturing apparatus, control method, and program |
US17/940,076 US20230077931A1 (en) | 2021-09-13 | 2022-09-08 | Image processing apparatus, image capturing apparatus, control method, and storage medium |
CN202211110005.0A CN115811666A (zh) | 2021-09-13 | 2022-09-13 | 图像处理设备、摄像设备、控制方法和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021148905A JP2023041497A (ja) | 2021-09-13 | 2021-09-13 | 画像処理装置、撮像装置、制御方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023041497A true JP2023041497A (ja) | 2023-03-24 |
JP2023041497A5 JP2023041497A5 (ja) | 2023-09-01 |
Family
ID=83050037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021148905A Pending JP2023041497A (ja) | 2021-09-13 | 2021-09-13 | 画像処理装置、撮像装置、制御方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230077931A1 (ja) |
EP (1) | EP4148661A1 (ja) |
JP (1) | JP2023041497A (ja) |
CN (1) | CN115811666A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116962890B (zh) * | 2023-09-21 | 2024-01-09 | 卡奥斯工业智能研究院(青岛)有限公司 | 点云图像的处理方法、装置、设备和存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2538661B1 (en) * | 2011-06-23 | 2014-07-16 | JVC KENWOOD Corporation | Image processing apparatus and image processing method |
JP6046966B2 (ja) | 2012-04-19 | 2016-12-21 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 |
US9787909B1 (en) * | 2016-03-31 | 2017-10-10 | Stmicroelectronics (Research & Development) Limited | Controlling signal-to-noise ratio in high dynamic range automatic exposure control imaging |
JP7157714B2 (ja) | 2018-09-03 | 2022-10-20 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
EP3917138A1 (en) * | 2020-05-29 | 2021-12-01 | Canon Kabushiki Kaisha | Encoding apparatus and method, image capture apparatus, and storage medium |
-
2021
- 2021-09-13 JP JP2021148905A patent/JP2023041497A/ja active Pending
-
2022
- 2022-08-23 EP EP22191631.5A patent/EP4148661A1/en active Pending
- 2022-09-08 US US17/940,076 patent/US20230077931A1/en active Pending
- 2022-09-13 CN CN202211110005.0A patent/CN115811666A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN115811666A (zh) | 2023-03-17 |
EP4148661A1 (en) | 2023-03-15 |
US20230077931A1 (en) | 2023-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10412296B2 (en) | Camera using preview image to select exposure | |
US7023580B2 (en) | System and method for digital image tone mapping using an adaptive sigmoidal function based on perceptual preference guidelines | |
JP5761946B2 (ja) | 画像処理装置、画像処理方法及び記憶媒体 | |
JP3668014B2 (ja) | 画像処理方法及び装置 | |
JP4803284B2 (ja) | 画像処理装置、及び画像処理プログラム | |
KR101051604B1 (ko) | 화상 처리 장치 및 방법 | |
JP5665436B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5672796B2 (ja) | 画像処理装置、画像処理方法 | |
JPWO2009072537A1 (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
US8665348B2 (en) | Image processing apparatus and method using forward and inverse local adaptation processing and dynamic range processing | |
KR20120005966A (ko) | 화상 처리 장치, 화상 처리 방법, 및 프로그램 프로덕트 | |
US7613338B2 (en) | Image processing method and apparatus, program, and storage medium | |
JP2004221644A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP2005039460A (ja) | 画像処理方法および装置 | |
JP6611543B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2018182376A (ja) | 画像処理装置 | |
JP2023041497A (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP7296745B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2002223355A (ja) | 画像処理装置および画像処理プログラムを記録した記録媒体 | |
JP7446827B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2012044560A (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
JP2006203571A (ja) | 撮像装置、画像処理装置及び画像記録装置 | |
JP5582966B2 (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
JP6021885B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2023130222A (ja) | 画像処理装置、制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230824 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230824 |