JP2016541185A - Hdriの生成方法及び装置 - Google Patents

Hdriの生成方法及び装置 Download PDF

Info

Publication number
JP2016541185A
JP2016541185A JP2016535094A JP2016535094A JP2016541185A JP 2016541185 A JP2016541185 A JP 2016541185A JP 2016535094 A JP2016535094 A JP 2016535094A JP 2016535094 A JP2016535094 A JP 2016535094A JP 2016541185 A JP2016541185 A JP 2016541185A
Authority
JP
Japan
Prior art keywords
illuminance
layer
images
hdri
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016535094A
Other languages
English (en)
Other versions
JP6121059B2 (ja
Inventor
ジアン、カイガオ
カオ、ジシェン
ワン、ミンギュ
リアン、タイウェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of JP2016541185A publication Critical patent/JP2016541185A/ja
Application granted granted Critical
Publication of JP6121059B2 publication Critical patent/JP6121059B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/02Diagnosis, testing or measuring for television systems or their details for colour television signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/82Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
    • H04N23/83Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction specially adapted for colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/86Camera processing pipelines; Components thereof for processing colour signals for controlling the colour saturation of colour signals, e.g. automatic chroma control circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本発明の実施例の提供する方法及び装置は、第一照度図を取得した後に、第一照度図に基づいて第二照度図を生成し、第二照度図はダイナミックレンジが圧縮された基本層と細部層とで合成され、基本層および前記細部層は前記第一照度図から抽出され、さらに前記第二照度図をプリセットの色彩チャネル上にマッピングし、且つ前記色彩チャネル上の画像をHDRIに合成し、以上から分かるように、HDRIの生成過程において、照度図の基本層のダイナミックレンジだけを圧縮し、細部層を圧縮せず、従って、元照度図の細部情報を最大限に維持することができ、それによりHDRIの生成過程において細部の欠損問題を回避する。

Description

本発明は、画像処理の分野に関し、特にHDRIの生成方法及び装置に関する。
高ダイナミックレンジ画像(High Dynamic Range Image,HDRI)はより広いダイナミックレンジを有し、既存の通常のディスプレイで表示できるダイナミックレンジはHDRIのダイナミックレンジより遥かに小さい。それによって、HDRIを通常のディスプレイでも表示できるように、HDRIを生成する場合に、HDRIのダイナミックレンジを圧縮する必要がある。
既存のHDRI生成方法では、HDRIにおいての細部欠損を引き起こしかねない。
上記の事情に鑑み、本発明の実施例はHDRIの生成方法及び装置を提供し、既存のHDRI生成方法でHDRIにおける細部の欠損問題を解決することを目的とする。
上記目的を実現するために、本発明の実施例は以下の技術的解決手段を提供する。
本発明の第一の態様は、HDRIの生成方法であって、
第一照度図を取得するステップと、
第一照度図に基づいて第二照度図を生成するステップと、
第二照度図をプリセットの色彩チャネルにマッピングすること、色彩チャネル上の画像をHDRIに合成するステップと、
を含み、
前記第二照度図は、ダイナミックレンジが圧縮された基本層と細部層とで合成され、前記基本層および前記細部層は、前記第一照度図から抽出されるHDRIの生成方法を提供する。
本発明の第一の態様における第一の実施形態では、前記第一照度図を取得するステップは、
画像I1、I2、・・・・・・INに基づいてカメラ応答関数校正方程式を生成するステップと、
前記画像I1、I2、・・・・・・INから選択されたサンプリング画素に基づいて、QR分解アルゴリズムを利用し前記カメラ応答関数校正方程式を解き、カメラ応答関数および照度対数を取得するステップと、
カメラ応答関数および照度対数に基づいて、前記第一照度図を取得するステップと、
を含み、
前記画像I1、I2、・・・・・・INは、異なる露出条件を有し、ここで、前記Nは画像の数であり、且つNは2以上の整数である。
本発明の第一の態様における第二の実施形態では、前記画像I1、I2、・・・・・・INに基づいてカメラ応答関数の指定連立方程式を生成するステップは、
画像I1、I2、・・・・・・INを取得するステップと、
前記画像I1、I2、・・・・・・INを既知のパラメータとし、最小二乗法を利用してプリセットの目標関数を解き、カメラ応答関数の指定連立方程式を取得するステップと、
を含む。
本発明の第一の態様における第三の実施形態では、前記プリセットの目標関数は以下を含む。
Figure 2016541185
式中、Mは既知パラメータにおける各画像の画素点数であり、g(zi,j)=InE+InΔtであり、Eはシーン照度であり、Δtは現在画像Zi,jの露出時間であり、Zi,jは現在画像の画素値であり、λは制御パラメータであり、ω(Zi,j)は現在画像Zi,jの重み関数であり、Zminは現在画像の画素最小値であり、Zmaxは現在画像の画素最大値である。
本発明の第一の態様における第四の実施形態では、前記色彩チャネル上の画像をHDRIに合成する前に、各色彩チャネル上の画像をそれぞれガンマ補正するステップをさらに含み、
前記各色彩チャネル上の画像をHDRIに合成するステップは、各色彩チャネル上のガンマ補正された画像をHDRIに合成するステップを含む。
本発明の第一の態様における第五の実施形態では、前記第一照度図に基づいて第二照度図を生成するステップは、
第一照度図の基本層および細部層を抽出するステップと、
前記基本層のダイナミックレンジをプリセットレンジに圧縮するステップと、
ダイナミックレンジが圧縮された基本層と細部層とを第二照度図に合成するステップと、
を含む。
本発明の第一の態様における第六の実施形態では、前記第一照度図の基本層および細部層を抽出するステップは、リフティングウェーブレット変換アルゴリズムを利用して、第一照度図の基本層および細部層を抽出するステップを含み、
前記ダイナミックレンジが圧縮された基本層と前記細部層とを第二照度図に合成するステップは、リフティングウェーブレット逆変換アルゴリズムを利用して、前記ダイナミックレンジが圧縮された基本層と前記細部層とを第二照度図に合成するステップを含む。
本発明の第二の態様はHDRIの生成装置であって、
第一照度図を取得するための取得モジュールと、
前記第一照度図に基づいて第二照度図を生成するための生成モジュールと、
第二照度図をプリセットの色彩チャネル上にマッピングするためのマッピングモジュールと、
色彩チャネル上の画像をHDRIに合成するための合成モジュールと、
を含み、
第二照度図は、ダイナミックレンジが圧縮された基本層と細部層とで合成され、基本層および前記細部層は第一照度図から抽出されるHDRIの生成装置を提供する。
本発明の第二の態様における第一の実施形態では、前記取得モジュールは具体的には、
画像I1、I2、・・・・・・INに基づいてカメラ応答関数の指定連立方程式を生成するための方程式生成ユニットと、
前記画像I1、I2、・・・・・・INから選択されたサンプリング画素に基づいて、QR分解アルゴリズムを利用して前記カメラ応答関数の指定連立方程式を解き、カメラ応答関数および照度対数を取得するための求解ユニットと、
前記カメラ応答関数および照度対数に基づいて、前記第一照度図を取得するための取得ユニットと、
を含み、
画像I1、I2、・・・・・・INは異なる露出条件を有し、ここで、Nは画像の数であり、且つNは2以上の整数である。
本発明の第二の態様における第二の実施形態では、前記方程式生成ユニットは、前記画像I1、I2、・・・・・・INに基づいてカメラ応答関数の指定連立方程式を生成するのに用いられ、具体的には、
前記画像I1、I2、・・・・・・INを取得し、且つ前記画像I1、I2、・・・・・・INを既知のパラメータとし、最小二乗法を利用してプリセットの目標関数を解き、カメラ応答関数の指定連立方程式を取得するのに用いられる。
本発明の第二の態様における第三の実施形態では、前記方程式生成ユニットは、具体的には、前記画像I1、I2、・・・・・・INを取得し、且つ前記画像I1、I2、・・・・・・INを既知のパラメータとし、最小二乗法を利用してプリセットの目標関数を解き、カメラ応答関数の指定連立方程式を取得するのに用いられ、具体的には、
前記画像I1、I2、・・・・・・INを取得し、前記画像I1、I2、・・・・・・INを既知のパラメータとし、最小二乗法を利用してプリセットの目標関数を解き、カメラ応答関数の指定連立方程式を取得するのに用いられ、
前記プリセットの目標関数は以下のとおりである。
Figure 2016541185
式中、Mは既知のパラメータにおける各画像の画素点数であり、g(zi,j)=InE+InΔtであり、Eはシーン照度であり、Δtは現在画像Zi,jの露出時間であり、Zi,jは現在画像の画素値であり、λは制御パラメータであり、ω(Zi,j)は現在画像Zi,jの重み関数であり、Zminは現在画像の画素最小値であり、Zmaxは現在画像の画素最大値である。
本発明の第二の態様における第四の実施形態では、前記色彩チャネルの画像をHDRIに合成する前に、各色彩チャネル上の画像をガンマ補正するための校正モジュールをさらに含む。
本発明の第二の態様における第五の実施形態では、前記合成モジュールは前記色彩チャネル上の画像をHDRIに合成するのに用いられ、具体的には、
前記色彩チャネル上のガンマ補正された画像をHDRIに合成するのに用いられる。
本発明の第二の態様における第六の実施形態では、前記生成モジュールは、具体的に、
第一照度図の基本層および細部層を抽出するための抽出ユニットと、
基本層のダイナミックレンジをプリセットレンジに圧縮するための圧縮ユニットと、
ダイナミックレンジが圧縮された基本層および前記細部層を第二照度図に合成するための合成ユニットと、
を含む。
本発明の第二の態様における第七の実施形態では、前記抽出ユニットは第一照度図の基本層および細部層を抽出するのに用いられ、具体的には、
リフティングウェーブレット変換アルゴリズムを利用して、第一照度図の基本層および細部層を抽出するのに用いられる。
本発明の第二の態様における第八の実施形態では、合成ユニットはダイナミックレンジが圧縮された基本層と細部層とを第二照度図に合成するのに用いられ、具体的には、
リフティングウェーブレット逆変換アルゴリズムを利用して、ダイナミックレンジが圧縮された基本層と細部層とを第二照度図に合成するのに用いられる。
本発明の実施例の提供する方法及び装置は、第一照度図を取得した後、第一照度図に基づいて第二照度図を生成し、第二照度図はダイナミックレンジが圧縮された基本層と細部層とで合成され、基本層および前記細部層は前記第一照度図から抽出され、前記第二照度図をプリセットの色彩チャネルにマッピングし、且つ前記色彩チャネル上の画像をHDRIに合成する。以上から分かるように、HDRIの生成過程において、照度図の基本層のダイナミックレンジだけを圧縮し、細部層を圧縮しないため、元照度図の細部情報を最大限に維持することができ、それによりHDRIの生成過程中において細部の欠損問題を回避できる。
本発明の実施例又は従来技術の技術的解決手段をよりはっきり説明するために、以下は実施例又は従来技術を記述するのに必要な図面を簡単に紹介する。明らかに分かるように、以下の記述する図面は本発明の実施例にすぎず、当業者にとって、創造的な作業を費やさない前提で、これらの図面に基づいてほかの図面を取得することができる。
本発明の実施例の開示するHDRIの生成方法において、第一照度図に基づいて第二照度図を生成する方法のフローチャートである。 本発明の実施例の開示するHDRIの生成方法において、第一照度図に基づいて第二照度図を生成する方法のもう一つのフローチャートである。 本発明の実施例の開示するHDRIの生成方法のフローチャートである。 本発明の実施例の開示するHDRIの生成方法において求めたカメラ応答関数のグラフである。 本発明の実施例の開示する方法と従来技術でHDRIを生成する方法との比較図である。 本発明の実施例の開示するHDRI生成装置の構造概略図である。
本発明の実施例の提供するHDRIの生成方法及び装置は、その発明の着想は、照度画像の基本層のダイナミックレンジだけを圧縮し、細部層のダイナミックレンジを圧縮しないことによって、画像中の細部を維持する目的を達成することである。
以下は、本発明の実施例の図面と合わせて、本発明の実施例の技術的解決手段に対して、明白、完全な説明を行い、説明する実施例は、明らかに本発明の一部の実施例にすぎず、全部の実施例ではない。本発明の実施例に基づき、当業者が創造的作業を費やさずに取得したその他の実施例は、いずれも本発明の保護範囲に属する。
本発明の実施例は、HDRIの生成方法であって、
A:第一照度図を取得するステップと、
B:第一照度図に基づいて第二照度図を生成するステップと、
C:前記第二照度図をプリセットの色彩チャネルにマッピングするステップと、
D:前記色彩チャネル上の画像をHDRIに合成するステップと、
を含み、
ここで、前記第二照度図は、ダイナミックレンジが圧縮された基本層と細部層とで合成され、前記基本層および細部層は、第一照度図から抽出されるHDRIの生成方法を開示する。
ここで、本実施例中Bの具体的な実行プロセスは図1又は図2を参照して示される。
図1に示した方法は以下のステップを含む。
S101:第一照度図の基本層および細部層を抽出する。
通常、照度図は画像中の各画素点の輝度値を表示するために用いられ、照度図の基本層は照度図の低周波数情報を指し、つまり照度図の主要なエネルギー成分であり、細部層は照度図の高周波数情報を指し、従って細部層は照度図の細部情報を含む。
S102:前記基本層のダイナミックレンジをプリセットレンジに圧縮する。
ダイナミックレンジとは、測定すべき物理量の最大値と最小値との比率を指し、異なる対象に対して、ダイナミックレンジは異なる意味を有し、デジタル画像に対しては、ダイナミックレンジDはデジタル画像中の輝度値の最大値と最小値との比率を指す。
D=Lmax/Lmin
式中、輝度単位は、カンデラ/平方メートル(cd/m)で示す。
画像のダイナミックレンジは自然シーンでの最大輝度領域および最小輝度領域の細部を同じ画像の中で同時に表現する能力を制限する。実在の自然シーンでは、輝度が非常に広いダイナミックレンジ(9桁を超える10−4〜10−5 cd/m)を有し、人の視覚システムは約5桁のダイナミックレンジのシーン輝度を感知することができる。既存のディスプレイが発せられる輝度範囲は約2桁である。明らかに分かるように、ディスプレイと実在の世界の自然シーンとの間には輝度範囲上にマッチングできない矛盾が存在する。
本実施例において、基本層のダイナミックレンジをプリセットレンジに圧縮する具体的な実施形態は既存の方法を参照してもよい。例えば、基本層のダイナミックレンジを1より小さい数値に掛けて、プリセットレンジに圧縮し、このデータの具体値はプリセットレンジに基づいて設定することができ、画像の表示角度からいうと、プリセットレンジはディスプレイの表示できるダイナミックレンジであるが、本実施例はこれに対して限定しない。
S103:ダイナミックレンジが圧縮された基本層と前記細部層とを第二照度図に合成する。
図1に示した方法のように、照度図のダイナミックレンジを圧縮する場合に、照度図の基本層のダイナミックレンジだけを圧縮し、細部層のダイナミックレンジを圧縮せず、それによって細部情報の完全性を最大限に保証し、細部の欠損を回避することができる。
さらに、図2に示した方法は以下を含む。
S201:リフティングウェーブレット変換アルゴリズムを利用して、第一照度図の基本層および細部層を抽出する。
本実施例では、リフティングウェーブレット演算子の特性に基づいて、細部層の数は3であってもよく、即ち細部層は3つの異なる方向の細部層を含む。
S202:前記基本層のダイナミックレンジをプリセットレンジに圧縮する。
S203:リフティングウェーブレット逆変換アルゴリズムを利用して、ダイナミックレンジが圧縮された基本層と前記細部層とを第二照度図に合成する。
図2に示した方法では、照度図により基本層および細部層を抽出するために用いられるのはリフティングウェーブレット変換アルゴリズムであるが、ダイナミックレンジが圧縮された基本層と前記細部層とを合成するために用いられるのはリフティングウェーブレット逆変換アルゴリズムである。リフティングウェーブレット変換および逆変換は簡単で迅速に利用できるため、本実施例の前記方法は画像の細部欠損を回避できるほか、簡単で迅速に利用できる特徴を有し、従って、ハードウェアを実現しやすく、且つより高い演算効率を有する。
説明が必要なのは、リフティングウェーブレット変換というアルゴリズムを利用するのは、本実施例の好ましい方法にすぎず、これに限定されない。
以下は上記HDRIの生成方法について詳細に説明する。図3に示した通り、HDRIの生成方法の具体的なプロセスは以下のステップを含む。
S301:画像I1、I2、・・・・・・INに基づいてカメラ応答関数の指定連立方程式を生成する。前記画像I1、I2、・・・・・・INは異なる露出条件を有し、そのうち、前記Nは画像の数であり、且つNは2以上の整数である。
S301の具体的な実施形態は以下のステップを含む。
1)前記画像I1、I2、・・・・・・INを取得する。
2)前記画像I1、I2、・・・・・・INを既知のパラメータとし、最小二乗法を利用してプリセットの目標関数を解き、カメラ応答関数の指定連立方程式を取得する。
ここで、目標関数は以下である。
Figure 2016541185
式中、Mは既知のパラメータにおける各画像の画素点数であり、g(zi,j)=InE+InΔtであり、Eはシーン照度であり、Δtは現在画像Zi,jの露出時間であり、Zi,jは現在画像の画素値であり、λは制御パラメータであり、ω(Zi,j)は現在画像Zi,jの重み関数であり、Zminは現在画像の画素最小値であり、Zmaxは現在画像の画素最大値である。
目標関数を設定する原理は以下である。
1)応答曲線とシーン照度E、露出時間Δtとデジタル画像の画素値Zi,jとの関係を定義する。
i,j=f(E×Δt
2)カメラの応答曲線は平らで単調であると仮定すると、関数fは可逆的で、上記方程式に対して逆対数g=Inf−1を導出する。
g(zi,j)=InE+InΔt
3)Zの極値はZminおよびZmaxであり、以下の目標関数を確立する。
Figure 2016541185
一つの画像のすべての画素点には、露出過多および露出不足の画素点が存在するため、往々にして目標関数内に最も簡単な重み関数を導入する。
Figure 2016541185
式中、Zmid=(Zmin+Zmax)/2である。
最終の目標関数は以下である。
Figure 2016541185
S302:前記画像I1、I2、・・・・・・INから選択されたサンプリング画素に基づき、QR分解アルゴリズムを利用して前記カメラ応答関数校正方程式を解き、カメラ応答関数および照度対数を取得する。
QR分解アルゴリズムは、先ず係数行列を直交行列と上三角行列との乗積に分解して、後退代入によって解く方法であり、既存の特異値分解によって解く方法に比べて、QR分解アルゴリズムの方がより簡単で、より容易にハードウェアを実現できる。
カメラ応答関数の曲線は図4に示す通りである。
S303:前記カメラ応答関数および照度対数に基づいて、前記第一照度図を取得する。
このステップの具体的な実現プロセスは従来技術と類似するので、ここでは述べる必要はない。
S304:リフティングウェーブレット変換アルゴリズムを利用して、第一照度図の基本層および3つの異なる方向の細部層を抽出する。
S305:前記基本層のダイナミックレンジをプリセットレンジに圧縮する。
S306:リフティングウェーブレット逆変換アルゴリズムを利用して、ダイナミックレンジが圧縮された基本層と前記細部層とを第二照度図に合成する。
S307:前記第二照度図をR、G、B色彩チャネル上にマッピングする。
S308:各色彩チャネル上の画像をそれぞれガンマ補正する。
S309:前記R、G、B色彩チャネル上のガンマ補正された画像をHDRIに合成する。
ガンマ補正することは画像をディスプレイで表示する場合の輝度偏差を校正することができるため、ガンマ補正して合成されたHDRIのコントラスト比を大幅に向上させることができる。
以上のステップから分かるように、本実施例の前記HDRIの生成方法は、スピードがより速く、ハードウェアをより実現しやすく、画像I1、I2、・・・・・・INからHDRIまでのプロセスにおいて画像細部の部分的欠損を回避することができ、さらに、細部を完全に維持することができるため、HDRIにおいてハレーションの発生を大いに減少することができる等の利点を有する。且つ、本実施例の前記方法で生成したHDRIはより良いコントラスト比を有する。
出願人は研究過程において、既存の方法に比べて、本発明の実施例の前記方法ではよりはっきりしたHDRIが得られ、図5に示したように、左列は本発明の実施例の前記方法で得られたHDRIであり、右列は既存の方法で得られたHDRIであり、その表示効果から見ると、左列のほうは細部がよりはっきりして、コントラスト比がより人の目にやさしい。
上記方法の実施例と対応して、本発明の実施例はさらにHDRIの生成装置を提供し、図6に示したように、生成装置は、
第一照度図を取得するための取得モジュール601と、
前記第一照度図に基づいて第二照度図を生成するための生成モジュール602と、
第二照度図をプリセットの色彩チャネル上にマッピングするためのマッピングモジュール603と、
色彩チャネル上の画像をHDRIに合成するための合成モジュール604と、
を含み、
前記第二照度図は、ダイナミックレンジが圧縮された基本層と細部層とで合成され、前記基本層および細部層は前記第一照度図から抽出される。
本実施例では、好ましくは、前記色彩チャネルの画像をHDRIに合成する前に、各色彩チャネルの画像をガンマ補正するための校正モジュール650をさらに含む。
校正モジュールを有する状況下で、前記合成モジュールは具体的に、前記色彩チャネルにおいてガンマ補正された画像をHDRIに合成する。
前記抽出ユニットは具体的に、リフティングウェーブレット変換アルゴリズムを利用して、第一照度図の基本層および細部層を抽出する。前記合成ユニットは具体的に、リフティングウェーブレット逆変換アルゴリズムを利用して、ダイナミックレンジが圧縮された基本層と前記細部層とを第二照度図に合成する。
本実施例で、取得モジュール601は具体的に、
画像I1、I2、・・・・・・INに基づいてカメラ応答関数の指定連立方程式を生成するための方程式生成ユニット6011と、
画像I1、I2、・・・・・・INから選択されたサンプリング画素に基づき、QR分解アルゴリズムを利用してカメラ応答関数の指定連立方程式を解き、カメラ応答関数および照度対数を得るための求解ユニット6012と、
カメラ応答関数および照度対数に基づいて、第一照度図を得るための取得ユニット6013と
を含み、
前記画像I1、I2、・・・・・・INは異なる露出条件を有し、ここで、前記Nは2以上の整数である。
具体的には、前記方程式生成ユニットは画像I1、I2、・・・・・・INに基づいてカメラ応答関数の指定連立方程式を生成し、具体的な実施形態は以下のとおりである。
前記方程式生成ユニットは具体的に、前記画像I1、I2、・・・・・・INを取得し、前記画像I1、I2、・・・・・・INを既知のパラメータとし、最小二乗法を利用してプリセットの目標関数を解き、カメラ応答関数の指定連立方程式を得る。
さらに、前記プリセットの目標関数は以下のとおりである。
Figure 2016541185
式中、Mは既知パラメータにおける各画像の画素点数であり、g(zi,j)=InE+InΔtであり、Eはシーン照度であり、Δtは現在画像Zi,jの露出時間であり、Zi,jは現在画像の画素値であり、λは制御パラメータであり、ω(Zi,j)は現在画像Zi,jの重み関数であり、Zminは現在画像の画素最小値であり、Zmaxは現在画像の画素最大値である。
本実施例において、具体的には、生成モジュール602は具体的に、
第一照度図の基本層および細部層を抽出するための抽出ユニット6021と、
前記基本層のダイナミックレンジをプリセット範囲に圧縮するための圧縮ユニット6022と、
ダイナミックレンジが圧縮された基本層と前記細部層とを第二照度図に合成するための合成ユニット6023と、
を含む。
本発明の前記装置は、照度図のダイナミックレンジを圧縮する場合に、照度図の基本層のダイナミックレンジだけを圧縮し、細部層のダイナミックレンジを圧縮しない。それによって、細部情報の完全性を最大限に保証し、細部の欠損を回避することができる。
具体的には、本実施例において、前記抽出モジュールはリフティングウェーブレット変換アルゴリズムを利用して、第一照度図の基本層および細部層を抽出することができる。前記合成モジュールはリフティングウェーブレット逆変換アルゴリズムを利用して、ダイナミックレンジが圧縮された基本層と細部層とを第二照度図に合成することができる。リフティングウェーブレット変換とその逆変換とは簡単で容易に利用できるため、本実施例の前記装置は画像の細部欠損を回避できるほか、簡単で容易に利用できる特徴を有し、従って、ハードウェアを実現しやすく、より高い演算効率を有する。
本実施例の方法の前記機能はソフトウェア機能ユニットの形式で実現し独立の製品として販売したり利用したりする場合、計算装置の読み出し可能な記憶媒体に記憶することができる。このような理解に基づいて、本発明の実施例は従来技術に寄与した部分又はこの技術的解決手段の部分はソフトウェア製品の形式で表現することができ、このソフトウェア製品は記憶媒体に記憶され、計算装置(パソコン、サーバ、モバイルコンピュータ又はネット設備等でもよい)が本発明の各実施例の前記方法の全部又は部分的なステップを実行できるような複数のコマンドを含む。前記記憶媒体は、USBメモリ、ポータブルハードウェア、読み出し専用メモリ(ROM,Read−Only Memory)、ランダムアクセスメモリ(RAM,Random Access Memory)、磁気ディスク、光ディスク等様々のプログラムコードを記憶できる媒体を含む。
本明細書の各実施例は漸進的な方法で記述し、各実施例の重点説明はほかの実施例と異なる点があり、各実施例の間に同じ又は類似部分は互いに参照すればよい。
開示した実施例に対する上記説明に基づいて、当業者は本発明を実現したり利用したりすることができる。これらの実施例に対する多種の修正は当業者にとっては明らかであり、本発明の定義した一般原理は本発明の趣旨又は範囲を離脱しない状況下、ほかの実施例で実現できる。従って、本発明は本文に示したこれらの実施例に限定されず、本文に開示した原理と新規な特徴と一致する最も広い範囲に適用する。

Claims (16)

  1. HDRIを生成する方法であって、
    第一照度図を取得するステップと、
    前記第一照度図に基づいて第二照度図を生成するステップと、
    前記第二照度図をプリセットの色彩チャネル上にマッピングするステップと、
    前記色彩チャネル上の画像をHDRIに合成するステップと、
    を含み、
    前記第二照度図は、ダイナミックレンジが圧縮された後の基本層と細部層とで合成され、前記基本層および前記細部層は、前記第一照度図から抽出される、
    ことを特徴とするHDRIの生成方法。
  2. 第一照度図を取得する前記ステップは、
    画像I1、I2、・・・・・・INに基づいてカメラ応答関数の指定連立方程式を生成するステップと、
    前記画像I1、I2、・・・・・・INから選択されたサンプリング画素に基づき、QR分解アルゴリズムを利用して前記カメラ応答関数の指定連立方程式を解き、カメラ応答関数および照度対数を取得するステップと、
    前記カメラ応答関数および照度対数に基づいて、前記第一照度図を取得するステップと、
    を含み、
    前記画像I1、I2、・・・・・・INは、異なる露出条件を有し、ここで、前記Nは画像の数であり、前記Nは2以上の整数である、
    ことを特徴とする請求項1に記載の方法。
  3. 画像I1、I2、・・・・・・INに基づいてカメラ応答関数の指定連立方程式を生成する前記ステップは、
    前記画像I1、I2、・・・・・・INを取得するステップと、
    前記画像I1、I2、・・・・・・INを既知のパラメータとし、最小二乗法を利用してプリセットの目標関数を解き、カメラ応答関数の指定連立方程式を取得するステップと、
    を含むことを特徴とする請求項2に記載の方法。
  4. 前記プリセットの目標関数は以下を含み、
    Figure 2016541185
    式中、Mは既知パラメータにおける各画像の画素点数であり、g(zi,j)=InE+InΔtであり、Eはシーン照度であり、Δtは現在画像Zi,jの露出時間であり、Zi,jは現在画像の画素値であり、λは制御パラメータであり、ω(Zi,j)は現在画像Zi,jの重み関数であり、Zminは現在画像の画素最小値であり、Zmaxは現在画像の画素最大値である、ことを特徴とする請求項3に記載の方法。
  5. 前記色彩チャネル上の画像をHDRIに合成する前には、各色彩チャネル上の画像をそれぞれガンマ補正するステップを更に含み、
    前記色彩チャネル上の画像をHDRIに合成する前記ステップは、前記色彩チャネル上のガンマ補正された画像をHDRIに合成するステップを含む、
    ことを特徴とする請求項1〜4のいずれか一項に記載の方法。
  6. 前記第一照度図に基づいて第二照度図を生成する前記ステップは、
    第一照度図の基本層および細部層を抽出するステップと、
    前記基本層のダイナミックレンジをプリセットレンジに圧縮するステップと、
    ダイナミックレンジが圧縮された基本層と前記細部層とを第二照度図に合成するステップと、
    を含むことを特徴とする請求項1〜5のいずれか一項に記載の方法。
  7. 第一照度図の基本層および細部層を抽出する前記ステップは、リフティングウェーブレット変換アルゴリズムを利用して、第一照度図の基本層および細部層を抽出するステップを含み、
    ダイナミックレンジが圧縮された後の基本層と前記細部層とを第二照度図に合成する前記ステップは、リフティングウェーブレット逆変換アルゴリズムを利用して、ダイナミックレンジが圧縮された後の基本層と前記細部層とを第二照度図に合成するステップを含む、
    ことを特徴とする請求項6に記載の方法。
  8. 第一照度図を取得する取得モジュールと、
    前記第一照度図に基づいて第二照度図を生成する生成モジュールと、
    前記第二照度図をプリセットの色彩チャネル上にマッピングするマッピングモジュールと、
    前記色彩チャネル上の画像をHDRIに合成するための合成モジュールと、
    を含み、
    前記第二照度図は、ダイナミックレンジが圧縮された後の基本層と細部層で合成され、前記基本層および前記細部層は、前記第一照度図から抽出される;
    ことを特徴とするHDRIを生成する装置。
  9. 前記取得モジュールは、
    画像I1、I2、・・・・・・INに基づいてカメラ応答関数の指定連立方程式を生成する方程式生成ユニットと、
    前記画像I1、I2、・・・・・・INから選択されたサンプリング画素に基づき、QR分解アルゴリズムを利用して前記カメラ応答関数の指定連立方程式を解き、カメラ応答関数および照度対数を取得する求解ユニットと、
    前記カメラ応答関数および照度対数に基づいて、前記第一照度図を取得する取得ユニットと、
    を含み、
    前記画像I1、I2、・・・・・・INは、異なる露出条件を有し、ここで、前記Nは画像の数であり、前記Nは2以上の整数である、
    ことを特徴とする請求項8に記載の装置。
  10. 前記方程式生成ユニットは、画像I1、I2、・・・・・・INに基づいてカメラ応答関数の指定連立方程式を生成するのに用いられ、具体的には、
    前記画像I1、I2、・・・・・・INを取得し、前記画像I1、I2、・・・・・・INを既知のパラメータとし、最小二乗法を利用してプリセットの目標関数を解き、カメラ応答関数の指定連立方程式を得るのに用いられる、
    ことを特徴とする請求項9に記載の装置。
  11. 前記方程式生成ユニットは、前記画像I1、I2、・・・・・・INを取得し、前記画像I1、I2、・・・・・・INを既知のパラメータとし、最小二乗法を利用してプリセットの目標関数を解き、カメラ応答関数の指定連立方程式を得るのに用いられ、
    前記画像I1、I2、・・・・・・INを取得し、前記画像I1、I2、・・・・・・INを既知のパラメータとし、最小二乗法を利用してプリセットの目標関数を解き、カメラ応答関数の指定連立方程式を得るのに用いられ、
    前記プリセットの目標関数は、以下のとおりであり、
    Figure 2016541185
    式中、Mは既知パラメータにおける各画像の画素点数であり、g(zi,j)=InE+InΔtであり、Eはシーン照度であり、Δtは現在画像Zi,jの露出時間であり、Zi,jは現在画像の画素値であり、λは制御パラメータであり、ω(Zi,j)は現在画像Zi,jの重み関数であり、Zminは現在画像の画素最小値であり、Zmaxは現在画像の画素最大値である、ことを特徴とする請求項10に記載の装置。
  12. 前記色彩チャネル上の画像をHDRIに合成する前に、各色彩チャネル上の画像をそれぞれガンマ補正する校正モジュールを更に含む、
    ことを特徴とする請求項8〜10のいずれか一項に記載の装置。
  13. 前記合成モジュールは、前記色彩チャネル上の画像をHDRIに合成するのに用いられ、
    前記色彩チャネル上のガンマ補正された画像をHDRIに合成するのに用いられる、
    ことを特徴とする請求項12に記載の装置。
  14. 前記生成モジュールは、
    第一照度図の基本層および細部層を抽出する抽出ユニットと、
    前記基本層のダイナミックレンジをプリセット範囲に圧縮するための圧縮ユニットと、
    ダイナミックレンジが圧縮された基本層と前記細部層とを第二照度図に合成するための合成ユニットと、
    を含むことを特徴とする請求項8〜13のいずれか一項に記載の装置。
  15. 前記抽出ユニットは、第一照度図の基本層および細部層を抽出するのに用いられ、
    リフティングウェーブレット変換アルゴリズムを利用して、第一照度図の基本層および細部層を抽出するのに用いられる、
    ことを特徴とする請求項14に記載の装置。
  16. 前記合成ユニットは、ダイナミックレンジが圧縮された基本層と前記細部層とを第二照度図に合成するのに用いられ、
    リフティングウェーブレット逆変換アルゴリズムを利用して、ダイナミックレンジが圧縮された基本層と前記細部層とを第二照度図に合成するのに用いられる、
    ことを特徴とする請求項15に記載の装置。
JP2016535094A 2014-06-20 2014-06-20 Hdriの生成方法及び装置 Expired - Fee Related JP6121059B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/080376 WO2015192368A1 (zh) 2014-06-20 2014-06-20 Hdri的生成方法及装置

Publications (2)

Publication Number Publication Date
JP2016541185A true JP2016541185A (ja) 2016-12-28
JP6121059B2 JP6121059B2 (ja) 2017-04-26

Family

ID=54934721

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016535094A Expired - Fee Related JP6121059B2 (ja) 2014-06-20 2014-06-20 Hdriの生成方法及び装置

Country Status (3)

Country Link
US (2) US10298896B2 (ja)
JP (1) JP6121059B2 (ja)
WO (1) WO2015192368A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015192368A1 (zh) * 2014-06-20 2015-12-23 深圳市大疆创新科技有限公司 Hdri的生成方法及装置
CN105933617B (zh) * 2016-05-19 2018-08-21 中国人民解放军装备学院 一种用于克服动态问题影响的高动态范围图像融合方法
WO2019118319A1 (en) 2017-12-15 2019-06-20 Gopro, Inc. High dynamic range processing on spherical images
CN108876740B (zh) * 2018-06-21 2022-04-12 重庆邮电大学 一种基于鬼影去除的多曝光配准方法
CN109509164B (zh) * 2018-09-28 2023-03-28 洛阳师范学院 一种基于gdgf的多传感器图像融合方法及系统
CN111951171A (zh) * 2019-05-16 2020-11-17 武汉Tcl集团工业研究院有限公司 Hdr图像生成方法、装置、可读存储介质及终端设备
CN112785505B (zh) * 2021-02-23 2023-01-31 深圳市来科计算机科技有限公司 一种昼夜图像拼接方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006270622A (ja) * 2005-03-24 2006-10-05 Konica Minolta Holdings Inc 撮像装置及び画像処理方法
JP2009059058A (ja) * 2007-08-30 2009-03-19 Konica Minolta Opto Inc 画像処理装置および画像処理方法ならびに撮像装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5012333A (en) * 1989-01-05 1991-04-30 Eastman Kodak Company Interactive dynamic range adjustment system for printing digital images
US7876974B2 (en) * 2003-08-29 2011-01-25 Vladimir Brajovic Method for improving digital images and an image sensor for sensing the same
JP4218723B2 (ja) * 2006-10-19 2009-02-04 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US8144985B2 (en) * 2007-12-21 2012-03-27 Sony Corporation Method of high dynamic range compression with detail preservation and noise constraints
CN102388612B (zh) 2009-03-13 2014-10-08 杜比实验室特许公司 高动态范围、可视动态范围和宽色域视频的分层压缩
US20100238190A1 (en) * 2009-03-17 2010-09-23 Florian Ciurea Joint high dynamic range compression and noise reduction
JP5594290B2 (ja) * 2009-08-24 2014-09-24 日本電気株式会社 画像ダイナミックレンジ圧縮システム、方法及びプログラム
CN101707666A (zh) * 2009-11-26 2010-05-12 北京中星微电子有限公司 一种高动态范围的调整方法和装置
US8831340B2 (en) * 2010-01-27 2014-09-09 Adobe Systems Incorporated Methods and apparatus for tone mapping high dynamic range images
US9230312B2 (en) * 2010-01-27 2016-01-05 Adobe Systems Incorporated Methods and apparatus for performing tone mapping on high dynamic range images
US9584733B2 (en) 2010-09-30 2017-02-28 Apple Inc. High dynamic range transition
CN102637292B (zh) * 2011-02-10 2015-04-08 西门子公司 一种图像的处理方法和装置
CN102938837B (zh) * 2012-09-19 2016-06-01 中山大学 一种基于边缘保持全分模型的色调映射方法
US9324137B2 (en) * 2012-10-24 2016-04-26 Marvell World Trade Ltd. Low-frequency compression of high dynamic range images
KR102234092B1 (ko) * 2013-12-27 2021-04-01 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 이미지의 역 톤 매핑을 위한 방법
WO2015192368A1 (zh) * 2014-06-20 2015-12-23 深圳市大疆创新科技有限公司 Hdri的生成方法及装置
CN104065939B (zh) * 2014-06-20 2017-03-22 深圳市大疆创新科技有限公司 Hdri的生成方法及装置
US9900527B2 (en) * 2016-03-08 2018-02-20 Omnivision Technologies, Inc. Enhanced high dynamic range
US10284785B2 (en) * 2017-08-30 2019-05-07 Gopro, Inc. Local tone mapping

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006270622A (ja) * 2005-03-24 2006-10-05 Konica Minolta Holdings Inc 撮像装置及び画像処理方法
JP2009059058A (ja) * 2007-08-30 2009-03-19 Konica Minolta Opto Inc 画像処理装置および画像処理方法ならびに撮像装置

Also Published As

Publication number Publication date
US20170104971A1 (en) 2017-04-13
WO2015192368A1 (zh) 2015-12-23
JP6121059B2 (ja) 2017-04-26
US20190238813A1 (en) 2019-08-01
US10298896B2 (en) 2019-05-21
US10750147B2 (en) 2020-08-18

Similar Documents

Publication Publication Date Title
JP6121059B2 (ja) Hdriの生成方法及び装置
US8723978B2 (en) Image fusion apparatus and method
US10832034B2 (en) Facial image generating method, facial image generating apparatus, and facial image generating device
US10580182B2 (en) Facial feature adding method, facial feature adding apparatus, and facial feature adding device
JP2016012336A5 (ja)
CN109817170B (zh) 像素补偿方法、装置和终端设备
CN107993189B (zh) 一种基于局部分块的图像色调动态调节方法和装置
CN109785239B (zh) 图像处理的方法和装置
JP5870598B2 (ja) 画像のホワイトバランス処理方法及び装置
JP2022522564A (ja) 画像処理方法及びその装置、コンピュータ機器並びにコンピュータプログラム
US11721003B1 (en) Digital image dynamic range processing apparatus and method
CN109118436B (zh) 图像色调适配方法及相应的电子设备和存储介质
JP2009117952A5 (ja)
JP2019036821A5 (ja)
WO2013179937A1 (ja) 画像処理方法、画像処理装置および画像処理プログラム
CN116563190A (zh) 图像处理方法、装置、计算机设备及计算机可读存储介质
JP2020108138A (ja) 映像処理装置及びその映像処理方法
CN104065939B (zh) Hdri的生成方法及装置
CN115487495A (zh) 数据渲染方法以及装置
WO2011087083A1 (ja) データ処理方法、データ処理装置、及びデータ処理プログラム
WO2018092715A1 (ja) 画像処理装置、画像処理方法およびプログラム
CN115861096B (zh) 图像处理方法、装置及计算机设备
JP5841495B2 (ja) 投影型3次元形状復元装置、投影型3次元形状復元方法、投影型3次元形状復元プログラムおよびそのプログラムを記録した記録媒体
WO2023074477A1 (ja) 情報処理装置及び情報処理方法
US20240155248A1 (en) Method and apparatus for generating high-dynamic-range image, and electronic device

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20161018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170328

R150 Certificate of patent or registration of utility model

Ref document number: 6121059

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees