JP2013507674A - デジタル画像を低ダイナミック・レンジ(ldr)画像から高ダイナミック・レンジ(hdr)画像に変換するための方法およびシステム - Google Patents

デジタル画像を低ダイナミック・レンジ(ldr)画像から高ダイナミック・レンジ(hdr)画像に変換するための方法およびシステム Download PDF

Info

Publication number
JP2013507674A
JP2013507674A JP2012532506A JP2012532506A JP2013507674A JP 2013507674 A JP2013507674 A JP 2013507674A JP 2012532506 A JP2012532506 A JP 2012532506A JP 2012532506 A JP2012532506 A JP 2012532506A JP 2013507674 A JP2013507674 A JP 2013507674A
Authority
JP
Japan
Prior art keywords
image
radiance
array
pixel
hdr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012532506A
Other languages
English (en)
Other versions
JP5752133B2 (ja
Inventor
エル−マハディ、アハメド
エル−シシニ、ヒシャム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2013507674A publication Critical patent/JP2013507674A/ja
Application granted granted Critical
Publication of JP5752133B2 publication Critical patent/JP5752133B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/21Indexing scheme for image data processing or generation, in general involving computational photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

【課題】デジタル画像を低ダイナミック・レンジ(LDR)画像から高ダイナミック・レンジ(HDR)画像に変換する方法およびシステムを提供する。
【解決手段】本発明は、画像を、所与のカメラを使って得た低ダイナミック・レンジ(LDR)画像から高ダイナミック・レンジ(HDR)画像に変換する方法を提供し、本方法は、
− 所与のカメラに対する露光量−ピクセル応答カーブを取得するステップ(21)と、
− LDR画像をHSB色空間アレイに変換するステップ(22)であって、前記HSB色空間アレイは、色相アレイ、彩度アレイ、および明度アレイを含む、該変換するステップと、
− 露光量−ピクセル応答カーブの逆関数(f−1)を使って、前記明度アレイ中の各ピクセルを逆マッピングすることによって放射輝度アレイを算定するステップ(23、24)と、を含む。
【選択図】図1

Description

本発明は、一般に画像処理に関し、さらに具体的には、デジタル画像を低ダイナミック・レンジ(LDR)画像から高ダイナミック・レンジ(HDR)画像に変換するための方法およびシステムに関する。
デジタル写真術の分野における新興技術の一つに高ダイナミック・レンジ画像化(HDRI)がある。HDRIは実世界の輝度のほとんどのキャプチャを提供し、適切なディスプレイを使用すれば、可能な限り現実に近い写真を再生することを可能にする。しかして、高ダイナミック・レンジ画像化は、実世界の光レベルに相応する値を有する光景の表現を提供する。実世界は、12桁の範囲に及ぶ光度の広がりを生成し、これは、現在の多くのデジタル画像化の3桁よりもはるかに大きい。デジタル画像で各ピクセルが現在表現できる値の範囲は、通常、カラー・チャネル当たり256の値であり(最大65536の値)、多くの光景を表現するのには適していない。HDR画像を用いれば、光景を表現する光度の範囲で、何らかのディスプレイ・デバイスに合わせた範囲でなく人間の視力の限界に合った値の範囲によって、光景をキャプチャすることができる。現在のディスプレイ技術による表示に適した画像は、低ダイナミック・レンジ(LDR)と呼ばれている。高ダイナミック・レンジ画像の表示品質は、在来の低ダイナミック・レンジ画像のそれよりもはるかに良好である。HDR画像は、かかる画像のキャプチャ、保管、処理、および表示に関してLDR画像とは異なっており、写真術において急速に広い支持を得つつある。
A.G.Rempel、M.Trentacoste、H.Seetzen、H.D.Young、W.Heidrich、L.Whitehead、およびG.Ward著、論文題名「Ldr2Hdr:on−the−fly reverse tone mapping of legacy video and photographs」、ACM SIGGRAPH 2007論文集(カリフォルニア州サンディエゴ、2007年8月05〜09日)。 F.Banterle、P.Ledda、K.Debattista、およびA.Chalmers著、論文題名「Inverse tone mapping」、第4回International Conference on Computer Graphics and interactive Techniques in Australasia and Southeast Asia発表抄録(マーレシア、クアランプール、2006年11月29日〜12月02日)、GRAPHITE‘06、ACM、NY、ニューヨーク、349〜356頁。 Erik Reinhard、Michael Stark、Peter Shirley、およびJames Ferwerda著、論文題名「Photographic tone reproduction for digital images」、ACM Trans.Graph.21,3(2002年7月)、267〜276頁。 P.Debevec著、論文題名「A median cut algorithm for light probe sampling」、ACM SIGGRAPH 2006 Courses(マサチューセッツ州ボストン、2006年7月30日〜8月03日)、SIGGRAPH‘06、ACM、NY、ニューヨーク、6。 T.O.Aydin、R.Mantiuk、K.Myszkowski、およびH.Seidel著、論文題名「Dynamic range independent image quality assessment」、ACM SIGGRAPH‘08.(カリフォルニア州ロサンジェルス、2008年8月11〜15日)論文集、ACM.NY、ニューヨーク、1−10。
デジタル写真術の分野でHDRIの使用が普及するにつれ、静止画像およびビデオの両方を表示することのできるHDRIディスプレイに対する必要性が増大している。これは、在来のディスプレイを超える表示品質の大幅なシフトを意味する。しかしながら、既存のメディアは高ダイナミック・レンジ(HDR)のものでないので、HDRIディスプレイの実用は、HDRIセンサを使って新しく撮影されたHDR画像に限られている。既存の低ダイナミック・レンジ(LDR)画像を相当するHDR画像に変換するための既存の対処技術は、「逆トーン・マッピング」として広く知られている。逆トーン・マッピングは、一般に2段階のフェーズを必要とする。第一フェーズでは、インプットLDR画像の輝度を、拡大HDR輝度(HDR放射輝度とも呼ばれる)に逆マップが行われる。このフェーズでは、画像量子化に起因して、高輝度の領域でディテールの喪失がもたらされ、ノイズが導入される。第二フェーズでは、ダイナミック・レンジをさらに増大する可能性も保ちながら、かかる領域を平滑化してこの欠陥を改善する。
この第一フェーズを実施するための一つの知られた対処技術に、“A.G.Rempel、M.Trentacoste、H.Seetzen、H.D.Young、W.Heidrich、L.Whitehead、およびG.Ward著、論文題名「Ldr2Hdr:on−the−fly reverse tone mapping of legacy video and photographs」、ACM SIGGRAPH 2007論文集(カリフォルニア州サンディエゴ、2007年8月05〜09日)”で取られたアプローチがある。このアプローチは、リアルタイムのビデオ処理に適した高速の反転法に依存している。このアプローチによれば、逆ガンマ・マッピングが行われ、次いで、ダイナミック・レンジが5000に拡大される。さらに、量子化の影響を低減するために平滑化フィルタリングが行われる。
逆トーン・マッピングの第一フェーズを実施する別の対処技術が“F.Banterle、P.Ledda、K.Debattista、およびA.Chalmers著、論文題名「Inverse tone mapping」、第4回International Conference on Computer Graphics and interactive Techniques in Australasia and Southeast Asia発表抄録(マーレシア、クアランプール、2006年11月29日〜12月02日)、GRAPHITE‘06、ACM、NY、ニューヨーク、349〜356頁”に記載されている。この対処技術は、以前に“E.Reinhard、M.Stark、P.Shirley、およびJ.Ferwerda著、論文題名「Photographic tone reproduction for digital images」、ACM Trans.Graph.21,3(2002年7月)、267〜276頁”に記載されたグローバル・トーン・マッピング演算子に基づいた逆マッピング関数を使用する。次いで、二次元方程式を解いて逆数が得られ、これにより、相当により大きなダイナミック・レンジが生成され、特定のピクセルでは選択的にそのレンジが縮小される。しかしながら、これら既存の対処技術は、第一フェーズに対し、精度が十分でない逆トーン・マッピング関数を用いている。得られた放射輝度は、「包括的な」逆マッピング関数に起因して実世界の放射輝度とは正確に整合しない。これは実世界の輝度値を大まかに近似する。
逆トーン・マッピングの第二フェーズを実行するための2つの異なるアプローチがある。第一のアプローチは、Rampelら著、論文題名「Ldr2Hdr:on−the−fly reverse tone mapping of legacy video and photographs」、ACM SIGGRAPH 2007論文集(カリフォルニア州サンディエゴ、2007年8月05〜09日)”に記載しているもので、ある高値を超えるピクセルを覆うガウス・マスクを生成する。加えて、このアプローチは、エッジにおける局部コントラストを改善するために「エッジ停止」関数を使用する。この合成明度関数を使って明暗度が大幅に拡大される。さらに複雑な技法は、“F.Banterleら著、論文題名「Inverse tone mapping」、第4回International Conference on Computer Graphics and interactive Techniques in Australasia and Southeast Asia発表抄録(マーレシア、クアランプール、2006年11月29日〜12月02日)、GRAPHITE‘06、ACM、NY、ニューヨーク、349〜356頁”に記載されたものである。この第二のアプローチは、中央値切捨てアルゴリズム(P.Debevec著、論文題名「A median cut algorithm for light probe sampling」、ACM SIGGRAPH 2006 Courses(マサチューセッツ州ボストン、2006年7月30日〜8月03日)、SIGGRAPH‘06、ACM、NY、ニューヨーク、6)を使い、インプット画像を、等しい光度の領域によって区分けすることを含んでいる。これら領域の中心部を使って、光密度が見積もられ「拡大」マップが構築される。次いで、このマップを使い、インプットLDRと逆マップされたLDR画像との間で補間演算を誘導することによって最終的なHDR画像が生成される。逆トーン・マッピングの第二フェーズに対するこれらの対処技術は、高輝度値を有するピクセルを見出すことと、それを使ってそれらのピクセルのダイナミック・レンジを拡大することに依存している。しかしながら、かかる補間は、ホットスポット(ハイライト部)および近辺領域の輝度を拡大するためだけに行われ、暗い領域(陰影部)の輝度が低減されることはない。従って、これら技術は、局部的演算を使って一方だけのダイナミック・レンジの拡大を効果的に行い(陰影部は包括的に拡大される)、それが得られたHDR画像中の陰影領域の品質に影響を及ぼしている。
これらのおよび他の問題に対処するために、添付の独立請求項1によって、方法が、添付の請求項9、10、および11によって、それぞれコンピュータ・プログラム、コンピュータ可読媒体、およびシステムが提供される。好適な実施形態が、添付の従属請求項に定義されている。
概して言えば、本発明は、LDR画像をHDR画像に変換するための改良された逆トーン・マッピングを提供する。
本発明のある態様によれば、従来の対処技術で提供されるような逆ガンマまたは標準の固定的な逆関数を実行する代わりに、カメラの応答カーブを使って画像の放射輝度マップを再構築する。
本発明の別の態様は、画像の輝度を選択的に、増大または低減するためそれぞれ覆い焼きおよび焼き込み操作に依存する。本発明は、HDRドメインにおいて覆い焼きおよび焼き込み様の操作を適用し、画像のダイナミック・レンジを拡大する。また、この態様は一般的に局部的コントラストを拡大し、LDR画像では見えなかったより多くのディテールを視認可能にする。さらに、HDRドメインにおいて覆い焼きおよび焼き込み様の操作を適用することによって平滑化の実施が可能になり、これにより量子化の影響が低減される。
本発明の利点の一部には、以下が含まれる。
1− 単一のLDR画像からHDR値の再生を行うための単純化された技法。この技法は、従来技術のように一連の異なる露光の画像から画像を再構築するよりも容易である。
2− 輝度チャネルの2つのテール(高輝度および低輝度部分)の両方からのダイナミック・レンジの拡大。従来の対処技術は高輝度部分を拡大する。
3− 画像の中間/陰影部分に亘ってディテール可視性レベルの向上。
4− カメラ応答カーブを使った、画像のより現実に近い放射輝度マップ。
5− 実証済みの写真技法を使った、仕上がり画像の向上された観賞品質。
6− 医療画像など重要な用途に対し、既存のLDR画像を見るために新規のHDRディスプレイを用いることができる。
7− 逆トーン・マッピングを使い、高品質のHDR画像を生成し、順方向にトーン・マップしてLDRに戻すことによる、可視コントラストの大幅な改善が実現された、LDRカメラ・アウトプットの品質の向上。
8− さらなる画像処理作業のための、より容易なエッジの検出。
9− 医療画像化分野におけるエッジ検出作業などさらなる画像処理でのHDRドメインにおける作業の改良など、デジタル画像に対する向上されたオペレーションの適用。
当業者は、図面および詳細説明を検討することにより本発明のさらなる利点を明らかにできよう。本明細書は、一切の追加的な利点も組み込むように意図されている。
以下に、例示として添付の図面を参照しながら本発明の実施形態を説明するものとし、図面中の同じ参照記号は同様なエレメントを表す。
これら図面は、本発明の典型的な実施形態だけを示すよう意図されており、従って、本発明の範囲を限定するものと見なすべきではない。
本発明の実施形態による、低ダイナミック・レンジ(LDR)画像から高ダイナミック・レンジ(HDR)画像を生成するためのシステム・ブロック図である。 本発明の実施形態による、低ダイナミック・レンジ(LDR)画像からの高ダイナミック・レンジ(HDR)画像の生成を表すハイレベル・フローチャートである。 例示的カメラ応答カーブを示す。 本発明の実施形態による、図3のカメラ応答カーブから得られた逆応答カーブを示す。 HDRドメインにおける覆い焼きおよび焼き込み操作を表すフローチャートを示す。 本発明の実施形態による、逆トーン・マッピングの第一フェーズに対する初期放射輝度アレイの例示的ヒストグラムを示す。 本発明の実施形態による、逆トーン・マッピングの第二フェーズに対する初期輝度アレイの例示的ヒストグラムを示す。 本発明の実施形態による、画像生成を表すフローチャートである。 画像を比較することによって得られた、青/緑ピクセルの和の例示的値を示す表を示す。 図8の表中に包含された値を表現する図である。 本発明の実施形態による、LDR画像をHDR画像に変換するため用いられるあるコンピュータ・システムを示す。
本発明は、デジタル画像を低ダイナミック・レンジ(LDR)画像から高ダイナミック・レンジ(HDR)画像に変換するための、逆トーン・マッピングの方法およびシステムを提供する。本発明による逆トーン・マッピング対処技術は、デジタル計算および関連ロジックを実行するため使用可能な任意の種類のプロセッサに適応する。
図1は、インプットLDR画像からHDR画像を生成するためのシステム100を示す。図1は、システム・コンポーネント間のデータ・フローを示し、各コンポーネントは、文字「C」で始まり後に番号が続く称号で標識されている。これらシステム・コンポーネントは、以降、C1、C2、…、C5の標記を使って呼ばれる。このシステムは、まず、LDR画像を入力し、それを色空間コンバータC1に送り込むことから作動され、画像は、色相、彩度、および明度の色空間(HSB:Hue、Saturation、Brightness)に変換され、3つの対応するアレイが生成される。明度アレイおよびカメラ・センサ応答カーブが逆マッパーC2に供給される。次いで該マッパーは供給された応答カーブを使って明度アレイを放射輝度アレイに逆マップする。局部コントラスト・エンジンC3は、放射輝度アレイに対する局部的コントラストを計算し、局部輝度平均(LLA:Local Luminance Average)アレイを生成する。覆い焼き/焼き込みエンジンC4は、LLAアレイを使って、放射輝度アレイに覆い焼き/焼き込みを行い、拡大放射輝度アレイを生成する。
生成されたアレイは、彩度および色相アレイとともに、色空間コンバータC5に送り込まれ、画像は元のインプットLDRの色空間(例えばRGB)に変換され、アウトプットHDR画像が生成される。
LDR画像に対し逆トーン・マッピングを実施するため、第一フェーズの過程で、インプットLDR画像の輝度は拡大HDR輝度に逆マップされる。この初期ステップは、高輝度の領域でディテールの喪失およびノイズの導入をもたらし、これは、これらの領域を平滑化する第二フェーズの過程で改善される。
本発明の実施形態によれば、逆トーン・マッピングの第一フェーズは、キャプチャしたセンサ/デバイスの情報を使って実施される。フィルム・カメラと同様、デジタル・カメラを使ってキャプチャされたほとんどの画像に対し、そのセンサの識別は容易に入手可能である。この第一フェーズでは、カメラ応答カーブを使い、インプット画像の逆トーン・マッピングによって初期放射輝度マップが構築される。
図2は、本発明の実施形態による、この、逆トーン・マッピングの第一フェーズを記述したハイレベルのフローチャートを示す。
ステップ20で、最初にLDR画像が入力され、次いでそのLDR画像がメモリ中に格納される。かかるLDR画像は、さまざまな色空間で表現されることができよう。標準的な色空間はRGB空間であり、この色空間では、各ピクセルの色は、3つの成分、すなわち赤(R:Red)、緑(G:Green)、および青(B:Blue)で表現される。別の色空間はLuvであり、このLは輝度成分、uおよびvは各々クロミナンス成分である。逆トーン・マッピングは、輝度チャネル上で実行される。
ステップ21において、所与のカメラに対する露光量−ピクセル応答カーブが取得される。露光量−ピクセル応答カーブは各カメラに内在的なもので、センサ・データシートから直接得ることができよう。あるいは、同一光景に対する一連の異なる露光量の画像を解析することによって、露光量−ピクセル応答カーブを算定することもできる。露光量応答カーブは、測定し、計算し、または見積もることができ、あるいは遠隔サイトから入手することすら可能である。このカーブは、カメラごとにほぼ一定であり、しかして、同じカメラによって生成されたさらなる画像に対し応答関数の再構築を繰り返す必要はない。以下の説明において、露光量−ピクセル応答カーブを関数「f(x)」で表すこととし、このxは所与の露光量値を示す。このとき、y=f(x)は、所与の露光量xに対するピクセル輝度値を表すものとする。露光量−ピクセル応答カーブは、対応写真に対する実世界の放射輝度値を提供する。これらの値は、従来技術の単純な逆ガンマ手法を使って得られるものよりも正確である。
ステップ22において、LDRインプット画像はHSB色空間アレイに変換され、このHは色相を表し、Sは彩度を表し、Bは明度を表す。HSB(HSL表現としても知られる)は、知覚的色関係をRGBよりも正確に表現する、RGB色モデルにおけるポイント群の表現である以下の説明では、色相アレイを「Hue[ ]」で、彩度アレイを「Saturation[ ]」で、明度アレイを「Brightness[ ]」で表すことにする。
ステップ23において、明度アレイ(Brightness[ ])の各ピクセルに対し、応答カーブを使ってその値が逆マップされ、得られた露光量がRadiance(放射輝度)[i]に格納される。露光量―ピクセル応答関数f(x)の逆関数を表すのに「f−1(y)」の表記を使えば、このとき、インプットピクセル値yに対し、f−1(y)は、露光量値xを戻してくる。上記から、チャネル反復子iに対する放射輝度は次式により定義される。
Radiance[i]=f−1(Brightness[i])、
このRadiance[ ]アレイが得られた放射輝度マップである。
斯く得られた放射輝度マップは、ステップ24においてメモリに格納される。本発明は、カメラの露光量−ピクセル応答カーブを用いて画像の放射輝度マップを再構築することにより、逆ガンマまたは標準の固定的な逆関数に依存する従来の対処技術によって得られるものよりも現実に近い放射輝度マップを提供する。
図3は、例示的カメラの応答カーブを示す。「露光量」と題されたx−軸は実世界の露光量値を表し、「ピクセル明度値」と題されたy−軸はカメラによって記録された対応するピクセル放射輝度値を表す。「露光量」は、センサが受光した放射照度に露光時間を乗じた量として定義される。単位は平方メートル当たりワット秒である。ピクセル放射輝度の値は、0〜255の整数を取る一方、露光量値は実数である。
図4は、図3に表された例示的カメラ応答カーブに対する逆応答カーブを示す。「ピクセル明度値」と題されたx−軸はピクセル放射輝度値を指し、「露光量」と題されたy−軸は対応する実世界の露光量値を指す。
この応答カーブは、現実をできるだけ近似して模擬する。この段階で、ステップ24で得られた放射輝度アレイ「Radiance[ ]」を、色相アレイ「Hue[ ]」および彩度アレイ「Saturation[ ]」と組み合わせ、これらを一つの画像に関連付け、次いでその画像を元の画像の色空間に変換してHDR画像を提供することも可能ではあろう。しかしながら、カメラ・カーブが、それ自体で十分な高ダイナミック・レンジを生成できないことがあり、量子化によるアーチファクトを取り込む可能性がある。本発明による逆トーン・マッピングの第二フェーズは、カメラ応答カーブの使用により導入される可能性のあるマッピング円滑性の不十分さおよびアーチファクトを補償する。
図5は、本発明の実施形態による、逆トーン・マッピングの第二フェーズを図解する。この第二フェーズの過程では、画像の輝度を選択的に増大または低減させるため、それぞれ覆い焼きおよび焼き込み様の操作が行われる。「覆い焼き」操作は輝度を増大させ、一方「焼き込み」操作はピクセルの輝度を低減させる。本発明は、HDRドメインにおいて覆い焼きおよび焼き込み様の操作を適用し、画像のダイナミック・レンジを拡大する。ハイライト部に対し、覆い焼き操作は、低幅な局部コントラストの領域のダイナミック・レンジをそれ以上に拡大することになろう。陰影部に対しては、焼き込み操作が左側のダイナミック・カーブをもっと拡大し、ピクセルの最小輝度を低下させることになる(これにより画像のダイナミック・レンジはさらに拡大される)。また、これは全般に局部コントラストを拡大し、これにより、LDR画像では見えなかったより多くのディテールが視認可能になる。さらに、HDRドメインに覆い焼きおよび焼き込み様の操作を適用することによって、平滑化が遂行でき、これにより、量子化の影響が低減される。
ステップ50において、Radiance[ ]アレイ中の各ピクセル(u,v)に対し、局部輝度平均、Local_Luminance_Average[u,v]が計算される。ピクセル(u,v)におけるLocal_Luminance_Averageは、“Erik Reinhard、Michael Stark、Peter Shirley、およびJames Ferwerda著、論文題名「Photographic tone reproduction for digital images」、ACM Trans.Graph.21,3(2002年7月)、267〜276頁”において展開されているアプローチから、以下のように計算することができる。
− 畳み込みカーネルが、kernel[ ]=GaussianKernel(ガウス・カーネル)(r)[ ]として設定され、このrはGaussianKernelの半径であり、iは局部コントラストのスケール指標を指す。rの値は変化する。本発明のある特定の実施形態において、この値は1/(2*Sqrt(2))*1.6に設定される。iの値は、0〜8の範囲で変化する。
− 値iに対するピクセル(u,v)における局部輝度平均は、Local_Luminance_Average[u,v]=kernel Radiance[ ]として計算される。
− 次いで、パラメータiの最小値mが、Abs(Local_Luminance_Average[u,v]−Local_Luminance_Averagei+1[u,v])<εにより計算され、このεは閾値を指し、iの値は0〜7の範囲で変化する。
− Local_Luminance_Average[u,v]は最終的にLocalLuminanceAverage[u,v]に設定され、これによりピクセル(u,v)における局部輝度平均が与えられる。
ステップ51において、各ピクセルの輝度は、局部輝度平均Local_Luminance_Average[u,v]を使って調整される。新規の放射輝度値「Radiance’[u,v]」は次式により定義される。
Radiance’[u,v] = Radiance[u,v]*Radiance[u,v]/Local_Luminance_Average[u,v]
本発明によれば、この演算は、HDRドメインにおいて行われる。実際に、本出願人は、ピクセルの周囲(u,v)が原ピクセル(u,v)よりも明度が高い場合、ピクセル(u,v)の放射輝度は低減され、これにより局部コントラストが増大されるのを観察した。同様に、周囲のピクセルの明度が原ピクセルより低い場合、原ピクセル(u,v)の放射輝度が増大され、これにより局部コントラストが増大されることになるのも観察されている。この放射輝度の低減および増大の双方は、Radiance[u,v]/Local_Luminance_Average[u,v]の比率によって設定される。この比率は、放射輝度のスケーリング係数の機能を果たし、圧縮調整なしの任意のスケーリングを可能にする。
本発明のある実施形態による逆トーン・マッピングの第二フェーズは、従って、覆い焼きおよび焼き込みを介して画像の局部コントラストを高めながら、放射輝度のダイナミック・レンジを増大する。このようにして、本発明は覆い焼き/焼き込みの写真術コンセプトを活用して写真品質のHDR画像を生成する。
ステップ52において、放射輝度アレイ「Radiance[ ]」は、色相アレイ「Hue[ ]」および彩度アレイ「Saturation[ ]」と組み合わされ、次いでこれらは一つの画像に関連付けられ、次いでステップ53でこの画像は元画像の色空間に変換される。(例えばcimg.sourceforge.orgのcimgライブラリ中のget_RGBtoHSV( )などの)標準的ライブラリ・ルーチンを用い、この画像変換は次式を使って計算され、このConvert( )が画像を元画像色の空間に逆変換する。
Convert(Hue[ ],Saturation[ ],Radiance[ ]/max(Radiance[ ]))*max(Radiance)。
通常ピクセル値は0から1の間で変化するように正規化されているので、この式の除算部「Radiance[ ]/max(Radiance[ ])」が使われている。
図6は、本発明の実施形態による、初期放射輝度アレイの例示的ヒストグラムを示し、これは逆トーン・マッピングの第一フェーズだけを使って得られたものである。この放射輝度アレイはインプットLDR画像から生成される。このヒストグラムのx−軸はlog露光量値を表し、y−軸は発生頻度を表す。図示のように、最大log露光量は8.3であり最小は−9.38で、これは210,381(5桁)のダイナミック・レンジとなる。これは実世界の通常の光景における典型的な値である。
図7は、本発明の実施形態による、逆トーン・マッピングの第二フェーズ後のヒストグラムを示す。最大のlog露光量は、これでは8.71であり最小は−15.52で、このダイナミック・レンジは1.98×10である。従って、第二フェーズによってダイナミック・レンジは2桁増大したことになる。また、このヒストグラムがより平滑で、陰影部を強調しながら両側に広く広がっていることは留意に値する。
生成されたHDR画像の品質を評定するために、MPI HDR(MPIはMax Planck Institute informatik(マックス・プランク境界情報科学)の頭字語)メトリックを使うことができる。このメトリックは、“T.O.Aydin、R.Mantiuk、K.Myszkowski、およびH.Seidel著、の論文題名「Dynamic range independent image quality assessment」、ACM SIGGRAPH 2008年論文(カリフォルニア州ロサンジェルス、2008年8月11〜15日)SIGGRAPH‘08.ACM,NY、ニューヨーク、1−10”に定義されている。この画像品質メトリックは、両方の画像が任意のダイナミック・レンジを有する画像のペアに対して使われる。このメトリックによれば、青、緑、および赤のピクセルを使って要約画像が生成される。最も高いコントリビュータに応じて各ピクセルに対する色が決定される。青ピクセルは、向上されたコントラストを有するピクセルを表し(インプット画像では見えずアウトプット画像で見える)、緑ピクセルはコントラストの喪失を表し、赤ピクセルはコントラストの逆転を表す。各色の値は、その影響の確率が見えるように表される。本発明人は、メトリックの青および緑パラメータが、画像品質を評定する上で特に重要に見えることに気付いた。実際に、できるだけ緑を低減し青を増加させると、コントラストが向上でき、可視のディテールが喪失されないように見えた。結果として、各ピクセルに対する正規化された優位色の和も観測することによって、画像品質評定の改良が達成された。
図8は、いくつかの画像の比較に基づいて、生成されたHDR画像の品質を評定するために行われるステップを表したフローチャートを示す。後記の実験の理解を容易にするため、後記で、画像の識別に使われる特定の記号の定義を以下に示す。
1− 「Real−HDR」は、露光を変えた画像の大きなシーケンスを使って得られた画像を指す。言い換えれば「現実の」HDR画像である。
2− 「Input−LDR」はインプットLDR画像を指す。
3− 「Gen−HDR」は、Input−LDR画像を逆処理して得られた、生成HDR画像を指す。
4− 「Gen−LDR」は、Reinhardらの写真トーン・マッピング演算子(Erik Reinhard、Michael Stark、Peter Shirley、およびJames Ferwerda著、論文題名「Photographic tone reproduction for digital images」、SIGGRAPH’02:Computer Graphics and Interactive Techniques第29回年度協議会抄録、267〜276頁、米国NY州ニューヨーク、2002年。ACM Press)を使って得られた、トーン・マップされたGen−HDRを指す。
5− 「Gen−HDR−Rad」は、本発明による、逆トーン・マッピングの第一フェーズだけを使った、生成HDR画像を指す。
以下の図8の説明は、上記で定義された画像1〜5を比較することによって得られた青/緑ピクセルの和の値を示す、図9および10を参照しながらこれらの説明と併せ行うこととする。図9は、右側2列が各々の比較に対する青と緑との値を表している表であり、図10は、各比較に対するピクセル当たりのコントラスト・ゲイン(正規化された青ピクセルの和)を表した図である。本発明の実施形態による、逆トーン・マッピング各フェーズの、生成HDR画像の品質における影響を評定するために、最初にステップ80において、Gen−HDR−RadとReal−HDRとが比較される。この最初の比較は、本発明による、逆トーン・マッピングの第一フェーズ適用の影響を評定する。得られた結果のAが図9および10に示されている。この結果は、40.0%の大幅なピクセル当たりコントラスト・ゲイン、および0.1%のごくわずかなコントラスト喪失があることを表している。
本発明による、逆トーン・マッピングの第二フェーズ適用の影響を評定するために、ステップ81において、Gen−HDRとReal−HDRとの比較が行われる。得られた結果Bは、図9および10に示され、77.4%のずっと大きなピクセル当たりコントラスト・ゲインおよび0.0%に近い無視可能なコントラスト喪失を表している。これは、第二フェーズが、コントラスト・ゲインに37%のさらなる増大を効果的に加えたことを示している。
HDR画像の典型的な用途の一つはLDR画像の品質の向上なので、ステップ82では、Gen−LDRとInput−LDRとを比較することによってその影響を検証する。得られた結果Cは、図9および10に表され、大幅なコントラスト・ゲインの向上が示されており、これでは47.2%のゲインでコントラストの喪失はない。これによれば、HDRに変換する際に元画像のディテールの喪失はない。これに加えて、生成HDRは、元画像では見えなかったディテールも包含している。この後者の結果は、例えば医療画像分割などの画像改良アプリケーションの助力となり得るであろう。
本発明は、例えば、既存のLDRビデオおよび画像ライブラリを、新規のHDRディスプレイに用いるためのHDRビデオおよび画像に変換するアプリケーションなど、多くの画像処理アプリケーションに応用することができよう。また、本発明は、LDR画像の改善にも適用でき、LDR画像はまずHDR画像に変換され、次いで(平滑化、エッジ検出などの)標準的な画像処理による改善が適用され、しかる後、(Reinhardのトーン・マッピング演算子などの)標準的トーン・マッピング技法を使って、HDR画像からLDRに戻し変換が行われる。
斯くのごとく、本発明は単一のLDR画像からHDR値を再生するための効率的な技法を提供する。
従来の対処技術は高輝度部分だけの拡大なのに対し、本発明では、ダイナミック・レンジは、輝度チャネルの両方のテール(高輝度および低輝度部分)から拡大される。これは、画像の中間部/陰影部に亘っての視認可能なディテールのレベルを増加させる。これは、画像のダイナミック・レンジを、従来技術によるものよりさらに増大する。
逆トーン・マッピングの第一フェーズで、カメラの露光量−ピクセル・カーブを使用することによって、画像のより現実に近い放射輝度が提供され、仕上がり画像の観賞品質が向上される。
本発明によって、医療画像化など多くのアプリケーションにおいて、最新のHDRディスプレイを使って既存のLDR画像を見ることができる。
さらに、本発明の実施形態による逆トーン・マッピングを用い、より高品質のHDR画像を生成してそれを順方向トーン・マップしてLDRに戻すことによって、LDRカメラのアウトプットの品質を向上することができ、これによりコントラストの可視性の大幅な改善が実現できる。その結果として、さらなる処理作業のためのエッジの検出を簡素化することができる。
本発明は多くのアプリケーションを有する。例えば、医療画像化におけるエッジ検出などのさらなる画像処理でのHDRドメインにおける作業の改良など、デジタル画像に対する向上されたオペレーションとして本発明を用いることができる。
さらに一般的に言えば、本発明は、低品質の音声信号のダイナミック・レンジの増大など、任意のデジタル信号に適用できる。
図11は、本発明の実施形態による、ビデオ画像をLDR画像からHDR画像に変換するため使われるコンピュータ・システム90を示す。コンピュータ・システム90は、プロセッサ91と、プロセッサ91に連結された入力デバイス92と、プロセッサ91に連結された出力デバイス93と、各々がプロセッサ91連結されたメモリ・デバイス94および95とを含む。プロセッサ91は、中央処理装置(CPU)などの処理装置である。入力デバイス92は、とりわけ、キーボード、マウスなどとすることができる。出力デバイス93は、とりわけ、プリンタ、プロッタ、ディスプレイ・デバイス(例えばコンピュータ・スクリーン)、磁気テープ、着脱可能ハード・ディスク、フレキシブル・ディスクなどとすることができる。このディスプレイ・デバイスには、図1の100のディスプレイ領域を含めることができる。メモリ・デバイス94および95は、とりわけ、ハード・ディスク、フレキシブル・ディスク、磁気テープ、コンパクト・ディスク(CD:compact disc)またはデジタル・ビデオ・ディスク(DVD:digital video disc)などの光記憶デバイス、ダイナミック・ランダム・アクセス・メモリ(DRAM:dynamic random access memory)、読み取り専用メモリ(ROM:read−only memory)などとすることができる。メモリ・デバイス95は、コンピュータ実行可能命令を含むコンピュータ・プログラムである、コンピュータ・コード97を包含する。コンピュータ・コード97は、ビデオ画像をLDR画像からHDR画像に変換するためのアルゴリズムを包含する。プロセッサ91はコンピュータ・コード97を実行する。メモリ・デバイス94はインプット・データ96を包含する。インプット・データ96は、コンピュータ・コード97に要求されるインプットを包含する。出力デバイス93は、コンピュータ・コード97からのアウトプットを表示する。メモリ・デバイス94および95(または図11に示されていない一つ以上の追加のメモリ・デバイス)のいずれかまたは両方は、中に具現されたコンピュータ可読プログラムを有する、もしくはその中に格納された他のデータを有する、またはその両方を有するコンピュータ可用記憶媒体(またはプログラム記憶デバイス)として用いることができ、このコンピュータ可読プログラムはコンピュータ・コード97を含む。一般に、コンピュータ・システム90のコンピュータ・プログラム製品(あるいは、製造品)は、上記コンピュータ可用記憶媒体(または上記プログラム記憶デバイス)を含み得る。
図11は、コンピュータ・システム90をハードウエアおよびソフトウエアの特定の構成として示しているが、当業者なら周知のように、前述の目的のために、図11の特定のコンピュータ・システム90と組み合わせて、ハードウエアおよびソフトウエアの任意の構成を用いることができる。例えば、メモリ・デバイス94と95とを、別個のメモリ・デバイスでなく単一のメモリ・デバイスの部分とすることもできる。
本明細書では、例示説明を目的として本発明の特定の実施形態を説明してきたが、当業者には多くの変更および変形が明白になっていよう。

Claims (11)

  1. デジタル画像を、所与のカメラを使って得た低ダイナミック・レンジ(LDR)画像から、高ダイナミック・レンジ(HDR)画像に変換する方法であって、前記方法は、
    − 前記所与のカメラに対する露光量−ピクセル応答カーブを取得するステップ(21)と、
    − 前記LDR画像をHSB色空間アレイに変換するステップ(22)であって、前記HSB色空間アレイは、色相アレイ、彩度アレイ、および明度アレイを含む、前記変換するステップと、
    − 前記露光量−ピクセル応答カーブの逆関数を使って、前記明度アレイ中の各ピクセルを逆マッピングすることによって放射輝度アレイを算定するステップ(23、24)と、
    を含む方法。
  2. − 前記放射輝度アレイ中の各ピクセルに対し局部輝度平均を算定し(50)、前記ピクセルに対する前記放射輝度アレイの値と前記局部輝度平均とから、各ピクセルに対する調整された放射輝度アレイを計算するステップ(51)と、
    − 前記放射輝度アレイを、前記HSBアレイの前記色相および彩度アレイと組み合わせるステップ(52)と、
    − 前記画像を、前記色相、彩度、および放射輝度アレイを使い画像色空間に変換し、前記HDR画像を提供するステップ(53)と、
    をさらに含む、請求項1に記載の方法。
  3. 前記露光量−ピクセル応答カーブはカメラのデータシートから取得される、先行する請求項のいずれかに記載の方法。
  4. 前記露光量−ピクセル応答カーブは、同一の光景に対し異なる露光をされた一連の画像から取得される、請求項1または2に記載の方法。
  5. 各ピクセル(u,v)に対し、前記調整された放射輝度Radiance’[u,v]は次式により計算され、
    Radiance’[u,v] = Radiance[u,v]*Radiance[u,v]/Local_Luminance_Average[u,v]、
    Radiance[u,v]は、ピクセル(u,v)に対する前記放射輝度の値を指し、Local_Luminance_Average[u,v]は、ピクセル(u,v)における前記局部輝度平均を指す、先行する請求項のいずれかに記載の方法。
  6. 前記画像を画像色空間に変換する前記ステップは、次式により遂行され、
    Convert(Hue[ ],Saturation[ ],Radiance[ ]/max(Radiance[ ]))*max(Radiance)、
    Hue[ ]は前記色相アレイを、Saturation[ ]は前記彩度アレイを、Radiance[ ]は前記放射輝度アレイを指す、先行する請求項のいずれかに記載の方法。
  7. 前記局部輝度平均は次式で定義されるi畳み込みカーネルから算定され、
    kernel[ ]=GaussianKernel(r)[ ]、
    はGaussianKernelの半径であり、iは0〜8の間で変化する前記局部コントラストのスケール指標である、先行する請求項のいずれかに記載の方法。
  8. は1/(2*Sqrt(2))*1.6に設定される、請求項7に記載の方法。
  9. コンピュータ・プログラムが適切なコンピュータ・デバイス上で実行されたとき請求項1〜7のいずれか一つに記載の前記方法の前記ステップを実行するための命令を含む前記コンピュータ・プログラム。
  10. 中に符号化された、請求項9に記載のコンピュータ・プログラムのセットを有するコンピュータ可読媒体。
  11. 請求項1〜8のいずれか一つに記載の前記方法の前記ステップを実行するようになされた手段を含むシステム。
JP2012532506A 2009-10-08 2010-07-12 デジタル画像を低ダイナミック・レンジ(ldr)画像から高ダイナミック・レンジ(hdr)画像に変換するための方法およびシステム Active JP5752133B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP09172538 2009-10-08
EP09172538.2 2009-10-08
PCT/EP2010/059950 WO2011042229A1 (en) 2009-10-08 2010-07-12 Method and system for transforming a digital image from a low dynamic range (ldr) image to a high dynamic range (hdr) image

Publications (2)

Publication Number Publication Date
JP2013507674A true JP2013507674A (ja) 2013-03-04
JP5752133B2 JP5752133B2 (ja) 2015-07-22

Family

ID=42668680

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012532506A Active JP5752133B2 (ja) 2009-10-08 2010-07-12 デジタル画像を低ダイナミック・レンジ(ldr)画像から高ダイナミック・レンジ(hdr)画像に変換するための方法およびシステム

Country Status (7)

Country Link
US (1) US9020257B2 (ja)
JP (1) JP5752133B2 (ja)
CN (1) CN102696220A (ja)
DE (1) DE112010003988B4 (ja)
GB (1) GB2486348B (ja)
TW (1) TW201138481A (ja)
WO (1) WO2011042229A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9020257B2 (en) 2009-10-08 2015-04-28 International Business Machines Corporation Transforming a digital image from a low dynamic range (LDR) image to a high dynamic range (HDR) image
JP2015210804A (ja) * 2014-04-30 2015-11-24 コニカミノルタ株式会社 Hdr画像生成プログラムおよびその装置、方法
JP2017502602A (ja) * 2013-12-27 2017-01-19 トムソン ライセンシングThomson Licensing 画像の逆トーンマッピングの方法
KR101957850B1 (ko) * 2017-12-01 2019-03-13 가톨릭대학교 산학협력단 유도 필터를 이용한 리버스 톤 매핑 장치 및 방법
KR20200100077A (ko) * 2017-12-21 2020-08-25 인터디지털 브이씨 홀딩스 인코포레이티드 개선된 역 톤 매핑 방법 및 대응하는 디바이스

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8897524B2 (en) * 2007-10-29 2014-11-25 Ramot At Tel-Aviv University Ltd. Method and device for processing computerized tomography images
EP2235677A1 (en) * 2007-12-20 2010-10-06 Ramot at Tel-Aviv University Ltd. Method of and apparatus for processing images
EP2601636A1 (en) 2010-08-05 2013-06-12 Ramot at Tel Aviv University, Ltd. Method and system for processing an image featuring multiple scales
KR101482544B1 (ko) * 2010-08-31 2015-01-14 돌비 레버러토리즈 라이쎈싱 코오포레이션 디스플레이 백라이트 정규화
JP5803233B2 (ja) * 2011-02-14 2015-11-04 株式会社リコー 撮像装置および撮像方法
US9886552B2 (en) 2011-08-12 2018-02-06 Help Lighting, Inc. System and method for image registration of multiple video streams
US9338389B2 (en) 2011-10-20 2016-05-10 Dolby Laboratories Licensing Corporation Method and system for video equalization
US9020203B2 (en) 2012-05-21 2015-04-28 Vipaar, Llc System and method for managing spatiotemporal uncertainty
CN102779334B (zh) * 2012-07-20 2015-01-07 华为技术有限公司 一种多曝光运动图像的校正方法及装置
US9406028B2 (en) 2012-08-31 2016-08-02 Christian Humann Expert system for prediction of changes to local environment
US8446481B1 (en) 2012-09-11 2013-05-21 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
CN104620281B (zh) 2012-09-12 2018-08-14 皇家飞利浦有限公司 使hdr观看为内容所有者同意的过程
US8995783B2 (en) 2012-09-19 2015-03-31 Qualcomm Incorporation System for photograph enhancement by user controlled local image enhancement
US9230509B2 (en) * 2012-10-08 2016-01-05 Koninklijke Philips N.V. Luminance changing image processing with color constraints
EP2920759B1 (en) * 2012-11-16 2021-01-27 InterDigital VC Holdings, Inc. Processing high dynamic range images
US8866927B2 (en) 2012-12-13 2014-10-21 Google Inc. Determining an image capture payload burst structure based on a metering image capture sweep
US9087391B2 (en) 2012-12-13 2015-07-21 Google Inc. Determining an image capture payload burst structure
US8866928B2 (en) 2012-12-18 2014-10-21 Google Inc. Determining exposure times using split paxels
US9247152B2 (en) 2012-12-20 2016-01-26 Google Inc. Determining image alignment failure
US9710968B2 (en) * 2012-12-26 2017-07-18 Help Lightning, Inc. System and method for role-switching in multi-reality environments
CN103905738B (zh) * 2012-12-31 2018-12-21 博世汽车部件(苏州)有限公司 高动态范围图像生成系统及方法
US8995784B2 (en) 2013-01-17 2015-03-31 Google Inc. Structure descriptors for image processing
US9686537B2 (en) 2013-02-05 2017-06-20 Google Inc. Noise models for image processing
CN109064433B (zh) * 2013-02-21 2022-09-13 皇家飞利浦有限公司 改进的hdr图像编码和解码方法及设备
US9117134B1 (en) 2013-03-19 2015-08-25 Google Inc. Image merging with blending
US9066017B2 (en) 2013-03-25 2015-06-23 Google Inc. Viewfinder display based on metering images
US9077913B2 (en) 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
US9131201B1 (en) 2013-05-24 2015-09-08 Google Inc. Color correcting virtual long exposures with true long exposures
US9940750B2 (en) 2013-06-27 2018-04-10 Help Lighting, Inc. System and method for role negotiation in multi-reality environments
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
CN106713697B (zh) 2013-10-22 2019-02-12 杜比实验室特许公司 用于扩展动态范围图像的引导颜色分级
JP2016541140A (ja) 2013-11-13 2016-12-28 エルジー エレクトロニクス インコーポレイティド Hdr放送サービスの提供のための放送信号送受信方法及び装置
WO2015077329A1 (en) * 2013-11-22 2015-05-28 Dolby Laboratories Licensing Corporation Methods and systems for inverse tone mapping
EP3576415A1 (en) 2014-02-07 2019-12-04 SONY Corporation Transmission device, transmission method, reception device, reception method, display device, and display method
US9973723B2 (en) * 2014-02-24 2018-05-15 Apple Inc. User interface and graphics composition with high dynamic range video
EP2927865A1 (en) * 2014-04-01 2015-10-07 Thomson Licensing Method and apparatus for encoding and decoding HDR images
JP6546599B2 (ja) * 2014-02-26 2019-07-17 トムソン ライセンシングThomson Licensing Hdr画像を符号化及び復号する方法及び装置
CN110489073B (zh) * 2014-06-10 2023-09-01 松下知识产权经营株式会社 变换方法及变换装置
KR102445762B1 (ko) 2014-06-25 2022-09-22 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 이미지 프로세싱 방법 및 디바이스
CN104320598B (zh) * 2014-11-06 2017-09-26 中国科学院光电研究院 一种基于ccd阵列像素响应函数频域标定的无像差图像重构方法
CN107209928A (zh) * 2015-01-30 2017-09-26 汤姆逊许可公司 用于将hdr画面映射为sdr画面的方法和设备以及相应的sdr到hdr的映射方法和设备
EP3051488A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing A method and apparatus for inverse-tone mapping a picture
JP2016163052A (ja) * 2015-02-26 2016-09-05 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム
US20160286241A1 (en) * 2015-03-24 2016-09-29 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
KR20160138685A (ko) * 2015-05-26 2016-12-06 에스케이하이닉스 주식회사 저 복잡도의 하이 다이나믹 레인지 이미지 생성 장치 및 그 방법
US10108213B2 (en) 2015-06-16 2018-10-23 The Hong Kong University Of Science And Technology Three-dimensional power stage and adaptive pipeline control
EP3131284A1 (en) * 2015-08-13 2017-02-15 Thomson Licensing Methods, systems and aparatus for hdr to hdr inverse tone mapping
US10885614B2 (en) 2015-08-19 2021-01-05 Samsung Electronics Co., Ltd. Electronic device performing image conversion, and method thereof
KR102523505B1 (ko) * 2015-08-31 2023-04-18 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 역 톤 매핑을 위한 방법 및 장치
EP3364654B1 (en) 2015-12-15 2021-03-03 Huawei Technologies Co., Ltd. High dynamic range image processing method and apparatus
US9697592B1 (en) * 2015-12-30 2017-07-04 TCL Research America Inc. Computational-complexity adaptive method and system for transferring low dynamic range image to high dynamic range image
EP3427478B1 (en) * 2016-03-07 2023-08-23 Koninklijke Philips N.V. Encoding and decoding hdr videos
US10699391B2 (en) 2016-04-29 2020-06-30 Disney Enterprises, Inc. Dynamic range expansion highlight information restoration
EP3249605A1 (en) * 2016-05-23 2017-11-29 Thomson Licensing Inverse tone mapping method and corresponding device
KR102552747B1 (ko) * 2016-06-28 2023-07-11 주식회사 엘엑스세미콘 역 톤 매핑 방법
US10062152B2 (en) 2016-07-27 2018-08-28 Sharp Laboratories Of America, Inc. System for conversion of low dynamic range images to high dynamic range images
EP3312798A1 (en) * 2016-10-20 2018-04-25 Thomson Licensing Method and device for inverse tone mapping
AU2016427777B2 (en) * 2016-10-31 2022-12-15 Victoria Link Limited A rendering process and system
US10187584B2 (en) 2016-12-20 2019-01-22 Microsoft Technology Licensing, Llc Dynamic range extension to produce high dynamic range images
EP3373585A1 (en) * 2017-03-09 2018-09-12 Thomson Licensing Method for inverse tone mapping of an image with visual effects
CN107483844B (zh) * 2017-09-04 2020-08-25 海信视像科技股份有限公司 一种图像处理的方法和设备
KR102460390B1 (ko) * 2018-01-24 2022-10-28 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
KR102524671B1 (ko) * 2018-01-24 2023-04-24 삼성전자주식회사 전자 장치 및 그의 제어 방법
US10715774B2 (en) 2018-07-23 2020-07-14 Microsoft Technology Licensing, Llc Color conversion for ambient-adaptive digital content
KR102127760B1 (ko) * 2018-11-30 2020-06-29 고려대학교 산학협력단 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 장치 및 방법, 상기 방법을 수행하기 위한 기록 매체
CN109785263B (zh) * 2019-01-14 2022-09-16 北京大学深圳研究生院 一种基于Retinex的逆色调映射图像转换方法
CN110009574B (zh) * 2019-02-13 2023-01-17 中山大学 一种低动态范围图像逆向生成高动态范围图像的方法
US11170690B2 (en) * 2019-09-26 2021-11-09 Apple Inc. Pixel leakage and internal resistance compensation systems and methods
CN110910347B (zh) * 2019-10-18 2023-06-06 宁波大学 一种基于图像分割的色调映射图像无参考质量评价方法
CN111709900A (zh) * 2019-10-21 2020-09-25 上海大学 一种基于全局特征指导的高动态范围图像重建方法
CN111242883B (zh) * 2020-01-10 2023-03-28 西安电子科技大学 一种基于深度学习的动态场景hdr重建方法
CN113395459A (zh) * 2020-03-13 2021-09-14 西安诺瓦星云科技股份有限公司 动态范围调整系统及方法
WO2021247435A1 (en) * 2020-06-05 2021-12-09 Magic Leap, Inc. Enhanced eye tracking techniques based on neural network analysis of images
US11544827B2 (en) * 2021-04-30 2023-01-03 Realnetworks, Inc. Hue-based video enhancement and rendering
US11595589B2 (en) 2021-07-22 2023-02-28 Arthrex, Inc. Surgical camera system with high dynamic range
KR20230065055A (ko) 2021-11-04 2023-05-11 삼성전자주식회사 이미지 센서
CN116740256A (zh) * 2022-03-03 2023-09-12 腾讯科技(成都)有限公司 图像渲染方法、装置、电子设备、存储介质及程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006268135A (ja) * 2005-03-22 2006-10-05 Omron Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2007020176A (ja) * 2005-07-05 2007-01-25 Xerox Corp 画像のコントラスト強調方法、画像のコントラスト強調システム、及び画像が局所的コントラスト強調を受けるかどうかを判定する方法
WO2008066840A2 (en) * 2006-11-27 2008-06-05 Dolby Laboratories Licensing Corporation Apparatus and methods for boosting dynamic range in digital images
JP2009049547A (ja) * 2007-08-15 2009-03-05 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5828793A (en) * 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
US6864916B1 (en) 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
US6687400B1 (en) 1999-06-16 2004-02-03 Microsoft Corporation System and process for improving the uniformity of the exposure and tone of a digital image
US6650774B1 (en) 1999-10-01 2003-11-18 Microsoft Corporation Locally adapted histogram equalization
US7298402B2 (en) * 2000-10-26 2007-11-20 Olympus Corporation Image-pickup apparatus with expanded dynamic range capabilities
US7120293B2 (en) 2001-11-30 2006-10-10 Microsoft Corporation Interactive images
US7430011B2 (en) * 2003-01-22 2008-09-30 Omnivision Technologies, Inc. Image sensor having dual automatic exposure control
US7142723B2 (en) 2003-07-18 2006-11-28 Microsoft Corporation System and process for generating high dynamic range images from multiple exposures of a moving scene
US20050243176A1 (en) * 2004-04-30 2005-11-03 James Wu Method of HDR image processing and manipulation
TWI246031B (en) * 2004-09-17 2005-12-21 Ulead Systems Inc System and method for synthesizing multi-exposed image
TW200820123A (en) * 2006-10-20 2008-05-01 Primax Electronics Ltd Method and system of generating high dynamic range image corresponding to specific scene
JP5188101B2 (ja) * 2007-06-01 2013-04-24 株式会社キーエンス 拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体
US8237813B2 (en) * 2009-04-23 2012-08-07 Csr Technology Inc. Multiple exposure high dynamic range image capture
WO2011042229A1 (en) 2009-10-08 2011-04-14 International Business Machines Corporation Method and system for transforming a digital image from a low dynamic range (ldr) image to a high dynamic range (hdr) image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006268135A (ja) * 2005-03-22 2006-10-05 Omron Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2007020176A (ja) * 2005-07-05 2007-01-25 Xerox Corp 画像のコントラスト強調方法、画像のコントラスト強調システム、及び画像が局所的コントラスト強調を受けるかどうかを判定する方法
WO2008066840A2 (en) * 2006-11-27 2008-06-05 Dolby Laboratories Licensing Corporation Apparatus and methods for boosting dynamic range in digital images
JP2009049547A (ja) * 2007-08-15 2009-03-05 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN7014000107; Erik Reinhard, 外3名: 'Photographic tone reproduction for digital images' ACM Transactions on Graphics (TOG) - Proceedings of ACM SIGGRAPH 2002 Volume 21 Issue 3, 2002, p.267-276 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9020257B2 (en) 2009-10-08 2015-04-28 International Business Machines Corporation Transforming a digital image from a low dynamic range (LDR) image to a high dynamic range (HDR) image
JP2017502602A (ja) * 2013-12-27 2017-01-19 トムソン ライセンシングThomson Licensing 画像の逆トーンマッピングの方法
JP2015210804A (ja) * 2014-04-30 2015-11-24 コニカミノルタ株式会社 Hdr画像生成プログラムおよびその装置、方法
KR101957850B1 (ko) * 2017-12-01 2019-03-13 가톨릭대학교 산학협력단 유도 필터를 이용한 리버스 톤 매핑 장치 및 방법
KR20200100077A (ko) * 2017-12-21 2020-08-25 인터디지털 브이씨 홀딩스 인코포레이티드 개선된 역 톤 매핑 방법 및 대응하는 디바이스
KR102567860B1 (ko) 2017-12-21 2023-08-18 인터디지털 브이씨 홀딩스 인코포레이티드 개선된 역 톤 매핑 방법 및 대응하는 디바이스

Also Published As

Publication number Publication date
DE112010003988T5 (de) 2013-01-17
WO2011042229A1 (en) 2011-04-14
US9020257B2 (en) 2015-04-28
DE112010003988B4 (de) 2016-05-12
GB201121761D0 (en) 2012-02-01
TW201138481A (en) 2011-11-01
CN102696220A (zh) 2012-09-26
GB2486348B (en) 2014-11-12
JP5752133B2 (ja) 2015-07-22
US20120201456A1 (en) 2012-08-09
GB2486348A (en) 2012-06-13

Similar Documents

Publication Publication Date Title
JP5752133B2 (ja) デジタル画像を低ダイナミック・レンジ(ldr)画像から高ダイナミック・レンジ(hdr)画像に変換するための方法およびシステム
Shen et al. Exposure fusion using boosting Laplacian pyramid.
JP5411706B2 (ja) デジタル画像のダイナミックレンジを増強するための装置及び方法
JP4429103B2 (ja) 高ダイナミックレンジ画像を生成するシステムおよび方法
US7158686B2 (en) Enhancing the tonal characteristics of digital images using inflection points in a tone scale function
CN105279746B (zh) 一种基于双边滤波的多曝光图像融合方法
KR102567860B1 (ko) 개선된 역 톤 매핑 방법 및 대응하는 디바이스
Boschetti et al. High dynamic range image tone mapping based on local histogram equalization
JP2004030670A (ja) デジタル画像の色調特徴の強調方法
JP2018527675A (ja) 逆トーンマッピングの方法及び装置
JP2011193511A (ja) 高ダイナミックレンジ画像データを復号化するための装置及び方法、表示用画像を処理可能なビューア、ならびに表示装置
Xu et al. Correction of clipped pixels in color images
JP2005039460A (ja) 画像処理方法および装置
Kao High dynamic range imaging by fusing multiple raw images and tone reproduction
Abebe et al. Towards an automatic correction of over-exposure in photographs: Application to tone-mapping
JP7307371B2 (ja) 画像調整装置、画像調整方法及びプログラム
JP6160426B2 (ja) 画像処理装置及びプログラム
Jang et al. Inverse tone mapping operator using sequential deep neural networks based on the human visual system
TW200833106A (en) Tone mapping method for dynamic range image
JP6160425B2 (ja) 画像処理装置及びプログラム
Jishnu et al. Multi exposure image fusion based on exposure correction and input refinement using limited low dynamic range images
JP2005160080A (ja) 鮮明さ向上装置およびその方法
Shen et al. Recovering high dynamic range by Multi-Exposure Retinex
JP4929095B2 (ja) 画像データ生成方法、プログラム、記録媒体、及び画像データ生成装置
Seo et al. Hue-correction scheme considering non-linear camera response for multi-exposure image fusion

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150519

R150 Certificate of patent or registration of utility model

Ref document number: 5752133

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150