JP2016201800A - 第１のダイナミックレンジを有する画像を生成、符号化、または復号するための方法およびデバイス、ならびに対応するコンピュータプログラム製品およびコンピュータ可読媒体 - Google Patents

Abstract

【課題】より高いダイナミックレンジを有するＨＤＲ（「高ダイナミックレンジ」）画像を、より低いダイナミックレンジを有するＬＤＲ（「低ダイナミックレンジ」）画像から生成するための技法を提供する。【解決手段】第１のひな型（ｅｐｉｔｏｍｅ）と呼ばれる、第１のダイナミックレンジを有する画像のひな型を得るステップ１１と、第１のダイナミックレンジを有する画像を第２のダイナミックレンジを有する画像および第１のひな型から生成するステップ１２と、を含む。【選択図】図１

Description

本開示は、画像、またはビデオとも呼ばれる画像のシーケンスの処理に関する。

より詳細には、本開示は、より高いダイナミックレンジを有する少なくとも１つの画像、たとえばＨＤＲ（「高ダイナミックレンジ」）画像を、より低いダイナミックレンジを有する少なくとも１つの画像、たとえばＬＤＲ（「低ダイナミックレンジ」）画像または現在のダイナミックレンジ画像から生成するための技法を提供する。

本開示は、ＨＤＲビデオの制作、分配、およびレンダリングに関連する任意の応用例に特に適合される。本開示は、ビデオ圧縮および表現に関するが、レンダリングとしても知られる画像エンハンスメントにも関する。

特に、本開示は、高ダイナミックレンジを有する画像またはビデオの符号化および復号を改善することを目的とする。

また、本開示の少なくとも１つの実施形態は、逆トーンマッピング演算子または超解像技法を改善することを目的とする。

このセクションは、下記の、および／または下記で特許請求されている本開示の様々な特徴に関連し得る様々な技術特徴を読者に紹介することが意図されている。この考察は、本開示の様々な特徴のよりよい理解を容易にするために背景情報を読者に提供する助けになると考えられる。したがって、これらの記述は、この観点から読まれるべきであり、従来技術の認めることとして読まれるべきでないことを理解されたい。

ダイナミックレンジは、定義によれば、所与の方向で移動する光の単位面積当たりの光度の測光尺度であるルミナンス（ルミナンスはｃｄ／ｍ²で表される）に対応する変化可能な量の最大可能な値と最小可能な値との間の比である。

より低いダイナミックレンジを有する画像／ビデオからより高いダイナミックレンジを有する画像／ビデオを生成するために、異なる技法が提案されている。

第１の知られている技法は、より感度がよいセンサ（ＲＥＤまたはＨＡＲＲＩカメラなど）、マルチカメラセットアップ（視差がなく、１つが露出過度、１つが露出不足のカメラを有するステレオリグを使用する）、または時間的なブラケティング（同じ画像を異なる開口で連続的に撮影する）の使用に依拠して、ＨＤＲ画像／ビデオを直接取り込む。

しかし、そのようなデバイスは非常に高価であり、取り込まれたＨＤＲ画像は、符号化され送信されるように、より低いダイナミックレンジで変換されることを必要とする。

さらに、時間的なブラケティングは、ビデオでは動きのぼけが生み出されるので、主に写真／静止画像に使用される。

第２の知られている技法は、手動の作成に依拠する。色管理プロセス中、基準ディスプレイ上でのレンダリングに基づいて画像の色および輝度を拡張することが可能である。そのような技法は、映画に実施される従来の後処理である。

しかし、そのような技法は時間がかかり、自然な光を有する画像を生成しない。

第３の知られている技法は、逆トーンマッピング演算子（ｉＴＭＯ）に依拠する。ｉＴＭＯは、あるレンジからより高いレンジにダイナミクスを拡張するために使用される。そのような演算子は、すべての画素に同じ展開関数が使用される全演算子、または展開関数がコンテンツによって変わる局所演算子など、使用される画像処理アルゴリズムに基づいて分類され得る。

しかし、そのような演算子は、局所的な変動を有し、時間的に一貫した現実的なＨＤＲビデオを得ることが困難であるため、今日、十分に効率的なものではない。これは、減じたデータセットから情報を外挿しようと試みるとき一般的な問題である。

本開示は、上述の欠点の少なくとも１つを克服する。

本開示は、第１のダイナミックレンジを有する少なくとも１つの画像を、上記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像から生成するための方法であって、
− 第１のひな型（ｅｐｉｔｏｍｅ）と呼ばれる、第１のダイナミックレンジを有する上記画像のひな型を得るステップと、
− 第１のダイナミックレンジを有する上記画像を第２のダイナミックレンジを有する上記画像および上記第１のひな型から生成するステップとを含む方法に関する。

したがって、本開示は、より高いダイナミックレンジを有する画像またはビデオのひな型の使用できることを仮定して、より高いダイナミックレンジ（第１のダイナミックレンジ）を有する画像またはビデオを、より低いダイナミックレンジ（第２のダイナミックレンジ）を有する画像またはビデオから効率的に生成するための新規の技法を提案する。

そのようなひな型は、第１のひな型とも呼ばれ、より低いダイナミックレンジを有する画像またはビデオをより高いダイナミックレンジを有する画像またはビデオに変換する助けとなるように使用することができる情報またはメタデータを含む。

具体的には、第１のダイナミックレンジを有する画像は、高ダイナミックレンジ（ＨＤＲ）画像であり、第２のダイナミックレンジを有する画像は、低ダイナミックレンジ（ＬＤＲ）画像である。ＨＤＲ画像は、現実のシーンに見出される強度レベルの範囲をより正確に表すことができる。

本開示の一実施形態によると、第１のダイナミックレンジを有する上記画像は、上記第１のひな型から得られた現実の光情報で生成される。

したがって、現実の光情報を含む第１のひな型を使用し、従来技術の技法より現実的に、より高いダイナミックレンジを有する画像を生成することができる。

このような実施形態は、逆トーンマッピング演算子（ｉＴＭＯ）を改善するための手段を提供する。

本開示の他の実施形態によると、第１のダイナミックレンジを有する画像を生成するステップは、
− 第２のひな型と呼ばれる第２のダイナミックレンジを有する上記画像のひな型を、第２のダイナミックレンジを有する上記画像から決定するステップと、
− 上記第２のひな型と第２のダイナミックレンジを有する上記画像との間のマッピング関数を決定するステップと、
− 上記マッピング関数を上記第１のひな型に適用し、第１のダイナミックレンジを有する上記画像を生成するステップとを含む。

したがって、第２のひな型から第２のダイナミックレンジを有する画像に進むことを可能にするマッピング関数を第１のひな型に適用し、第１のダイナミックレンジを有する画像を生成することができる。

第１の例によると、上記マッピング関数は、上記第２のひな型と第２のダイナミックレンジを有する上記画像との間の変換マップである。

そのような変換マップは、第２のひな型の構築中に作り上げられ得る。

第２の例によると、上記マッピング関数は、第２のダイナミックレンジを有する上記画像内の少なくとも１つのブロックと、上記第２のひな型内のＫ個のパッチとの間の一次結合であり、Ｋは、Ｋ＞１など整数である。

この第２の例によると、上記マッピング関数は、局所線形埋込み（ＬＬＥ）関数から決定され得る。

したがって、マッピング関数を決定するステップは、上記第２のひな型内の上記Ｋ個のパッチの各パッチ

に適用されることになる重みｗ_i,kを決定し、

など第２のダイナミックレンジを有する上記画像内の少なくとも１つのブロックｘ_iを得ることを含み、ここで

であり、Ｋは、第２のダイナミックレンジを有する上記画像の１つのブロックから得られる上記第２のひな型内のパッチの数である。

上記マッピング関数を上記第１のひな型に適用するステップは、上記第２のひな型内の上記Ｋ個のパッチについて、上記第１のひな型内のＫ個の対応するパッチ（たとえば、Ｋ個の共存パッチ）を決定することを含む。

次いで、

など、第１のダイナミックレンジを有する上記画像の少なくとも１つのブロックｙ_iを再構築するために、重みｗ_i,kが上記第１のひな型内の上記Ｋ個の対応するパッチの各パッチ

に適用される。

第３の例によると、上記マッピング関数は、回帰関数、たとえば線形回帰またはカーネル回帰から決定される。

他の実施形態によると、第１のダイナミックレンジを有する上記画像を生成するステップは、第１のダイナミックレンジを有するアップサンプリングされた画像を生成するために、第２のダイナミックレンジを有する上記画像をアップサンプリングすることをさらに含む。

このようにして、より高いダイナミックレンジへのアップサンプリングおよび変換は、同時に、または２つの連続するステップで実施され得る。

他の実施形態によると、上記生成方法は、
− 第２のダイナミックレンジを有する推定された画像を、第１の反復のために第１のダイナミックレンジを有する上記画像から、または以下の反復のために第１のダイナミックレンジを有する上記補正された画像から得るステップ、
− 第２のダイナミックレンジを有する上記画像と第２のダイナミックレンジを有する上記推定された画像との推定誤差を決定するステップ、および
− 上記推定誤差に応答して、第１のダイナミックレンジを有する上記画像を補正し、第１のダイナミックレンジを有する補正された画像を得るステップのうちの少なくとも１つの反復を含む。

そのような反復的な逆投影技法を使用し、第１のダイナミックレンジを有する上記画像が一貫したものであるか否かをチェックすることができる。

また、本開示は、第１のダイナミックレンジを有する少なくとも１つの画像を符号化するための方法であって、
− 第１のひな型と呼ばれる、第１のダイナミックレンジを有する上記画像のひな型を決定するステップと、
− 上記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像を得るステップと、
− 第２のダイナミックレンジを有する上記画像を符号化するステップと、
− 上記第１のひな型を符号化するステップとを含む方法に関する。

そのような符号化方法は、記憶または送信するために、第２のダイナミックレンジを有する画像および第１のひな型を符号化することを提案する。

第１のダイナミックレンジを有する画像を符号化する代わりに、本開示によると、第２のダイナミックレンジを有する画像と、第１のダイナミックレンジを有する画像に関する情報を含む第１のひな型とを符号化することが提案される。

この符号化は、送信されることになるデータのサイズの削減を可能にする。

さらに、ひな型の送信は、第２のダイナミックレンジを有する画像またはビデオを、復号側で第１のダイナミックレンジを有する画像またはビデオに変換する助けとなる。

さらに、そのようなひな型は、従来のＬＤＲ画像またはビデオとの逆方向互換性と共に、ＨＤＲ画像またはビデオを符号化するために標準化および送信され得る。

具体的には、符号化側では、第２のダイナミックレンジを有する画像は、たとえばトーンマッピング演算子を使用して第１のダイナミックレンジを有する画像を第２のダイナミックレンジを有する画像にダウンコンバートすることによって得られる。

別の例によると、第２のダイナミックレンジを有する上記画像は、上記符号化側にて、たとえば取込みデバイスから直接使用可能になり得る。

また、本開示は、第１のダイナミックレンジを有する少なくとも１つの画像を復号するための方法であって、
− 上記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像を復号するステップと、
− 第１のひな型と呼ばれる、第１のダイナミックレンジを有する上記画像のひな型を復号するステップと、
− 第１のダイナミックレンジを有する上記画像を第２のダイナミックレンジを有する上記画像および上記第１のひな型から生成するステップとを含む方法に関する。

具体的には、第１のダイナミックレンジを有する画像を第２のダイナミックレンジを有する画像および第１のひな型から生成するステップは、上記の生成方法を実施することができる。

したがって、提案されている本開示は、第１のダイナミックレンジを有する元の画像／ビデオに関する何らかの情報が使用できることを仮定して、ＨＤＲ画像／ビデオのような第１のダイナミックレンジを有する画像／ビデオの符号化および復号を改善するための新規の解決策を提供する。

具体的には、提案されている開示は、ＨＤＲ画像／ビデオの送信／圧縮の問題に、第１のダイナミックレンジを有する画像を符号化および送信する代わりに、第１のダイナミックレンジを有する画像のひな型と、第２のダイナミックレンジを有する画像とを符号化および送信することによって対処する。

また、本開示は、第１のダイナミックレンジを有する少なくとも１つの画像を、上記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像から生成するためのデバイスであって、
− 第１のひな型と呼ばれる、第１のダイナミックレンジを有する上記画像のひな型を得るためのモジュールと、
− 第１のダイナミックレンジを有する上記画像を第２のダイナミックレンジを有する上記画像および上記第１のひな型から生成するためのモジュールとを備えるデバイスに関する。

そのようなデバイスは、本明細書で上述されている生成方法を実施するように特に適合され得る。それは、当然ながら、本開示の一実施形態による生成方法に関する異なる特徴を含むことができ、それらを組み合わせることも、別々にとることもできる。したがって、このデバイスの特徴および利点は、生成方法のものと同じであり、あまり十分に詳しくは記載されていない。

さらに、本開示は、第１のダイナミックレンジを有する少なくとも１つの画像を符号化するためのデバイスであって、
− 第１のひな型と呼ばれる、第１のダイナミックレンジを有する上記画像のひな型を決定するためのモジュールと、
− 上記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像を得るためのモジュールと、
− 第２のダイナミックレンジを有する上記画像を符号化するためのモジュールと、
− 上記第１のひな型を符号化するためのモジュールとを備えるデバイスに関する。

このようなデバイスは、本明細書で上述されている符号化方法を実施するように特に適合され得る。それは、当然ながら、本開示の一実施形態による符号化方法に関する異なる特徴を含むことができ、それらを組み合わせることも、別々にとることもできる。したがって、このデバイスの特徴および利点は、符号化方法のものと同じであり、あまり十分に詳しくは記載されていない。

さらに、本開示は、第１のダイナミックレンジを有する少なくとも１つの画像を復号するためのデバイスであって、
− 上記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像を復号するためのモジュールと、
− 第１のひな型と呼ばれる、第１のダイナミックレンジを有する上記画像のひな型を復号するためのモジュールと、
− 第１のダイナミックレンジを有する上記画像を、第２のダイナミックレンジを有する上記画像および上記第１のひな型から生成するためのモジュールとを備えるデバイスに関する。

もう一度、そのようなデバイスは、本明細書で上述されている復号方法を実施するように特に適合され得る。それは、当然ながら、本開示の一実施形態による復号方法に関する異なる特徴を含むことができ、それらを組み合わせることも、別々にとることもできる。したがって、このデバイスの特徴および利点は、復号方法のものと同じであり、あまり十分に詳しくは記載されていない。

本開示の他の特徴は、生成方法および／または符号化方法および／または復号方法を実施するように適合されたソフトウェアコードを含む、通信ネットワークからダウンロード可能な、および／またはコンピュータによって読取り可能な媒体上に記録された、および／またはプロセッサによって実行可能なコンピュータプログラム製品に関し、このソフトウェアコードは、上記の方法のうちの少なくとも１つのステップを実施するように適合される。

さらに、本開示は、プロセッサによって実行されることが可能であり、前述の方法のうちの少なくとも１つのステップを実施するためのプログラムコード命令を含むコンピュータプログラム製品が記録されている非一時的なコンピュータ可読媒体に関する。

開示されている実施形態と範囲が等しいいくつかの特徴が下記に記載されている。これらの特徴は、本開示がとる可能性があるいくつかの形態の簡単な概要を読者に提供するために提示されているにすぎないこと、また、これらの特徴は、本開示の範囲を限定するものではないことを理解されたい。実際には、本開示は、下記に記載されていないことがある様々な特徴を包含することがある。

本開示は、添付の図を参照して、決して限定的なものでない以下の実施形態および実行例によってよりよく理解され、例示されることになる。
本開示の一実施形態による、第１のダイナミックレンジを有する画像を第２のダイナミックレンジを有する画像から生成するための方法の主なステップを示す流れ図である。 本開示の一実施形態による、ＬＤＲからＨＤＲへの変換およびアップスケール化に適用される超解像技法の図である。 本開示の一実施形態による、第１のダイナミックレンジを有する画像を符号化するための方法の主なステップの図である。 本開示の一実施形態による、第１のダイナミックレンジを有する画像を復号するための方法の主なステップの図である。 図１による生成方法を実施するデバイスのブロック図である。 図３による符号化方法を実施するデバイスのブロック図である。 図４による復号方法を実施するデバイスのブロック図である。

図１および図３から図７では、表されているブロックは、純粋に機能的なエンティティであり、必ずしも物理的に別々のエンティティに対応しない。すなわち、これらは、ソフトウェア、ハードウェアの形態で開発されることも、１または複数のプロセッサを含めて１または複数の集積回路内で実施されることもあり得る。

本開示の図および説明は、本開示を明確に理解するために関連がある要素を示すために簡素化されており、一方、見やすくするためにひな型的な符号化デバイスおよび／または復号デバイスに見出される多数の他の要素を省いている。

５．１ 第１のダイナミックレンジを有する画像／ビデオを第２のダイナミックレンジを有する画像／ビデオから生成する
５．１．１ 一般原理
第１のダイナミックレンジを有する少なくとも１つの画像を上記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像から生成するための方法の主なステップが図１に示されている。

たとえば、第１のダイナミックレンジを有する画像がＨＤＲ画像であり、第２のダイナミックレンジを有する画像がＬＤＲ画像であると考えてみよう。

第１のステップ１１中、第１のひな型またはＨＤＲひな型と呼ばれる第１のダイナミックレンジを有する画像（ＨＤＲ画像）のひな型が得られる。

ひな型手法は、画像内の繰り返されるコンテンツを利用することによって画像内の冗長な情報（テクスチャ）を削減することを目的とする。異なる技法を使用し、第１のひな型を構築することができる。たとえば、Ｈ．Ｈｏｐｐｅ（“Ｆａｃｔｏｒｉｎｇ Ｒｅｐｅａｔｅｄ Ｃｏｎｔｅｎｔ Ｗｉｔｈｉｎ ａｎｄ Ａｍｏｎｇ Ｉｍａｇｅｓ”−ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｇｒａｐｈｉｃｓ，ｖｏｌ．２７，ｎｏ．３，ｐｐ．１−１０，２００８）もしくはＳ．Ｃｈｅｒｉｇｕｉ（“Ｅｐｉｔｏｍｅ−ｂａｓｅｄ ｉｍａｇｅ ｃｏｍｐｒｅｓｓｉｏｎ ｕｓｉｎｇ ｔｒａｎｓｌａｔｉｏｎａｌ ｓｕｂ−ｐｅｌ ｍａｐｐｉｎｇ”−Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ ＭＭＳＰ ２０１１）に開示されている技法、またはＰＣＴ出願国際公開第２０１２／０９７９１９号パンフレット（”Ｍｅｔｈｏｄ ａｎｄ ｄｅｖｉｃｅ ｆｏｒ ｅｘｔｒａｃｔｉｎｇ ａｎ ｅｐｉｔｏｍｅ”−ＴＨＯＭＳＯＮ ＬＩＣＥＮＳＩＮＧ）に開示されている技法を、符号化側で使用可能な第１のダイナミックレンジを有する元の画像に適用して、第１のひな型を計算することができる。これらの技法は、任意のタイプの画像／ビデオのために記載されているので、これらは当然ながらＨＤＲ画像／ビデオに当てはまる。

さらに、第１のひな型の符号化を、従来のＬＤＲ画像／ビデオとの逆方向互換性と共にＨＤＲ画像を符号化するために標準化し送信することができる。

第２のステップ１２中、第１のダイナミックレンジを有する画像（ＨＤＲ画像）が第２のダイナミックレンジを有する画像（ＬＤＲ画像）および第１のひな型（ＨＤＲひな型）から生成される。

換言すれば、本開示は、より高いダイナミックレンジを有するＨＤＲ画像を得るために、より低いダイナミックレンジを有するＬＤＲ画像の画素のルミナンス値を変更することを目的とする。

たとえば、第１のひな型は、復号器によって受信することができ、復号器は、第１のひな型、および第２のダイナミックレンジを有する画像から、第１のダイナミックレンジを有する画像を生成することができる。したがって、第１のひな型は、ＬＤＲからＨＤＲへの変換の助けとなるように使用される。

次に、第１のダイナミックレンジを有する画像を第２のダイナミックレンジを有する画像および第１のひな型から生成する第２のステップ１２についてより詳細に述べよう。

５．１．２ 現実の光情報を使用する
本開示の少なくとも１つの実施形態によると、現況技術からの逆トーンマッピング演算子を、上述の技法を使用して改善することができる。

一般に、Ｂａｎｔｅｒｌｅ ｅｔ ａｌ．ｉｎ “Ｒｅａｌ−Ｔｉｍｅ Ｈｉｇｈ Ｆｉｄｅｌｉｔｙ Ｉｎｖｅｒｓｅ Ｔｏｎｅ Ｍａｐｐｉｎｇ ｆｏｒ Ｌｏｗ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｎｔｅｎｔ”，ｉｎ ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＥｕｒｏＧｒａｐｈｉｃｓ ２０１３に記載のものなどｉＴＭＯが、あるレンジからより高いものにダイナミクスを拡張するために使用される。

この技法によると、最初に、カメラ応答関数を使用して、またはガンマを除去して、ＬＤＲ画像が線形化される。次いで、線形化された画像は、写真演算子の逆数を使用して伸長され、これは、制御可能な非線形の膨張曲線をもたらす。これは、

として定義され、ここで、Ｌ_w（ｘ）は、線形化された画像の画素ｘにおける伸長されたルミナンスであり、Ｌ_d（ｘ）は、入力線形化ＬＤＲルミナンスであり、Ｌ_whiteは、曲線の引き伸ばしを決定し、βはパラメータであり、所望の最大ルミナンス出力を決定する。

次いで、光源サンプルが、サンプリングアルゴリズム、たとえば中央値切捨てを使用して、線形化されたＬＤＲ画像から抽出される。次いで、スムースフィールドΛが、密度推定を

として使用して生成され、ここで、ｘは、評価するための現在の画素の位置であり、Ωは、中心ｘおよび半径ｒ_sの球の内側のサンプルのセットであり、Ｖは、Ωの体積であり、Ψ_pは、ｐ番目のサンプルのパワーであり、Ｋは、
ｒ_max：フィルタリングの強さを変更する、帯域幅と呼ばれる密度推定子のパラメータ

：ｘ周りの元の画像のサブ空間（またはカーネルのサイズ）
ｙ_p：サブ空間

内に含まれるｘ周りのサンプルのセット
によって定義されるカーネル密度推定子である。

サンプリング中、大きな低ルミナンスエリアがあるため、いくつかの孤立したサンプルが生成され得る。これらは、孤立した異常値（ｏｕｔｌｉｅｒ）、すなわち伸長されることを必要としないエリアを作り出す可能性がある。この問題は、｜｜Ω｜｜＜ｎｓｍｉｎである場合、密度推定を無効にするセットをクランプすることによって解決することができ、ここでｎｓｍｉｎは閾値である。

スムースフィールドΛが計算され、交差両方向性フィルタ（ｃｒｏｓｓ−ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）を使用してフィルタリングされた後で、ＨＤＲ画像の最終ルミナンス値を得るために、伸長された値Ｌ_w（ｘ）および線形化されたＬＤＲルミナンス値Ｌ_d（ｘ）が、Λ（ｘ）を重みとして使用して線形内挿される。

本開示の少なくとも１つの実施形態により既存のｉＴＭＯを改善するために、Λ（ｘ）重みは、ＬＤＲ画像からの現実の光状態の拡張の代わりに、第１のひな型から決定される現実の光状態に基づくものとすることができる。

従来技術の技法による「ブラインド外挿」は、実際に、人工的な光を生み出す可能性があるが、ひな型は、現実の値を保証する。したがって、ひな型は、疎である場合でさえ、ｉＴＭＯが使用することができる現実の光情報を提供する。

その場合、近傍マッチング基準を使用し、ＨＤＲ画像を生成するためにＬＤＲ画像の光を拡張することを可能にする重み係数マップである光マップまたは拡張マップ（ｅｘｐａｎｄ ｍａｐ）（Ｂａｎｔｅｒｌｅによる命名）から最も近いひな型チャートを見出すことができる。あるいは、同じ場所からのひな型（存在するとき）を使用し、外挿された値を現実の値によって置き換えることができる。次いで、空間フィルタリングが光マップを平滑化する。この技法は、すべての種類のｉＴＭＯに当てはまることに留意されたい。

現在のブロックについて近傍マッチングひな型を見出すために、１つの解決策は、現在のブロックとすべてのひな型ブロックとの差を計算し、最低の差を有するものを選択すること（近傍マッチ）からなる。この差は、ＬＤＲブロックとＨＤＲブロックとの光レベル差を考慮するために、ブロックの平均ルミナンス値を除去した後で計算され得る。あるいは、ＨＤＲひな型を、（前述のように）最初にＬＤＲひな型に変換して、次いで同じ光領域内の差を計算することができる。

したがって、ステップ１２中、第１のダイナミックレンジを有する画像を、第１のひな型から得られた現実の光情報で生成することができる。

５．１．３ マッピング関数を決定する
本開示の少なくとも１つの実施形態によると、マッピング関数を使用して、第１のダイナミックレンジを有する画像を第２のダイナミックレンジを有する画像および第１のひな型から生成することができる。

そのようなマッピング関数は、第２のひな型と呼ばれる第２のダイナミックレンジを有する画像のひな型と、第２のダイナミックレンジを有する画像との間で決定され得、次いで、第１のダイナミックレンジを有する画像を生成するために第１のひな型に適用され得る。

第２のひな型は、たとえば前述のＨ．Ｈｏｐｐｅによって、Ｓ．Ｃｈｅｒｉｇｕｉによって開示されているもの、または国際公開第２０１２／０９７９１９号パンフレットに開示されている技法など、任意の技法を使用して決定され得る。たとえば、第１のひな型および第２のひな型は、適切な情報が両ひな型に含まれるように、同じ技法を使用して計算され得る。他の例によると、第２のひな型は、第１のひな型の計算に使用される第１の画像のブロックより同じ位置に位置する第２の画像のブロックから計算される。

マッピング関数は、異なるタイプのものとすることができる。

第１の例によると、マッピング関数は、第２のひな型と第２のダイナミックレンジを有する画像との間の変換マップである。この変換マップは、第２のひな型を第２のダイナミックレンジを有する画像にマッピングするために設計された１組の割当てベクトルを含む。

そのような変換マップは、たとえば、Ｓ．Ｃｈｅｒｉｇｕｉによって開示されたひな型を計算するための上述の技法を使用してひな型と共に出力される。

したがって、第１のダイナミックレンジを有する画像は、変換マップを第１のひな型に適用することによって、すなわち、第２のひな型を第２のダイナミックレンジを有する画像にマッピングするために設計されたものより同じ割当てベクトルを第１のひな型に適用することによって、単純に生成され得る。

第２の例によると、マッピング関数は、局所線形埋込み技法（ＬＬＥ）から決定され、第２のダイナミックレンジを有する画像内の少なくとも１つのブロックと、第２のひな型内のＫ個のパッチとの間の一次結合であり、ここでＫ＞１である（パッチは、ひな型から抽出される１つのテクスチャ情報である）。

この第２の例によると、第２のダイナミックレンジを有する画像内の少なくとも１つのブロックｘ_iを得るために第２のひな型内の上記Ｋ個のパッチの各パッチ

に割り当てられることになる重みｗ_i,kが、

などで決定され、ここで

であり、Ｋは、第２のダイナミックレンジを有する画像の１つのブロックから得られる第２のひな型内のパッチの数である。

第２のひな型内の上記Ｋ個のパッチは、第１のひな型内で選択されるＫ個の対応するパッチから決定される。

次いで、

など、第１のダイナミックレンジを有する画像の少なくとも１つのブロックｙ_iを再構築するために、重みｗ_i,kが第１のひな型内の上記Ｋ個の対応するパッチの各パッチ

に適用される。

ＬＬＥ関数を使用する代わりに、非局所平均（ＮＬＭ）関数を使用し、マッピング関数を決定することができる。

たとえば、第３の例によると、マッピング関数は、線形回帰またはカーネル回帰を使用して決定される。次いで、たとえばＬＬＥの代わりに、線形回帰またはカーネル回帰など別の局所学習技法を使用することができる。

たとえば、第２のダイナミックレンジを有する画像の各重なり合うブロック（重なり係数は、調整することができ、８×８ブロックについて７に設定することができるパラメータである）について、第２のひな型内のＫ近傍（Ｋ−ＮＮ）パッチを求めて探索する。第１のひな型内の対応する（すなわち、共存する、または同じ位置にある）パッチもまた選択され、したがって回帰（線形回帰またはカーネル回帰）を使用してマッピング関数Ｆ₁を学習するために使用されるパッチの対を形成する。

次いで、多変量線形回帰を考えると、｜｜（Ｍ_h）^T−（Ｍ_l）^TＦ₁ ^T｜｜²を最小にする関数Ｆ₁を求めて探索する問題である。

そのような関数は、｜｜Ｙ−ＸＢ｜｜²の形態にあり、したがって線形回帰モデルＹ＝ＸＢ＋Ｅに対応する。

そのような関数の最小化は、最小二乗推定子Ｆ₁＝Ｍ_h（Ｍ_l）^T（Ｍ_l（Ｍ_l）^T）^-1をもたらす。

ここで、Ｍ_hは、その列が第１のひな型パッチ

によって形成される行列であり、Ｍ_lは、その列が第２のひな型の対応するパッチ

によって形成される行列であり、ｉ＝１．．．Ｋであり、（．）^Tは、転置演算子である。

第２のひな型パッチ

は、第２のダイナミックレンジを有する画像からとられ、それらの位置は、第１のひな型パッチ

の位置と一致する。

５．１．４ 超解像技法を改善する
超解像技法もまた、上述の技法を使用して改善することができる。

より具体的には、従来の超解像技法は、未知の高解像度（ＨＲ）画像を回復するために１組の低解像度（ＬＲ）画像を融合しようと試みる。

たとえば、ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＩＰ）２０１３，“Ｏｐｔｉｍｉｚｅｄ Ｎｅｉｇｈｂｏｒ Ｅｍｂｅｄｄｉｎｇｓ Ｆｏｒ Ｓｉｎｇｌｅ−Ｉｍａｇｅ Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ”Ｍ． Ｔｕｒｋａｎ ｅｔ ａｌ．およびＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＩＰ）２０１４，“Ｉｔｅｒａｔｅｄ Ｎｅｉｇｈｂｏｒ−Ｅｍｂｅｄｄｉｎｇｓ Ｆｏｒ Ｉｍａｇｅ Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ”Ｍ． Ｔｕｒｋａｎ ｅｔ ａｌ．において、外部情報またはデータベースを使用しない単一の低解像度画像からのピラミッド型の超解像（ＳＲ）法が提案されている。この方法は、低解像度画像および高解像度画像のパッチ空間の局所的な幾何学的類似性に依拠する。近傍の入力（平均減算された、またはされていない）ＬＲパッチの固有の幾何学的特性が、入力ＬＲパッチ、およびＬＲ画像のアクロススケール（ｔｈｅ ａｃｒｏｓｓ ｓｃａｌｅｓ）からとられたそのＫ近傍（Ｋ−ＮＮ）から得られる。

局所的なＬＲジオメトリは、そのＫ−ＮＮからの入力ＬＲパッチの局所線形埋込み（ＬＬＥ）再構築係数で線形的に特徴付けられる。次いで、ＨＲ埋込みが、局所的なＬＲジオメトリがＨＲパッチ空間内に保存されていると想定することによって、入力ＬＲパッチの見出されたＫ−ＮＮの対応する（平均減算された、またはされていない）ＨＲの親から推定（錯覚）される。次いで、現在のＨＲパッチの推定値が、入力ＬＲパッチの平均値を加算することによって得られる。ＬＲ画像内の各パッチについて、近傍のＬＲの局所的なジオメトリを保存して、ＨＲ埋込みが計算されている。標的ＨＲ画像における局所的な互換性および平滑度制約を実施するために、パッチ間の重なり合いが可能な限り可能にされる。

次いで、重なり領域画素を、疎な表現をベースとする重み付け尺度に応じて線形的に組み合わせることができる。この方法では、入力ＬＲパッチおよび推定されたＨＲパッチの連結が、ＬＲ画像およびそのアクロススケールからとられたＬＲ画像パッチおよびＨＲ画像パッチから構成される辞書にわたって分解されている。指数関数的カーネルを使用して、これらのパッチは、それらの表現の疎度に応じて重み付けされる。すなわち、最も疎な表現に最高の重みが与えられる、などである。

本開示の少なくとも１つの実施形態によると、どの超解像技法も、ひな型の使用可能性のおかげで改善され得る。たとえば、上記の多層方式を、ダイナミックレンジの拡張に適合させることができる。

たとえば、図２に示されているように、ＬＲ画像に対応する第２のダイナミックレンジを有する画像２１、およびその第２のひな型２２を考えてみよう。また、我々が得たいと望むＨＲ画像に対応する第１のダイナミックレンジを有する画像２４の第１のひな型２３も考えてみよう。この例では、我々が生成したいと望む第１のダイナミックレンジを有する画像が、第２のダイナミックレンジを有する画像に比べてアップサンプリングされると考える。したがって、アップサンプリングとダイナミックレンジ変換は共に、同時に、または２つの連続するステップで実施され得る。

一例として、ＬＬＥ線形内挿は、たとえば図２においてＫ＝２で、Ｋ−ＮＮパッチを使用して行われ得る。Ｋ−ＮＮパッチは、第２のひな型２２内で探索され、対応するパッチは、第１のひな型２３内で識別される。

したがって、重みｗ_i,kが、「ＬＲ」データに対して計算され、第１のひな型２３内のＫ個の対応するパッチに適用され、画像／ビデオのＨＤＲバージョンを再構築する。

重みｗ_i,kは、

として計算され、ここで

であり、ｉは、内挿されることになる第２のダイナミックレンジを有する画像内のブロックｘ_i（ＬＤＲブロック）の現在の場所であり、ｋは、第２のひな型（ＬＤＲひな型）内のＫ−ＮＮ選択されたパッチ

のインデックスである。

換言すれば、
第２のひな型２２内の各パッチ

、

にそれぞれ適用される重みｗ_i,1、ｗ_i,2は、第２のダイナミックレンジを有する画像２１内の少なくとも１つのブロックｘ_iを得るために、

などで決定される。

ＬＬＥは、重みｗ_i,kを計算するとき平均ルミナンス値を除去することに留意されたい。

重みｗ_i,kが計算された後で、それらは、

など、第１のダイナミックレンジを有する画像の少なくとも１つのブロックｙ_iを再構築するために、それらを第１のひな型内のＫ個の対応するパッチの各パッチ

に適用することができる。

換言すれば、ＨＤＲブロックを再構築するために、線形内挿が第１のひな型内のパッチ

から実施され、ここで、パッチ

は、第２のひな型内で選択されたパッチ

の第１のひな型内の共存する（ｉ，ｋ）Ｋ−ＮＮパッチである。

たとえば、第１のダイナミックレンジを有する画像２４の少なくとも１つのブロックｙ_i（ＨＤＲブロック）を再構築するために、重みｗ_i,1、ｗ_i,2が、第１のひな型２３内の各パッチ

、

にそれぞれ適用される。

具体的には、ＬＲ／ＬＤＲレイヤ内のパッチ／ブロックのサイズは、ＨＲ／ＨＤＲレイヤのサイズより小さい（この比は、ＨＲレイヤ対ＬＲレイヤの解像度の比である）。

したがって、既存の超解像技法は、本開示を使用して改善され得る。

対応するマップがひな型と共に使用可能である場合、Ｋ−ＮＮ探索はもはや必要ないことに留意されたい。

さらに、上記のように、マッピング関数もまた、ＬＬＥの代わりに、線形回帰またはカーネル回帰などＮＬＭを使用して決定することができる。

５．１．５ 変形形態
図２に示されている本開示の１つの実施形態によると、第１のダイナミックレンジを有する画像を生成するステップは、第１のダイナミックレンジを有するアップサンプリングされた画像を生成するために、第２のダイナミックレンジを有する上記画像をアップサンプリングすることをさらに含む。

このようにして、より高いダイナミックレンジへのアップサンプリングおよび変換は、同時に実施され得る。他の実施形態によると、より高いダイナミックレンジへのアップサンプリングおよび変換は、２つの連続するステップで実施される。

他の実施形態によると、第１のダイナミックレンジを有する画像を生成するステップは、
− 第２のダイナミックレンジを有する推定された画像を、第１の反復のために第１のダイナミックレンジを有する上記画像から、または以下の反復のために第１のダイナミックレンジを有する上記補正された画像から得るステップ、
− 第２のダイナミックレンジを有する上記画像と第２のダイナミックレンジを有する上記推定された画像との推定誤差を決定するステップ、および
− 推定誤差に応答して、第１のダイナミックレンジを有する上記画像を補正して、第１のダイナミックレンジを有する補正された画像を得るステップのうちの少なくとも１つの反復を含む。

生成された画像が一貫したものであるかどうかチェックするために使用される反復的な逆投影技法を、任意選択で、ダイナミックレンジ変換（ＨＤＲ再構築）、またはＨＤＲ再構築とアップスケール化の両方のために追加することができる。逆投影は、再構築されたＨＤＲ（／ＨＲ）画像をＬＤＲ（／ＬＲ）画像にダウンコンバートし、使用可能なＬＤＲ（／ＬＲ）との差を計算し、この差をＨＤＲ（／ＨＲ）差にアップコンバートして戻し、それを再構築されたＨＤＲ（／ＬＲ）に追加することにある。

アップスケール化動作のためには、動的動作のためにＴＭＯ演算子およびｉＴＭＯ演算子の使用可能性を想定するとき、線形内挿フィルタが使用される。

さらに、重なり合うブロックのための上記の技法は、重なり合わないブロックのために使用され得る。
５．２ 第１のダイナミックレンジを有する画像／ビデオを第２のダイナミックレンジを有する画像／ビデオから符号化／復号する
第１のダイナミックレンジを有する少なくとも１つの画像を、上記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像から生成するための方法を使用し、第１のダイナミックレンジを有する画像／ビデオの符号化／復号を改善することができる。

ＨＤＲ画像／ビデオの符号化／復号、特に送信／圧縮の問題に対処するために、異なる技法が提案されている。

たとえば、ＪＰＥＧは、ＨＤＲ画像をサポートするためにそのコーディング方式の拡張を、またＲＧＢＥとして知られる共有指数浮動小数点色フォーマット、および他の１６ビットおよび３２ビット固定小数点色成分表現を介してやはりＨＤＲをサポートするＪＰＥＧ−ＸＲフォーマットを標準化した。

また、ＭＰＥＧは、ＭＰＥＧ ＨＥＶＣのためのＨＤＲビデオのサポートを検討している。

しかし、そのような技法は、送られることになるデータのサイズに、または再構築された画像の制限された品質に悩まされている。

５．２．１ 符号化器
本開示による、第１のダイナミックレンジを有する少なくとも１つの画像を符号化するための方法の主なステップが図３に示されている。

第１のステップ３１中、第１のダイナミックレンジを有する画像、たとえばＨＤＲ画像のひな型が決定される。元のＨＤＲ画像は、実際に符号化側で使用可能とすることができる。

第２のステップ３２中、上記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像、たとえばＬＤＲ画像が得られる。

たとえば、ＬＤＲ画像は、トーンマッピング演算子を使用してＨＤＲ画像から得られる。点線で示された変形形態では、ＬＤＲ画像は、符号化側にて、たとえば取込みデバイスから直接使用可能である。

第３のステップ３３中、第２のダイナミックレンジを有する画像（ＬＤＲ）、および第１のひな型（ＨＤＲひな型）が符号化される。第１のひな型は、メタデータ符号化のための任意のデバイスを使用して符号化され得る（３３１）。それは、従来の符号化方式または専用のものを使用して符号化され得る。第２のダイナミックレンジを有する画像は、任意の画像またはビデオ符号化器（ＭＰＥＧ、ＪＰＥＧ、．．．）を使用して符号化され得る（３３２）。

次いで、復号器側で第１および第２のダイナミックレンジの画像／ビデオバージョンを再構築するために、ＬＤＲ画像／ビデオおよびＨＤＲひな型を、たとえば２つの異なるネットワーク（ブロードキャストおよびＩＰ）もしくは２つのＩＰリンクを使用することによって別々に、または、たとえばＬＤＲ画像／ビデオおよびＨＤＲひな型を同じストリーム内で共に多重化することによって同時に送信することができる。したがって、ひな型は、ＨＤＲ画像／ビデオを符号化するために使用されるメタデータとみなされ得る。

第１のひな型は、専用のＭＰＥＧ ＳＥＩメッセージとして、関連の画像（たとえば、ＭＰＥＧにおけるデプスマップと同様のもの）として、プライベートデータとして、またはたとえばＭＰＥＧ−２ ＴＳシンタックスを使用して送信され得る。

ひな型が疎である場合、低いビットレートが使用されるべきであることに留意されたい。

５．２．２ 復号器
本開示による、第１のダイナミックレンジを有する少なくとも１つの画像を復号するための方法の主なステップが図４に示されている。

復号の第１のステップ４１中、第２のダイナミックレンジを有する画像（ＬＤＲ）および第１のひな型（ＨＤＲひな型）が復号される。第１のひな型は、メタデータ復号のための任意のデバイスを使用して復号され得る（４１１）。それは、従来の復号方式または専用のものを使用して復号され得る。第２のダイナミックレンジを有する画像は、任意の画像またはビデオ復号器（ＭＰＥＧ、ＪＰＥＧ、．．．）を使用して復号され得る（４１２）。

第２のステップ４２中、第１のダイナミックレンジを有する画像（ＨＤＲ）が、第２のダイナミックレンジを有する画像および第１のひな型（復号されたもの）から生成または再構築される。

第１のダイナミックレンジを有するそのような画像は、上記の生成方法を使用して生成され得る。

５．３ デバイス
図５は、本開示の一実施形態による、第１のダイナミックレンジを有する少なくとも１つの画像を第２のダイナミックレンジを有する画像から生成するためのデバイスの一例を概略的に示す。生成デバイスの本質的な要素だけが示されている。

そのような生成デバイスは、少なくとも、
− 第１のひな型と呼ばれる、第１のダイナミックレンジを有する画像のひな型を得るためのモジュール５１と、
− 第１のダイナミックレンジを有する画像を第２のダイナミックレンジを有する画像および第１のひな型から生成するためのモジュール５２と、
− 揮発性メモリなど記憶手段５３と、
− デバイスの不揮発性メモリ内に記憶されたアプリケーションおよびプログラムを実行するための１または複数のプロセッサ５４と、
− 生成デバイスの機能を実施するための当業者に周知の様々なモジュールおよびすべての手段を接続するための内部バスＢ１とを備える。

図６は、本開示の一実施形態による、第１のダイナミックレンジを有する少なくとも１つの画像を符号化するためのデバイスの一例を示す。符号化デバイスの本質的な要素だけが示されている。

そのような符号化デバイスは、少なくとも、
− 第１のひな型と呼ばれる、第１のダイナミックレンジを有する上記画像のひな型を決定するためのモジュール６１と、
− 上記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像を得るためのモジュール６２と、
− 第２のダイナミックレンジを有する画像を符号化するためのモジュール６３と、
− 上記第１のひな型を符号化するためのモジュール６４と、
− 揮発性メモリなど記憶手段６５と、
− デバイスの不揮発性メモリ内に記憶されたアプリケーションおよびプログラムを実行するための１または複数のプロセッサ６６と、
− 符号化デバイスの機能を実施するための当業者に周知の様々なモジュールおよびすべての手段を接続するための内部バスＢ２とを備える。

図７は、本開示の一実施形態による、第１のダイナミックレンジを有する少なくとも１つの画像を復号するためのデバイスの一例を示す。復号デバイスの本質的な要素だけが示されている。

そのような復号デバイスは、少なくとも、
− 上記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像を復号するためのモジュール７１と、
− 第１のひな型と呼ばれる、第１のダイナミックレンジを有する上記画像のひな型を復号するためのモジュール７２と、
− 第１のダイナミックレンジを有する画像を第２のダイナミックレンジを有する上記画像および上記第１のひな型から生成するためのモジュール７３と、
− 揮発性メモリなど記憶手段７４と、
− デバイスの不揮発性メモリ内に記憶されたアプリケーションおよびプログラムを実行するための１または複数のプロセッサ７５と、
− 復号デバイスの機能を実施するための当業者に周知の様々なモジュールおよびすべての手段を接続するための内部バスＢ３とを備える。

そのような生成デバイス、符号化デバイス、および／または復号デバイスは、それぞれ、純粋にソフトウェアによる実現、純粋にハードウェアによる実現（たとえば、ＡＳＩＣ、ＦＰＧＡ、ＶＬＳＩ．．．のような専用コンポーネント）により実施することも、デバイス内に集積されたいくつかのエレクトロニクスコンポーネントのものである、またはハードウェア要素とソフトウェア要素の混合の形態であることもできる。

図における流れ図および／またはブロック図は、本開示の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実現の構成、動作、および機能を示す。これに関して、流れ図またはブロック図内の各ブロックは、指定された論理機能を実施するための１または複数の実行可能命令を含むモジュール、セグメント、またはコードの一部分を表すことができる。

たとえば、第１のダイナミックレンジを有する画像のひな型を得るためのモジュール５１、および第１のダイナミックレンジを有する画像を生成するためのモジュール５２は、生成デバイスのメモリ内に記憶されたソフトウェアコンポーネントとして提供されてもよい。１または複数の処理ユニット５４は、様々なソフトウェアプログラムおよび／またはソフトウェアコンポーネントの命令のセットを実行し、様々な実施形態のとおりに、第１のダイナミックレンジを有する画像のひな型を得て、第１のダイナミックレンジを有する画像を第２のダイナミックレンジを有する画像および第１のひな型から生成するそれぞれの機能を実施するように構成されてもよい。

第１のダイナミックレンジを有する画像のひな型を決定するためのモジュール６１、第２のダイナミックレンジを有する画像を得るためのモジュール６２、第２のダイナミックレンジを有する画像を符号化するためのモジュール６３、および上記第１のひな型を符号化するためのモジュール６４もまた、符号化デバイスのメモリ内に記憶されたソフトウェアコンポーネントとして提供されてもよい。１または複数の処理ユニット６６は、様々なソフトウェアプログラムおよび／またはソフトウェアコンポーネントの命令のセットを実行し、様々な実施形態のとおりに、第１のダイナミックレンジを有する画像のひな型を決定し、第２のダイナミックレンジを有する画像を得て、第２のダイナミックレンジを有する画像を符号化し、上記第１のひな型を符号化するそれぞれの機能を実施するように構成されてもよい。

第２のダイナミックレンジを有する画像を復号するためのモジュール７１、第１のダイナミックレンジを有する画像のひな型を復号するためのモジュール７２、および第１のダイナミックレンジを有する画像を生成するためのモジュール７３は、復号デバイスのメモリ内に記憶されたソフトウェアコンポーネントとして提供されてもよい。１または複数の処理ユニット７５は、様々なソフトウェアプログラムおよび／またはソフトウェアコンポーネントの命令のセットを実行し、様々な実施形態のとおりに、第２のダイナミックレンジを有する画像を復号し、第１のひな型と呼ばれる、第１のダイナミックレンジを有する画像のひな型を復号し、第１のダイナミックレンジを有する画像を第２のダイナミックレンジを有する画像および第１のひな型から生成するそれぞれの機能を実施するように構成されてもよい。

また、いくつかの代替の実施形態では、ブロック内に記載の機能は、図に記載の順序から外れて行われてもよい。たとえば、含まれる機能に応じて、連続して示されている２つのブロックは、実際には、実質的に同時に実行されてもよく、またはそれらのブロックは、逆の順序で実行されることがあってもよく、またはブロックは、交互の順序で実行されてもよい。また、ブロック図および／または流れ図の各ブロック、ならびにブロック図および／または流れ図のブロックの組合せは、指定された機能もしくは行為を実施する専用ハードウェアをベースとするシステム、または専用ハードウェアとコンピュータ命令の組合せによって実施され得る。明示的に記載されていないが、本実施形態は、任意の組合せまたはサブコンビネーションで使用され得る。

当業者には理解されるように、本原理の特徴は、システム、方法、コンピュータプログラム、またはコンピュータ可読媒体として具体化され得る。したがって、本原理の特徴は、全体的にハードウェアの実施形態、全体的にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェアの特徴とハードウェアの特徴を組み合わせる実施形態の形態をとることができ、これらをすべて、本明細書では、全体的に「回路」「モジュール」または「システム」と呼ぶことができる。さらに、本原理の特徴は、コンピュータ可読記憶媒体の形態をとることができる。１または複数のコンピュータ可読記憶媒体の任意の組合せが使用されてもよい。

コンピュータ可読記憶媒体は、１または複数のコンピュータ可読媒体内に含まれ、コンピュータによって実行可能なコンピュータ可読プログラムコードが含まれるコンピュータ可読プログラム製品の形態をとることができる。本明細書で使用されるコンピュータ可読記憶媒体は、情報を記憶するための本来固有の能力、ならびに情報をそこから取り出すための本来固有の能力を考えると、非一時的な記憶媒体と考えられる。コンピュータ可読記憶媒体は、たとえば、それだけには限らないが、電子、磁気、光、電磁、赤外線、もしくは半導体のシステム、装置、もしくはデバイス、または前述のものの任意の好適な組合せとすることができる。本原理を適用することができるコンピュータ可読記憶媒体のより特定の例を提供するが、以下、すなわちポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、消去可能プログラム可能な読出し専用メモリ（ＥＰＲＯＭもしくはフラッシュメモリ）、ポータブルコンパクトディスク読出し専用メモリ（ＣＤ−ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または前述のものの任意の好適な組合せは、当業者には容易に理解されるように、例示的なものにすぎず、網羅的なリストではないことを理解されたい。

Claims (19)

1. 第１のダイナミックレンジを有する少なくとも１つの画像を、前記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像から生成するための方法であって、
   − 第１のひな型と呼ばれる、第１のダイナミックレンジを有する前記画像のひな型を得るステップ（１１）と、
   − 第１のダイナミックレンジを有する前記画像を第２のダイナミックレンジを有する前記画像および前記第１のひな型から生成するステップ（１２）と、
   を含む、前記方法。
2. 第１のダイナミックレンジを有する前記画像を生成するステップ（１２）は、
   − 第２のひな型と呼ばれる第２のダイナミックレンジを有する前記画像のひな型を、第２のダイナミックレンジを有する前記画像から決定するステップと、
   − 前記第２のひな型と第２のダイナミックレンジを有する前記画像との間の変換マップを決定するステップと、
   − 前記変換マップを前記第１のひな型に適用し、第１のダイナミックレンジを有する前記画像を生成するステップと、
   を含む、請求項１に記載の方法。
3. 第１のダイナミックレンジを有する前記画像を生成するステップは、第１のダイナミックレンジを有するアップサンプリングされた画像を生成するために、第２のダイナミックレンジを有する前記画像をアップサンプリングすることをさらに含む、請求項１又は２に記載の方法。
4. − 第２のダイナミックレンジを有する推定された画像を、第１の反復のために第１のダイナミックレンジを有する前記画像から、または以降の反復のために第１のダイナミックレンジを有する前記補正された画像から得るステップ、
   − 第２のダイナミックレンジを有する前記画像と第２のダイナミックレンジを有する前記推定された画像との推定誤差を決定するステップ、および
   − 前記推定誤差に応答して、第１のダイナミックレンジを有する前記画像を補正し、第１のダイナミックレンジを有する補正された画像を得るステップ
   のうちの少なくとも１つの反復を含む、請求項１から３のいずれかに記載の方法。
5. 第１のダイナミックレンジを有する少なくとも１つの画像を復号するための方法であって、
   − 前記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像を復号するステップ（４１１）と、
   − 第１のひな型と呼ばれる、第１のダイナミックレンジを有する前記画像のひな型を復号するステップ（４１２）と、
   − 第１のダイナミックレンジを有する前記画像を第２のダイナミックレンジを有する前記画像および前記第１のひな型から生成するステップ（４２）と、
   を含む、前記方法。
6. 第１のダイナミックレンジを有する前記画像を生成するステップは、
   − 第２のひな型と呼ばれる第２のダイナミックレンジを有する前記画像のひな型を、第２のダイナミックレンジを有する前記画像から決定するステップと、
   − 前記第２のひな型と第２のダイナミックレンジを有する前記画像との間の変換マップを決定するステップと、
   − 前記変換マップを前記第１のひな型に適用し、第１のダイナミックレンジを有する前記画像を生成するステップと、
   を含む、請求項５に記載の方法。
7. 第１のダイナミックレンジを有する前記画像を生成するステップは、第１のダイナミックレンジを有するアップサンプリングされた画像を生成するために、第２のダイナミックレンジを有する前記画像をアップサンプリングすることをさらに含む、請求項５又は６に記載の方法。
8. − 第２のダイナミックレンジを有する推定された画像を、第１の反復のために第１のダイナミックレンジを有する前記画像から、または以下の反復のために第１のダイナミックレンジを有する前記補正された画像から得るステップ、
   − 第２のダイナミックレンジを有する前記画像と第２のダイナミックレンジを有する前記推定された画像との推定誤差を決定するステップ、および
   − 前記推定誤差に応答して、第１のダイナミックレンジを有する前記画像を補正し、第１のダイナミックレンジを有する補正された画像を得るステップ
   のうちの少なくとも１つの反復を含む、請求項５に記載の方法。
9. 第１のダイナミックレンジを有する少なくとも１つの画像を符号化するための方法であって、
   − 第１のひな型と呼ばれる、第１のダイナミックレンジを有する前記画像のひな型を決定するステップ（３１）と、
   − 前記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像を得るステップ（３２）と、
   − 第２のダイナミックレンジを有する前記画像を符号化するステップ（３３１）と、
   − 前記第１のひな型を符号化するステップ（３３２）と、
   を含む、前記方法。
10. 第１のダイナミックレンジを有する少なくとも１つの画像を、前記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像から生成するためのデバイスであって、
    − 第１のひな型と呼ばれる、第１のダイナミックレンジを有する前記画像のひな型を得るためのモジュール（５１）と、
    − 第１のダイナミックレンジを有する前記画像を第２のダイナミックレンジを有する前記画像および前記第１のひな型から生成するためのモジュール（５２）と、
    を備える、前記デバイス。
11. 第１のダイナミックレンジを有する前記画像を生成することは、
    − 第２のひな型と呼ばれる第２のダイナミックレンジを有する前記画像のひな型を、第２のダイナミックレンジを有する前記画像から決定することと、
    − 前記第２のひな型と第２のダイナミックレンジを有する前記画像との間の変換マップを決定することと、
    − 前記変換マップを前記第１のひな型に適用し、第１のダイナミックレンジを有する前記画像を生成することと、
    を含む、請求項１０に記載のデバイス。
12. 第１のダイナミックレンジを有する前記画像を生成することは、第１のダイナミックレンジを有するアップサンプリングされた画像を生成するために、第２のダイナミックレンジを有する前記画像をアップサンプリングすることをさらに含む、請求項１０又は１１に記載のデバイス。
13. 第１のダイナミックレンジを有する少なくとも１つの画像を復号するためのデバイスであって、
    − 前記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像を復号するためのモジュール（７１）と、
    − 第１のひな型と呼ばれる、第１のダイナミックレンジを有する前記画像のひな型を復号するためのモジュール（７２）と、
    − 第１のダイナミックレンジを有する前記画像を、第２のダイナミックレンジを有する前記画像および前記第１のひな型から生成するためのモジュール（７３）と、
    を備える、前記デバイス。
14. 第１のダイナミックレンジを有する前記画像を生成することは、
    − 第２のひな型と呼ばれる第２のダイナミックレンジを有する前記画像のひな型を、第２のダイナミックレンジを有する前記画像から決定することと、
    − 前記第２のひな型と第２のダイナミックレンジを有する前記画像との間の変換マップを決定することと、
    − 前記変換マップを前記第１のひな型に適用し、第１のダイナミックレンジを有する前記画像を生成することと、
    を含む、請求項１３に記載のデバイス。
15. 第１のダイナミックレンジを有する前記画像を生成することは、第１のダイナミックレンジを有するアップサンプリングされた画像を生成するために、第２のダイナミックレンジを有する前記画像をアップサンプリングすることをさらに含む、請求項１３又は１４に記載のデバイス。
16. 第１のダイナミックレンジを有する少なくとも１つの画像を符号化するためのデバイスであって、
    − 第１のひな型と呼ばれる、第１のダイナミックレンジを有する前記画像のひな型を決定するためのモジュール（６１）と、
    − 前記第１のダイナミックレンジより低い第２のダイナミックレンジを有する画像を得るためのモジュール（６２）と、
    − 第２のダイナミックレンジを有する前記画像を符号化するためのモジュール（６３）と、
    − 前記第１のひな型を符号化するためのモジュール（６４）と
    を備える、前記デバイス。
17. プロセッサによって実行されることが可能であり、下記方法を実施するためのプログラムコード命令を含むコンピュータプログラム製品が記録されている非一時的なコンピュータ可読媒体であって、前記方法は、
    − 第１のひな型（ｅｐｉｔｏｍｅ）と呼ばれる、第１のダイナミックレンジを有する画像のひな型を得るステップと、
    − 第１のダイナミックレンジを有する前記画像を第２のダイナミックレンジを有する画像および前記第１のひな型から生成するステップと、
    を含む、前記非一時的なコンピュータ可読媒体。
18. 第１のダイナミックレンジを有する前記画像を生成するステップは、
    − 第２のひな型と呼ばれる第２のダイナミックレンジを有する前記画像のひな型を、第２のダイナミックレンジを有する前記画像から決定するステップと、
    − 前記第２のひな型と第２のダイナミックレンジを有する前記画像との間の変換マップを決定するステップと、
    − 前記変換マップを前記第１のひな型に適用し、第１のダイナミックレンジを有する前記画像を生成するステップと、
    を含む、請求項１７に記載の非一時的なコンピュータ可読媒体。
19. 第１のダイナミックレンジを有する前記画像を生成するステップは、第１のダイナミックレンジを有するアップサンプリングされた画像を生成するために、第２のダイナミックレンジを有する前記画像をアップサンプリングすることをさらに含む、請求項１７又は１８に記載の非一時的なコンピュータ可読媒体。