JP2020174358A - ビットストリーム内で、ldrピクチャのピクチャ/ビデオ・フォーマットと、このldrピクチャおよびイルミネーション・ピクチャから取得された復号済みのhdrピクチャのピクチャ/ビデオ・フォーマットとをシグナリングする方法および装置 - Google Patents

ビットストリーム内で、ldrピクチャのピクチャ/ビデオ・フォーマットと、このldrピクチャおよびイルミネーション・ピクチャから取得された復号済みのhdrピクチャのピクチャ/ビデオ・フォーマットとをシグナリングする方法および装置 Download PDF

Info

Publication number
JP2020174358A
JP2020174358A JP2020103552A JP2020103552A JP2020174358A JP 2020174358 A JP2020174358 A JP 2020174358A JP 2020103552 A JP2020103552 A JP 2020103552A JP 2020103552 A JP2020103552 A JP 2020103552A JP 2020174358 A JP2020174358 A JP 2020174358A
Authority
JP
Japan
Prior art keywords
picture
ldr
hdr
illumination
syntax element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020103552A
Other languages
English (en)
Other versions
JP7053722B2 (ja
Inventor
フランソワ,エドウアルド
Francois Edouard
ラセール,セバスチアン
Lasserre Sebastien
ルローネ,フアブリス
LELEANNEC Fabrice
アンドリボン,ピエール
Andrivon Pierre
オリビエ,ヤニツク
Olivier Yannick
トウズ,デイビツド
Touze David
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of JP2020174358A publication Critical patent/JP2020174358A/ja
Application granted granted Critical
Publication of JP7053722B2 publication Critical patent/JP7053722B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Non-Portable Lighting Devices Or Systems Thereof (AREA)

Abstract

【課題】HDRピクチャから双方が取得されるLDRピクチャおよびイルミネーション・ピクチャを表すビットストリーム内において、LDRピクチャの復号されたバージョンのピクチャ/ビデオ・フォーマットと、HDRピクチャの復号されたバージョンのピクチャ/ビデオ・フォーマットとの双方をシグナリングする方法、符号化/復号方法/装置、コンピュータ・プログラム・プロダクト、プロセッサ可読媒体並びに非一時的記憶媒体および信号を提供する。【解決手段】方法は、ビットストリーム内において、出力LDRフォーマットを規定する第1のシンタックス要素を符号化することを含み、ビットストリーム内において、第1のシンタックス要素とは異なる、出力HDRフォーマットを規定する第2のシンタックス要素を符号化することをさらに含む。【選択図】図1

Description

本開示内容は、概ね、デュアル変調符号化/復号スキームを含む配信フレームワーク内で出力ピクチャ/ビデオ・フォーマットをシグナリングすることに関する。
また、本開示内容は、LDRピクチャおよびイルミネーション・ピクチャを表すビットストリームを生成する符号化方法、ならびに、ビットストリームによってシグナリングされた出力ピクチャ/ビデオ・フォーマットに従ってLDRピクチャまたはHDRピクチャのいずれかを復号する復号方法および装置に関する。
本項は、読者に対し、以下に説明し、さらに/または、請求項に記載する本開示内容の様々な態様に関連すると考えられる様々な技術態様を読者に紹介することを意図している。この説明が本発明の様々な態様をより良好に理解しやすいようにするための背景情報を読者に提供するのに役立つものと確信する。したがって、それぞれの記載は、この点に鑑みて読まれるべきものであり、先行技術を自認するものではないことを理解すべきである。
以下において、ピクチャ(時折、従来技術において、画像(イメージ)またはフレームと呼ばれる)は、特定のピクチャ/ビデオ・フォーマットのサンプル(画素値)の1つまたは幾つかのアレイを含む。このピクチャ/ビデオ・フォーマットは、ピクチャ(またはビデオ)の画素値に関連する全ての情報およびピクチャ(またはビデオ)を視覚化および/または復号するためにディスプレイおよび/または復号装置によって使用される可能性のある全ての情報を規定する。ピクチャは、通常はルマ(または輝度)成分である、サンプルの第1のアレイの形状の少なくとも1つの成分、さらに場合によっては、通常は色成分である、サンプルの少なくとも1つの別のアレイの形状の少なくとも1つの別の成分を含む。
低ダイナミックレンジ・ピクチャ(LDRピクチャ)は、そのルマ(輝度)・サンプルが限られた数のビット(8または10であることが最も多い)で表現されたピクチャである。この限定された表現は、特に暗輝度領域や明輝度領域内で小さな変化を有する信号のレンダリングを正確に補正できるようにするものではない。高ダイナミックレンジ・ピクチャ(HDRピクチャ)においては、全体のレンジにわたって信号の高精度を維持するために、信号表現が拡張される。HDRピクチャにおいては、ルマ・サンプルは、通常、最も人気があるフォーマットがopenEXR半精度浮動小数点フォーマット(RGB成分毎に16ビット、すなわち、サンプル毎に48ビット)である、浮動小数点フォーマット(各成分に対し、32ビットまたは16ビットのいずれか、すなわち、単精度浮動小数点(float)または半精度浮動小数点(half−float))で、または、通常は少なくとも16ビットの“long”型表現の整数値で表現される。
デュアル変調スキームは、ビットストリーム内に入力HDRピクチャを符号化し、ビットストリームを少なくとも部分的に復号することによって入力HDRピクチャの復号されたバージョンを取得するための通常のアプローチである。その原理は、入力HDRピクチャからイルミネーション・ピクチャ(イルミネーション・マップまたはバックライト・ピクチャとも呼ばれる)を取得することである。そして、残差ピクチャは、入力HDRピクチャをイルミネーション・ピクチャで除算することによって取得され、イルミネーション・ピクチャ(またはイルミネーション・ピクチャを表すイルミネーション・データ)および残差ピクチャの双方が直接符号化される。
このアプローチを使用して入力HDRピクチャを符号化すると、2つの成分を符号化することとなる。これらの成分は、視認可能なピクチャとなる可能性のある、残差ピクチャ(以下、LDRピクチャと呼ぶ)と、イルミネーション・ピクチャ(または、イルミネーション・ピクチャを表すイルミネーション・データ)とである。そして、LDRピクチャの復号されたバージョンは、ビットストリームを少なくとも部分的に直接復号することによって取得することができ、入力HDRピクチャの復号されたバージョンもまた、LDRピクチャの復号されたバージョンをビットストリームを少なくとも部分的に復号することによって(またはビットストリームを少なくとも部分的に復号することによって取得されたイルミネーション・データから)取得された、イルミネーション・ピクチャの復号されたバージョンで乗算することによって取得することができる。
LDRピクチャおよびイルミネーション・ピクチャは、異なる入力ピクチャ/ビデオ・フォーマット(YUV,RGB,XYZ・・・)を有することがあり、必ずしも同一のフォーマットを有していない。例えば、イルミネーション・ピクチャは、モノクロであり、LDRピクチャ・フォーマットは、YUVまたはRGBである。
入力LDRピクチャの復号されたバージョンのピクチャ/ビデオ・フォーマットは、以下、出力LDRフォーマットと呼ばれ、入力HDRピクチャの復号されたバージョンのピクチャ/ビデオ・フォーマットは、以下、出力HDRフォーマットと呼ばれ、これらは、入力LDRピクチャおよび入力HDRピクチャのフォーマットと同一とすることができる。以下、これの入力LDRピクチャおよび入力HDRピクチャのフォーマットは、それぞれ、入力LDRフォーマットおよび入力HDRフォーマットと呼ばれる。
しかしながら、出力フォーマットは、特定の状態に適応化されていると有益であるため、入力フォーマットおよび出力フォーマットは、通常、同一ではない。例えば、出力LDRまたはHDRフォーマットは、何らかの対象となる特定のディスプレイ、復号されたピクチャの表示のための周囲環境、または、ユーザの嗜好に適応化されていることがある。出力フォーマットをこのように適応化しておくことによって、上記対象の特定のディスプレイ上でのピクチャの復号されたバージョンの視覚的な品質が向上する。なぜならば、符号化/復号スキームは、上記対象の特定のディスプレイでの視覚品質がより良好なものとなるように、所与のビットレートでの配信を最適化するからである。
本開示内容によって解決されるべき課題は、同一のビットストリームから復号されるであろうLDRピクチャまたはHDRピクチャの双方が入力LDRまたはHDRフォーマットとは異なる特定の出力LDRフォーマットまたはHDRフォーマットに対応できるようにすることである。
単一のピクチャ(または単一のビデオ)を符号化するように構成された従来の符号化/復号スキームにおいては、入力ピクチャのピクチャ/ビデオ・フォーマットは、シンタックス要素を使用してビットストリーム内でシグナリングされる。このシンタックス要素は、例えば、HEVC勧告(「高効率ビデオ符号化(High Efficiency Video Coding)」シリーズH:オーディオビジュアルおよびマルチメディア・システム(AUDIOVISUAL AND MULTIMEDIA SYSTEMS)、ITU−T H.265勧告、ITUの電気通信標準化部門、2013年4月)またはH264/AVC勧告(「ジェネリックなオーディオビジュアル・サービスのための高効率ビデオ符号化(Advanced video coding for generic audiovisual Services)」シリーズH:オーディオビジュアルおよびマルチメディア・システム(AUDIOVISUAL AND MULTIMEDIA SYSTEMS)、ITU−T H.264勧告、ITUの電気通信標準化部門、2014年2月)で規定されているような、いわゆる「ビデオ・ユーザビリティ情報」(VUI)である。
入力ピクチャの復号されたバージョンのピクチャ/ビデオ・フォーマットは、ひいては、VUIによって規定されたピクチャ/ビデオ・フォーマットであり、すなわち、入力ピクチャのピクチャ/ビデオ・フォーマットと同一である。
さらに、このような従来の符号化/復号スキームは、ピクチャの入力/ビデオ・フォーマットをシグナリングするために、単一のVUIのみを符号化できるようにするものであるため、同一のビットストリーム内で、各々がビットストリームから復号されるピクチャに関連する2つのピクチャ/ビデオ出力フォーマットをシグナリングするように良好に適応化されたものではない。
上述した内容に鑑み、本開示内容の態様は、コンピュータ・システム上のデータ・オブジェクトの間のセマンティクス関係の構築および維持に関する。以下において、本開示内容の幾らかの態様についての基本的な理解が得られるように、本開示内容を簡略化した要約を提供する。本要約は、開示内容を網羅するような概要ではない。開示内容のキー要素、または決定的要素を特定することは意図されていない。以下の要約は、単に、以下に提供するより詳細な説明の前置きとして、開示内容の幾つかの態様を簡略化して示しているものにすぎない。
開示内容の記載は、従来技術の欠点のうちの幾つかを、HDRピクチャから双方が取得されるLDRピクチャおよびイルミネーション・ピクチャを表すビットストリーム内において、出力LDRフォーマットと呼ばれる、LDRピクチャの復号されたバージョンのピクチャ/ビデオ・フォーマットと、出力HDRフォーマットと呼ばれる、HDRピクチャの復号されたバージョンのピクチャ/ビデオ・フォーマットとの双方をシグナリングする方法によって解消するものである。この方法は、ビットストリーム内において、出力LDRフォーマットを規定する第1のシンタックス要素を符号化することを含み、さらに、ビットストリーム内において、第1のシンタックス要素とは異なる、出力HDRフォーマットを規定する第2のシンタックス要素を符号化することを含むことを特徴とする。
本開示内容は、さらに、符号化/復号方法/装置、コンピュータ・プログラム・プロダクト、プロセッサ可読媒体、非一時的記憶媒体、および信号に関する。
本開示内容の特定の性質、さらに、本開示内容の他の目的、利点、特徴、および使用は、添付図面と以下の実施の形態の説明とを併せ鑑みることによって明らかになるであろう。
図面において、本発明の実施形態が例示されている。
HDRピクチャIをビットストリームF1内に符号化する方法のステップのブロック図であり、LDRピクチャおよびイルミネーション・ピクチャは、本開示内容の一実施形態に従ってHDRピクチャから取得される。 本開示内容の一実施形態による、LDRピクチャおよびイルミネーション・ピクチャを表すビットストリームからHDRピクチャまたはLDRピクチャを復号する方法のブロック図である。 本開示内容の一実施形態による、HEVC勧告に準拠したシンタックスを有する出力LDRフォーマットを表すVUIメッセージの例を示す図である。 新たなSEIメッセージの存在をシグナリングするHEVC仕様の高レベルシンタックスにおける変更を示す図である。 本開示内容の一実施形態による、出力HDRフォーマットを表すSEIメッセージの例を示す図である。 図5のSEIメッセージの変形例を示す図である。 イルミネーション・ピクチャのデータを埋め込むために使用される追加的なSEIメッセージの例を示す図である。 図5に示されているHDR出力フォーマットを表すSEIメッセージのシンタックスの変形例を示す図である。 本開示内容の一実施形態によりHDRピクチャから双方が取得されるLDRピクチャおよびイルミネーション・ピクチャを符号化するステップ11のサブステップのブロック図である。 本開示内容の一実施形態による、LDRピクチャおよびイルミネーション・ピクチャを表すビットストリームを復号するステップ21のサブステップのブロック図である。 本開示内容の一実施形態による、フレーム・パッキング配置に関連するSEIメッセージのシンタックスの例を示す図である。 図10のフラグ「content_interpretation_type」の説明が与えられているテーブルである。 図10のフラグ“frame_packing_arrangement_type”の説明が与えられているテーブルである。 本開示内容の一実施形態によるフレーム・パッキング配置スキームの例を示す図である。 本開示内容の一実施形態によるフレーム・パッキング配置スキームの例を示す図である。 本開示内容の一実施形態の変形例によるフレーム・パッキング配置スキームの例を示す図である。 本開示内容の一実施形態によるステップ10のサブステップのブロック図である。 本発明の一実施形態によるステップ162のサブステップのブロック図である。 本発明の一実施形態によるステップ162のサブステップのブロック図である。 本発明の一実施形態によるステップ162のサブステップのブロック図である。 図1に記載された方法の変形例による方法のステップのブロック図である。 図2に記載された方法の変形例による方法のステップのブロック図である。 本開示内容の一実施形態による、出力LDRフォーマットを表すSEIメッセージの例および出力HDRフォーマットを表すVUIメッセージの例を示す図である。 本開示内容の一実施形態による、出力LDRフォーマットを表すSEIメッセージの例および出力HDRフォーマットを表すVUIメッセージの例を示す図である。 本開示内容の一実施形態による装置のアーキテクチャの例を示す図である。 本開示内容の一施形態による、通信ネットワークを介して通信する2つの遠隔装置を示す図である。
同様または同一の要素には同一の参照符号が付与されている。
以下、本開示内容の実施形態を示している添付図面を参照して、本開示内容をより完全に説明する。しかしながら、本開示内容を多くの代替的な形態で実施することもでき、本開示内容の実施形態に限定されるように解釈されるべきではない。したがって、本開示内容は、様々な改変例や代替的な形態で実施することができる。本開示内容の特定の実施形態を図面において例示し、本明細書中で詳細に説明する。しかしながら、本開示内容を開示する特定の形態に限定することは意図されておらず、むしろ、開示内容には、請求の範囲によって規定された開示内容の精神および範囲の中で、全ての改変例、均等物、変形例が包含されることが理解できよう。
本明細書中で使用されている用語は、特定の実施形態を説明することを目的としており、本開示内容を限定するようには意図されていない。本明細書において、文脈上、他の明示的な記載がなければ、単数として記載されている表現「或る」、「一つ」、「この(その)」は、複数の表現を含むように意図されている。さらに、用語「からなる」、「含む」、および/または、「備える」が本明細書中で使用されている場合、これは、記載されている特徴事項、整数値、ステップ、処理、要素、および/またはコンポーネント(構成部品、成分)が存在することを示しているが、1つ以上の他の特徴事項、整数値、ステップ、処理、要素、コンポーネント(構成部品、成分)、および/またはそのグループが存在するすること、または、追加されることを排除するものではない。さらに、要素が他の要素に「応答する」、または、「接続されている」と記載されている場合、他の要素に直接的に応答する、または、接続されることもあれば、介在する要素が存在することもある。これに対し、要素が他の要素に「直接応答する」、または、「直接接続された」と記載されている場合、介在する要素は存在しない。本明細書において使用されている用語「および/または」は、1つ以上の関連して列挙された項目の任意の全ての組み合わせを含み、「/」と省略されることがある。
本明細書中において、様々な要素について記載するために、第1、第2などの用語が使用されているが、これらの要素は、これらの用語によって限定されるべきものではない。これらの用語は、或る用語と別の用語とを区別する目的のみで使用されている。例えば、本開示内容の教示を逸脱することなく、第1の要素を第2の要素と定義してもよいし、同様に、第2の要素を第1の要素として定義してもよい。
図面の中には、通信の主方向を示す通信経路上に矢印を含むものがあるが、通信は、描かれている矢印とは逆の方向に行なわれる場合があることが理解できよう。
実施形態の中には、ブロック図および動作フローチャートに関して説明されているものがあり、各ブロックは、特定の論理的な機能を実施するための、回路要素、モジュール、または、1つ以上の実行可能な命令を含むコードの部分を表す。なお、他の実施態様では、ブロック内で示される機能は、示しているものとは異なる順番となることがある。例えば、2つのブロックが連続して示されている場合であっても、関連する機能によっては、実際には、ブロックが、実質的に並列して実行されることがあり、または、ブロックが、逆の順番で実行されることがある。
本明細書において、「一実施形態」または「実施形態」と言及されている場合、これは、実施形態との関連で説明されている特定の特徴事項、構造、または特性が開示内容の少な
くとも1つの実施態様に含まれる場合があることを意味する。明細書中の様々な箇所に存在する「一実施形態において」または「実施形態に従って(実施形態によれば)」という表現は、必ずしも、全てが同一の実施形態について言及するものではなく、別個の実施形態または代替的な実施形態が相互に他の実施形態に対して排他的となるものではない。
請求の範囲に存在する参照符号は、例示的な目的のみのものであり、請求の範囲に対して限定的な影響を及ぼすものではない。
明示的に記載していないが、本実施形態および変形例を、任意に組み合わせて、または部分的に組み合わせて使用することができる。
以下に記載する方法は、1つのHDRピクチャを符号化するように構成されているが、シーケンスを構成する複数のピクチャが互いに独立して符号化されるため、複数のHDRピクチャ(ビデオ)からなるシーケンスを符号化するように拡張されてもよい。
一般的にいえば、本開示内容は、ビットストリーム内で、出力LDRフォーマットと呼ばれる、LDRピクチャの復号されたバージョンのピクチャ/ビデオ・フォーマットおよび出力HDRフォーマットと呼ばれる、HDRピクチャIの復号されたバージョンのピクチャ/ビデオ・フォーマットの双方をシグナリングする方法に関する。
本方法は、出力LDRフォーマットを規定する第1のシンタックス要素と、第1のシンタックス要素とは異なる、出力HDRフォーマットを規定する第2のシンタックス要素とを、ビットストリーム内に符号化することを含む。
図1は、HDRピクチャIをビットストリームF1内に符号化する方法のステップのブロック図であり、ここで、LDRピクチャおよびイルミネーション・ピクチャは、本開示内容の実施形態に従ってHDRピクチャから取得される。
この方法は、出力LDRフォーマットを規定する第1のシンタックス要素SE1と、第1のシンタックス要素SEIとは異なる、出力HDRフォーマットを規定する第2のシンタックス要素SE2とをビットストリームF2内に符号化(ステップ12)するように構成されるモジュールFENCを含む。
LDRピクチャおよびイルミネーション・ピクチャIFを符号化されるべき入力HDRピクチャから判定する方法が良く知られている。(「高ダイナミックレンジ・ビデオ符号化(High Dynamic Range video coding)」、JCTVC−P0159、サンノゼ、米国、2014年1月9〜17日)
例えば、イルミネーション・ピクチャIFは、入力HDRピクチャIの各サンプルに対するイルミネーション値のトリプレットからなり、トリプレットの各値がサンプルの色成分値に対するイルミネーション値である。イルミネーション・ピクチャIFは、形状関数の重み付け線形結合によって表されることもあれば、HDRピクチャIの輝度成分の低周波数バージョンによって表されることもあるが、本開示内容は、符号化しようとするHDRピクチャに関連するイルミネーション・ピクチャIFを取得または表すどのような特定な手段にも限定されるものではない。
LDRピクチャRFは、通常、HDRピクチャおよびイルミネーション・ピクチャIFから取得される残差ピクチャである。通常、残差ピクチャは、HDRピクチャIをイルミネーション・ピクチャIFで除算することによって取得される。
ステップ10において、スプリッタSPLMは、LDRピクチャRFおよびイルミネーション・ピクチャIFを取得するように構成される。
一実施形態によれば、モジュールSPLMは、LDRピクチャRFまたはイルミネーション・ピクチャIFのいずれか、もしくは双方を、ローカル・メモリ/遠隔メモリおよび通信ネットワークのいずれかから、もしくは双方から取得するように構成される。
一実施形態によれば、モジュールSPLMは、HDRピクチャIをLDRピクチャRFおよびイルミネーション・ピクチャIFに分割するように構成される。
ステップ11において、LDRおよびイルミネーション・ピクチャ(または、代替的には、イルミネーション・ピクチャIFを表すイルミネーション・データ)は、符号化器ENCによって符号化される。
変形例によれば、モジュールFENCは、さらに、符号化器ENCによって使用される幾つかのパラメータParamを符号化するように構成される。
一実施形態によれば、パラメータParamは、ビットストリームF2内に符号化される。
一実施形態によれば、少なくとも幾つかのパラメータParamおよびビットストリームF1(および/またはF2の場合もある)が非同期的に送信される。
パラメータParamの幾つかについて、以下、詳細に説明する。
図2は、本開示内容の一実施形態による、LDRピクチャおよびイルミネーション・ピクチャを表すビットストリームからHDRピクチャまたはLDRピクチャを復号する方法のブロック図を示す。
ステップ20において、モジュールFDECは、ビットストリームF2を少なくとも部分的に復号することによって、出力LDRフォーマットを規定する第1のシンタックス要素SE1と出力HDRフォーマットを規定する第2のシンタックス要素SE2とを取得するように構成される。
変形例によれば、モジュールFDECは、さらに、ローカル・メモリから、または、ビットストリームF2を少なくとも部分的に復号することによって、幾つかのパラメータParamを取得するように構成される。
変形例によれば、少なくとも幾つかのパラメータParamおよびビットストリームF1(および/または場合によってはF2)は、非同期的に受信される。
ステップ21において、復号器DECは、少なくとも部分的にビットストリームF1を復号することによって、LDRピクチャRFの復号されたバージョン
Figure 2020174358
およびイルミネーション・ピクチャIFの復号されたバージョン
Figure 2020174358
を取得するように構成される。
ステップ21の一実施形態によれば、イルミネーション・ピクチャIFの復号されたバージョン
Figure 2020174358
は、イルミネーション・データから取得することができる。
変形例によれば、LDRピクチャRFの復号されたバージョン
Figure 2020174358
および/またはイルミネーション・ピクチャIFの復号されたバージョン
Figure 2020174358
は、ローカル・メモリから取得される。
変形例によれば、LDRピクチャRFの復号されたバージョン
Figure 2020174358
は、さらに、幾つかのパラメータParamに従って取得される。
LDRピクチャRFの復号されたバージョン
Figure 2020174358
は、第1のシンタックス要素SE1の出力LDRフォーマットによって規定されるフォーマットを有する。
ステップ22において、モジュールISPLMは、LDRピクチャRFの復号されたバージョン
Figure 2020174358
およびイルミネーション・ピクチャIFの復号されたバージョン
Figure 2020174358
からHDRピクチャIの復号されたバージョン
Figure 2020174358
を取得するように構成される。
HDRピクチャIの復号されたバージョン
Figure 2020174358
は、第2のシンタックス要素SE2の出力HDRフォーマットによって規定されるフォーマットを有する。
変形例によれば、HDRピクチャIの復号されたバージョン
Figure 2020174358
は、幾つかのパラメータParamに従って取得される。
この方法の第1の実施形態によれば、第1のシンタックス要素SE1は、例えば、「vui−parameter()」と呼ばれるVUI(Video Usability Information:ビデオ・ユーザビリティ情報)であり、第2のシンタックス要素SE2は、例えば、「dual−modulation−info()」と呼ばれるSEIメッセージ(Supplemental Enhancement Information:付加拡張情報)である。
図3は、本開示内容の一実施形態による、HEVC勧告に準拠したシンタックスを有する出力LDRフォーマットを表すVUIメッセージ「vui−parameter()」の例を示す。
VUIメッセージは、以下のような、出力LDRフォーマットを実際に規定するタグを含む。
・ video_formatは、LDRピクチャのフォーマット(例えば、PALまたはSECAM)を示す。
・ video_full_range_flagは、LDRピクチャが、符号化された値の利用可能な範囲全体を占めるかどうかを示す。
・ colour_description_present_flagは、1であるフラグであり、これは、色を正確にレンダリングして表示可能にするために、3つの要素colour_primaries、transfer_characteristicsおよびmatrix_coeffsが使用されるかどうかを示す。
・ colour_primariesは、ソース原色の色度座標を示す。
・ transfer_characteristicsは、LDRピクチャの光電子工学伝達特性を示す。
・ matrix_coeffsは、緑、青および赤の原色から輝度成分および色度成分を導出する際に使用される行列係数を記述している。
図5は、本開示内容の一実施形態による出力HDRフォーマットを表すSEIメッセージ「dual−modulation−info()」の例を示している。
SEIメッセージ「dual−modulation−info()」は、
HDRピクチャIの復号されたバージョン
Figure 2020174358
の出力HDRフォーマットについての情報を提供する。
・ modulation_channel_cancel_flagが1であるとき、これは、SEIメッセージ「dual−modulation−info()」が、出力順において前に存在するSEIメッセージ「dual−modulation−info()」の持続性をキャンセルすることを示す。
・ modulation_channel_cancel_flagが0であるとき、これは、イルミネーション・ピクチャ情報が次に続くことを示す。
・ modulation_channel_target_sample_formatは、HDRピクチャIの復号されたバージョン
Figure 2020174358
の輝度および色度サンプル・アレイのサンプルのフォーマットを規定する。
一実施形態によれば、タグmodulation_channel_target_sample_formatが0であるとき、これは、サンプルが整数フォーマットであることを意味する。0を超える値のmodulation_channel_target_sample_formatは、ITU−T|ISO/IECによる将来の使用のために確保されている。modulation_channel_target_sample_formatが存在しない場合には、modulation_channel_target_sample_formatの値は、0であると推定される。
一実施形態によれば、modulation_channel_target_sample_formatが1であるとき、これは、16ビットの半精度浮動フォーマットをサポートしている。
一実施形態によれば、modulation_channel_target_sample_formatが2であるとき、これは、32ビットの全精度浮動フォーマットをサポートしている。
・ modulation_channel_target_bit_chroma_format_idcは、modulation_channel_target_bit_chroma_format_idcが、符号化されたビデオ・シーケンス(CVS)に対して使用される色度フォーマットではなく、HDRピクチャIの復号されたバージョン
Figure 2020174358
の色度フォーマットを規定する点を除いて、chroma_format_idcシンタックス要素に対して上記で引用したHEVC勧告の項7.4.3.2に規定されているものと同一のセマンティクスを有する。
SEIメッセージ「dual−modulation−info()」にmodulation_channel_target_bit_chroma_format_idcが存在しない場合には、modulation_channel_target_bit_chroma_format_idcの値は、(LDRピクチャに関連する)chroma_format_idcと等しいと推定される。
・ modulation_channel_target_bit_depth_luma_minus8 plus8は、HDRピクチャIの復号されたバージョン
Figure 2020174358
の輝度サンプル・アレイのサンプルのビット深度を規定する。
タグmodulation_channel_target_bit_depth_luma_minus8は、0〜8の範囲にある(0の値と8の値を含む)。modulation_channel_target_bit_depth_luma_minus8がSEIメッセージdual−modulation−info()に存在しない場合には、modulation_channel_target_bit_depth_luma_minus8の値は、bit_depth_luma_minus8と等しいと推定される。
・ modulation_channel_target_bit_depth_chroma_minus8 plus8は、HDRピクチャIの復号されたバージョン
Figure 2020174358
の色度サンプル・アレイのサンプルのビット深度を規定する。
タグmodulation_channel_target_bit_depth_chroma_minus8は、0〜8の範囲にある(0の値と8の値を含む)。modulation_channel_target_bit_depth_chroma_minus8がSEIメッセージ「dual−modulation−info()」に存在しない場合には、modulation_channel_target_bit_depth_chroma_minus8の値は、bit_depth_chroma_minus8と等しいと推定される。
・ modulation_channel_target_video_full_range_flagは、modulation_channel_target_video_full_range_flagが、CVSに対して使用される色空間ではなく、HDRピクチャIの復号されたバージョン
Figure 2020174358
に対して使用される色空間を規定する点を除いて、video_full_range_flagシンタックス要素に対して上記で引用したHEVC勧告の項E.2.1に規定されているものと同一のセマンティクスを有する。
タグmodulation_channel_target_video_full_range_flagがSEIメッセージ「dual−modulation−info()」に存在しない場合には、modulation_channel_target_video_full_range_flagの値は、video_full_range_flagと等しいと推定される。
・ modulation_channel_target_colour_primariesは、modulation_channel_target_colour_primariesが、CVSに対して使用される色空間ではなく、HDRピクチャIの復号されたバージョン
Figure 2020174358
に対して使用される色空間を規定する点を除いて、colour_primariesシンタックス要素に対して上記で引用したHEVC勧告の項E.2.1に規定されているものと同一のセマンティクスを有する。SEIメッセージ「dual−modulation−info()」にmodulation_channel_target_colour_primariesが存在しない場合には、modulation_channel_target_colour_primariesの値は、colour_primariesと等しいと推定される。
・ modulation_channel_target_transfer_characteristicsは、modulation_channel_target_transfer_characteristicsが、CVSに対して使用される色空間ではなく、HDRピクチャIの復号されたバージョン
Figure 2020174358
に対して使用される色空間を規定する点を除いて、transfer_characteristicsシンタックス要素に対して上記で引用したHEVC勧告の項E.2.1に規定されているものと同一のセマンティクスを有する。
modulation_channel_target_transfer_characteristicsがSEIメッセージ「dual−modulation−info()」に存在しない場合には、modulation_channel_target_transfer_characteristicsの値は、transfer_characteristicsと等しいと推定される。
・ modulation_channel_target_matrix_coeffsは、modulation_channel_target_matrix_coeffsが、CVSに対して使用される色空間ではなく、HDRピクチャIの復号されたバージョン
Figure 2020174358
に対して使用される色空間を規定する点を除いて、matrix_coeffsシンタックス要素に対して上記で引用したHEVC勧告の項E.2.1に規定されているものと同一のセマンティクスを有する。
modulation_channel_target_matrix_coeffsがSEIメッセージ「dual−modulation−info()」に存在しない場合には、modulation_channel_target_matrix_coeffsの値は、matrix_coeffsと等しいと推定される。
SEIメッセージ「dual−modulation−info()」は、さらに、HDRピクチャIの復号されたバージョン
Figure 2020174358
を取得するために使用されるイルミネーション・ピクチャIFの復号されたバージョン
Figure 2020174358
を取得するための情報を提供する。
・ modulation_channel_typeは、HDRピクチャIの復号されたバージョン
Figure 2020174358
を生成するために使用されるモードを示す。タグmodulation_channel_typeが0である場合、これは、場合によっては、二次的なピクチャが一次的な符号化されたピクチャよりも小さい幅および/または高さを有していれば、アップサンプリングの後、イルミネーション・ピクチャIFの復号されたバージョン
Figure 2020174358
が補助的に符号化されたピクチャのサンプル値に対応することを示す。なお、二次的なピクチャおよび一次的なピクチャは、上記に引用したHEVC勧告によって規定されている。
図5に示された実施形態によれば、タグmodulation_channel_typeが1である場合、これは、イルミネーション・ピクチャIFの復号されたバージョン
Figure 2020174358
が形状関数の重み付けされた線形結合(以下に詳細に説明するようなPSF)によって表されていることを示している。
この場合、パラメータ「modulation_PSF_X_spacing」、「modulation_PSF_Y_spacing」、「modulation_PSF_width」、「modulation_PSF_height」、「modulation_PSF_length_minus1」、および「modulation_PSF_coefs」は、PSFの記述に関連している。
modulation_channel_typeが1を超える値である場合、これは、ITU−T|ISO/IECによる将来の使用のために確保されている。modulation_channel_typeが存在しない場合には、modulation_channel_typeの値は、0であると推定される。
一実施形態によれば、イルミネーション・ピクチャIFの復号されたバージョン
Figure 2020174358
を取得するためにPSFに適用されている重み係数は、HEVC勧告に準拠したシンタックスを有する二次的なピクチャに埋め込まれている。
図6に例示されている実施形態によれば、追加的なSEIメッセージ「modulation_channel_info()」がSEIメッセージ「dual_modulation_info()」に追加して規定される。
イルミネーション・ピクチャIFの復号されたバージョン
Figure 2020174358
を取得するためにPSFに適用される重み係数は、SEIメッセージ「modulation_channel_info()」内に埋め込まれる(コーディングされる)。
・ modulation_channel_widthは、(例えば、輝度成分またはY成分となる)第1の色成分の重み係数行列の行毎のサンプル数に対応する。
・ modulation_channel_heightは、(例えば、輝度成分またはY成分となる)第1の色成分の重み係数行列の列毎のサンプル数に対応する。
・ modulation_channel_width_CbCrは、(例えば、色度成分またはXもしくはZ成分となる)第1および/または第3の色成分の重み係数行列の列毎のサンプル数に対応する。
・ modulation_channel_height_CbCrは、(例えば、色度成分またはXもしくはZ成分となる)第2および/または第3の色成分の重み係数行列の列毎のサンプル数に対応する。
・ modulation_channel_sample[c][cy][cx]は、重み係数行列内の水平方向の位置cxおよび垂直方向の位置cyでの色成分cのサンプルのサンプル値である。
SEIメッセージ「dual−modulation−info()」は、さらに、イルミネーション・ピクチャIFの復号されたバージョンを用いて乗算する前に、LDRピクチャRFの復号されたバージョンに適用されるように意図された後処理のパラメータについての情報を提供する。
・ 「modulation_ldr_mapping_type」は、LDRピクチャRFの復号されたバージョン
Figure 2020174358
に適用されるべき処理のタイプに関する。このタグは、LDRピクチャがLab色空間で表現されるか、YCbCr(またはYuv)色空間で表現されるかを示す。
変形例によれば、LDRピクチャがYCbCr色空間で表現される場合には、幾つかの追加的なパラメータ(「modulation_slog_a0」、「modulation_slog_b0」、「modulation_slog_c0」、「modulation_scaling_factor」、「modulation_RGB_factor」)が、図5内のSEIメッセージ「dual_modulation_info()」に埋め込まれる。これらのパラメータは、乗算の前にLDRピクチャRFの復号されたバージョン
Figure 2020174358
に適用されるように意図された後処理によって使用される。
代替的な変形例によれば、後処理が、個々のサンプル値に対する複数の単射演算に関わる場合、さらに、これらの連続的な演算を単一の演算に連結可能である場合に、追加的なパラメータをSEIメッセージ内に符号化するのではなく、ルックアップ・テーブルがSEIメッセージに埋め込まれる。
例えば、各サンプル値に対し、単純な数学的演算のカスケード化は、以下のようなものがある。
s = s*S/65536
s = exp((s−c0)/a0)−b0
s = s*RGB_factor/1024
ここで、S、a0、b0、0、RGB_factorは、通常、上述の変形例に従ってSEIメッセージに埋め込まれるパラメータである。
・ modulation_channel_LUT0_sizeは、アレイmodulation_channel_LUT0_coefsのサイズを示す。
・ modulation_channel_LUT0_coefsは、イルミネーション・ピクチャの第1の成分のアレイのサンプルに適用される、サイズmodulation_channel_LUT0_sizeのアレイに対応する。
・ modulation_channel_LUT1_sizeは、アレイmodulation_channel_LUT1_coefsのサイズを示す。
・ modulation_channel_LUT1_coefsは、イルミネーション・ピクチャの第少なくとも第2の成分のアレイのサンプルに適用される、サイズmodulation_channel_LUT1_sizeのアレイに対応する。
・ modulation_LDR_LUT0_sizeは、アレイmodulation_LDR_LUT0_coefsのサイズを示す。
・ modulation_LDR_LUT0_coefsは、LDRピクチャの第1の成分のサンプルに適用される、サイズmodulation_LDR_LUT0_sizeのアレイに対応する。
・ modulation_LDR_LUT1_sizeは、アレイmodulation_LDR_LUT1のサイズを示す。
・ modulation_LDR_LUT1_coefsは、LDRピクチャの少なくとも第2成分のアレイのサンプルに適用される、サイズmodulation_LDR_LUT1_sizeのアレイに対応する。
この代替の変形例は、サンプル値を後処理する前に、パラメータ(例えば、「modulation_slog_a0」、「modulation_slog_b0」、「modulation_slog_c0」、「modulation_scaling_factor」、「modulation_RGB_factor」)をSEIメッセージ内に符号化して、これらのパラメータからルックアップ・テーブルを構築する。
本方法の変形例によれば、ビットストリームが複数のピクチャからなるシーケンスを表す場合、各ピクチャに対し、重み係数行列がビットストリーム内に符号化されるようにすることができ、第1のシンタックス要素および第2のシンタックス要素が変更されないことがある。
変形例によれば、LDRピクチャに対するLab色空間(ここでは、0であるmodulation_ldr_mapping_typeに対応する(図5))が使用される場合には、VUIメッセージ(図3)における幾つかのパラメータは、LDRピクチャRFの復号されたバージョン
Figure 2020174358
が処理されることなくディスプレイまたはレンダリング装置によって直接解釈できないことを示すように、「規定されていない」に対応する値に固定されなければならない。
・ colour_primaries = 2(規定されていない)
・ transfer_characteristics = 2(規定されていない)
・ matrix_coeffs = 2(規定されていない)
図6に示されているような追加的なSEIメッセージ「modulation_channel_info」内でイルミネーション・ピクチャIFがシグナリングされる場合には、重み係数の小さなアレイのシグナリングに対応する変調モードのみがイルミネーション・ピクチャの再構築のために局所化されたPSFに適用されるようにすることによって、SEIメッセージ「dual−modulation−info()」を簡略化することができる。実際、本変形例は、イルミネーション・ピクチャのサンプルの通常の数と比較して、SEIメッセージにおける符号化された値(サンプル)の数を大幅に削減できるようにする(例えば、HDピクチャに対して、数千サンプルを2、3千のサンプルにする)。これは、したがって、縮小されたサイズのままとするSEIメッセージのコンセプトにより適している。しかしながら、簡略化は、フレーム・パッキング、または、追加的なSEIメッセージである、イルミネーション・ピクチャのどのようなタイプのシグナリングにも適用することができる。
図7は、図5に示されているHDR出力フォーマットを表す簡略化されたSEIメッセージの例を示している。
HEVC勧告に従って、いかなるSEIメッセージのペイロードもビットストリーム内に示される。
図4は、SEIメッセージを「SEI_payload」と呼ばれるシンタックス構造にシグナリングする例を示している。これは、ビットストリームF2において、図5(または図7)との関連で説明される特定のSEIメッセージのシグナリングを行うために使用される。SEIペイロード「sei−payload()」は、SEIメッセージ「dual−modulation−info()」をシグナリングするために追加されている太字のテキストを除き、HEVC勧告に準拠したシンタックスを有する。なお、「XXX」は、HEVC勧告において既に使用されている値に基づいて規定される所与の固定値である。
図8は、本開示内容の一実施形態による、LDRピクチャおよびイルミネーション・ピクチャIFを符号化するステップ11のサブステップのブロック図を示している。
図8との関連において以下に説明する実施形態の変形例によれば、HDRピクチャIからLDRピクチャRFの復号されたバージョン
Figure 2020174358
を減算することによって、第2の残差ピクチャが取得される。第2の残差ピクチャもまた、以下において、第2のLDRピクチャと呼ばれる。第2の残差ピクチャは、HDRピクチャIをLDRピクチャRFで除算することによって取得することもできる。よって、第2の残差ピクチャは、HDRピクチャIとLDRピクチャRFとの間の比率残差情報からなる。
サブステップ80において、モジュールPACKMは、LDRピクチャRFおよびイルミネーション・ピクチャIF(さらに、場合によっては第2の残差ピクチャのような少なくとも別のピクチャ)を、特定のフレーム・パッキング配置スキーム(FPAS)に従って、単一のフレームSF内にパッキングするように構成される。
以下において、LDRピクチャおよびイルミネーション・ピクチャが開示されている場合のみが示されているが、以下の開示内容を拡張して2つを超えるピクチャを単一のフレームSF内にパッキングすることも自明である。
サブステップ81において、符号化器VENCは、フレームSFをビットストリームF1内に符号化する。
一実施形態によれば、特定のフレーム・パッキング配置スキームに依存する符号化パラメータに従って単一のフレームSFが符号化される。これらのパラメータは、幾つかのパラメータParamであるとみなすことができる。
本実施形態の変形例によれば、単一のフレームが2つの別個のスライス内に符号化されるように符号化パラメータが規定される。ここで、一方のスライスは、LDRピクチャRFを含み、他方のスライスは、イルミネーション・ピクチャIFを含む。これらのスライスは、使用される標準的な符号化スキーム(H.264/AVC、HEVC、JPEG2000)に従って、スライス・グループ、タイル、タイル・グループ、プリシンクトの形態をとることができる。
本変形例には、特定の符号化などの特定の処理を、LDRピクチャRFに対してではなく、イルミネーション・ピクチャIFに対し、または、イルミネーション・ピクチャIFに対してではなく、LDRピクチャRFに対して適用可能にするという利点がある。
ビットストリームF1は、したがって、フレームSFからなり、このフレームSFは、2つの別個のパッキングされた構成ピクチャ、すなわち、LDRピクチャRFおよびイルミネーション・ピクチャIFのサンプルを含む。
サブステップ82において、モジュールIDMは、フレームSFが、特定のフレーム・パッキング配置スキームFPASに従って少なくとも2つの別個のパッキングされた構成ピクチャのサンプルを含むことを示す情報データIDを処理する。
情報データIDは、少なくとも1つのフラグを含み、幾つかのパラメータParamとすることができる。
モジュールIDMは、情報データが、さらに、少なくとも2つの別個のパッキングされた構成ピクチャのうちの1つがLDRピクチャRFに対応し、少なくとも2つの別個のパッキングされた構成ピクチャのうちのもう1つが、上記LDRピクチャRFに関連付けられたイルミネーション・ピクチャIFに対応することを示すことを規定するように構成されている。
一実施形態によれば、情報データIDは、さらに、少なくとも2つの別個のパッキングされた構成ピクチャのうちのもう1つが、例えば、第2の残差ピクチャ、すなわち、LDRピクチャからLDRピクチャの符号化された/復号されたバージョンを減算することによって取得された残差ピクチャのような別のピクチャに対応することを示す。
一実施形態によれば、情報データIDは、特定のフレーム・パッキング配置スキームを識別する。そして、符号化パラメータは、特定のフレーム・パッキング配置スキームによって制約されることがある。
サブステップ82の実施形態によれば、モジュールIDMは、さらに、情報データIDが、LDRピクチャおよびイルミネーション・ピクチャが同一のサイズを有していない(同一の行の数または同一の列の数、またはこの両方)か、且つ/またはフレームSFにおける特定の位置を有するを示すことを規定するように構成される。
サブステップ82の実施形態によれば、モジュールIDMは、さらに、情報データIDが、LDRピクチャのサイズ(行の数および列の数)および/または位置、ならびに/もしくは、イルミネーション・ピクチャのサイズおよび/または位置を示すことを規定するように構成される。
サブステップ82の実施形態によれば、特定のフレーム・パッキング配置スキームは、LDRピクチャおよび/またはイルミネーション・ピクチャのいずれかが幾つかのピースに分割されることを示し、そして、モジュールIDMが、情報データID内に、フレームSF内の各ピースの位置を示す少なくとも1つのパラメータを追加するように構成される。
実施形態によれば、特定のフレーム・パッキング配置スキームFPAS、さらに、場合によっては、相対的な符号化パラメータは、幾つかのパラメータParamである。
本開示内容の一実施形態によれば、情報データIDをローカル・メモリまたは遠隔メモリ上に記憶すること、且つ/または、通信インタフェースを通じて(例えば、バスに対し、または、通信ネットワークまたはブロードキャスト・ネットワークを介して)送信することができる。
本開示内容の一実施形態によれば、ビットストリームF1および情報データIDが異なる通信インタフェースを介して(異なるバスに対して、または、異なる通信ネットワークまたはブロードキャスト・ネットワークを介して)送信される。
本開示内容の一実施形態によれば、情報データおよびビットストリームF1が非同期の方法で送信される。
図9は、本開示内容の一実施形態による、LDRピクチャおよびイルミネーション・ピクチャを表すビットストリームを復号するステップ21のサブステップのブロック図を示す。
サブステップ90において、復号器VDECは、ビットストリームF1を少なくとも部分的に復号することによって復号されたフレームSFを取得する。
サブステップ81において、モジュールIDDは、場合によっては、パラメータParamおよび/またはローカル/遠隔メモリから、情報データIDを取得する。情報データIDは、復号されたフレームSFが特定のフレーム・パッキング配置スキームFPASに従った少なくとも2つの別個のパッキングされた構成ピクチャのサンプルを含むことを示す。
一実施形態によれば、特定のフレーム・パッキング配置スキームFPASは、情報データIDによって規定されるか、メモリから取得される。
サブステップ82において、モジュールCHは、情報データIDが少なくとも2つの別個のパッキングされた構成ピクチャのうちの1つがLDRピクチャに対応し、少なくとも2つの別個のパッキングされた構成ピクチャのうちのもう1つがイルミネーション・ピクチャに対応するを示すかどうかをチェックする。
情報データが少なくとも1つの別個のパッキングされた構成ピクチャのうちの1つがLDRピクチャに対応し、少なくとも1つの別個のパッキングされた構成ピクチャのうちのもう1つがイルミネーション・ピクチャに対応することを示す場合には、サブステップ83において、モジュールUPACKMは、復号された単一のフレームSFから、特定のフレーム・パッキング配置スキームFPASに従ってLDRピクチャおよびイルミネーション・ピクチャの双方を取得する。
そして、LDRピクチャおよびイルミネーション・ピクチャは、例えば、情報データIDによって規定された方法に従って、例えば、HDRピクチャを取得するために使用される。
一実施形態によれば、復号されたピクチャは、特定のフレーム・パッキング配置スキームFPASに依存する復号パラメータに従って復号される。
開示内容の一実施形態によれば、情報データは、SEIメッセージ(補助拡張情報メッセージ)である。
図10は、本開示内容の実施形態による、フレーム・パッキング配置に関連するこのようなSEIメッセージのシンタックスの例を示している。
SEIメッセージのシンタックスは、上記に引用されたH.264勧告によって規定されているようなフレーム・パッキング配置SEIメッセージのシンタックスの拡張である。拡張の代わりに、既存のものに加えて、新たなフレーム・パッキング配置SEIメッセージをHDRピクチャ復号処理のために具体的に規定することもできる。複数の異なるSEIメッセージが存在することを避けるために、フレーム・パッキングSEIメッセージは、出力HDRフォーマットと、LDRピクチャの復号されたバージョン
Figure 2020174358
およびイルミネーション・ピクチャIFの復号されたバージョン
Figure 2020174358
からHDRピクチャIの復号されたバージョン
Figure 2020174358
を生成するモジュールISPLMとに関連するパラメータを含めることもできる。したがって、この新たなフレーム・パッキングSEIメッセージは、フレーム・パッキングに関連するパラメータと図5または図7に記載されたパラメータとを組み合わせたものとなるであろう。
簡潔にいえば、フレーム・パッキング配置SEIメッセージは、復号器に対し、示されているフレーム・パッキング配置スキームに従って、出力された復号されたピクチャが複数の別個の空間的にパッキングされた構成ピクチャのサンプルを含むことを知らせるものである。この情報を復号器によって使用して、サンプルを適切に再配置し、表示またはその他の目的のために適切に構成ピクチャのサンプルを処理することができる。
図10におけるSEIメッセージのシンタックスは、上記に引用したH.264勧告のセクションD.1.25のテーブル(さらに、HEVC勧告)によって与えられたシンタックスと同様である。
図11は、図10のフラグ「content_interpretation_type」の説明が与えられたテーブルを示している。
タグ「content_interpretation_type」は、上記に引用されたITU−T H.264勧告(テーブルD−10)に規定された3つの値(0〜2)と同じものにすることができる。
本開示内容の一実施形態によれば、このタグは、少なくとも2つの別個のパッキングされた構成ピクチャのうちの1つがLDRピクチャに対応し、少なくとも2つの別個のパッキングされた構成ピクチャのうちのもう1つが上記LDRピクチャに関連するHDRイルミネーション・ピクチャに対応することを示す特定の値(ここでは、3)を有することができる。
変形例によれば、タグ「content_interpretation_type」のこの特定の値は、例えば、復号されたLDRピクチャおよびイルミネーション・ピクチャからHDRピクチャを取得するために、フレームSFの復号後に適用されるべき後処理をさらに示すことがある。
図12は、図10のフラグ「frame_packing_arrangement_type」の説明が与えられたテーブルである。
フラグの各値は、特定のフレーム・パッキング配置スキームを規定する。タグは、上記H.264勧告(テーブルD−9)に規定されたような高さ値(0−7)を有することができる。
本開示内容の一実施形態によれば、このタグは、LDRピクチャおよびイルミネーション・ピクチャが同一のサイズを有していない、且つ/または、フレームSF内の特定の位置を有することを示す特定の値(ここでは8)を有することができる。
このタグは、さらに、異なるサイズおよび/または位置が少なくとも1つの追加的なフラグによって規定されることを示すことができる。
変形例によれば、LDRピクチャのサイズは、SEIメッセージ内の追加的なパラメータによって規定され、その一方で、イルミネーション・ピクチャのサイズは、SPS(シーケンス・パラメータ・セット)から導出することができ、または、イルミネーション・ピクチャのサイズは、SEIメッセージ内の追加的なパラメータによって規定され、その一方で、LDRピクチャのサイズは、SPS(シーケンス・パラメータ・セット)から導出することができる。なお、SPSは、ピクチャSFのサイズを含む。
「different_views_size_flag」と称する第1の追加的なフラグ1は、LDRピクチャおよびイルミネーション・ピクチャが同一のサイズを有していない、且つ/または、フレームSF内の特定の位置を有することを示すためにSEIメッセージのシンタックスに追加される。
一組の追加的なパラメータ2がSEIメッセージのシンタックスに追加され、LDRピクチャのサイズ(幅および高さ)およびイルミネーション・ピクチャのサイズを示す。「picture0_pic_width_in_luma_samples」の値は、左上隅からのピクチャ0の列の数を示し、「picture0_pic_height_in_luma_samples」の値は、左上隅からのピクチャ0の行の数を示し、「picture1_pic_width_in_luma_samples」の値は、左上隅からのピクチャ1の列の数を示し、「picture1_pic_height_in_luma_samples」の値は、左上隅からのピクチャ1の行の数を示す。
一組の追加的なパラメータ3がSEIメッセージのシンタックスに追加され、フレームSF内のLDRピクチャの位置およびイルミネーション・ピクチャの位置を示す。値「picture0_offset_x_in_luma_samples」は、フレームSFの最初の行からのオフセットを示し、値「picture0_offset_y_in_luma_samples」は、フレームSFの最初の列からのオフセットを示し、値「picture1_offset_x_in_luma_samples」は、フレームSFの最初の行からのオフセットを示し、値「picture1_offset_y_in_luma_samples」は、フレームSFの最初の列からのオフセットを示す。
図10において、ピクチャ0は、LDRピクチャを指し、ピクチャ1は、イルミネーション・ピクチャIFを指す。または、図10において、ピクチャ0は、イルミネーション・ピクチャIFを指し、ピクチャ1は、LDRピクチャを指す。
別の実施形態によれば、フラグ「picture_packing_arrangement_type」は、特定のフレーム・パッキング配置FPASに従って、フレームSFを符号化するように符号化器を制約するための特定の値とすることができる。
例えば、符号化器は、(例えば、図13,14または図15に示されているような)スライス毎のフレームSFの符号化を行う、または、図14および図15に示されているようなフレームSFに一致するタイル境界を有するように制約される。
一実施形態によれば、フラグ「picture_packing_arrangement_type」は、LDRピクチャおよび/またはイルミネーション・ピクチャのいずれも、幾つかのピースに分割される特定のフレーム・パッキング配置スキームFPASを示す。特定のフレーム・パッキング配置スキームFPASは、さらに、フレームSF内の各ピースの位置を示す。
図13は、本実施形態によるこのようなフレーム・パッキング配置スキームの例を示している。
このフレーム・パッキング配置スキームによれば、ピクチャ1(LDRピクチャまたはイルミネーション・ピクチャ)は、4つのスライス(ピース)に分割され、スライスは、ピクチャSFの底部に位置する。
図15は、図14のフレーム・パッキング配置スキームの変形例を示している。
ここでは、2つの方向に沿ってピクチャ1をダウンサンプリングすることによって4つのサブピクチャが取得される。
本開示内容の範囲は、開示されたフレーム・パッキング配置スキームに限定されるものではないが、単一のピクチャ内に2つのピクチャをパッキングするためのどのようなフレーム・パッキング配置スキームにも拡張することができる。
図16は、本開示内容の一実施形態によるステップ10のサブステップのブロック図を示している。
ステップ161において、モジュールICは、輝度成分Lを取得し、場合によっては、符号化すべきHDRピクチャIの少なくとも1つの色成分C(i)を取得する。
例えば、HDRピクチャIが色空間(X,Y,Z)に属する場合、輝度成分Lは、成分Yの変換f(.)例えば、L=f(Y)によって取得される。
HDRピクチャIが色空間(R,G,B)に属する場合には、輝度成分Lは、例えば、709個の色域で、以下に与えられた線形結合によって取得される。
L=0.2127.R+0.7152.G+0.0722.B
ステップ162において、モジュールBAMは、HDRピクチャIの輝度成分Lからイルミネーション・ピクチャIFを特定する。
図17に例示されているステップ162の実施形態によれば、モジュールBIは、バックライト・ピクチャBaを以下に与えられる形状関数
Figure 2020174358
の重み付けされた線形結合として特定する。
Figure 2020174358
ここで、aiは、重み係数である。
従って、輝度成分Lからバックライト・ピクチャBaを特定することは、バックライト・ピクチャBaが輝度成分Lに適するものとなるような最適な重み係数を見つけること(そして、場合によっては、既知でなければ、最適な形状関数をさらに見つけること)からなる。
重み係数aiを見つけるための多くの公知の方法が存在する。例えば、バックライト・ピクチャBaと輝度成分Lとの間の平均二乗誤差を最小にするために、最小二乗平均を使用することができる。
なお、形状関数は、(例えば、LEDを用いて製造され、各形状関数が1つのLEDの応答に対応する)ディスプレイのバックライトの真の物理的な応答であってもよいし、せいぜい、輝度成分に適応する程度の、純粋な数学的な構成であってもよい。
本実施形態によれば、ステップ162から出力されたイルミネーション・ピクチャIFは、式(1)によって与えられるバックライト・ピクチャBaである。
図18に例示されているステップ162の実施形態によれば、モジュールBMは、モジュールHLによって取得された入力HDRピクチャIの平均輝度値Lmeanを用いて(式(1)によって与えられた)バックライト・ピクチャBaを変調する。
この実施形態によれば、ステップ162から出力されたイルミネーション・ピクチャIFは、変調されたバックライト・ピクチャである。
実施形態によれば、モジュールHLは、輝度成分L全体にわたって平均輝度値Lmeanを計算するように構成される。
実施形態によれば、モジュールHLは、平均輝度値Lmeanを以下の式によって計算するように構成される。
Figure 2020174358
ここで、βは、1未満の係数であり、E(X)は、輝度成分Lの数学的な期待値(平均)である。
この最後の実施形態には、極端に高い値を有する少数の画素によって平均輝度値Lmeanに影響が及ぼされ、HDRピクチャIが複数の画像からなるシーケンスに属する場合に、通常、非常に悩ましい時間的な平均輝度の不安定さが生ずるということを回避できるという利点がある。
本発明は、平均輝度値Lmeanを算出するための特定の実施形態に限定されない。
図19に例示されているこの実施形態の変形例によれば、HDRピクチャに対し、(または、HDRピクチャIが複数のピクチャからなるシーケンスに属する場合には、全てのHDRピクチャに対し、)ミッド・グレイ・アット・ワン(mid−gray−at−one)バックライト画像Bagrayを取得するように、モジュールNは、(式(1)で与えられる)バックライト画像Baをその平均値E(Ba)によって正規化する。
Figure 2020174358
そして、モジュールBMは、ミッドグレーアトワン・バックライト画像Bagrayを、以下の関係式を使用して、HDRピクチャIの平均輝度値Lmeanで変調するように構成される。
Figure 2020174358
ここで、cstmodは、変調係数であり、αは1未満、典型的には、1/3の別の変調係数である。
変形例によれば、ステップ162から出力されるイルミネーション・ピクチャIFは、式(2)によって与えられる変調されたバックライト画像Bamodである。
なお、変調係数cstmodは、残差ピクチャに対し、良好な見た目を有する輝度を得るように調整され、バックライト・ピクチャを取得するための処理に大きく依存している。例えば、最小二乗平均によって取得されるバックライト・ピクチャでは、cstmod≒1.7である。
実際には、線形性により、バックライト画像を変調するための全ての処理は、補正係数としての、バックライト係数aiに適用される。これにより、以下のものを得るように、係数aiを新たな係数
Figure 2020174358
に変換する、
Figure 2020174358
ステップ163において、残差ピクチャResは、HDRピクチャをイルミネーション・ピクチャIFの復号されたバージョン
Figure 2020174358
で除算することによって算出される。
符号化器側と復号器側との両方でイルミネーション・データが同一となるように、HDRイルミネーション・ピクチャIFの復号されたバージョン
Figure 2020174358
を使用して、HDRピクチャIの復号されたバージョン
Figure 2020174358
の精度を向上させるとよい。
より厳密には、輝度成分L、且つ、場合によっては、モジュールICから取得されたHDRピクチャIの各色成分C(i)は、イルミネーション・ピクチャIFの復号されたバージョン
Figure 2020174358
によって分割される。この除算は、ピクセル毎に行われる。
例えば、入力HDRピクチャIの成分R,G,またはBが色空間(R,G,B)で表現される場合、成分RRes、GRes、およびBResが以下のように取得される。
Figure 2020174358
例えば、HDRピクチャIのX、Y、またはZ成分は、色空間(Y,Y,Z)で表現される場合、XRes、YRes、およびZResは、以下のように取得される。
Figure 2020174358
本方法の実施形態によれば、イルミネーション・ピクチャIFの復号されたバージョン
Figure 2020174358
は、図2との関連で説明されているように、復号器DEC(ステップ21)によって、ビットストリームF1を少なくとも部分的に復号することによって取得される。
図20は、図1に記載された方法の変形例による方法のステップのブロック図を示している。
サブステップ201において、モジュールTMOは、視認可能なLDRピクチャResを取得するために、残差ピクチャRes、ステップ10の出力をトーン・マッピングする。
残差画像Resは、その動的範囲が高すぎるため、さらに、この残差画像Resの復号されたバージョンが過度の視認可能なアーティファクトを示すため、視認可能でない場合があるように見受けられる。残差画像をトーン・マッピングすることにより、これらの欠点のうちの少なくとも1つが解消される。
本発明は、特定のトーン・マッピング演算子に限定されるものではない。ここでの唯一つの条件は、トーン・マッピング演算子が可逆なものという点である。
例えば、Reinhard氏によって定義されたトーン・マッピング演算子を使用することができる(Reinhard,E.、Stark,M.、Shirley,P.、およびFerwerda,J.、「ディジタル画像のためのフォトグラフィック・トーン再現(Photographic tone reproduction for digital images)」グラフィックス21についてのACM論文誌(2002年7月))、または、Boitard,R.、Bouatouch,K.、Cozot,R.、Thoreau,D.、およびGruson,A.(2012年)、「ビデオ・トーン・マッピングのための時間干渉性(Temporal coherency for video tone mapping)」、または、A.M.J.van Eijk、C. C. Davis、S. M. Hammel、およびA.K.Majumdar (編者)、SPIE8499議事録、ディジタル画像処理のアプリケーション(Applications of Digital Image Processing)(p.84990D−84990D−10))。
ステップ201の実施形態によれば、残差ピクチャResをトーン・マッピングすることは、残差ピクチャの画素値に従ってガンマ補正またはSLog補正のいずいれかを行うステップを含む。
視認可能なLDRピクチャResは、そして、例えば、
Figure 2020174358
によって与えられる。ここで、Aは定数値であり、γは、ガンマ曲線の係数であり、例えば、1/2.4である。
代替的には、視認可能なLDRピクチャResは、そして、例えば、
Figure 2020174358
によって与えられる。ここで、a、b、およびcは、0および1が不変条件であり、SLog曲線の導関数が1未満のガンマ曲線によって延長される場合に、1において連続するように決められるSLogの係数である。したがって、a、b、およびcは、パラメータγの関数である。
実施形態によれば、ガンマSlog曲線のパラメータγは、パラメータParamとして符号化される。
ガンマ補正を残差ピクチャResに適用すると、暗領域の明るさが引き上げられるが、明画素の焼き付きを回避するほどには十分にハイライトを低下するものではない。
SLog補正を残差ピクチャResに適用すると、十分にハイライトが低下するが、暗領域の明るさを引き上げるものではない。
したがって、ステップ201の好ましい実施形態によれば、モジュールTMOは、残差ピクチャResの画素値に従って、ガンマ補正またはSLog補正を適用する。
残差ピクチャResの画素値が(例えば、1である)閾値未満である場合、ガンマ補正が適用され、そうでない場合には、SLog補正が適用される。
構成上、視認可能なLDRピクチャResは、通常、HDRピクチャIの輝度に依存して、多かれ少なかれ1に近い平均値を有し、上述したガンマ−Slogの組み合わせを利用すると特に効率的になる。
本方法の実施形態によれば、ステップ202において、モジュールSCAは、符号化(ステップ11)の前に、残差ピクチャResまたは視認可能なLDRピクチャResの各成分をスケーリング係数cstscalingで乗算することによって、残差ピクチャResまたは視認可能な残差ピクチャResvをスケーリングする。結果として得られるLDRピクチャRessは、以下によって与えられる。
Ress=cstscalingRes、または
Ress=cstscalingRes
特定の実施形態によれば、スケーリング係数cstscalingは、0〜最大値2N−1までの間の、残差ピクチャResの値、または視認可能なLDRピクチャResの値をマッピングするように規定される。ここで、Nは、残差ピクチャResまたは視認可能なLDRピクチャResを符号化するために使用される符号化器による符号化のための入力として認められるビット数である。
これは、当然に、(残差ピクチャResまたは視認可能なLDRピクチャResの概ね平均値である)値1をミッドグレイ値2N−1にマッピングすることによって取得される。したがって、標準的なビット数N=8を用いて、残差ピクチャResまたは視認可能なLDRピクチResに対し、スケーリング係数が120である場合には、2=128でニュートラルグレイに近くなるため、極めて一貫した値となる。
本方法の実施形態によれば、ステップ203において、モジュールCLIは、符号化の前に残差ピクチャRes、Res、またはResをクリッピングして、そのダイナミック・レンジを目標ダイナミック・レンジTDRに制限する。目標ダイナミック・レンジTDRは、例えば、残差ピクチャの符号化に使用される符号化器の機能に従って規定される。
この最後の実施形態によれば、結果として得られるLDRピクチャRescは、例えば、本方法の実施形態に従って、以下のように与えられる。
Res=max(2,Res)
Res=max(2,Res)、または
Res=max(2,Res
本発明は、このようなクリッピング(max(.))に限定されるものではないが、どのような種類のクリッピングにも拡張される。
スケーリングの実施形態とクリッピングの実施形態とを組み合わせることによって、本方法の実施形態により、以下によって与えられるLDRピクチャ画像Resscが得られる。
Ressc=max(2,cstscaling*Res)、または、
Ressc= max(2,cstscaling*Res
本方法の実施形態によれば、残差ピクチャRFは、残差ピクチャRes、Res、Res、または、Resのうちの1つである。
そして、イルミネーション・ピクチャIFおよび残差ピクチャRFは、図1との関連で説明された符号化器ENC(ステップ11)によって符号化される。
残差ピクチャのトーン・マッピングおよびスケーリングは、パラメトリックな処理である。なお、パラメータ
Figure 2020174358
は、後処理およびカラー・グレーディングにおける専門家の嗜好に合わせてコンテンツに最適なものとなるようにされる。さらに、これらのパラメータは、固定されている場合もあれば固定されていない場合もあり、固定されていない場合には、幾つかのパラメータParamとみなされる。
その一方で、様々なピクチャの全ての場合に許容されるように、ユニバーサル・パラメータが規定されることがある。
図21は、図2に記載した方法の変形例による方法のステップのブロック図を示している。
上述したように、LDRピクチャRFの復号されたバージョン
Figure 2020174358
およびイルミネーション・ピクチャIFの復号されたバージョン
Figure 2020174358
は、ステップ21から取得される。
ステップ213において、HDRピクチャIの復号されたバージョン
Figure 2020174358
は、
LDRピクチャRFの復号されたバージョン
Figure 2020174358

イルミネーション・ピクチャIFの復号されたバージョン
Figure 2020174358
を乗算することによって取得される。
一実施形態によれば、パラメータ
Figure 2020174358
および/または
Figure 2020174358
もまた、ローカル・メモリから、または、モジュールFDECから取得される(ステップ20)。
本方法の実施形態によれば、ステップ211において、モジュールISCAは、LDRピクチャRFの復号されたバージョン
Figure 2020174358
をパラメータ
Figure 2020174358
で除算することによって、LDRピクチャRFの復号されたバージョン
Figure 2020174358
に逆スケーリングを適用する。
一実施形態によれば、ステップ212において、モジュールITMOは、パラメータ
Figure 2020174358
によってLDRピクチャRFの復号されたバージョン
Figure 2020174358
に逆トーン・マッピングを適用する。
例えば、パラメータ
Figure 2020174358
は、ガンマ曲線を規定し、逆トーン・マッピングは、単に、ガンマ曲線から、LDRピクチャRFの復号されたバージョン
Figure 2020174358
の画素値に対応する値を単に見つけるものである。
ステップ213で使用されているLDRピクチャRFの復号されたバージョン
Figure 2020174358
は、よって、本方法の幾つかの実施形態に従った、LDRピクチャRFの復号されたバージョン
Figure 2020174358
、ステップ21の出力、または、LDRピクチャRFの逆スケーリングされたバージョン(ステップ211の出力)、または、LDRピクチャRFの逆トーン・マッピングされたバージョン(ステップ211を行わないステップ212の出力)、または、LDRピクチャRFの逆スケーリングおよび逆トーン・マッピングされたバージョン(ステップ211を行ったステップ212の出力)である。
ビットストリームF1は、ローカル・メモリまたは遠隔メモリに記憶され、且つ/または、通信インタフェースを通じて(例えば、バスに対して、または、通信ネットワークまたはブロードキャスト・ネットワークを介して)送信される。
ビットストリームF2は、ローカル・メモリまたは遠隔メモリに記憶され、且つ/または、通信インタフェースを通じて(例えば、バスに対して、または、通信ネットワークまたはブロードキャスト・ネットワークを介して)送信される。
ビットストリームF1およびビットストリームF2は、非同期的に送信することができる。
ビットストリームF1とビットストリームF2とを一緒に合わせて、本開示内容の変形例による単一のビットストリームを表すことができる。
復号器DEC、FDEC、およびVDECは、符号化器ENC、FENC、およびVENCのそれぞれによって符号化されたデータを復号するように構成される。
符号化器ENC、FENC、およびVENC(および復号器DEC、FDEC、およびVDEC)は、特定の符号化器(復号器)に限定されるものではないが、エントロピー符号化器(復号器)が必要な場合、H264/AVCやHEVCで使用される、ハフマン符号化器、算術符号化器、または、Cabacのようなコンテキスト適応符号化器などのエントロピー符号化器を有益に使用することができる。
符号器ENC、FENC、およびVENC(そして、復号器DEC、FDEC、およびVDEC)は、例えば、JPEG、JPEG2000、MPEG2、H264/AVCまたはHEVCのような損失を有するイメージ(画像)/ビデオ(映像)符号化器のような特定の符号化器に限定されるものではない。
変形例によれば、出力LDRフォーマットは、SEIメッセージ(第1のメッセージSE1)内に符号化され、出力HDRフォーマットは、VUIメッセージ(第2のシンタックス要素SE2)内に符号化される。
これらの変形例は、復号されたLDRピクチャがいずれにしても任意のレンダリングLDR装置上で視認可能でない場合には、例えば、既存のレンダリングLDR装置(例えば、Lab色空間)によってサポートされていない色空間に対応するため、関連性がある。このような場合、出力HDRフォーマットをシグナリングするためにVUIを保持することが好ましいことがある。
図22および図23は、出力LDRフォーマットを表す、例えば、「LDR_video_info()」と呼ばれるSEIメッセージの例と、本開示内容の一実施形態に従って、HEVC勧告に準拠しているシンタックを有する、出力HDRフォーマットを表す、例えば、「vui_parameters()」と呼ばれるVUIメッセージの例と、を示す。
SEIメッセージ「LDR_video_info()」は、以下の出力LDRフォーマットを実際に規定するタグを含む。
LDR_video_cancel_flag、
LDR_video_full_range_flag、
LDR_video_colour_primaries、
LDR_video_transfer_characteristics、および
LDR_video_matrix_coeffs
これらのタグのセマンティクスは、シンタックス要素がLDRピクチャに関連していることを除き、図3との関連で説明したSEIメッセージについてのセマンティクスと同様である。例えば、
LDR_video_cancel_flagが1である場合、これは、SEIメッセージ「LDR_video_info()」が出力順で前に存在するSEIメッセージ「LDR_video_info()」の永続性をキャンセルすることを示す。
LDR_video_full_range_flagは、以下の点を除き、video_full_range_flagシンタックス要素に対して上記で引用したHEVC勧告の項E.2.1で規定したものと同一のセマンティクスを有する。LDR_video_full_range_flagは、CVSに対して使用される色空間でなく、HDRピクチャIの復号されたバージョン
Figure 2020174358
に対して使用される色空間を規定している。タグLDR_video_full_range_flagがSEIメッセージ「LDR_video_info()」内に存在しない場合には、LDR_video_full_range_flagの値は、video_full_range_flagと等しいと推定される。
LDR_video_target_colour_primariesは、以下の点を除き、colour_primariesシンタックス要素に対して上記で引用したHEVC勧告の項E.2.1で規定したものと同一のセマンティクスを有する。LDR_video_target_colour_primariesは、CVSに対して使用される色空間でなく、HDRピクチャIの復号されたバージョン
Figure 2020174358
に対して使用される色空間を規定している。LDR_video_target_colour_primariesがSEIメッセージ「LDR_video_info()」内に存在しない場合には、LDR_video_target_colour_primariesの値は、colour_primariesと等しいと推定される。
LDR_video_target_transfer_characteristicsは、以下の点を除き、transfer_characteristicsシンタックス要素に対して上記で引用したHEVC勧告の項E.2.1で規定したものと同一のセマンティクスを有する。LDR_video_target_transfer_characteristicsは、CVSに対して使用される色空間でなく、HDRピクチャIの復号されたバージョン
Figure 2020174358
に対して使用される色空間を規定している。LDR_video_target_transfer_characteristicsがSEIメッセージ「LDR_video_info()」内に存在しない場合には、LDR_video_target_transfer_characteristicsの値は、transfer_characteristicsと等しいと推定される。
LDR_video_target_matrix_coeffsは、以下の点を除き、matrix_coeffsシンタックス要素に対して上記で引用したHEVC勧告の項E.2.1で規定したものと同一のセマンティクスを有する。LDR_video_target_matrix_coeffsは、CVSに対して使用される色空間でなく、HDRピクチャIの復号されたバージョン
Figure 2020174358
に対して使用される色空間を規定している。LDR_video_target_matrix_coeffsがSEIメッセージ「LDR_video_info()」内に存
在しない場合には、LDR_video_target_matrix_coeffsの値は、matrix_coeffsと等しいと推定される。
SEIメッセージ「LDR_video_info()」の他のタグは、HDRピクチャIの復号されたバージョン
Figure 2020174358
を取得するために使用されるイルミネーション・ピクチャIFの復号されたバージョン
Figure 2020174358
を取得するモジュールISPLMによって使用されるパラメータについての情報を提供する。これらのタグのセマンティクスは、図5との関連で説明したSEIメッセージに対して述べたセマンティクスと同様である。
図23は、VUIメッセージ「vui_parameters()」の例を示している。
これらのタグのセマンティクスは、HDRピクチャに関連するシンタックス要素を除き、図3との関連で説明したVUIメッセージに対して述べたセマンティクスと同様である。
変形例によれば、特定のシンタックス要素「sample_format」が非整数フォーマット(浮動小数点フォーマット)をサポートできるようにするために、VUIに追加される。例として、HDRピクチャIの復号されたバージョン
Figure 2020174358
の輝度および色度のサンプル・アレイのサンプルのフォーマットを規定するために、シンタックス要素「sample_format」のセマンティクスが提案される。そして、図23のタグ「sample_format」が0の場合は、サンプルが整数フォーマットであることを示す。0を超える値のフラグ「sample_format」は、ITU−T|ISO/IECによる将来の使用のために予約されている。「sample_format」が存在しない場合には、「sample_format」の値は、0であると推定される。
例えば、変形例によれば、タグ「sample_format」が1の場合は、サンプルが半精度浮動小数点フォーマットであることを示す。
図1〜図23において、モジュールは、機能ユニットであり、物理的に区別可能なユニットに関連することもあれば、そうでないこともある。例えば、これらのモジュール、または、これらのモジュールのうちの幾らかは、ユニークなコンポーネントまたは回路に一体的に集められることもあれば、ソフトウェアの機能に寄与することもある。その一方で、幾らかのモジュールが物理的に別体に構成されることもある。本発明に対応可能な装置は、純粋なハードウェア、例えば、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)、VLSI(Very Large Scale Integration)などの専用ハードウェアを用いて実施することもできるし、装置に埋め込まれた幾つかの集積された電子コンポーネントで実施してもよいし、ハードウェア・コンポーネントおよびソフトウェア・コンポーネントを組み合わせて実施してもよい。
図24は、図1〜図23との関連で説明した方法を実施するように構成された装置240の例示的なアーキテクチャを表している。
装置240は、データおよびアドレス・バス241によって互いにリンクされた要素として、
例えば、DSP(Digital Signal Processor)である、マイクロプロセッサ242(またはCPU)と、
ROM(Read Only Memory)243と、
RAM(Random Access Memory)244と、
アプリケーションに対してを送受信するためのI/Oインタフェース245と、
バッテリ246と、を含む。
変形例によれば、バッテリ246は、装置の外部に存在する。図24のこれらの要素の各々は、当業者によって良く知られたものであるため、さらなる説明を行わない。上述したメモリの各々において、明細書において「レジスタ」という用語が使用されている場合には、これは、小さな容量の領域(幾らかのビット)に対応することもあれば、非常に大きな容量の領域(例えば、プログラム全体または大容量の受信または復号されたデータ)に対応することもある。ROM243は、少なくともプログラムおよびパラメータを含む。本発明に従った方法のアルゴリズムは、ROM243に記憶される。スイッチがオンになると、CPU242は、RAM内のプログラムをアップロードし、対応する命令を実行する。
RAM244は、レジスタ内のCPU242によって実行され、装置240の電源が投入された後にアップロードされたプログラム、レジスタ内の入力データ、レジスタ内の本方法の様々な状態での中間データ、さらに、レジスタ内の本方法の実行のために使用される様々な変数を含む。
本明細書中で記載されている実施態様は、例えば、方法またはプロセス、装置、ソフトウェア・プログラム、データストリーム、または信号の形態で実施することができる。実施態様が単数形の文脈でのみ説明されている場合であっても(例えば、方法または装置としてのみ説明されている場合であっても)、説明した特徴事項を他の形態(例えば、プログラム)で実施することもできる。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアで実施することができる。本方法は、例えば、一般的には、例えば、コンピュータ、マイクロプロセッサ、集積回路、または、プログラマブル・ロジック・デバイスを含む、処理装置と呼ばれる、例えば、プロセッサなどの、装置で実施される。プロセッサは、さらに、例えば、コンピュータ、携帯電話、ポータブル/パーソナル・ディジタル・アシスタント(「PDA」)、および、エンドユーザ間の情報の通信を容易にする他の装置などの、通信装置を含む。
符号化処理または符号化器の特定の実施形態によれば、入力HDRピクチャがソースから取得される。例えば、ソースは、
ローカル・メモリ(243または244)、例えば、ビデオ・メモリまたはRAM(またはRandom Access Memory)、フラッシュ・メモリ、ROM(またはRead Only Memory)、ハードディスクと、
ストレージ・インタフェース(245)、例えば、大容量記憶装置、RAM、フラッシュ・メモリ、ROM、光学ディスクまたは磁気サポートとのインタフェースと、
通信インタフェース(245)、例えば、有線インタフェース(例えば、バス・インタフェース、広域ネットワーク・インタフェース、ローカルエリア・ネットワーク・インタフェース)または無線インタフェース(IEEE802.11インタフェースまたはBlurtooth(商標)インタフェース)と、
ピクチャ取り込み回路(例えば、CCD(Charge−Coupled Device)またはCMOS(Complementary Metal−Oxide−Semiconductor)などのセンサ)と、
を含む要素を組み合わせたものである。
復号処理または復号器の別の実施形態によれば、復号されたピクチャ
Figure 2020174358
および/またはIFは、送信対象に対して送信され、具体的には、この送信対象は、
ローカル・メモリ(243または244)、例えば、ビデオ・メモリまたはRAM、フラッシュ・メモリ、ハードディスクと、
ストレージ・インタフェース(245)、例えば、大容量記憶装置、RAM、フラッシュ・メモリ、ROM、光学ディスクまたは磁気サポートとのインタフェースと、
通信インタフェース(245)、例えば、有線インタフェース(例えば、バス・インタフェース(例えば、USB(Universal Serial Bus))、広域ネットワーク・インタフェース、ローカルエリア・ネットワーク、HDMI(登録商標)(High Definition Multimedia Interface)インタフェース、または無線インタフェース(IEEE802.11インタフェース、WiFiまたはBluetooth(登録商標)インタフェース)と、
ディスプレイと、
を含む要素を組み合わせたものである。
符号化処理または符号化器の異なる実施形態によれば、ビットストリームFおよび情報データIDは、送信対象に対して送信される。例として、ビットストリームFおよび情報データID、またはこれらの双方がローカル・メモリまたは遠隔メモリ、例えば、ビデオ・メモリ(244)またはRAM(244)、ハードディスク(243)に記憶される。変形例においては、ビットストリームFまたは情報ID、もしくはこれらの双方がストレージ・インタフェース(245)、例えば、大容量記憶装置、RAM、フラッシュ・メモリ、ROM、光学ディスクまたは磁気サポートとのインタフェースに送信され、且つ/または通信インタフェース(245)、例えば、ポイントトゥポイント・リンク、通信バス、ポイントトゥマルチポイント・リンク、またはブロードキャスト・ネットワークを介して送信される。
復号処理または復号器の別の実施形態によれば、ビットストリームFおよび/または情報データIDは、ソースから取得される。例示的には、ビットストリームおよび/または情報データIDは、ローカル・メモリ、例えば、ビデオ・メモリ(244)、RAM(244)、ROM(243)、フラッシュ・メモリ(243)、またはハードディスク(243)から読み出される。変形例においては、ビットストリームおよび/または情報データIDがストレージ・インタフェース(1405)、例えば、大容量ストレージ、RAM、ROM,フラッシュ・メモリ、光学ディスク、または、磁気サポートから受信され、且つ/または、通信インタフェース(245)、例えば、ポイントトゥポイント・リンク、バス、ポイントトゥマルチポイント・リンク、またはブロードキャスト・ネットワークから受信される。
別の実施形態によれば、装置240は、図1との関連で説明した装置を実施するように構成され、
モバイル・デバイスと、
通信デバイスと、
ゲーム装置と、
タブレット(またはタブレット・コンピュータ)と、
ラップトップと、
静止画像カメラと、
ビデオ・カメラと、
符号化クリップと、
静止画像サーバと、
ビデオ・サーバ(例えば、ブロードキャスト・サーバ、ビデオオンデマンド・サーバ、または、ウェブサーバ)と、
を含む要素を組み合わせたものである。
別の実施形態によれば、装置240は、図2との関連で説明される方法を実施するように構成され、
モバイル・デバイスと、
通信デバイスと、
ゲーム・デバイスと、
TVセットと、
タブレット(またはタブレット・コンピュータ)と、
ラップトップと、
ディスプレイと、
復号チップと、
を含む要素を組み合わせたものである。
図25に例示されている実施形態によれば、通信ネットワークNETを介して2つの遠隔装置AおよびBの間で送信を行う状況において、デバイスAは、図1との関連で説明される方法を実施するように構成された手段を含み、デバイスBは、図2との関連で説明される方法を実施するように構成される手段を含む。
本発明の変形例によれば、ネットワークは、ブロードキャスト・ネットワークであり、静止ピクチャまたは映像ピクチャを、装置Aから装置Bを含む復号装置にブロードキャストするように構成されている。
本明細書中で記載された様々な処理の実施態様は、様々な異なる機器やアプリケーション、特に、例えば、機器またはアプリケーションで実施することができる。このような機器の例は、符号化器、復号器、復号器からの出力を処理するポストプロセッサ、符号化器に入力を提供するプリプロセッサ、ビデオ符号化器、ビデオ復号器、ビデオコーデック、ウェブサーバ、セットトップ・ボックス、ラップトップ、パーソナル・コンピュータ、携帯電話、PDA、そして他の通信装置を含む。機器は、携帯機器でもよく、移動車両に据え付けられるものでさえよいことは明らかであろう。
さらに、方法は、プロセッサによって実行される命令によって実施されていてもよく、このような命令(および/または実施態様によって生成されるデータ)は、コンピュータ可読記憶媒体に記憶することができる。コンピュータ可読記憶媒体は、1つ以上のコンピュータ可読媒体上で実施され、コンピュータによって実行可能な、コンピュータ可読プログラム・コードが実装されたコンピュータ可読プログラム・プロダクトの形態をとることができる。本明細書中で使用されるコンピュータ可読記憶媒体は、情報を記憶する固有の機能とともに、記憶した情報を取得する固有の機能を与えられた非一時的記憶媒体であると考えられる。コンピュータ可読記憶媒体は、例えば、限定するものではないが、電子的、磁気的、光学的、電磁的、赤外線、または、半導体システム、装置、デバイスとすることができ、上記に挙げたものを任意に組み合わせることができる。本発明を適用可能なコンピュータ可読記憶媒体のより具体的な例を以下に提供するが、列挙されている例は、例示的なものに過ぎず、網羅的なものではないことが、当業者であれば容易に理解できるであろう。
ポータブル・コンピュータ・ディスク、ハードディスク、読み出し専用メモリ(ROM)、消去可能プログラマブル読み出し専用メモリ(EPROMまたはフラッシュ・メモリ)、ポータブル・コンパクト・ディスク読み出し専用メモリ(CD−ROM)、光学記憶装置、磁気記憶装置、または、上記に挙げたものを任意に組み合わせたもの。
命令は、プロセッサ可読媒体上に現実的に実装されるアプリケーション・プログラムの形態を取ることができる。
例えば、命令は、ハードウェア、ファームウェア、ソフトウェア、またはこれらを組み合わせたものとすることができる。命令は、例えば、オペレーティング・システム、別個のアプリケーション、またはこの2つを組み合わせたものに存在させることができる。よって、プロセッサを、例えば、処理を実行するように構成された装置と、処理を実行する命令を有する(記憶装置などの)プロセッサ可読媒体を含む装置の両方として特徴付けられる。さらに、プロセッサ可読媒体は、命令に追加して、または、命令の代わりに、実施態様により生成されるデータ値を記憶することができる。
実施態様により、例えば、記憶、送信可能な情報を保持するようにフォーマットされた様々な信号を生成できることは当業者によって自明であろう。情報は、例えば、方法を実行する命令、または、上記の実施態様のうちの1つによって生成されたデータを含む。例えば、信号は、データとして、記載した実施形態のシンタックスの読み書きのためのルールを保持するように、または、記載した実施形態によって記述された実際のシンタックス値をデータとして保持するようにフォーマットすることができる。このような信号は、例えば、(例えば、スペクトルの無線周波数部分を使用した)電磁波として、または、ベースバンド信号としてフォーマットすることができる。フォーマット化には、例えば、データストリームを符号化することおよび符号化されたデータストリームを用いてキャリアを変調することを含めることができる。信号が保持する情報は、例えば、アナログ情報またはディジタル情報である。信号は、公知である様々な有線リンクまたは無線リンクを介して送信することができる。信号は、プロセッサ可読媒体に記憶することができる。
幾つかの実施態様について説明を行った。しかしながら、様々な改変を施すことができることが理解できよう。例えば、複数の異なる実施態様を組み合わせたり、補ったり、変更したり、除去したりすることで他の実施態様を生み出すことができる。さらに、当業者であれば、開示した内容を他の構造や処理で置き換えることができ、結果として得られる実施態様が、少なくとも実質的に同一の方法で、少なくとも実質的に同一の機能を実行し、少なくとも開示した実施態様と実質的に同一の効果を生み出すことが理解できよう。したがって、本出願によってこれらの実施態様およびその他の実施態様が企図される。
幾つかの実施態様について説明を行った。しかしながら、様々な改変を施すことができることが理解できよう。例えば、複数の異なる実施態様を組み合わせたり、補ったり、変更したり、除去したりすることで他の実施態様を生み出すことができる。さらに、当業者であれば、開示した内容を他の構造や処理で置き換えることができ、結果として得られる実施態様が、少なくとも実質的に同一の方法で、少なくとも実質的に同一の機能を実行し、少なくとも開示した実施態様と実質的に同一の効果を生み出すことが理解できよう。したがって、本出願によってこれらの実施態様およびその他の実施態様が企図される。
上記実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限定されない。
(付記1)
HDRピクチャから双方が取得されるLDRピクチャおよびイルミネーション・ピクチャを表すビットストリーム内において、出力LDRフォーマットと呼ばれる、前記LDRピクチャの復号されたバージョンのピクチャ/ビデオ・フォーマットと、出力HDRフォーマットと呼ばれる、前記HDRピクチャの復号されたバージョンのピクチャ/ビデオ・フォーマットとの双方をシグナリングする方法であって、当該方法は、前記ビットストリーム内において、前記出力LDRフォーマットを規定する第1のシンタックス要素を符号化することを含んでおり、
前記ビットストリーム内において、前記第1のシンタックス要素とは異なる、前記出力HDRフォーマットを規定する第2のシンタックス要素を符号化することをさらに含むことを特徴とする、前記方法。
(付記2)
前記第1のシンタックス要素は、HEVC勧告に準拠したシンタックスを有するVUIメッセージであり、前記第2のシンタックス要素は、SEIメッセージである、付記1に記載の方法。
(付記3)
前記第2のシンタックスは、前記HDRピクチャの前記復号されたバージョンを取得するために使用される、前記イルミネーション・ピクチャの復号されたバージョンを取得するための情報データをさらに提供する、付記2に記載の方法。
(付記4)
前記第2のシンタックス要素は、前記イルミネーション・ピクチャの前記復号されたバージョンが形状関数の重み付けされた線形結合によって表されることをさらに示す、付記2または3に記載の方法。
(付記5)
前記イルミネーション・ピクチャの前記復号されたバージョンを取得するために前記形状関数に適用される重み係数は、HEVC勧告に準拠したシンタックスを有する補助ピクチャ内に埋め込まれるか、追加的なSEIメッセージ内に埋め込まれる、付記4に記載の方法。
(付記6)
前記HDRピクチャの前記復号されたバージョンは、前記LDRピクチャの前記復号されたバージョンに前記イルミネーション・ピクチャの前記復号されたバージョンを乗算することによって取得され、前記第2のシンタックス要素は、前記LDRピクチャの前記復号されたバージョンに前記イルミネーション・ピクチャの前記復号されたバージョンを乗算する前に前記LDRピクチャの前記復号されたバージョンに適用されるように意図された後処理のパラメータについての情報をさらに提供する、付記2〜6のいずれかに記載の方法。
(付記7)
前記第2のシンタックス要素は、前記LDRピクチャの前記復号されたバージョンに適用されるように意図された後処理の前記パラメータについての情報を集めるルックアップ・テーブルを含む、付記6に記載の方法。
(付記8)
前記第1のシンタックス要素は、SEIメッセージであり、前記第2のシンタックス要素は、VUIメッセージである、付記1に記載の方法。
(付記9)
前記第1のシンタックスは、前記HDRピクチャの前記復号されたバージョンを取得するために使用される、前記イルミネーション・ピクチャの復号されたバージョンを取得するための情報をさらに提供する、付記8に記載の方法。
(付記10)
オリジナルのHDRピクチャから双方が取得されるLDRピクチャおよびイルミネーション・ピクチャを表すビットストリーム内において、出力LDRフォーマットと呼ばれる、前記LDRピクチャの復号されたバージョンのピクチャ/ビデオ・フォーマットと、出力HDRフォーマットと呼ばれる、前記オリジナルのHDRピクチャの復号されたバージョンのピクチャ/ビデオ・フォーマットとの双方をシグナリングする装置であって、当該装置は、前記ビットストリーム内において、前記出力LDRフォーマットを規定する第1のシンタックス要素を符号化するように構成された符号化器を有しており、
前記符号化器は、前記ビットストリーム内において、前記第1のシンタックス要素とは異なる、前記出力HDRフォーマットを規定する第2のシンタックス要素を符号化するようにさらに構成されていることを特徴とする、前記装置。
(付記11)
前記第1のシンタックス要素は、HEVC勧告に準拠したシンタックスを有するVUIメッセージであり、前記第2のシンタックス要素は、SEIメッセージである、付記10に記載の装置。
(付記12)
前記第2のシンタックスは、前記HDRピクチャの前記復号されたバージョンを取得するために使用される、前記イルミネーション・ピクチャの前記復号されたバージョンを取得するための情報データをさらに提供する、付記11に記載の装置。
(付記13)
前記第2のシンタックス要素は、前記イルミネーション・ピクチャの前記復号されたバージョンが形状関数の重み付けされた線形結合によって表されることをさらに示す、付記11または12に記載の装置。
(付記14)
前記イルミネーション・ピクチャの前記復号されたバージョンを取得するために前記形状関数に適用される重み係数は、HEVC勧告に準拠したシンタックスを有する補助ピクチャ内に埋め込まれるか、追加的なSEIメッセージ内に埋め込まれる、付記13に記載の装置。
(付記15)
前記HDRピクチャの前記復号されたバージョンは、前記LDRピクチャの前記復号されたバージョンに前記イルミネーション・ピクチャの前記復号されたバージョンを乗算することによって取得され、前記第2のシンタックス要素は、前記LDRピクチャの前記復号されたバージョンに前記イルミネーション・ピクチャの前記復号されたバージョンを乗算する前に前記LDRピクチャの前記復号されたバージョンに適用されるように意図された後処理のパラメータについての情報をさらに提供する、付記11〜14のいずれかに記載の装置。
(付記16)
前記第2のシンタックス要素は、前記LDRピクチャの前記復号されたバージョンに適用されるように意図された後処理の前記パラメータについての情報を集めるルックアップ・テーブルを含む、付記15に記載の装置。
(付記17)
前記第1のシンタックス要素は、SEIメッセージであり、前記第2のシンタックス要素は、VUIメッセージである、付記10に記載の装置。
(付記18)
前記第1のシンタックスは、前記HDRピクチャの前記復号されたバージョンを取得するために使用される、前記イルミネーション・ピクチャの復号されたバージョンを取得するためのデータをさらに提供する、付記17に記載の装置。
(付記19)
コンピュータ上でプログラムが実行されたときに付記1〜9のいずれかに記載の方法のステップを実行するためのプログラム・コードの命令を含むコンピュータ・プログラム製品。
(付記20)
プロセッサに少なくとも付記1〜9のいずれかに記載の方法のステップを実行させるための命令が記憶されたプロセッサ可読媒体。
(付記21)
計算装置上でプログラムが実行されたときに付記1〜9のいずれかに記載の方法のステップを実行するためのプログラム・コードの命令を保持する非一時的記憶媒体。
(付記22)
付記1〜9のいずれかに記載の方法によって処理される第1のシンタックス要素および第2のシンタックス要素を保持することを特徴とする、LDRピクチャおよびイルミネーション・ピクチャを表すビットストリームを保持する信号。

Claims (22)

  1. HDRピクチャから双方が取得されるLDRピクチャおよびイルミネーション・ピクチャを表すビットストリーム内において、出力LDRフォーマットと呼ばれる、前記LDRピクチャの復号されたバージョンのピクチャ/ビデオ・フォーマットと、出力HDRフォーマットと呼ばれる、前記HDRピクチャの復号されたバージョンのピクチャ/ビデオ・フォーマットとの双方をシグナリングする方法であって、当該方法は、前記ビットストリーム内において、前記出力LDRフォーマットを規定する第1のシンタックス要素を符号化することを含んでおり、
    前記ビットストリーム内において、前記第1のシンタックス要素とは異なる、前記出力HDRフォーマットを規定する第2のシンタックス要素を符号化することをさらに含むことを特徴とする、前記方法。
  2. 前記第1のシンタックス要素は、HEVC勧告に準拠したシンタックスを有するVUIメッセージであり、前記第2のシンタックス要素は、SEIメッセージである、請求項1に記載の方法。
  3. 前記第2のシンタックスは、前記HDRピクチャの前記復号されたバージョンを取得するために使用される、前記イルミネーション・ピクチャの復号されたバージョンを取得するための情報データをさらに提供する、請求項2に記載の方法。
  4. 前記第2のシンタックス要素は、前記イルミネーション・ピクチャの前記復号されたバージョンが形状関数の重み付けされた線形結合によって表されることをさらに示す、請求項2または3に記載の方法。
  5. 前記イルミネーション・ピクチャの前記復号されたバージョンを取得するために前記形状関数に適用される重み係数は、HEVC勧告に準拠したシンタックスを有する補助ピクチャ内に埋め込まれるか、追加的なSEIメッセージ内に埋め込まれる、請求項4に記載の方法。
  6. 前記HDRピクチャの前記復号されたバージョンは、前記LDRピクチャの前記復号されたバージョンに前記イルミネーション・ピクチャの前記復号されたバージョンを乗算することによって取得され、前記第2のシンタックス要素は、前記LDRピクチャの前記復号されたバージョンに前記イルミネーション・ピクチャの前記復号されたバージョンを乗算する前に前記LDRピクチャの前記復号されたバージョンに適用されるように意図された後処理のパラメータについての情報をさらに提供する、請求項2〜6のいずれか1項に記載の方法。
  7. 前記第2のシンタックス要素は、前記LDRピクチャの前記復号されたバージョンに適用されるように意図された後処理の前記パラメータについての情報を集めるルックアップ・テーブルを含む、請求項6に記載の方法。
  8. 前記第1のシンタックス要素は、SEIメッセージであり、前記第2のシンタックス要素は、VUIメッセージである、請求項1に記載の方法。
  9. 前記第1のシンタックスは、前記HDRピクチャの前記復号されたバージョンを取得するために使用される、前記イルミネーション・ピクチャの復号されたバージョンを取得するための情報をさらに提供する、請求項8に記載の方法。
  10. オリジナルのHDRピクチャから双方が取得されるLDRピクチャおよびイルミネーション・ピクチャを表すビットストリーム内において、出力LDRフォーマットと呼ばれる、前記LDRピクチャの復号されたバージョンのピクチャ/ビデオ・フォーマットと、出力HDRフォーマットと呼ばれる、前記オリジナルのHDRピクチャの復号されたバージョンのピクチャ/ビデオ・フォーマットとの双方をシグナリングする装置であって、当該装置は、前記ビットストリーム内において、前記出力LDRフォーマットを規定する第1のシンタックス要素を符号化するように構成された符号化器を有しており、
    前記符号化器は、前記ビットストリーム内において、前記第1のシンタックス要素とは異なる、前記出力HDRフォーマットを規定する第2のシンタックス要素を符号化するようにさらに構成されていることを特徴とする、前記装置。
  11. 前記第1のシンタックス要素は、HEVC勧告に準拠したシンタックスを有するVUIメッセージであり、前記第2のシンタックス要素は、SEIメッセージである、請求項10に記載の装置。
  12. 前記第2のシンタックスは、前記HDRピクチャの前記復号されたバージョンを取得するために使用される、前記イルミネーション・ピクチャの前記復号されたバージョンを取得するための情報データをさらに提供する、請求項11に記載の装置。
  13. 前記第2のシンタックス要素は、前記イルミネーション・ピクチャの前記復号されたバージョンが形状関数の重み付けされた線形結合によって表されることをさらに示す、請求項11または12に記載の装置。
  14. 前記イルミネーション・ピクチャの前記復号されたバージョンを取得するために前記形状関数に適用される重み係数は、HEVC勧告に準拠したシンタックスを有する補助ピクチャ内に埋め込まれるか、追加的なSEIメッセージ内に埋め込まれる、請求項13に記載の装置。
  15. 前記HDRピクチャの前記復号されたバージョンは、前記LDRピクチャの前記復号されたバージョンに前記イルミネーション・ピクチャの前記復号されたバージョンを乗算することによって取得され、前記第2のシンタックス要素は、前記LDRピクチャの前記復号されたバージョンに前記イルミネーション・ピクチャの前記復号されたバージョンを乗算する前に前記LDRピクチャの前記復号されたバージョンに適用されるように意図された後処理のパラメータについての情報をさらに提供する、請求項11〜14のいずれか1項に記載の装置。
  16. 前記第2のシンタックス要素は、前記LDRピクチャの前記復号されたバージョンに適用されるように意図された後処理の前記パラメータについての情報を集めるルックアップ・テーブルを含む、請求項15に記載の装置。
  17. 前記第1のシンタックス要素は、SEIメッセージであり、前記第2のシンタックス要素は、VUIメッセージである、請求項10に記載の装置。
  18. 前記第1のシンタックスは、前記HDRピクチャの前記復号されたバージョンを取得するために使用される、前記イルミネーション・ピクチャの復号されたバージョンを取得するためのデータをさらに提供する、請求項17に記載の装置。
  19. コンピュータ上でプログラムが実行されたときに請求項1〜9のいずれか1項に記載の方法のステップを実行するためのプログラム・コードの命令を含むコンピュータ・プログラム製品。
  20. プロセッサに少なくとも請求項1〜9のいずれか1項に記載の方法のステップを実行させるための命令が記憶されたプロセッサ可読媒体。
  21. 計算装置上でプログラムが実行されたときに請求項1〜9のいずれか1項に記載の方法のステップを実行するためのプログラム・コードの命令を保持する非一時的記憶媒体。
  22. 請求項1〜9のいずれか1項に記載の方法によって処理される第1のシンタックス要素および第2のシンタックス要素を保持することを特徴とする、LDRピクチャおよびイルミネーション・ピクチャを表すビットストリームを保持する信号。
JP2020103552A 2014-06-20 2020-06-16 ビットストリーム内で、ldrピクチャのピクチャ/ビデオ・フォーマットと、このldrピクチャおよびイルミネーション・ピクチャから取得された復号済みのhdrピクチャのピクチャ/ビデオ・フォーマットとをシグナリングする方法および装置 Active JP7053722B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14305963.2A EP2958328A1 (en) 2014-06-20 2014-06-20 Method and device for signaling in a bitstream a picture/video format of an LDR picture and a picture/video format of a decoded HDR picture obtained from said LDR picture and an illumination picture
EP14305963.2 2014-06-20

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016573811A Division JP6719391B2 (ja) 2014-06-20 2015-06-04 ビットストリーム内で、ldrピクチャのピクチャ/ビデオ・フォーマットと、このldrピクチャおよびイルミネーション・ピクチャから取得された復号済みのhdrピクチャのピクチャ/ビデオ・フォーマットとをシグナリングする方法および装置

Publications (2)

Publication Number Publication Date
JP2020174358A true JP2020174358A (ja) 2020-10-22
JP7053722B2 JP7053722B2 (ja) 2022-04-12

Family

ID=51162639

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016573811A Active JP6719391B2 (ja) 2014-06-20 2015-06-04 ビットストリーム内で、ldrピクチャのピクチャ/ビデオ・フォーマットと、このldrピクチャおよびイルミネーション・ピクチャから取得された復号済みのhdrピクチャのピクチャ/ビデオ・フォーマットとをシグナリングする方法および装置
JP2020103552A Active JP7053722B2 (ja) 2014-06-20 2020-06-16 ビットストリーム内で、ldrピクチャのピクチャ/ビデオ・フォーマットと、このldrピクチャおよびイルミネーション・ピクチャから取得された復号済みのhdrピクチャのピクチャ/ビデオ・フォーマットとをシグナリングする方法および装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016573811A Active JP6719391B2 (ja) 2014-06-20 2015-06-04 ビットストリーム内で、ldrピクチャのピクチャ/ビデオ・フォーマットと、このldrピクチャおよびイルミネーション・ピクチャから取得された復号済みのhdrピクチャのピクチャ/ビデオ・フォーマットとをシグナリングする方法および装置

Country Status (11)

Country Link
US (1) US10219007B2 (ja)
EP (2) EP2958328A1 (ja)
JP (2) JP6719391B2 (ja)
KR (1) KR102389652B1 (ja)
CN (2) CN110830804B (ja)
AU (1) AU2015276393B2 (ja)
BR (1) BR112016029963A2 (ja)
MX (1) MX364806B (ja)
TW (1) TWI680674B (ja)
WO (1) WO2015193112A1 (ja)
ZA (1) ZA201608451B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201506644D0 (en) * 2015-04-20 2015-06-03 Univ Warwick HDR compression method and application to viewers
EP4020995A1 (en) 2015-07-16 2022-06-29 Dolby Laboratories Licensing Corporation Signal reshaping and coding for hdr and wide color gamut signals
CN107950031B (zh) * 2015-09-11 2021-02-19 松下知识产权经营株式会社 影像接收方法以及影像接收装置
JP6986670B2 (ja) 2015-09-11 2021-12-22 パナソニックIpマネジメント株式会社 映像受信方法及び映像受信装置
JP6820507B2 (ja) * 2015-09-14 2021-01-27 パナソニックIpマネジメント株式会社 映像受信方法、映像送信方法、映像受信装置及び映像送信装置
US10200690B2 (en) * 2015-09-22 2019-02-05 Qualcomm Incorporated Video decoder conformance for high dynamic range (HDR) video coding using a core video standard
EP3220645A1 (en) 2016-03-18 2017-09-20 Thomson Licensing A method and a device for encoding a high dynamic range picture, corresponding decoding method and decoding device
CN107277399B (zh) 2017-06-09 2020-10-20 深圳Tcl新技术有限公司 电视终端及hdr图像转为sdr的方法和计算机可读存储介质
CN112330543A (zh) * 2020-12-01 2021-02-05 上海网达软件股份有限公司 一种基于自监督学习的视频超分辨方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007243942A (ja) * 2006-02-24 2007-09-20 Sharp Corp 画像データの符号化方法、復号化方法、およびコーデックシステム
WO2012004741A1 (en) * 2010-07-06 2012-01-12 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images in multi-view video coding
WO2012147010A1 (en) * 2011-04-28 2012-11-01 Koninklijke Philips Electronics N.V. Method and apparatus for generating an image coding signal
JP2013081170A (ja) * 2011-10-04 2013-05-02 Thomson Licensing Hdr画像をエンコードする方法および装置、hdr画像を再構成する方法および装置ならびに非一時的記憶媒体

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030163477A1 (en) * 2002-02-25 2003-08-28 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
US7609762B2 (en) * 2003-09-07 2009-10-27 Microsoft Corporation Signaling for entry point frames with predicted first field
US7483486B2 (en) * 2004-07-02 2009-01-27 Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. Method and apparatus for encoding high dynamic range video
KR20050092688A (ko) * 2005-08-31 2005-09-22 한국정보통신대학교 산학협력단 통합 멀티미디어 파일 포맷 구조와 이를 기반으로 하는멀티미디어 서비스 제공 시스템 및 그 방법
US8880571B2 (en) * 2006-05-05 2014-11-04 Microsoft Corporation High dynamic range data format conversions for digital media
US7826673B2 (en) * 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
US8233768B2 (en) * 2007-11-16 2012-07-31 Divx, Llc Hierarchical and reduced index structures for multimedia files
US8175158B2 (en) * 2008-01-04 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction parameter determination
EP2583272B1 (en) * 2010-06-21 2016-01-20 Dolby Laboratories Licensing Corporation Displaying images on local-dimming displays
TWI521973B (zh) * 2011-04-15 2016-02-11 杜比實驗室特許公司 高動態範圍影像的編碼、解碼及表示
EP2702766B1 (en) * 2011-04-28 2017-06-14 Koninklijke Philips N.V. Apparatuses and methods for hdr image encoding and decoding
US9106927B2 (en) * 2011-09-23 2015-08-11 Qualcomm Incorporated Video coding with subsets of a reference picture set
MX346677B (es) * 2011-11-04 2017-03-29 Sharp Kk * Dispositivo de decodificacion aritmetica, dispositivo de decodificacion de imagenes, dispositivo de codificacion aritmetica, dispositivo de codificacion de imagenes y metodo de decodificacion aritmetica.
EP2613532A1 (en) * 2012-01-06 2013-07-10 Thomson Licensing Method of and device for encoding an HDR video together with an LDR video, method of and device for reconstructing one of an HDR video and an LDR video coded together and non-transitory storage medium
US9866829B2 (en) * 2012-01-22 2018-01-09 Qualcomm Incorporated Coding of syntax elements that correspond to coefficients of a coefficient block in video coding
US9432664B2 (en) * 2012-09-28 2016-08-30 Qualcomm Incorporated Signaling layer identifiers for operation points in video coding
JP6391680B2 (ja) * 2013-06-10 2018-09-19 トムソン ライセンシングThomson Licensing 符号化する方法及び復号する方法並びに対応する符号器及び復号器
EP3026912A1 (en) * 2014-11-27 2016-06-01 Thomson Licensing Method and device for encoding and decoding a HDR picture and a LDR picture using illumination information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007243942A (ja) * 2006-02-24 2007-09-20 Sharp Corp 画像データの符号化方法、復号化方法、およびコーデックシステム
WO2012004741A1 (en) * 2010-07-06 2012-01-12 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images in multi-view video coding
WO2012147010A1 (en) * 2011-04-28 2012-11-01 Koninklijke Philips Electronics N.V. Method and apparatus for generating an image coding signal
JP2013081170A (ja) * 2011-10-04 2013-05-02 Thomson Licensing Hdr画像をエンコードする方法および装置、hdr画像を再構成する方法および装置ならびに非一時的記憶媒体

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Advanced video coding for generic audiovisual services", ITU-T RECOMMENDATION H.264, vol. H.264 (03/2005), JPN6021028826, March 2005 (2005-03-01), pages 311 - 316, ISSN: 0004555980 *
MODULATION CHANNEL INFORMATION SEI MESSAGE: "Fabrice Le Leannec, et al.", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-R0139r2, JPN6021028829, July 2014 (2014-07-01), pages 1 - 13, ISSN: 0004555983 *
PHILIPPE BORDES, PIERRE ANDRIVON, AND FRANCK HIRON: "Colour Mapping SEI message", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-N0180, JPN6021028827, July 2013 (2013-07-01), pages 1 - 9, ISSN: 0004555981 *
PIERRE ANDRIVON, PHILIPPE BORDES, AND EDOUARD FRANCOIS: "SEI message for Colour Mapping Information", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-P0126r1, JPN6021028828, April 2014 (2014-04-01), pages 1 - 9, ISSN: 0004555982 *

Also Published As

Publication number Publication date
JP7053722B2 (ja) 2022-04-12
CN106464923B (zh) 2020-01-21
CN110830804B (zh) 2024-01-02
BR112016029963A2 (pt) 2017-08-22
KR102389652B1 (ko) 2022-04-22
AU2015276393A1 (en) 2017-02-02
US10219007B2 (en) 2019-02-26
KR20170020873A (ko) 2017-02-24
WO2015193112A1 (en) 2015-12-23
AU2015276393B2 (en) 2020-02-27
TW201601519A (zh) 2016-01-01
CN106464923A (zh) 2017-02-22
JP6719391B2 (ja) 2020-07-08
MX2016017116A (es) 2017-05-10
TWI680674B (zh) 2019-12-21
CN110830804A (zh) 2020-02-21
JP2017522794A (ja) 2017-08-10
MX364806B (es) 2019-05-08
EP3158745A1 (en) 2017-04-26
ZA201608451B (en) 2018-05-30
US20180213259A1 (en) 2018-07-26
EP2958328A1 (en) 2015-12-23

Similar Documents

Publication Publication Date Title
JP7053722B2 (ja) ビットストリーム内で、ldrピクチャのピクチャ/ビデオ・フォーマットと、このldrピクチャおよびイルミネーション・ピクチャから取得された復号済みのhdrピクチャのピクチャ/ビデオ・フォーマットとをシグナリングする方法および装置
US11178412B2 (en) Method and apparatus of encoding and decoding a color picture
RU2737507C2 (ru) Способ и устройство для кодирования изображения высокого динамического диапазона, соответствующий способ декодирования и устройство декодирования
KR102367205B1 (ko) 컬러 맵핑 함수들을 이용하여 hdr 픽처 및 상기 hdr 픽처로부터 획득된 sdr 픽처의 양자를 인코딩하기 위한 방법 및 디바이스
US20170188000A1 (en) Method, apparatus and system for determining a luma value
JP2018525883A (ja) カラー・ピクチャを符号化および復号する方法およびデバイス
AU2016203181B2 (en) Method, apparatus and system for determining a luma value
CN106412595B (zh) 用于编码高动态范围帧以及施加的低动态范围帧的方法和设备
EP3051489A1 (en) A method and apparatus of encoding and decoding a color picture
WO2015193113A1 (en) Method and device for signaling in a bitstream a picture/video format of an ldr picture and a picture/video format of a decoded hdr picture obtained from said ldr picture and an illumination picture.
JP2018507618A (ja) カラー・ピクチャを符号化および復号する方法および装置
WO2015193114A1 (en) Method and device for signaling in a bitstream a picture/video format of an ldr picture and a picture/video format of a decoded hdr picture obtained from said ldr picture and an illumination picture
EP3099073A1 (en) Method and device of encoding/decoding a hdr and a sdr picture in/from a scalable bitstream

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200714

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200714

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210726

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211022

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220214

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220331

R150 Certificate of patent or registration of utility model

Ref document number: 7053722

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150