JP2023501885A - ビデオコーデックにおける品質と計算の複雑さとの間の調整可能なトレードオフ - Google Patents
ビデオコーデックにおける品質と計算の複雑さとの間の調整可能なトレードオフ Download PDFInfo
- Publication number
- JP2023501885A JP2023501885A JP2022522878A JP2022522878A JP2023501885A JP 2023501885 A JP2023501885 A JP 2023501885A JP 2022522878 A JP2022522878 A JP 2022522878A JP 2022522878 A JP2022522878 A JP 2022522878A JP 2023501885 A JP2023501885 A JP 2023501885A
- Authority
- JP
- Japan
- Prior art keywords
- image
- mapping
- backward
- luminance
- dynamic range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013507 mapping Methods 0.000 claims abstract description 260
- 238000000034 method Methods 0.000 claims description 82
- 238000012545 processing Methods 0.000 claims description 38
- 238000012937 correction Methods 0.000 claims description 31
- 238000003860 storage Methods 0.000 claims description 20
- 239000002356 single layer Substances 0.000 claims description 13
- 238000011144 upstream manufacturing Methods 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 8
- 230000002829 reductive effect Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 description 44
- 241000023320 Luma <angiosperm> Species 0.000 description 27
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 27
- 238000004891 communication Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 16
- 238000013459 approach Methods 0.000 description 12
- 238000004519 manufacturing process Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 11
- 238000002347 injection Methods 0.000 description 9
- 239000007924 injection Substances 0.000 description 9
- 238000005070 sampling Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 7
- 230000007935 neutral effect Effects 0.000 description 7
- 238000013139 quantization Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 238000010276 construction Methods 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 239000010410 layer Substances 0.000 description 4
- 229920006395 saturated elastomer Polymers 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011143 downstream manufacturing Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004301 light adaptation Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000009828 non-uniform distribution Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/98—Adaptive-dynamic-range coding [ADRC]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本出願は、2019年10月17日に出願された米国仮特許出願第62/916,579号、および2019年10月17日に出願された欧州特許出願第19203773.7号の優先権を主張するものであり、各出願は、その全体が参照により本明細書に組み込まれる。
本開示は、概して画像に関する。より詳細には、本開示の一実施形態は、ビデオコーデックにおける品質と計算の複雑さとの間の調整可能なトレードオフに関する。
以下の説明において、説明の目的で、本開示の完全な理解を提供するために、多数の具体的な詳細が記載される。しかしながら、本開示は、これらの具体的な詳細なしに実施することができることは明らかであろう。他の例では、本開示を不必要に閉塞、不明瞭化、または不明確化することを避けるために、周知の構造およびデバイスは、徹底的に詳細には記載されていない。
図1Aは、ビデオキャプチャからビデオコンテンツディスプレイまでの様々な段階を示す、ビデオ配信パイプライン(100)の例示的なプロセスを示す。一連のビデオフレーム(102)は、画像生成ブロック(105)を用いて捕捉または生成される。ビデオフレーム(102)は、ビデオデータ(107)を提供するために、デジタル的に(例えば、デジタルカメラによって)キャプチャされるか、またはコンピュータによって(例えば、コンピュータアニメーションを使用して)生成され得る。さらに、任意にまたは代替として、ビデオフレーム(102)は、フィルムカメラによってフィルム上に捕捉されてもよい。フィルムは、ビデオデータ(107)を提供するためにデジタルフォーマットに変換される。制作フェーズ(110)では、ビデオデータ(107)は、ビデオ制作ストリーム(112)を提供するように編集される。
図1Bは、再構成されたHDR画像の品質のデコーダ側と、後方再整形マッピングの生成のエンコーダ側計算複雑性との間のトレードオフの例を示す。本明細書に記載するコーディングブロック(例えば、ビデオエンコーダ、ビデオトランスコーダ、メディアストリーミングシステム、コンテンツ提供システムなど)は、コンテンツプロバイダおよび/またはコーディングブロックを含むビデオ処理システムで動作するコンテンツ消費者によって選択される特定のトレードオフオプションのセットで構成することができる(例えば、動的に、静的に、適応的に、スケジュールされるように、独立に、など)。
前述のPCT特許出願第PCT/US2019/031620号に記載されているような高忠実度アプローチと高効率アプローチとの間の比較的大きなギャップの多くは、再構成HDR画像のデコーダ側品質及びエンコーダ側計算コスト(又は効率)に関して、色度チャネル/平面におけるSDR画像の後方再整形のための後方再整形MMR係数のような後方再整形マッピング(又は関数)を計算又は生成するために使用される方法に起因することができる。
いくつかの動作シナリオでは、例示的なトレードオフオプションは、図1Bに示されるようなBLUT修正である。バンディングアーチファクトを示さずにSDRビンの利用可能なコードワードで表現できる最大輝度範囲をBLKSTDを用いて推定した。利用可能なコードワードによって表される実際の輝度範囲(例えば、バンディングアーチファクトなどを示す可能性がある)は、BLUTから計算される。特定の輝度コードワード/値(例えば、として示されるなど)の上のBLUT部分(例えば、最も明るい、天井の輝度コードワード/値の下の最も明るいなど)は、最大輝度範囲と実際の輝度範囲の間の比に基づいて修正されることがある。さらに、任意にまたは代替的に、暗(例えば、最も暗く、床の輝度コード/値より上で最も暗い) BLUT部分は、ノイズ注入操作の一部として変更されてもよい。例示的なBLUT修正およびノイズ注入は、前述の米国仮特許出願第62/885,921号に記載されている。
いくつかの運用シナリオでは、BLUT修正は明るい領域のバンディングアーチファクトを緩和することができるが、例えば、BLUT修正によって輝度コード/値が変化するような、衝突した画素の色の外観が変化する可能性があることが観察される。例えば、バンディングアーチファクトが、BLUTの変更によって再構成されたHDR画像の太陽周囲の空から除去された場合、再構成されたHDR画像の空の色は、BLUTの変更を伴わない再構成されたHDR画像よりも飽和して見える可能性がある。
図3Eは、輝度更新、BLUT修正、および色補正を伴う後方再整形マッピング生成の例を示す。ブロック302は、ソースHDR画像のサンプリングされたHDRコードワードと、対応するコンテンツマッピングされたSDRコードワードとを用いてd3DMTを構築することを含み、これらの各々は、所与のソースHDD画像についてのHDRコードワードとSDRコードワードとの間の複数のマッピング対を含む。ブロック304は、各d3DMT内の複数のマッピング対に基づいて、前方ルックアップテーブルのような対応する輝度前方再整形関数を構築することを含む。ブロック306は、各d3DMT内の複数のマッピング対に基づいて、前方MMR係数によって表される対応する前方色度マッピングを構築することを含む。ブロック308は、コンテンツマッピングされたSDR輝度コードワードを、FLUTで予測された前方に再構成されたSDRコードワードで置き換えることによって、各d3DMT内の複数のマッピング対内のSDR輝度コードを更新することを含む。ブロック310は、FLUTから輝度後方再整形関数(BLUT)を構築することを含む。ブロック312は、バンディングアーチファクトのリスクを軽減または低減するためにBLUTを修正することを含む。ブロック314は、サンプリングされたHDR色度コードワードを、元のBLUTおよび修正されたBLUTに基づいて生成された不飽和HDR色度コードワードで置き換えることによって、各d3DMT内の複数のマッピング対におけるHDR色度コードワードを整流することを含む。ブロック316は、更新された輝度SDRコードワード及び更新された色度HDRコードワードを有する複数のマッピング対を含む更新されたd3DMTに基づいて、ソースHDR画像の1つに対応する各前方再整形されたSDR画像に対する色度後方再整形マッピング(例えば、色度後方再整形関数、後方(再整形) MMR係数等)を計算することを含む。
図4Bは、一実施形態による例示的なプロセスフローを示す図である。いくつかの実施形態では、1つ以上のコンピューティングデバイスまたはコンポーネント(例えば、エンコードデバイス/モジュール、トランスコードデバイス/モジュール、デコードデバイス/モジュール、逆トーンマッピングデバイス/モジュール、トーンマッピングデバイス/モジュール、メディアデバイス/モジュール、逆マッピング生成およびアプリケーションシステムなど)が、このプロセスフローを実行してもよい。ブロック422において、画像処理システムは、前方再整形テーブルの逆として、最初に後方再整形テーブルを生成する。
本発明の実施形態は、コンピュータシステム、電子回路および電子部品に構成されるシステム、マイクロコントローラなどの集積回路、フィールドプログラマブルゲートアレイ、または他の構成可能またはプログラマブルロジックデバイス、離散時間またはデジタル信号プロセッサ、特定用途向けIC、および/またはこれらのシステム、デバイスまたはコンポーネントの1つ以上を含む装置を用いて実施することができる。コンピュータおよび/またはICは、本明細書に記載されるような、拡張されたダイナミックレンジを有する画像の適応知覚量子化に関する命令を実行、制御、または実行することができる。コンピュータおよび/またはICは、本明細書に記載される適応知覚量子化プロセスに関連する様々なパラメータまたは値のいずれかを計算することができる。画像およびビデオの実施形態は、ハードウェア、ソフトウェア、ファームウェア、およびそれらの様々な組み合わせで実装することができる。
先述の明細では、実装ごとに異なる可能性のある多数の具体的詳細を参照して、本発明の実施形態を説明してきた。したがって、本発明のクレームされた実施態様の唯一かつ排他的な指標であって、本発明のクレームされた実施態様であることが出願人によって意図されているものは、この出願から当該クレームが発行された特定の形式のクレームのセットであり、その後の訂正を含む。当該クレームに含まれる用語について本契約に明示的に記載される定義は、当該クレームにおいて使用される用語の意味を支配するものとする。したがって、クレームに明示的に記載されていない限定、要素、特性、特徴、利点又は属性は、そのようなクレームの範囲を決して限定すべきではない。したがって、本明細書および図面は、制限的な意味ではなく例示的な意味に考えられるべきである。
EEE1
後方再整形マッピングテーブルを前方再整形マッピングテーブルの逆として初めに生成するステップであって、前記前方再整形テーブルは、第1のダイナミックレンジの前方再整形された画像を第2のダイナミックレンジのソース画像から生成するための前方再整形マッピングを生成するために使用され、前記第1のダイナミックレンジは前記第2のダイナミックレンジよりも低く、前記前方再整形マッピングテーブルは、前記第2のダイナミックレンジの前記サンプリングされた輝度コードワード、前記第2のダイナミックレンジのサンプリングされた色度コードワード、前記第2のダイナミックレンジの前記サンプリングされた輝度コードワードに対応する前記第1のダイナミックレンジのコンテンツマッピングされた輝度コードワード、及び前記第2のダイナミックレンジの前記サンプリングされた色度コードワードに対応する前記第1のダイナミックレンジのコンテンツマッピングされた色度コードワードを含む、ステップと、
前記コンテンツマッピングされた輝度コードワードを前方再整形された輝度コードワードで置き換えることによって前記後方再整形マッピングテーブルを更新するステップであって、前記前方再整形された輝度コードワードは、前記第2のダイナミックレンジの前記サンプリングされた輝度コードワードに輝度前方マッピングを適用することによって生成され、前記輝度前方マッピングは前記前方再整形マッピングテーブルから構築される、ステップと、
前記第1のダイナミックレンジの前記前方再整形された画像から前記第2のダイナミックレンジの再構成された画像を創るための後方再整形マッピングを生成するために前記後方再整形マッピングテーブルと前記輝度前方マッピングを使用するステップと、
前記前方再整形された画像を、前記後方再整形マッピングを指定する画像メタデータとともに、ビデオ信号中にエンコードするステップとを含む方法。
EEE2
前記ビデオ信号の受信デバイスは、前記後方再整形マッピングを前記前方再整形された画像に適用して、前記第2のダイナミックレンジの前記再構成された画像を創る、EEE1に記載の方法。
EEE3
エンドツーエンドのビデオ配信パイプラインで使用可能な計算リソースを決定するステップと、
前記使用可能な計算リソースを用いて、デコーダ側の前記第2のダイナミックレンジの前記再構成された画像の品質と、エンコーダ側の前記後方再整形マッピングを生成することの計算の複雑さとの間のトレードオフオプションの特定のセットを決定するステップと、
トレードオフオプションの前記特定のセットに従って画像処理操作の特定のセットを実行して、前記後方再整形マッピングを生成するステップとをさらに含む、EEE1又は2に記載の方法。
EEE4
表示画像を前記再構成された画像から導出させ、前記ビデオ信号の受信デバイスでレンダリングさせるステップをさらに含む、EEE2又は3に記載の方法。
EEE5
前記コンテンツマッピングされた色度コードを前方再整形された色度コードワードで置き換えることによって前記後方再整形マッピングテーブルを更新するステップであって、前記前方再整形された色度コードワードは、前記第2のダイナミックレンジの前記サンプリングされた輝度および色度コードワードに多変量重回帰(MMR)色度前方マッピングを適用することによって生成され、前記MMR色度前方マッピングは、前記前方再整形マッピングテーブルから構築される、ステップをさらに含む、EEE1~4のいずれか1つに記載の方法。
EEE6
前記サンプリングされた色度コードワードを不飽和化された色度コードワードで置き換えることによって、前記後方再整形マッピングテーブルを更新するステップをさらに含む、EEE1~5のいずれか1つに記載の方法。
EEE7
前記不飽和化された色度コードワードは、前記サンプリングされた色度コードワードに不飽和化関数を適用することによって生成され、前記不飽和化関数は、修正された輝度後方再整形マッピングと元の輝度後方再整形マッピングとの間の比として構築される、EEE6に記載の方法。
EEE8
前記再構成された画像のバンディングアーチファクトを低減するために、後方ルックアップテーブル修正を適用させるステップをさらに含む、EEE1~7のいずれか1つに記載の方法。
EEE9
前記後方マッピングテーブル及び前記前方マッピングテーブルのうちの少なくとも1つは、少なくとも部分的には前記ソース画像及び前記前方再整形された画像から動的に構築された三次元マッピングテーブル(3DMT)を表す、EEE1~8のいずれか1つに記載の方法。
EEE10
前記輝度前方マッピングは、輝度ルックアップテーブルによって表される、EEE1~9のいずれか1つに記載の方法。
EEE11
前記第2のダイナミックレンジの前記再構成された画像は、前記第2のダイナミックレンジの前記ソース画像を近似する、EEE1~10のいずれか1つに記載の方法。
EEE12
前記ビデオ信号は、単一層の後方互換ビデオ信号を表す、EEE1~11のいずれか1つに記載の方法。
EEE13
第1のダイナミックレンジの前方再整形された画像をビデオ信号からデコードするステップと、
後方再整形マッピングを含む画像メタデータを前記ビデオ信号からデコードするステップであって、前記後方再整形マッピングは、後方再整形マッピングテーブル及び輝度前方マッピングから上流画像処理デバイスによって生成されており、前記後方再整形マッピングテーブルは、前記輝度前方マッピングを生成する前方再整形マッピングテーブルの逆として前記上流画像処理デバイスによって初めに生成されており、前記後方再整形マッピングテーブル内のコンテンツマッピングされた輝度コードワードは、前方再整形された輝度コードワードで更新されており、前記前方再整形された輝度コードワードは、前記ソース画像におけるサンプリングされた輝度コードワードに前記輝度前方マッピングを適用することによって生成されたものである、ステップと、
前記前方再整形された画像に前記後方再整形マッピングを適用して前記再構成された画像を生成するステップと、
前記再構成された画像から導出される表示画像を表示デバイスでレンダリングさせるステップとを含む方法。
EEE14
EEE1~13に記載される方法のいずれか1つを実行するように構成されたコンピュータシステム。
EEE15
プロセッサを含み、EEE1~13に記載される方法のいずれか1つを実行するように構成された装置。
EEE16
EEE1~13に記載の方法のいずれかに従って1つ以上のプロセッサによって方法を実行するためのコンピュータ実行可能命令を記憶した非一時的なコンピュータ読取可能記憶媒体。
Claims (18)
- 後方再整形マッピングテーブルを前方再整形マッピングテーブルの逆として初めに生成するステップであって、前記前方再整形マッピングテーブルは、第1のダイナミックレンジの前方再整形された画像を第2のダイナミックレンジのソース画像から生成するための前方再整形マッピングを生成するために使用され、前記第1のダイナミックレンジは前記第2のダイナミックレンジよりも低く、前記前方再整形マッピングテーブルは、サンプルポイントの数の分だけ、前記第2のダイナミックレンジの輝度コードワード、前記第2のダイナミックレンジの色度コードワード、前記第2のダイナミックレンジの前記輝度コードワードに対応する前記第1のダイナミックレンジの輝度コードワード、及び前記第2のダイナミックレンジの前記色度コードワードに対応する前記第1のダイナミックレンジの色度コードワードを含み、前記サンプルポイントの数は、前記ソース画像内の画素の数と比較して低減される、ステップと、
前記第1のダイナミックレンジの前記輝度コードワードを前方再整形された輝度コードワードで置き換えることによって前記後方再整形マッピングテーブルを更新するステップであって、前記前方再整形された輝度コードワードは、前記第2のダイナミックレンジの前記輝度コードワードに輝度前方マッピングを適用することによって生成され、前記輝度前方マッピングは前記前方再整形マッピングテーブルから構築される、ステップと、
前記第1のダイナミックレンジの前記前方再整形された画像から前記第2のダイナミックレンジの再構成された画像を創るための後方再整形マッピングを生成するために前記後方再整形マッピングテーブルと前記輝度前方マッピングを使用するステップと、
前記前方再整形された画像を、前記後方再整形マッピングを指定する画像メタデータとともに、ビデオ信号中にエンコードするステップとを含む方法。 - 前記輝度前方マッピングは、CDFマッチングで構築される、請求項1に記載の方法。
- エンドツーエンドのビデオ配信パイプラインで使用可能な計算リソースを決定するステップと、
前記使用可能な計算リソースを用いて、デコーダ側の前記第2のダイナミックレンジの前記再構成された画像の品質と、エンコーダ側の前記後方再整形マッピングを生成することの計算の複雑さとの間のトレードオフオプションの特定のセットを決定するステップと、
トレードオフオプションの前記特定のセットに従って画像処理操作の特定のセットを実行して、前記後方再整形マッピングを生成するステップとをさらに含む、請求項1又は2に記載の方法。 - 表示画像を前記再構成された画像から導出させ、前記ビデオ信号の受信デバイスでレンダリングさせるステップをさらに含む、請求項1~3のいずれか1項に記載の方法。
- 前記第1のダイナミックレンジの前記色度コードワードを前方再整形された色度コードワードで置き換えることによって前記後方再整形マッピングテーブルを更新するステップであって、前記前方再整形された色度コードワードは、前記第2のダイナミックレンジの前記輝度および色度コードワードに多変量重回帰(MMR)色度前方マッピングを適用することによって生成され、前記MMR色度前方マッピングは、前記前方再整形マッピングテーブルから構築される、ステップをさらに含む、請求項1~4のいずれか1項に記載の方法。
- 前記第2のダイナミックレンジの前記色度コードワードを不飽和化された色度コードワードで置き換えることによって、前記後方再整形マッピングテーブルを更新するステップをさらに含む、請求項1~5のいずれか1項に記載の方法。
- 前記不飽和化された色度コードワードは、前記第2のダイナミックレンジの前記色度コードワードに不飽和化関数を適用することによって生成され、前記不飽和化関数は、修正された輝度後方再整形マッピングと元の輝度後方再整形マッピングとの間の比として構築される、請求項6に記載の方法。
- 前記再構成された画像のバンディングアーチファクトを低減するために、後方ルックアップテーブル修正を適用させるステップをさらに含む、請求項1~7のいずれか1項に記載の方法。
- 前記後方マッピングテーブル及び前記前方マッピングテーブルのうちの少なくとも1つは、少なくとも部分的には前記ソース画像及び前記前方再整形された画像から動的に構築された三次元マッピングテーブル(3DMT)を表す、請求項1~8のいずれか1項に記載の方法。
- 前記輝度前方マッピングは、輝度ルックアップテーブルによって表される、請求項1~9のいずれか1項に記載の方法。
- 前記第2のダイナミックレンジの前記再構成された画像は、前記第2のダイナミックレンジの前記ソース画像を近似する、請求項1~10のいずれか1項に記載の方法。
- 前記ビデオ信号は、単一層の後方互換ビデオ信号を表す、請求項1~11のいずれか1項に記載の方法。
- 前記ビデオ信号の受信デバイスは、前記前方再整形された画像に前記後方再整形マッピングを適用して、前記第2のダイナミックレンジの前記再構成された画像を創る、請求項1~12のいずれか1項に記載の方法。
- 第1のダイナミックレンジの前方再整形された画像をビデオ信号からデコードするステップであって、前記前方再整形された画像は、前方再整形マッピングテーブルから生成される前方再整形マッピングによって第2のダイナミックレンジのソース画像から生成され、前記前方再整形マッピングテーブルは、サンプルポイントの数の分だけ、前記第2のダイナミックレンジの輝度コードワード、前記第2のダイナミックレンジの色度コードワード、前記第2のダイナミックレンジの前記輝度コードワードに対応する前記第1のダイナミックレンジの輝度コードワード、及び前記第2のダイナミックレンジの前記色度コードワードに対応する前記第1のダイナミックレンジの色度コードワードを含み、前記サンプルポイントの数は、前記ソース画像内の画素の数と比較して低減される、ステップと、
後方再整形マッピングを含む画像メタデータを前記ビデオ信号からデコードするステップであって、前記後方再整形マッピングは、後方再整形マッピングテーブル及び前記前方再整形マッピングテーブルから構築された輝度前方マッピングから上流画像処理デバイスによって生成されており、前記後方再整形マッピングテーブルは、前記前方再整形マッピングテーブルの逆として前記上流画像処理デバイスによって初めに生成されており、前記後方再整形マッピングテーブル内のコンテンツマッピングされた輝度コードワードは、前方再整形された輝度コードワードで更新されており、前記前方再整形された輝度コードワードは、前記ソース画像における輝度コードワードに前記輝度前方マッピングを適用することによって生成されたものである、ステップと、
前記前方再整形された画像に前記後方再整形マッピングを適用して再構成された画像を生成するステップと、
前記再構成された画像から導出される表示画像を表示デバイスでレンダリングさせるステップとを含む方法。 - 請求項1~14に記載される方法のいずれか1つを実行するように構成されたコンピュータシステム。
- プロセッサを含み、請求項1~14に記載される方法のいずれか1つを実行するように構成された装置。
- 請求項1~14に記載の方法のいずれかに従って1つ以上のプロセッサによって方法を実行するためのコンピュータ実行可能命令を記憶した非一時的なコンピュータ読取可能記憶媒体。
- 請求項1~13のいずれか1項に記載の方法で生成された前記ビデオ信号を表すビットストリーム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962916579P | 2019-10-17 | 2019-10-17 | |
EP19203773 | 2019-10-17 | ||
EP19203773.7 | 2019-10-17 | ||
US62/916,579 | 2019-10-17 | ||
PCT/US2020/055864 WO2021076822A1 (en) | 2019-10-17 | 2020-10-16 | Adjustable trade-off between quality and computation complexity in video codecs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023501885A true JP2023501885A (ja) | 2023-01-20 |
JP7439251B2 JP7439251B2 (ja) | 2024-02-27 |
Family
ID=73043325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022522878A Active JP7439251B2 (ja) | 2019-10-17 | 2020-10-16 | ビデオコーデックにおける品質と計算の複雑さとの間の調整可能なトレードオフ |
Country Status (5)
Country | Link |
---|---|
US (1) | US11818400B2 (ja) |
EP (1) | EP4046383A1 (ja) |
JP (1) | JP7439251B2 (ja) |
CN (1) | CN114556940A (ja) |
WO (1) | WO2021076822A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023177863A1 (en) | 2022-03-18 | 2023-09-21 | Dolby Laboratories Licensing Corporation | Image optimization in mobile capture and editing applications |
WO2023229898A1 (en) | 2022-05-24 | 2023-11-30 | Dolby Laboratories Licensing Corporation | Neutral color preservation for single-layer backward compatible codec |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180007356A1 (en) * | 2016-06-29 | 2018-01-04 | Dolby Laboratories Licensing Corporation | Reshaping curve optimization in hdr coding |
US20190110054A1 (en) * | 2016-03-23 | 2019-04-11 | Dolby Laboratories Licensing Corporation | Encoding and Decoding Reversible Production-Quality Single-Layer Video Signals |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016153896A1 (en) | 2015-03-20 | 2016-09-29 | Dolby Laboratories Licensing Corporation | Signal reshaping approximation |
US10032262B2 (en) | 2016-02-02 | 2018-07-24 | Dolby Laboratories Licensing Corporation | Block-based content-adaptive reshaping for high dynamic range images |
US10575028B2 (en) | 2016-09-09 | 2020-02-25 | Dolby Laboratories Licensing Corporation | Coding of high dynamic range video using segment-based reshaping |
US10264287B2 (en) | 2016-10-05 | 2019-04-16 | Dolby Laboratories Licensing Corporation | Inverse luma/chroma mappings with histogram transfer and approximation |
CN110178374B (zh) * | 2017-01-18 | 2023-10-10 | 杜比实验室特许公司 | 用于对高动态范围视频进行编码的基于段的整形 |
US11277627B2 (en) | 2018-05-11 | 2022-03-15 | Dolby Laboratories Licensing Corporation | High-fidelity full reference and high-efficiency reduced reference encoding in end-to-end single-layer backward compatible encoding pipeline |
US11277646B2 (en) | 2018-10-03 | 2022-03-15 | Dolby Laboratories Licensing Corporation | Reducing banding artifacts in backward-compatible HDR imaging |
-
2020
- 2020-10-16 US US17/768,307 patent/US11818400B2/en active Active
- 2020-10-16 CN CN202080072525.XA patent/CN114556940A/zh active Pending
- 2020-10-16 JP JP2022522878A patent/JP7439251B2/ja active Active
- 2020-10-16 WO PCT/US2020/055864 patent/WO2021076822A1/en active Search and Examination
- 2020-10-16 EP EP20800768.2A patent/EP4046383A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190110054A1 (en) * | 2016-03-23 | 2019-04-11 | Dolby Laboratories Licensing Corporation | Encoding and Decoding Reversible Production-Quality Single-Layer Video Signals |
US20180007356A1 (en) * | 2016-06-29 | 2018-01-04 | Dolby Laboratories Licensing Corporation | Reshaping curve optimization in hdr coding |
Non-Patent Citations (1)
Title |
---|
PU, FANGJUN ET AL.: "CE12-4: SDR In-loop Reshaping", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING: MACA, vol. JVET-L0246 (version 2), JPN6023030844, 4 October 2018 (2018-10-04), ISSN: 0005120103 * |
Also Published As
Publication number | Publication date |
---|---|
EP4046383A1 (en) | 2022-08-24 |
WO2021076822A1 (en) | 2021-04-22 |
US20230171436A1 (en) | 2023-06-01 |
CN114556940A (zh) | 2022-05-27 |
US11818400B2 (en) | 2023-11-14 |
JP7439251B2 (ja) | 2024-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112106357B (zh) | 用于对图像数据进行编码和解码的方法及装置 | |
CN109416832B (zh) | 高效的基于直方图的亮度外观匹配 | |
US10264287B2 (en) | Inverse luma/chroma mappings with histogram transfer and approximation | |
CN108885783B (zh) | 编码和解码可逆制作质量单层视频信号 | |
EP3734588B1 (en) | Color appearance preservation in video codecs | |
KR102380164B1 (ko) | 게이밍 및/또는 sdr+ 콘텐츠에 대한 자동 디스플레이 관리 메타데이터 생성 | |
US10609424B2 (en) | Single-layer progressive coding for supporting multi-capability HDR composition | |
US11388408B2 (en) | Interpolation of reshaping functions | |
TWI812874B (zh) | 張量乘積之b平滑曲線預測子 | |
JP7439251B2 (ja) | ビデオコーデックにおける品質と計算の複雑さとの間の調整可能なトレードオフ | |
US12003746B2 (en) | Joint forward and backward neural network optimization in image processing | |
EP3306563B1 (en) | Inverse luma/chroma mappings with histogram transfer and approximation | |
JP7434554B2 (ja) | カスケード予測 | |
JP2024522166A (ja) | チェーンドリシェーピング関数の最適化 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A529 Effective date: 20220615 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220615 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231025 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7439251 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |