JP2019500811A

JP2019500811A - 画像復号化・符号化方法、復号化・符号化装置

Info

Publication number: JP2019500811A
Application number: JP2018534535A
Authority: JP
Inventors: 李明; 呉平; 呉▲ザオ▼; 尚国強
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2015-12-31
Filing date: 2016-11-15
Publication date: 2019-01-10
Anticipated expiration: 2036-11-15
Also published as: US11006134B2; KR102156030B1; US20190014331A1; JP7045317B2; CN106937121A; EP3962085A3; EP3399752B1; WO2017114016A1; CN106937121B; EP3399752A4; KR20180100368A; EP3399752A1; EP3962085A2

Abstract

本発明は、画像復号化・符号化方法、復号化・符号化装置、デコーダ及びエンコーダを提供する。当該画像復号化方法は、動画ビットストリームを解析し、当該動画ビットストリームの画像及び／又はスライス層データユニットから整形パラメータを取得し、取得された整形パラメータによって復元画像が用いる整形パラメータを決定することと、前記復元画像が用いる整形パラメータを用いて復元画像に対して整形処理を行うこととを含み、ここで、当該復元画像は、整形処理が行われる前に、動画ビットストリームを復号化して得られた画像であり、前記画像及び／又はスライス層データユニットは、画像パラメータセットＰＰＳとは異なる画像及び／又はスライス層パラメータセットと、前記復元画像に対応するアクセスユニットＡＵに含まれるパラメータデータユニットと、スライスヘッダと、システム層画像パラメータデータユニットとの少なくとも１つのデータユニットを含む。本発明によれば、関連技術における動画視聴品質が劣り、整形パラメータの符号化コストが大きいという問題が解決される。
【選択図】図１

Description

本発明は、通信分野に関し、具体的に、画像復号化・符号化方法、復号化・符号化装置、デコーダ及びエンコーダに関する。

現在、国際標準化機構は、Ｈ．２６５／ＨＥＶＣ規格に基づきハイダイナミックレンジ動画（ＨｉｇｈＤｙｎａｍｉｃＲａｎｇｅ、ＨＤＲと略称する）に対する拡張規格を制定している。ＨＤＲ拡張規格では、「整形器（Ｒｅｓｈａｐｅｒ）」という信号処理フレームワークによってテストモデルを構築することを考えている。ヘッドエンド側において、整形器が入力されたＨＤＲ動画をＨ．２６５／ＨＥＶＣＭａｉｎ１０Ｐｒｏｆｉｌｅエンコーダに適用され得る入力動画（例え、標準ダイナミックレンジ画像（ＳｔａｎｄａｒｄＤｙｎａｍｉｃＲａｎｇｅ、ＳＤＲと略称する）動画）になるように処理する。受信側ではその逆の処理によって、Ｈ．２６５／ＨＥＶＣＭａｉｎ１０Ｐｒｏｆｉｌｅデコーダで復号化され復元したＳＤＲ動画をＨＤＲ動画になるように処理する。同時に、ＨＤＲ動画及びＳＤＲ動画に使用される色空間（ＣｏｌｏｒＧａｍｕｔ）（ＨＤＲ動画では、より大きな色空間が使用される）が異なると、ヘッドエンド側と受信側における整形器による動作に、動画色空間の変換が更に含まれる。

上記信号処理フレームワークをサポートするために、国際標準化機構は、Ｈ．２６５／ＨＥＶＣを拡張して、パラメータセット構造において受信側の整形器の処理を指示するための情報を符号化して伝送する。オプションとして、シーケンスパラメータセット（ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ、ＳＰＳと略称する）の拡張において、ＨＤＲ動画変換の特徴パラメータを符号化して伝送し、画像パラメータセット（ＰｉｃｔｕｒｅＰａｒａｍｅｔｅｒＳｅｔ、ＰＰＳと略称する）の拡張において、受信側の整形器の処理に用いられるパラメータを符号化して伝送する。受信側において、デコーダが画像再構成を完了した後に、パラメータセットにおけるパラメータに従って、引き続き再構成された画像に対して整形処理を行い、それにより再構成された画像をＨＤＲ画像に変換させる。

上記方法では、スライス（Ｓｌｉｃｅ）復号化手順において、パラメータセットインデックス番号によって、参照されるパラメータセットを活性化し、当該パラメータセットにおける情報パラメータを用いてスライスを復号化する。ＳＰＳの適用範囲は、符号化された動画シーケンス（ＣｏｄｅｄＶｉｄｅｏＳｅｑｕｅｎｃｅ、ＣＶＳと略称する）の全体である。すなわち、同一ＣＶＳにおけるスライス復号化手順において同一なＳＰＳが使用される。ＰＰＳの使用範囲は、１フレームの画像である。すなわち、同一フレームの画像におけるスライス復号化手順において同一なＰＰＳが使用される。符号化手順に対応して、同一ＣＶＳにおけるスライスは、同一なＳＰＳを参照する必要があり、且つ当該ＳＰＳにおける情報パラメータは、ＣＶＳの符号化手順において変更されないままで維持される。同一フレームの画像におけるスライスは、同一のＰＰＳを参照する必要があり、且つ当該ＰＰＳにおけるパラメータ情報は、当該画像符号化手順において変更されないままで維持される。

ダイナミックレンジおよび色空間のいずれかの変換手順においても、非可逆的に情報損失をもたらす。実測の結果によると、オリジナルのＨＤＲ動画に比較して、上記信号処理フレームワークを用いれば、受信側において整形器により復元されたＨＤＲ動画には、テクスチャ細部の損失又は色の歪み等の可視歪みが存在する可能性があり、さらにこれら歪みは、Ｈ．２６５／ＨＥＶＣエンコーダの動画圧縮率と関係する。通常、圧縮率が高いほど（すなわち、符号化率が低いほど）、復号化され復元した動画における非可逆圧縮による歪みが大きくなり、整形器によって復号化され復元した動画を処理した後に出力したＨＤＲ動画には、より多くのテクスチャ、色の歪みが存在する。このため、ＨＤＲ動画の発信元特性、エンコーダの非可逆圧縮特性等の要因に応じて、ＨＤＲ動画の符号化手順において整形パラメータを動的に調整することで、受信側におけるＨＤＲ復元動画の主観的な視聴品質を効果的に向上させることができる。

ＰＰＳは、理論的には画像層の符号化パラメータを適応的に調整する仕組みを提供し、画像のフレームごとにＰＰＳを別個に設置することで整形器の画像適応調整を実現することができるが、整形パラメータがＰＰＳの拡張において符号化されるため、画像のフレームごとに整形パラメータを調整することと同時に、ＰＰＳにおける他の調整する必要のない符号化パラメータを繰り返し符号化する必要があり、これら繰り返し符号化されたパラメータは、大きな符号化ビットコストをもたらす。

関連技術における動画視聴品質が劣り、整形パラメータの符号化コストが大きいという問題について、現在、効果的な解決策はまだ提出されていない。

本発明の実施例では、少なくとも関連技術における動画視聴品質が劣り、整形パラメータの符号化コストが大きいという問題を解決するような画像復号化・符号化方法、復号化・符号化装置、デコーダ及びエンコーダを提供する。

本発明の実施例の一態様によれば、動画ビットストリームを解析し、前記動画ビットストリームの画像及び／又はスライス層データユニットから整形パラメータを取得し、取得された前記整形パラメータによって復元画像に用いられる整形パラメータを決定することと、前記復元画像に用いられる整形パラメータを用いて前記復元画像に対して整形処理を行うこととを含む画像復号化処理方法であって、前記復元画像は、整形処理が行われる前に、前記動画ビットストリームを復号化して得られた画像であり、前記画像及び／又はスライス層データユニットは、画像パラメータセットＰＰＳとは異なる画像及び／又はスライス層パラメータセットと、前記復元画像に対応するアクセスユニットＡＵに含まれるパラメータデータユニットと、スライスヘッダと、システム層画像パラメータデータユニットとの少なくとも１つのデータユニットを含む画像復号化処理方法を提供する。

オプションとして、前記動画ビットストリームの前記画像及び／又はスライス層データユニットから前記整形パラメータを取得し、取得された前記整形パラメータによって復元画像に用いられる整形パラメータを決定する前には、前記動画ビットストリームにおいてＡＵに含まれるスライスヘッダにおけるＰＰＳパラメータセットインデックス番号を決定することと、前記パラメータセットインデックス番号により参照されるＰＰＳに応じて、前記復元画像が用いる整形パラメータを取得することとを更に含む。

オプションとして、前記パラメータセットインデックス番号により参照されるＰＰＳに応じて前記復元画像が用いる整形パラメータを取得することは、前記ＰＰＳの拡張部分及び／又は前記ＰＰＳにより参照されるパラメータセットに第１の整形パラメータが担持されているか否かを判定することと、判定結果が「ＹＥＳ」である場合、取得された前記復元画像が用いる整形パラメータが前記第１の整形パラメータであると決定し、及び／又は、判定結果が「ＮＯ」である場合、取得された前記復元画像が用いる整形パラメータが既定値又は空であると決定することとを含む。

オプションとして、前記動画ビットストリームの前記画像及び／又はスライス層データユニットから前記整形パラメータを取得し、取得された前記整形パラメータによって復元画像が用いる整形パラメータを決定することは、前記スライスヘッダの拡張部分を解析し、第２の整形パラメータを得ることと、前記第２の整形パラメータを用いて、前記復元画像が用いる整形パラメータを更新または再決定することとを含む。

オプションとして、前記動画ビットストリームの前記画像及び／又はスライス層データユニットから前記整形パラメータを取得し、取得された前記整形パラメータによって復元画像が用いる整形パラメータを決定することは、前記動画ビットストリームにおいてＡＵに含まれるパラメータデータユニットを解析し、第３の整形パラメータを取得することと、前記第３の整形パラメータを用いて前記復元画像が用いる整形パラメータを更新または再決定し、或いは、事前設定された整形パラメータ決定方法によって、前記復元画像が用いる整形パラメータが前記第３の整形パラメータであると決定することとを含む。ここで、前記パラメータデータユニットは、前記ＡＵに含まれるスライスビットストリームデータユニットとは独立したデータユニットである。

オプションとして、前記第３の整形パラメータを用いて前記復元画像が用いる整形パラメータを更新または再決定することは、前記動画ビットストリームにおいてＡＵに含まれるスライスヘッダにおけるＰＰＳパラメータセットインデックス番号を決定することと、前記パラメータセットインデックス番号により参照されるＰＰＳに応じて前記復元画像が用いる整形パラメータを取得することと、前記第３の整形パラメータを用いて、取得された前記復元画像が用いる整形パラメータを更新または再決定することとを含む。

オプションとして、前記パラメータセットインデックス番号により参照される前記ＰＰＳに応じて前記復元画像が用いる整形パラメータを取得することは、前記ＰＰＳの拡張部分及び／又は前記ＰＰＳにより参照されるパラメータセットに第１の整形パラメータが担持されているか否かを判定することと、判定結果が「ＹＥＳ」である場合、取得された前記復元画像が用いる整形パラメータが前記第１の整形パラメータであると決定し、及び／又は、判定結果が「ＮＯ」である場合、取得された前記復元画像が用いる整形パラメータが既定値又は空であると決定することとを含む。

オプションとして、前記第３の整形パラメータは、前記ＡＵの直前のＡＵに含まれるパラメータデータユニットを解析して得られた第４の整形パラメータを含む。

オプションとして、事前設定された整形パラメータ決定方法は、デフォルトの決定方法と、動画パラメータセットＶＰＳを解析して得られた整形パラメータを指示するための第１の識別情報を利用して決定する方法と、シーケンスパラメータセットＳＰＳを解析して得られた整形パラメータを指示するための第２の識別情報を利用して決定する方法との少なくとも一種を含む。

オプションとして、前記動画ビットストリームの前記画像及び／又はスライス層データユニットから前記整形パラメータ取得し、取得された前記整形パラメータによって復元画像が用いる整形パラメータを決定することは、前記ＡＵに含まれる前記スライスヘッダを解析し、第３の識別情報を取得することと、前記第３の識別情報は前記復元画像が用いる整形パラメータを前記ＰＰＳ以外の他の画像及び／又はスライス層パラメータセットに応じて決定するように指示する場合、前記ＡＵに含まれる前記スライスヘッダを解析し、前記他の画像及び／又はスライス層パラメータセットのインデックス番号を取得し、インデックス番号が前記他の画像及び／又はスライス層パラメータセットのインデックス番号と同じであるパラメータセットを活性化し、第５の整形パラメータを取得することと、前記第５の整形パラメータを用いて、取得された前記復元画像が用いる整形パラメータを更新または再決定することとを含む。ここで、前記第３の識別情報は、前記復元画像が用いる整形パラメータが前記ＰＰＳ以外の他の画像及び／又はスライス層パラメータセットに応じて決定するか否かを指示するために用いられる。

オプションとして、前記動画ビットストリームを解析し、前記動画ビットストリームの画像及び／又はスライス層データユニットから整形パラメータを取得し、取得された前記整形パラメータによって復元画像が用いる整形パラメータを決定することは、前記動画ビットストリームを運ぶためのトランスポートストリーム又はメディアファイルにおけるシステム層画像パラメータデータユニットから第６の整形パラメータを取得することと、前記第６の整形パラメータを用いて前記復元画像が用いる整形パラメータを更新または再決定し、或いは、前記復元画像が用いる整形パラメータが前記第６の整形パラメータであると決定することとを含む。ここで、前記システム層画像パラメータデータユニットは、前記動画ビットストリームにおけるアクセスユニットＡＵに対応する記述情報又は補助情報を含む。

オプションとして、前記第６の整形パラメータを用いて前記復元画像が用いる整形パラメータを更新または再決定することは、前記動画ビットストリームにおいてＡＵに含まれるスライスヘッダにおけるＰＰＳパラメータセットインデックス番号を決定することと、前記パラメータセットインデックス番号により参照されるＰＰＳに応じて前記復元画像が用いる整形パラメータを取得することと、前記第６の整形パラメータを用いて、取得された前記復元画像が用いる整形パラメータを更新または再決定することとを含む。

オプションとして、前記動画ビットストリームを運ぶためのトランスポートストリーム又はメディアファイルにおける前記システム層画像パラメータデータユニットから前記整形パラメータを取得することは、前記システム層画像パラメータデータユニットから取得された、整形処理を実行するか否かを示す識別パラメータと、ダイナミックレンジ整形パラメータと、色空間整形パラメータと、整形パラメータ使用範囲との少なくとも１つのパラメータに応じて前記整形パラメータを決定することを含む。

オプションとして、前記方法は、前記動画ビットストリームを運ぶためのトランスポートストリーム又はメディアファイルにおけるシステム層画像パラメータデータユニットから、前記復元画像に対して二次整形処理を行うための整形パラメータを取得することと、取得された前記復元画像に対して二次整形処理を行うための整形パラメータを利用して、前記復元画像に対して二次整形処理を行うこととを含む。ここで、前記システム層画像パラメータデータユニットは、前記動画ビットストリームにおけるアクセスユニットＡＵに対応する記述情報又は補助情報を含む。

オプションとして、前記動画ビットストリームを運ぶためのトランスポートストリーム又はメディアファイルにおけるシステム層画像パラメータデータユニットから、前記復元画像に対して二次整形処理を行うための整形パラメータを取得することは、前記システム層画像パラメータデータユニットから取得された、整形処理を実行するか否かを示す識別パラメータと、ダイナミックレンジ整形パラメータと、色空間整形パラメータと、整形パラメータ使用範囲との少なくとも１つのパラメータに応じて、前記復元画像に対して二次整形処理を行うための整形パラメータを決定することを含む。

本発明の実施例の別態様によれば、復元画像をハイダイナミックレンジ動画ＨＤＲ画像に変換させるのに用いられる、前記復元画像が用いる整形パラメータを決定することと、決定された前記復元画像が用いる整形パラメータを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームの画像及び／又はスライス層データユニットに書き込む画像符号化処理方法を提供する。ここで、前記復元画像は、エンコーダが整形処理を実行する前に、現在の符号化画像に対する復元標準ダイナミックレンジＳＤＲ画像であり、或いは、前記復元画像は、処理対象となる動画ビットストリームを復号化して得られたＳＤＲ画像であり、前記画像及び／又はスライス層データユニットは、画像パラメータセットＰＰＳとは異なる画像及び／又はスライス層パラメータセットと、前記復元画像に対応するアクセスユニットＡＵに含まれるパラメータデータユニットと、スライスヘッダと、システム層画像パラメータデータユニットとの少なくとも１つのデータユニットを含む。

オプションとして、前記復元画像を前記ハイダイナミックレンジ動画ＨＤＲ画像に変換させるのに用いられる、前記復元画像が用いる整形パラメータを決定することは、画像層整形パラメータとシーケンス層整形パラメータとを決定することと、前記画像層整形パラメータと前記シーケンス層整形パラメータとによって前記復元画像が用いる整形パラメータを決定することとを含む。ここで、前記画像層整形パラメータは、前記復元画像と目標ＨＤＲ画像との誤差を最小化する整形処理手順に用いられるフィルタ係数を含み、前記シーケンス層整形パラメータは、前記目標ＨＤＲ画像により構成される目標ＨＤＲ動画のダイナミックレンジ及び色空間と、前記復元画像により構成される復元動画的ダイナミックレンジ及び色空間とに応じて決定された、前記復元動画のダイナミックレンジから前記目標ＨＤＲ動画のダイナミックレンジまで拡張されたマッピングパラメータ、及び／又は前記復元動画の色空間から前記目標ＨＤＲ動画の色空間への変換パラメータを含む。

オプションとして、前記目標ＨＤＲ画像は、エンコーダに入力されたオリジナルのＨＤＲ動画において前記復元画像に対応するＨＤＲ画像である。

オプションとして、前記画像層整形パラメータと前記シーケンス層整形パラメータとによって前記復元画像が用いる整形パラメータを決定することは、前記画像層整形パラメータと前記シーケンス層整形パラメータとをそれぞれ利用して前記復元画像に対して整形処理を行うことと、前記復元画像に対して整形処理を行って得られたＨＤＲ画像と前記目標ＨＤＲ画像との誤差の最小なパラメータは前記復元画像が用いる整形パラメータであると決定することとを含む。

オプションとして、決定された前記復元画像が用いる整形パラメータを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームの画像及び／又はスライス層データユニットに書き込むことは、前記復元画像が用いる整形パラメータが前記シーケンス層整形パラメータである場合、前記シーケンス層整形パラメータに対して符号化を行い、符号化された符号化ビットを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームの画像パラメータセットＰＰＳ及び／又は前記ＰＰＳにより参照されるパラメータセットに書き込むことと、前記復元画像が用いる整形パラメータが前記画像層整形パラメータである場合、前記画像層整形パラメータに対して符号化を行い、符号化された符号化ビットを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームにおけるアクセスユニットＡＵに含まれるスライスヘッダに書き込むこととを含む。

オプションとして、前記画像層整形パラメータと前記シーケンス層整形パラメータによって前記復元画像が用いる整形パラメータを決定することは、前記画像層整形パラメータと、前記シーケンス層整形パラメータと、現在の符号化順に従う直前の符号化画像に使用される整形パラメータとから、前記復元画像が用いる整形パラメータを決定することを含む。

オプションとして、前記画像層整形パラメータと、前記シーケンス層整形パラメータと、現在の符号化順に従う直前の符号化画像に使用される整形パラメータとから、前記復元画像が用いる整形パラメータを決定することは、前記画像層整形パラメータと、前記シーケンス層整形パラメータと、前記直前の符号化画像に使用される整形パラメータとをそれぞれ利用して、前記復元画像に対して整形処理を行うことと、前記復元画像に対して整形を行って得られたＨＤＲ画像と前記目標ＨＤＲ画像との誤差の最小なパラメータは前記復元画像が用いる整形パラメータであると決定することとを含む。

オプションとして、決定された前記復元画像が用いる整形パラメータを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームの画像及び／又はスライス層データユニットに書き込むことは、前記復元画像が用いる整形パラメータが前記シーケンス層整形パラメータである場合、前記シーケンス層整形パラメータに対して符号化を行い、符号化された符号化ビットを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームの画像パラメータセットＰＰＳ及び／又は前記ＰＰＳにより参照されるパラメータセットに書き込むことと、前記復元画像が用いる整形パラメータが前記画像層整形パラメータ又は前記直前の符号化画像に使用される整形パラメータである場合、前記画像層整形パラメータ又は前記直前の符号化画像に使用される整形パラメータに対して符号化を行い、符号化された符号化ビットを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームにおけるアクセスユニットＡＵに含まれるパラメータデータユニットに書き込み、或いは、前記復元画像が用いる整形パラメータが前記画像層整形パラメータである場合、前記画像層整形パラメータに対して符号化を行い、符号化された符号化ビットを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームにおけるアクセスユニットＡＵに含まれるパラメータデータユニットに書き込むことと、前記復元画像が用いる整形パラメータが前記直前の符号化画像に使用される整形パラメータである場合、前記現在の符号化画像のビットが所在する動画ビットストリーム、又は前記処理対象となる動画ビットストリームにおけるアクセスユニットＡＵで第４の識別情報を符号化することとを含む。ここで、前記第４の識別情報は、前記整形パラメータが前記直前の符号化画像に使用される整形パラメータであることを指示するために用いられ、前記パラメータデータユニットは、前記ＡＵに含まれる、スライスビットストリームデータユニットとは独立したデータユニットである。

オプションとして、前記方法は、動画パラメータセットＶＰＳで前記整形パラメータを指示するための第１の識別情報を符号化する方式と、シーケンスパラメータセットＳＰＳで前記整形パラメータを指示するための第２の識別情報を符号化する方式との少なくとも１つの方式で前記整形パラメータを指示するための識別情報を符号化することを更に含む。

オプションとして、前記画像層整形パラメータと前記シーケンス層整形パラメータとによって前記復元画像が用いる整形パラメータを決定することは、前記画像層整形パラメータと、前記シーケンス層整形パラメータと、使用された前記復元画像に対応するアクセスユニットＡＵに含まれるスライスヘッダにおける画像パラメータセットＰＰＳ以外の画像及び／又はスライス層パラメータセットにおいて符号化された１つや複数の第１の別整形パラメータとから、前記復元画像が用いる整形パラメータを決定することを含む。

オプションとして、前記画像層整形パラメータと、前記シーケンス層整形パラメータと、前記第１の別整形パラメータとから前記復元画像が用いる整形パラメータを決定することは、前記画像層整形パラメータと、前記シーケンス層整形パラメータと、前記第１の別整形パラメータとをそれぞれ利用して前記復元画像に対して整形処理を行うことと、前記復元画像に対して整形処理を行って得られたＨＤＲ画像と前記目標ＨＤＲ画像との誤差の最小なパラメータは前記復元画像が用いる整形パラメータであると決定することとを含む。

オプションとして、決定された前記復元画像が用いる整形パラメータを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームの画像及び／又はスライス層データユニットに書き込むことは、前記復元画像が用いる整形パラメータが前記シーケンス層整形パラメータである場合、スライスヘッダにおいてＰＰＳ以外の画像及び／又はスライス層パラメータセットを使用しないと識別する情報を符号化することと、前記復元画像が用いる整形パラメータが前記第１の別整形パラメータである場合、スライスヘッダにおいてＰＰＳ以外の画像及び／又はスライス層パラメータセットを使用すると識別する情報を符号化し、前記第１の別整形パラメータが所在するパラメータセットのパラメータセットインデックス番号を符号化することと、前記復元画像が用いる整形パラメータが前記画像層整形パラメータである場合、前記画像層整形パラメータに対して符号化し、符号化ビットを新規のパラメータセットデータユニットに書き込むこととを含む。ここで、前記新規のパラメータセットデータユニットにはパラメータセットインデックス番号が配置され、スライスヘッダにおいてＰＰＳ以外の画像及び／又はスライス層パラメータセットを使用すると識別する情報が符号化され、前記パラメータセットインデックス番号が符号化される。

オプションとして、前記画像層整形パラメータと前記シーケンス層整形パラメータとによって前記復元画像が用いる整形パラメータを決定することは、前記画像層整形パラメータと、前記シーケンス層整形パラメータと、トランスポートストリーム又はメディアファイルのシステム層において符号化された１つや複数の第２の別整形パラメータとから、前記復元画像が用いる整形パラメータを決定することを含む。

オプションとして、前記画像層整形パラメータと、前記シーケンス層整形パラメータと、前記第２の別整形パラメータとから前記復元画像が用いる整形パラメータを決定することは、前記画像層整形パラメータと、前記シーケンス層整形パラメータと、前記第２の別整形パラメータとをそれぞれ利用して前記復元画像に対して整形処理を行うことと、前記復元画像に対して整形処理を行って得られたＨＤＲ画像と前記目標ＨＤＲ画像との誤差の最小なパラメータは前記復元画像が用いる整形パラメータであると決定することとを含む。

オプションとして、決定された前記復元画像が用いる整形パラメータを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームの画像及び／又はスライス層データユニットに書き込むことは、前記復元画像が用いる整形パラメータが前記シーケンス層整形パラメータである場合、システム層において第５の識別情報を符号化することと、前記復元画像が用いる整形パラメータが前記画像層整形パラメータである場合、前記システム層において前記画像層整形パラメータを符号化することと、前記復元画像が用いる整形パラメータが前記第２の別整形パラメータである場合、前記システム層において前記第２の別整形パラメータを符号化し、或いは、前記システム層において第６の識別情報を符号化することとを含む。ここで、前記第５の識別情報は、前記復元画像が用いる整形パラメータを、前記システム層において符号化された整形パラメータを使用しないように指示するために用いられ、前記第６の識別情報は、前記復元画像が用いる整形パラメータを、前記システム層において符号化された整形パラメータを使用するように指示するために用いられる。

オプションとして、前記システム層において、前記復元画像に対して二次整形を行うための整形パラメータと、二次整形処理の実行方式を指示するための制御情報とを符号化する。

本発明の実施例の別態様によれば、動画ビットストリームを解析し、前記動画ビットストリームの画像及び／又はスライス層データユニットから整形パラメータを取得し、取得された前記整形パラメータによって復元画像が用いる整形パラメータを決定するように設置される第１の決定モジュールと、前記復元画像が用いる整形パラメータを用いて前記復元画像に対して整形処理を行うように設置される処理モジュールとを備える画像復号化処理装置であって、前記復元画像は、整形処理が行われる前に、前記動画ビットストリームを復号化して得られた画像であり、前記画像及び／又はスライス層データユニットは、画像パラメータセットＰＰＳとは異なる画像及び／又はスライス層パラメータセットと、前記復元画像に対応するアクセスユニットＡＵに含まれるパラメータデータユニットと、スライスヘッダと、システム層画像パラメータデータユニットとの少なくとも１つのデータユニットを含む画像復号化処理装置を提供する。

本発明の実施例の別態様によれば、復元画像をハイダイナミックレンジ動画ＨＤＲ画像に変換させるのに用いられる、前記復元画像が用いる整形パラメータを決定するように設置される第２の決定モジュールであって、前記復元画像は、エンコーダが整形処理を実行する前の、現在の符号化画像に対する復元標準ダイナミックレンジＳＤＲ画像であり、或いは、前記復元画像は、処理対象となる動画ビットストリームを復号化して得られたＳＤＲ画像である第２の決定モジュールと、決定された前記復元画像が用いる整形パラメータを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームの画像及び／又はスライス層データユニットに書き込むように設置される書き込みモジュールと、を含む画像符号化処理装置であって、前記画像及び／又はスライス層データユニットは、画像パラメータセットＰＰＳとは異なる画像及び／又はスライス層パラメータセットと、前記復元画像に対応するアクセスユニットＡＵに含まれるパラメータデータユニットと、スライスヘッダと、システム層画像パラメータデータユニットとの少なくとも１つのデータユニットを含む画像符号化処理装置を提供する。

本発明の実施例の別態様によれば、前記画像復号化処理装置を含むデコーダを提供する。

本発明の実施例の別態様によれば、前記画像符号化処理装置を含むエンコーダを提供する。

本発明の別実施例では、前記実施例に係るステップの１つまたはその組合せを実行するための実行指令が記憶されるコンピュータ記憶媒体を提供する。

本発明の実施例によれば、動画ビットストリームを解析し、前記動画ビットストリームの画像及び／又はスライス層データユニットから整形パラメータを取得し、取得された前記整形パラメータによって復元画像が用いる整形パラメータを決定し、前記復元画像が用いる整形パラメータを用いて前記復元画像に対して整形処理を行う方法を採用する。ここで、前記復元画像は、整形処理が行われる前に、前記動画ビットストリームを復号化して得られた画像であり、前記画像及び／又はスライス層データユニットは、画像パラメータセットＰＰＳとは異なる画像及び／又はスライス層パラメータセットと、前記復元画像に対応するアクセスユニットＡＵに含まれるパラメータデータユニットと、スライスヘッダと、システム層画像パラメータデータユニットとの少なくとも１つのデータユニットを含む。関連技術における動画視聴品質が劣り、整形パラメータの符号化コストが大きいという問題が解決され、動画視聴品質を向上させ、整形パラメータの符号化コストを低減させる効果が更に達成される。

ここで説明する図面は、本発明についての更なる理解を提供するために提供され、本出願の一部に構成される。本発明の例示的な実施例及びその説明は、本発明を説明するために使用され、本発明に対する不適切な制限を構成するものではない。図面において、

図１は、本発明の実施例による画像復号化処理方法のフローチャートである。図２は、本発明の実施例による画像符号化処理方法のフローチャートである。図３は、本発明の実施例による画像復号化処理装置の構成ブロック図である。図４は、本発明の実施例による画像復号化処理装置の選択的な構成ブロック図である。図５は、本発明の実施例による画像符号化処理装置の構成ブロック図である。図６は、本発明の実施例によるデコーダの構成ブロック図である。図７は、本発明の実施例によるエンコーダの構成ブロック図である。

以下、図面を参照しながら実施例とともに本発明について詳しく説明する。なお、衝突しない限り、本出願に係る実施例及び実施例に係る特徴は互いに組み合わせることができる。

なお、本発明の明細書、特許請求の範囲及び上記図面に記載の「第１の」、「第２の」等の用語は、類似対象を区別するために使用され、必ずしも特定の順序又は優先順位を記述するために使用されるものではない。

本実施例は、画像復号化処理方法を提供する。図１は、本発明の実施例による画像復号化処理方法のフローチャートである。図１に示すように、当該フローは、
動画ビットストリームを解析し、当該動画ビットストリームの画像及び／又はスライス層データユニットから整形パラメータを取得し、取得された整形パラメータによって復元画像が用いる整形パラメータを決定するステップＳ１０２と、
上記復元画像が用いる整形パラメータを用いて復元画像に対して整形処理を行うステップＳ１０４とを含む。
ここで、当該復元画像は、整形処理が行われる前に、動画ビットストリームを復号化して得られた画像であり、上記画像及び／又はスライス層データユニットは、画像パラメータセットＰＰＳとは異なる画像及び／又はスライス層パラメータセットと、上記復元画像に対応するアクセスユニットＡＵに含まれるパラメータデータユニットと、スライスヘッダと、システム層画像パラメータデータユニットとの少なくとも１つのデータユニットを含む。

ここで、上記実施例における動作の主体は、復号化処理機器、例えばデコーダであっても良い。

上記実施例から分かるように、復元画像に対して整形処理を行うための整形パラメータは、動画ビットストリームの画像及び／又はスライス層データユニットから取得された整形パラメータにより決定されるものであり、画像の視聴品質を効果的に向上させ、更に動画の視聴品質を向上させることができ、且つ整形パラメータの符号化コストを低減させることができる。上記ステップによれば、関連技術における動画視聴品質が劣り、整形パラメータの符号化コストが大きいという問題が解決され、動画視聴品質を向上させ、整形パラメータの符号化コストを低減させる効果が更に達成される。

一代替実施例において、上記動画ビットストリームの画像及び／又はスライス層データユニットから上記整形パラメータを取得し、取得された上記整形パラメータによって復元画像が用いる整形パラメータを決定する前には、上記動画ビットストリームにおいてＡＵに含まれるスライスヘッダにおけるＰＰＳパラメータセットインデックス番号を決定することと、上記パラメータセットインデックス番号により参照されるＰＰＳに応じて復元画像が用いる整形パラメータを取得することとを更に含む。

ここで、上記パラメータセットインデックス番号により参照されるＰＰＳに応じて復元画像が用いる整形パラメータを取得することは、複数種の取得方法が存在しても良い。以下、１種を例として説明する。上記ＰＰＳの拡張部分及び／又はＰＰＳにより参照されるパラメータセットには、第１の整形パラメータが担持されているか否かを判定し、判定結果が「ＹＥＳ」である場合、取得された上記復元画像が用いる整形パラメータが当該第１の整形パラメータであると決定し、及び／又は、判定結果が「ＮＯ」である場合、取得された上記復元画像が用いる整形パラメータが既定値又は空であると決定する。以下、上記動画ビットストリームはＨＤＲ動画ビットストリームであることを例として説明する。

復号化処理機器は、ＨＤＲ動画ビットストリームにおいて各ＡＵに含まれるスライスヘッダにおけるＰＰＳパラメータセットインデックス番号を解析し、受信されたＰＰＳにおいて、ＰＰＳデータユニットにおけるインデックス番号とスライスヘッダを解析して得られたパラメータセットインデックス番号の値と同じであるＰＰＳを探す。復号化処理機器は、当該ＰＰＳを活性化し、当該ＰＰＳデータユニットにおける符号化ビットを解析する。当該ＰＰＳの拡張部分を解析して整形パラメータが得られた場合、当該整形パラメータを、当該ＰＰＳを参照するスライスに用いられる整形パラメータとする。逆に、当該ＰＰＳの拡張を解析した結果整形パラメータが得られなかった場合、当該ＰＰＳを参照するスライスに用いられる整形パラメータを空とし、或いは既定値とする。

上記実施例から分かるように、画像及び／又はスライス層データユニットは、画像パラメータセットＰＰＳとは異なる画像及び／又はスライス層パラメータセットと、上記復元画像に対応するアクセスユニットＡＵに含まれるパラメータデータユニットと、スライスヘッダと、システム層画像パラメータデータユニットとの少なくとも１つのデータユニットを含む。以下、異なる画像及び／又はスライス層データユニットをそれぞれ参照しながら、上記ステップＳ１０２に関する動作について説明する。

一代替実施例において、上記画像及び／又はスライス層データユニットは、スライスヘッダであっても良い。当該実施例において、上記動画ビットストリームの画像及び／又はスライス層データユニットから整形パラメータを取得し、取得された整形パラメータによって復元画像が用いる整形パラメータを決定することは、上記スライスヘッダの拡張部分を解析し、第２の整形パラメータを取得することと、当該第２の整形パラメータを用いて、復元画像が用いる整形パラメータを更新または再決定することとを含む。以下、一代替実施例を参照しながら、画像及び／又はスライス層データユニットがスライスヘッダであっても良い場合に関連する動作について説明する。

代替実施例１
本実施例は、ＨＤＲ動画に対して復号化処理を行う装置に用いられるＨＤＲ動画の復号化処理方法である。前記装置の入力は、ＨＤＲ動画ビットストリーム又はＨＤＲ動画ビットストリームを含むトランスポートストリーム又はメディアファイルであり、出力は、再生用の復元ＨＤＲ動画である。当該実施例は、以下のステップを含む。

ステップ１において、ビットストリームを解析し、画像及び／又はスライス層データユニットから整形パラメータを得る。

復号化処理機器は、入力ビットストリームを解析する。入力ビットストリームがＨＤＲ動画ビットストリームを含むトランスポートストリーム又はメディアファイルである場合、前記トランスポートストリーム又はメディアファイルからＨＤＲ動画ビットストリームを抽出する。

復号化処理機器は、ＨＤＲ動画ビットストリームにおいて各ＡＵに含まれるスライスヘッダにおけるＰＰＳパラメータセットインデックス番号を解析し、受信されたＰＰＳにおいて、ＰＰＳデータユニットにおけるインデックス番号とスライスヘッダを解析して得られたパラメータセットインデックス番号の値とは同じであるＰＰＳを探す。

復号化処理機器は、当該ＰＰＳを活性化し、当該ＰＰＳデータユニットにおける符号化ビットを解析する。当該ＰＰＳの拡張部分を解析して整形パラメータが得られた場合、当該整形パラメータを、当該ＰＰＳを参照するスライスに用いられる整形パラメータ（上記第１の整形パラメータに対応する）とする。逆に、当該ＰＰＳの拡張を解析した結果整形パラメータが得られなかった場合、当該ＰＰＳを参照するスライスに用いられる整形パラメータを空とし、或いは既定値とする。

復号化処理機器は、スライスヘッダを解析する。スライスヘッダの拡張部分を解析して整形パラメータ（上記第２の整形パラメータに対応する）が得られた場合、当該整形パラメータを当該スライスに用いられる整形パラメータとし、すなわち、スライスヘッダの拡張を解析して得られた整形パラメータを用いて、当該スライスにより参照されるＰＰＳを解析して得られた整形パラメータ又は既定値を上書きする。逆に、スライスヘッダの拡張部分を解析した結果整形パラメータが得られなかった場合、当該スライスにより参照されるＰＰＳの拡張部分を解析して得られた整形パラメータ又は既定値を使用する。

特に、復号化処理機器がＨＤＲ動画ビットストリームから得られた「当該画像の復元ＳＤＲ画像に対して整形処理を行う必要があるか否か」という識別情報は、「当該画像の復元ＳＤＲ画像に対して整形処理を行う必要がない」と指示すると、復号化処理機器は、整形パラメータの解析ステップと当該ＳＤＲ画像に対する整形処理ステップをスキップしても良い。とは言え、復号化処理機器は、復号化画像を再生に適合する動画データフォーマットに変換する必要がある。

ステップ２において、動画ビットストリームを復号化し、復元画像を得る。

復号化処理機器は、ＨＤＲ動画ビットストリームに対して復号化を行い、復元ＳＤＲ動画を得る。

ステップ３において、復元画像が用いる整形パラメータによって復元ＳＤＲ画像に対して整形処理を行い、ＨＤＲ画像に変換する。

上記の方法を用いて、復元ＳＤＲ画像の発信元特性（ダイナミックレンジ、色空間、非可逆圧縮の歪み等を含んでもよく、それに限定されない）がシーケンスのうちの大部分の画像と同一又は類似する場合、復号化処理機器は、ＰＰＳから得られた整形パラメータを用いて復元ＳＤＲ動画に対して整形処理を行う。復元ＳＤＲ画像の発信元特性がシーケンスのうちの大部分の画像とはかなり異なる場合、復号化処理機器は、スライスヘッダの拡張から復元画像の発信元特性に関連する整形パラメータを得て、前記整形パラメータによって復元ＳＤＲ画像に対して整形処理を行うことができ、整形処理により得られたＨＤＲ画像の視聴品質が向上される。このようにして、画像層整形パラメータの変更による復号化処理機器の頻繁なＰＰＳ更新動作が回避される。

一代替実施例において、上記画像及び／又はスライス層データユニットは、ＡＵに含まれるパラメータデータユニットであっても良い。当該実施例において、上記動画ビットストリームの画像及び／又はスライス層データユニットから上記整形パラメータを取得し、取得された整形パラメータによって復元画像が用いる整形パラメータを決定することは、上記動画ビットストリームにおいてＡＵに含まれるパラメータデータユニットを解析し、第３の整形パラメータを取得することと、上記第３の整形パラメータを用いて復元画像が用いる整形パラメータを更新または再決定し、或いは、事前設定された整形パラメータ決定方法によって上記復元画像が用いる整形パラメータが第３の整形パラメータであると決定することとを含む。ここで、当該パラメータデータユニットは、ＡＵに含まれるスライスビットストリームデータユニットとは独立したデータユニットである。

オプションとして、上記第３の整形パラメータを用いて復元画像が用いる整形パラメータを更新または再決定することは、動画ビットストリームにおいてＡＵに含まれるスライスヘッダにおけるＰＰＳパラメータセットインデックス番号を決定することと、当該パラメータセットインデックス番号により参照されるＰＰＳに応じて上記復元画像が用いる整形パラメータを取得することと、第３の整形パラメータを用いて取得された当該復元画像が用いる整形パラメータを更新または再決定することとを含む。ここで、上記パラメータセットインデックス番号により参照されるＰＰＳに応じて上記復元画像が用いる整形パラメータを取得することは、複数種の取得方法が存在し、例えば、上記ＰＰＳの拡張部分及び／又はＰＰＳにより参照されるパラメータセットには、第１の整形パラメータが担持されているか否かを判定し、判定結果が「ＹＥＳ」である場合、取得された上記復元画像が用いる整形パラメータが第１の整形パラメータであると決定し、及び／又は、判定結果が「ＮＯ」である場合、取得された復元画像が用いる整形パラメータが既定値又は空であると決定するように復元画像が用いる整形パラメータを取得することができる。

ここで、上記第３の整形パラメータは、上記ＡＵの直前のＡＵに含まれるパラメータデータユニットに対して解析を行って得られた第４の整形パラメータを決定する。当該直前のＡＵは、ＡＵの復号化順に従って決定された現在の復号化対象となるＡＵ（すなわち、上記ＡＵ）の直前のＡＵであっても良い。

上記事前設定された整形パラメータ決定方法は、デフォルトの決定方法と、動画パラメータセットＶＰＳを解析して得られた整形パラメータを指示するための第１の識別情報を利用して決定する方法と、シーケンスパラメータセットＳＰＳを解析して得られた整形パラメータを指示するための第２の識別情報を利用して決定する方法との少なくとも一種を含んで良い。ここで、上記デフォルトの方法は、事前設定された決定方法であっても良い。以下、一代替実施例を参照しながら、上記画像及び／又はスライス層データユニットがＡＵに含まれるパラメータデータユニットである場合の動作について説明する。

代替実施例２
本実施例は、ＨＤＲ動画に対して復号化処理を行う装置に用いられるＨＤＲ動画の復号化処理方法である。前記装置の入力は、ＨＤＲ動画ビットストリーム又はＨＤＲ動画ビットストリームを含むトランスポートストリーム又はメディアファイルであり、出力は、再生用の復元ＨＤＲ動画である。当該実施例は、以下のステップを含む。

復号化処理機器は、当該ＰＰＳを活性化し、当該ＰＰＳデータユニットにおける符号化ビットを解析する。当該ＰＰＳの拡張部分を解析して整形パラメータ（上記第１の整形パラメータに対応する）が得られた場合、当該整形パラメータを、当該ＰＰＳを参照するスライスに用いられる整形パラメータとする。逆に、当該ＰＰＳの拡張を解析した結果整形パラメータが得られなかった場合、当該ＰＰＳを参照するスライスに用いられる整形パラメータを空とし、或いは既定値とする。

復号化処理機器は、ＡＵにパラメータデータユニットが含まれると検出されると、当該データパラメータデータユニットを解析し、ＡＵに含まれるスライスに対して復号化して得られたＳＤＲ復元画像に対して整形処理を行うための整形パラメータ（上記第３の整形パラメータに対応する）を得て、上記整形パラメータをＳＤＲ復元画像に対して整形処理を行うための整形パラメータとする。逆に、復号化処理機器は、ＡＵにパラメータデータユニットが含まれていないと検出されると、当該ＡＵに含まれるスライスにより参照されるＰＰＳを解析して得られた整形パラメータをＳＤＲ復元画像に対して整形処理を行うための整形パラメータとする。ここで、上記パラメータデータユニットは、ＡＵに含まれるスライスビットストリームデータユニットとは独立したデータユニットであり、例えば、パラメータセットと補助拡張情報（ＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ、ＳＥＩと略称する）データユニット、ユーザ定義のデータユニット等である。

オプションとして、復号化処理機器は、ＡＵにパラメータデータユニットが含まれると検出されると、ＡＵの復号化順に従って現在の復号化対象となるＡＵの直前のＡＵに含まれるパラメータデータユニットを解析して得られた整形パラメータ（上記第４の整形パラメータに対応する）を現在のＡＵを復号化して得られたＳＤＲ復元画像の候補整形パラメータ（上記第３の整形パラメータに対応する）とするように配置されても良い。別のセットの候補整形パラメータは、ＰＰＳを解析して得られた整形パラメータである。復号化処理機器は、復号化対象となるＡＵに含まれるスライスヘッダを解析し、どのセットの候補整形パラメータを選択するかを示す識別情報を得て、識別情報に従って対応する整形パラメータを用いてＳＤＲ復元画像に対して整形処理を行う。ここで、復号化処理機器に対する配置方法は、復号化処理機器が上記方法をデフォルトとして採用し、或いは、復号化処理機器は、動画パラメータセット（ＶｉｄｅｏＰａｒａｍｅｔｅｒＳｅｔ、ＶＰＳと略称する）及び／又はＳＰＳを解析して上記方法を使用するか否かを示す識別情報（ここで、ＶＰＳにより解析された識別情報が上記第１の識別情報に対応し、ＳＰＳにより解析された識別情報が上記第２の識別情報に対応する）を得て、識別情報によって復号化されたＡＵにおけるパラメータデータユニットに含まれる整形パラメータを使用するか否かを設定することであっても良い。

ステップ２は、代替実施例１に係るステップ２とは同じであるため、ここで説明を省略する。

ステップ３は、代替実施例１に係るステップ３とは同じであるため、ここで説明を省略する。

なお、当該代替実施例において、ＨＤＲ動画ビットストリームにおいて各ＡＵに含まれるスライスヘッダにおけるＰＰＳから整形パラメータを解析する動作は、ＡＵに含まれるパラメータデータユニットから整形パラメータを解析する動作の後に行っても良い。

代替実施例１に係る復号化処理機器に比較して、本実施例に係る復号化処理機器は、ＡＵにおけるパラメータデータユニットを解析することで、ＡＵにおけるすべてのスライスに使用される整形パラメータを得る。これにより、スライスヘッダを解析するコストを更に低減することができる。

一代替実施例において、上記画像及び／又はスライス層データユニットは、ＡＵに含まれるスライスヘッダであっても良い。当該実施例において、上記動画ビットストリームの画像及び／又はスライス層データユニットから整形パラメータを取得し、取得された整形パラメータによって復元画像が用いる整形パラメータを決定することは、ＡＵに含まれるスライスヘッダを解析し、第３の識別情報を取得することと、上記第３の識別情報は復元画像が用いる整形パラメータをＰＰＳ以外の他の画像及び／又はスライス層パラメータセットに応じて決定するように指示すると、ＡＵに含まれるスライスヘッダを解析し、上記他の画像及び／又はスライス層パラメータセットのインデックス番号を取得することと、インデックス番号が他の画像及び／又はスライス層パラメータセットのインデックス番号とは同じであるパラメータセットを活性化し、第５の整形パラメータを取得することと、上記第５の整形パラメータを用いて、取得された復元画像が用いる整形パラメータを更新または再決定することとを含む。ここで、当該第３の識別情報は、復元画像が用いる整形パラメータがＰＰＳ以外の他の画像及び／又はスライス層パラメータセットに応じて決定するか否かを指示するために用いられる。以下、一代替実施例を参照しながら、画像及び／又はスライス層データユニットはＡＵに含まれるスライスヘッダである場合に関連する動作について説明する。

代替実施例３
本実施例は、ＨＤＲ動画に対して復号化処理を行う装置に用いられるＨＤＲ動画の復号化処理方法である。前記装置の入力は、ＨＤＲ動画ビットストリーム又はＨＤＲ動画ビットストリームを含むトランスポートストリーム又はメディアファイルであり、出力は、再生用の復元ＨＤＲ動画である。当該実施例は、以下のステップを含む。

復号化処理機器は、入力ビットストリームを解析する。入力ビットストリームがＨＤＲ動画ビットストリームを含むトランスポートストリーム又はメディアファイルである場合、上記トランスポートストリーム又はメディアファイルからＨＤＲ動画ビットストリームを抽出する。

復号化処理機器は、当該スライスヘッダを解析し、ＰＰＳ以外の他の画像／スライス層パラメータセットを使用するか否かを示す識別情報を得る。当該識別情報から、「ＰＰＳ以外の他の画像／スライス層パラメータセットを使用しない」と指示されると、ＰＰＳ拡張を解析して得られた整形パラメータを用いて復元ＳＤＲ画像に対して整形処理を行う。

逆に、当該識別情報から、「ＰＰＳ以外の他の画像／スライス層パラメータセットを使用する」と指示されると、引き続きスライスヘッダを解析し、当該画像／スライス層パラメータセットのインデックス番号を得て、受信されたビットストリーム又は復号化されたパラメータセットデータユニットにおいて、パラメータセットインデックス番号とスライスヘッダを解析して得られたインデックス番号とは同じであるパラメータセットを探す。復号化処理機器は、当該パラメータセットを解析し、整形パラメータ（上記第５の整形パラメータに対応する）を得て、当該整形パラメータを用いて復号化され復元したＳＤＲ画像に対して整形処理を行う。上記手順において、復号化処理機器は、受信されたＡＵとＡＵ外に伝送されたパラメータセットビットストリームとを検索することで、上記画像／スライス層パラメータセットを探しても良い。オプションとして、処理されたＨＤＲ動画ビットストリームには、パラメータセットインデックス番号の異なる上記画像／スライス層パラメータセットが多く含まれる可能性があるため、復号化処理機器では、パラメータセットを検索する処理複雑度を低減するために、パラメータセットインデックス番号をアクセスパラメータとするデータ構造が用いられる。例えば、一態様として、パラメータセットインデックス番号をアクセスパラメータのポインタ配列とし、配列におけるポインタは、当該パラメータセットインデックス番号の対応パラメータセットが記憶された解析データに向け指されていても良い。復号化処理機器は、スライスヘッダを解析してパラメータセットインデックス番号を得た後に、直接にパラメータセットインデックス番号を入口パラメータとして当該データ構造をアクセスし、対応パラメータセットに含まれる整形パラメータを得ることができる。

ステップ２は、代替実施例２に係るステップ２と同じであるため、ここでは説明を省略する。

ステップ３は、代替実施例２に係るステップ３と同じであるため、ここでは説明を省略する。

代替実施例２に係る復号化処理機器と比較して、本実施例に係る復号化処理機器は、ＰＰＳとは異なる画像／スライス層パラメータセットを解析することで、スライスに使用される整形パラメータを得る。これにより、復号化処理機器は、直前の復号化ＡＵにおける整形パラメータに限定されない整形パラメータを選択可能であり、復号化された情報の利用率が向上される。同時に、パラメータセット自体の属性を用いて、復号化処理機器は、パケットロス状況が存在するか否かをより容易に判定することができる。例えば、復号化処理機器は、スライスヘッダのパラメータセット番号を解析した後に、受信されたパラメータセットにおいて同じパラメータセット番号を有するパラメータセットが探せなかった場合、復号化処理機器は、エラー処理仕組みを作動させてエラー復元を行うことができ、動画通信の信頼性が向上される。

一代替実施例において、上記画像及び／又はスライス層データユニットは、システム層画像パラメータデータユニットであっても良い。当該実施例において、動画ビットストリームを解析し、動画ビットストリームの画像及び／又はスライス層データユニットから整形パラメータを取得し、取得された整形パラメータによって復元画像が用いる整形パラメータを決定することは、上記動画ビットストリームを運ぶためのトランスポートストリーム又はメディアファイルにおけるシステム層画像パラメータデータユニットから第６の整形パラメータを取得することと、当該第６の整形パラメータを用いて復元画像が用いる整形パラメータを更新または再決定し、或いは、復元画像が用いる整形パラメータが当該第６の整形パラメータであると決定することとを含む。ここで、当該システム層画像パラメータデータユニットは、動画ビットストリームにおけるアクセスユニットＡＵに対応する記述情報又は補助情報を含む。

一代替実施例において、上記第６の整形パラメータを用いて復元画像が用いる整形パラメータを更新または再決定することは、上記動画ビットストリームにおいてＡＵに含まれるスライスヘッダにおけるＰＰＳパラメータセットインデックス番号を決定することと、上記パラメータセットインデックス番号により参照されるＰＰＳに応じて復元画像が用いる整形パラメータを取得することと、上記第６の整形パラメータを用いて、取得された復元画像が用いる整形パラメータを更新または再決定することとを含む。

一代替実施例において、上記パラメータセットインデックス番号により参照されるＰＰＳに応じて復元画像が用いる整形パラメータを取得することは、上記ＰＰＳの拡張部分及び／又はＰＰＳにより参照されるパラメータセットに第１の整形パラメータが担持されているか否かを判定することと、判定結果が「ＹＥＳ」である場合、取得された復元画像が用いる整形パラメータが第１の整形パラメータであると決定し、及び／又は、判定結果が「ＮＯ」である場合、取得された復元画像が用いる整形パラメータが既定値又は空であると決定することとを含む。

一代替実施例において、上記動画ビットストリームを運ぶためのトランスポートストリーム又はメディアファイルにおけるシステム層画像パラメータデータユニットから整形パラメータを取得することは、システム層画像パラメータデータユニットから取得された、整形処理を実行するか否かを示す識別パラメータと、ダイナミックレンジ整形パラメータと、色空間整形パラメータと、整形パラメータ使用範囲との少なくとも１つのパラメータに応じて上記整形パラメータを決定することを含む。

一代替実施例において、動画の品質を保証するために、上記復元画像に対して複数回の整形処理（例えば、２回の整形処理）を行っても良い。以下、当該実施例について説明する。動画ビットストリームを運ぶためのトランスポートストリーム又はメディアファイルにおけるシステム層画像パラメータデータユニット（他のシステム層情報ユニットであっても良い）から復元画像に対して二次整形処理を行うための整形パラメータを取得し、取得された復元画像に対して二次整形処理を行うための整形パラメータを利用して、復元画像に対して二次整形処理を行う。ここで、当該システム層画像パラメータデータユニットは、動画ビットストリームにおけるアクセスユニットＡＵに対応する記述情報又は補助情報を含む。なお、ここで、二次整形処理の整形パラメータを取得する動作は、上記各実施例において復元画像が用いる整形パラメータを取得する動作の前に行っても良い。

一代替実施例において、上記動画ビットストリームを運ぶためのトランスポートストリーム又はメディアファイルにおけるシステム層画像パラメータデータユニットから、復元画像に対して二次整形処理を行うための整形パラメータを取得することは、システム層画像パラメータデータユニットから取得された、整形処理を実行するか否かを示す識別パラメータと、ダイナミックレンジ整形パラメータと、色空間整形パラメータと、整形パラメータ使用範囲との少なくとも１つのパラメータに応じて、復元画像に対して二次整形処理を行うための整形パラメータを決定することを含む。

以下、一代替実施例を参照しながら、上記画像及び／又はスライス層データユニットがシステム層画像パラメータデータユニットである場合に関連する動作について説明する。

代替実施例４
本実施例は、ＨＤＲ動画に対して復号化処理を行う装置に用いられるＨＤＲ動画の復号化処理方法である。上記装置の入力は、ＨＤＲ動画ビットストリームを含むトランスポートストリーム又はメディアファイルであり、出力は、再生用の復元ＨＤＲ動画である。当該実施例は、以下のステップを含む。

復号化処理機器は、入力ビットストリームを解析し、上記トランスポートストリーム又はメディアファイルからＨＤＲ動画ビットストリームを抽出する。復号化処理機器は、ＨＤＲ動画ビットストリームにおいて各ＡＵに含まれるスライスヘッダにおけるＰＰＳパラメータセットインデックス番号を解析し、受信されたＰＰＳにおいて、ＰＰＳデータユニットにおけるインデックス番号とスライスヘッダを解析して得られたパラメータセットインデックス番号の値と同じであるＰＰＳを探す。

復号化処理機器は、トランスポートストリーム又はメディアファイルにおけるシステム層情報ユニット（例えば、システム層画像パラメータデータユニット）を解析し、復元ＳＤＲ画像に対して整形処理を行うための整形パラメータを得る。これらシステム層情報ユニットは、トランスポートストリーム又はメディアファイルにおけるＨＤＲ動画ビットストリームにおいてＡＵに関連する記述情報又は補助情報、例えば記述子（Ｄｅｓｃｒｉｐｔｏｒ）であっても良い。復号化処理機器は、システム層情報ユニットから、整形処理を実行するか否かを示す識別パラメータと、ダイナミックレンジ整形パラメータと、色空間整形パラメータと、整形パラメータ使用範囲との少なくとも１つのパラメータを得る。ここで、整形パラメータ使用範囲は、復元ＳＤＲ動画に用いられる整形パラメータ（候補整形パラメータは、ＰＰＳを解析して得られた整形パラメータと、システム層ビットストリームを解析して得られた整形パラメータと、整形パラメータのデフォルト値又は既定値等を含んでも良く、それに限定されない）及び当該整形パラメータを使用する画像範囲（例えば、ＨＤＲ動画ビットストリームにおけるある指定されたＡＵから別の指定されたＡＵまで）を指示するために用いられる。復号化処理機器は、システム層情報ユニットにおけるパラメータによって、ＡＵを復号化して得られたＳＤＲ画像に対する整形処理に用いられる整形パラメータを決定する。

オプションとして、本実施例に記載の復号化処理機器は、代替実施例１、代替実施例２又は代替実施例３に記載のＨＤＲビットストリームを解析して整形パラメータを得る方法を採用しても良い。オプションとして、前述実施例１、２又は３を用いて整形パラメータを決定した後に、本実施例に記載の方法を更に採用して、システム層整形パラメータと整形処理の制御パラメータとを得ることができる。ここで、整形処理の制御パラメータは、復号化処理機器がＳＤＲ復元画像に対して整形処理を行うために選択する整形パラメータ（例えば、ＨＤＲビットストリームを解析して得られた整形パラメータと、システム層ビットストリームを解析して得られた整形パラメータとのいずれかを選択する）を指示してもよく、整形処理の実行モードを指示してもよく、例えば、まず、ＨＤＲビットストリームを解析して得られた整形パラメータを用いてＳＤＲ復元画像に対して整形処理を行い、その後、システム層ビットストリームを解析して得られた整形パラメータを用いて第２次の整形処理を行う。このようなカスケードの整形処理により、ＳＤＲ復元画像に対して精度が徐々に向上する整形処理を行い、復元ＨＤＲ画像の品質を向上させることができる。

特に、復号化処理機器がトランスポートストリーム又はメディアファイルから得られた「当該画像の復元ＳＤＲ画像に対して整形処理を行う必要があるか否か」という識別情報は、「当該画像の復元ＳＤＲ画像に対して整形処理を行う必要がない」と指示すると、復号化処理機器は、整形パラメータの解析ステップと当該ＳＤＲ画像に対する整形処理ステップをスキップしても良い。とは言え、復号化処理機器は、復号化画像を再生に適合する動画データフォーマットに変換する必要がある。

ステップ２は、代替実施例３に係るステップ２と同じであるため、ここでは説明を省略する。

ステップ３は、代替実施例３に係るステップ３と同じであるため、ここでは説明を省略する。

代替実施例３に係る復号化処理機器と比較して、本実施例に係る復号化処理機器は、トランスポートストリーム又はメディアファイルにおけるシステム層ビットストリームを解析することで、ＳＤＲ復元画像の整形パラメータを得る。システム層のトランスポートストリーム又はメディアファイルに含まれるＨＤＲ動画ビットストリームに対する記述情報によって、復号化処理機器は、より柔軟に整形パラメータを選択してＳＤＲ画像に対して整形処理を行う。同時に、オプションとして、復号化処理機器は、システム層の整形パラメータを用いてＳＤＲ復元画像に対して「二次整形処理」を行い、復元ＨＤＲ動画の品質を更に向上させることができる。

本発明の実施例の別態様によれば、画像符号化処理方法を更に提供する。図２は、本発明の実施例による画像符号化処理方法のフローチャートであり、図２に示すように、当該フローは、
復元画像をハイダイナミックレンジ動画ＨＤＲ画像に変換させるのに用いられる、前記復元画像が用いる整形パラメータを決定するステップＳ２０２と、
決定された上記復元画像が用いる整形パラメータを、現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は処理対象となる動画ビットストリームの画像及び／又はスライス層データユニットに書き込むステップＳ２０４とを含む。
ここで、当該復元画像は、エンコーダが整形処理を実行する前に、現在の符号化画像に対する復元標準ダイナミックレンジＳＤＲ画像であり、或いは、当該復元画像は、処理対象となる動画ビットストリームを復号化して得られたＳＤＲ画像であり、当該画像及び／又はスライス層データユニットは、画像パラメータセットＰＰＳとは異なる画像及び／又はスライス層パラメータセットと、上記復元画像に対応するアクセスユニットＡＵに含まれるパラメータデータユニットと、スライスヘッダと、システム層画像パラメータデータユニットとの少なくとも１つのデータユニットを含む。

ここで、上記実施例における動作の主体は、符号化処理機器、例えば、エンコーダであっても良い。

上記実施例から分かるように、復元画像が用いる整形パラメータを動画ビットストリームの画像及び／又はスライス層データユニットに書き込むことができ、画像の視聴品質を効果的に向上させ、更に動画の視聴品質を向上させ、且つ整形パラメータの符号化コストを低減させることができる。上記ステップによれば、関連技術における動画視聴品質が劣り、整形パラメータの符号化コストが大きいという問題が解決され、動画視聴品質を向上させ、整形パラメータの符号化コストを低減させる効果が更に達成される。

一代替実施例において、上記復元画像をハイダイナミックレンジ動画ＨＤＲ画像に変換させるのに用いられる、復元画像が用いる整形パラメータを決定することは、画像層整形パラメータとシーケンス層整形パラメータとを決定することと、上記画像層整形パラメータとシーケンス層整形パラメータとによって上記復元画像が用いる整形パラメータを決定することとを含む。ここで、当該画像層整形パラメータは、復元画像と目標ＨＤＲ画像との誤差を最小化する整形処理手順に用いられるフィルタ係数を含み、当該シーケンス層整形パラメータは、目標ＨＤＲ画像により構成される目標ＨＤＲ動画のダイナミックレンジ及び色空間と、復元画像により構成される復元動画のダイナミックレンジ及び色空間とに応じて決定された、復元動画のダイナミックレンジから目標ＨＤＲ動画のダイナミックレンジまで拡張されたマッピングパラメータ、及び／又は復元動画の色空間から目標ＨＤＲ動画の色空間への変換パラメータを含む。

一代替実施例において、上記目標ＨＤＲ画像は、エンコーダに入力されたオリジナルのＨＤＲ動画において上記復元画像に対応するＨＤＲ画像である。

上記画像層整形パラメータとシーケンス層整形パラメータとによって復元画像が用いる整形パラメータを決定する方法は複数種存在し、以下、当該決定方法について、それぞれ例を挙げて説明する。

一代替実施例において、画像層整形パラメータとシーケンス層整形パラメータとをそれぞれ利用して復元画像に対して整形処理を行い、当該復元画像に対して整形処理を行って得られたＨＤＲ画像と目標ＨＤＲ画像との誤差の最小なパラメータは復元画像が用いる整形パラメータであると決定するように、復元画像が用いる整形パラメータを決定する。オプションとして、決定された復元画像が用いる整形パラメータを、現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は処理対象となる動画ビットストリームの画像及び／又はスライス層データユニットに書き込むことは、上記復元画像が用いる整形パラメータがシーケンス層整形パラメータである場合、シーケンス層整形パラメータに対して符号化を行い、符号化された符号化ビットを、現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は処理対象となる動画ビットストリームの画像パラメータセットＰＰＳ及び／又はＰＰＳにより参照されるパラメータセットに書き込むことと、上記復元画像が用いる整形パラメータが画像層整形パラメータである場合、画像層整形パラメータに対して符号化を行い、符号化された符号化ビットを、現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は処理対象となる動画ビットストリームにおけるアクセスユニットＡＵに含まれるスライスヘッダに書き込むこととを含む。以下、一代替実施例を参照しながら説明する。

代替実施例５
本実施例は、ＨＤＲ動画に対して符号化処理を行う装置に用いられる、代替実施例１に記載の復号化方法に対応するＨＤＲ動画の符号化処理方法を提供する。当該装置で生成されたビットストリームは、代替実施例１に係る復号化処理装置によって適切に処理されることが可能になる。本実施例に係る装置の入力は、オリジナルのＨＤＲ動画であり、出力は、ＨＤＲ動画ビットストリーム又はＨＤＲ動画ビットストリームを含むトランスポートストリーム又はメディアファイルである。当該実施例は、以下のステップを含む。

ステップ１において、入力ＨＤＲ動画に対して整形処理を行い、Ｈ．２６５／ＨＥＶＣＭａｉｎ１０Ｐｒｏｆｉｌｅエンコーダに適合するＳＤＲ入力動画を得る。当該エンコーダを用いて入力動画に対して符号化を行い、エンコーダのローカル復元ＳＤＲ動画を得る。

当該ステップにおける整形処理手順は、ＨＤＲ動画シーケンスにおける画像に適用され、ＨＤＲ画像のダイナミックレンジを低減させることができ、同時に、アプリケーション設定に従って、ＨＤＲ画像の色空間に対する変換動作を選択して実行する。オプションとして、受信側において復号化され復元したＳＤＲ動画がオリジナルのＨＤＲ動画と同じ色空間を有する必要があると、色空間の変換動作を実行しなく、逆に、色空間の変換動作を実行する。ここで、前記入力ＨＤＲ動画に対する整形処理は、上記国際標準化機構のテストモデルで既存の方法を使用しても良い。当該整形手順において出力された目標ＳＤＲ動画のダイナミックレンジと色空間のパラメータとは、実際の適用の要求に応じて設置されても良い。

ステップ２において、エンコーダによる復元ＳＤＲ画像をＨＤＲ画像に変換させる整形手順における整形パラメータを計算する。

エンコーダにおいてローカルで復号化され復元したＳＤＲ動画画像について、対応するオリジナルの入力ＨＤＲ画像を参照とし、当該ＳＤＲ画像に対して整形処理を行うための整形パラメータを決定する。前記整形処理は、ＳＤＲ画像のダイナミックレンジを増大させるとともに、アプリケーション設定に従ってＳＤＲ画像色空間に対する変換動作を選択して実行することを含む。オプションとして、受信側に必要なＨＤＲ動画は、復号化され復元したＳＤＲ動画と同じ色空間を有すると、色空間の変換動作を実行しなく、逆に、色空間の変換動作を実行する。

一般的には、ＨＤＲ画像のダイナミックレンジは、ＳＤＲ画像よりもはるかに大きい。同時に、ＨＤＲ画像は、色域図でより広い領域をカバーする色空間を使用する。そのため、整形手順において、ＳＤＲ画像のダイナミックレンジ及び色空間に対して「拡張」を行う必要がある。１つの方法は、適応フィルタの方法を用いて、ＳＤＲ画像が整形処理された後に画像とオリジナルのＨＤＲ入力画像との誤差を最小化できる整形処理手順に用いられるフィルタ係数を計算し、上記係数を当該整形処理手順の整形パラメータ（すなわち、「画像層整形パラメータ」）とする。画像層整形パラメータを決定する手順において、エンコーダにおいてローカルで復号化され復元したＳＤＲ画像が使用されるため、決定された画像層整形パラメータは、当該ＳＤＲ復元画像における非可逆圧縮の歪みに対して補償することができる。

別の整形パラメータを決定する方法は、オリジナルの入力ＨＤＲ動画のダイナミックレンジ及び色空間、ローカルで復号化され復元したＳＤＲ動画のダイナミックレンジ及び色空間に応じて、ＳＤＲ動画ダイナミックレンジからＨＤＲ動画ダイナミックレンジまで拡張されたマッピングパラメータを計算し、ＳＤＲ動画の色空間からＨＤＲ動画色空間への変換パラメータを計算し、且つマッピングパラメータと変換パラメータとを整形処理手順における整形パラメータ（すなわち、「シーケンス層整形パラメータ」）とする。

オプションとして、ダイナミックレンジの変換手順において、まず、ＳＤＲ動画シーケンスとオリジナルのＨＤＲシーケンスとの平均ダイナミックレンジを決定し、異なるダイナミックレンジにおいて動画の画素サンプリング点の値と対応する光強度との曲線に応じて、ＳＤＲ動画ダイナミックレンジ内の画素サンプリング点の値をＨＤＲ動画ダイナミックレンジ内にマッピングする対応関係曲線を計算し、曲線パラメータをマッピングパラメータとする。色空間の変換手順において、ＳＤＲ動画の色空間の色域図におけるカバー領域がＨＤＲ動画の色空間よりも小さいため、簡単な方法として、直接にＳＤＲ動画色空間における色点の対応値をＨＤＲ動画の色空間に同じ色点の対応値に変換させ、当該変換手順に用いられる計算パラメータを変換パラメータとする。他の色空間の変換方法は、ＳＤＲ色空間に同一色度曲線に沿って、ＳＤＲ動画の色空間における点を拡張してＨＤＲ動画の色空間の同一色度曲線上の色点までマッピングし、マッピング曲線に対応するパラメータを変換パラメータとする。この方法により、オリジナルのＳＤＲ動画の色空間における色点を、ＳＤＲ動画の色空間がカバーする色域外のＨＤＲ動画の色空間がカバーする色域まで拡張することができ、ＨＤＲ動画の彩度が向上される。

ＨＤＲ動画に対する符号化手順において、処理機器は、まず、「シーケンス層整形パラメータ」を決定しても良い。処理機器は、入力ＨＤＲ動画とエンコーダによる復元ＳＤＲ動画とを分析し、動画のダイナミックレンジと色空間とを決定しても良い。処理機器は、設定パラメータによってＨＤＲ動画とＳＤＲ動画とのダイナミックレンジ及び色空間を直接決定しても良く、例えば、ＨＤＲ動画とともに入力された設定パラメータにおける、入力ＨＤＲ動画のダイナミックレンジと色空間とを指示するためのパラメータや、ステップ１に使用される、ＨＤＲ動画から目標ＳＤＲ動画に変換されたときのダイナミックレンジと色空間とを指示するためのパラメータである。

特に、符号化処理機器は、エンコーダによる復元ＳＤＲ画像に対して整形処理を行う必要があるか否かを判定し、画像に対して、当該画像の復元ＳＤＲ画像に対して整形処理を行う必要があるか否かを示す識別情報を符号化することができる。符号化処理機器に使用可能な１つの判定方法は、符号化処理機器によって復元ＳＤＲ画像とオリジナルの入力ＨＤＲ画像との間のダイナミックレンジの差異を検出し、両方のダイナミックレンジが同じである場合、或いは、ＳＤＲ画像のダイナミックレンジ外の対応する入力ＨＤＲ画像における画素点が少ない場合、或いは、選定されたＨＤＲ動画品質評価基準に従ってＳＤＲ画像ダイナミックレンジ外の対応する入力ＨＤＲ画像における画素点のＨＤＲ復元動画の視聴品質に対する影響が無視可能であると判定される場合、ダイナミックレンジの整形処理を行わない。同様に、符号化処理機器により検出された、オリジナルの入力ＨＤＲ画像における画素サンプリング値に対応する色がいずれもＳＤＲ画像の色空間がカバーする色域内に位置される場合、或いは、ＳＤＲ画像の色空間外の対応する入力ＨＤＲ画像における画素点が少ない場合、或いは、選定されたＨＤＲ動画品質評価基準に従ってＳＤＲ画像の色空間外の対応する入力ＨＤＲ画像における画素点のＨＤＲ復元動画の視聴品質に対する影響が無視可能であると判定される場合、色空間の整形処理を行わない。ここで、上記ＨＤＲ動画品質量評価基準は、標準化機構のテストモデルと参照ソフトウェアで既存のＨＤＲ動画品質を評価する誤差基準を採用しても良い。符号化処理機器によって復元ＳＤＲ動画に対して整形処理を行う必要がないと判定されると、画像に対して、「当該画像の復元ＳＤＲ画像に対して整形処理を行う必要がない」という識別情報を符号化する。符号化処理機器は、ステップ２とそれ以降のステップ３、ステップ４を実行する必要がない。

ステップ３において、エンコーダによる復元ＳＤＲ画像をＨＤＲ画像に変換させる整形手順における整形パラメータを選択する。

符号化処理機器は、シーケンス層整形パラメータと画像層整形パラメータとからエンコーダによってＳＤＲ画像を復元することに用いられる整形パラメータを選択する。１種の方法として、シーケンス層整形パラメータと画像層整形パラメータとをそれぞれ使用して復元ＳＤＲ動画に対して整形処理を行って得られた、ＨＤＲ動画とオリジナルのＨＤＲ動画との誤差を比較して、誤差が低い方を選択して復元ＳＤＲ画像の整形パラメータとする。ここで、誤差の計算は、従来の平均誤差基準、例えば、絶対誤差合計を採用しても良く、標準化機構のテストモデルと参照ソフトウェアで既存のＨＤＲ動画品質を評価する誤差基準を採用しても良い。

ステップ４において、整形パラメータに対して符号化を行い、符号化ビットを動画ビットストリームにおける画像及び／又はスライス層データユニットに書き込む。

符号化処理機器は、シーケンス層整形パラメータに対して符号化を行い、符号化ビットをＰＰＳに書き込み、且つＨＤＲ動画符号化シーケンス全体に対する、新たなシーケンス層整形パラメータの再計算及び新たな整形パラメータを含むＰＰＳの再生成をしない。復元ＳＤＲ画像がシーケンス層整形パラメータを使用すると、画像層整形パラメータに対して符号化を行わない。逆に、復元ＳＤＲ画像が画像層整形パラメータを使用する場合、画像層整形パラメータを符号化し、符号化ビットを当該画像に含まれるスライスヘッド情報に書き込む。

オプションとして、符号化処理機器は、生成されたＰＰＳにおいて、スライスヘッダ拡張を使用することを指示するためのフラグｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｈｅａｄｅｒ＿ｅｘｔｅｎｓｉｏｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを１にする。シーケンス層整形パラメータを使用する場合、符号化処理機器は、当該ＰＰＳのスライスを参照するスライスヘッダにおいて、スライスヘッダの拡張部分のビット数を指示するためのパラメータを０にしてもよい。画像層パラメータを使用する場合、符号化処理機器は、画像層整形パラメータを符号化し、画像層整形パラメータの符号化に必要なビット数を計算し、その値をスライスヘッダの拡張部分のビット数の値とし、符号化処理機器は、当該値をスライスヘッダの拡張部分のビットストリームに書き込み、その後、画像層整形パラメータの符号化ビットをスライスヘッダの拡張部分のビットストリームに書き込む。

なお、更に、上記符号化処理機器の実行フローは、実施可能な方式であるが、更に最適化することができる。例えば、符号化処理機器の計算複雑度を低減するために、符号化する前に入力ＨＤＲ動画と配置されたＳＤＲ動画パラメータによってシーケンス層整形パラメータを計算し、且つキーフレーム画像のみに対してステップ３０２において画像層整形パラメータを計算し、他の画像に対してシーケンス層整形パラメータを直接使用する。ここで、キーフレームとして選択可能な画像は、符号化動画シーケンスにおけるシーンチェンジ画像、ランダムアクセス画像、時間領域識別子番号（ＴｅｍｐｏｒａｌＩｄｅｎｔｉｆｉｅｒ（ＩＤ））の値が比較的小さい画像等を含む。一方、最良なＨＤＲ復元動画の品質を追求するために、符号化処理機器は、できるだけ多くのＳＤＲ画像に対して画像層整形パラメータを選択し、或いは、ＳＤＲ画像ごとに対して画像層整形パラメータを選択することができる。符号化処理機器がＳＤＲ画像ごとに画像層整形パラメータを選択するモードに配置されると、ＰＰＳにおいてシーケンス層整形パラメータを符号化しなく、画像のスライスヘッダの拡張で画像層整形パラメータを符号化する。同時に、復元ＨＤＲ動画の品質を更に向上させるために、符号化処理機器は、同一画像における異なるスライスに対して、それぞれ画像層整形パラメータを計算してスライスヘッダ拡張において符号化されても良い。符号化処理機器は、適用要求、機器自体が利用可能な計算資源の状況に応じて、符号化制御パラメータを設置して、上記整形パラメータの計算と符号化方法において選択しても良い。例えば、動画記憶及び非リアルタイムストリーミングメディアアプリケーションについて、符号化処理機器通は、通常十分な計算資源が配置され、各画像が画像層整形パラメータを使用する符号化モードを選択しても良く、リアルタイム動画通信又は符号化処理機器の計算資源が限定される場合、キーフレーム画像に対して画像層整形パラメータを使用しながら非キーフレームに対してシーケンス層整形パラメータを使用する符号化モードを選択しても良い。

上記符号化処理方法を用いて、整形手順における画像の適応性を向上させると同時に、新たなＰＰＳを頻繁に生成して整形パラメータを符号化することでＰＰＳにおける他の符号化制御パラメータを繰り返し符号化することによる追加の符号化コストを回避する。

一代替実施例において、上記画像層整形パラメータとシーケンス層整形パラメータとによって復元画像が用いる整形パラメータを決定することは、画像層整形パラメータと、シーケンス層整形パラメータと、現在の符号化順に従う直前の符号化画像に使用される整形パラメータとから、復元画像が用いる整形パラメータを決定することを含む。オプションとして、上記画像層整形パラメータと、シーケンス層整形パラメータと、現在の符号化順に従う直前の符号化画像に使用される整形パラメータとから、上記復元画像が用いる整形パラメータを決定することは、画像層整形パラメータと、シーケンス層整形パラメータと、直前の符号化画像に使用される整形パラメータとをそれぞれ利用して、復元画像に対して整形処理を行うことと、上記復元画像に対して整形処理を行って得られたＨＤＲ画像と目標ＨＤＲ画像との誤差の最小なパラメータは復元画像が用いる整形パラメータであると決定することとを含む。

一代替実施例において、決定された上記復元画像が用いる整形パラメータを、現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は処理対象となる動画ビットストリームの画像及び／又はスライス層データユニットに書き込むことは、復元画像が用いる整形パラメータがシーケンス層整形パラメータである場合、当該シーケンス層整形パラメータに対して符号化を行い、符号化された符号化ビットを、現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は処理対象となる動画ビットストリームの画像パラメータセットＰＰＳ及び／又はＰＰＳにより参照されるパラメータセットに書き込むことと、上記復元画像が用いる整形パラメータが画像層整形パラメータ又は直前の符号化画像に使用される整形パラメータである場合、上記画像層整形パラメータ又は直前の符号化画像に使用される整形パラメータに対して符号化を行い、符号化された符号化ビットを、現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は処理対象となる動画ビットストリームにおけるアクセスユニットＡＵに含まれるパラメータデータユニットに書き込むことと、或いは、上記復元画像が用いる整形パラメータが上記画像層整形パラメータである場合、画像層整形パラメータに対して符号化を行い、符号化された符号化ビットを、現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は処理対象となる動画ビットストリームにおけるアクセスユニットＡＵに含まれるパラメータデータユニットに書き込むことと、上記復元画像が用いる整形パラメータが直前の符号化画像に使用される整形パラメータである場合、上記現在の符号化画像のビットが所在する動画ビットストリーム、又は処理対象となる動画ビットストリームにおけるアクセスユニットＡＵで第４の識別情報を符号化することとを含みむ。ここで、当該第４の識別情報は、整形パラメータが直前の符号化画像に使用される整形パラメータであることを指示するために用いられる。ここで、当該パラメータデータユニットは、上記ＡＵに含まれるスライスビットストリームデータユニットとは独立したデータユニットである。オプションとして、上記実施例に係る方法は、動画パラメータセットＶＰＳにおいて上記整形パラメータを指示するための第１の識別情報を符号化する方式と、シーケンスパラメータセットＳＰＳにおいて上記整形パラメータを指示するための第２の識別情報を符号化する方式との少なくとも１つであり、整形パラメータを指示するための識別情報を符号化することを更に含む。以下、代替実施例を参照しながら説明する。

代替実施例６
本実施例は、ＨＤＲ動画に対して符号化処理を行う装置に用いられる代替実施例２に係る復号化方法に対応するＨＤＲ動画の符号化処理方法を提供する。当該装置で生成されたビットストリームは、代替実施例２に係る復号化処理装置によって適切に処理されることが可能になる。本実施例に係る装置の入力は、オリジナルのＨＤＲ動画であり、出力は、ＨＤＲ動画ビットストリーム又はＨＤＲ動画ビットストリームを含むトランスポートストリーム又はメディアファイルである。当該実施例は、以下のステップを含む。

ステップ１は、代替実施例５に係るステップ１と同じであるため、ここでは説明を省略する。

ステップ２は、代替実施例５に係るステップ２と同じであるため、ここでは説明を省略する。

符号化処理機器は、シーケンス層整形パラメータと、画像層整形パラメータと、符号化順に従う直前の符号化画像に使用される整形パラメータとから、エンコーダによってＳＤＲ画像を復元することに用いられる整形パラメータを選択する。１種の方法として、各候補整形パラメータをそれぞれ用いて復元ＳＤＲ動画に対して整形処理を行って得られた、ＨＤＲ動画とオリジナルのＨＤＲ動画との誤差を比較して、誤差がより低い方を選択して復元ＳＤＲ画像の整形パラメータとする。ここで、誤差の計算は、従来の平均誤差基準、例えば、絶対誤差合計を採用しても良く、標準化機構のテストモデルと参照ソフトウェアで既存のＨＤＲ動画品質を評価する誤差基準を採用しても良い。

ステップ４において、整形パラメータに対して符号化を行い、符号化ビットを動画ビットストリームに画像及び／又はスライス層データユニットに書き込む。

符号化処理機器は、シーケンス層整形パラメータに対して符号化を行い、符号化ビットをＰＰＳに書き込み、且つＨＤＲ動画符号化シーケンス全体に対する、新たなシーケンス層整形パラメータの再計算及び新たな整形パラメータを含むＰＰＳの再生成をしない。

代替実施例２に係る復号化処理機器に対応して、復元ＳＤＲ画像がシーケンス層整形パラメータを使用する場合、ステップ３における上記他の２セットの候補整形パラメータに対して符号化を行わない。逆に、復元ＳＤＲ画像がシーケンス層整形パラメータを使用しない場合、符号化処理機器は、パラメータデータユニットを生成し、使用される非シーケンス層整形パラメータに対して符号化を行い、符号化ビットをパラメータデータユニットに書き込み、パラメータデータユニットを符号化画像のビットが所在するＡＵに書き込む。ここで、当該パラメータデータユニットは、ＡＵに含まれるスライスビットストリームデータユニットとは独立したデータユニット、例えば、ＳＥＩデータユニット、ユーザ定義のデータユニット等を含む。

代替実施例２に係る復号化処理機器に対応して、オプションとして、符号化処理機器は、非シーケンス層整形パラメータを用いてＳＤＲ復元動画に対して整形処理を行う場合、符号化処理機器は、符号化されたＡＵの整形パラメータを直接使用するモードに配置されても良い。オプションとして、符号化処理機器は、画像層整形パラメータを使用する場合、符号化処理機器がパラメータデータユニットを生成し、画像層整形パラメータに対して符号化を行い、符号化ビットをパラメータデータユニットに書き込み、パラメータデータユニットを符号化画像のビットが所在するＡＵに書き込む。逆に、符号化処理機器は、符号化順に従う直前のＡＵに用いられる整形パラメータを用いて現在のＳＤＲ復元画像に対して整形処理を行う場合、符号化処理機器は、パラメータデータユニットを生成しなく、符号化処理機器は、スライスヘッダにおける「どのセットの候補整形パラメータを使用するか」という識別情報（上記第４の識別情報に対応する）を符号化し、ＳＤＲ復元動画に対して整形処理を行う場合、ＰＰＳにおける整形パラメータを採用するか、もしくは、符号化順に従う直前のＡＵに用いられる整形パラメータを採用するかを指示するために用いられる。代替実施例２に係る復号化処理機器に対応して、ここで、符号化処理機器に対する配置方法は、符号化処理機器が上記方法をデフォルトとして採用し、或いは、符号化処理機器は、ＶＰＳ及び／又はＳＰＳにおいて、上記方法を使用するか否かを示す識別情報を符号化して（ここで、ＶＰＳにおける識別情報を上記第１の識別情報に対応するように符号化して、ＳＰＳにおける識別情報を上記第２の識別情報に対応するように符号化する）、復号化されたＡＵにおけるパラメータデータユニットに含まれる整形パラメータを使用するか否かを指示するために用いられる方法であっても良い。

なお、代替実施例５に係る符号化処理装置と類似した最適化方法は、本実施例に係る符号化処理装置にも適用可能である。

代替実施例５に係る符号化処理機器と比較して、本実施例に係る符号化処理装置は、ＡＵに含まれるパラメータデータユニットで整形パラメータを符号化し、画像が比較的多いスライスを含む場合（例えば、スライス符号化ビットはネットワークの最大伝送ユニットのサイズに適合することを要求する場合）、スライスヘッダにおける整形パラメータの符号化コストを低減させる。

一代替実施例において、画像層整形パラメータとシーケンス層整形パラメータとによって復元画像が用いる整形パラメータを決定することは、画像層整形パラメータと、シーケンス層整形パラメータと、使用された復元画像に対応するアクセスユニットＡＵに含まれるスライスヘッダにおける画像パラメータセットＰＰＳ以外の画像及び／又はスライス層パラメータセットにおいて符号化された１つ又は複数の第１の別整形パラメータとから、上記復元画像が用いる整形パラメータを決定することを含む。オプションとして、上記画像層整形パラメータと、シーケンス層整形パラメータと、第１の別整形パラメータとから上記復元画像が用いる整形パラメータを決定することは、上記画像層整形パラメータと、シーケンス層整形パラメータと、第１の別整形パラメータとをそれぞれ利用して復元画像に対して整形処理を行うことと、復元画像に対して整形処理を行って得られたＨＤＲ画像と目標ＨＤＲ画像との誤差の最小なパラメータは復元画像が用いる整形パラメータであると決定することとを含む。

一代替実施例において、決定された上記復元画像が用いる整形パラメータを、現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は処理対象となる動画ビットストリームの画像及び／又はスライス層データユニットに書き込むことは、上記復元画像が用いる整形パラメータがシーケンス層整形パラメータである場合、スライスヘッダにおいて、ＰＰＳ以外の画像及び／又はスライス層パラメータセットを使用しないと識別する情報を符号化することと、復元画像が用いる整形パラメータが第１の別整形パラメータである場合、スライスヘッダにおいて、ＰＰＳ以外の画像及び／又はスライス層パラメータセットを使用すると識別する情報を符号化し、第１の別整形パラメータが所在するパラメータセットのパラメータセットインデックス番号を符号化することと、復元画像が用いる整形パラメータが画像層整形パラメータである場合、画像層整形パラメータに対して符号化し、符号化ビットを新規のパラメータセットデータユニットに書き込むこととを含む。ここで、当該新規のパラメータセットデータユニットにはパラメータセットインデックス番号が配置され、スライスヘッダにおいて、ＰＰＳ以外の画像及び／又はスライス層パラメータセットを使用すると識別する情報を符号化し、上記パラメータセットインデックス番号を符号化する。以下、一代替実施例を参照しながら説明する。

代替実施例７
本実施例は、ＨＤＲ動画に対して符号化処理を行う装置に用いられる、代替実施例３に係る復号化方法に対応するＨＤＲ動画の符号化処理方法を提供する。本実施例に係る装置で生成されたビットストリームは、代替実施例３に係る復号化処理装置によって適切に処理されることが可能になる。本実施例に係る装置の入力は、オリジナルのＨＤＲ動画であり、出力は、ＨＤＲ動画ビットストリーム又はＨＤＲ動画ビットストリームを含むトランスポートストリーム又はメディアファイルである。当該実施例は、以下のステップを含む。

ステップ１は、代替実施例６に係るステップ２と同じであるため、ここでは説明を省略する。

ステップ２は、代替実施例６に係るステップ２と同じであるため、ここでは説明を省略する。

符号化処理機器は、シーケンス層整形パラメータと、画像層整形パラメータと、使用されたＰＰＳ以外の画像／スライス層パラメータセット（上記画像及び／又はスライス層パラメータセットと同じである）において符号化された１つ又は複数の整形パラメータ（上記第１の別整形パラメータに対応する）とから、エンコーダによってＳＤＲ画像を復元することに用いられる整形パラメータを選択する。１種の方法として、各候補整形パラメータをそれぞれ用いて復元ＳＤＲ動画に対して整形処理を行って得られた、ＨＤＲ動画とオリジナルのＨＤＲ動画との誤差を比較して、誤差がより低い方を選択して復元ＳＤＲ画像の整形パラメータとする。ここで、誤差の計算は、従来の平均誤差基準、例えば、絶対誤差合計を採用しても良く、標準化機構のテストモデルと参照ソフトウェアで既存のＨＤＲ動画品質を評価する誤差基準を採用しても良い。

ステップ４において、整形パラメータに対して符号化を行い、符号化ビットを動画ビットストリームの画像及び／又はスライス層データユニットに書き込む。

代替実施例３に記載の復号化処理機器に対応して、復元ＳＤＲ画像がシーケンス層整形パラメータ又はＰＰＳ以外の画像／スライス層パラメータセットにおいて符号化された整形パラメータを使用する場合、ステップ３における画像層の候補整形パラメータに対して符号化を行わない。逆に、復元ＳＤＲ画像が画像層整形パラメータを使用する場合、符号化処理機器は、新たなパラメータセットデータユニットを生成し、それに対してパラメータセットインデックス番号を分配し、使用される画像層整形パラメータに対して符号化し、符号化ビットを上記パラメータセットデータユニットに書き込む。上記手順において、符号化処理機器は、シーケンス層整形パラメータを使用する場合、符号化処理機器は、スライスヘッダにおいて「ＰＰＳ以外の他の画像／スライス層パラメータセットを使用しない」という識別情報を符号化し、逆に、符号化処理機器は、スライスヘッダにおいて「ＰＰＳ以外の他の画像／スライス層パラメータセットを使用する」という識別情報を符号化し、その後に、使用される整形パラメータが所在する画像／スライス層インデックス番号を符号化する。

代替実施例６に係る符号化処理機器と比較して、本実施例に係る符号化処理装置は、整形パラメータをパラメータセットにおいて符号化し、符号化された整形パラメータをより柔軟に選択でき、情報利用率が向上され、追加の符号化コストが低減される。同時に、パラメータセットの特性を利用して、符号化処理装置は、ＰＰＳ以外の画像／スライス層パラメータセットに対してＡＵ内伝送とＡＵ外伝送との２種の方式を選択し、伝送效率を両立するとともに、整形パラメータ伝送の信頼性が向上される。例えば、符号化処理装置が所在する発信側は、復号化処理装置を含む受信側によりフィードバックされたパラメータセットの消失を受信する場合、消失パラメータセットのインデックス番号によって、同じ内容のパラメータセットを再送する方式を採用してエラー復元を行うことができる。

一代替実施例において、上記画像層整形パラメータとシーケンス層整形パラメータとによって復元画像が用いる整形パラメータを決定することは、画像層整形パラメータと、シーケンス層整形パラメータと、トランスポートストリーム又はメディアファイルのシステム層において符号化された１つ又は複数の第２の別整形パラメータとから、上記復元画像が用いる整形パラメータを決定することを含む。オプションとして、上記画像層整形パラメータと、シーケンス層整形パラメータと、第２の別整形パラメータとから復元画像が用いる整形パラメータを決定することは、画像層整形パラメータと、シーケンス層整形パラメータと、第２の別整形パラメータとをそれぞれ利用して復元画像に対して整形処理を行うことと、上記復元画像に対して整形処理を行って得られたＨＤＲ画像と目標ＨＤＲ画像との誤差の最小なパラメータが復元画像が用いる整形パラメータであると決定することとを含む。

一代替実施例において、決定された上記復元画像が用いる整形パラメータを、現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は処理対象となる動画ビットストリームの画像及び／又はスライス層データユニットに書き込むことは、上記復元画像が用いる整形パラメータがシーケンス層整形パラメータである場合、システム層において第５の識別情報を符号化することと、復元画像が用いる整形パラメータが画像層整形パラメータである場合、上記システム層において画像層整形パラメータを符号化することと、上記復元画像が用いる整形パラメータが第２の別整形パラメータである場合、システム層において第２の別整形パラメーを符号化すること、或いは、システム層において第６の識別情報を符号化することとを含む。ここで、当該第５の識別情報は、復元画像が用いる整形パラメータを、上記システム層において符号化された整形パラメータを使用しないように指示するために用いられ、上記第６の識別情報は、上記復元画像が用いる整形パラメータを、上記システム層において符号化された整形パラメータを使用するように指示するための用いられる。

一代替実施例において、上記システム層において上記復元画像に対して二次整形を行うための整形パラメータと、二次整形処理の実行方式を指示するための制御情報とを符号化する。以下、代替実施例を参照しながら説明する。

代替実施例８
本実施例は、ＨＤＲ動画に対して符号化処理を行う装置に用いられる代替実施例４に係る復号化方法に対応するＨＤＲ動画の符号化処理方法を提供する。当該実施例に係る装置で生成されたビットストリームは、代替実施例４に係る復号化処理装置によって適切に処理されることが可能になる。当該実施例に係る装置の入力は、オリジナルのＨＤＲ動画であり、出力は、ＨＤＲ動画ビットストリームを含むトランスポートストリーム又はメディアファイルである。当該実施例は、以下のステップを含む。

ステップ１は、代替実施例７に係るステップ１と同じであるため、ここでは説明を省略する。

ステップ２は、代替実施例７に係るステップ２と同じであるため、ここでは説明を省略する。

符号化処理機器は、シーケンス層整形パラメータと、画像層整形パラメータと、トランスポートストリーム又はメディアファイルのシステム層において符号化された１つ又は複数の整形パラメータとから、エンコーダによってＳＤＲ画像を復元することに用いられる整形パラメータを選択する。１種の方法として、各候補整形パラメータをそれぞれ用いて復元ＳＤＲ動画に対して整形処理を行って得られた、ＨＤＲ動画とオリジナルのＨＤＲ動画との誤差を比較して、誤差がより低い方を選択して復元ＳＤＲ画像の整形パラメータとする。ここで、誤差の計算は、従来の平均誤差基準、例えば、絶対誤差合計を採用しても良く、標準化機構のテストモデルと参照ソフトウェアで既存のＨＤＲ動画品質を評価する誤差基準を採用しても良い。

代替実施例４に係る復号化処理機器に対応して、復元ＳＤＲ画像がシーケンス層整形パラメータを使用する場合、オプションとして、符号化処理機器は、システム層において画像層整形パラメータを符号化しないとともに、システム層において識別情報（上記第５の識別情報に対応する）を符号化し、現在のＡＵをシステム層において符号化された整形パラメータを使用しないように指示しても良く、オプションとして、符号化処理機器は、ＳＤＲ復元画像に対して２回の整形処理を使用する処理方法を選択して、システム層ビットストリームでシーケンス層整形パラメータを用いて処理された画像に対して第２の次整形処理を行うための整形パラメータを符号化しでも良い。符号化処理機器は、システム層において整形処理の実行方式を指示するための制御情報を符号化する。

代替実施例４に係る復号化処理機器に対応して、復元ＳＤＲ画像がシーケンス層整形パラメータを使用しない場合、オプションとして、符号化処理機器は、システム層においてＳＤＲ画像整形処理に用いられる整形パラメータを符号化し、符号化された整形パラメータは、画像層整形パラメータであっても良く、システム層において符号化された整形パラメータを使用する識別情報（上記第６の識別情報に対応する）を指示するために用いられ、オプションとして、符号化処理機器は、ＳＤＲ復元画像に対して２回の整形処理を行う処理方法を選択しても良く、ＨＤＲ動画ビットストリームで画像層整形パラメータ（例えば、上記代替実施例５、代替実施例６又は代替実施例７に係る方法）を符号化し、その後に画像層整形パラメータ又はシステム層において符号化された整形パラメータを用いてＳＤＲ復元画像に対して整形処理を行った後の画像に対して整形処理もう１回を行うための整形パラメータを更に計算し、システム層において当該整形パラメータを符号化する同時に、符号化処理機器は、システム層において整形処理の実行方式を指示するための制御情報を符号化する。

代替実施例７に係る符号化処理機器に比較して、本実施例に係る符号化処理機器は、トランスポートストリーム又はメディアファイルで整形パラメータを符号化し、且つ整形処理の実行方式の制御情報を符号化し、符号化処理機器は、より柔軟にＳＤＲ画像に対して整形処理を行う同時に、より効果的にシステム層において符号化された整形パラメータを利用することができる。同時に、オプションとして、符号化処理機器は、ＳＤＲ復元画像に対してカスケード整形を行う動作方式を選択し、システム層においてＳＤＲ復元画像に対して「二次整形処理」を行うための整形パラメータを符号化し、ＳＤＲ復元画像の整形処理の精度を更に向上させ、復元ＨＤＲ動画の品質を向上させることができる。

以上の実施形態の説明により、当業者であればはっきりと理解するであろう、上記の実施例による方法は、ソフトウェア及び必要な汎用ハードウェアプラットフォームによって実現されることができ、もちろんハードウェアを介してもよいが、多くの場合、前者がより良い実施態様である。この理解に基づき、本発明の技術手段は、本質的な、すなわち先行技術に貢献する部分は、ソフトウェア製品の形態で具体化することができる。当該コンピュータソフトウェア製品は、記憶媒体（例えば、ＲＯＭ／ＲＡＭ、磁気ディスク、光ディスク）に記憶され、端末装置（携帯電話、コンピュータ、サーバ又はネットワークデバイス等）に本発明の各実施例に記載の方法を実行させるための幾つかの指令を含む。

本実施例において、上記実施例及び代替実施例を達成するための画像復号化処理装置及び画像符号化処理装置を更に提供し、既に説明したものは、ここではその説明を省略する。以下に使用されるように、「モジュール」という用語は、所定の機能を実現可能なソフトウェア及び／又はハードウェアの組合わせである。以下の実施例で説明する装置は、好ましくはソフトウェアで実現されるが、ハードウェア又はソフトウェアとハードウェアの組合わせの実現も可能で想像されるものである。

図３は、本発明の実施例による画像復号化処理装置の構成ブロック図であり、図３に示すように、当該装置は、第１の決定モジュール３２と処理モジュール３４とを備える。以下、当該装置について説明する。

第１の決定モジュール３２は、動画ビットストリームを解析し、動画ビットストリームの画像及び／又はスライス層データユニットから整形パラメータを取得し、取得された整形パラメータによって復元画像が用いる整形パラメータを決定するように設置され、処理モジュール３４は、上記決定モジュール３２に接続され、上記復元画像が用いる整形パラメータを用いて復元画像に対して整形処理を行うように設置される。ここで、当該復元画像は、整形処理が行われる前に、動画ビットストリームを復号化して得られた画像であり、当該画像及び／又はスライス層データユニットは、画像パラメータセットＰＰＳとは異なる画像及び／又はスライス層パラメータセットと、復元画像に対応するアクセスユニットＡＵに含まれるパラメータデータユニットと、スライスヘッダと、システム層画像パラメータデータユニットとの少なくとも１つのデータユニットを含む。

図４は、本発明の実施例による画像復号化処理装置の選択的な構成ブロック図であり、図４に示すように、当該装置は、図３に示されるすべてのモジュールに加えて、第３の決定モジュール４２と取得モジュール４４とを更に含む。以下、当該装置について説明する。

第３の決定モジュール４２は、動画ビットストリームの上記画像及び／又はスライス層データユニットから上記整形パラメータを取得し、取得された上記整形パラメータによって復元画像が用いる整形パラメータを決定する前には、動画ビットストリームにおいてＡＵに含まれるスライスヘッダにおけるＰＰＳパラメータセットインデックス番号を決定するように設置され、取得モジュール４４は、上記第３の決定モジュール４２と第１の決定モジュール３２とに接続され、上記パラメータセットインデックス番号により参照されるＰＰＳに応じて復元画像が用いる整形パラメータを取得するように設置される。

一代替実施例において、取得モジュール４４は、ＰＰＳの拡張部分及び／又はＰＰＳにより参照されるパラメータセットに第１の整形パラメータが担持されているか否かを判定し、判定結果が「ＹＥＳ」である場合、取得された上記復元画像が用いる整形パラメータが第１の整形パラメータであると決定し、及び／又は、判定結果が「ＮＯ」である場合、取得された上記復元画像が用いる整形パラメータが既定値又は空であると決定することで、パラメータセットインデックス番号により参照されるＰＰＳに応じて復元画像が用いる整形パラメータを取得することができる。

一代替実施例において、上記第１の決定モジュール３２は、上記スライスヘッダの拡張部分を解析し、第２の整形パラメータを得て、当該第２の整形パラメータを用いて復元画像が用いる整形パラメータを更新または再決定することで、動画ビットストリームの画像及び／又はスライス層データユニットから整形パラメータを取得し、取得された整形パラメータによって復元画像が用いる整形パラメータを決定することができる。

一代替実施例において、上記第１の決定モジュール３２は、さらに、上記動画ビットストリームにおいてＡＵに含まれるパラメータデータユニットを解析し、第３の整形パラメータを取得し、第３の整形パラメータを用いて上記復元画像が用いる整形パラメータを更新または再決定するか、或いは、事前設定された整形パラメータ決定方法によって、復元画像が用いる整形パラメータが第３の整形パラメータであると決定することで、動画ビットストリームの画像及び／又はスライス層データユニットから整形パラメータを取得し、取得された整形パラメータによって復元画像が用いる整形パラメータを決定することができる。ここで、当該パラメータデータユニットは、ＡＵに含まれるスライスビットストリームデータユニットとは独立したデータユニットである。

一代替実施例において、動画ビットストリームにおいてＡＵに含まれるスライスヘッダにおけるＰＰＳパラメータセットインデックス番号を決定し、当該パラメータセットインデックス番号により参照されるＰＰＳに応じて復元画像が用いる整形パラメータを取得し、上記第３の整形パラメータを用いて取得された復元画像が用いる整形パラメータを更新または再決定することで、第３の整形パラメータを用いて復元画像が用いる整形パラメータを更新または再決定することができる。

一代替実施例において、ＰＰＳの拡張部分及び／又はＰＰＳにより参照されるパラメータセットに第１の整形パラメータが担持されているか否かを判定し、判定結果が「ＹＥＳ」である場合、取得された復元画像が用いる整形パラメータが第１の整形パラメータであると決定し、及び／又は、判定結果が「ＮＯ」である場合、取得された復元画像が用いる整形パラメータが既定値又は空であると決定することで、パラメータセットインデックス番号により参照されるＰＰＳに応じて上記復元画像が用いる整形パラメータを取得することができる。

一代替実施例において、上記第３の整形パラメータは、ＡＵの直前のＡＵに含まれるパラメータデータユニットを解析して得られた第４の整形パラメータを含む。

一代替実施例において、上記事前設定された整形パラメータ決定方法は、デフォルトの決定方法と、動画パラメータセットＶＰＳを解析して得られた整形パラメータを指示するための第１の識別情報を利用して決定する方法と、シーケンスパラメータセットＳＰＳを解析して得られた整形パラメータを指示するための第２の識別情報を利用して決定する方法との少なくとも一種を含む。

一代替実施例において、上記第１の決定モジュール３２は、さらに、ＡＵに含まれるスライスヘッダを解析し、第３の識別情報を取得し、第３の識別情報は指示復元画像が用いる整形パラメータをＰＰＳ以外の他の画像及び／又はスライス層パラメータセットに応じて決定するように指示する場合、ＡＵに含まれるスライスヘッダを解析し、上記他の画像及び／又はスライス層パラメータセットのインデックス番号を取得し、インデックス番号が他の画像及び／又はスライス層パラメータセットのインデックス番号とは同じであるパラメータセットを活性化し、第５の整形パラメータを取得し、当該第５の整形パラメータを用いて、取得された復元画像が用いる整形パラメータを更新または再決定することで、動画ビットストリームの画像及び／又はスライス層データユニットから整形パラメータを取得し、取得された整形パラメータによって復元画像が用いる整形パラメータを決定することができる。ここで、当該第３の識別情報は、復元画像が用いる整形パラメータがＰＰＳ以外の他の画像及び／又はスライス層パラメータセットに応じて決定するか否かを指示するために用いられる。

一代替実施例において、上記第１の決定モジュール３２は、さらに、上記動画ビットストリームを運ぶためのトランスポートストリーム又はメディアファイルにおけるシステム層画像パラメータデータユニットから第６の整形パラメータを取得し、当該第６の整形パラメータを用いて復元画像が用いる整形パラメータを更新または再決定し、或いは、復元画像が用いる整形パラメータが当該第６の整形パラメータであると決定することで、動画ビットストリームを解析し、上記動画ビットストリームの画像及び／又はスライス層データユニットから整形パラメータを取得し、取得された整形パラメータによって復元画像が用いる整形パラメータを決定することができる。ここで、上記システム層画像パラメータデータユニットは、動画ビットストリームにおけるアクセスユニットＡＵに対応する記述情報又は補助情報を含む。

一代替実施例において、上記第６の整形パラメータを用いて復元画像が用いる整形パラメータを更新または再決定することは、動画ビットストリームにおいてＡＵに含まれるスライスヘッダにおけるＰＰＳパラメータセットインデックス番号を決定することと、当該パラメータセットインデックス番号により参照されるＰＰＳに応じて復元画像が用いる整形パラメータを取得することと、上記第６の整形パラメータを用いて取得された復元画像が用いる整形パラメータを更新または再決定することとを含む。

一代替実施例において、上記パラメータセットインデックス番号により参照されるＰＰＳに応じて復元画像が用いる整形パラメータを取得することは、ＰＰＳの拡張部分及び／又はＰＰＳにより参照されるパラメータセットに第１の整形パラメータが担持されているか否かを判定することと、判定結果が「ＹＥＳ」である場合、取得された復元画像が用いる整形パラメータが上記第１の整形パラメータであると決定し、及び／又は、判定結果が「ＮＯ」である場合、取得された復元画像が用いる整形パラメータが既定値又は空であると決定することとを含む。

一代替実施例において、上記システム層画像パラメータデータユニットから取得された、整形処理を実行するか否かを示す識別パラメータと、ダイナミックレンジ整形パラメータと、色空間整形パラメータと、整形パラメータ使用範囲との少なくとも１つのパラメータに応じて整形パラメータを決定することで、上記動画ビットストリームを運ぶためのトランスポートストリーム又はメディアファイルにおけるシステム層画像パラメータデータユニットから上記整形パラメータを取得することができる。

一代替実施例において、上記画像復号化処理装置は、二次整形パラメータ取得モジュールと二次整形処理モジュールとを更に含んでも良い。ここで、当該二次整形パラメータ取得モジュールと二次整形処理モジュールとは、上記画像復号化処理装置における各モジュールとの接続関係において限定されなくでも良く、すなわち、当該二次整形パラメータ取得モジュール及び二次整形処理モジュールで実行された動作と、上記画像復号化処理装置に含まれるモジュールで実行された動作との優先順位は限定されなくでも良い。以下、当該二次整形パラメータ取得モジュール及び二次整形処理モジュールについて説明する。

二次整形パラメータ取得モジュールは、動画ビットストリームを運ぶためのトランスポートストリーム又はメディアファイルにおけるシステム層画像パラメータデータユニット（他のシステム層情報ユニットであっでも良い）から、復元画像に対して二次整形処理を行うための整形パラメータを取得するように設置される。ここで、当該システム層情報ユニットは、動画ビットストリームにおけるアクセスユニットＡＵに対応する記述情報又は補助情報を含む。二次整形処理モジュールは、上記二次整形パラメータ取得モジュールに接続され、取得された復元画像に対して二次整形処理を行うための整形パラメータを利用して、復元画像に対して二次整形処理を行うように設置される。

一代替実施例において、上記二次整形パラメータ取得モジュールは、システム層画像パラメータデータユニットから取得された、整形処理を実行するか否かを示す識別パラメータと、ダイナミックレンジ整形パラメータと、色空間整形パラメータと、整形パラメータ使用範囲との少なくとも１つのパラメータに応じて、復元画像に対して二次整形処理を行うための整形パラメータを決定することで、動画ビットストリームを運ぶためのトランスポートストリーム又はメディアファイルにおけるシステム層画像パラメータデータユニットから、復元画像に対して二次整形処理を行うための整形パラメータを取得することができる。

図５は、本発明の実施例による画像符号化処理装置の構成ブロック図であり、図５に示すように、当該装置は、決定モジュール５２と書き込みモジュール５４とを備える。以下、当該装置について説明する。

決定モジュール５２は、復元画像をハイダイナミックレンジ動画ＨＤＲ画像に変換させるのに用いられる復元画像が用いる整形パラメータを決定するように設置される。ここで、当該復元画像は、エンコーダが整形処理を実行する前に、現在の符号化画像に対する復元標準ダイナミックレンジＳＤＲ画像であり、或いは、当該復元画像は、処理対象となる動画ビットストリームを復号化して得られたＳＤＲ画像である。書き込みモジュール５４は、上記決定モジュール５２に接続され、決定された上記復元画像が用いる整形パラメータを、現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は処理対象となる動画ビットストリームの画像及び／又はスライス層データユニットに書き込むように設置される。ここで、当該画像及び／又はスライス層データユニットは、画像パラメータセットＰＰＳとは異なる画像及び／又はスライス層パラメータセットと、上記復元画像に対応するアクセスユニットＡＵに含まれるパラメータデータユニットと、スライスヘッダと、システム層画像パラメータデータユニットとの少なくとも１つのデータユニットを含む。

一代替実施例において、上記決定モジュール５２は、画像層整形パラメータとシーケンス層整形パラメータとを決定し、上記画像層整形パラメータとシーケンス層整形パラメータとによって復元画像が用いる整形パラメータを決定することで、復元画像をハイダイナミックレンジ動画ＨＤＲ画像に変換させるのに用いられる、復元画像が用いる整形パラメータを決定することができる。ここで、当該画像層整形パラメータは、上記復元画像と目標ＨＤＲ画像との誤差を最小化する整形処理手順に用いられるフィルタ係数を含み、シーケンス層整形パラメータは、目標ＨＤＲ画像により構成される目標ＨＤＲ動画のダイナミックレンジ及び色空間と、復元画像により構成される復元動画のダイナミックレンジ及び色空間とに応じて決定された、復元動画のダイナミックレンジから上記目標ＨＤＲ動画のダイナミックレンジまで拡張されたマッピングパラメータ、及び／又は復元動画の色空間から目標ＨＤＲ動画の色空間への変換パラメータを含む。

一代替実施例において、上記画像層整形パラメータとシーケンス層整形パラメータとをそれぞれ利用して復元画像に対して整形処理を行い、当該復元画像に対して整形処理を行って得られたＨＤＲ画像と目標ＨＤＲ画像との誤差の最小なパラメータは復元画像が用いる整形パラメータであると決定することで、画像層整形パラメータとシーケンス層整形パラメータとによって復元画像が用いる整形パラメータを決定することができる。

一代替実施例において、上記書き込みモジュール５４は、復元画像が用いる整形パラメータがシーケンス層整形パラメータである場合、当該シーケンス層整形パラメータに対して符号化を行い、符号化された符号化ビットを、現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は処理対象となる動画ビットストリームの画像パラメータセットＰＰＳ及び／又はＰＰＳにより参照されるパラメータセットに書き込み、上記復元画像が用いる整形パラメータが画像層整形パラメータである場合、画像層整形パラメータに対して符号化を行い、符号化された符号化ビットを、現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は上記処理対象となる動画ビットストリームにおけるアクセスユニットＡＵに含まれるスライスヘッダに書き込むことで、決定された復元画像が用いる整形パラメータを、現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は処理対象となる動画ビットストリームの画像及び／又はスライス層データユニットに書き込むことができる。

一代替実施例において、上記画像層整形パラメータと、シーケンス層整形パラメータと、現在の符号化順に従う直前の符号化画像に使用される整形パラメータとから、上記復元画像が用いる整形パラメータを決定することで、上記画像層整形パラメータとシーケンス層整形パラメータとによって復元画像が用いる整形パラメータを決定することができる。

一代替実施例において、画像層整形パラメータと、シーケンス層整形パラメータと、直前の符号化画像に使用される整形パラメータとをそれぞれ利用して、復元画像に対して整形処理を行い、上記復元画像に対して整形処理を行って得られたＨＤＲ画像と目標ＨＤＲ画像との誤差の最小なパラメータが復元画像が用いる整形パラメータであると決定することで、画像層整形パラメータと、シーケンス層整形パラメータと、現在の符号化順に従う直前の符号化画像に使用される整形パラメータとから、上記復元画像が用いる整形パラメータを決定することができる。

一代替実施例において、上記書き込みモジュール５４は、上記復元画像が用いる整形パラメータがシーケンス層整形パラメータである場合、シーケンス層整形パラメータに対して符号化を行い、符号化された符号化ビットを、現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は処理対象となる動画ビットストリームの画像パラメータセットＰＰＳ及び／又はＰＰＳにより参照されるパラメータセットに書き込み、上記復元画像が用いる整形パラメータが画像層整形パラメータ又は直前の符号化画像に使用される整形パラメータである場合、上記画像層整形パラメータ又は直前の符号化画像に用される整形パラメータに対して符号化を行い、符号化された符号化ビットを、現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は処理対象となる動画ビットストリームにおけるアクセスユニットＡＵに含まれるパラメータデータユニットに書き込み、或いは、上記復元画像が用いる整形パラメータが画像層整形パラメータである場合、画像層整形パラメータに対して符号化を行い、符号化された符号化ビットを、現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は上記処理対象となる動画ビットストリームにおけるアクセスユニットＡＵに含まれるパラメータデータユニットに書き込み、上記復元画像が用いる整形パラメータが直前の符号化画像に使用される整形パラメータである場合、現在の符号化画像のビットが所在する動画ビットストリーム、又は処理対象となる動画ビットストリームにおけるアクセスユニットＡＵで第４の識別情報を符号化することで、決定された復元画像が用いる整形パラメータを、現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は処理対象となる動画ビットストリームの画像及び／又はスライス層データユニットに書き込むことができる。ここで、当該第４の識別情報は、整形パラメータが直前の符号化画像に使用される整形パラメータであることを指示するために用いられ、当該パラメータデータユニットは、ＡＵに含まれるスライスビットストリームデータユニットとは独立したデータユニットである。

一代替実施例において、上記画像符号化処理装置は、上記のモジュールに加えて、符号化モジュールを更に含んでも良い。当該符号化モジュールと画像符号化処理装置における上記モジュールとの接続順は限定されなくても良く、すなわち、当該符号化モジュールで実行された動作と画像符号化処理装置における上記モジュールで実行された動作の優先順位は限定されない。以下、当該符号化モジュールについて説明する。

符号化モジュールは、動画パラメータセットＶＰＳで整形パラメータを指示するための第１の識別情報を符号化する方式と、シーケンスパラメータセットＳＰＳで整形パラメータを指示するための第２の識別情報を符号化する方式との少なくとも１つの方式で整形パラメータを指示するための識別情報を符号化するように設置される。

一代替実施例において、上記画像層整形パラメータと、シーケンス層整形パラメータと、使用された上記復元画像に対応するアクセスユニットＡＵに含まれるスライスヘッダにおける画像パラメータセットＰＰＳ以外の画像及び／又はスライス層パラメータセットにおいて符号化された１つ又は複数の第１の別整形パラメータとから、上記復元画像が用いる整形パラメータを決定することで、上記画像層整形パラメータとシーケンス層整形パラメータとによって復元画像が用いる整形パラメータを決定することができる。

一代替実施例において、画像層整形パラメータと、シーケンス層整形パラメータと、第１の別整形パラメータとをそれぞれ利用して復元画像に対して整形処理を行い、当該復元画像に対して整形処理を行って得られたＨＤＲ画像と目標ＨＤＲ画像との誤差の最小なパラメータが上記復元画像が用いる整形パラメータであると決定することで、画像層整形パラメータと、シーケンス層整形パラメータと、第１の別整形パラメータとから上記復元画像が用いる整形パラメータを決定することができる。

一代替実施例において、上記書き込みモジュール５４は、上記復元画像が用いる整形パラメータがシーケンス層整形パラメータである場合、スライスヘッダにおいてＰＰＳ以外の画像及び／又はスライス層パラメータセットを使用しないと識別する情報を符号化し、上記復元画像が用いる整形パラメータが第１の別整形パラメータである場合、スライスヘッダにおいてＰＰＳ以外の画像及び／又はスライス層パラメータセットを使用すると識別する情報を符号化し、上記第１の別整形パラメータが所在するパラメータセットのパラメータセットインデックス番号を符号化し、上記復元画像が用いる整形パラメータが画像層整形パラメータである場合、上記画像層整形パラメータに対して符号化を行い、符号化ビットを新規のパラメータセットデータユニットに書き込むことで、決定された上記復元画像が用いる整形パラメータを、現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は処理対象となる動画ビットストリームの画像及び／又はスライス層データユニットに書き込むことができる。ここで、当該新規のパラメータセットデータユニットにはパラメータセットインデックス番号が配置され、スライスヘッダにおいてＰＰＳ以外の画像及び／又はスライス層パラメータセットを使用すると識別する情報を符号化し、上記パラメータセットインデックス番号を符号化する。

一代替実施例において、画像層整形パラメータと、シーケンス層整形パラメータと、トランスポートストリーム又はメディアファイルのシステム層において符号化された１つ又は複数の第２の別整形パラメータとから、上記復元画像が用いる整形パラメータを決定することで、上記画像層整形パラメータとシーケンス層整形パラメータとによって復元画像が用いる整形パラメータを決定することができる。

一代替実施例において、上記画像層整形パラメータと、シーケンス層整形パラメータと、第２の別整形パラメータとをそれぞれ利用して復元画像に対して整形処理を行い、上記復元画像に対して整形処理を行って得られたＨＤＲ画像と目標ＨＤＲ画像との誤差の最小なパラメータが復元画像が用いる整形パラメータであると決定することで、上記画像層整形パラメータと、シーケンス層整形パラメータと、第２の別整形パラメータとから復元画像が用いる整形パラメータを決定することができる。

一代替実施例において、上記書き込みモジュール５４は、上記復元画像が用いる整形パラメータがシーケンス層整形パラメータである場合、システム層において第５の識別情報を符号化し、上記復元画像が用いる整形パラメータが画像層整形パラメータである場合、上記システム層において画像層整形パラメータを符号化し、上記復元画像が用いる整形パラメータが第２の別整形パラメータである場合、上記システム層において第２の別整形パラメータを符号化し、或いは、上記システム層において第６の識別情報を符号化することで、決定された復元画像が用いる整形パラメータを、上記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は処理対象となる動画ビットストリームの画像及び／又はスライス層データユニットに書き込むことができる。ここで、上記第５の識別情報は、復元画像が用いる整形パラメータを、上記システム層において符号化された整形パラメータを使用しないように指示するために用いられ、当該第６の識別情報は、復元画像が用いる整形パラメータを、上記システム層において符号化された整形パラメータを使用するように指示するために用いられる。

一代替実施例において、上記システム層において、復元画像に対して二次整形を行うための整形パラメータと、二次整形処理の実行方式を指示するための制御情報が符号化される。

図６は、本発明の実施例によるデコーダの構成ブロック図であり、図６に示すように、当該デコーダ６２は、上記いずれか一項に記載の画像復号化処理装置６４を含む。

図７は、本発明の実施例によるエンコーダの構成ブロック図であり、図７に示すように、当該エンコーダ７２は、上記いずれか一項に記載の画像符号化処理装置７４を含む。

本発明の実施例では、復号化処理機器（例えば、上記デコーダ６２）及び／又は符号化処理機器（例えば、上記エンコーダ７２）を含む電子機器を更に提供する。

ここで、上記復号化処理機器は、例えば、上記代替実施例１、代替実施例２、代替実施例３及び代替実施例４のいずれか一種の復号化処理機器の実施方法を採用して、ＨＤＲ動画ビットストリーム又はＨＤＲ動画ビットストリームを含むトランスポートストリーム又はメディアファイルを処理し、再生に適合するＨＤＲ復元動画を生成することができる。

上記符号化処理機器は、例えば、上記対応する代替実施例５、代替実施例６、代替実施例７及び代替実施例８のいずれか一種の符号化処理機器の実施方法を採用して、ＨＤＲ動画（すなわち、入力されたオリジナルのＨＤＲ動画）に対して処理し、ＨＤＲ動画ビットストリーム又はＨＤＲ動画ビットストリームを含むトランスポートストリーム又はメディアファイルを生成することができる。

本実施例に係る電子機器は、例えば、携帯電話、コンピュータ、サーバ、セットトップボックス、携帯型移動端末、デジタル動画カメラ、テレビジョン放送システム装置等の動画通信アプリケーションに関連するビットストリーム生成装置及び受信再生装置であっても良い。

なお、上記の各モジュールは、ソフトウェア又はハードウェアにより実現されてもよく、後者については、以下の方式で実現されてもよいが、これに限定されない。上記のモジュールはすべて同一プロセッサ内に位置され、或いは、上記のモジュールはそれぞれ複数のプロセッサに位置されている。

本発明の実施例では、記憶媒体を更に提供する。オプションとして、本実施例において、上記記憶媒体は、
動画ビットストリームを解析し、当該動画ビットストリームの画像及び／又はスライス層データユニットから整形パラメータを取得し、取得された整形パラメータによって復元画像が用いる整形パラメータを決定するステップＳ１１と、
上記復元画像が用いる整形パラメータを用いて復元画像に対して整形処理を行うステップＳ１２とを実行するためのプログラムコードを記憶するように設置されても良い。
ここで、当該復元画像は、整形処理が行われる前に、動画ビットストリームを復号化して得られた画像であり、上記画像及び／又はスライス層データユニットは、画像パラメータセットＰＰＳとは異なる画像及び／又はスライス層パラメータセットと、上記復元画像に対応するアクセスユニットＡＵに含まれるパラメータデータユニットと、スライスヘッダと、システム層画像パラメータデータユニットとの少なくとも１つのデータユニットを含む。

オプションとして、記憶媒体は、更に、
復元画像をハイダイナミックレンジ動画ＨＤＲ画像に変換させるのに用いられる上記復元画像が用いる整形パラメータを決定するステップＳ２１と、
決定された上記復元画像が用いる整形パラメータを、現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は処理対象となる動画ビットストリームの画像及び／又はスライス層データユニットに書き込むステップＳ２２とを実行するためのプログラムコードを記憶するように設置される。
ここで、当該復元画像は、エンコーダが整形処理を実行する前に、現在の動画に対して画像符号化した復元標準ダイナミックレンジＳＤＲ画像であり、或いは、当該復元画像は、処理対象となる動画ビットストリームを復号化して得られたＳＤＲ画像であり、当該画像及び／又はスライス層データユニットは、画像パラメータセットＰＰＳとは異なる画像及び／又はスライス層パラメータセットと、上記復元画像に対応するアクセスユニットＡＵに含まれるパラメータデータユニットと、スライスヘッダと、システム層画像パラメータデータユニットとの少なくとも１つのデータユニットを含む。

オプションとして、本実施例において、上記記憶媒体は、Ｕディスク、読み出し専用メモリ（Ｒｅａｄ−ＯｎｌｙＭｅｍｏｒｙ、ＲＯＭと略称する）、ランダムアクセスメモリ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ、ＲＡＭと略称する）、リムーバブルハードディスク、磁気ディスク又は光ディスク等の様々なプログラムコードを記憶可能な媒体を含むことができるが、これに限定されない。

オプションとして、本実施例において、プロセッサは、記憶媒体に記憶されたプログラムコードに従って上記各方法の実施例に係るステップを実行する。

オプションとして、本実施例に係る具体的な例は、上記実施例及び代替実施例で説明した例を参照することができ、本実施例は、ここでは説明を省略する。

明らかに、当業者であれば理解するであろう、上述した本発明の各モジュール又は各ステップは、汎用の計算装置により実現可能であり、単一の計算装置に集中するか、或いは複数の計算装置からなるネットワークに分散しでも良く、オプションとして、計算装置が実行可能なプログラムコードにより実現可能であり、これにより、記憶装置に記憶され、計算装置で実行することができ、更に場合によっては、ここで説明した以外の順序で図示又は説明したステップを実行してもよく、或いは、それらを個々の集積回路モジュールに作成し、或いはそれらの中の複数のモジュール又はステップを単一の集積回路モジュールに作成することで実現しでもよい。従って、本発明は、いずれかの特定のハードウェアとソフトウェアの組合わせには限定されない。

以上の説明は、本発明の代替実施例に過ぎず、本発明を限定するものではなく、当業者にとって、本発明には様々な変更と変化が可能である。本発明の要旨及び原則を逸脱しない範囲においての種々の変更、同等な入替、改善等は、いずれも本発明の保護範囲内に含まれるべきである。

上記の説明から分かるように、本発明では、復元画像に対して整形処理を行うための整形パラメータは、動画ビットストリームの画像及び／又はスライス層データユニットから取得された整形パラメータにより決定られるものであり、画像の視聴品質を効果的に向上させ、更に動画の視聴品質を向上させることができ、且つ整形パラメータの符号化コストを低減させることができる。上記ステップによれば、関連技術における動画視聴品質が劣り、整形パラメータの符号化コストが大きいという問題が解決され、動画視聴品質を向上させ、整形パラメータの符号化コストを低減させる効果が更に達成される。

本発明は、通信分野に関し、具体的に、画像復号化・符号化方法、復号化・符号化装置に関する。

本発明の実施例では、少なくとも関連技術における動画視聴品質が劣り、整形パラメータの符号化コストが大きいという問題を解決するような画像復号化・符号化方法、復号化・符号化装置を提供する。

オプションとして、前記動画ビットストリームの前記画像及び／又はスライス層データユニットから前記整形パラメータを取得し、取得された前記整形パラメータによって復元画像に用いられる整形パラメータを決定する前には、前記動画ビットストリームにおいてＡＵに含まれるスライスヘッダにおけるＰＰＳパラメータセットインデックス番号を決定することと、前記パラメータセットインデックス番号により参照されるＰＰＳに応じて、前記復元画像が用いる整形パラメータを取得することとを更に含む。また、オプションとして、前記パラメータセットインデックス番号により参照されるＰＰＳに応じて前記復元画像が用いる整形パラメータを取得することは、前記ＰＰＳの拡張部分及び／又は前記ＰＰＳにより参照されるパラメータセットに第１の整形パラメータが担持されているか否かを判定することと、判定結果が「ＹＥＳ」である場合、取得された前記復元画像が用いる整形パラメータが前記第１の整形パラメータであると決定し、及び／又は、判定結果が「ＮＯ」である場合、取得された前記復元画像が用いる整形パラメータが既定値又は空であると決定することとを含む。

オプションとして、前記動画ビットストリームの前記画像及び／又はスライス層データユニットから前記整形パラメータを取得し、取得された前記整形パラメータによって復元画像が用いる整形パラメータを決定することは、前記動画ビットストリームにおいてＡＵに含まれるパラメータデータユニットを解析し、第３の整形パラメータを取得することと、前記第３の整形パラメータを用いて前記復元画像が用いる整形パラメータを更新または再決定し、或いは、事前設定された整形パラメータ決定方法によって、前記復元画像が用いる整形パラメータが前記第３の整形パラメータであると決定することとを含む。ここで、前記パラメータデータユニットは、前記ＡＵに含まれるスライスビットストリームデータユニットとは独立したデータユニットである。また、オプションとして、事前設定された整形パラメータ決定方法は、デフォルトの決定方法と、動画パラメータセットＶＰＳを解析して得られた整形パラメータを指示するための第１の識別情報を利用して決定する方法と、シーケンスパラメータセットＳＰＳを解析して得られた整形パラメータを指示するための第２の識別情報を利用して決定する方法との少なくとも一種を含む。

オプションとして、前記第３の整形パラメータを用いて前記復元画像が用いる整形パラメータを更新または再決定することは、前記動画ビットストリームにおいてＡＵに含まれるスライスヘッダにおけるＰＰＳパラメータセットインデックス番号を決定することと、前記パラメータセットインデックス番号により参照されるＰＰＳに応じて前記復元画像が用いる整形パラメータを取得することと、前記第３の整形パラメータを用いて、取得された前記復元画像が用いる整形パラメータを更新または再決定することとを含む。また、オプションとして、前記パラメータセットインデックス番号により参照される前記ＰＰＳに応じて前記復元画像が用いる整形パラメータを取得することは、前記ＰＰＳの拡張部分及び／又は前記ＰＰＳにより参照されるパラメータセットに第１の整形パラメータが担持されているか否かを判定することと、判定結果が「ＹＥＳ」である場合、取得された前記復元画像が用いる整形パラメータが前記第１の整形パラメータであると決定し、及び／又は、判定結果が「ＮＯ」である場合、取得された前記復元画像が用いる整形パラメータが既定値又は空であると決定することとを含む。

オプションとして、前記動画ビットストリームを解析し、前記動画ビットストリームの画像及び／又はスライス層データユニットから整形パラメータを取得し、取得された前記整形パラメータによって復元画像が用いる整形パラメータを決定することは、前記動画ビットストリームを運ぶためのトランスポートストリーム又はメディアファイルにおけるシステム層画像パラメータデータユニットから第６の整形パラメータを取得することと、前記第６の整形パラメータを用いて前記復元画像が用いる整形パラメータを更新または再決定し、或いは、前記復元画像が用いる整形パラメータが前記第６の整形パラメータであると決定することとを含む。ここで、前記システム層画像パラメータデータユニットは、前記動画ビットストリームにおけるアクセスユニットＡＵに対応する記述情報又は補助情報を含む。また、オプションとして、前記動画ビットストリームを運ぶためのトランスポートストリーム又はメディアファイルにおける前記システム層画像パラメータデータユニットから前記整形パラメータを取得することは、前記システム層画像パラメータデータユニットから取得された、整形処理を実行するか否かを示す識別パラメータと、ダイナミックレンジ整形パラメータと、色空間整形パラメータと、整形パラメータ使用範囲との少なくとも１つのパラメータに応じて前記整形パラメータを決定することを含む。

オプションとして、前記第６の整形パラメータを用いて前記復元画像が用いる整形パラメータを更新または再決定することは、前記動画ビットストリームにおいてＡＵに含まれるスライスヘッダにおけるＰＰＳパラメータセットインデックス番号を決定することと、前記パラメータセットインデックス番号により参照されるＰＰＳに応じて前記復元画像が用いる整形パラメータを取得することと、前記第６の整形パラメータを用いて、取得された前記復元画像が用いる整形パラメータを更新または再決定することとを含む。また、オプションとして、前記パラメータセットインデックス番号により参照される前記ＰＰＳに応じて前記復元画像が用いる整形パラメータを取得することは、前記ＰＰＳの拡張部分及び／又は前記ＰＰＳにより参照されるパラメータセットに第１の整形パラメータが担持されているか否かを判定することと、判定結果が「ＹＥＳ」である場合、取得された前記復元画像が用いる整形パラメータが前記第１の整形パラメータであると決定し、及び／又は、判定結果が「ＮＯ」である場合、取得された前記復元画像が用いる整形パラメータが既定値又は空であると決定することとを含む。

オプションとして、前記方法は、前記動画ビットストリームを運ぶためのトランスポートストリーム又はメディアファイルにおけるシステム層画像パラメータデータユニットから、前記復元画像に対して二次整形処理を行うための整形パラメータを取得することと、取得された前記復元画像に対して二次整形処理を行うための整形パラメータを利用して、前記復元画像に対して二次整形処理を行うこととを含む。ここで、前記システム層画像パラメータデータユニットは、前記動画ビットストリームにおけるアクセスユニットＡＵに対応する記述情報又は補助情報を含む。また、オプションとして、前記動画ビットストリームを運ぶためのトランスポートストリーム又はメディアファイルにおけるシステム層画像パラメータデータユニットから、前記復元画像に対して二次整形処理を行うための整形パラメータを取得することは、前記システム層画像パラメータデータユニットから取得された、整形処理を実行するか否かを示す識別パラメータと、ダイナミックレンジ整形パラメータと、色空間整形パラメータと、整形パラメータ使用範囲との少なくとも１つのパラメータに応じて、前記復元画像に対して二次整形処理を行うための整形パラメータを決定することを含む。

オプションとして、前記復元画像を前記ハイダイナミックレンジ動画ＨＤＲ画像に変換させるのに用いられる、前記復元画像が用いる整形パラメータを決定することは、画像層整形パラメータとシーケンス層整形パラメータとを決定することと、前記画像層整形パラメータと前記シーケンス層整形パラメータとによって前記復元画像が用いる整形パラメータを決定することとを含む。ここで、前記画像層整形パラメータは、前記復元画像と目標ＨＤＲ画像との誤差を最小化する整形処理手順に用いられるフィルタ係数を含み、前記シーケンス層整形パラメータは、前記目標ＨＤＲ画像により構成される目標ＨＤＲ動画のダイナミックレンジ及び色空間と、前記復元画像により構成される復元動画的ダイナミックレンジ及び色空間とに応じて決定された、前記復元動画のダイナミックレンジから前記目標ＨＤＲ動画のダイナミックレンジまで拡張されたマッピングパラメータ、及び／又は前記復元動画の色空間から前記目標ＨＤＲ動画の色空間への変換パラメータを含む。また、オプションとして、前記目標ＨＤＲ画像は、エンコーダに入力されたオリジナルのＨＤＲ動画において前記復元画像に対応するＨＤＲ画像である。

オプションとして、前記画像層整形パラメータと前記シーケンス層整形パラメータとによって前記復元画像が用いる整形パラメータを決定することは、前記画像層整形パラメータと前記シーケンス層整形パラメータとをそれぞれ利用して前記復元画像に対して整形処理を行うことと、前記復元画像に対して整形処理を行って得られたＨＤＲ画像と前記目標ＨＤＲ画像との誤差の最小なパラメータは前記復元画像が用いる整形パラメータであると決定することとを含む。また、オプションとして、決定された前記復元画像が用いる整形パラメータを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームの画像及び／又はスライス層データユニットに書き込むことは、前記復元画像が用いる整形パラメータが前記シーケンス層整形パラメータである場合、前記シーケンス層整形パラメータに対して符号化を行い、符号化された符号化ビットを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームの画像パラメータセットＰＰＳ及び／又は前記ＰＰＳにより参照されるパラメータセットに書き込むことと、前記復元画像が用いる整形パラメータが前記画像層整形パラメータである場合、前記画像層整形パラメータに対して符号化を行い、符号化された符号化ビットを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームにおけるアクセスユニットＡＵに含まれるスライスヘッダに書き込むこととを含む。

オプションとして、前記画像層整形パラメータと前記シーケンス層整形パラメータによって前記復元画像が用いる整形パラメータを決定することは、前記画像層整形パラメータと、前記シーケンス層整形パラメータと、現在の符号化順に従う直前の符号化画像に使用される整形パラメータとから、前記復元画像が用いる整形パラメータを決定することを含む。また、オプションとして、前記画像層整形パラメータと、前記シーケンス層整形パラメータと、現在の符号化順に従う直前の符号化画像に使用される整形パラメータとから、前記復元画像が用いる整形パラメータを決定することは、前記画像層整形パラメータと、前記シーケンス層整形パラメータと、前記直前の符号化画像に使用される整形パラメータとをそれぞれ利用して、前記復元画像に対して整形処理を行うことと、前記復元画像に対して整形を行って得られたＨＤＲ画像と前記目標ＨＤＲ画像との誤差の最小なパラメータは前記復元画像が用いる整形パラメータであると決定することとを含む。

オプションとして、決定された前記復元画像が用いる整形パラメータを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームの画像及び／又はスライス層データユニットに書き込むことは、前記復元画像が用いる整形パラメータが前記シーケンス層整形パラメータである場合、前記シーケンス層整形パラメータに対して符号化を行い、符号化された符号化ビットを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームの画像パラメータセットＰＰＳ及び／又は前記ＰＰＳにより参照されるパラメータセットに書き込むことと、前記復元画像が用いる整形パラメータが前記画像層整形パラメータ又は前記直前の符号化画像に使用される整形パラメータである場合、前記画像層整形パラメータ又は前記直前の符号化画像に使用される整形パラメータに対して符号化を行い、符号化された符号化ビットを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームにおけるアクセスユニットＡＵに含まれるパラメータデータユニットに書き込み、或いは、前記復元画像が用いる整形パラメータが前記画像層整形パラメータである場合、前記画像層整形パラメータに対して符号化を行い、符号化された符号化ビットを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームにおけるアクセスユニットＡＵに含まれるパラメータデータユニットに書き込むことと、前記復元画像が用いる整形パラメータが前記直前の符号化画像に使用される整形パラメータである場合、前記現在の符号化画像のビットが所在する動画ビットストリーム、又は前記処理対象となる動画ビットストリームにおけるアクセスユニットＡＵで第４の識別情報を符号化することとを含む。ここで、前記第４の識別情報は、前記整形パラメータが前記直前の符号化画像に使用される整形パラメータであることを指示するために用いられ、前記パラメータデータユニットは、前記ＡＵに含まれる、スライスビットストリームデータユニットとは独立したデータユニットである。また、オプションとして、前記方法は、動画パラメータセットＶＰＳで前記整形パラメータを指示するための第１の識別情報を符号化する方式と、シーケンスパラメータセットＳＰＳで前記整形パラメータを指示するための第２の識別情報を符号化する方式との少なくとも１つの方式で前記整形パラメータを指示するための識別情報を符号化することを更に含む。

オプションとして、前記画像層整形パラメータと前記シーケンス層整形パラメータとによって前記復元画像が用いる整形パラメータを決定することは、前記画像層整形パラメータと、前記シーケンス層整形パラメータと、使用された前記復元画像に対応するアクセスユニットＡＵに含まれるスライスヘッダにおける画像パラメータセットＰＰＳ以外の画像及び／又はスライス層パラメータセットにおいて符号化された１つや複数の第１の別整形パラメータとから、前記復元画像が用いる整形パラメータを決定することを含む。また、オプションとして、前記画像層整形パラメータと、前記シーケンス層整形パラメータと、前記第１の別整形パラメータとから前記復元画像が用いる整形パラメータを決定することは、前記画像層整形パラメータと、前記シーケンス層整形パラメータと、前記第１の別整形パラメータとをそれぞれ利用して前記復元画像に対して整形処理を行うことと、前記復元画像に対して整形処理を行って得られたＨＤＲ画像と前記目標ＨＤＲ画像との誤差の最小なパラメータは前記復元画像が用いる整形パラメータであると決定することとを含む。

オプションとして、前記画像層整形パラメータと前記シーケンス層整形パラメータとによって前記復元画像が用いる整形パラメータを決定することは、前記画像層整形パラメータと、前記シーケンス層整形パラメータと、トランスポートストリーム又はメディアファイルのシステム層において符号化された１つや複数の第２の別整形パラメータとから、前記復元画像が用いる整形パラメータを決定することを含む。また、オプションとして、前記画像層整形パラメータと、前記シーケンス層整形パラメータと、前記第２の別整形パラメータとから前記復元画像が用いる整形パラメータを決定することは、前記画像層整形パラメータと、前記シーケンス層整形パラメータと、前記第２の別整形パラメータとをそれぞれ利用して前記復元画像に対して整形処理を行うことと、前記復元画像に対して整形処理を行って得られたＨＤＲ画像と前記目標ＨＤＲ画像との誤差の最小なパラメータは前記復元画像が用いる整形パラメータであると決定することとを含む。

オプションとして、決定された前記復元画像が用いる整形パラメータを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームの画像及び／又はスライス層データユニットに書き込むことは、前記復元画像が用いる整形パラメータが前記シーケンス層整形パラメータである場合、システム層において第５の識別情報を符号化することと、前記復元画像が用いる整形パラメータが前記画像層整形パラメータである場合、前記システム層において前記画像層整形パラメータを符号化することと、前記復元画像が用いる整形パラメータが前記第２の別整形パラメータである場合、前記システム層において前記第２の別整形パラメータを符号化し、或いは、前記システム層において第６の識別情報を符号化することとを含む。ここで、前記第５の識別情報は、前記復元画像が用いる整形パラメータを、前記システム層において符号化された整形パラメータを使用しないように指示するために用いられ、前記第６の識別情報は、前記復元画像が用いる整形パラメータを、前記システム層において符号化された整形パラメータを使用するように指示するために用いられる。また、オプションとして、前記システム層において、前記復元画像に対して二次整形を行うための整形パラメータと、二次整形処理の実行方式を指示するための制御情報とを符号化する。

Claims

動画ビットストリームを解析し、前記動画ビットストリームの画像及び／又はスライス層データユニットから整形パラメータを取得し、取得された前記整形パラメータによって復元画像が用いる整形パラメータを決定することと、
前記復元画像が用いる整形パラメータを用いて前記復元画像に対して整形処理を行うことと、を含む画像復号化処理方法であって、
前記復元画像は、整形処理が行われる前に、前記動画ビットストリームを復号化して得られた画像であり、前記画像及び／又はスライス層データユニットは、画像パラメータセットＰＰＳとは異なる画像及び／又はスライス層パラメータセットと、前記復元画像に対応するアクセスユニットＡＵに含まれるパラメータデータユニットと、スライスヘッダと、システム層画像パラメータデータユニットとの少なくとも１つのデータユニットを含む、画像復号化処理方法。
前記動画ビットストリームの前記画像及び／又はスライス層データユニットから前記整形パラメータを取得し、取得された前記整形パラメータによって復元画像が用いる整形パラメータを決定する前には、
前記動画ビットストリームにおいてＡＵに含まれるスライスヘッダにおけるＰＰＳパラメータセットインデックス番号を決定することと、
前記ＰＰＳパラメータセットインデックス番号により参照されるＰＰＳに応じて前記復元画像が用いる整形パラメータを取得することとを更に含む、請求項１に記載の方法。
前記パラメータセットインデックス番号により参照されるＰＰＳに応じて前記復元画像が用いる整形パラメータを取得することは、
前記ＰＰＳの拡張部分及び／又は前記ＰＰＳにより参照されるパラメータセットに第１の整形パラメータが担持されているか否かを判定することと、
判定結果が「ＹＥＳ」である場合、取得された前記復元画像が用いる整形パラメータが前記第１の整形パラメータであると決定し、及び／又は、判定結果が「ＮＯ」である場合、取得された前記復元画像が用いる整形パラメータが既定値又は空であると決定することとを含む、請求項２に記載の方法。
前記動画ビットストリームの前記画像及び／又はスライス層データユニットから前記整形パラメータを取得し、取得された前記整形パラメータによって復元画像が用いる整形パラメータを決定することは、
前記スライスヘッダの拡張部分を解析し、第２の整形パラメータを得ることと、
前記第２の整形パラメータを用いて、前記復元画像が用いる整形パラメータを更新または再決定することとを含む、請求項３に記載の方法。
前記動画ビットストリームの前記画像及び／又はスライス層データユニットから前記整形パラメータを取得し、取得された前記整形パラメータによって復元画像が用いる整形パラメータを決定することは、
前記動画ビットストリームにおいてＡＵに含まれるパラメータデータユニットを解析し、第３の整形パラメータを取得することと、
前記第３の整形パラメータを用いて前記復元画像が用いる整形パラメータを更新または再決定し、或いは、
事前設定された整形パラメータ決定方法によって、前記復元画像が用いる整形パラメータが前記第３の整形パラメータであると決定することとを含み、
前記パラメータデータユニットは、前記ＡＵに含まれるスライスビットストリームデータユニットとは独立したデータユニットである、請求項１に記載の方法。
前記第３の整形パラメータを用いて前記復元画像が用いる整形パラメータを更新または再決定することは、
前記動画ビットストリームにおいてＡＵに含まれるスライスヘッダにおけるＰＰＳパラメータセットインデックス番号を決定することと、
前記パラメータセットインデックス番号により参照されるＰＰＳに応じて前記復元画像が用いる整形パラメータを取得することと、
前記第３の整形パラメータを用いて、取得された前記復元画像が用いる整形パラメータを更新または再決定することとを含む、請求項５に記載の方法。
前記パラメータセットインデックス番号により参照される前記ＰＰＳに応じて前記復元画像が用いる整形パラメータを取得することは、
前記ＰＰＳの拡張部分及び／又は前記ＰＰＳにより参照されるパラメータセットに第１の整形パラメータが担持されているか否かを判定することと、
判定結果が「ＹＥＳ」である場合、取得された前記復元画像が用いる整形パラメータが前記第１の整形パラメータであると決定し、及び／又は、判定結果が「ＮＯ」である場合、取得された前記復元画像が用いる整形パラメータが既定値又は空であると決定することとを含む、請求項６に記載の方法。
前記第３の整形パラメータは、前記ＡＵの直前のＡＵに含まれるパラメータデータユニットを解析して得られた第４の整形パラメータを含む、請求項５に記載の方法。
事前設定された整形パラメータ決定方法は、
デフォルトの決定方法と、動画パラメータセットＶＰＳを解析して得られた整形パラメータを指示するための第１の識別情報を利用して決定する方法と、シーケンスパラメータセットＳＰＳを解析して得られた整形パラメータを指示するための第２の識別情報を利用して決定する方法との少なくとも一種を含む、請求項５に記載の方法。
前記動画ビットストリームの前記画像及び／又はスライス層データユニットから前記整形パラメータを取得し、取得された前記整形パラメータによって復元画像が用いる整形パラメータを決定することは、
前記ＡＵに含まれる前記スライスヘッダを解析し、第３の識別情報を取得することと、
前記第３の識別情報は前記復元画像が用いる整形パラメータを前記ＰＰＳ以外の他の画像及び／又はスライス層パラメータセットに応じて決定するように指示する場合、前記ＡＵに含まれる前記スライスヘッダを解析し、前記他の画像及び／又はスライス層パラメータセットのインデックス番号を取得することと、
インデックス番号が前記他の画像及び／又はスライス層パラメータセットのインデックス番号とは同じであるパラメータセットを活性化し、第５の整形パラメータを取得することと、
前記第５の整形パラメータを用いて、取得された前記復元画像が用いる整形パラメータを更新または再決定することとを含み、
前記第３の識別情報は、前記復元画像が用いる整形パラメータが前記ＰＰＳ以外の他の画像及び／又はスライス層パラメータセットに応じて決定するか否かを指示するために用いられる、請求項３に記載の方法。
前記動画ビットストリームを解析し、前記動画ビットストリームの画像及び／又はスライス層データユニットから整形パラメータを取得し、取得された前記整形パラメータによって復元画像が用いる整形パラメータを決定することは、
前記動画ビットストリームを運ぶためのトランスポートストリーム又はメディアファイルにおけるシステム層画像パラメータデータユニットから第６の整形パラメータを取得することと、
前記第６の整形パラメータを用いて前記復元画像が用いる整形パラメータを更新または再決定し、或いは、前記復元画像が用いる整形パラメータが前記第６の整形パラメータであると決定することとを含み、
前記システム層画像パラメータデータユニットは、前記動画ビットストリームにおけるアクセスユニットＡＵに対応する記述情報又は補助情報を含む、請求項１に記載の方法。
前記第６の整形パラメータを用いて前記復元画像が用いる整形パラメータを更新または再決定することは、
前記動画ビットストリームにおいてＡＵに含まれるスライスヘッダにおけるＰＰＳパラメータセットインデックス番号を決定することと、
前記パラメータセットインデックス番号により参照されるＰＰＳに応じて前記復元画像が用いる整形パラメータを取得することと、
前記第６の整形パラメータを用いて、取得された前記復元画像が用いる整形パラメータを更新または再決定することとを含む、請求項１１に記載の方法。
前記パラメータセットインデックス番号により参照される前記ＰＰＳに応じて前記復元画像が用いる整形パラメータを取得することは、
前記ＰＰＳの拡張部分及び／又は前記ＰＰＳにより参照されるパラメータセットに第１の整形パラメータが担持されているか否かを判定することと、
判定結果が「ＹＥＳ」である場合、取得された前記復元画像が用いる整形パラメータが前記第１の整形パラメータであると決定し、及び／又は、判定結果が「ＮＯ」である場合、取得された前記復元画像が用いる整形パラメータが既定値又は空であると決定することとを含む、請求項１２に記載の方法。
前記動画ビットストリームを運ぶためのトランスポートストリーム又はメディアファイルにおける前記システム層画像パラメータデータユニットから前記整形パラメータを取得することは、
前記システム層画像パラメータデータユニットから取得された、整形処理を実行するか否かを示す識別パラメータと、ダイナミックレンジ整形パラメータと、色空間整形パラメータと、整形パラメータ使用範囲との少なくとも１つのパラメータに応じて前記整形パラメータを決定することを含む、請求項１１に記載の方法。
前記動画ビットストリームを運ぶためのトランスポートストリーム又はメディアファイルにおけるシステム層画像パラメータデータユニットから、前記復元画像に対して二次整形処理を行うための整形パラメータを取得することと、
取得された前記復元画像に対して二次整形処理を行うための整形パラメータを利用して、前記復元画像に対して二次整形処理を行うこととを含み、
前記システム層画像パラメータデータユニットは、前記動画ビットストリームにおけるアクセスユニットＡＵに対応する記述情報又は補助情報を含む、請求項４〜１０のいずれか一項に記載の方法。
前記動画ビットストリームを運ぶためのトランスポートストリーム又はメディアファイルにおけるシステム層画像パラメータデータユニットから、前記復元画像に対して二次整形処理を行うための整形パラメータを取得することは、
前記システム層画像パラメータデータユニットから取得された、整形処理を実行するか否かを示す識別パラメータと、ダイナミックレンジ整形パラメータと、色空間整形パラメータと、整形パラメータ使用範囲との少なくとも１つのパラメータに応じて、前記復元画像に対して二次整形処理を行うための整形パラメータを決定することを含む、請求項１５に記載の方法。
復元画像をハイダイナミックレンジ動画ＨＤＲ画像に変換させるのに用いられる、前記復元画像が用いる整形パラメータを決定することと、
決定された前記復元画像が用いる整形パラメータを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームの画像及び／又はスライス層データユニットに書き込むこととを含み、
前記復元画像は、エンコーダが整形処理を実行する前に、現在の符号化画像に対するローカル復元標準ダイナミックレンジＳＤＲ画像であり、或いは、前記復元画像は、処理対象となる動画ビットストリームを復号化して得られたＳＤＲ画像であり、
前記画像及び／又はスライス層データユニットは、画像パラメータセットＰＰＳとは異なる画像及び／又はスライス層パラメータセットと、前記復元画像に対応するアクセスユニットＡＵに含まれるパラメータデータユニットと、スライスヘッダと、システム層画像パラメータデータユニットとの少なくとも１つのデータユニットを含む、画像符号化処理方法。
前記復元画像を前記ハイダイナミックレンジ動画ＨＤＲ画像に変換させるのに用いられる、前記復元画像が用いる整形パラメータを決定することは、
画像層整形パラメータとシーケンス層整形パラメータとを決定することと、
前記画像層整形パラメータと前記シーケンス層整形パラメータとによって前記復元画像が用いる整形パラメータを決定することとを含み、
前記画像層整形パラメータは、前記復元画像と目標ＨＤＲ画像との誤差を最小化する整形処理手順に用いられるフィルタ係数を含み、
前記シーケンス層整形パラメータは、前記目標ＨＤＲ画像により構成される目標ＨＤＲ動画のダイナミックレンジ及び色空間と、前記復元画像により構成される復元動画的ダイナミックレンジ及び色空間とに応じて決定された、前記復元動画のダイナミックレンジから前記目標ＨＤＲ動画のダイナミックレンジまで拡張されたマッピングパラメータ、及び／又は前記復元動画の色空間から前記目標ＨＤＲ動画の色空間への変換パラメータを含む、請求項１７に記載の方法。
前記目標ＨＤＲ画像は、エンコーダに入力されたオリジナルのＨＤＲ動画において前記復元画像に対応するＨＤＲ画像である、請求項１８に記載の方法。
前記画像層整形パラメータと前記シーケンス層整形パラメータとによって前記復元画像が用いる整形パラメータを決定することは、
前記画像層整形パラメータと前記シーケンス層整形パラメータとをそれぞれ利用して前記復元画像に対して整形処理を行うことと、
前記復元画像に対して整形処理を行って得られたＨＤＲ画像と前記目標ＨＤＲ画像との誤差の最小なパラメータは前記復元画像が用いる整形パラメータであると決定することとを含む、請求項１８に記載の方法。
決定された前記復元画像が用いる整形パラメータを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームの画像及び／又はスライス層データユニットに書き込むことは、
前記復元画像が用いる整形パラメータが前記シーケンス層整形パラメータである場合、前記シーケンス層整形パラメータに対して符号化を行い、符号化された符号化ビットを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームの画像パラメータセットＰＰＳ及び／又は前記ＰＰＳにより参照されるパラメータセットに書き込むことと、
前記復元画像が用いる整形パラメータが前記画像層整形パラメータである場合、前記画像層整形パラメータに対して符号化を行い、符号化された符号化ビットを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームにおけるアクセスユニットＡＵに含まれるスライスヘッダに書き込むこととを含む、請求項２０に記載の方法。
前記画像層整形パラメータと前記シーケンス層整形パラメータによって前記復元画像が用いる整形パラメータを決定することは、
前記画像層整形パラメータと、前記シーケンス層整形パラメータと、現在の符号化順に従う直前の符号化画像に使用される整形パラメータとから、前記復元画像が用いる整形パラメータを決定することを含む、請求項１８に記載の方法。
前記画像層整形パラメータと、前記シーケンス層整形パラメータと、現在の符号化順に従う直前の符号化画像に使用される整形パラメータとから、前記復元画像が用いる整形パラメータを決定することは、
前記画像層整形パラメータと、前記シーケンス層整形パラメータと、前記直前の符号化画像に使用される整形パラメータとをそれぞれ利用して、前記復元画像に対して整形処理を行うことと、
前記復元画像に対して整形を行って得られたＨＤＲ画像と前記目標ＨＤＲ画像との誤差の最小なパラメータは前記復元画像が用いる整形パラメータであると決定することとを含む、請求項２２に記載の方法。
決定された前記復元画像が用いる整形パラメータを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームの画像及び／又はスライス層データユニットに書き込むことは、
前記復元画像が用いる整形パラメータが前記シーケンス層整形パラメータである場合、前記シーケンス層整形パラメータに対して符号化を行い、符号化された符号化ビットを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームの画像パラメータセットＰＰＳ及び／又は前記ＰＰＳにより参照されるパラメータセットに書き込むことと、
前記復元画像が用いる整形パラメータが前記画像層整形パラメータ又は前記直前の符号化画像に使用される整形パラメータである場合、前記画像層整形パラメータ又は前記直前の符号化画像に使用される整形パラメータに対して符号化を行い、符号化された符号化ビットを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームにおけるアクセスユニットＡＵに含まれるパラメータデータユニットに書き込むことと、或いは、
前記復元画像が用いる整形パラメータが前記画像層整形パラメータである場合、前記画像層整形パラメータに対して符号化を行い、符号化された符号化ビットを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームにおけるアクセスユニットＡＵに含まれるパラメータデータユニットに書き込むことと、
前記復元画像が用いる整形パラメータが前記直前の符号化画像に使用される整形パラメータである場合、前記現在の符号化画像のビットが所在する動画ビットストリーム、又は前記処理対象となる動画ビットストリームにおけるアクセスユニットＡＵで第４の識別情報を符号化することとを含み、
前記第４の識別情報は、前記整形パラメータが前記直前の符号化画像に使用される整形パラメータであることを指示するために用いられ、
前記パラメータデータユニットは、前記ＡＵに含まれるスライスビットストリームデータユニットとは独立したデータユニットである、請求項２３に記載の方法。
動画パラメータセットＶＰＳで前記整形パラメータを指示するための第１の識別情報を符号化する方式と、
シーケンスパラメータセットＳＰＳで前記整形パラメータを指示するための第２の識別情報を符号化する方式との少なくとも１つの方式で前記整形パラメータを指示するための識別情報を符号化することを更に含む、請求項２４に記載の方法。
前記画像層整形パラメータと前記シーケンス層整形パラメータとによって前記復元画像が用いる整形パラメータを決定することは、
前記画像層整形パラメータと、前記シーケンス層整形パラメータと、使用された前記復元画像に対応するアクセスユニットＡＵに含まれるスライスヘッダにおける画像パラメータセットＰＰＳ以外の画像及び／又はスライス層パラメータセットにおいて符号化された１つや複数の第１の別整形パラメータとから、前記復元画像が用いる整形パラメータを決定することを含む、請求項１８に記載の方法。
前記画像層整形パラメータと、前記シーケンス層整形パラメータと、前記第１の別整形パラメータとから前記復元画像が用いる整形パラメータを決定することは、
前記画像層整形パラメータと、前記シーケンス層整形パラメータと、前記第１の別整形パラメータとをそれぞれ利用して前記復元画像に対して整形処理を行うことと、
前記復元画像に対して整形処理を行って得られたＨＤＲ画像と前記目標ＨＤＲ画像との誤差の最小なパラメータは、前記復元画像が用いる整形パラメータであると決定することとを含む、請求項２６に記載の方法。
決定された前記復元画像が用いる整形パラメータを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームの画像及び／又はスライス層データユニットに書き込むことは、
前記復元画像が用いる整形パラメータが前記シーケンス層整形パラメータである場合、スライスヘッダにおいてＰＰＳ以外の画像及び／又はスライス層パラメータセットを使用しないと識別する情報を符号化することと、
前記復元画像が用いる整形パラメータが前記第１の別整形パラメータである場合、スライスヘッダにおいてＰＰＳ以外の画像及び／又はスライス層パラメータセットを使用すると識別する情報を符号化し、前記第１の別整形パラメータが所在するパラメータセットのパラメータセットインデックス番号を符号化することと、
前記復元画像が用いる整形パラメータが前記画像層整形パラメータである場合、前記画像層整形パラメータに対して符号化し、符号化ビットを新規のパラメータセットデータユニットに書き込み、スライスヘッダにおいてＰＰＳ以外の画像及び／又はスライス層パラメータセットを使用すると識別する情報を符号化し、前記パラメータセットインデックス番号を符号化することとを含み、
前記新規のパラメータセットデータユニットにはパラメータセットインデックス番号が配置される、請求項２７に記載の方法。
前記画像層整形パラメータと前記シーケンス層整形パラメータとによって前記復元画像が用いる整形パラメータを決定することは、
前記画像層整形パラメータと、前記シーケンス層整形パラメータと、トランスポートストリーム又はメディアファイルのシステム層において符号化された１つや複数の第２の別整形パラメータとから、前記復元画像が用いる整形パラメータを決定することを含む、請求項１８に記載の方法。
前記画像層整形パラメータと、前記シーケンス層整形パラメータと、前記第２の別整形パラメータとから前記復元画像が用いる整形パラメータを決定することは、
前記画像層整形パラメータと、前記シーケンス層整形パラメータと、前記第２の別整形パラメータとをそれぞれ利用して前記復元画像に対して整形処理を行うことと、
前記復元画像に対して整形処理を行って得られたＨＤＲ画像と前記目標ＨＤＲ画像との誤差の最小なパラメータは前記復元画像が用いる整形パラメータであると決定することとを含む、請求項２９に記載の方法。
決定された前記復元画像が用いる整形パラメータを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームの画像及び／又はスライス層データユニットに書き込むことは、
前記復元画像が用いる整形パラメータが前記シーケンス層整形パラメータである場合、システム層において第５の識別情報を符号化することと、
前記復元画像が用いる整形パラメータが前記画像層整形パラメータである場合、前記システム層において前記画像層整形パラメータを符号化することと、
前記復元画像が用いる整形パラメータが前記第２の別整形パラメータである場合、前記システム層において前記第２の別整形パラメータを符号化し、或いは、前記システム層において第６の識別情報を符号化することとを含み、
前記第５の識別情報は、前記復元画像が用いる整形パラメータを、前記システム層において符号化された整形パラメータを使用しないように指示するために用いられ、
前記第６の識別情報は、前記復元画像が用いる整形パラメータを、前記システム層において符号化された整形パラメータを使用するように指示するために用いられる、請求項３０に記載の方法。
前記システム層において、前記復元画像に対して二次整形を行うための整形パラメータと、二次整形処理の実行方式を指示するための制御情報とを符号化する、請求項３１に記載の方法。
動画ビットストリームを解析し、前記動画ビットストリームの画像及び／又はスライス層データユニットから整形パラメータを取得し、取得された前記整形パラメータによって復元画像が用いる整形パラメータを決定するように設置される第１の決定モジュールと、
前記復元画像が用いる整形パラメータを用いて前記復元画像に対して整形処理を行うように設置される処理モジュールとを備える画像復号化処理装置であって、
前記復元画像は、整形処理が行われる前に、前記動画ビットストリームを復号化して得られた画像であり、前記画像及び／又はスライス層データユニットは、画像パラメータセットＰＰＳとは異なる画像及び／又はスライス層パラメータセットと、前記復元画像に対応するアクセスユニットＡＵに含まれるパラメータデータユニットと、スライスヘッダと、システム層画像パラメータデータユニットとの少なくとも１つのデータユニットを含む、画像復号化処理装置。
復元画像をハイダイナミックレンジ動画ＨＤＲ画像に変換させるのに用いられる、前記復元画像が用いる整形パラメータを決定するように設置される第２の決定モジュールと、
決定された前記復元画像が用いる整形パラメータを、前記現在の符号化画像のビットが所在する動画ビットストリームに書き込み、又は前記処理対象となる動画ビットストリームの画像及び／又はスライス層データユニットに書き込むように設置される書き込みモジュールとを備え、
前記復元画像は、エンコーダが整形処理を実行する前に、現在の符号化画像に対するローカル復元標準ダイナミックレンジＳＤＲ画像であり、或いは、前記復元画像は、処理対象となる動画ビットストリームを復号化して得られたＳＤＲ画像であり、
前記画像及び／又はスライス層データユニットは、画像パラメータセットＰＰＳとは異なる画像及び／又はスライス層パラメータセットと、前記復元画像に対応するアクセスユニットＡＵに含まれるパラメータデータユニットと、スライスヘッダと、システム層画像パラメータデータユニットとの少なくとも１つのデータユニットを含む、画像符号化処理装置。
請求項３３に記載の装置を含む、デコーダ。
請求項３４に記載の装置を含む、エンコーダ。