JP2017509238A - エンハンストダイナミックレンジを備える信号のための区分的階層間予測 - Google Patents

Abstract

【解決手段】エンハンストダイナミックレンジ（ＥＤＲ）を備えるビデオシーケンスの画素データが、スタンダードダイナミックレンジ（ＳＤＲ）を備える対応ビデオシーケンスの画素データと、区分的階層間予測器とに基づき、予測される。区分的予測器の出力パラメータ算出は少なくとも、２組の予計算値と予測コスト基準とに基づく。第１組の予計算値は、全ての入力ＳＤＲフレームに適合し、１組のＳＤＲ画素値についての１つ以上の整数乗項を含む。第２組の予計算値は、フレーム特有であり、入力ＳＤＲフレームのヒストグラムと対応ＥＤＲフレームの画素値とに基づき算出される。予計算値によって、区分的多項式用に最適なピボット点を予測コストに準じて同定すること、及び、区分的予測器の係数解を求めることを行う高速反復アルゴリズムが可能になる。

Description

関連出願への相互参照
本出願は、２０１３年１２月４日付け出願のＰＣＴ出願第ＰＣＴ／ＵＳ２０１３／０７３０８５号に関連し得るものであり、その全文をここに援用する。本出願は、２０１４年２月１３日付け出願の米国仮特許出願第６１／９３９，６１４号及び２０１４年６月１８日付け出願の米国仮出願第６２／０１３，６１１号に基づく優先権を主張するものであり、その各々の全文を援用する。

技術
本発明は、広く画像に関係する。より詳細には、本発明のある実施形態は、エンハンスト（ｅｎｈａｎｃｅｄ）ダイナミックレンジを備える信号を符号化及び復号化するための区分的階層間予測に関係する。

背景
音声及び動画の圧縮は、マルチメディアコンテンツの開発、格納、配信、消費における重要要素である。圧縮法の選択には、符号化効率、符号化複雑度、及び遅延の間でのトレードオフが伴う。計算コストに対する処理能力の比率が増大するにつれて、より効率的な圧縮を可能にする、より複雑な圧縮技術の開発が可能になる。一例として、動画圧縮において、国際標準化機構（ＩＳＯ）から派生したＭｏｔｉｏｎ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔ Ｇｒｏｕｐ（ＭＰＥＧ）は、ＭＰＥＧ‐２、ＭＰＥＧ‐４（パート２）、Ｈ．２６４／ＡＶＣ（またはＭＰＥＧ‐４、パート１０）、Ｈ．２６５／ＨＥＶＣ符号化標準をリリースすることにより、当初のＭＰＥＧ‐１動画標準について更なる改良を続けてきた。

映像信号を特徴付け得るものとして、ビット深度、色空間、色域、解像度など、複数のパラメータが挙げられる。現代のテレビや動画再生装置（例えば、ブルーレイプレーヤ）は、標準解像度（例えば、７２０×４８０ｉ）や高精細（ＨＤ）（例えば、１９２０×１０８０ｐ）など、多様な解像度をサポートする。超高精細（ＵＨＤ）は、次世代の解像度フォーマットであり、少なくとも３，８４０×２，１６０解像度（４Ｋ ＵＨＤと呼称される）を有し、さらにオプションとして７６８０×４３２０（８Ｋ ＵＨＤと呼称される）もの高解像度を有し得る。超高精細は、また、ウルトラＨＤ、ＵＨＤＴＶ、あるいはスーパーハイビジョンとも呼称され得る。本明細書中で用いるとき、ＵＨＤとは、ＨＤ解像度より高い任意の解像度を指す。

映像信号の特徴が持つもう一つの側面は、そのダイナミックレンジである。ダイナミックレンジ（ＤＲ）とは、例えば最暗から最明までのような、画像内の強度範囲（例えば、輝度、ルマ）のことである。本明細書中で用いるとき、「ダイナミックレンジ」（ＤＲ）という用語は、例えば最暗から最明までのような画像内強度範囲（例えば、輝度、ルマ）に対する、人間の心理視覚システム（ＨＶＳ）の感知能力に関係し得る。この意味で、ＤＲは「シーン−リファード（ｓｃｅｎｅ−ｒｅｆｅｒｒｅｄ）」の強度に関係する。ＤＲはまた、ディスプレイ装置がある特定の幅を持つ強度範囲を妥当にまたは近似的に描画する能力にも関係し得る。この意味で、ＤＲは「ディスプレイ−リファード（ｄｉｓｐｌａｙ−ｒｅｆｅｒｒｅｄ）」の強度に関係する。本明細書中の任意の箇所において、ある特定の意味が特に明示的に指定されている場合を除いて、この用語はどちらの意味としても（例えば、区別なく）使用できるものとする。

本明細書において、ハイダイナミックレンジ（ＨＤＲ）という用語は、人間の視覚システム（ＨＶＳ）において１４〜１５桁ほどにわたるＤＲ幅に関する。例えば、しっかりと順応した、実質的に正常（例えば、統計的な意味、バイオメトリック的な意味、または、眼科的な意味の１つ以上において）な人間は、約１５桁にわたる強度範囲を有する。順応した人間は、ほんの少量の光子のうす暗い光源を知覚し得る。また、同じ人間が、砂漠、海または雪上における真昼の太陽の、目が痛くなるほどの明るい強度を知覚し得る（また、怪我をしないような短時間であるとしても太陽を見ることもできる）。ただし、この範囲は、「順応した人間」、例えば、そのＨＶＳをリセットして調節する時間を経た人間に当てはまるものである。

これに対して、人間が、広範囲の強度範囲を同時に知覚し得るＤＲは、ＨＤＲに対して幾分端折られ得る。本明細書において、「エンハンストまたは拡張ダイナミックレンジ」（ＥＤＲ）、「視覚的ダイナミックレンジ」、あるいは「可変ダイナミックレンジ」（ＶＤＲ）という用語は、個々にまたは区別なく、ＨＶＳによって同時に感知可能なＤＲに関係し得る。本明細書において、ＥＤＲは、５〜６桁にわたるＤＲに関連し得る。従って、真のシーンリファードのＨＤＲに対して幾分狭いものの、ＥＤＲは、広いＤＲ幅を示す。本明細書において、「同時的（ｓｉｍｕｌｔａｎｅｏｕｓ）ダイナミックレンジ」という用語は、ＥＤＲに関係し得る。

実際には、画像は１つ以上の色成分（例えば、輝度Ｙ、及び色差ＣｂとＣｒ）を含み、各色成分は１画素あたりｎビット（例えば、ｎ＝８）の精度で表される。線形輝度符号化を用いれば、ｎ≦８であるような画像（例えば、カラー２４ビットＪＰＥＧ画像）は、スタンダードダイナミックレンジを持つ画像と考えられる。一方、ｎ＞８であるような画像は、エンハンストダイナミックレンジを持つ画像と考えられ得る。ＥＤＲ及びＨＤＲ画像はまた、低ビット深度非線形輝度符号化（例えば、１０ビット対数輝度符号化）あるいは、例えばＩｎｄｕｓｔｒｉａｌ Ｌｉｇｈｔ ａｎｄ Ｍａｇｉｃ社が開発したＯｐｅｎＥＸＲファイルフォーマットのような、高精度（例えば、１６ビット）浮動小数点フォーマットを用いて、格納されまた配信され得る。

新しいＨＤＲまたはＵＨＤディスプレイ技術だけでなく、旧式の再生装置に対する後方互換性をも同様にサポートするために、複数のレイヤを利用し、ＵＨＤ及びＨＤＲ（またはＥＤＲ）動画データを上流側装置から下流側装置へと配信し得る。そのようなマルチレイヤストリームを与えられると、旧式のデコーダは、ベースレイヤを用いてコンテンツのＨＤ ＳＤＲ版を再構成し得る。新型のデコーダは、ベースレイヤおよびエンハンスメントレイヤの両方を用いて、より能力の高いディスプレイ上での描画のために、コンテンツのＵＨＤ ＥＤＲ版を再構成し得る。本発明者らが認識するところでは、特に階層間予測に関する部分において、ＥＤＲ動画を階層的に符号化するための改良技術が望まれる。

本節に記載されている手法は、探求し得る手法ではあるが、必ずしもこれまでに着想または探求されてきた手法ではない。従って、別途示唆のない限り、本節に記載された手法のいずれも、本節に記載されているという理由だけで従来技術としての適格性を有すると考えるべきではない。同様に、別途示唆のない限り、１以上の手法に関して特定される問題が、本節に基づいて、いずれかの先行技術において認識されたことがあると考えるべきではない。

図面の簡易説明
同様の部材に同様の参照符号を付した添付図面の各図において、本発明のある実施形態を限定する事なく例示する。

図１は、本発明のある実施形態による階層間予測器を備えた階層的ＥＤＲ符号化システムの実装例を表す。 図２は、本発明の実施形態による区分的階層間予測器の生成工程例を表す。 図３は、本発明の実施形態による区分的階層間予測器の生成工程例を表す。

実施形態例の説明
エンハンストダイナミックレンジを備える信号の階層的符号化に適用する際の階層間予測を、本明細書に記載する。ベースレイヤ（ＢＬ）ＳＤＲ信号及び残差ＥＤＲエンハンスメントレイヤ（ＥＬ）を用いて符号化され得るＥＤＲ入力映像信号が与えられると、少なくともＳＤＲ ＢＬ信号のヒストグラムと対応ＥＤＲ信号の統計とに基づき、予め計算されたルックアップテーブルを用いて、それら２層間の高速な区分的階層間予測器が構築される。

以下の説明においては、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項抜きでも本発明を実施可能であることは明白であろう。他方、本発明の説明を不必要に不明瞭にしないように、周知の構造およびデバイスの細かな詳細までは説明しない。

概要
本明細書の実施形態例は、エンハンストダイナミックレンジを備えた映像信号を階層的に符号化及び復号化する際の、区分的階層間予測に関係する。
エンハンストダイナミックレンジ（ＥＤＲ）を備えたビデオシーケンスの画素データが、スタンダードダイナミックレンジ（ＳＤＲ）を備えた対応する入力ビデオシーケンスの画素データに基づき、区分的階層間予測器を用いて予測される。区分的予測器のパラメータは、少なくとも予め計算されたルックアップテーブル（ＬＵＴｓ）と予測コスト基準とに基づき、算出される。第１のＬＵＴは、ビデオシーケンス内で固定ビット深度を持つ全ての入力ＳＤＲフレームに適合し、１組の可能なＳＤＲ画素値につき、１つ以上の整数乗項を予め計算した値を含む。第２のＬＵＴは、フレーム毎に特有であってもシーン毎に特有であってもよく、入力ＳＲＤフレームのヒストグラムと対応ＥＤＲフレームの画素値とに基づいて予め計算された値を含む。これら予め計算されたＬＵＴによって、区分的多項式用に最適なピボット点を予測コストメトリックに準じ同定すること、及び、随伴する区分的多項式の係数解を求めることを行う、高速反復アルゴリズムが可能となる。

ある実施形態では、区分的予測器は、２次多項式を用いる。また、予測コスト基準は、推定ＥＤＲ画素値と入力ＥＤＲ画素値との間の平均２乗誤差に基づく。

ある実施形態では、現在のフレーム用の第２のＬＵＴは、現在のＳＤＲ及びＥＤＲフレームと、現在のフレームに先行するＳＤＲ及びＥＤＲフレームとの、両方の画素特徴を考慮に入れて算出される。

ある実施形態では、２番目のピボット点と最後から２番目のピボット点との間の区分は、全て同じ長さを有する。また、各区分は、１次または２次の多項式の内、いずれか一方を用いて近似される。

ＥＤＲ信号の階層的符号化
例えばＨＤＴＶ、セットトップボックス、あるいはブルーレイプレーヤのような、既存のディスプレイ及び再生装置は、典型的には１０８０ｐのＨＤ解像度（例えば、毎秒６０フレームで１９２０×１０８０）までの信号をサポートする。消費者対象のアプリケーション向けに、そのような信号は現在、典型的には、各画素各色成分毎に８ビットのビット深度を用いて輝度−色差色形式に圧縮される。その際、典型的には、色差成分は輝度成分よりも低い解像度を持つ（例えば、ＹＣｂＣｒあるいはＹＵＶ４：２：０色形式）。８ビット深度及びそれに対応する低ダイナミックレンジのため、そのような信号は、典型的には、スタンダードダイナミックレンジ（ＳＤＲ）を備える信号と呼ばれる。

超高精細（ＵＨＤ）のような、新たなテレビ規格が開発されつつある今、エンハンスト解像度および／またはエンハンストダイナミックレンジを備える信号を、旧式のＨＤＴＶデコーダとより最近のＵＨＤデコーダとの両方が処理可能な形式で、符号化することが望ましいと言える。

その全文を本願に援用する、Ｇ‐Ｍ Ｓｕ他による２０１３年１２月４日付け出願のＰＣＴ出願第ＰＣＴ／ＵＳ２０１３／０７３０８５号、「Ｂａｃｋｗａｒｄ ｃｏｍｐａｔｉｂｌｅ ｃｏｄｉｎｇ ｆｏｒ ｕｌｔｒａ‐ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ ｓｉｇｎａｌｓ ｗｉｔｈ ｅｎｈａｎｃｅｄ ｄｙｎａｍｉｃ ｒａｎｇｅ」に記載の通り、図１は、エンハンストダイナミックレンジ（ＥＤＲ）を備えるＵＨＤ信号の後方互換な符号化をサポートするシステムにつき、実装例の実施形態を示している。エンコーダは、ベースレイヤ（ＢＬ）エンコーダ（１３０）及び、エンハンスメントレイヤ（ＥＬ）エンコーダ（１６０）を含む。ある実施形態では、ＢＬエンコーダ（１３０）は、例えばＭＰＥＧ‐２やＨ．２６４エンコーダのような、旧式のエンコーダであり、ＥＬエンコーダ（１６０）は、例えばＨＥＶＣエンコーダのような、新規格エンコーダである。旧式のＢＬデコーダをサポートするため、ＢＬエンコーダ（１３０）は、典型的には８ビットエンコーダである。しかし、ＥＬエンコーダ（１６０）は、より高いビット深度を備えた入力ストリームをサポートし得る。例えば、Ｈ．２６４及びＨＥＶＣ（Ｈ．２６５）標準が規定するように、１０ビットでもよい。しかし、本システムは、任意の空間解像度におけるＥＤＲ及びＳＤＲ層の符号化に適用可能であり、既知のまたは将来のエンコーダをどのような組合せで用いてもよく、それらが規格準拠か独自開発かは問わない。

図１に示すように、映画やテレビ放送のようなある１つの入力信号は、２つの信号で表し得る。すなわち、ＵＨＤ ＥＤＲ入力（１０２）及びＵＨＤ ＳＤＲ入力（１０４）である。例えば、ＵＨＤ ＥＤＲ信号（１０２）は、ＨＤＲカメラにより撮影され、ＥＤＲディスプレイ用にカラーグレーディングを受けた、４Ｋ（例えば、３８４０×２１６０）解像度信号であり得る。その同じ信号はまた、４Ｋ ＳＤＲディスプレイ上でカラーグレーディングを受けて、対応する４Ｋ ＳＤＲ信号（１０４）を生成し得る。あるいは、ＳＤＲ信号（１０４）は、当該技術において既知のトーンマッピングやディスプレイマネジメント技術の内、いずれをＥＤＲ信号に対し適用することによっても生成され得る。一般的にそうだというわけではないが、典型的には、これらの入力信号は両方とも、１６ビットまたは同等の（例えば、浮動小数点）ビット深度表現を用いるＲＧＢ色空間で表現され得る。本明細書中で用いる際、nビット信号という用語が指すのは、１つ以上の色成分（例えば、ＲＧＢまたはＹＣｂＣｒ）を備えており、しかもこれら色成分の内どの１つ（例えば、Ｙ）においても各画素がnビット画素値で表現されるような、画像または映像信号のことである。nビット表現において、そのような各画素は、０から２ⁿ−１までの間の値を取り得る。例えば、８ビット表現においては、各色成分につき、各画素はそれぞれ０から２５５までの間の値を取り得る。

ある実施形態では、ＵＨＤ ＳＤＲ信号（１０４）は、ＨＤ ＳＤＲ信号（例えば、１０８０ｐ）へとダウンサンプルされてもよく、それから、例えば８ビットＹＣｂＣｒ４：２：０色形式のような、旧式の８ビットエンコーダを利用して符号化するのに適した色形式へと色変換される。そのような変換は、色変換（例えば、ＲＧＢからＹＣｂＣｒへの変換１１５‐Ｃ）やクロマサブサンプリング（例えば、４：４：４から４：２：０への変換１２０‐Ｃ）を含み得る。このように、ＨＤ ＳＤＲ信号（１２８）は、元々のＵＨＤ ＥＤＲ信号（１０２）についての後方互換な信号表現を表す。信号（１２８）は、ＢＬエンコーダ（１３０）により符合化されて、後方互換な符号化ビットストリーム（１３２）を生成し得る。ＢＬエンコーダ（１３０）は、ＨＤ ＳＤＲ信号（１２８）を圧縮または符号化するために、既知のあるいは将来の動画圧縮アルゴリズムの内のいずれを用いても良く、ＭＰＥＧ‐２、ＭＰＥＧ‐４（パート２）、Ｈ．２６４、ＨＥＶＣ、ＶＰ８、ＶＰ９等が、その例として挙げられる。

ＵＨＤ ＥＤＲ信号（１０２）が与えられると、ダウンサンプリング（１１０‐Ａ）及び色変換の工程（１１５‐Ｂと１２０‐Ｂ）は、ＵＨＤ ＥＤＲ信号（１０２）を参照予測ＨＤ ＥＤＲ信号（１２４）へと変換し得る。ある好ましい実施形態では、この段階におけるダウンサンプリングと色変換の工程（１１０‐Ａ、１１５‐Ｂ、及び１２０‐Ｂ）（例えば、選択されたフィルタと色空間）は、ベースレイヤにＨＤ ＳＤＲ信号（１２８）を生成するために用いたダウンサンプリングと色変換の工程（１１０‐Ｂ、１１５‐Ｃ、及び１２０‐Ｃ）と同一、もしくは可能な限り近いものであるべきである。

ＵＨＤ ＥＤＲからＨＤ ＥＤＲへの変換に続いて、ＨＤ ＥＤＲ信号（１２４）の出力は、輝度（Ｙ １２４‐Ｙ）成分と色差（ＣｂＣｒ １２４‐Ｃ）成分とに分離され、輝度予測器（１４５）及び色差予測器（１４０）用予測係数の決定に適用される。

ＨＤ ＳＤＲ信号（１２８）が与えられたとき、ＢＬエンコーダ（１３０）により生成されるのは、符号化ＢＬビットストリーム（１３２）だけではない。対応するＢＬデコーダによって復号化されるであろうようにＨＤ ＳＤＲ信号（１２８）を表現するＢＬ信号（１２６）もまた生成される。いくつかの実施形態では、信号（１２６）は、ＢＬエンコーダ（１３０）の後に続く別個のＢＬデコーダ（不図示）により生成され得る。他のいくつかの実施形態では、信号（１２６）は、ＢＬエンコーダ（１３０）において動き補償を行うために用いられるフィードバックループから生成され得る。図１に示すように、ＨＤ ＥＤＲ信号（１２６）出力もまた、その輝度成分（Ｙ １２６‐Ｙ）と色差成分（ＣｂＣｒ １２６‐Ｃ）とに分離され得て、ＨＤ ＥＤＲ´の信号（１４７）を予測する目的で、輝度予測器（１４５）と色差予測器（１４０）とに対し適用される。他のいくつかの実施形態では、ダウンサンプリング（１１０‐Ａ、１１０‐Ｂ）はスキップされ得て、その結果、全ての工程がフル解像度で行われることとなる。

ある実施形態では、輝度予測器（１４５）は、ＨＤ ＥＤＲ´信号（１４７）が有する輝度成分をベースレイヤのＨＤ ＳＤＲ信号が有する輝度画素値（１２６‐Ｙ）に基づき予測する多項式予測器を含む。そのような予測器では、当該信号についてその他のいかなる色成分におけるいかなる画素値をも考慮に入れることなく、輝度画素成分が予測され得る。例えば、s_iがＢＬ ＨＤ ＳＤＲ信号の有する輝度画素値（１２６‐Ｙ）を表すものとすると、一般性を失うことなく、３次の多項式予測器は、

と表され得る。但し、上式で、ａ_k(k = 0, …, 3)は予測器の係数である。ある実施形態では、予測器の係数は、当該技術において既知である任意の誤差最小化技法によって決定され得る。例えば、予測値

と参照ＨＤ ＥＤＲ信号内の輝度画素値（１２４‐Ｙ）（ｖ_i）との間の平均２乗誤差（例えば、

）を最小化してもよい。

ある実施形態では、色差予測器（１４０）もまた、先述のものと同様の多項式予測器であり得る。しかし、ある好ましい実施形態では、色差予測器（１４０）は、その全文を本願に援用する、２０１２年４月１３日付け出願のＰＣＴ出願第ＰＣＴ／ＵＳ２０１２／０３３６０５号（ＷＯ２０１２／１４２４７１として公開）、「Ｍｕｌｔｉｐｌｅ ｃｏｌｏｒ ｃｈａｎｎｅｌ ｍｕｌｔｉｐｌｅ ｒｅｇｒｅｓｓｉｏｎ ｐｒｅｄｉｃｔｏｒ」において、Ｇ‐Ｍ Ｓｕ他によって記載されているような、マルチカラーチャンネル多重回帰（ＭＭＲ）予測器を含み得る。ＭＭＲ予測器は、ＨＤ ＥＤＲ´の信号が有する色差成分を予測するのに、ＨＤ ＥＤＲ参照信号（１２４）及びベースレイヤＨＤ ＳＤＲ信号（１２６）内にある、輝度及び色差画素値の両方に由来する情報を使用する。ＭＭＲモデルにおける予測係数もまた、平均２乗誤差最小化技法を用いて、予測クロマ値と、参照ＨＤ ＥＤＲ信号（１２４）が有する輝度及び式差画素値との間のＭＳＥを最小化することにより、決定され得る。

ＨＤ ＳＤＲ信号（１２６）及び参照ＨＤ ＨＤＲ信号（１２４）の両方がＹＣｂＣｒ４：２：０形式であり、輝度成分の空間解像度が各式差成分の空間解像度の２倍であるので、これら両信号の輝度成分は、色差予測器（１４０）に適用される前にダウンサンプルされる（１３５‐Ａ及び１３５‐Ｂ）。好ましい実施形態では、輝度ダウンサンプリング（１３５‐Ａ）及び（１３５‐Ｂ）に用いられるフィルタは、４：４：４から４：２：０への処理工程（１２０）で用いられる色差ダウンサンプリング用フィルタと同一である。輝度及び色差予測係数は、シーン毎、ピクチャーグループ毎、フレーム毎など、考察対象とする様々な時間間隔をおいて更新され得る。予測フィルタ係数は、様々な手法を用いてビデオデコーダに伝達され得る。例えば、それらの値を、補助データあるいはメタデータとしてビットストリーム内に埋め込んでもよい。

予測ＨＤ ＥＤＲ´信号（１４７）が与えられると、アップサンプラ（１５０）はＵＨＤ ＥＤＲ´信号（１５２）を生成し、その信号は残差信号（１６７）を生成するために使用される。ＵＨＤ ＥＤＲ´の信号は好ましい符号化形式（例えば、ＹＣｂＣｒ４：２：０）で表現されているので、追加的な色変換（１１５‐Ａ）及び色差ダウンサンプリング（１２０‐Ａ）のステップが、当初のＵＨＤ ＥＤＲ信号（１０２）を当初の形式（例えば、ＲＧＢ）から好ましい符号化形式で表現されたＵＨＤ ＥＤＲ信号（１２２）へと変換するために、必要となり得る。信号（１２２）と（１５２）とは減算されて、ＥＬ残差信号（１６７）を生成する。

ある実施形態では、色変換（１１５‐Ａ）及びクロマサブサンプリングの工程（１２０‐Ａ）は、ＢＬ符号化信号（１２８）及び予測信号（１２４）の生成に用いられている色変換（１１５‐Ｂと１１５‐Ｃ）及びクロマサブサンプリングの工程（１２０‐Ｂと１２０‐Ｃ）と同一または可能な限り近い。

ある実施形態では、ＥＬエンコーダ（１６０）によるＥＬ信号（１６７）の符号化の前に、当該信号は、非線形量子化器（ＮＬＱ）（１５５）によって処理され得る。適当な非線形量子化器の例は、その全文を本願に援用する、２０１２年４月２４日付け出願のＰＣＴ特許出願番号第ＰＣＴ／ＵＳ２０１２／０３４７４７号（ＷＯ２０１２／１４８８８３として公開）、「Ｎｏｎ‐Ｌｉｎｅａｒ ＶＤＲ Ｒｅｓｉｄｕａｌ Ｑｕａｎｔｉｚｅｒ」の中に見い出し得る。ＮＬＱ（１５５）の出力は、適当なデコーダに送信され得る符号化ＥＬビットストリーム（１６２）を生成するために、ＥＬエンコーダ（１６０）を用いて圧縮され得る。さらに、いくつかの実施形態では、残差（１６７）もまた、ダウンサンプリングモジュール（不図示）によって空間的にダウンサンプルされ得る。そのようなダウンサンプリング（例えば、両次元につき２倍または４倍）は、符号化効率を向上させる。特に非常に低いビットレートにおいては、そうである。ダウンサンプリングの実行は、非線形量子化器（１５５）の前でも後でもよい。

ＥＬエンコーダ（１６０）は、例えば、ＭＰＥＧ‐２、ＭＰＥＧ‐４、Ｈ．２６４、ＨＥＶＣ、その他の仕様が記述するような、任意の適切なエンコーダで有り得る。ある実施形態では、ＢＬ符号化ビットストリーム（１３２）、ＥＬ符号化ビットストリーム（１６２）、及び符号化工程に関連するメタデータ（例えば、予測器のパラメータやルックアップテーブル）は、多重化されて単一のビットストリーム（不図示）とされてもよい。

いくつかの実施形態では、ベースラインのＨＤ ＳＤＲ信号（１２８）は、既に正しい解像度と色形式を持つ状態でエンコーダ（１００）に利用可能であってもよい。そのような場合、ダウンサンプリング（１１０‐Ｂ）及び色変換のステップ（１１５‐Ｃ及び１２０‐Ｃ）は、迂回され得る。

いくつかの実施形態では、ＵＨＤ ＥＤＲ信号（１０２）は、１６ビットよりも低いまたは高い精度を持つ状態で利用可能であってもよい。しかし、その精度は、８ビットよりは高い（例えば、１０ビットや１２ビット）と予想される。同様に、ＵＨＤ ＳＤＲ信号（１０４）は、既に１６ビットより低い（例えば、８ビットや１０ビット）精度を持つ状態で利用可能であり得る。

区分的階層間予測
背景と用語集
s_jiは、あるＳＤＲ信号（例えば、１２６‐Ｙ）に所属のフレームjにおける第i番目画素を表すものとする。v_jiは、それに対応する、ＥＤＲ信号（例えば、１２４‐Ｙ）内の同位置の画素を表すものとする。

は、それに対応する、同位置の「予測」ＥＤＲ画素（例えば、１４７）を表すものとする。所与の画像がP個の画素を有するものとする。限定的な意味ではなく述べるが、２次多項式予測器であるとすると、第i番目画素について、予測値は、

のように表され得る。但し、各i = 0, 1, 2に対し、m_jiは予測係数を表す。

ある実施形態では、予測係数は、予測コスト関数を用いて歪みのメトリックを最小化するべく決定され得る。予測コスト関数の例としては、本来のＥＤＲ画素値と予測ＥＤＲ画素値との間の平均２乗誤差（ＭＳＥ）（例えば、

）が挙げられる。等式（２）は、行列／ベクトル形式で、

のように表現され得る。但し、

である。このとき、最小２乗解は、

として、得られる。但し、

は、参照ＥＤＲ画素値（１２４）を表す。B_j及びa_jを、

及び、

と定義すると、等式（４）より、

となる。

ある実施形態では、予測器（例えば、１４５）の性能は、区分的な多項式予測を用いて改善できるかも知れない。そのような実施形態では、可能なＳＤＲ画素値の全範囲に対して単一の多項式予測器（例えば、等式（１）や（２）に示されるような）を用いる代わりに、ＳＤＲ画素範囲（例えば [0, K-1]、但しK = 2^{SDR＿BIT＿DEPTH}）を２つ以上のサブ範囲へと分割し、それから各サブ範囲に対しそれぞれの予測器を適用し得る。そのような実装において、それらの異なる区分的多項式予測器を分離する「ピボット」すなわち境界となる点を見つける必要がある。例えば、区分的な多項式予測が２つの多項式を使用するならば、動画予測において、ＳＲＤ範囲を２つの範囲[0, s_jv)及び[s_jv, K-1)に区分するような、ＳＤＲ変域内のピボット点s_jvを同定する必要がある。区分的多項式は、線形でも非線形でもよく、全てが同次数でも、異なる次数でもよい。

一般性を失うことなく、ある区分的多項式予測器が２つの２次多項式（例えば、各多項式は等式（２）に述べられたものと同様である）を使用するものとする。すると、あるピボット点s_jvを所与のものとして、下位区分にはL個の画素が、上位区分にはH個の画素があり、P=L+Hが成り立つことになる。ある入力画素s_jiが与えられたとすると、予測工程は、下記のように記述され得る。

但し、

は、それぞれ下位区分及び上位区分で用いられる予測器係数である。

先と同じ手法を用い、

を所与のものとすると、ＭＳＥ解は、

及び

のように表せる。但し、

を所与のものとして、sl_j,iは、その全てがsl_j,i < s_jvを満たすようなＳＤＲ画素を表し、vl_j,iはそれに対応するＥＤＲ画素値を表す。同様に、

を所与のものとして、sh_j,iは、その全てがsh_j,i ≧ s_jvを満たすようなＳＤＲ画素を表し、vh_j,iはそれに対応するＥＤＲ画素値を表す。出力ピボット点s_jvは、全ての可能なピボット点についてＭＳＥを算出した後、最小の対応ＭＳＥを有するピボット点を選出することにより決定され得る。

いくつかの実施形態では、区分的多項式予測器を導くために、追加的な制限が適用され得る。例えば、ある実施形態では、ピボット点（s_jv）における連続性制限を所与のものとすると、高位部分の予測関数係数は、

と表され得る。ここで、

と置けば、

が成り立つ。

高速アルゴリズム
区分的な多項式を解き求め、可能性のある各ピボット点についてそれぞれ随伴するＭＳＥを算出することは、非常に多大な計算負荷となり得る。より高速な態様を、次に述べる。

ピボット点候補s_jvについて考える。

と置くと、各成分は

と表せる。同様に、

と置くと、各成分は

と表せる。

高位の区分につき、

と置くと、各成分は、

と表せる。ここで、b_j,mn及びa_jm（単一多項式予測器の係数を解き求めるために用いられる）の値は、等式（１９）及び（２１）をL = Pに対して適用することにより、算出可能である。

等式（１８）〜（２２）より、下記のことが窺える。
１．

の値は、ピボット点が動くとき変化する。一方、ＳＲＤ値s_jiが採り得る値の数は、高々K個までしか許されない。
ａ．

ｂに等しい各ＳＤＲ画素値についての階級度数（ｂｉｎ ｃｏｕｎｔ）をh_bで表す。すなわち、

の集まりは、j番目のＳＤＲフレーム内画素値についてのヒストグラムを表す。
ｂ．

の値は、予め計算されて１つ以上のルックアップテーブル（ＬＵＴ）に格納され得る。これらの値は、一度だけ計算すればよい。なぜならば、当該ＳＤＲ入力信号が有する固定ビット深度に対し、可能な値はK個しかないからである。ある実施形態では、それらの予め計算された値（予計算値）は、システムが初期化する際に得られ、従って、これにより

の高速な予計算が可能となる。
ｃ．

の値は、ヒストグラム（例えば、h_b値群）及び予計算t_b値群を用いて、

のように導かれ得る。
ｄ． フレームj内にあるＥＤＲ画素値の内、ヒストグラムの階級bに属するＳＤＲ画素値に対応するものについての、和及び２乗和（つまり「エネルギー」）を

で、表すものとする。これらの値もまた、１つ以上のＬＵＴ内に予め計算済みで有り
得る。すると、
ｅ．

は、

のように表し得る。
従って、各ピボット点候補につき、値

は、予計算データに対しごくわずかな乗算及び加算を行うだけで導くことができる。

の値を所与のものとして、

の値は、等式（２４）から直接得ることができる。最終的に、予測器係数は、

のように、導かれ得る。等式（２４）において、b_j,mn及びa_jmの値（単一予測器の係数生成に用いられる）は、等式（２７）及び（２９）をL = Pかつs_jv = Kに対して適用することにより算出可能であることに、注意されたい。

上記２つの多項式が与えられてもなお、対応する歪みメトリック総計（例えば、ＭＳＥ）を算出する必要がある。反復計算アプローチにより、これらの計算量もまた削減できる。例えば、低位区分のＭＳＥを、

と表すとする。各項は、予め計算されたＬＵＴを用いて、簡素化して計算し得る。その結果、

となる。同様に、高位区分に対しては、

であることが示される。一例として、歪みメトリック総計が

と定義されるものとすると、出力（すなわち、あるコスト基準下で最適の）ピボット点は、D_jが最小のときに選出される。すなわち、

となる。以上の計算ステップは、図２に要約される。

図２が示すのは、ある実施形態による、区分的階層間予測器における多項式区分と最適ピボット点の高速導出工程例である。ステップ（２０２）において、１つ以上のルックアップテーブル（ＬＵＴ）が生成され、第１組の予計算値群（例えば、等式（２６）の

値群）を格納する。ある所与の固定ＳＤＲビット深度につき、これらの表は、ＳＤＲ入力ビデオシーケンスが有するどのフレームに対しても適用可能である。ステップ（２０６）〜（２１６）は、区分的予測器の生成が必要なときにはいつでも、入力ＥＤＲ及びＳＤＲデータ（例えば、（２０１）及び（２０３））に対して繰り返され得る。ステップ（２０６）において、所与のフレームjにつき、ＳＤＲ値のヒストグラムh_b及び対応ＥＤＲデータ統計（例えば、等式（２５）及び（２８）における

の値）が、第２組の予計算値を生成すべく算出され得る。次に、ステップ（２０８）において、所与のピボット点可能範囲内に納まる、あるピボット点候補s_jvが選択される。

ある実施形態では、s_jvは、範囲[0, K-1]内に納まるように選択される。しかし、代替的な境界点を用いることにより、計算はさらに簡素化され得る。例えば、フレームj内の画素値は、最小及び最大画素値、例えばMin_SDR(j)及びMax_SDR(j)により有界であり得る。このとき、ピボット点の探索は、[Min_SDR(j), Max_SDR(j)]の範囲内に限定され得る。

さらに、動画フレームの連続シーケンス内（例えば、シーンや「カット」内）では、フレームj用の最適ピボット点は、ある先行フレーム用の最適ピボット点（例えば、

のある近傍内に納まる可能性が非常に高い。よって、最適ピボット点の探索は、範囲[search＿low, search＿high]内に限定され得る。但し、所与の閾値deltaに対し、

である。

ピボット点候補s_jvを所与のものとすると、まず予計算値及びＬＵＴを利用して

を算出し、その後、先の説明の予測器係数

（（２７）〜（３０）を参照）、及び対応予測値

（例えば、等式（１０）を参照）を生成できる。

ステップ（２１２）において、各ピボット点候補につき、歪みのメトリック（例えば、等式（３２）〜（３３）におけるＭＳＥ）が算出される。ステップ（２１０）及び（２１２）は、考慮下の全てのピボット点候補について繰り返される。全てのピボット点候補を算出し終えると、ステップ（２１６）において、出力ピボット点、典型的には、計測される歪みの最小値を与えるもの、が生成される。

連続性制限付の区分的多項式
先の説明は、ピボット点における連続性制限が下位及び上位の多項式間に課される場合にも、拡張され得る。下位区分についての計算は変わらない。上位区分については、ある実施形態では、下記の等式が適用され得る。

は、上位多項式が連続性制限を満たす場合を表すものとする。このとき、

につき、各成分は、

のように表せる。先に算出されたのと同じ

値が同様に適合するが、添字をずらして用いられることに注意されたい。

同様に、

の成分は、

のように表せる。

を所与のものとして、実際の予測器係数は、等式（１５）にあるように算出される。

当該技術に熟練した当業者ならば、連続性制限を実施するための方法が他にも多数あることが理解される。例えば、ある実施形態では、まず最初に高位区分の多項式を決定し、その後、低位区分の多項式を、連続性制限を用いて決定し得る。

演算の計算的複雑さを軽減するため、以上の技法は、他の技法と組み合わせ得る。例えば、ＳＤＲ値のヒストグラムh_b 、及び対応ＥＤＲデータ統計

は、フレーム内の全ピクセル値の内、ほんの一部だけを用いて算出し得る。例えば、ある実施形態では、これらの値は、p個毎に１個の画素（例えば、p = 2）のみを用いて算出し得る。

予測器の経時的安定性
実際には、ＥＤＲソース（１０２）が与えられると、ＳＤＲ画像（例えば、１０４）は、１シーン毎に、カラリストまたはカラーマッピングソフトウェアもしくはその両方の組み合わせにより生成される。理想的な予測器は、シーンベースであるのかも知れない。しかし、そのような工程のためには、シーン内の全フレームに注目することが必要であり、それ故、莫大な記憶容量が必要となり得る。予測器がフレームベースなら、予測器の突然の変化は、効率的符号化が困難な残差（１６７）を、結果的に招き得る。特に、低いビットレートにおいては、そうである。このとき、変化の量を制御することが好ましいと言える。擬似コードを用いれば、以上のことは、次のように表し得る。

ある別の実施形態では、ヒストグラム及びＥＤＲ統計データは、最後のF個のフレームについて各フレーム毎に格納され得る。すると、予測器はこれらデータについての関数を利用し得る。例えば、擬似コードを用いて、以上のことは次のように表し得る。

但し、c_1n, c_2n, c_3n（n = 0, …, F）は、既定の重みである。画像及び動画処理分野の当業者ならば、等式（３７）における線形荷重関数は、その他の線形または非線形関数で代用し得ることが理解される。

２区分の多項式に関して先に説明された技法は、２つを越える多項式を備える予測器へと、容易に拡張できる。例えば、２つのピボット点s_jv1及びs_jv2を備える、３区分の区分的予測器の場合について考える。低位多項式の構築は、s_jv1 = s_jvを満たす２区分の多項式における低位多項式の構築と同じである。高位多項式の構築は、２区分の多項式における高位多項式の構築と同じであるが、s_jv2から開始する。また、中位多項式の構築は、２区分多項式における高位多項式の構築と同じであるが、終端はs_jv2に採る。

探索アルゴリズムは、s_jv1とs_jv2との可能で適正な組合せを全て調べてもよいし、あるいは、探索時間を軽減するために、その他の発見的手法及び既定事項を用いてもよい。例えば、ある実施形態では、ＳＤＲ画素のヒストグラムを用いて、画素を「黒」、「中間色」、及び「強調色」に分類する手助けとした後に、これらの範囲を用いて区分的多項式用境界の探索範囲を限定し得る。

代替コスト基準
図１に示すように、予測誤差（１６７）は、ＥＬエンコーダ（１６０）により、エンハンスメントレイヤ内に符号化される。符号化の際、予測誤差のダイナミックレンジが重要である。なぜなら、レンジが小さいほど、必要な量子化単位も小さくなり、従って、生み出される量子化歪みもそれだけ小さくなるからである。ある実施形態では、ピボット点（s_jv）を発見する問題は、正の最大及び負の最小の予測誤差間の差異を最小化するべく定式化され得る。

このピボット点（s_jv）に基づく予測値を、

と表すとする。すると、解は、次のようにして得られる。各ピボット候補につき、１つは低位区分用、１つは高位区分用であるような、２つの多項式を用いた解について再考する。ある実施形態では、コスト関数が

で表されるものとする。但し、

は、ピボット点候補についての推定誤差（例えば、１６７）を表す。すると、最適ピボット点は、すべてのピボット点候補の内、最小の

を与える点

であり得る。

当該技術に熟練した当業者ならば、本説明の手法は、入力または出力（予測）信号のダイナミックレンジやビット深度のいずれをも制限することなく、様々な他の予測器に適用し得ることが理解される。例えば、いくつかの実施形態では、ＳＤＲからＳＤＲ信号への予測器、ＥＤＲからＳＤＲ信号への予測器、あるいはＥＤＲからＥＤＲ信号への予測器を設計するために、同様のアプローチを用い得る。

高速多区分予測器
全探索を用いて最適ピボット点を探索すると、大変な時間が掛かり得る。いくつかの実施形態では、区分の数は増やしつつも、準最適化決定されたピボット点を用いることが、有利に働くかも知れない。ある実施形態では、（例えば、８区分を用いる）多区分予測器は、概ね等間隔のピボット点を用いて定義された１次または２次の多項式を使用する。前と同様に、予測多項式を算出するのに、予め計算されたＬＵＴを利用する。さらに、多項式は、重複部分を有するｔｒａｉｎｉｎｇ区分由来の利用可能な画素を用いて、算出される。

s_iは、ＳＤＲデータ内のカラープレーンにおけるi番目の画素であるとする。また、v_jは、元ＥＤＲデータ内の同じカラープレーンにおけるj番目の画素であるとする。ベースレイヤ（ＢＬ）内のビット深度をSDR＿BIT＿DEPTHで表すとする。このとき、ＢＬ内のカラープレーンにおいて画素が取り得る値の個数は、K = 2^{SDR＿BIT＿DEPTH}個である。ある実施形態において、高速な多区分予測器は、２段階を経て構築され得る。ａ）１組のピボット点群が、決定される。ｂ）生成されたピボット点群を所与のものとして、１組の２次または１次多項式群が、決定される。

Ａ． ピボット点の選出
M +1個のピボット点（例えば、M = 8）により決定された、M個の区分を考える。それら区分点を、

と表す。限定的な意味ではないが、非正規化ＢＬデータについて、

であるものとする。限定的な意味ではないが、各区分は左に閉で右に開、すなわち

であると考えてよいことに留意されたい。ある実施形態では、処理計算を高速化すべく、２番目のピボット点と最後から２番目のピボット点との間の全ピボット点につき、２ピボット点間の距離は同一になるように定められる。しかし、当該技術に通常の熟練を有する当業者ならば、他の不均等分割方式を適用してもよいことが、理解される。

ある実施形態では、ピボット点は、下記のように決定し得る。
ａ）計算する。

// 対象画素領域j（例えば、あるフレームの一領域、あるフレーム全体、または複数フレームのシーケンス）における最小ＳＤＲ値。

// 対象画素領域における最大ＳＤＲ値。

と置く。
ｂ）続いて、ピボット点のリストを、

のように構築する。

典型的な予測器では、ある区分

を所与のものとして、予測係数は、当該区分のみに由来する利用可能な画素を用いて、決定されるであろう。しかし、ある実施形態では、予測器係数は、隣接区分の画素値も同様に用いることにより決定され得る。例えば、範囲

内に納まる画素値のことであり、ここでΔ_L及びΔ_hは重複要素（Ｏｖｅｒｌａｐｐｉｎｇ ｆａｃｔｏｒ）である。これにより、２つの隣接予測多項式間での、より滑らかな遷移が可能となる。

Ｂ．区分的多項式の決定
先と同じ説明に従い、図３は、ある実施形態例による、区分的多項式の決定工程例を示している。

ステップ（３０２）において、第１組の予計算値が、ＳＤＲ入力のビット深度に基づき、初期化される。ステップ（２０２）におけるのと同様に、第１組の予計算値（例えば、等式（２６）の

値群）を格納する１つ以上のＬＵＴが、生成される。ある所与の固定ＳＤＲビット深度につき、これらの表は、ＳＤＲ入力ビデオシーケンス（２０１）に所属するいずれのフレームにも適用可能である。

ステップ（３０６）において、ある所与のフレームjにつき、ＳＤＲ値のヒストグラムh_b及び対応ＥＤＲデータ統計（例えば、等式（２５）及び（２８）における、

の値）が、第２組の予計算値を生成すべく算出され得る。

ステップ（３１０）は、等式（３９）及び（４０）を用いて算出されたピボット点リストを用いて定義される各区分について、計算される。ステップ（３１０）は、ａ）先頭区分のための、及びｂ）後続の各区分のための、２つの分離した部分工程に分割し得る。

先頭区分の工程
先頭区分につき、予測器係数は、拡張範囲

を持つｔｒａｉｎｉｎｇ区分の画素から導かれる。あるいはこの範囲は、２変数α＝０、
及び、

を用いて、適正データ範囲外の画素が用いられるのを防ぐべく定義され得る。

と置く。但し、

であり、かつ

である。

このとき、あるＭＳＥ基準下で、２次多項式（等式（２）を参照）用予測器係数は、

によって得られる。

後続区分の工程
ある実施形態では、第g番目(g > 1)の区分につき、区分境界における連続性制限を維持することが望まれ得る。それ故、区分g-1とgとの間の境界点において、予測値

は、

のように決定され得る。再び、ｔｒａｉｎｉｎｇ区分内で考慮下にある画素用の境界点α 及びβを、

及び、もしも現在の区分が末尾区分ならば、

さもなくば、

と定義する。

と置く。但し、

かつ

である。このとき、準備予測器係数は、

として得られる。実際の予測器係数は、これまでの節で述べられた等式を用いて、

の様に復元される必要がある。

図３のステップ（３１０ｂ）に記すように、いくつかの実施形態では、数値上の問題（例えば、多項式係数が、サポートされる数値範囲外の値を取っているかも知れない）のせいで、それらの解は「不適」と考えられるかも知れない。このとき、当該区分について、１次多項式を用い得る。例えば、先頭区分につき、もしも係数が適性制限に違反しているならば、そのとき、１次多項式の係数は、

を用いて、決定され得る。但し、

であり、全ての行列及びベクトル成分は、等式（４２）及び（４３）のように定義される。同様に、第g番目(g > 1)の区分につき、１次多項式の係数は、

のように導かれ得る。但し、等式（４６）及び（４７）で定義されるような

を所与のものとして、

である。

Δの選出
ある実施形態では、Δは、区分長に対する小さいパーセンテージ（例えば１０％）
として定め得る。ある別の実施形態では、Δは、予測曲線がある基準、例えば、ＳＤ
Ｒ値の全範囲を通じて非減少であること、を満たすよう、反復過程により決定し得る。例えば、ＳＤＲ値が増加するにつれて、もしもＳＤＲからＥＤＲへのマッピングがある区分区間で減少するならば、そのときは当該区間につき、Δの値を少しずつ次第に増加させて、ついには、ＳＤＲからＥＤＲへのマッピングがＳＤＲ値の全範囲を通じて決して減少しないようにすることができるかも知れない。

区分の合併
ある実施形態では、ある条件の下に、２隣接区分は、単一の区分へと合併され得る。例えば、ある区分内で利用可能な画素数がある閾値よりも少ないならば、その区分は、次の区分と合併され得る。それでもなお閾値に満たない場合は、合併区分内の画素総数が閾値を越えるまで、この手続きを継続し得る。末尾区分については、もしも閾値よりも少ない画素数しか持たないならば、末尾から２番目の区分と合併され得る。

偏った画素分布を有する区分
コンテンツによっては、特定の区分群が偏った画素分布を有し得ることが知られている。例えば、ＳＤＲ範囲のある区分群において、観察可能なほとんどの画素が、区分群のある終端の方に向かって偏っているかも知れない。ある実施形態では、高度に偏った画素分布を有するそのような区分群につき、予測器係数は、ヒストグラムに基づく重みではなく、むしろ「均等荷重」コスト関数を用いて、生成され得る。

再び、区分g (g > 1)を考える。等式（４５）に記述の

を所与のものとして、今、その成分を

及び

と定義する。

等式（４６）と比較すると、等式（５４）内では、

の成分について、ヒストグラム係数h_bによる荷重は、もはや為されていない。よって、全ての

値は、均等に荷重されている。同様に、等式（４７）と比較すると、等式（５５）内では、

の成分について、

値はh_bで正規化されており、このため、今やh_b値で正規化されたw_b 値が生み出される。零除算を避けるため、h_b= 0について、零のヒストグラム値は近隣の非零画素数からの補間を受け得る。等式（５４）及び（５５）を所与のものとすると、予測器係数は、以前と同様に、等式（４８）及び（４９）を用いて生成される。

コンピュータシステム実装例
本発明の実施形態は、コンピュータシステム、電子回路およびコンポーネントで構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のコンフィギュラブルまたはプログラマブルロジックデバイス（ＰＬＤ）、離散時間またはデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）などの集積回路（ＩＣ）デバイス、および／または、このようなシステム、デバイスまたはコンポーネントを１つ以上含む装置、を用いて実施し得る。このコンピュータおよび／またはＩＣは、本明細書に記載の区分的階層間予測に関する命令を実施し、制御し、または実行し得る。コンピュータおよび／またはＩＣは、本明細書に記載の区分的階層間予測に関係する様々なパラメータや値の内のいずれを演算してもよい。符号化及び復号化の実施形態は、ハードウェア、ソフトウェア、ファームウェア、および、その様々な組み合わせで実施され得る。

本発明の特定の態様は、本発明の方法をプロセッサに行わせるためのソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどの中の１つ以上のプロセッサは、そのプロセッサがアクセス可能なプログラムメモリ内にあるソフトウェア命令を実行することによって、上記のような区分的な階層間予測に関する方法を実施し得る。本発明は、プログラム製品形態で提供されてもよい。このプログラム製品は、データプロセッサによって実行された時に本発明の方法をデータプロセッサに実行させるための命令を含む１セットのコンピュータ可読信号を格納する任意の媒体を含み得る。本発明によるプログラム製品は、様々な形態をとり得る。例えば、このプログラム製品は、フロッピーディスケット、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ ＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭなどを含む電子データ記憶媒体、などの物理的媒体を含み得る。このプログラム製品上のコンピュータ可読信号は、任意に、圧縮または暗号化されていてもよい。

上記においてあるコンポーネント（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）に言及している場合、そのコンポーネントへの言及（「手段」への言及を含む）は、別途示唆のない限り、当該コンポーネントの機能を果たす（例えば、機能的に均等である）あらゆるコンポーネント（上記した本発明の実施形態例に出てくる機能を果たす開示された構造に対して構造的に均等ではないコンポーネントも含む）を、当該コンポーネントの均等物として、含むものと解釈されるべきである。

均等物、拡張物、代替物、その他
区分的階層間予測に関する実施形態例を上述した。この明細書中において、態様毎に異なり得る多数の詳細事項に言及しながら本発明の実施形態を説明した。従って、本発明が何たるか、また、本出願人が本発明であると意図するものを示す唯一且つ排他的な指標は、本願が特許になった際の請求の範囲（今後出されるあらゆる訂正を含む、特許となった特定請求項）である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項において明示されていない限定事項、要素、性質、特徴、利点または属性は、その請求項の範囲をいかなる意味においても限定すべきではない。従って、本明細書および図面は、限定的ではなく、例示的であるとみなされるものである。

Claims (22)

1. 区分的階層間予測器を生成するための方法であって、以下を含む方法：
   第１のダイナミックレンジを備える第１の映像信号（１２４）にアクセスする工程と、
   前記第１の映像信号を第２のダイナミックレンジ内で表現する第２の映像信号（１２６）にアクセスする工程であって、前記第２のダイナミックレンジは前記第１のダイナミックレンジよりも低い工程と、
   前記第１の映像信号の画素を前記第２の映像信号の画素に応答して予測する区分的予測器を、プロセッサを用いて生成する工程であって、前記区分的予測器を生成することは以下を含む工程：
   前記第２の映像信号に所属するあるフレーム内に収められた１組の画素値についての１つ以上の正の整数乗項を含む、第１組の予計算値を生成する工程（２０２、３０２）と、
   前記第２の映像信号に所属するあるフレームにつき、
   前記プロセッサを使用し、これにより
   前記第２の映像信号に所属の前記フレームに関するヒストグラムを生成する工程（２０６、３０６）と、
   前記第２の映像信号に所属の前記フレームに関して生成された前記ヒストグラムに基づく、また、前記第１の映像信号内の対応フレームが有する画素値についての１つ以上の関数による出力値を含む、第２組の予計算値を生成する工程（２０６、３０６）と、
   前記第１組及び第２組の予計算値と前記ヒストグラムとを使用し、前記区分的予測器内の少なくとも１つの多項式についてその係数を生成する工程（２１０、３１０）。
2. 前記第１のダイナミックレンジは高またはエンハンストダイナミックレンジであり、前記第２のダイナミックレンジはスタンダードダイナミックレンジであり、かつ、前記第２の映像信号はビット深度Mを有する、請求項１に記載の方法。
3. 前記第１組の予計算値を生成する工程は(s_j)ⁿの計算を含み、その中で、nは0より大きい整数であり、s_jは範囲[0, K-1]内に納まる画素値を表し、但しK = 2^Mである、請求項２に記載の方法。
4. 前記ビット深度Mは８または１０ビットである、請求項２に記載の方法。
5. 前記第１組の予計算値を生成する工程は
   

   

   の計算を含み、その中で、bは範囲[0, K-1]内に納まる画素値を表し、nは１以上の整数であり、K = 2^Mである、請求項２に記載の方法。
6. 前記第２組の予計算値の生成は
   

   

   の計算を含み、但し、bは範囲[0, K-1]に納まる画素値を表し、K = 2^Mであり、Pはフレームj内で考慮下の総画素数を表し、s_jiはフレームj内で前記第２の映像信号が有する画素値を表し、v_jiは前記第１の映像信号内で対応するj番目のフレームに属する画素値を表す、請求項２に記載の方法。
7. 前記区分的予測器を生成する工程は、前記予測器の出力ピボット点を算出する工程をさらに含み、その中で前記ピボット点は入力範囲を前記予測器が備える第１及び第２の多項式間で分割し、前記出力ピボット点を算出する工程は以下を含む、請求項１に記載の方法：
   可能なピボット点の範囲内に納まる２つ以上のピボット点候補につき、
   前記第１組及び前記第２組の予計算値を使用して前記第１及び第２の多項式の係数を算出する工程と、
   前記の算出された係数に基づき、予測コスト関数用歪みメトリックを算出する工程（２１２）と、
   その後さらに、前記出力ピボット点として、前記２つ以上のピボット点候補の内、その点について前記算出された歪みメトリックが最小であるピボット点を選出する工程（２１６）。
8. 前記算出される歪みメトリックは、前記予測器多項式を使用して生成される予測値と、前記第１の映像信号が有する対応画素値との間の平均２乗誤差に基づく、請求項７に記載の方法。
9. 前記算出される歪みメトリックは、前記多項式予測器を使用して生成される最大及び最小予測誤差間の差異最小化に基づく、請求項７に記載の方法。
10. 前記区分的予測器は２つ、４つ、６つ、または８つの２次多項式を含む、請求項１に記載の方法。
11. 前記第１及び前記第２組の予計算値を使用して前記第１及び第２多項式の係数を算出する工程は、前記ピボット点候補における前記第１及び第２多項式間の連続性制限を考慮に入れる、請求項７に記載の方法。
12. 前記歪みメトリックを算出する工程は、前記算出されたヒストグラムと前記第２組の予計算値とに基づく、請求項７に記載の方法。
13. 前記歪みメトリックを算出する工程は
    

    

    の算出を含み、その中で、s_jvは前記ピボット点候補を表し、w_bは前記第２組の予計算値内のある値を表し、h_bは値bを備える画素についてのヒストグラム値を表し、
    

    

    は予測値を表す、請求項７に記載の方法。
14. 可能ピボット点の前記範囲は範囲[0, K-1]であって、その中で、K = 2^Mであり、Mは前記第２の映像信号が備えるビット深度を表す、請求項７に記載の方法。
15. 可能ピボット点の前記範囲は範囲[search＿low, search＿high]であって、但し所与の閾値deltaにつき、
    

    

    であり、但し、
    

    

    はある先行フレームについての出力ピボット点を表し、K = 2^Mであり、Mは前記第２の映像信号が備えるビット深度を表す、請求項７に記載の方法。
16. 現行フレーム用に前記ヒストグラム及び前記第２組の予計算値内の値を生成する工程は、前記現行フレームに先行する１つ以上のフレーム用のヒストグラム値及び予計算値を考慮に入れる、請求項１に記載の方法。
17. P、すなわち、フレームj内で考慮下にある総画素数は、前記フレームj内にある実際の画素数よりも少ない、請求項５に記載の方法。
18. 前記第１組及び前記第２組の予計算値は１つ以上のルックアップテーブルに記憶される、請求項１に記載の方法。
19. 前記区分的予測器を生成する工程は以下をさらに含む、請求項１に記載の方法：
    前記第２のダイナミックレンジを１組の区分に分割する工程であって、２番目の区分と末尾から２番目の区分との間の各区分が等長となるような工程。
20. 前記１組の区分の内少なくとも１つの区分について、
    ｔｒａｉｎｉｎｇ区分を決定する工程であって、前記ｔｒａｉｎｉｎｇ区分は前記の少なくとも１つの区分とその隣接区分の一部とを含む工程と、
    前記ｔｒａｉｎｉｎｇ区分内の画素を用いて前記の少なくとも１つの区分につき多項式予測器係数を生成する工程と、
    をさらに含む、請求項１９に記載の方法。
21. プロセッサを含み、請求項１に規定された方法を実行するように構成された装置。
22. 請求項１に記載の方法を実行するためのコンピュータ実行可能命令を格納した非一時的なコンピュータ可読記憶媒体コンピュータコンピュータ。

Images