図1には、符号化側に関係する本発明の例示的実施形態の側面の一実施例が示されている。
ビデオ処理システム又はビデオプロセッサ(VPS:video processing system)1内で、元のビデオの入力ビデオ画像信号2がVPS1のマージ器5内でオーバレイ3及びオーバレイ4とマージされ、元のビデオとオーバレイとのマージを含むマージ済みのビデオ信号6をもたらす。マージ器5は符号器部分7に情報を与える。
入力ビデオ画像信号2は、HDR信号の表現を提供するという意味でHDR画像信号である。入力ビデオ画像信号2は、それ自体がHDRディスプレイ上に提示されることが意図される画像とすることができ、即ち典型的には500(又は1000)ニット以上の最大輝度を有するディスプレイ上に直接レンダリングされるようにカラーグレーディング/トーンマッピングが適合され得る。他の実施形態では、入力ビデオ画像信号2が、LDRディスプレイ、即ち(典型的には)500ニット未満の最大輝度を有するディスプレイ上に直接表示されることが意図されるが、HDRディスプレイ上に表示されることが意図されるHDR画像への直接の(知られている)マッピング又は変換を有する画像表現を提供し得る。従って、入力ビデオ画像信号2は、HDRからLDRへのマッピングを使用して画像のHDR画像表現からマップされるLDR画像表現であり得る。逆マッピング(HDR画像内に更に含まれ得る)を適用することによって元のHDR画像が再生成され得るため、かかるメッセージは依然としてHDR画像である。
同様に、オーバレイがHDR表現として与えられ、又はHDR画像信号のHDR表現若しくはLDR表現と組み合わせられ得るLDR表現であり得る。
マージ済みのビデオ信号6は同様にHDR画像信号であり、実際に入力信号は(直接の又は間接的な)HDR画像信号であり、入力値に対するオーバレイ値の単純なマージは入力ビデオ画像信号2に対応するマージ済みのビデオ信号6をもたらす。図1の実施例では、元の入力ビデオ画像信号2が字幕信号3及び/又はメニュー信号4(例えばソースビデオを選択したり音量を変更したりできるメニュー、又はディスクをどのように再生するか等に関する使用可能な選択肢を示すBDディスクのメニュー等、例えば動作を制御するために使用されるVPSのメニュー)とマージされる。VPSは、マージ済みのビデオ信号6を符号化するための符号器7を含む。マージ情報信号MISにより、画素のマージに関するマージ情報(例えば画素がビデオであるか、又はオーバレイであるか、及びその度合い)がマージ器5によって符号器7に与えられる。マージ情報は、1つ又は複数のオーバレイ信号3、4をその画素の入力ビデオ画像信号2に追加する特性を示すマージ特性に関する情報を与える。マージ特性は、とりわけマージ済みのビデオ信号6内の画素のソース(即ちマージ済みのビデオ信号内の画素が何れの信号から構成されるか)及び/又は信号のマージ量を示し得る。マージ情報は、例えば信号がマージされたこと、例えば「この画素はビデオ+字幕である」ことの指示、及び/又はマージ済みの信号の様々な成分の透明度データとすることができ、例えばマージ済みの字幕が例えば50%又は25%の透明度を有することの指示であり得る。
図1は、2種類のあり得るオーバレイ、字幕3及び/又はメニュー4がマージ器5内でビデオとマージされることを示す。当然ながら、他の実施形態では、例えばPIP(ピクチャインピクチャ)、ロゴ、広告のオーバレイ等、他の種類のオーバレイが使用され得る。かかるオーバレイは、マージ器5内でビデオと追加で又は代替的にマージされ得る。記載される方法/機器の実施形態は、単純な種類の専用画素、例えばあり得る僅かな不透明色のみで構成される単純な字幕が1つのみである様々なシナリオ内で使用され得ること、又は様々な種類のグラフィックス若しくはビデオの混合が同時に存在し得るより複雑なシステム内で使用され得ることを当業者であれば理解されよう。かかる実施例では、異なる種類が、例えば以下に記載の状況特徴付けのコード化によって区別され得る。
マージ操作後、多くの実施形態において、それぞれの画素が幾つかのマージの種類のうちの1つであり得る。例えば画素は、1つのソースのみの寄与を含む純粋な種類とすることができ、例えば純粋なビデオ又は純粋なオーバレイとすることもできる(オーバレイの種類も重要であり得る。即ち異なる種類のオーバレイは異なるマージの種類の原因となり得る)。或いは、それぞれの画素は混合型又はマージ型のものとすることができ、画素は複数のソースの寄与、例えば50%のビデオと50%の字幕とで構成される。例えばビデオとマージされる字幕の透明度により、重みが決定され得る。
図2は、符号器7によって行われる符号化を示す。符号器7は、信号MISによってマージ情報A’が与えられ、マージ情報はマージ器5内のマージの特性を反映するマージ特性を示す。符号器は、マージ済みのビデオ信号内の所与の画素について、1つ又は複数のオーバレイ信号3、4をその画素の入力ビデオ画像信号2にマージする特性を示すマージ特性を示す値Aを(典型的には)画素ごとに生成する。画素の値Aは、とりわけ受信情報A’から決定される画素のマージの種類及び/又は1つ若しくは複数のマージパラメータを示すことができる。
一部の実施形態では、マージ器5が値Aを符号器7に直接与えることができ、その場合A’=Aである。他の実施形態では、符号器7が符号化するための異なる値Aを受信値A’から生成し得る。
この図2の特定の低複雑度の実施例では、マージ済みの画像の各画素がビデオである又は字幕又はメニューであると指示される。従って、各画素はあり得る2つのマージの種類のうちの一方であると指示される。
符号器7は、マージ器によって与えられる情報に基づいて生成した値A、又はマージ器5から直接受信した値Aを使い、HDR信号の成分の1つの最小有効ビットのうちの1つ(又は複数)を埋める。
図2の実施例では、マージ済みのビデオ信号6が3色成分のビデオ信号であり、そのように符号化される。とりわけ、この実施例は、この特定の実施例ではそれぞれ12ビット有するものとして図示されている3つの色成分R、G、及びBを使用し、即ち各色成分値は12ビットで表わされる。図2では埋めることが別個の符号器7内で行われるものとして具体的に図示されているが、埋めることは他の機能ユニットによって行われ得ること、具体的には一部の実施形態では2つの機能を同時に実行可能なマージ器5の一部を符号器が形成し得ることを当業者であれば理解されよう。
この実施例では、各画素がビデオ又は字幕又はメニューの何れかのみになり得、そのため単純な2進表現0又は1を値Aに使用すれば十分であり、0は画素が純粋な(影響を受けていない)ビデオであることを示し、1は画素が字幕又はメニューを表すこと(又は例えば任意の特別なグラフィックスオブジェクトを表すこと)を示し得る。これは単一ビットによって表わされ、従ってその画素にはLSBの1つの中で値が与えられ得る。この実施例では青色チャネルが使用され、なぜなら、人間の視覚はその情報に対する感受性が低く、従ってLSB内に小さい誤りを取り入れることの知覚的影響が減らされるからである。他の実施形態では、他の色のチャネルが使用され得る。例えばYUV符号化では、例えばU成分又はV成分の一方を必要な変更を加えて使用することができる。
図2に示されているような多くの実施形態において、マージに関する情報を決定するための、とりわけ値Aを見つけるための代替経路がある。マージ情報A’を有する信号MISをマージ器5が符号器7に直接与えるのではなく、マージ済みの信号6とマージする前に信号2、3、及び/又は4の1つ若しくは複数を比較するために比較器が使用され得る。従って、マージ器5への入力信号の1つ又は複数に対してマージ済みのビデオ信号6を比較することに応じてマージ特性が決定され得る。例えば、ある画素について、入力ビデオ画像信号2がマージ済みのビデオ信号6と比較され、2つの信号が同じであると分かった場合、前記画素が純粋なビデオであり、オーバレイに対する入力画像信号のマージが行われていないと考えられ得る。前記画素のAの値は、例えば「画素が純粋なビデオである」ことを示す0に設定され得る。入力ビデオ信号2とマージ済みのビデオ信号6とが異なる場合にマージが行われている。その場合、前記画素のAの値は、例えば「画素が混合型のものである」ことを示す1に設定され得る。かかる比較スキームは、マージ器5から直接来るのではなく、マージ前及びマージ後に信号を比較することによるマージに関する情報を与える。かかる比較は、マージ器5又は符号器7の一部とすることができ、又はそれらに結合され得る比較器内で行われ得る。より複雑な比較が行われ得る。当然ながら、これらの2つの可能性のいかなる組合せも使用され得る。例えば、マージ器5は、信号MIS内で(例えば画素が純粋なビデオ(即ちオーバレイの寄与が一切ない入力ビデオ画像信号2)を表すかどうかを示す)粗い指示を与えることができ、その指示が「純粋なビデオではない」と示す場合、マージに関する更なる詳細を明らかにするために入力信号の1つ又は複数とマージ済みの信号との間で比較が行われる。次いで、明らかにされたマージ情報が1つ又は複数のLSB内に画素ごとに符号化される。
幾分複雑な実施形態では、オーバレイの種類も符号化され得、例えばオーバレイが字幕であるか、又はメニューであるかが符号化され得る。その場合、3つ以上のマージの種類の可能性があり、マージの種類を符号化するために2つ以上のLSBが使用される。従って、かかる実施例では、値Aが3つ以上の値を取り、そのため単一ビットよりも多いビットによって表わされ、従って複数のLSB内で伝えられ得る。図3は、最小有効ビットが各色成分内で使用されるかかる実施例を示す。この実施例は、最大8個(この単なる説明のための実施例では状況を符号化するために各チャネルの最下位ビットを使用するため、2の3乗)のマージの種類(例えばオーバレイがないことを1つが示す8種類のオーバレイ)を信号で伝え得る3個の情報ビットを与える。このことから、一方でビデオ及びグラフィックスの所要の見栄えの質、他方で典型的な受信側の色変換(及び状況再構築)機能のための所望の状況コード化量を所与とし、システムにとって技術的に好ましいものに応じて、第1の色成分のNビット、第2の色成分のMビット、及び第3の色成分のOビットをどのように使用し得るかを当業者であれば理解することができる。従って、様々な色チャネル内で使用されるLSBの正確な数は、それぞれの実施形態の好み及び要件によって決まる。
図4〜図6は、ビデオ情報の入力ストリームについて制御されるビデオ処理の更なる実施形態を示す。
図4は、HDR画像を表すLDRビデオデータのみが与えられている一実施形態を示す。この実施例では、LDR画像データ43がLDRディスプレイ上に直接表示されるようにグレーディングされる。例えば、画像データのソースは、例えば100ニットディスプレイのためにダイナミックレンジを最適化している可能性があり、従って(100ニットの最大輝度を有する)LDRディスプレイ上に画像が提示される場合、その画像はダイナミックレンジ適合又は更なるカラーグレーディングなしに直接レンダリングされ得る。しかし、LDR画像データは依然としてHDR画像の表現を与え、なぜなら、ダイナミックレンジマッピングを適用することによりそのデータが元のHDR画像を直接生成することを可能にするからである。従って、ダイナミックレンジマッピングを知ることにより、受信端は元のHDR画像を再生成することができる。
とりわけ送信端又はソース端において、LDRディスプレイ上で提示するのに適した又は最適化された出力画像を生成するために、HDR画像がカラー(特に輝度)グレーディングにかけられ得る。このグレーディングは、とりわけ、例えば入力輝度を出力輝度に直接関係付ける1対1の同次(可逆)関数であり得るダイナミックレンジマッピング又は関数を提供し得る。その結果、LDRディスプレイ上に直接提示され得る出力画像が生成される。しかし、LDR画像データは依然としてHDR画像を表し、とりわけ逆ダイナミックレンジマッピング又は関数を適用することによってそこから元のHDRが生成され得るHDR画像の表現を与える。従って、たとえLDRディスプレイ上に直接提示することを可能にする画像データによって画像が表現されても、そのデータはHDR画像の表現を依然として与える(例えばHDR画像の特定の符号化と見なされ得る)。従って、LDR画像のみが考慮され、受信LDR画像データがLDR画像に由来する(LDR画像を表す)従来の手法とは対照的に、この実施例のLDR画像データは実際にはHDR画像の(LDR)表現である。従って、この実施例では、受信LDR画像データが元のHDR画像に結び付けられ、又は関連付けられる。特にこの実施例では、LDR画像をブーストしてHDR表現をもたらすことにより、HDRディスプレイ用のHDR画像が導出され得る。
以下、図4のビデオ処理システムはBD(ブルーレイディスク)プレーヤ41と見なされるが、他の実施形態では他の装置であり得ることが理解されよう。BDプレーヤ41は、ビデオ情報の入力ストリーム、例えばBDデータストリーム42を受信する。このストリームは、LDRビデオデータ43及びグラフィックスを生成するためのグラフィックスデータ44の両方を含む(或いは又は加えて、グラフィックスデータは別の場所から到来し得、例えばプレーヤ自体の中で生成されるグラフィックス又はインターネット等のネットワーク接続上で受信されるグラフィックスであり得る)。
LDRビデオデータ43(HDR画像を表す)が、復号信号46(例えば記憶に使用されたMPEG又は同様のビデオ符号化標準によるDCT変換データから導出される、画素ごとの線形RGB色)を与えるLDR復号器LDR−dec45内で処理される。グラフィックスデータ44は、グラフィック復号器GR−dec47内で処理され、ビデオ信号をオーバレイしてマージ済みの画像表示信号50、例えばHDMI(登録商標)信号、即ちHDMI(登録商標)インタフェース(又は他の任意のビデオ信号通信システム)上で送信される信号を生成するためにオーバレイプロセッサOVR49内で使用されるオーバレイ48を構成する。このオーバレイプロセッサは、ビデオを字幕又はメニュー等の1つ又は複数のオーバレイとマージし、従って本発明の枠組み内ではマージ器とも呼ばれる。OVRは例えばリモコンによって送信される信号に反応し、視聴者はリモコンを使って例えば字幕を使うかどうかを選択し、使う場合には何れの言語であるかを選択でき且つ/又はメニューを起動すること等ができる。HDMI(登録商標)信号50は、表示装置によって受信されるマージ済みの信号であり、表示装置のディスプレイ上に表示される画像をもたらし、ディスプレイ上に表示される画像は字幕部分及び/又はメニュー部分を有し得る。符号器51内で、マージ済みの信号の最小有効ビットの1つ又は複数がとりわけそれぞれの画素がビデオを表しているか、オーバレイを表しているか、及び/又はそれらをどの程度表わしているかに関する情報等のマージ情報で埋められる。それぞれのLSB内の情報は復号器側で読み取られ得、従って例えばマージ済みの画素のマージの種類(例えば画素の構成要素がどのようなものであるか、即ち何れの信号がマージされたか、又は実際に信号がマージされたかどうか)及び/又は例えばマージパラメータ(例えばマージ済みの信号間のマージ比を示す)を復号器に知らせる。即ち、LSB内の情報は、どのようなものがマージされたか(例えばマージの種類の情報)及び/又は入力信号がどのようにマージされたか(例えば混合型又はマージ型の画素である画素のマージ量)を示す値であり得る。上記で説明されたように、かかる情報はマージ器49によって与えられる情報、並びに/又はマージ前及びマージ後に信号を比較することによって与えられる情報に基づき得る。
図5は、グラフィックス処理制御データ、並びにLDRビデオデータ及びHDRビデオデータの両方を含むビデオ情報の入力ストリームに関する表示モードによって制御されるビデオ処理の一実施例を示す。このシステムは図4のシステムと同様である。しかし、追加の特徴はBDデータストリーム42が、LDRディスプレイ上に直接提示することを目的とするLDRビデオデータ43並びに追加のHDRデータを表すHDRビデオデータ52の両方を有することである。HDRビデオデータ52は、例えばダイナミックレンジマッピング関数又は逆ダイナミックレンジマッピング関数を直接提供することにより、例えば元のHDR画像からLDR画像データを生成するために使用されるマッピングに関する情報を与え得る。他の実施形態では、HDRデータが元のHDR画像の完全な又は部分的なHDR表現(又は(例えば異なる最大輝度レベルに関係する)元のHDR画像の別のHDR表現)を直接与えることができる。実際に一部の実施形態では、LDR画像データを有するHDR画像データは可能性としてHDR画像の表現にはならないことを理由に、入力ビデオ画像信号2はHDRビデオ画像信号と見なされ得る。
一部の実施形態では、HDRビデオデータ52は、とりわけ例えばディスク上のLDR表現をHDR表現に変換するためのカラーマッピング関数のみを定め得る。しかし、他の実施形態では、このデータが直接デュアルイメージ符号化体系(dual image encoding system)内のHDR画像又は(例えばLDR画像の高輝度領域等についてのみ与えられる)画像の一部であり得る。ビデオ処理システムは、HDR信号を復号するためのHDR復号器HDR−dec54を含む。一部の実施形態では、例えばHDMI(登録商標)インタフェース上でLDR画像が送信されるか、又はHDR画像が送信されるかに応じて復号器の一方又は両方が使用され得る。或いは一部の実施形態又はシナリオでは、信号がHDR信号のみを含み得る。
図4及び図5の両方で、グラフィックデータ(オーバレイに関する情報)が入力信号の一部である。多くの実施形態において、グラフィックデータがVPS内で生成され得ることが理解されよう。システム内でビデオ信号と1つ又は複数のオーバレイとがマージされ、これは任意の特定の形式で与えられ又は任意の特定のソースから与えられるグラフィックスデータ又はオーバレイに限定されない。マージは信号をもたらし、ビデオと1つ又は複数のオーバレイとがマージされ、それにより少なくとも一部の画素にマージ済みの画素値を与える。
マージ済みの画素値自体は、どのようなものがマージされたか又はマージがどのように行われたか(即ち画素ごとのマージ量)に関する情報は直接与えない。
一部の実施形態では、マージが画素ごとの選択マージであり得る。従って、各画素について、入力信号、即ち入力ビデオデータ又はオーバレイの1つのうちの1つの画素値が画素ごとに選択される。例えば字幕領域では、マージ器が出力画素値を字幕オーバレイ入力の画素値として選択することができる。しかし、字幕領域の外側では、マージ器は入力ビデオ画像の画素値を選択することができる。従って、字幕領域内に字幕オーバレイ画素値を含み、画像の残りの部分内に画像の画素値を含むマージ済みの画像が生成される。他の実施形態では、画素値が例えば入力画像とオーバレイの1つ又は複数との画素値を組み合わせることによって生成され得る。例えば、入力画像の画素値と字幕オーバレイの画素値との間の加重和が行われ得る。字幕オーバレイ画素値の重みは、例えば字幕の透明度レベルを反映し得る。
オーバレイ情報は、画素値の組を含む完全な又は部分的な画像として与えられる必要はなく、例えば各文字の記憶済みのグラフィカル表現に基づいて画素値がそこから決定され得る文字の組等、任意の適切な形式で与えられ得ることが理解されよう。
出力から見ると、オーバレイ及びビデオのマージを行う従来の装置は、出力は与えるが装置内で何が起きたかは出力から推論できないブラックボックス装置である。しかし、記載の実施例では、行われているマージに関する情報により1つ又は複数の最小有効ビットが占有され、従ってこの形態はマージ器内で行われたプロセスの見識を与える低複雑度の態様を提供する。即ち、復号器の観点からは、装置/マージ器はもはやブラックボックスを形成せず、むしろマージ操作に関する見識が与えられる。
この形態は、復号器側がマージ済みの信号の実際のマージ特性、即ちどのようなものがマージされたか及び/又はどのようにマージされたかに合わせて、より調整された適合を画素ごとに行うことを可能にする。具体的には、この形態は、それぞれの画像物体の個々の特性、とりわけ性質について最適化され得るダイナミックレンジ適合を復号器が行うことを可能にする。
図6は、別の例示的実施形態を示す。この実施例は、図4及び図5に関して記載された実施例と対応するが、BD信号42が、信号50をどのように動的に適合させるかに関するHDRディスプレイ向けの情報55も含むという更なる追加の特徴を伴う。従って、ダイナミックレンジ適合に関する特定の情報が含められ得る。この情報は、例えばビデオ信号と共に与えられるメタデータの形式を取ることができ、メタデータは例えばLDR画像の画素色の輝度を変えるための輝度ブースト関数を符号化し得る。別の実施例として、メタデータは、HDR画像からLDR画像にマップするダイナミックレンジマッピングを符号化し得る。かかる手法は、HDMI(登録商標)画像がHDR画像であるシナリオに適している場合があり、HDMI(登録商標)画像を適切なLDR表現にこのようにマッピングすることでLDRディスプレイ上に信号が提示されることを可能にし得る。次いで、ビデオ処理システムはその情報をディスプレイに渡すことができる。
図7は、また更なる例示的実施形態を示す。この実施例では、ビデオ処理システム41が信号56を更に生成し、信号56は何れの最小有効ビットが使用されるか、及びそれらのビットからどのような種類の情報が得られ得るかに関する情報を含む。従って、この実施例では、マージ情報がマージ済みのビデオ信号内にどのように符号化されるかを記述するデータが与えられる。
例えばビデオ(例えば映画、コマーシャル、YouTube(登録商標)ビデオ等)の始めに、マージ情報を与えるために何れの符号化体系が使用されるかを伝えることが有利であり得る。様々なシナリオにおいて、様々な側面を符号化するために同じ例えば3個のLSBが使用され得る(例えば単純な字幕のみが使用される場合、それぞれの画素が字幕であるか、又は画像画素かを示す単純な混合スキームが伝えられ得る。例えばメニューの長方形内の複雑なグラフィックスが使用される場合、符号化は場合によりメニューの背景等の特性を反映し得る)。動的スキームが使用され得ることを当業者であれば理解されよう。例えば映画の始めにBDディスクメニューのコード化/符号化スキームが伝えられ得るが、利用者が映画中に機器のメニューにアクセスする場合、機器のメニューにより適した別のコード化/符号化スキームが伝えられ得る。所与の時点において(又は例えば他の情報が与えられるまで)この新たな符号化スキームが使用され得る。信号56は変化する情報も与えることができ、例えば一部の独自開発のビデオでは最小有効ビット内の「1」が「不透明な字幕」を意味し得るが、前記ビデオ信号の始め(又は例えばビデオの途中)では、「マージの種類−1」の指示がそのビデオにとって他のことを意味することを信号56が示す可能性があり、又はビデオのその箇所以降で例えば透明な混合又はグラフィックのボックス背景等を意味する場合がある。要するに、信号56は、マージ情報を与えるために何れのビットが使用されるか及び/又はそのマージ情報を与えるためにそれらのビットがどのように使用されるかに関する情報を与え得る。信号56は、とりわけ情報がどのように、例えばシーンごとに又はビデオごとに経時変化し得るかに関する情報を与えることができる。
次に、オーバレイの使用についての特定の実施例について説明される。
この実施例では、画像に追加されるメニューが部分的に透明であり、そのため画像が部分的にメニューを透かして見られ得る(画像がメニューを「透過」する)。かかるメニューをサポートする一部の実施形態によれば、符号器7は、メニュー又はメニューとビデオとの混合の透明度を表す値Aを幾つかのLSB内に、この特定の実施例では3個のLSB内に符号化することができる。次いで、3個のLSB内に符号化される値A内で画素ごとのマージ量が示され得る。
3個のビットが使用される一実施例は例えば下記の通りである。
但し、「グラフィック」という用語はオーバレイ、例えば字幕やメニュー等を指す。
これはマージ度又はマージレベルを示すマージパラメータを示すためにLSBのみが使用される一実施形態の実施例であり、とりわけビット値000〜100はビデオとオーバレイとの混合量を反映する。
これまでに説明された実施例では、R、G、及びBの色成分が言及されている。
但し、ビデオ情報は例えばYUVフォーマット又はRGBEフォーマット、レイヤが使用されるフォーマット、4つの色が使用されるフォーマット等、他のフォーマットとすることもできる。これらの様々なフォーマットでは、値のデジタル表現が成分を与え、値が幾つかのビットで表わされ、HDRではビット数が概して相対的に大きい(典型的には12以上)。従って、値の2進表現は、その最小有効ビットがLSBと呼ばれる幾つかのビットを含む。
多くの実施形態において、最も少ない可視効果を有するLSBがマージ情報を符号化するために使用される。先に述べられたように、多くの実施形態において符号化はオーバレイがあるかどうかだけでなく、何れの種類のオーバレイであるか及び/又は例えばオーバレイの透明度も示し得る。
LSBのうちの何れが符号化に使用されるかは予め定められ得、例えば標準であり得る。その場合、復号器はマージデータがどのように符号化されるかを知り、ビデオ信号に追加情報が加えられる必要がない。一部の実施形態では、LSB内にマージ情報を符号化する複数の可能な態様があり得、BDプレーヤ/VPSは適用される符号化に関する情報を追加することができる。例えば、何れの情報を符号化するために何れのLSBが使用されるかを詳述するメタデータ又はフラグが含められ得る。
復号側では、この情報を読み取ることができ、関連するLSBがしかるべく復号され得る。
例えば、単純なものから複雑なものまで幾つかの符号化方法があり、あり得る最良の結果を得るために符号器が方法を例えば画素ごとに、フレームごとに、又はシーンごとに動的に切り替える可能性がある場合、使用される方法の種類が例えばメタデータ又はフラグとしてLSBの1つ又は複数内の値として動的に示され得る。1つの選択肢は、例えばビデオの一番上のラインの左から画素のLSBを使用することである。そのようにLSBを使用することの知覚的影響は許容できる可能性が高く、実際に多くの実施形態で些細なものである。
図8は、従来技術の復号器又はビデオディスプレイドライバがマージ済みのビデオ信号をどのように処理し得るかについての一実施例を示す。マージ済みのビデオ信号は、従来のマージ済みのビデオ信号とすることができ、又は先に説明されたようにビデオ処理システムによって与えられるマージ済みのビデオ信号であり得る。従って、マージ済みのビデオ信号は、LSB内にマージ情報を含む先に説明されたマージ済みのビデオ信号6であり得る。図8の従来技術のビデオ復号器プロセッサでは、このマージ特性情報は単純に無視される。この実施例は、記載の手法について後方互換性があることも示す。
この実施例では、マージ済みの画像6がHDRディスプレイ上に表示され、ビデオ符号器がHDRディスプレイに適するようにダイナミックレンジを修正するためのダイナミックレンジ適合を含む。しかし、この実施例では、ディスプレイにおける復号器はLSBを読み取る機能を有さず、いかなるマージ情報、とりわけ値Aも生成することができない。これは、以下のシナリオを招き得る。
HDR画像は、シーン内の様々な捕捉対象の色彩テクスチャを高品質に符号化するのに十分な情報を使い、HDRシーン(典型的には非常に明るい領域と非常に暗い領域との両方を含み得る)のテクスチャを符号化する画像であり、それにより、例えば5000ニット等の高いピーク輝度を有するHDRディスプレイ上で視覚的に良質なHDRシーンのレンダリングが行われ得る。典型的なHDR画像は、色鮮やかな部分又は平均照度と比べて強く照らされる部分を含む。とりわけ、夜のシーンでHDRが一層重要になってくる。HDR信号を受信するディスプレイは、例えばピーク輝度レベルを含むそれ自体の特性にマッチするようにビデオ信号を改善しようと試みる。それを行うためにダイナミックレンジ適合が行われる。例えばディスプレイのDRが符号化HDR画像のDR(即ち画像をレンダリングするのに最適な対応するリファレンスディスプレイのDR)よりも幾らか低い場合、この処理は輝度を非線形的にダウングレードする、例えば最も明るい被写体の輝度を大方下げる一方、暗い被写体の輝度をそのまま保つことができ、ディスプレイがより明るい(即ち5000ニット画像が10000ピーク輝度ニットディスプレイに最適化される)場合、その逆も同様である。同様に、例えば3000ニットディスプレイのためのHDR画像が、開始画像として100ニットグレードの入力画像から計算され得ることを当業者であれば理解されよう。
受信側/ディスプレイがビデオ信号の特性及び/又は適用されたグレーディングに関する知識を有さない場合、結果として生じるピクチャは芸術的意図に沿わない場合があり又は単純に見栄えが悪い可能性がある。従って、信号が表示されるディスプレイのピーク輝度レベル及び他の特性について画質を最適化するための処理情報を提供するために、ダイナミックレンジ適合パラメータ/命令が例えば図7に示されている信号55等によってビデオと共に含まれ得、好ましくは含まれ、又は他にディスプレイに運ばれ得る。ダイナミックレンジ適合パラメータ/命令は静的、即ち全プログラムにわたって有効とすることができ、又は動的、即ちフレームごとに若しくは(典型的には)シーンごとに変化し得る。適合パラメータは全ピクチャ領域に作用することができ、又は特定のピクチャ領域に制約され得る。
ダイナミックレンジ適合がいかなる方法で行われようとも、従来技術の方法及びシステムでは、ダイナミックレンジ適合が全画素に対して同じ態様で適用され、即ち一部の画素がグラフィックスとの混合等、異なる種類のものであることを無視する。その場合、適合は1種類の画素、即ち典型的にはビデオのみの画素についてのみ有効である。
図8では、線及びテキストを太くすることによってこの効果がシミュレートされている。
当然ながら、これは実物の現実の表現ではなく、例示であることが意図される。画像6は、適合画像6aをもたらすためにダイナミックレンジアダプタ71内でダイナミックレンジ適合DRAにかけられ、適合画像6aがHDR表示装置のディスプレイ上に表示される。それ自体、適合画像を表示することに問題はなく、データは標準データ形式であり、適合された後で表示され得る。図8では、信号の成分のLSBの1つ又は複数がオーバレイに関する情報で埋められる。しかし、標準的な復号器であると仮定される図8の例示的復号器は前記情報を読み取ることができない。
図8の実施例では、LSB内に含まれるマージ情報を考慮することなしに(又は実際にLSB内に符号化されるこの情報の知識をビデオ復号器が一切有することなしに)受信ビデオデータが直接使用される。最小有効ビットは典型的には有意性がなく又は殆どなく、そのためディスプレイはその画像がレンダリングされるときに「正常な画像」を与える傾向がある。即ち、情報を伝えるためにLSBを使用することにより、マージを含めることに起因する劣化又は誤りが多くの実施形態及びシナリオにおいて些細なものである可能性が高い。
例えば、1成分当たり14ビットのHDMI(登録商標)インタフェース上で、且つ12ビットの色成分ビデオ解像度でRGB444が使用される場合、通常6ビット(3×2)の「余分な」又は未使用のビットが画素ごとにある。従って、符号化済みの画素値に対して誤りを一切生じさせることなしに又は一切影響を有することなしに、合計6ビット(即ち、14−12=2ビット/成分×3つの成分)がマージ情報信号に使用可能である。要するに、後方互換性があるシステムを維持しながら、マージ情報を符号化する方法が多くの実施形態で実現され得る。元のビデオに必要であるよりも多くのビットがインタフェース内で使用可能な場合、さもなければ未使用のビットが利用され得るため、マージ特性データの投入がいかなる悪影響もなく実現され得る。これは、例えば(後に説明されるように)字幕のレンダリングを改善するために新たな復号器が追加のマージ情報を利用することを可能にしながら後方互換性をもたらし得る。
説明されたように、図8の従来技術の手法ではオーバレイ(とりわけ字幕及び/又はメニュー)がビデオ画像自体と同一のダイナミックレンジ適合DRAにかけられる。従って、全ての部分が等しく扱われる。知られている方法及び装置でそれを行う他の態様はない。図8では、全ての線及びテキストが均等に太くされることによってそのことが示されている。
しかし、ダイナミックレンジ適合により、字幕は視聴者が慣れている字幕の種類と異なる場合がある。実際には図8のシステムにおいて見られるように、字幕は処理されるとき、多くの場合に眩しくなる傾向があり且つ/又は輝度が振動し始めることがある。
図9は、本発明の一部の実施形態によるマージ済みのビデオ信号を処理するための機器の一実施例を示す。この機器は、とりわけディスプレイドライバ、ビデオ復号器、又は実際にディスプレイであり得る。以下、この機器はビデオ復号器として説明されるが、この機器は受信画像ストリームを復号することのみに限定されないことが理解されよう。むしろこの機器は、とりわけ入力輝度範囲から出力輝度範囲への適合をもたらし得るダイナミックレンジ適合も行うことができる。とりわけダイナミックレンジ適合は、(例えばニット単位で与えられる)第1の最大輝度又は白レベルに対応するダイナミックレンジから、(例えばニット単位で与えられる)第2の最大輝度又は白レベルに対応するダイナミックレンジに受信画像を適合させることができる。
ダイナミックレンジ適合は、例えばLDRダイナミックレンジを基準とする画像データからHDRダイナミックレンジを基準とする画像データに対するものであり得る。従って、ダイナミックレンジ適合はLDRレンジからHDRレンジに対するものであり得る。他の実施形態では、ダイナミックレンジ適合がHDRレンジからLDRレンジに対するものであり得る。更に他の実施形態では、ダイナミックレンジ適合が例えばHDRレンジから別のHDRレンジに対するものであり得る。更に他の実施形態では、ダイナミックレンジ適合が例えばLDRレンジから別のLDRレンジに対するものであり得る。
この実施例では、先に説明されたようにマージ済みのビデオ信号6がビデオ処理システムによって与えられる。従って、マージ済みのビデオ信号6は、少なくとも一部の画素について1つ又は複数の色成分のLSB内にマージ情報を含む。従って、入力がマージ済みのHDRビデオ信号を受信する。先に説明されたように、基礎を成すHDR画像/ビデオシーケンスの表現を与える点でビデオ信号はHDRビデオ信号である。しかし、実際のビデオデータはLDRダイナミックレンジを基準とすることができ、とりわけマッピング又はカラーグレーディングによってHDR画像から生成されるLDR画像であり得る。しかし、逆マッピングを適用することによって元のHDR画像を生成することができ、従って受信ビデオ信号は本質的にHDR画像/ビデオの表現である。
このシステムは、所与の画素についてビデオ信号の1つ又は複数の色成分に関する少なくとも1つ又は複数の最小有効ビットを読み取るように構成される読取機72を更に含む。読取機72は、読み取った最小有効ビットから1つ又は複数の値Aを生成するように構成され、1つ又は複数の値Aは所与の画素のマージ特性を示す。マージ特性は、ビデオ画像信号2に対する1つ又は複数のオーバレイ信号3、4のその画素に関するHDRビデオ信号内のマージの特性を示す。とりわけ、所与の画素の値Aは、符号器内のマージ器によってその画素に対して行われるマージ操作を示す。
読取機72は、ビデオを適合させるように構成され、とりわけビデオ信号の画像に対してダイナミックレンジ適合を行うように構成されるアダプタ71に結合される。更に、アダプタ71は、生成される1つ又は複数の値(A)に応じて画素値を適合させるように構成される。従って、アダプタ71は、所与の入力ダイナミックレンジ(例えば100ニットのLDRレンジ)を基準とする画素値を受信し、異なる出力ダイナミックレンジ(例えば1000ニットのLDRレンジ)を基準とする新たな画素値を生成する。しかし、アダプタ71は全ての画素に対して同じダイナミックレンジマッピング又は関数を適用せず、むしろ画素に関する受信マージ特性に応じてダイナミックレンジマッピング/関数を修正する。例えば、純粋なビデオ画素には、(値Aによって示されるように)字幕の画素に適用されるのと異なるマッピングが適用され得る。
従って、アダプタ71は、受信されるマージ済みのビデオ信号6とは異なるダイナミックレンジを基準とする出力信号を生成する。次いでこの信号は、このレンジをレンダリングするのに適したディスプレイに供給され得る。例えば、受信LDR画像がHDR画像に変換され、HDRディスプレイ上でレンダリングされ得る。
しかし、符号器側で行われるマージに応じて適合が行われるため、はるかに高品質であると知覚される表示画像をもたらす大幅に改善された適合を行うことができる。例えば、基礎を成す画像のレンダリングを含むことなしに字幕の輝度がより適したレベルまで下げられ、且つ/又はグラフィック要素のちらつきが低減され得る。
従って、図9の実施例では、ダイナミックレンジ適合DRAが値Aに応じて行われる。値Aは復号器の読取機72内で読み取られ、その値Aを(直接又は別の形式への変換後に)示す信号73がダイナミックレンジアダプタ71に与えられ、ダイナミックレンジアダプタ71はその値Aに応じて画素値を適合させる。一部の実施形態では、ダイナミックレンジアダプタ71に信号55が与えられ(図7参照)、それにより所望のダイナミックレンジの出力画像を得るために動的適合をどのように行うか、即ち入力画像の画素値に何れの輝度又はカラーマッピング関数を適用するかに関する情報を与える。或いは機器(ディスプレイ)は、ダイナミックレンジ適合を行うためにその独自の方法を使用することができ、即ち(マージ特性値Aを除いて)外部のソースから特定の適合情報が一切受信されることなしに、ダイナミックレンジ適合及び値Aへの依存関係が機器内で決定され得る。
図9の復号機器には、色成分内のマージ特性値の符号化に関する情報を含む信号56が与えられ得る。とりわけ信号56は、何れのビットが何れの情報を含むかに関する情報を与え得る。特定の実施例では、信号56は、例えば「マージ特性情報を符号化するために青色成分の最小有効ビットが使用され、「0」は画素がビデオ画素であることを示し、「1」は画素がオーバレイ画素であることを示す」ことを示す情報を含み得る。
アダプタ71は、これらの値に応じて適合を行うように構成され得る。とりわけ、青色成分のLSB内に「1」の値を有する画素はダイナミックレンジの変更にかけられず、又は少なくともビデオ画素と同じダイナミックレンジ適合にかけられない。その結果、青色チャネルのLSB内の「1」によって示される画素はその輝度が例えばブーストされない(又は例えば異なるようにブーストされる)。図9では、ビデオ画素、即ち青色成分のLSB内に「0」の値を有する画素である画面上の画像部分が太くされた線を有する一方、青色成分のLSB内に「1」を有する部分(この実施例では字幕及びメニュー)が細い線を有することによってそれが示されている。この場合、メニュー及び字幕はブーストされない態様で表示される。かかる表示は、多くの実施形態及びシナリオにおいて知覚画質を大幅に改善し得る。
このシステムでは、読取機72が色成分のLSB値から情報を生成するように構成される。読取機72は、何れのLSBを読み取るか及び/又はそれらのLSBをどのように解釈するかを読取機72に示す信号56によって場合により導かれ、関連するLSBを読み取る。次いで読取機72は、前記LSBから1つ又は複数のマージ特性値Aを生成する。これらの値は、適合を操縦し又は制御するためにアダプタ71内で使用される。
記載の手法は、多くのシナリオにおいて性能の改善、とりわけユーザ経験の改善をもたらし得る。この手法は、ダイナミックレンジ適合が行われることを必要とするディスプレイ上で、とりわけ(基礎を成す画像並びにオーバレイの両方を含む)合成ビデオの改善されたレンダリングをもたらし得る。実際に多くの実施形態において、LDRディスプレイ向けに最適化される入力ビデオに基づき、HDRディスプレイの大幅に改善された画像のレンダリングが実現され得る。従って、ダイナミックレンジを増加するためにダイナミックレンジ適合が使用される多くの実施形態で性能の改善が実現され得る。同様に、多くの実施形態において、HDRディスプレイ向けに最適化される入力ビデオに基づき、LDRディスプレイの大幅に改善された画像のレンダリングが実現され得る。従って、ダイナミックレンジを減少するためにダイナミックレンジ適合が使用される多くの実施形態で性能の改善が実現され得る。
様々なダイナミックレンジを有する(とりわけ様々な最大輝度レベルを有する)ディスプレイの普及が進むにつれ、ダイナミックレンジ適合の必要性が一層広範にわたり且つ必要になっている(ダイナミックレンジ適合はカラーグレーディング又はトーンマッピングとしばしば呼ばれ、カラーグレーディング/トーンマッピングはとりわけ輝度のみが変更される輝度グレーディングであり得る)。しかし、様々なダイナミックレンジ及び最大輝度レベル(白点)間の適合は本質的に実現するのが非常に困難なことである。実際に、従来かかるダイナミックレンジ適合は所与のディスプレイの白点について人がそれぞれの画像を手動で(又は一部の事例では半自動で)最適化することによって行われてきた。例えば映画をフィルムからテレビに変換するとき、ダイナミックレンジの大幅な低減が典型的には必要とされ、従って(例えば映画作品をDVDに変換するとき)概してLDRダイナミックレンジへの手動のカラーグレーディングが行われている。かかるダイナミックレンジ適合は熟練した職人にとっても非常に困難であり、最適化には非常に時間がかかる。更にその手法は、1つの又は少なくとも非常に少ないダイナミックレンジ/白点に対するダイナミックレンジ適合のみを本質的に可能にし、全ての単一のダイナミックレンジが別々の手動作成を必要とする。
使用されているダイナミックレンジの多様性が大幅に増したことにより、この手法はもはや実現可能ではなく、又は少なくともかかるカラーグレーディングを行うのに必要な資源及び同一コンテンツの複数のバージョンを流通させるのに必要な資源の両方の観点から望ましくない。従って、個々の装置内で行われる局所的且つ自動化されたカラーグレーディングの人気が益々高まりつつある。例えば多くのディスプレイは、ディスプレイの特定のダイナミックレンジ/白点に合わせて受信ビデオ信号を修正するために自動カラーグレーディング/ダイナミックレンジ適合を行うための機能を含む。これは、様々なダイナミックレンジの入力信号をディスプレイの白点に対応する特定のダイナミックレンジに適合させるための機能を(後方互換性を含む)互換性の理由から概して含むHDRディスプレイにとって特に重要である。とりわけ殆どのHDRディスプレイは、LDRからHDRへのマッピング機能を含む。
しかし、様々なダイナミックレンジに適した画像を作成する作業は非常に困難である。
所与のダイナミックレンジに適したフォーマットで画像を表現するために、符号割当関数又は電気光伝達関数(EOTF:electro optical transfer function)がしばしば使用される。かかる符号割当関数又はEOTFは、(デジタル)値と対応する光出力との間のマッピングを行い、即ち所与の画像/レンジに関する符号割当関数は、HDR線形輝度値から適切な量子化ルマコード(luma code)へのマップを提供する。HDR線形輝度値は、例えば値当たり比較的多数のビット(例えば16ビット)を有する浮動小数点値として表わされることが多い。対照的に量子化ルマコードは、典型的には比較的少数のビット(例えば8ビット)によって、多くの場合整数値としてルマ値を表す。
LDRとHDRとの違いはダイナミックレンジの大きさだけはなく、むしろ殆どのシーン内の相対的な強度分布もLDR表現とHDR表現とで大幅に異なる。
実際、HDR画像/ビデオは、典型的には従来の(LDR)画像/ビデオと異なる強度分布を有する。とりわけ、高ダイナミックレンジ画像データのピーク対平均輝度比ははるかに高い。従って、従来適用されている符号割当曲線又はEOTFはHDRデータについては次善の傾向がある。従って、HDR輝度値から符号化済みのルマ値への従来のLDRマッピングが使用される場合、著しい画像劣化が多くの場合起こる。例えば、多数の符号が更に高い輝度範囲のために確保されているため、画像コンテンツの殆どは少数の符号値によってのみ表わされ得るが、その多数の符号は典型的には少数の非常に明るい画像物体のみに使用される。
例えば100cd/m2ピーク輝度のリファレンスモニタ上で表示されることが意図される現在の標準的なダイナミックレンジビデオは、現在の標準的なルマ/輝度領域内で通常符号化され、かかる領域はそれらの対数曲線又は符号割当関数/EOTFを使用して規定される。その例は、sRGB又はITU Rec.709の対数データに使用される曲線である。
HDR画像/ビデオは、典型的には(例えばディスプレイによってレンダリングされる輝度として定められるとき)現在の標準的なダイナミックレンジ画像と異なる輝度分布を有する。例えば、現在のビデオコンテンツ分布は概してピーク輝度の20%前後でピークに達する(これは、ルマコードが例えば255値の半分前後に問題なく広がっていることを意味する)が、HDRコンテンツは多くの場合、ピーク輝度のはるかに低いパーセンテージ、例えば1%前後でピークに達し得る(HDR画像の少なくとも暗領域のデータは、符号の最大値の100分の1において符号のあたりで広がる)。従って、現在の標準的な対数曲線を使用して符号化される場合、関連するHDRコンテンツの殆どは8ビット又は10ビットビデオレベルの僅かにのみ含まれる。これは、プレビュー画像内の激しく許容できない量子化アーティファクトを引き起こし、従ってカラリストがHDR画像をカラーグレード/補正するのを妨げる。
従って、そのような8ビット又は10ビットの入力フォーマットを有する既存のディスプレイに適した符号を生成するために従来の符号割当関数がHDR画像に使用される場合、例えば画像内にある強度の殆どがごく少数の入力レベルにわたって分散されながら表示画質の大幅な低下が起こる。
線形の光の輝度をそれらが実際の技術的符号に合わせてディスプレイのレンダリング時にどのように見られるべきかにマップする(又はその逆も同様である)符号割当関数は、従来LDRモデル(gamma 2.2等)に主として基づいてきたが、100ニット又はcd/m2(以下ニットという用語及びcd/m2の両方が使用される)前後のピーク輝度のLDRディスプレイのみに最適であった。かかる手法が(例えば5000ニットのピーク輝度を有する)HDRディスプレイに使用される場合、ビデオの暗い部分内のバンディング(例えば紺色の空の中のとりわけフェードに関するバンディング)等のアーティファクトが表示されるリスクがある。
従って、HDR画像を最適にサポートするために、最も重要なビデオデータに十分な数の量子化レベルが割り当てられるように適した符号割当曲線が使用されるべきである。
しかし、適切な符号割当関数を見つけることは極めて重要なだけでなく困難でもある。実際、符号割当関数を決定するときの課題は、入力輝度値とルマコードとをどのように最適にマップするかである。選択されるマッピングは(例えば量子化誤差により)結果として生じる質に強く影響するため、実際にこれは極めて重要な問題である。更に、画質に対する影響は、符号化/復号されている画像の特性及び性質並びに画像をレンダリングするために使用される機器に依存し得る。
当然ながら、最も単純な手法は単純に均一の量子化を使用することである。しかし、かかる手法は多くのシナリオにおいて次善の性能をもたらす傾向がある。従って、非均一の量子化が適用される符号割当関数が開発されている。この符号割当関数は、とりわけ入力輝度値に対して非線形関数(ルマコードマッピング/トーンマッピング関数)とその後に続く線形量子化とを適用することによって行われ得る。しかし、先に述べられたように、多くのシナリオにおいて規定の関数が次善の結果をもたらすことが分かっている。例えば値当たり比較的少数のビット(典型的には8ビット)を用いてLDR回路によって処理できるようにするために、例えばHDR画像に符号割当関数を適用することはHDR画像の次善の変換、とりわけ画像値が少数の量子化レベル/符号のあたりに集中することをもたらす傾向がある。
ある意味で、ダイナミックレンジ適合は、あるダイナミックレンジ/最大輝度に関連するある符号割当関数から、別のダイナミックレンジ/最大輝度に関連する別の符号割当関数への変換と見なされ得る。ダイナミックレンジ適合の前後の画像を表す符号は同じ又は異なるビット数を有し得る。
例示的画像のシナリオ(図10参照)を検討することによって問題を示すことができ、この画像は、幾つかの明るい街灯1005が前にある平均的に明るくされた家1003の隣の影に隠れる暗い怪獣1001を含む夜のシーンを示す。更に、平均的な灰色の又は薄暗い車1007があり得る。
図10は、この画像の3つの表現を示す。左側には、(この実施例では5000ニットまでの輝度を捕捉可能なHDRカメラによって捕捉される)現実世界のシーンの実際の輝度が(ニット単位で)示されている(又は典型的には元のカメラ捕捉の5000ニットのリファレンスレンジマスタHDRグレーディングを表し得る)。捕捉データは典型的には高解像度で捕捉され、概して比較的少数の値まで減らされる。この特定の実施例では、5000ニットまでのレンジを表すために1024のルマコードが使用可能である。但し、5000ニットの1024ルマコードへの単純な線形マッピングは適当ではなく、それはかかるマッピングにより、暗領域内の区別を行うのに使用可能な値が非常に少なくなる一方、明領域では必要以上に多数の符号が使用可能になるからである。これは、暗領域内のバンディング等のアーティファクトを引き起こす。
代わりに非線形符号割当関数1009(EOTF)が使用され、とりわけSMPTE2084内で規定される(対数ガンマ形の関数である)OETFが使用される。その結果、より多くの符号が暗領域に割り当てられ、明領域に割り当てられる符号が減る。図示のように、これは、怪獣1001と車1007との間の符号値の距離が、(ニット単位で測定されるとき)現実のシーン内の輝度ではその反対が当てはまるにもかかわらず、家1003と車1007との差よりも大きくなることをもたらす。同様に、明るい街灯1005と家1003との符号の差が低減される。SMPTE2084のOETF(以下SMPTE2084と呼ばれる)は1000ニットのダイナミックレンジ(最大輝度)向けに設計されており、従って画像が1000ニットのディスプレイ上に表示される場合、受信されるルマ値を直接復号するためにOETF 2084が使用され得る。
しかし、ディスプレイが異なるダイナミックレンジを有する場合、OETF 2084を使用して復号すること及びそれをディスプレイのダイナミックレンジに直接(線形的に)スケーリングすることが適切な結果をもたらす可能性は低い。むしろ、人間の知覚は輝度レベルに対して直線性を有さないため、かかる手法は不所望の結果をもたらすことになる。例えば、より高いダイナミックレンジ(例えば5000ニット)では、かかる手法は多くの(極上に明るくはないが)明るい被写体(家1003等)が非常に明るい(明る過ぎる)ものとしてレンダリングされることをもたらす。同様に、より低いダイナミックレンジ(例えば100ニット)では、かかる手法は多くの(極上に明るくはないが)明るい被写体(家1003等)が非常に暗い(暗過ぎる)ものとしてレンダリングされることをもたらす。
一部のシナリオでは、異なるダイナミックレンジに関連するEOTFに関係するデータが(例えばBluray(登録商標)ディスク上に)与えられ得る。例えば図10は、直接のレンダリング(即ち、第3の軸と第1の軸との間のマッピング、即ち連続した2つのマッピングの組合せ)にLDR画像が必要とされる場合のHDR画像の符号化に適した代替的なEOTFを示す。見て分かるように、更に多数の符号が暗値に割り当てられ、より少ない符号が明値に与えられている。この特定の実施例は、例えば従来のgamma 2.2 EOTFを使用してSDRグレードの(即ちLDRの提示に適した)見た目をもたらすために使用され得る。かかる表現は、例えば旧来のLDRディスプレイによって直接使用され得る。
一部のシステムでは、適合型EOTFを使用することが提案されており、即ちEOTFは(異なるフレーム間で)時間的に変わり且つ/又は(異なる画像領域間で)空間的に変わり得る。
従って、一部のシナリオでは、1つの画像に複数のEOTFが提供され得る空間的に区別される手法が使用され得る。例えば画像が少数の領域(例えば画像の暗領域に対応する領域と明領域に対応する領域と)に分割され得、その領域ごとにEOTFが提供され得る。これは、画像の異なる部分の様々な特性についてEOTFが最適化されることを可能にすることができ、一部の画像(非常に暗い領域及び非常に明るい領域の両方を含む画像等)のレンダリングの改善をもたらし得る。
例えば、怪獣1001を含む暗領域に対応する領域では、暗値に割り当てられる非常に多数の符号を有するEOTFが使用され得る。かかるEOTFは、暗いレンジ内の解像度を局所的に高め、それにより区別の改善をもたらす(例えば全領域が暗いにもかかわらず怪獣を見えるようにする)ことができる。同時に、より明るい領域として識別されている領域には異なるEOTFが提供され得る。例えば、車付近のより明るい領域に異なるEOTFが提供され得る。例えば車を含むより明るい領域に使用されるこのEOTFでは、暗値に少ない符号が割り当てられ、ミッドレンジにより多くの符号が割り当てられ得る。これもまた区別を改善し、バンディング等を減らし得る。従って、この手法を使用することは、(例えば量子化誤差が低減された状態で)シーン全体の表現を改善することを可能にする。同様に一部の事例では、例えば明るい画像についてよりも暗い画像について多数の符号を暗いレンジに与えるように、EOTFがフレーム間で適合され得る。
しかし、典型的には1つの画像/フレームごとに1つのEOTFのみが与えられ、画像/フレーム群に対して1つのEOTFのみが与えられ、実際に多くの場合、ビデオシーケンスに対して1つのEOTFのみが与えられる。以下の説明は、画像ごとに及び画像シーケンスに対して1つのEOTFが提供されることに焦点を当てる。しかし、適合型EOTFが使用される場合にオーバレイに関する特定の問題が起こることがあり、これについては後により詳細に説明される。
マージ済みのビデオ信号6は、記載されたEOTFの1つに対応するルマコードによって表わされ得ることが理解されよう。例えば、ビデオ画像信号がSDRレンジに結び付けられるEOTFに基づくルマコードを含む場合、ルマコードから元のHDR値を再現することが依然として可能であること、従って画像が依然としてHDR画像の表現であることにも留意すべきである。
従って、ディスプレイが特定のダイナミックレンジに関連するEOTFによるビデオ信号を受信する場合、そのダイナミックレンジがディスプレイのダイナミックレンジにマッチしない場合にダイナミックレンジの変換を行うことが望ましい場合がある。しかし、先に述べられたように、それは単に線形スケーリングを行う事例ではない。むしろ人間の視覚系を反映するために、ダイナミックレンジ適合は(場合により区分的に線形でも)概して非線形であるべきである。例えば、ダイナミックレンジが大幅に高められても、輝度に関して暗レベルは概して高められるべきではない。即ち、暗信号は、LDRディスプレイのためのカラーグレーディング内で著しく圧縮されないことが多い。しかし、中位の輝度レベルは輝度に関して概して幾らかブーストされるべきであるが、多くの場合ブーストが大幅であり過ぎないことが重要であり、なぜなら、かかるブーストは明領域が多過ぎる人工的な見た目を作り出す場合があるからである。しかし、対照的に、非常に明るい被写体は極めて大幅にブーストされるべきであり、実際に最も明るい被写体(例えば暗い画像内の車のライト)については大抵の場合最高レベルに設定されるべきである。従って、より明るい要素の輝度レベルを高めるために概して追加のダイナミックレンジ及び高められた輝度が主に使用される、漸進的なダイナミックレンジマッピングが典型的には使用される。多くの異なるダイナミックレンジマッピングがあり得ることが理解されよう。
ダイナミックレンジマッピングの一実施例が図12に示されている。この実施例では、ある閾値を下回る全ての輝度値に直線の線形マッピングが提供され、その閾値を上回る全ての輝度値に異なる線形マッピングが提供される。この手法は、暗い輝度レベル及び中程度の輝度レベルに対して比較的控えめなブースト(又はブーストなし)をもたらし得るのに対し、非常に明るい領域はそれよりも大幅にブーストされる。この効果は、現実世界並びに人間の視覚系の知覚の両方の典型的な輝度条件を反映する。
しかし、かかるダイナミックレンジマッピングは理想的なグレーディングへの近似のみをもたらす。1つの問題は、曲線が比較的単純であり、従って最適なダイナミックレンジマッピングを概して反映できないことである。もう1つの問題は、ダイナミックレンジマッピングが表示されている画像コンテンツの仮定に基づくことであり、そのためダイナミックレンジマッピングは現実世界のシーンの仮定上の典型的な画像を得るために最適化される。しかし、他の画像又は他のコンテンツの種類では、この曲線は多くの場合に著しい劣化を伴う理想的とは言えない性能をもたらし得る。
実際に本発明者らは、オーバレイデータについて特定の問題がしばしば起こることを認識した。例えば、多くの場合、オーバレイグラフィックスは基礎を成す画像よりも目立つ明るい画像物体として表示される。しかし、画像内の明るい被写体が極めて大幅にブーストされる(「極上に明るく」なる)べきであるのに対し、かかるダイナミックレンジ適合はオーバレイグラフィックスが気に障るほど、時には不快なほど明るくなることを引き起こす。従って、同じダイナミックレンジ適合を適用することは、オーバレイグラフィックスについて極めて不所望の効果を引き起こす傾向がある。
多くの実施形態において、ダイナミックレンジ適合はディスプレイにおいて行われる。これは、ダイナミックレンジ適合が個々のディスプレイの特定の特性に合わせて適合されることを可能にすることができ、多岐にわたるソースと共にディスプレイが使用されることを可能にし得る。多くのディスプレイにおいて、オーバレイグラフィックス(例えばディスプレイのメニュー)がディスプレイによって生成され、受信画像上にオーバレイされ得る。それらのオーバレイは、典型的には局所的に決定され、ディスプレイのダイナミックレンジを考慮に入れる適切な輝度でレンダリングされる。
しかし、オーバレイグラフィックスがディスプレイの外部で、例えばセットトップボックスによって取り入れられる場合、ディスプレイは単純に元の画像及びグラフィックスの両方を含む画像を受信する。次いでディスプレイは、オーバレイグラフィックスの気に障るレンダリングをもたらすレンジ適合を行う。例えばBDプレーヤによって字幕が追加される場合、それらの字幕は不快な輝度でHDRディスプレイ上に提示されることが多い。
この問題は、グラフィックスが元の画像と混ぜられる画像(例えば半透明の字幕が使用される等)で特に問題となり得る。この場合、半透明のオーバレイは対応する画素の輝度を高める、例えば図12のダイナミックレンジマッピングの閾値の輝度を上回る輝度をもたらす可能性がある。画像とオーバレイとの組合せの結果、高輝度ブーストが結果的に行われ得る。かかるブーストは、典型的にはオーバレイが明る過ぎると知覚されることに加え、基礎を成す画像に対して知覚される劣化をもたらし得る。例えば、字幕がオーバレイされた顔の画像では、標準的なダイナミックレンジ適合は明る過ぎる字幕をもたらすだけでなく、顔が字幕の表示領域で顔の残りの部分よりも明るく表示されることももたらし得る。従って、不自然な見た目が生じる。
この問題は適合型EOTFが使用される場合に一層悪化し得る。例えば一部のシナリオでは、明領域とは異なるEOTFが暗領域に使用され得る。かかるシナリオに固定された(例えば出力ルマ値に対する入力ルマ値の固定されたマッピングを伴う)ダイナミックレンジ適合を適用すること、及びその後に続く局所的EOTFに基づく適合された値の解釈は、グラフィックスオーバレイの効果的なブーストがグラフィックスの部分ごとに異なることをもたらす。例えば、ダイナミックレンジ適合は(例えば1000ニットレンジに関係する)723のルマ値を(例えば5000ニットレンジに関係する)例えば617の値にマップすることができる。しかし、この値は暗領域のEOTFでは例えば110ニットに対応すると解釈され得るが、明領域のEOTFでは例えば150ニットに対応すると解釈され得る。従って、グラフィックスオーバレイが暗領域及び明領域の両方にわたって広がる場合、意図されていないにもかかわらずグラフィックスの輝度が表示時に実際に変化する。従って、グラフィックスオーバレイにわたって揺らぎが生じる。
時間の次元において適合性があるEOTFが適用されるときも同じことが起こる。かかるシナリオでは、グラフィックスの輝度が異なるフレーム間で変化し、例えば脈動する字幕が生成されることを引き起こす。
これを図22の実施例によって示すことができ、図22は、異なる時点において生じ得るあり得る2つのEOTFを示す。この実施例では、TM1と名付けられたEOTFは第1のフレームに与えられるETOFとすることができ、TM2と名付けられたEOTFは第2のフレームについて受け取られるEOTFであり得る。従って、これらの2つのEOTFは、ビデオシーケンスの異なるフレームに適用される2つの異なるダイナミックレンジマッピングを表す。
この実施例では、TM2が、第1の時点における受信ビデオ画素の輝度(又はルマ)に関するダイナミックレンジマッピング(EOTF、更にトーンマッピングと呼ばれることもある)である。このマッピングは実際には基礎を成すビデオコンテンツ向けである(即ちビデオが提示されるときに所望の見た目を与えるように設計されている)。しかし、画素がオーバレイを含む場合、(例えば幾らかの明るいテキスト又はメニューの色が基礎を成すビデオと混合されているため)そのことがより明るい輝度(1−α)*vid(x,y)+α*グラフ(x,y)を有する画素をもたらす。TM2による処理は周囲のビデオ画素の輝度を超えて大きく値を増やさない可能性があるが、このダイナミックレンジマッピングは、少なくともグラフィックス/オーバレイ領域が急に非常に明るくならないことを規定する。代わりにTM1が使用される場合、オーバレイからの追加の寄与が入力輝度をTM1によって非常に強引にブーストされるレベルまで押し上げるため、オーバレイ部分が非常に明るくなる。
従って、提供されるダイナミックレンジマッピング(EOTF)が動的に時間変動する場合、オーバレイ画素(例えば字幕及びメニュー)の提示が異なるフレーム間で変わる。これは単に白色のメニューテキストがビデオと混合されたため、例えば暗値と明値との間を振動するものとして視聴者によって見られることになるが、かかる表示はその領域にとって不所望であり得る。代わりに、この手法の一部の実施形態はかかる画素を検出すること、次いで限られた輝度Lim_vidで、例えばグラフィックス画素に対して受信入力輝度(1−α)*vid(x,y)+α*グラフ(x,y)よりも常に20%明るくレンダリングすること、又は例えばメニュー内のテキストでは50%明るく、メニューの長方形内の背景グラフィックス画素では10%明るくレンダリングすることを可能にする。
従って、特定のディスプレイにマッチさせるためのダイナミックレンジ適合は標準的なビデオにとって非常に難しいが、グラフィックスオーバレイを含むマージ済みの信号では特に困難である。実際に、グラフィックスがディスプレイの外部にある別個の装置において単純に追加される従来の手法は著しいアーティファクトが取り入れられることを招く傾向があり、とりわけ例えばグラフィックスの輝度の歪み及びばらつきをもたらす傾向がある。
国際公開第2014/130213号では、グラフィックスのオーバレイ、即ちビデオに対するグラフィックスのマージは、ディスプレイによって外部装置に与えられる情報に応じて行われるべきであると提案されている。従って、国際公開第2014/130213号で提案されているシステムでは、ディスプレイがディスプレイに関係するデータ、例えばディスプレイがLDRディスプレイであるか、又はHDRディスプレイであるかを外部装置に伝える。それに応答し、外部装置がグラフィックスオーバレイの特性をマージ前に適合し、その後マージ済みの画像をディスプレイに与え、ディスプレイはグラフィックスオーバレイが一切ない画像であるかのようにその画像の表示に進む。従って、この手法では、ディスプレイは単純に全ての画像を同じ態様で扱うが、外部装置がディスプレイから受信されるディスプレイ特性データに基づいてグラフィックスオーバレイをマージ前に適合させることができる。
図1〜図7及び図9のシステムでは、異なる手法が取られている。これらの実施例では、ディスプレイの特定の特性を考慮することなしにマージが行われる可能性があり、即ち外部装置は使用されている特定のディスプレイのいかなる情報も有さない可能性がある。マージ前のそれぞれの成分の適合は行われない。しかし、外部装置はディスプレイにマージ特性情報を与え、その情報は、適合性のあるダイナミックレンジ適合を行い、ディスプレイの特定のダイナミックレンジで表示されるように画像を新たな目標に向けるためにディスプレイによって使用され得る。
従って、目下の手法では、ソースとなる外部装置(例えばBDプレーヤ)が、ディスプレイのダイナミックレンジ適合を制御し又は操縦し得る追加情報をディスプレイに与えるフィードフォワード構造が適用される。この手法は、固定されたダイナミックレンジ適合が使用され、マージ前の且つ上流で供給される情報に基づくグラフィックスオーバレイの修正のみが行われる従来技術のフィードバック手法とは対照的である。
この手法は幾つかの利点をもたらす。まず多くの実施形態においてこの手法は、グラフィックオーバレイ及び/又は画像のレンダリングが特定のディスプレイにより正確に適合された状態で、大幅に改善された画像が生成されることを可能にする。例えば、それぞれのディスプレイの特性を直接反映するEOTFが使用され得る。実際に、多くの実施形態において、画像コンテンツ及びオーバレイコンテンツのそれぞれについてダイナミックレンジ適合が個々に最適化され得る。例えばビデオ画素又は画像画素として指定されている画素では、特定のダイナミックレンジ(及びディスプレイの他の特性)に対する画像コンテンツの(何らかの態様で)最適化されたマッピングを反映するビデオダイナミックレンジマッピングが適用され得る。オーバレイ画素として指定されている画素では、グラフィックスオーバレイの所望のレンダリングを与えるためにグラフィックスダイナミックレンジマッピングが適用され得る。
従って、多くの実施形態において、それぞれビデオ/画像コンテンツについて及びグラフィックスオーバレイについて、この手法は個々に最適化されたダイナミックレンジ適合を可能にし得る。
この手法は、とりわけダイナミックレンジ適合に対する制御がディスプレイと共に残ることを可能にすることができ、即ち入力ダイナミックレンジをディスプレイのダイナミックレンジに適合させるための機能をディスプレイが含む。ダイナミックレンジマッピング及び実際にEOTFがディスプレイの正確な特性について最適化され得るため、これは非常に有利であり得る。この手法は多くの場合、グラフィックスオーバレイ、とりわけビデオ及びグラフィックス(特に透明なグラフィックス)の両方からの寄与が存在する領域に対するより柔軟なマッピング及び制御をもたらし得る。ディスプレイは、例えばグラフィックスを(例えばディスプレイの利用者によって設定される)所定の輝度に設定することができる。
更に、多くの状況において、改善された資源がディスプレイでは使用可能である。例えば、典型的にはテレビは比較的高価な品物であるのに対し、例えば多くのBDプレーヤは非常に安価な品物である。従って、テレビの方が大幅に多い計算資源を有することが多く、実際に設計及び開発に使用可能な財源も大幅に多い場合がある。従って、テレビのダイナミックレンジ適合は、安価なBDプレーヤのダイナミックレンジ適合よりも多くの場合優れている可能性がある。記載の手法は、任意の適合がマージ前であることを必要とするのではなく、マージが行われる場所の更に下流でダイナミックレンジ適合が行われることを可能にする。これは、オーバレイを含むマージ済みの画像についてもかかる改善されたダイナミックレンジ適合が利用されることを可能にする。
従って、この手法は、下流のダイナミックレンジ適合がそれぞれの画素に合わせて適合されることを可能にし、とりわけそれぞれの画素の特定のマージ特性に合わせて適合されることを可能にする。実際に一部の実施形態では、画像及びグラフィックスコンテンツの個々に最適化された適合がマージの下流で実現され得る。
行われる正確なダイナミックレンジ適合及びダイナミックレンジマッピング、並びにマージ特性に対する依存関係は、それぞれの実施形態の好み及び要件に応じて様々な実施形態の間で異なり得る。
以下、アダプタ71の幾つかのあり得る手法について説明され、とりわけマージ特性に応じて区別されるダイナミックレンジマッピングの幾つかの実施例が説明される。但し、これらは例示に過ぎず、他の実施形態では他の手法が使用され得ることが理解されよう。
一部の実施形態では、対応する画素が画像/ビデオ画素であるか、又はオーバレイグラフィックス画素であるかを値Aによって示されるマージ特性が反映し得る。従って、この実施例では、画素は、基礎を成す画像/ビデオの画素に対応すると見なされ得るか、又はオーバレイ画素であり得る。かかる実施例では、画素がビデオ画素であると示される場合に第1のダイナミックレンジマッピングを適用し、画素がオーバレイ画素であると示される場合に別の第2のダイナミックレンジマッピングを適用するようにアダプタ71が構成され得る。
例えば、第1のダイナミックレンジマッピングは、高輝度レベルを得るための非常に大胆なブーストを行うことにより、入力LDRダイナミックレンジをHDRダイナミックレンジにマップすることができる。例えば図12のものに対応するマッピングが、第1のダイナミックレンジマッピングに使用され得る。対照的に第2のダイナミックレンジマッピングは、高輝度レベルへの追加のブーストを一切行わない単純な線形関数であり得る。実際に、第2のダイナミックレンジマッピングは、LDRディスプレイ上に提示されようがHDRディスプレイ上に提示されようがオーバレイ画素の輝度が全く同じであることをもたらす単純な恒等写像であり得る。従って、かかる手法の結果として、例えば街灯又は太陽等の明るい光源が非常に高いHDR輝度レベルで表示される一方、字幕等のオーバレイが依然として通常の輝度レベルで表示される状態でHDRシーンの表現が実現され得る。
かかる手法の特定の実施例として、例えば画素がオーバレイ画素であることを示し得るマージ特性が生成され得る。オーバレイのソースは、例えば字幕又はメニューを生成する生成器等、例えばローカルグラフィックス生成器からとすることができる。或いは、オーバレイは第2のビデオ画像信号の一部として受信され得、この信号は例えばグラフィックス又は字幕等のオーバレイコンテンツを含み得る。
かかるシナリオでは、輝度値が所与の所定範囲に制限されるように、アダプタ71は画素がオーバレイコンテンツであると示されている領域内の画素を適合させるように構成され得る。これは、ディスプレイの輝度能力に関係なく、オーバレイが妥当な輝度範囲内で提示されることを確実にし得る。
所定の範囲は、例えばディスプレイではディスプレイのダイナミックを反映する予め設定された範囲であり得る。例えばこの範囲は、例えばピーク輝度の10%の上限と、例えばピーク輝度の1%及び1ニットのうちの大きい方の下限とを有し得る。或いは又は加えて、所定の範囲は視聴者等によって決定され得る。
この手法は、カテゴリごとに別個のダイナミックレンジマッピングが選択される状態で、3つ以上のカテゴリに容易に拡張され得ることが理解されよう。例えば、ある画素の値Aはその画素がビデオ画素か、字幕画素か、メニュー画素かを示すことができ、あり得る3つのダイナミックレンジマッピングのうちの1つがしかるべく選択され得る。従って、この実施例では、グラフィックスカテゴリが、特定のグラフィックスの種類を示す複数の下位カテゴリへと更に細分される。
この手法は、値Aによって示される特定のカテゴリに所与の画素をハード割当て(hard allocation)することに限定されないことも理解されよう。例えば値Aは、所与の画素の画像に対するグラフィックスの相対的な重みを示し得る。次いでアダプタ71は、値Aが例えば50%を下回る場合に第1のダイナミックレンジマッピングを選択し、例えば50%を上回る場合に第2のダイナミックレンジマッピングを選択することができる。
多くの実施形態において、アダプタ71は、画素がビデオ/画像信号に属することを値Aが示す画素の輝度値のブーストに対して、画素がオーバレイに属することを値Aが示す画素の輝度値のブーストを低減するように構成され得る。この低減は、とりわけ(例えばアダプタ71への入力信号の最大輝度レベルの50%、60%、70%、又は80%の)閾値を上回る輝度値であり得る高輝度値に対するものであり得る。
一部の実施形態では、オーバレイ画素であると示されている画素の輝度レベルを、ダイナミックレンジ適合の出力に関する最大可能輝度レベル未満の限界輝度レベルに制限するようにアダプタ71が構成され得る。とりわけダイナミックレンジ適合は、入力ダイナミックレンジから出力ダイナミックレンジへのダイナミックレンジマッピングを行うことができる。出力ダイナミックレンジは、最大可能輝度レベルを有し得る。しかし、(値Aによって示される)オーバレイカテゴリに属する画素については、ダイナミックレンジマッピングがその最大レベルを下回る最大輝度レベル又は限界輝度レベルに制限される。従って、オーバレイ画素の限界輝度レベルは非オーバレイ(ビデオ)画素についてよりも低く、多くの実施形態において(出力ダイナミックレンジの最大値を除き)ビデオ画素の輝度限界がない場合がある。
一部の実施形態では、所与の輝度レベルまで、マージ特性とは無関係に(即ち値Aとは無関係に)全ての画素に対して同じダイナミックレンジマッピングが適用され得る。しかし、この輝度レベルを上回る値では、マージ特性の様々な値に対して異なるダイナミックレンジマッピングが適用され得る。特定の実施例として、最大出力輝度レベルがオーバレイ画素の最大値に限定されることを除き、全ての画素に対して同じダイナミックレンジマッピングが適用され得る。
かかる手法は、例えば満足な結果を与える効率的なマッピングをもたらすことができ、例えば明るいグラフィックスが灰色になり過ぎないことを確実にしながら、灰色のグラフィックスがHDRディスプレイについてサポートされることの両方を可能にする。
一部の実施形態では、アダプタ71は、オーバレイ画素であると示される画素にほぼ同じ輝度レベルを割り当てるように構成され得る。例えば、ビデオ画素には通常のダイナミックレンジマッピングが適用され得る一方、グラフィック画素には単純に所定値が与えられる。かかる手法は、グラフィックスの(ディスプレイにとって)適切な提示が実現されるだけでなく、その提示が安定することも確実にされる非常に満足な結果をもたらし得る。例えば、かかる手法は適用されるEOTF内の適合の変化の影響を受けず、画像にわたる又はフレーム間の揺らぎを防ぐ。
図11は、本発明の一部の例示的実施形態による方法を示す。
ステップ101で、マージ済みの画像データ(マージ済みのビデオ信号6)が受信される。ステップ102で、LSBの1つ又は複数が読取機72によって読み取られる。ステップ103で、符号器側で行われるマージのマージ特性を示す値Aが生成される。ステップ104で、生成された値Aに応じて画像に対してダイナミックレンジ適合が行われる。ステップ105で、その結果生じる画像が表示される。
例えば、ステップ102とステップ103とが単一のステップ内で実行され得ることが理解されよう。この方法は更なるステップを含み得ることも理解され、例えばメタデータ又はフラグが読み取られ得る。一実施例として、入力において信号56が読み取られ得、ステップ102及び/又は103の操作を制御するために取得情報が使用され得、例えば取得情報は何れの値Aが色成分から抽出されるべきかを制御し得る。取得情報は、ステップ104の操作、即ちステップ104で適合がどのように行われるべきかも制御し得る。例えばメタデータは、何れのLSBが何れの情報を含むかを示す情報を含み得る。一部の実施形態では、生成される値Aが、関連する最小有効ビットの値として直接決定され得る。他の実施形態では、生成される値Aは適切なLSBから導出される値であり得る。
例えば、オーバレイの透明度を示すために2個又は3個のLSBを使用する選択肢があり得る。読取機72は、2ビットの指示では(3を含む)0〜3の範囲内の値を読み取ることができ、3ビットのインジケータでは7を含む0〜7の範囲内の値を読み取ることができる。
例えば信号56内のメタデータから、受信側のシステムは2ビットインジケータが使用されているか3ビットインジケータが使用されているかを確認することができ、例えば透明度値(25%、37.5%、50%等)を生成するためにそれを使用することができる。次いで、この値Aはステップ104で使用され得る。
多くの実施形態において、ビデオ信号は、例えばマージ特性がどのように符号化されたかを示す特定のメタデータ又はフラグを含み得る。
フレーム又はシーン(更にはムービー)がオーバレイを一切含まない場合、符号器がかかる情報をビデオ信号に追加すれば有用な場合がある。復号器はその情報を読み取り、オーバレイを一切含まないことを知るため、その情報に基づいて例えばその後のフレーム、シーン、又はムービーを無視することができる。従って、復号器は、次のフレーム、シーン、又はムービー内で読み取るステップ及び生成するステップを飛ばし、ステップ105に直接進んで動的適合を行い得ることを「知る」。復号器は、信号の全ビットをビデオ情報として使用し、それによりビデオの質を高めることもできる。
この方法の一実施例は以下の通りである。図4〜図7に関して説明されたように、符号器51によって生成されるマージ済みのビデオ信号6が提供される。この実施例では、画素がビデオ画素であることを示すために「1」の値Aが使用され、画素がオーバレイ画素であることを示すために「0」の値が使用される。
復号器がマージ済みのビデオ信号6を受信し、読取機72(図9参照)がAの値を下記の通り読み取る。
ある画素についてA=0の場合、その画素はビデオ画素であり、ステップ104で動的適合が行われる。殆どの画素でこの動的適合が値の変化をもたらす。
A=1の場合、ダイナミックレンジ適合が行われず、画素値が変更されない。従って、ダイナミックレンジ適合が変更を加えることなしに全てのグラフィックス/オーバレイがレンダリングされ得る。とりわけ、これは、例えば白色のオーバレイがHDR輝度レベルまでブーストされないことをもたらし得る。
これは画素のマージの種類が示される実施形態の一実施例である。この実施例では、純粋なビデオ(A=0)及び純粋でないビデオ(A=1)という2つのマージの種類が使用され、従って2進値で十分である。
このスキームの改変形態は下記の通りであり得る。純粋なビデオは「0」の値Aで示され、メニュー画素は「1」の値で示され、字幕画素は「2」の値で示される。
ある画素についてA=0の場合、その画素はビデオであり、ダイナミックレンジ適合が行われ、多くの画素の値の変化をもたらす。
A=1の場合、その画素はメニュー画素であり、画素値は変更されない。
A=2の場合、その画素は字幕画素であり、受信側は何れの強度値、従って何れの成分値が字幕について最も優れた視認性をもたらすかを示す表を使用することができる。画素値はその値で置換される。
これは画素のマージの種類又はカテゴリが示される実施形態の更なる実施例である。この実施例では、純粋なビデオ(A=0)、メニュー(A=1)、及び字幕(A=2)という3つのマージの種類がある。
メニュー画素では、一部の実施形態では(例えば異なる表によって与えられる)「最良値」があり得、画素について、入力信号の成分値がかかる値によって置換され得る。
例えば0〜7の値を使用し、0が100%ビデオであり7が100%オーバレイであるビデオとオーバレイとの混合では、結果は例えば2つの極値A=0(ビデオのみ)及びA=7(オーバレイのみ)の結果の間にある。例えば、0〜7の関連値Aを有する画素値では以下の結果が求められ得る。
輝度値(A)=輝度値(A=0)+(A/7*(輝度値(A=7)−輝度値(A=0))
又は簡単に言えば、2つの極限の画素値間の線形スケーリングが行われ得る。従って、ディスプレイは、画素の透明度レベルに応じてダイナミックレンジ修正量をスケーリングすることができる。
一部の実施形態では、例えばビデオ又はオーバレイをより強調する場合、スケーリングが非線形であり得る。例えば、スケーリングは対数スケールに基づき得る。
この実施例では、適合が画素の値Aに依存し、即ち画素ごとに決まる。より複雑な実施形態では、復号器が値Aの全て若しくは群、又は画像若しくは画像の一部にわたる値Aの分布を解析し、一部の(又は全ての)画素の動的適合を(画像内のAの値を解析することに応じて)修正することができる。例えば以下のことが言える。
画像の一部がメニューである場合、画像全体がLDRで表示され得る。例えば、メニューの四角形の周りのビデオ領域が意図される元のブーストを行い得る一方、ディスプレイは、例えばメニューが輝度Yxよりも明るくなく、場合によってはYyよりも暗くないように、メニューが何らかの(LDR)輝度値の近くにある態様で変換を適用し得る。そのような比較的単純な方策は混合色に必要とされる正確な値を常に計算しない可能性があっても、より幅狭く振動するより現実的なメニューの色を作り出す傾向がある。全ての画素の最終結果が境界の範囲内にあるようにテレビが色変換を計算し得る様々な態様があり、例えばテレビはそれを反復的に行うことができる。
符号器は、例えばシーン又はショット内の画像に関する何らかの統計情報を(信号56又は別の信号内で)与えることができる。最も単純な形態では、例えば符号器は画像内に更には全ビデオ又はムービー内に幾らかのオーバレイがあるかどうか、及びメニュー部分があるかどうかを示すことができる(例えばメニュー部分に関する何らかのパラメータが統計的に伝えられ、その部分の処理又はその部分の色特性の識別を助けることができる)。
図12は、例示的なダイナミックレンジ適合を概略的に示す。「ダイナミックレンジ適合」は、任意の種類のダイナミックレンジ適合色変換(即ち信号がその輝度をあるレンジ、例えばYニットの最大輝度レベルから別のレンジ、例えばXニットの最大輝度レベルに適合させるように色変換される)の簡略形と見なされ得る。色変換は、クロマの変換又は変更を含む必要はない(但し、含み得る)。
横軸は入力信号の輝度値を表し、例えば2000ニットの最大輝度レベルで表示するためにグレーディングされ得る。入力信号は、最大5000ニット提供可能なディスプレイ上に表示される。この実施例では、入力信号が2000ニットの最大輝度値にグレーディングされ、ディスプレイのより高いダイナミックレンジに合わせてマップ、即ち適合されなければならない。
これが図12のグラフによって概略的に示されており、このグラフは入力信号の輝度値(IL、入力輝度値)に応じたディスプレイの輝度値(OL、出力輝度値)を与える。OLとILとの関係が線110によって与えられる。図12に示されているダイナミックレンジ適合/マッピングを使用することは、線110の部分110aによって示されているように暗部(スケールの下端付近の輝度値)が全てのディスプレイ上で同じくレンダリングされる一方、線110の部分110bによって示されているように明るい光(スケールの上端付近の輝度)がブーストされる(即ち輝度が高められる)ことをもたらす。従って、部分110aの傾きはとりわけ1であり得るのに対し、部分110bではそれよりも高い。
光等の明るい被写体をブーストするために、ディスプレイのより高いレンジが使用される。
この実施例は、2000ニットにグレーディングされた信号が、5000ニットの輝度まで提供可能なディスプレイに合わせて「アップグレード」される状況に関するものである。
他の実施例は以下のものを含む。
1.入力は5000ニット用であり、出力は100ニット(旧来のTV)又は1000ニット前後(初期のHDR TV)である。
2.入力は100ニット用であり、出力は1000ニット前後である。
この説明はこの実施例に限定されるものとして解釈されるべきではない。入力信号がグレーディングされる輝度範囲に対応しない輝度範囲をディスプレイが有する場合、その輝度範囲がより大きかろうが小さかろうがダイナミックレンジ適合が行われ得、従ってアップグレード(ダイナミックレンジの増加)並びにダウングレード(ダイナミックレンジの低減)が行われ得る。
図13は、ダイナミックレンジマッピングの一実施例を示し、値Aはビデオの画素では0、字幕では1とすることができる。値Rが読み取られ、A=0の場合にはダイナミックレンジ適合(DRA:dynamic range adaptation)が行われる。A=1の場合にはDRAが行われない(非DRA)。即ち、ダイナミックレンジ適合は、A=0の場合には輝度値を修正するダイナミックレンジマッピングを適用し得るが、A=1の場合には輝度値が変更されない直接の1つのダイナミックレンジマッピングを適用する。
別の実施例として、グラフィック画素が固定されたダイナミックレンジマッピングに(ビデオ程ではないが)かけられ得るのに対し、ビデオ画素は(シーンごとに異なる)可変ダイナミックレンジマッピングにかけられる。ビデオ画素に適用されるダイナミックレンジマッピングはより複雑なものとすることもでき、例えば曲線が更に急であり且つより複雑であり得る。
図14は更なる実施例を示す。この事例では、値Aについて3つの値があり得る。
A=0の場合、その画素はビデオ画素であり、画像に適したマッピングに対応するダイナミックレンジ適合が行われる。このダイナミックレンジ適合は、概して多くの画素の値を変える(DRAが行われる)。
A=1の場合、その画素はメニューであり、画素値は変更されない(DRAなしに対応する)。
A=2の場合、その画素が字幕画素であることを示す。この場合、ディスプレイは強度に関する情報、従って字幕について最も優れた視認性をもたらすと考えられる成分値を与える表を有する。次いで、画素値が索表に基づいて所定値に設定される(表はそのディスプレイ上の字幕に最適であると見なされる固定値を与える)。
従って、この実施例では、画像の表示前に画像の画素が適合にかけられる。適合パラメータ(即ち適合がどのように行われるか)は、最小有効ビット内で読み取られる1つ又は複数の値、即ち値Aによって示されるマージ特性によって決まる。値が0の場合、適合はA=1及びA=2の場合と異なる。
上記の実施形態では、比較的少数のあり得る値が値Aに使用され得る。値は、マージに関する情報、とりわけ画素がオーバレイかどうか及び/若しくはオーバレイを含むかどうか、並びに/又はその程度に関する情報を伝えるために使用されるビットの任意の組合せと概して見なされ得る。これは様々な態様で実施され得る。例えば上記の実施例では、色成分のうちの1つ(成分Iと呼ばれる)の2ビットが以下のように使用され得る。
0=ビデオ
1=メニューのみ
2=字幕のみ
3=ビデオと字幕及び/又はメニューとの両方
この実施例では、LSBの1つ又は複数内の少なくとも1つの値がオーバレイの種類を示し得る。
これはやはり混合の種類についての指示の一実施例であり得る。
この実施例では、「純粋な画素」に関する4つの混合の種類についての指示、即ち、A=0、1、2、及び混合型の画素についての1つの種類の指示、即ちA=3がある(「純粋な」という用語は入力信号の1つのみの寄与、即ち入力画像のみの寄与又はオーバレイ信号の1つのみの寄与を示し、「混合」という用語は信号の少なくとも2つからの寄与を示す)。
混合型の画素では(言及された2つのLSB内でA=3の場合)、字幕及び/又はメニューの透明度が例えば他の2つの成分(単純にするためにII及びIIIで示す)に関する最小有効ビットの2つ内で与えられ得る。成分Iの2個の最小有効ビットが「3」の値を有する場合、それはその画素が純粋な種類の画素ではなく混合型の画素であることを示す。例えばその画素は50%がビデオで50%が字幕とすることができ、そのため字幕は50%の透明度Tを有する(又は例えば50%がビデオで50%がメニューであり得る)。次いで、読取機72は他の2つの成分II及びIIIについて2個の最小有効ビットを引き続き読み取ることができる。他の成分の最初のもの、例えば成分IIについて、読取機72は2個の最小有効ビットを読み取り0の値を決定する。この値は、例えば混合内に字幕の寄与がないことを示す。読取機72は残りの成分、この場合には成分IIIを更に読み取ることができ、例えば2個の最小有効ビット内に値2があることを明らかにすることができる。この値は、例えば50%のビデオと50%のメニューとの混合を示し得る。代わりにその画素が50%のビデオと50%の字幕である場合、読取機72は第1の成分の2個の最小有効ビット内の2の値及び他方の0の値を読み取ることになる。
これはマージの種類の情報並びにマージパラメータの両方が提供される実施形態の一実施例である。
これは全て実施例で与えられており、符号化の更に多くのあり得る態様が存在する。
僅かに異なるスキームは以下の指示を使用するものである。
0=ビデオ
1=オーバレイ、又はオーバレイとビデオとの混合
最初の実施例ではこの情報のみが使用される。
このスキームは、この方法の効率的利用を実現しながら単一ビットのみを使用する低複雑度の実装を可能にすることが多い実施形態を具体化する。行われる唯一の区別は、ビデオと、オーバレイであろうがオーバレイとビデオとの混合であろうが、それ以外とであり、字幕、メニュー、ロゴ、広告等であろうがオーバレイの性質は無関係である。
僅かに複雑な実施形態では、オーバレイの透明度が、例えば別の成分内の最小有効ビットのうちの2つにおいて与えられる。
このスキームは、この方法の効率的利用を実現しながら最少数のビットを用いた低複雑度の実装を可能にすることが多い実施形態を具体化する。
本発明の上記の実施形態及び他の実施形態は、可変長符号化手法を使用して実行され得る。
マージが行われると、この手法はマージに関する情報を与え、とりわけマージ量に関する情報を与え得る。
しかし、マージが行われていない場合、とりわけ画素がビデオのみの場合、画素値に関するできるだけ多くの情報を与えることが重要であり得る(即ち犠牲にするビットをできるだけ少なくするために)。
一部の実施形態では、画素の種類(即ちその画素がビデオであるか、又はオーバレイであるか、オーバレイの種類、及び/又はそれらの混合)及び/又はマージパラメータ(透明度パラメータ又は混合パラメータ)を示す成分のLSBの数が、画素のマージの種類に応じて可変である。例えば画素がビデオのみである場合、LSBの数は画素が混合である場合よりも少ない。
例えば上記で示された2つの実施例では、成分Iの2個の最小有効ビット内の指示が0である(その画素がビデオのみであることを示す)場合、混合がないため、成分II及び成分IIIの2個の最小有効ビットが混合パラメータを含む必要はない。
これらの2個の最小有効ビットは、その画素の輝度値に関する更なる詳細を与えるために使用され得、即ち値の解像度を高めるために使用され得る。
従って、マージの種類及びマージパラメータを示す値に使用されるLSBの数は、場合によりマージの種類に応じても変わり得る。可変長符号化方法が使用される場合、何個のLSBが使用されるかが復号器側で知られる必要がある。そのために、信号が符号化長信号と共に与えられ得る。符号化長信号を与える様々な態様がある。符号化長信号を与える1つの簡単な手法は、マージの種類も示す値を使用することであり得る。その場合、符号化長信号はマージの種類によって与えられる。信号が純粋な信号、従って「純粋な種類」のものである場合、マージ量に関する情報は不要である。
純粋なビデオ又は純粋な字幕等の単純な種類の画素については、追加の情報は不要である。しかし、混合型の画素、例えば字幕とビデオとを混合することによって形成される画素の種類では、マージ量(例えば50%−50%の混合であるか、又は25%−75%の混合であるか)に関する追加情報が有用な場合があり、幾つかのLSB内に符号化され得る。画素の構成が単純である、即ちマージが行われていない場合、マージに関する全情報を与えるのに必要なLSBの数はより複雑な状況よりも少ない。
復号器側では、復号器は画素のマージの種類が示されるLSBを読み取り、前記LSB内の値に応じて続行する。画素が混合型であることをマージの種類が示す場合、マージパラメータを示すLSBが読み取られる。読み取られる情報に基づいて動的適合が行われる。画素がビデオのみであることをマージの種類が示す場合、マージパラメータを示すLSBはないが、代わりに前記LSBがビデオ情報(例えば輝度値)を含み、復号器はそれをそのようなものとして解釈する。
同様に、フレームがビデオのみを含むことがフラグによって示される場合、マージの種類及びマージパラメータに関する情報を伝えるのに必要な前記フレーム内のLSBはなく、前記フレーム内の全ての画素の全てのLSBがビデオ情報を伝えるために使用され得る。これは可変長符号化の非常に極端な実施例であり、符号化長信号を与える低複雑度の態様である。
或いは又は加えて、その後のシーンでマージの種類の指示のみを使用する代わりに、特定の色成分の3個のLSB内でマージ量に関する更なる(細かい)詳細も与えられることをフラグが示し得る。これは、やはり可変長符号化信号が復号側に与えられることを意味する。
別の実施例として、様々な数のLSBを使用する、符号化において使用され得る幾つかの可能なコード化スキームがある。信号56内で、復号側にマージ情報を伝えるために特定数のLSBを使用するあるコード化スキームから、より少ない又はより多い数のLSBを使用する別のコード化スキームに符号器が切り替えるときを復号側に知らせ得る信号が与えられる。その信号は符号化長信号も構成し得る。
一部の実施形態では、マージの指示、即ち1つ又は複数のマージ特性の指示が、R値、G値、B値等の色成分値の1つ又は複数のLSB内に挿入され得る。一部の実施形態では、これらの値が可逆符号化形式を使用してその後符号化される(又は符号化されないが未処理形式で直接伝送される)場合があり、従ってかかる実施形態では受信値が伝送値に直接対応すると想定することができ、即ち復号器は受信ビットが伝送ビットと同一であると見なすことができる。従って、かかる実施例では、マージデータが復号器において正しいと概して想定され得、よって直接使用され得る。
一部の実施形態では、非可逆符号化を使用して色成分値が符号化され得る。そのような一部の実施形態では、マージ特性を示す受信LSBが相変わらず正しい、即ち値Aを決定するために受信値が直接使用され得ると依然として想定され得、ダイナミックレンジ適合がしかるべく適合され得る。この実施形態は時として誤りをもたらし得るが、多くの実施形態において許容可能であり得る。
他の実施形態では、他の予防手段が使用され得る。例えば一部の実施形態では、マージデータの誤り訂正符号が使用され得る。かかる符号は追加のビットを必要とし得る。簡単な符号の一実施例として、ある画素がビデオ画素であるか、又はオーバレイ画素であるかを示すビットがR値、G値のみならずB値のLSBに複製され得る。復号器は3個のビットを復号し、復号ビットを多数決で選ぶことができる。
別の実施例として、一部の実施形態では、空間フィルタリング又は時間フィルタリングとその後に続くハード判定が適用され得る。例えば、空間フィルタが受信データビットに適用され得、フィルタ済みの出力値を閾値と比較することによって最終的なビット値が策定され得る。この実施形態は、オーバレイが典型的にはブロック単位で与えられ、近くにある比較的多数の画素もグラフィックコンテンツでない限り、それぞれの画素が滅多にグラフィックコンテンツではないことを活用し得る。この手法は、例えばメニュー又は字幕内の単一画素がオーバレイ画素ではないと誤って検出され、従って高輝度にブーストされるのを防ぎ得る。従って、この手法は、字幕又はメニュー内に例えば極度に明るい単体の画素(又は非常に明るい画像物体内に暗い画素)があるリスクを減らし得る。
一部の実施形態では、所与の画素に対するダイナミックレンジ適合は、所与の画素の近くにある複数の画素の値Aに依存し得る。この実施形態は、例えば(近くの画素の)複数の値Aの関数であるダイナミックレンジ適合によって使用されるダイナミックレンジマッピングによって、又は例えば上記の空間フィルタを適用することによって実現され得る。
一部の実施形態では、近くにある画素間のダイナミックレンジ適合の差を制限するようにダイナミックレンジ適合が構成され得る。例えば、画素がビデオ画素に指定されているか、若しくはオーバレイ画素に指定されているかに応じて第1のダイナミックレンジマッピングを選択するか、又は第2のダイナミックレンジマッピングを選択するかのハード判定ではなく、2つのダイナミックレンジマッピングの加重組合せとして実際のダイナミックレンジマッピングが決定され、重みは近くにある画素間で所与の量だけ変わるように制限される。
一部の実施形態では、複数の画素について適切なダイナミックレンジマッピングを決定するようにアダプタ71が構成され得る。例えば、ダイナミックレンジマッピングは4画素又は16画素のグループ単位で適用され得、選択されるダイナミックレンジマッピングは全ての画素のマージ特性に依存する。例えば、ブロック内のより多くの画素がオーバレイ画素よりもビデオ画素であると示される場合、ビデオダイナミックレンジマッピングが適用され、さもなければオーバレイダイナミックレンジマッピングが適用される。
一部の実施形態では、マージ特性を示すビットを含めることがビデオ符号化の少なくとも一部の後で行われる。例えば一部の実施形態では、(例えば空間周波数変換に基づいて)知覚的な非可逆ビデオ符号化がまず行われ、その結果生じるビットの(例えばランレングス符号化を用いた)可逆符号化がその後に続く。かかる実施例では、非可逆ビデオ符号化出力のLSBがマージ特性を示すビットによって置換され得る。これは、符号化がマージ特性情報ビットに誤りを取り入れるリスクなしに効率的な符号化を可能にし得る。
一部の実施形態では、値Aの少なくとも1つがビデオと1つ又は複数のオーバレイとのマージの程度を示す。
一部の実施形態では、適合パラメータ、即ち画像画素が表示前にどのように適合されるかは、例えば3つの成分の2個の最小有効ビット内等、色成分の1つ又は複数内のLSBの複数において与えられる複数のパラメータに依存する。
ビデオが1つ又は複数のオーバレイとマージされ得る例えばセットトップボックス、BDプレーヤ、ポータブルコンピュータ等の一例示的ビデオ処理システム(以下VPSと呼ばれる)では、ビデオ信号内の画素色成分の1つ又は複数の最小有効ビットの1つ又は複数内にビデオ/オーバレイ画素の指示(A)が符号化される。ビデオ信号は、VPSとディスプレイとの間のインタフェース上で伝送される。ディスプレイは、ビデオ信号の画像に対してダイナミックレンジ適合を適用する。この適合は、ビデオ/オーバレイ画素の指示(A)に応じて行われる。
この手法は、様々な構成内で及び例えば(非限定的な)RGB4:4:4、YCbCr4:4:4、YCbCr4:2:2、YCbCr4:2:0等の様々な(色成分の)フォーマットを用いて使用され得る。
色成分ごとに使用可能なビット数は実施形態間で異なる場合があり、例えば典型的には1成分当たり10ビット、12ビット、16ビットあり得る。ビデオ信号に10ビット又は12ビットが最も良く使用されるが、主に輝度値のためとはいえ16ビットも何らかの用途を有する場合がある。多くのシステムで8ビット値も可能であるが、HDRには低過ぎると多くの場合見なされる(8ビット値はより典型的には旧来の機器、例えば8ビットMPEGビデオに使用される)。
一部の実施形態では、例えば図1〜図7の1つの実施例による機器が、ビデオ信号のフォーマットに従ってマージ済みのビデオ信号6を伝えるように構成され得る。例えばその機器は、マージ済みのビデオ信号6をHDMI(登録商標)ケーブル上で、即ちHDMI(登録商標)フォーマットに従って伝えることができる。かかる一部の実施形態では、画像の色成分値を表すのに使用されるビット数が、ビデオ信号のフォーマットによって各色成分に割り当てられるビット数よりも少ないことがある。その場合、色成分値のビットがビデオフォーマットによって成分値に割り当てられるビットの一部に割り当てられ得、画素のマージ特性を示す1つ又は複数の値(A)を示すビットが、ビデオ信号のフォーマットによって色成分値に割り当てられるが色成分値によって使用されない幾つかのビット内に与えられ(挿入/埋め込まれ)得る。このようにして、マージ特性を示す値の伝達が、実際の画像情報に影響を及ぼすことなしに伝えられ得る。従って、追加の機能をサポートするために劣化又はアーティファクトが取り入れられる必要がない。
例えばソースビデオが10ビットのビット深度を有し、マージ済みのビデオが12ビットモードでVPSからディスプレイに伝送される場合、いかなる劣化も取り入れられることなしにビデオ/オーバレイ情報を伝えるために1成分当たり2個のLSBが使用され得る。画素の構成が1成分当たり12ビット有するRGB又はYCbCr4:4:4である場合、1画素当たり6ビット使用可能である。構成がYCbCr4:2:2である場合、CbCr値が2つの画素間で共有され、ビデオ/オーバレイインジケータのために1画素当たり4ビット残ることが考慮に入れられ得る。
例えばYCbCr出力画素が1成分当たり10ビット使用する場合、例えばマージ器入力画素のT値(透明度値)の少なくとも1つがゼロと異なる値を有することを示すために、Cb成分又はCr成分(又は可能性は低いがY成分)の最小有効ビットが使用され得る。或いは、そのLSBはTの両方の値が特定の閾値を下回ったことを示すために使用され得る。
別の実施例では、マージ器の出力の複数のビットが使用され、例えばCbのLSB及びCrのLSB、又は3つの成分全てのLSBが使用され得る。様々なマージレベルを区別するために複数のビットが使用され得る。2個のビットを使い4つのレベルを区別することができ、例えば1つの値は(1)マージなしを示すことができ、別の値は(2)75%がビデオで25%がオーバレイであると示すことができ、第3の値は(3)50%がビデオで50%がオーバレイであると示すことができ、第4の値は(4)100%がオーバレイであると示し得る。更に多くのビットを使い、出力レベル内のグラフィックスオーバレイの寄与についてのより正確な指示が実現され得る。
典型的には、相互接続フォーマット(HDMI(登録商標)やDisplay port等)における1成分当たりのビット数は8ビット、10ビット、12ビット、又は16ビットである。ビデオソースが1成分当たり10ビットで符号化される場合、画素に対して局所的に適用された透明度レベル等のマージ情報を伝送するために6ビット(12ビット出力)更には18ビット(16ビット出力)使用することができる。1つの選択肢は、12ビット出力モードを適用し、Cb成分及びCr成分のそれぞれから3個のLSBビット、及びY成分から2ビット入手することである。そのようにして、マージレベルを伝送するために8ビット使用可能になる。
YCbCr出力モードの代わりに、RGB出力モードが同様の態様で使用され得る。
上記の実施例では、各成分の空間解像度が(一部の実施形態で)等しいと仮定される。これはYCbCr4:4:4又はRGB4:4:4と呼ばれる。しかし、多くの場合色成分のサブサンプリングが適用される。YCbCr4:2:2の場合、色成分が水平方向にのみ2倍に空間的にサブサンプリングされる。YCbCr4:2:0の場合、色成分が両方の方向で2倍に空間的にサブサンプリングされる。一部の実施形態では、マージ指示ビットのためにフル解像度を保つことが有益であり得る。従って、マージ情報を示すために使用されるLSBごとに、何れの画素位置にビットが該当するかに関する明確な割り当てが行われ得る。例えば4:2:2の場合、Cb成分のLSBは奇数画素のグラフィックスオーバレイに関係し得る一方、Cr成分のLSBは偶数画素に関係し得る。
必要なビット数を減らすための別の選択肢は、ビデオの解像度よりも低い解像度で(マージ特性の指示、即ちA値を与える)マージビットマップを伝送することである。例えばビデオの解像度が1920×1080である場合、マージビットマップの解像度は例えば960×540であり得る。例えばYCbCr4:2:0の場合、Cb成分及びCr成分に該当する画素位置のマージレベルを示すためにCb成分及びCr成分のLSBが使用され得る。従って、一部の実施形態では、1つ又は複数のA値が複数の画素に該当する場合があり、とりわけ画素群又は画素領域に該当し得る。
インタフェースの両端間で何れのマージ指示ビット構成が使用されるかについてのシグナリングが、ダイナミックレンジ適合データにも使用されるメタデータチャネル内で指示され得る。図7を参照し、これはダイナミックレンジ適合パラメータを与える信号55及びマージ特性(多くの場合画素がビデオと1つ又は複数のオーバレイとの混合かどうか及び/又はその程度)を示すために何れの成分の何れのLSBが使用されるかに関する情報を与える信号56が同じメタデータチャネル内で行われ得ることを意味する。
信号56は、例えば任意の字幕が使用されるかどうか等、何らかの統計情報又は一般情報も与え得る。
上記で示されたように、ダイナミックレンジ適合が適用されるかどうか、及び場合によりその程度も画素ごとに決めるためにマージ特性指示ビットがディスプレイ内で使用され得る。
1画素当たり1ビットのみである(その画素がオーバレイ画素又はビデオ画素であると示す)場合、元のビデオを対象としたダイナミックレンジ適合はフル(オーバレイなし)又は限定(オーバレイ)の間で切り替わることができる。限定とは、図8の実施例にあるように適合が全く適用されないこと又はある程度までにのみ適用されることを意味し得る。例えば画素ごとのマージレベル値を示す複数のビットがある場合、ディスプレイは、マージレベルに応じて適合量をスケーリングすることによってダイナミックレンジ適合を適用し得る。スケーリングはマージレベルと線形の関係を有することができ、又は知覚される画質を最適化するために非線形関数が適用され得る。
図15及び図16は、VPS内の符号化とTV内の復号との組合せの実施形態を示す。
図15及び図16では、入力信号42がVPS41によって受信される。縦軸は、例えば手動のカラーグレーディングによって信号がグレーディングされる、即ち受信ビデオ信号の画像がグレーディングされているピーク明度PB又はピーク輝度(白点)を示す。この実施例では、信号42は、100ニットのPBにグレーディングされるLDR信号であり、例えば5000ニットにグレーディングされる元のHDR信号から導出される。従って、LDR最適化画像であるが、信号42はHDR画像も表し、従ってHDR画像表現である。信号42と共に、より高いピーク輝度値まで信号をどのようにアップグレードするかに関する情報、言い換えればビデオ信号42の画像にどのようにダイナミックレンジ適合を適用するかに関する情報を与える信号55が(図6にあるように)与えられる。信号55はVPS41によって伝えられる。VPS41内でマージ済みの信号50が作り出され、1つ又は複数の色成分の1つ又は複数のLSBがマージ特性に関する情報、とりわけ画素の種類及びマージパラメータに関する情報を含む。更に信号56が与えられ、信号56は、マージ済みの画素に関する種類及びマージパラメータ等、何れのLSBが何れのマージ情報で埋められるかに関する命令を与える。従って、この信号はマージ特性の符号化に関する情報を与える。横軸は信号の操作における様々な段階及びその段階内で使用されるコンポーネントを示す。
信号50、55、及び56はTV141の入力において受信される。TV141は、復号器142及びダイナミックレンジアダプタ143を含む。復号器は信号56によって命令され、信号56の成分のLSBは何れの情報が符号化されているか、即ち復号器はマージ特性がどのように符号化されているかを知らされる。復号器は前記LSBに基づいて情報を復号し、その情報をダイナミックレンジアダプタ143に送信する(例えばとりわけ画素の種類(即ちその画素がビデオであるか、又はオーバレイであるか混合か)及び適切な場合にはどのような混合であるかをダイナミックレンジアダプタに伝える)。
ダイナミックレンジアダプタ143は、アダプタが入力LDR信号をアップグレードすることを可能にする信号55の情報を与えられる。画素を動的に適合させるために復号器142から来るマージの種類の情報及び/又はマージ情報がダイナミックレンジアダプタ143内で使用され、一実施例として、オーバレイ画素が100ニットのグレーディングに保たれ、ビデオのみに属する画素ではダイナミックレンジが5000ニットに適合され、その一方で混合(即ちビデオ及びオーバレイの両方を含む)画素ではダイナミックレンジが1500ニットに適合される。図15に、アップグレードの矢印Uと共にダイナミックレンジ適合が概略的に示されている。ビデオ画素の最終結果がVの文字で示されており、オーバレイはO、混合はM、ダイナミックレンジ適合を行う手段を有さない旧来のTVはLの文字で示されている。そのように生成される画素値は、表示されるためにディスプレイ144に送信される。
図16は、図15のセットアップの一改変形態を示す。図16では、入力信号42が、この特定の実施例では1500ニットの最大輝度にグレーディングされるHDR信号である。信号55は、その信号42を例えば5000ニットのピーク輝度等のより高いピーク輝度までどのようにグレーディングするか、即ちダイナミックレンジ適合を行うかに関する情報を含む。信号55は、信号をより低いピーク輝度、例えば100ニットのピーク輝度までどのようにグレーディングするかに関する情報も含む。
図15との違いは、図16の実施例では復号器及びダイナミックレンジアダプタが、画素のダイナミックレンジを増加(アップグレード)並びに低減(ダウングレード)し得ることである。その理由から、図15のアップの矢印Uが図16ではアップ又はダウンのUDで示されている。
更に、旧来のTVに直接使用可能な信号をもたらすために、VPS(又はVPSと旧来のTVとの間の装置)が、ダイナミックレンジを減らすためのダイナミックレンジ適合後にマージ済みの信号から導出される信号150を与える。このダウングレーディングは矢印Dで示されている。VPS41は、出力信号Lのダイナミックレンジ適合に信号55内の情報を使用する。次いでこの信号Lが、旧来のTVのディスプレイ上で表示するために旧来のTVの入力に供給される。
他の実施例では、入力信号は、例えば最高可能ピーク輝度(例えば5000ニット)にグレーディングされる信号とすることもでき、その場合、ディスプレイはダイナミックレンジ適合を行い、ディスプレイの(5000ニット未満である)特定のピーク輝度までレンジを低減することができる。
図17は、本発明の一部の実施形態によるTV等の表示装置の一実施形態をより詳細に示す。マージ済みの信号50が、ダイナミックレンジアダプタ143及び読取機142に与えられる。読取機142は1つ又は複数のLSBを読み取り、前記LSBのコンテンツを読み取ることに基づいて信号145を与える。この信号は、とりわけ画素のマージの種類及び/又はマージパラメータ等のマージ特性を示す値Aを含む。これは、例えば図7のシステムのVPS41内で符号器51によって信号50内に入れられた情報の復号を構成する。
読取機142は(この特定の実施例にあるように)信号56が与えられ、信号56は、何れのLSBが何れの情報を含むか及び何れの態様で符号化が行われているかを読取機142に知らせ、言い換えれば復号スキームを提供する。従って、読取機142は、マージ特性がどのように信号内に符号化されているかを示す信号が与えられ得る。
従って、ダイナミックレンジアダプタは、マージ済みの信号50及び画素のマージの種類及び/又はマージパラメータ等のマージ特性に関する情報を与える信号145を受信する。
この実施形態では、ダイナミックレンジアダプタ143は信号55も与えられ、信号55はダイナミックレンジ適合のパラメータを示し、即ちダイナミックレンジをどのように適合させるかに関する情報を与え得る。
信号50、55、及び56の情報がダイナミックレンジ適合に使用される。例えば符号化形式又はダイナミックレンジ適合の手法が事前に分かっている場合、信号55及び/又は信号56の一方又は両方が利用されないことができる。
例えば、何れのLSBが何れの情報を含むかを指図する標準が合意される場合、信号56が生成され、送信され、受信される必要はなく、それは符号器側及び復号器側の両方で知られている標準が守られるからである。
図18及び図19は、本発明の更なる実施形態を示す。
上記の実施例で与えられた提供される混合パラメータに基づく線形補間又は非線形補間は、ビデオと例えば字幕等のグラフィックスとの混合で構成される入力画素に対するダイナミックレンジ適合の1つの可能性である。
別の実施形態では異なる手法が使用される。
画素がビデオ並びに字幕等のグラフィックスで構成されることが分かっている場合、混合信号が与えられることは分かっているが、マージ済みの信号内の様々な色の画素値の何れの部分が元々ビデオであり、何れの部分が元々字幕であったかは明白には分からない。
例えば25%が字幕であり75%がビデオであると示す混合パラメータは幾らかのガイダンスを与えるが、より正確に明らかにすることが有用であり得る。
パーセンテージが分かっても、オーバレイの真の寄与は25%前後のマージン内にある可能性があり、更に字幕の色もビデオの色も分かっていないため、様々な色におけるビデオ及び字幕の寄与が何なのかも分からない。
一部の実施形態では、復号器内で、ビデオと1つ又は複数のオーバレイとで構成される(従って「混合画素」を形成する)ことを最下位ビットの1つ又は複数が示す画素について、様々な色のグラフィックス(字幕等)及びビデオの画素値に対する寄与の推定が行われる。
かかる推定は、例えば画素を取り囲む画素を解析することによって行われる。
画素の集合、即ち画素及びその周囲の画素について、混合パラメータが知られており、又は混合若しくは混合の可能性があることが知られている。
知られていないのは、様々な色に関する寄与がどのようなものかである。
例えば、ビデオが赤色であり、字幕が緑色の場合がある。
オーバレイとビデオとの混合は、その画素では全体としてそれぞれの50%であり得るが、(ビデオ及びオーバレイのクロマが画素について非常に異なる可能性があるため)それぞれの色における内部混合比(in mix ratio)はその値と大幅に異なる場合がある。
画素及びその周囲の画素を解析することにより、前記画素について信号に対するグラフィックス及びビデオの寄与を推定することができる。
色成分の一部のLSB内に幾らかの混合パラメータが与えられ得、多くの場合、字幕等のグラフィックスは多かれ少なかれ一定の色及び強度、場合により均等な大きさ及び形状を概して有する。これは、それぞれの寄与を推定することを可能にし得る。
従って、入力混合パラメータ並びに画素及び周囲の画素の解析を使用し、入力信号に対するグラフィックスの寄与の推定及びビデオの寄与の推定を推定器によって与えるために入力(例えばLDR)混合信号が使用される。ビデオ信号が白点に関するものであり、字幕が緑色である場合、100%ビデオである画素を50%ビデオで50%字幕である周囲の画素と比較することにより、言及された画素値を比較することで様々な色成分内の字幕の寄与を推定することができる。字幕は多くの場合、多かれ少なかれ一定の色及び強度であり、多くの場合、多かれ少なかれ標準的な大きさ及び形状であることも当然ながら解析に使用され得る。解析では、前記画素のデータと幾つかの周囲の画素のデータとが例えば比較される。一部の実施形態では、近くにある単一画素が解析に使用され得るが、解析では周囲の画素の複数を使用した方が概して良い結果をもたらす。
推定される字幕の寄与を信号から減じることで、マージ済みの信号に対するビデオの推定寄与をもたらし、その逆も同様である。
そのように推定される信号に対して、ダイナミックレンジ適合がそれぞれの推定信号に個々に適用され得る。このダイナミックレンジ適合は、例えば推定ビデオ信号及び固定値に適用されるフルダイナミックレンジ適合、又は推定オーバレイ信号に適用される別のダイナミックレンジ適合であり得る。
ダイナミックレンジ適合は、先の例で説明されたように何らかの外挿を使用することもできる。
かかる実施形態の利点は、色信号に対するグラフィックス及びビデオの寄与に関するより詳細な情報が確立され、それぞれの特徴を個々に最適化するために使用されることである。
これは、ダイナミックレンジ適合のより優れた微調整を可能にする。
図18は、かかる実施形態の一実施例を示す。
入力混合LDR信号が、図18のESTで示されている推定器146に与えられる。
この推定器には読取機142による情報信号145も与えられ、そのため推定器は混合画素がどこにあるかを知り、実施形態によっては混合量の指示も与えられる。推定器146は混合画素がどこにあるかを知り、何らかの更なる一般情報を有し得る。
推定器は、画素及び周囲の画素のデータを解析し、グラフ推定信号147及びビデオ推定信号148を与える。例えば信号147はYuv_graph_estimate信号、即ち入力LDR信号内の字幕単独の寄与の推定を与えるYuv信号である。
信号148はYuv_video_estimate信号、即ち入力LDR信号内のビデオ単独の寄与の推定を与えるYuv信号である。
それらの信号147及び148に対してダイナミックレンジ適合が行われ、ダイナミックレンジ適合はそれらの2つの信号について異なる。これが図18の数字143a及び143bによって概略的に示されている。信号55は、ダイナミックレンジ適合を実行するための命令を与え得る。信号147及び148の少なくとも一方が適合されるが、多くの場合及び好ましくは両方が適合される。
適合済みの信号が、図18の+記号で概略的に示されているミキサ149内で再混合される。推定字幕信号147は、例えば推定ビデオ信号148よりも幾らか少なくブーストされ得、再混合信号内では字幕の視認性がより顕著でなくなる。
その結果生じるディスプレイ144向けの信号は、例えば
T_2*Yuv_graph_estimate信号+(1−T_2)*K*Yuv_video_estimate
とすることができ、KはYuv_video_estimateのブースト係数である。
この実施例では、ビデオ推定信号がブーストされる一方、オーバレイ推定信号がそのLDR値に維持される。次いで、適合済みの信号が再混合パラメータT_2を用いて再混合される。再混合パラメータT_2は信号55によって与えられ得る。
この実施形態では、復号器が、ある画素及びその周囲の画素を解析することに基づいてオーバレイ及びビデオの様々な色における寄与を推定する推定器を含む。
実施形態によっては、同じ情報が入力信号50自体のLSB内に与えられ得る。例えば、画素がビデオであるか、又は何らかの混合であるかを1つの成分内の1個のLSBが示すことができ、各成分内の3個のビットが前記成分に関する全信号に対するビデオの寄与を示し得る。
しかし、この形態はかなり多くのLSBが使用されることを必要とし、更に、多くの実装形態において符号器がマージ後の信号をマージ前の信号と比較することを必要とし得る。但し、この不利点も、改善された適合済みの画像が生成されることによって正当化され得る。
この実施形態では、読取機142が様々な色に対する寄与に関する情報を信号145内で与え、推定器146は、ビデオ及びオーバレイそれぞれの寄与の推定を生成するために単純にその提供データを直接使用することができる。この場合、推定器は画素及び周囲の画素のデータを用いた解析を行う必要がなく、むしろ全ての情報が信号145内で供給され、読取機142によって入力信号50のLSBから読み取られ得る。
使用可能なビット数が本質的に制限されているため、その結果生じる信号は依然として推定である(又は少なくとも幾らかの量子化誤差を有する)可能性があり、従って推定器を出る信号は元のマージの推定と見なされ得る。
一部の実施形態及び応用では画素の周囲に基づく解析を使用することが好ましい場合があり、なぜなら、マージ情報を与えるためにより少ないLSBが必要とされ、より高い精度が得られる可能性が多々あるからである。
図19は、図18の表示装置の詳細を示す。この実施例では、入力信号50、マージ済みの信号55、ダイナミックレンジ適合に関する情報56、何れのLSBが使用されどのように使用されるかに関する情報、及び出力信号と共に復号器が示されている。
図18の実施例では、符号器においてマージされた元のオーバレイ信号及びビデオ信号を推定するように復号器が構成される。ダイナミックレンジ適合がそれらの推定信号に対して個々に適用され得、とりわけ推定ビデオ信号(画像)に適用されるダイナミックレンジマッピングは推定オーバレイ信号に適用されるものと異なり得る。一部の実施形態では、複数のオーバレイ信号が推定され得、即ち複数の入力オーバレイ信号が(ビデオ信号と共に)マージ済みのビデオ信号6へと組み合わせられる状態でマージが行われ得る(行われると想定され得る)。かかるシナリオでは、復号器が複数のオーバレイ信号を推定することができ、様々なオーバレイ信号に対して様々なダイナミックレンジ適合を行うことができる。例えば、白色のオーバレイ信号に対しては輝度のブーストが適用されない一方、例えば緑色のオーバレイに対しては比較的小さい輝度のブーストが適用される場合がある。ビデオ信号に対しては異なる且つ例えばより積極的なダイナミックレンジ適合が適用され得る。
従って、かかる手法では、復号器が符号器のマージ器によって行われたマージを逆転させようとする。実際に復号器は、元の信号、即ちビデオ信号及びオーバレイ信号の推定を生成しようとする。それが実現される場合、特定のディスプレイについて個々のコンテンツの種類に最適なダイナミックレンジマッピングが適用され得る。そのような個々のダイナミックレンジマッピング(最適化)の後、ダイナミックレンジが適合されたマージ済みのビデオ信号が生成され、提示され得る。
要するに、LSBの1つ又は複数内の情報を読み取ることにより、マージ済みの画素である画素が識別され、例えばマージ/混合の程度が明らかにされる。周囲の画素内で入手可能な情報を使用し、信号の元の構成要素が(例えばビデオの低周波特性を仮定して又はより複雑な共同推定モデルを使用して)再構築され、又はより正確には推定される。どのようなものがマージされたかを知り、元のグレーディング及びディスプレイのグレーディングを知ることは、更に改善された適合を可能にする。
マージ特性を示す値Aは、出力画素ごとに生成され伝送されるグラフィックスインジケータビットと呼ばれ得る。このビットはビデオ出力信号内に埋め込まれ得る。とりわけ、ルマビットの最も低いもの(即ち最小有効ビット)がこの目的で使用され得、なぜなら、かかるビットがあまりにも暗い輝度に概して対応し、視聴者がそのようなグラフィックスの符号化の雑音を知覚することがないからである。例えば「1」のビット値はグラフィックスとすることができ、「0」は通常のビデオ(即ちマージにおけるビデオのみ)であり得る。
BDシステムの特定の実施例として、この手法はHDMVモードにあるとき使用され得る。その場合、画素に適用され得るα1及びα2に応じてグラフィックスインジケータビットIGが画素ごとに生成され得る。IGは、α1及びα2の何れかが0.06を上回る値を有する場合、1bに設定され得、さもなければ0bに設定され得る。図20も参照されたい。
BD−Jモードにある場合、図21に示されているようにグラフィックスインジケータが生成され得る。その場合、中間ビデオデータ内で背景面の画素(Background plane pixel)が設定される全ての画素位置についてグラフィックスインジケータのビットが1bに設定され得るべきである。他の全ての画素位置では、BD−Jグラフィックスの場合α2が画素データから直接抽出されることを除き、HDMVモードで生成されるのと同じ態様でグラフィックスインジケータのビットが生成され得る。
上記の実施例の一部では、TVという用語が使用されたが、この用語はディスプレイを含む任意の表示装置を表し、ホームコンピュータ、ホームビデオシステム、タブレット、又は任意の携帯型表示装置の画面であり得る。現時点ではHDR装置は自宅で使用されることが多いが、そのことは本発明の限定と見なされるべきではない。HDRディスプレイは、様々な種類の多くの装置内で使用され得る。
「グラフィックス」という用語は、字幕若しくはメニュー等の一般的な種類のオーバレイ又は他のオーバレイを示すために使用され得る。
オーバレイは、マージ器内で画像ビデオ信号にマージされる任意の追加信号とすることができる。
「色」という用語は、クロマ値又はクロマ特性のみを指すものであると解釈されるべきではなく、むしろ輝度も含むことができ、又は実際に輝度のみを指す場合もある。例えばカラーグレーディングは、クロマが考慮されない場合に限り輝度のグレーディングであり得る。
カラーグレーディング/トーンマッピング/ダイナミックレンジ適合という用語は均等であると見なされ得る(当技術分野内でのその使用法によれば実際に均等である)。
本明細書で開示されたアルゴリズムコンポーネントは、実際にはハードウェア(例えば特定用途向けICの部品)として又は専用のデジタル信号プロセッサ若しくは汎用プロセッサ上で実行されるソフトウェア等として(完全に又は部分的に)実現され得る。
本発明者の解説から、何れのコンポーネントが任意選択的な改善であり得るか及び他のコンポーネントと組み合わせて実現可能であるか、並びに方法の(任意選択的な)ステップがどのように機器のそれぞれの手段に対応し、その逆もどのように対応するかが当業者にとって理解可能であろう。本願における「機器」という用語又は「装置」等の同様の用語はその最も広い意味、即ち特定の目的を実現できるようにする手段群として使われ、従って例えばIC(のごく一部)、専用器具(ディスプレイを有する器具等)、又はネットワーク化されたシステムの一部等とすることができる。「構成」、「システム」、又は同様の用語も最も広い意味で使われることが意図され、そのため、かかる用語はとりわけ単一の機器、機器の一部、共同する機器(の一部)の集合等を含むことができ、又はそれらで形成され得る。
本実施形態のコンピュータプログラム製品版は、明示的意味として、汎用プロセッサ又は専用プロセッサが一連のローディングステップ(中間言語及び最終的なプロセッサ言語への翻訳等の中間変換ステップを含み得る)の後、プロセッサ内にコマンドを入力して本発明の特徴的機能の何れかを実行できるようにする、コマンド群の任意の物理的実現を包含すると理解されるべきである。とりわけコンピュータプログラム製品は、例えばディスク又はテープ等の担体上のデータ、メモリ内のデータ、(有線又は無線)ネットワーク接続を介して伝わるデータ、又は紙上のプログラムコードとして実現され得る。プログラムコードは別にして、プログラムに必要な特徴的データもコンピュータプログラム製品として具体化され得る。コンピュータにより、データの計算を行うことができる任意の装置を意味することが明らかなはずであり、即ちコンピュータは例えば携帯電話とすることもできる。更に、機器の請求項は、コンピュータによって実施される実施形態のバージョンも対象として含み得る。
データの入力及び出力ステップ等、方法の実施に必要なステップの一部は、コンピュータプログラム製品内で記述されるのではなく、プロセッサの機能内に既にある場合がある。
先の説明に基づき、この説明によって以下の手法がサポートされ得ることが理解されよう。
マージ済みのビデオ信号(6、50)を形成するために1つ又は複数のオーバレイ信号(3、4)を入力ビデオ画像信号(2)に追加するステップと、マージの種類及び/又は1つ若しくは複数のマージパラメータをマージ済みのビデオ信号内の画素ごとに示す1つ又は複数の値(A)を生成するステップと、前記画素について、マージ済みのビデオ信号(6、50)の1つ又は複数の色成分の1つ又は複数の最小有効ビット内に前記1つ又は複数の値(A)を符号化するステップとを含む、ビデオ信号を符号化するための方法が提供され得る。
任意選択的に、かかる方法では、前記1つ又は複数の値(A)の少なくとも1つが前記画素のマージの種類を示す。
任意選択的に、前記1つ又は複数の値の少なくとも1つが、前記画素に関する入力ビデオ信号及び1つ又は複数のオーバレイ信号のマージ量を示すマージパラメータを与える。
任意選択的に、画素がビデオであるか、オーバレイ信号であるか、又はビデオと1つ若しくは複数のオーバレイ信号との混合であるかを示すために、単一の最小有効ビットが使用される。
任意選択的に、マージの種類及び/又はマージ済みのビデオ信号内の1つ若しくは複数のマージパラメータを示す最小有効ビットの数が可変であり、符号化長信号によって示される。
任意選択的に、前記画素についてマージの種類及び/又はマージ済みのビデオ信号(50)内の1つ若しくは複数のマージパラメータを示すために何れの最小有効ビットが使用されるか、並びに/又はコード化の方法を示すために前記最小有効ビットがどのように使用されるかに関する情報を含む情報信号(56)がマージ済みのビデオ信号に与えられる。
マージ済みのビデオ信号(6、50)を形成するために入力ビデオ画像信号(2、46、48、54)及び1つ又は複数のオーバレイ信号(3、4)をマージするためのマージ器(5、51)と、マージ済みのビデオ信号内の画素について、マージの種類及び/又は1つ若しくは複数のマージパラメータを示す1つ又は複数の値(A)を生成し若しくは受信し、且つ前記画素について、マージ済みのビデオ信号(6、50)の1つ又は複数の色成分の1つ又は複数の最小有効ビット内に前記1つ又は複数の値(A)を符号化するための画像符号器(7、51)とを含む、ビデオ信号を符号化するためのビデオプロセッサが提供され得る。
任意選択的に、かかるビデオプロセッサでは、前記画素のマージの種類を示す値を用いて少なくとも1つの最小有効ビットを符号化するように符号器が構成される。
任意選択的に、ビデオと1つ又は複数のオーバレイとのマージ量を示すマージパラメータを与える少なくとも1つの値を符号化するように符号器が構成される。
任意選択的に、前記画素についてマージの種類及び/又はマージ済みの信号内の1つ若しくは複数のマージパラメータを示すために何れの最小有効ビットが使用されるか、及びどのように使用されるかに関する情報を有する情報信号(56)をマージ済みのビデオ信号に与えるように符号器が構成される。
任意選択的に、マージ器(5)はマージ情報信号(MIS:merging information signal)を符号器(7)に与えるように構成される。
ビデオプロセッサは、セットトップボックス又はBDプレーヤ内に含まれ得る。
ビデオ信号を復号するための方法が提供され得、複数の信号からマージされたビデオ信号が受信され、画素について、ビデオ信号の色成分の1つ又は複数の最小有効ビットの1つ又は複数が読み取られ、且つ前記最小有効ビットから1つ又は複数の値(A)が生成され、受信ビデオ画像信号の前記画素が表示前に適合にかけられ、適合は生成される値(A)に依存する。
任意選択的に、適合は、ダイナミックレンジ適合色変換を適用するステップを含む。
任意選択的に、値Aの少なくとも1つが画素のマージの種類を示し、表示前の適合が画素のマージの種類に依存する。
任意選択的に、値(A)の少なくとも1つは、画素がビデオかどうか、オーバレイかどうか、及び/又はビデオとオーバレイとの混合かどうかを表す。
任意選択的に、値の少なくとも1つが、画像ビデオ信号と1つ又は複数のオーバレイ信号とのマージ量を示し、表示前の適合がマージ量に依存する。
任意選択的に、値(A)を得るために単一の最小有効ビットが読み取られる。
任意選択的に、適合前に、信号の画素値に対するビデオ及びオーバレイの寄与の推定に基づき、マージ前の複数の信号を推定する複数の推定信号へとビデオ信号が分割され、その後、信号の少なくとも1つがその輝度を適合させるために色変換され、適合済みの信号が再混合される。
任意選択的に、画素の信号の分割が、前記画素のデータ及び非混合ビデオ画素として識別される幾つかの周囲の画素のデータを解析することに基づく。
ビデオ信号を受信するための入力と、ある画素についてビデオ信号の1つ又は複数の色成分に関する少なくとも1つ又は複数の最小有効ビットを読み取り、且つ読み取った最小有効ビットから1つ又は複数の値(A)を生成するための読取機(72)と、ビデオを適合させるためのアダプタ(71、143)であって、生成される1つ又は複数の値(A)に応じて画素値を適合させるように構成される、アダプタ(71、143)とを含む、複数の信号からマージされたビデオ信号を復号するためのビデオ復号器が提供され得る。
任意選択的に、ビデオ復号器は、何れの最小有効ビットを読むか、及びそれをどのように値(A)に変換するかに関する情報を有する信号(56)用の入力を含む。
任意選択的に、アダプタは画像画素に対してダイナミックレンジ適合を行うように構成される。
任意選択的に、読取機は(A)を得るために単一の最小有効ビットを読み取るように適合される。
任意選択的に、本システムは、信号の画素値に対する画像ビデオ及びオーバレイの寄与の推定に基づき、受信ビデオ信号を複数の推定信号(147、148)へと分割するための推定器(146)であって、信号の少なくとも1つは適合される、推定器(146)を含み、適合済みの信号を再混合するためのミキサ(149)を含む。