JP2014502480A - 高ダイナミック・レンジ（ｈｄｒ）ビデオ・データ・ストリームをトーン・マッピングするための方法、コンピュータ・プログラム及びシステム - Google Patents

高ダイナミック・レンジ（ｈｄｒ）ビデオ・データ・ストリームをトーン・マッピングするための方法、コンピュータ・プログラム及びシステム Download PDF

Info

Publication number
JP2014502480A
JP2014502480A JP2013542541A JP2013542541A JP2014502480A JP 2014502480 A JP2014502480 A JP 2014502480A JP 2013542541 A JP2013542541 A JP 2013542541A JP 2013542541 A JP2013542541 A JP 2013542541A JP 2014502480 A JP2014502480 A JP 2014502480A
Authority
JP
Japan
Prior art keywords
frame
tone
frames
mapped
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013542541A
Other languages
English (en)
Other versions
JP5878551B2 (ja
Inventor
エル−マハディ、アーメド、ハジム
エル−シシニィ、ヒシャム、イマッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2014502480A publication Critical patent/JP2014502480A/ja
Application granted granted Critical
Publication of JP5878551B2 publication Critical patent/JP5878551B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】ＭＰＥＧフォーマットで供給される高ダイナミック・レンジ（ＨＤＲ）ビデオ・データ・ストリームをトーン・マッピングするための方法を提供する。
【解決手段】本方法は、ＨＤＲビデオ・データ・ストリームを復号することにより、Ｉフレーム、Ｐフレーム及びＢフレームを含むＭＰＥＧフレーム・シーケンスを生成するとともに、復号済み補助データを供給する第１のステップ（３０２）を含む。さらに、本方法は、各受信Ｉフレームに対しトーン・マッピング動作を適用することにより、トーン・マップ済みＩフレームを供給する第２のステップ（３０４）と、参照Ｉフレームに依存する各受信Ｐフレームごとに、参照Ｉフレームについて以前に決定したトーン・マップ済みＩフレーム、参照Ｉフレーム及び復号済み補助データから、トーン・マップ済みＰフレームを計算する第３のステップ（３０６）と、各受信Ｂフレームごとに、参照Ｉフレームについて以前に決定したトーン・マップ済みＩフレーム、参照Ｐフレームについて以前に決定したトーン・マップ済みＰフレーム、参照Ｉフレーム及び復号済み補助データから、トーン・マップ済みＢフレームを計算する第４のステップ（３０８）を含む。
【選択図】 図３

Description

本発明は、高ダイナミック・レンジ（ＨＤＲ）画像の処理に係り、さらに詳細に説明すれば、ＭＰＥＧＨＤＲビデオ・ストリームをトーン・マッピングするための方法及びシステムに係る。
デジタル画像の品質は、過去数年にわたって劇的に改良された。カメラ及びディスプレイが改良されたことに伴い、ピクチャ内の画素数が増加した。しかし、高解像度（ＨＤ）ピクチャの画素数が増加し且つ高ダイナミック・レンジ（ＨＤＲ）ピクチャ内のダイナミック情報が改良されるにつれて、ピクチャに関連するデータの量が増加した。その結果、かかる画像の表示に関する問題が生じている。静止画像については、ユーザがその視覚に基づいて全ての細部を観察することができるように、トーン・マッピング技術を適用してピクチャのダイナミック・レンジを減少させることが知られている。しかし、複数のフレームから成るビデオ・データについては、既存の解決方法は、多数の制限を有する。
事実、高解像度（ＨＤ）、高ダイナミック・レンジ（ＨＤＲ）ビデオを通常のディスプレイ（８ビットのディスプレイ）上に表示することは、多数の技術的な問題を伴う。ＨＤＲビデオは、現実のシーンのそれと一致する輝度のダイナミック・レンジを有しており、そのダイナミック・レンジは、標準的な低ダイナミック・レンジの（８ビット）ディスプレイに表示されるものよりも遙かに大きい。かかるディスプレイ上にＨＤＲコンテンツを表示するためには、「トーン・マッピング」動作を使用して、ダイナミック・レンジを圧縮するだけでなく、現実のシーンを観察しているのと同様の視認性を与えることが必要となる。主な１つの問題は、６０フレーム／秒の典型的なフレーム・レート及び高解像度ビデオ用の１９２０×１０８０の高解像度を維持するために、高品質のトーン・マッピング・オペレータが、相当な処理能力を必要とするということである。
ＨＤＲビデオのリアルタイム表示を可能にする最初の既知の手法は、トーン・マッピングをリアルタイムで行うのではなく、その代わりに、ＨＤＲストリームに埋め込まれている事前トーン・マップ済みビデオ・ストリームを使用するというものである。この手法は、特許文献１及び２、並びに非特許文献１及び２に記載されている。この手法は、トーン・マッピングの必要性を除去するから、ＨＤＲビデオの表示は、トーン・マップ済みストリームを単に復号することにより行われる。しかし、この手法は、「オフ・ライン」トーン・マッピングの主要な短所を有する。このことは、予め記録されたビデオに対するこの手法の適用可能性を制限し、従って、ライブＴＶ放送を可能にしない。さらに、トーン・マッピング・オペレータは、予め決定されており、これを変更することができない。
この問題に対する他の手法は、非特許文献３及び４に記載されている。この手法は、特定のトーン・マッピング動作を近似することを要点とし、トーン・マッピングをリアルタイムで行うためにグラフィック処理ユニットのような高性能のコンピュータに依存する。しかし、この手法は、リアルタイムの処理を可能にするためにトーン・マッピングの品質を潜在的に減少させる一方、容認可能な品質のトーン・マッピングについては、高性能／高コストの基本ハードウェアを依然として必要とするという短所を有する。さらに、この手法を適用する解決方法は、一般に、特定のトーン・マッピング・オペレータ向けに高度に調整されており、将来の視覚特性（例えば、知覚的に心地よい画像を有するのではなく細部を強調すること）と一致するようにトーン・マッピング・オペレータを変更することを可能としない。
この問題に対する他の既存の解決方法は、非特許文献５に記載されている。この解決方法は、トーン・マッピングをリアルタイムで行うためのカスタム・ハードウェア実装を構築する。しかし、この解決方法は、一般に、ハードウェア・コストを減少させるために、トーン・マッピング・オペレータの著しい近似に依存する。さらに、ハードウェアは、アプリケーション／トーン・マッピングに特有なものであり、このハードウェアを他の機能に使用することができないという点で実装コストを増加させる。
米国特許出願公開第２００８／０３１０５０１号明細書 米国特許出願公開第２００９／０００３７１８号明細書
R. Mantiuk et al., "Perception-motivatedhigh dynamic range video encoding," ACM SIGGRAPH 2004 Papers; Los Angeles, California:ACM, 2004, pp. 733-741 G. Sullivan et al., "New StandardizedExtensions of MPEG4-AVC/H.264 for Professional-Quality VideoApplications," Image Processing, 2007. ICIP 2007. IEEE InternationalConference on, 2007, pp. I - 13-I - 16 G. Krawczyk et al., "Perceptual effectsin real-time tone mapping," Proceedings of the 21st spring conference onComputer graphics, Budmerice, Slovakia:ACM, 2005, pp. 195-202 N. Goodnight et al., "Interactivetime-dependent tone mapping using programmable graphics hardware",Proceedings of the 14th Eurographics workshop on Rendering, Leuven, Belgium:Eurographics Association, 2003, pp. 26-37 J. Carletta et al., "Method forreal-time implementable local tone mapping for high dynamic range images" Erik Reinhard et al., "Photographictone reproduction for digital images," SIGGRAPH '02: Proceedings of the29th annual conference on Computer graphics and interactive techniques, pages267-276, New York, N.Y., USA, 2002. ACM Press Ansel Adams, The Print, "The AnselAdams Photography Series/Book 3," Little,Brown and Company, tenth edition,2003,with the collaboration of Robert Balker G. Krawczyk et al., "Perceptual effectsin real-time tone mapping," Proceedings of the 21st spring conference onComputer graphics, Budmerice, Slovakia:ACM, 2005, pp. 195-202
従って、既存の技術によれば、ＨＤＲビデオを通常のディスプレイ上に表示することが高度に制限されている。
従って、当分野では、ＨＤＲビデオ・ストリームについてリアルタイムのトーン・マッピングを可能にする改良された方法が要請されている。
本発明に従って、高ダイナミック・レンジ（ＨＤＲ）ビデオ・データ・ストリームをトーン・マッピングするための方法、コンピュータ・プログラム及びシステムが提供される。
従って、本発明は、特定のトーン・マッピング・オペレータに拘束されない、高解像度ＨＤＲビデオ用のリアルタイム式トーン・マッピング方法を提供する。
本発明は、ＭＰＥＧビデオ復号動作の標準的なプロセスを使用することにより、復号プロセスに関する著しい追加オーバーヘッドを伴わない、「副産物」としてトーン・マッピングを行うことを可能にする。本発明の種々の実施形態は、ＭＰＥＧ符号化プロセス中に既に識別されている、ビデオ内の時間的冗長性を利用すること、並びにこれを使用してトーン・マッピング動作を単なるグローバル加算及びスケーリング動作に変えることに依存する。その結果、１群のフレームについて唯１つの完全なトーン・マッピング動作が行われる。
本発明の１つの利点は、ビデオ・フレーム・レートに匹敵する倍数だけビデオ・トーン・マッピングの動作を高速化することである（例えば、高解像度ビデオ・ストリームについては、６０フレーム／秒のフレーム・レートの１５倍の高速化）。
本発明の他の利点は、イントラフレームのトーン・マッピングについて任意のトーン・マッピング・オペレータを選択可能にすることである。
本発明の解決方法は、制限されたハードウェア処理能力及び電力要件を必要とする一方、ＭＰＥＧビデオ復号プロセス及び他の同様のビデオ符号化技術と容易に統合することができる。
本発明の他の利点は、トーン・マッピングの品質をＭＰＥＧビデオ圧縮の品質に関連させることができるということである。
ＭＰＥＧ標準に従った、フレームのシーケンスを示す図である。 ＭＰＥＧフレーム上で行われるトーン・マッピング動作を概略的に示す図である。 本発明の実施形態に従った、高ダイナミック・レンジ（ＨＤＲ）ビデオ・データ・ストリームを表示するための高水準のフローチャートである。 本発明の実施形態に従った、高ダイナミック・レンジ（ＨＤＲ）ビデオ・データ・ストリームをトーン・マッピングするためのシステムを示すブロック図である。 本発明の実施形態に従った、ＨＤＲ画像をトーン・マッピングするために使用されるコンピュータ・システムを示す図である。
一般に、マルチメディア装置は、デジタル・コンテンツを送信し、受信し、格納し、又は検索するために、ＭＰＥＧ−２、ＩＴＵ−Ｈ２６３、ＭＰＥＧ−４等のような、ビデオ符号化技術を実装する。これらの符号化技術のうちＭＰＥＧ国際標準は、ＨＤＲビデオ・ストリームを圧縮するように拡張されている（非特許文献２）。
ＭＰＥＧデータ・ストリームは、オーディオ・ストリーム及び他のビット・ストリームとパックすることができる、ビデオ・ストリームから成る。
図１は、複数のインターバルで取られた複数のフレームを含む、典型的なＭＰＥＧシーケンス１００を示す。これらのフレームは、時間的な情報が符号化される方法で指定される。
ＭＰＥＧ符号化は、異なるタイプを有する複数のフレームを含む、フレーム・シーケンスを生成するために利用される。具体的には、ＭＰＥＧフレーム・シーケンスは、複数の論理グループを含み、その各々は、３つのタイプのフレーム、すなわちＩフレーム１０１、Ｐフレーム１０２及びＢフレーム１０３を含む。
Ｉフレーム１０１は、単一の非圧縮フレームの圧縮バージョンである。Ｉフレーム１０１は、他のタイプのフレームを参照することなく、符号化のためにイントラフレームのデータのみに依存する（すなわち、冗長性の時間的符号化は存在しない）。Ｉフレームは、Ｐフレーム及びＢフレームとは異なり、先行するフレーム又は後続するフレーム内のデータに依存しない。
Ｐフレーム１０２は、先行するＩフレーム１０１からの予測に依存する。Ｂフレーム１０３は、前のＩフレーム１０１及び次のＰフレーム１０２によって時間的に符号化される。図１に示すように、典型的なフレームのシーケンスは、「ＩＢＢ・・・ＢＰ」である。特定のＭＰＥＧアプリケーションでは、Ｉフレームは、ＨＤビデオ・ストリームの１５番目のフレームごとに生じる。
一般に、参照フレーム（Ｉフレーム又はＰフレーム）に後続するフレーム（Ｐフレーム及びＢフレーム）については、これらのフレームのほんの一部だけが、それぞれの参照フレームの対応する部分とは異なる。これらの参照フレームについては、動きベクトルを使用してこれらの差分が捕捉され、格納される。
将来のフレームからの後方向の予測を可能にするために、符号器は、Ｂピクチャが参照する前及び次のフレームの後にＢピクチャが送信されるように、複数のフレームを表示順序からビット・ストリーム順序に再配列するのが普通である。
ＭＰＥＧビデオ符号器は、２つの主要な動作を行う。第１の動作は、複数のＭＰＥＧフレームにわたってデータの時間的冗長性を符号化する。所与のフレーム・ブロックについて、符号器は、前のフレーム及び次のフレームからの一致する２つのブロックを探索する。その後、現在のフレーム・ブロックが、前記一致した２つのブロックから引かれる。
第２の動作は、時間的削減動作の後に、各フレームの内部にある空間的冗長性を符号化する。空間的冗長性を符号化するために使用される量子化ステップに加えて、イントラフレームの離散コサイン変換（ＤＣＴ）動作及び動き補償フレーム間予測動作が使用される。
ＭＰＥＧ符号器では、動き補償フレーム間予測が最初に決定され、これがＤＣＴと組み合わされる。動き補償予測がソース・ピクチャから引かれて「予測誤差」ピクチャが形成され、この予測誤差がＤＣＴで変換され、係数が量子化され、これらの量子化値が可変長符号化（ＶＬＣ）を使用して符号化される。符号化された輝度及びクロミナンスの予測誤差は、復号器が必要とする「サイド情報」（例えば、動きベクトル及び同期情報）と組み合わされ、伝送用のビット・ストリームが形成される。
このように符号化されたＨＤＲデータ・ストリーム（以下、「ビット・ストリーム」とも称する）は、多数の水平スライスを含み、その各々は、多数のマクロブロックを含む。各マクロブロックは、他の情報と一緒に、量子化したＤＴＣ係数の量子化値、動きベクトル、輝度及びクロミナンス・ブロックを含む。
本発明の種々の実施形態に従ったトーン・マッピング方法は、ＭＰＥＧフォーマットに従って符号化されたＨＤＲビデオ・データ・ストリームの効率的な表示を可能にする。このトーン・マッピング方法は、トーン・マッピング・オペレータをトーン・マップ済みＩフレームに適用する一方、参照フレーム（Ｉフレーム及びＰフレーム）について以前に決定されたトーン・マップ済みフレーム及びＨＤＲビデオ・データ・ストリームのＭＰＥＧ復号から得られる情報に基づいて、Ｐフレーム及びＢフレームをトーン・マッピングする。
図２は、本発明の種々の実施形態に従った、トーン・マッピング方法の複数の段階を概略的に示す。
ＨＤＲビット・ストリームのＩフレームが受信される場合、トーン・マッピング技術に従って、トーン・マッピング動作を入力データ・ストリームのＩフレーム２０１に適用することにより、トーン・マップ済みＩフレーム２１０を形成する。トーン・マップ済みフレーム２１０は、これが参照するフレーム（Ｐフレーム又はＢフレーム）用のトーン・マップ済み値の差分計算を可能にするために、メモリ内に格納される。
イントラフレームは、完全なトーン・マッピング動作を伴うが、本発明の利点は、参照フレームとして作用するＩフレームについて得られたトーン・マップ済みＩフレームの値に関係する加算及びスケーリング動作に基づき、従属フレーム（Ｐフレーム及びＢフレーム）の「差分」トーン・マッピングを可能にすることである。
具体的には、参照Ｉフレームに依存するＰフレーム２０２が受信される場合、参照Ｉフレームについて得られたトーン・マップ済みＩフレーム２１０に関係する加算及びスケーリング機能、並びにビット・ストリームのＭＰＥＧ復号に関係する他の情報を使用して、Ｐフレーム用のトーン・マップ済み値が計算され、その結果、トーン・マップ済みＰフレーム２１２が供給される。トーン・マップ済みＰフレームの値は、これが参照するフレーム（Ｂフレーム）用のトーン・マップ済み値の差分計算を可能にするために、メモリ内に格納される。
所与のＩフレーム及びＰフレームに依存するＢフレーム２０３が受信される場合、参照Ｉフレームについて得られたトーン・マップ済みＩフレーム２１０、参照Ｐフレームについて得られたトーン・マップ済みＰフレーム２１２、及びビット・ストリームのＭＰＥＧ復号に関係する追加の情報に基づいて、Ｂフレーム用のトーン・マップ済み値が差分的に計算される。その結果、当該フレームに関する実際のトーン・マッピング動作を伴うことなく、トーン・マップ済みＢフレーム２１４が供給されるから、相当な計算時間、メモリ及び電力を節約することができる。
従って、本発明の種々の実施形態に従ったトーン・マッピング方法は、イントラフレーム用の１つのトーン・マッピング動作を必要とするに過ぎない。参照フレームに後続するフレーム（Ｐフレーム及びＢフレーム）については、対応するトーン・マップ済みフレームの計算は、多数の加算及びスケーリング動作のみを伴うに過ぎないから、復号時間の複雑さの一因とはならない。その後、ＨＤＲビデオ・データ・ストリームは、より低い計算コスト及び改良された速度で、通常のディスプレイ装置上に表示するのに適したフレームのシーケンスに変換することができる。
図３は、ＭＰＥＧフォーマットで符号化されたＨＤＲビデオ・データ・ストリームを表示するためのフローチャートである。
本方法は、ステップ３００で開始し、そこではＭＰＥＧフォーマットに従ったＨＤＲビデオ・データ・ストリームを受信する。入力ビデオ・ストリームは、オリジナルのビデオ・データ・ストリームをＭＰＥＧフォーマットに符号化するのに適した任意のタイプの符号器又はビデオ・データ・ストリームをＭＰＥＧフォーマットで格納するのに適したデータ・ストア（例えば、ハードディスク、光ディスク等）から受信してもよい。符号器は、任意のタイプのソース（例えば、衛星レシーバ、ビデオカメラ）からオリジナルのビデオ・データ・ストリームを受信する、汎用コンピュータでもよい。
ＭＰＥＧフォーマットのＨＤＲビデオ・データ・ストリームは、ＭＰＥＧ符号化プロセス中に得られた可変長コードを含む。
ステップ３０２では、ＭＰＥＧ復号動作がＨＤＲビット・ストリームに適用される。ＭＰＥＧ復号プロセスは、Ｉフレーム又はＰフレームのような、他のフレーム用の参照フレームとして作用する各受信フレームを復号し且つ格納する。Ｉフレーム又はＰフレームのような、参照フレームとして作用する新しく再構築された各フレームは、入来フレーム用の新しい参照フレームとして作用するために、以前に格納された参照フレームに置き換わる。参照フレームに依存するＰフレーム又はＢフレームは、動き補償機能を使用して再構築される。この動き補償機能は、近隣の復号済み参照フレーム（Ｉフレーム及び／又はＰフレーム）を使用して当該フレーム上で適用される。参照フレームに依存するフレーム（例えば、Ｐフレーム及びＢフレーム）は、近隣の復号済み参照フレーム（Ｉフレーム又はＰフレーム）内のブロックを参照する、それぞれの動きベクトルに関連している。ＭＰＥＧ復号器は、各動きベクトルを使用して各参照フレーム（Ｉフレーム又はＰフレーム）内の対応する参照ブロックを決定することにより、当該動きベクトルによって指定される当該参照ブロックにアクセスする。従って、Ｐフレームは、以前に復号され且つピクチャ・バッファ内にキャッシュされている関連する参照Ｉフレームから再構築され、Ｂフレームは、以前に復号され且つピクチャ・バッファ内にキャッシュされている２つの関連する参照フレーム（Ｉフレーム及びＰフレーム）から再構築される。
その結果、ステップ３０２は、Ｉフレーム（完全な値）、再構築済みＰフレーム及び再構築済みＢフレームを生成する。さらに、ＭＰＥＧ復号ステップは、受信Ｐフレームごとに中間誤差値ｅｐ（ｘ，ｙ）を供給し、受信Ｂフレームごとに誤差値ｅｂ（ｘ，ｙ）を供給する。誤差信号ｅｐ（ｘ，ｙ）は、Ｐフレームの画素位置（ｘ，ｙ）における誤差値を表し、誤差信号ｅｂ（ｘ，ｙ）は、Ｂフレームの画素位置（ｘ，ｙ）における誤差値を表す。Ｐ及びＢフレーム用のこれらの誤差値は、ＭＰＥＧ符号器によって最初に符号化される。ＭＰＥＧ復号器は、それらを復号するために逆離散コサイン変換を使用する。一般に、誤差は、ビデオ・データ・ストリームのオリジナルのフレームを再構築するために、動き補償動作中に使用される。従って、その値は、オリジナルの画素値と、現在のフレーム画素を計算するために他のフレームからの画素値を使用することにより得られる時間的な再構築済み値との間の差である。
具体的には、ステップ３０２は、使用されるＭＰＥＧ符号化標準及びフレーム・タイプに従って、各可変長コードのラン、レベル及び長さを回復するために可変長復号機能を適用する。可変長コードは、テーブル索引技術又は任意の適切な技術を使用して復号することができる。また、ステップ３０２は、可変長復号機能からの係数をマクロブロック（例えば、８×８画素）に割り当てること、マクロブロック内の各係数を符号化プロセスの量子化段階中に使用されるものと同じ対応する量子化定数と乗算するために逆量子化機能を適用すること、その結果を最も近い整数に丸めることを含む。また、ステップ３０２は、これらのマクロブロックを時間／空間領域の表現に戻すために、これらのマクロブロックに逆離散コサイン変換（ＤＣＴ）機能を適用する。その結果、Ｉフレームと、Ｐフレーム及びＢフレーム用の誤差値ｅ（ｘ，ｙ）が得られる。
また、ステップ３０２は、受信Ｐフレーム又はＢフレームごとに、関連する動きベクトルを使用することにより、再構築済みＰフレーム及びＢフレームを供給する。
ステップ３０４では、任意の適切なトーン・マッピング技術に従って、ステップ３０２で復号された各Ｉフレームがトーン・マップされる。以下の説明では、Ｉフレームの画素位置（ｘ，ｙ）における画素値をＩ（ｘ，ｙ）と表記し、トーン・マップ済みＩフレームＩ１の所与の画素位置（ｘ，ｙ）におけるトーン・マップ済み値をＩ１（ｘ，ｙ）と表記する。トーン・マップ済みＩフレームＩ１は、例えば、Reinhard外のホトグラフィック・トーン・マッピング・オペレータ（非特許文献６）のような適切なトーン・マッピング・オペレータを使用して、生成することができる。Reinhard外のホトグラフィック・トーン・マッピング・オペレータは、古典的な「dodging-and-burning（焼き込み−覆い焼き）」技術（非特許文献７）を包含するローカル適応オペレータであって、各個別画素をトーン・マップするために一般的な写真原理に基づいている。トーン・マッピングが（１つのフレーム内で）空間的に行われる限り、任意のトーン・マッピング・オペレータを使用することができる。一般に、このことは、殆どのトーン・マッピング・オペレータによって満たされる。本発明は、さらに時間とともに変化する輝度に適応させるために、（空間的なトーン・マッピングの後に）時間的適応ステップを行うことができるトーン・マッピング・オペレータを適用する。かかる時間的適応が現在のトーン・マップ済みフレーム及び時間情報に依存する場合、当該フレーム上で行うべき追加の時間オペレータが必要とされることがある。しかし、かかる動作のオーバーヘッドは、トーン・マッピング動作と比較すると、ごく僅かであるに過ぎない。代表的な時間的適応方法は、非特許文献８に記載されている。
ステップ３０６では、（ステップ３０４に従って）参照Ｉフレームの対応する画素位置（ｘ’，ｙ’）において得られるトーン・マップ済みＩフレームＩ１の値Ｉ１（ｘ’，ｙ’）、並びに（逆量子化及び離散コサイン変換機能を使用して）ステップ３０２で得られるようなＰフレーム用の符号化された誤差信号ｅｐ（ｘ，ｙ）に関係するスケーリング係数から、参照Ｉフレームに後続する受信Ｐフレーム用のトーン・マップ済みＰフレームの値Ｐ１（ｘ，ｙ）が差分的に計算される。Ｐフレームに関連する動きベクトルは、Ｐフレームの画素位置（ｘ，ｙ）に対応する参照Ｉフレームの画素位置（ｘ’，ｙ’）を決定するために使用することができる。動きベクトルは、ＭＰＥＧビデオ・データ・ストリームの復号ステップ中に使用される可変長復号機能によって供給してもよい。
ステップ３０８では、参照Ｉフレームの第１の所定の画素位置（ｘ’，ｙ’）において得られたトーン・マップ済みＩフレームの値Ｉ１（ｘ’，ｙ’）、参照Ｐフレームの第２の所定の画素位置（ｘ”，ｙ”）において得られたトーン・マップ済みＰフレームの値Ｐ１（ｘ”，ｙ”）、並びに（逆量子化及び離散コサイン変換機能を使用して）ステップ３０２で得られるようなＢフレーム用の符号化された誤差信号ｅｂ（ｘ，ｙ）に関係するスケーリング係数から、参照Ｉフレーム及び参照Ｐフレームに依存する受信Ｂフレームについて画素位置（ｘ，ｙ）におけるトーン・マップ済みＢフレームの値Ｂ１（ｘ，ｙ）が計算される。第１の所定の画素位置（ｘ’，ｙ’）は、Ｂフレームの画素位置（ｘ，ｙ）に対応する参照Ｉフレームの画素位置であり、第２の所定の画素位置（ｘ”，ｙ”）は、Ｂフレームの画素位置（ｘ，ｙ）に対応する参照Ｐフレームの画素位置である。第１の所定の画素位置（ｘ’，ｙ’）は、参照Ｉフレームに関連する動きベクトルを使用して決定してもよい。第２の所定の画素位置（ｘ”，ｙ”）は、参照Ｐフレームに関連する動きベクトルから決定してもよい。これらの２つの動きベクトルは、ビデオ・データ・ストリームのＭＰＥＧ復号プロセス（ステップ３０２）の初めに適用される可変長復号（ＶＬＣ）機能によって生成することができる。
ステップ３１０では、ステップ３０４で得られたトーン・マップ済みＩフレーム（Ｉ１（ｘ，ｙ））、ステップ３０６で得られたトーン・マップ済みＰフレーム（Ｐ１（ｘ， ｙ））、ステップ３０８で得られたトーン・マップ済みＢフレーム（Ｂ１（ｘ，ｙ））から、ＨＤＲビデオ・データ・ストリームの色空間変換が行われる。この変換は、各画素の色が３つの成分、すなわち赤（Ｒ）、緑（Ｇ）及び青（Ｂ）によって表される、標準的なＲＧＢ色空間への変換としてもよい。代替的に、この変換は、Ｌｕｖ色空間への変換としてもよい。但し、Ｌは輝度成分であり、ｕ及びｖの各々はクロミナンス成分である。
図４は、本発明の特定の実施形態に従った、ＨＤＲビデオ・データ・ストリームを復号し且つトーン・マッピングするための表示システム４００を示すブロック図である。
表示システム４００は、入力としてＨＤＲ ＭＰＥＧストリームを受信する。表示システム４００は、参照Ｉフレームから抽出されたデータ、並びに時間的に圧縮又は符号化されたＰフレーム及び／又はＢフレームから抽出された情報に基づいて、ビデオ・データ・ストリームを表示するためにディスプレイ装置に結合される。
ＭＰＥＧフォーマットで符号化されたＨＤＲビデオ・データ・ストリームは、「スライス」を含む。各スライスは、画像フレームの水平セクションを表し、マクロブロックのシーケンスを含む。各マクロブロックは、マクロブロック・ヘッダ、動きベクトル・セクション及び離散コサイン変換（ＤＣＴ）係数の符号化ブロックを含む。動きベクトル・セクションは、マクロブロック用の動きベクトルを生成するために使用される。
システム４００は、ＨＤＲ ＭＰＥＧストリームの最初の処理用の可変長復号ブロックＣ１を有する。可変長復号ブロックＣ１は、ＨＤＲＭＰＥＧストリーム上で標準的な可変長復号を行い、（例えば、所定のハフマン・テーブルを使用することにより）量子化された離散コサイン変換（ＤＣＴ）係数を供給する。逆スキャン機能（図示せず）は、可変長復号ブロックＣ１からの係数を複数のブロック（例えば、８×８ブロック）に割り当てる。
次に、変換ブロックＣ２は、逆量子化及び逆離散コサイン変換動作を行う。逆量子化動作は、逆スキャン機能から供給されるブロック内の各係数を符号化中の量子化手続きにおいて使用されるものと同じ対応する量子化定数と乗算し、その結果を最も近い整数に丸める。逆離散コサイン変換動作は、複数のブロックを空間領域の表現に戻すために、これらのブロックに適用される（画像差分ブロックを形成する）。本発明の特定の実施形態に従った逆ＤＣＴ動作の機能のうちの１つは、特に、（最初にＭＰＥＧ符号器によって符号化された）Ｐ及びＢフレームにそれぞれ関連する誤差信号を復号することにある。
次に、符号化された動きベクトル及び誤差信号は、動き補償ブロックＣ３に送信される。
動き補償ブロックＣ３は、Ｐ及びＢフレームにそれぞれ関連する誤差信号（以下、「ｅｐ（ｘ，ｙ）」及び「ｅｂ（ｘ，ｙ）」と表記）と、（参照Ｉフレームに関連する）各Ｐフレーム用の符号化された１セットの動きベクトルと、（参照Ｉフレーム及びＰフレームに関連する）各Ｂフレーム用の符号化された２セットの動きベクトルを復号するために使用される。典型的なＭＰＥＧ復号器では、各動きベクトルは、復号された画像ブロックを生ずるように逆離散コサイン変換動作の出力と組み合わされた参照画像ブロックを検索するために使用されるのが普通である。従って、動き補償ブロックＣ３は、再構築済みＰフレーム及びＢフレームを供給する。しかし、本発明の実施形態に従って、動き補償ブロックＣ３は、主として誤差信号及び動きベクトルを復号するために使用され、これらを単差分トーン・マッピング計算（Uni-Differential Tone Mapping Calculation）ブロックＣ６及び双差分トーン・マッピング計算（Bi-Differential Tone Mapping Calculation）ブロックＣ７に供給する。
従って、変換ブロックＣ２及び動き補償ブロックＣ３は、Ｉフレーム（完全な値）、Ｐフレーム及びＢフレーム用の誤差信号値ｅｐ（ｘ，ｙ）及びｅｂ（ｘ，ｙ）を生成し、復号された動きベクトルを供給するために使用される。
変換ブロックＣ２からの復号された各Ｉフレームは、トーン・マッピング・ブロックＣ５に供給される。トーン・マッピング・ブロックＣ５は、適切なトーン・マッピング技術に従って、Ｉフレーム上でトーン・マッピング動作を行うために設けられる。このトーン・マッピング動作は、１セットの色を他のものにマップして、ＨＤＲビデオの外観に近似させるために行われる。トーン・マッピング・ブロックＣ５から得られたトーン・マップ済みＩフレームの値Ｉ１（ｘ，ｙ）は、これが参照するＰフレーム及びＢフレーム用のトーン・マップ済み値との差分計算を行うために、単差分トーン・マッピング計算ブロックＣ６及び双差分トーン・マッピング計算ブロックＣ７に供給される。
復号されたＰフレームごとに、（トーン・マッピング・ブロックＣ５から得られた）その参照Ｉフレームに関連するトーン・マップ済みＩフレーム、（変換ブロックＣ２から得られた）Ｐフレームにおける符号化された誤差値ｅｐ（ｘ，ｙ）、（動き補償ブロックＣ３から得られた）Ｐフレームの動きベクトル及び再構築済みＰフレームは、Ｐフレーム用のトーン・マップ済み値を計算するために、単差分トーン・マッピング計算ブロックＣ６によって使用される（なお、この場合において、「単差分」は、Ｐフレーム用の参照フレームとして作用する以前のＩフレームに関するものである）。単差分トーン・マッピング計算ブロックＣ６は、次の式に従って、トーン・マップ済みＩフレームの値からトーン・マップ済みＰフレームの値を計算する。
Ｐ１（ｘ，ｙ）＝Ｉ１（ｘ’，ｙ’）＋ｅｐ（ｘ，ｙ）×Ｉ１（ｘ’，ｙ’）／Ｉ（ｘ’，ｙ’）
但し、Ｐ１（ｘ，ｙ）は、画素位置（ｘ，ｙ）におけるトーン・マップ済みＰフレームの画素値、
ｅｐ（ｘ，ｙ）×Ｉ１（ｘ’，ｙ’）／Ｉ（ｘ’，ｙ’）は、スケーリング係数、
Ｉ（ｘ’，ｙ’）は、Ｉフレームの画素位置（ｘ’，ｙ’）におけるＩフレームの画素値、
ｅｐ（ｘ，ｙ）は、Ｐフレームの画素位置（ｘ，ｙ）における符号化された誤差信号、
Ｉ１（ｘ’，ｙ’）は、トーン・マッピング・ブロックＣ５によって以前に決定された参照Ｉフレームのトーン・マップ済み値である。
画素位置（ｘ’，ｙ’）は、Ｐフレームの動きベクトルによって決定される。
誤差信号ｅｐ（ｘ，ｙ）は、累積された絶対差分ｅｐ（ｘ，ｙ）として測定される。代替的に、もし誤差信号ｅｐ（ｘ，ｙ）が大きければ（すなわち、所定のしきい値を超えれば）、Ｐフレームの全体を、近似なしで、完全にトーン・マップしてもよい。
復号されたＢフレームごとに、（トーン・マッピング・ブロックＣ５から得られた）参照Ｉフレームについて以前に決定されたトーン・マップ済みＩフレームＩ１（ｘ，ｙ）、（トーン・マッピング・ブロックＣ５から得られた）参照Ｐフレームについて以前に決定されたトーン・マップ済みＰフレームＰ１（ｘ，ｙ）、（変換ブロックＣ２から得られた）Ｂフレームにおける誤差値ｅｂ（ｘ，ｙ）、参照Ｉフレーム及びＰフレームにそれぞれ関連する２つの動きベクトル及び再構築済み参照Ｐフレームは、Ｂフレーム用のトーン・マップ済み値を計算するために、双差分トーン・マッピング計算ブロックＣ７によって使用される（なお、この場合において、「双差分」は、参照Ｉフレーム及びＰフレームに関するものである）。双差分トーン・マッピング計算ブロックＣ７の計算は、次の式に従う。
Ｂ１（ｘ，ｙ）＝Ｉ１（ｘ’，ｙ’）＋Ｐ１（ｘ”，ｙ”）＋ｅｂ（ｘ，ｙ）×（Ｉ１（ｘ’，ｙ’）＋Ｐ１（ｘ”，ｙ”））／（Ｉ（ｘ’，ｙ’）＋Ｐ（ｘ”，ｙ”））
但し、Ｂ１（ｘ，ｙ）は、Ｂフレームにおける画素（ｘ，ｙ）のトーン・マップ済み値、
Ｉ１（ｘ’，ｙ’）は、トーン・マップ済みＩフレームにおける対応する画素、
Ｐ１（ｘ”，ｙ”）は、トーン・マップ済みＰフレームにおける対応する画素値、
ｅｂ（ｘ，ｙ）は、Ｂフレームの誤差（画素）値である。
参照Ｉフレームの対応する画素位置（ｘ’，ｙ’）は、参照Ｉフレームに関連するＢフレームの動きベクトルによって決定され、参照Ｐフレームの対応する画素位置（ｘ”，ｙ”）は、参照Ｐフレームに関連するＢフレームの動きベクトルによって決定される。
代替的に、もし累積された絶対差分ｅｂ（ｘ，ｙ）として測定される誤差信号が大きければ（すなわち、所定のしきい値を超えれば）、（トーン・マッピング・オペレータを使用して）Ｂフレームの全体を、近似なしで、完全にトーン・マップしてもよい。さもなければ、トーン・マッピングが差分的に（すなわち、近似を使用して）計算される。
最初、ＭＰＥＧストリーム内のＩフレーム、Ｐフレーム及びＢフレームは、ＨＳＢ空間内にあり、そこで画素成分は、「色相」、「彩度」及び「輝度」を表す。システム４００に設けられている色空間変換ブロックＣ４は、計算されたフレーム（トーン・マップ済みＩフレーム、Ｐフレーム及びＢフレーム）を受け取り、ディスプレイ色空間と一致するようにこれらのフレームをＲＧＢ空間に変換する。その結果、表示することができるトーン・マップ済みＲＧＢ画像が供給される。
本発明の例示的なアプリケーションにおいて、各フレームがトーン・マッピングのために平均でｔ１時間を必要とし、ビデオを復号するためにｔ２時間を必要とするものとする。その場合、本発明の実施形態に従って、Ｉフレームについては、一のトーン・マッピング動作が必要となるに過ぎない。Ｐフレーム及びＢフレームについては、トーン・マッピングは、多数の加算及びスケーリング動作のみを含むに過ぎないから、復号時間ｔ２の複雑さの一因とはならない。従って、Ｉフレーム及びＰフレームのトーン・マッピング動作については、時間ｔ１だけが必要となるに過ぎない。もしｎフレームごとにＩフレームが生じるのであれば、必要とされる総実行時間Ｔａは、Ｔａ＝ｔ１＋ｔ２である。復号ステップは、リアルタイムで行われるので、ｔ２は実質的に小さい。
本発明の利点は、トーン・マッピングがフレームごとに他のフレームから独立的に行われるという既存の技術に比較して、トーン・マッピング動作を高速化することにある。事実、時間Ｔｂ＝ｎｔ１＋ｔ２（但し、Ｔｂは、各フレーム上でトーン・マッピングが行われる場合の総実行時間を表す）を考慮すると、結果的な高速化Ｓは、次の通りである。
Ｓ＝Ｔｂ／Ｔａ＝（ｎｔ１＋ｔ２）／（ｔ１＋ｔ２）
通常、ｔ２＜＜ｔ１であるから、Ｔｂ／Ｔａ＝ｎとなる。誤差値は、迅速なシーン変更と相関している。一般に、ＭＰＥＧ符号器は、かかるフレームにＩフレームを挿入するから、誤差は、小さくなるであろう。一般に、ＭＰＥＧ符号器は、１５フレームごとにＩフレームを挿入する。かかる例については、ｎ＝１５（例えば、ＰＡＬＤＶＤ）である。従って、１５倍の高速化を期待することができる。導入されるオーバーヘッドは、主として、Ｉフレーム用のトーン・マッピング動作である。他のオーバーヘッドは、誤差しきい値を含むことがあるが、これは無視することができる。
図５は、本発明の実施形態に従った、ＭＰＥＧ ＨＤＲ画像からのビデオ画像を色空間変換済み画像に変換するために使用されるコンピュータ・システム５０を示す。コンピュータ・システム５０は、プロセッサ５１、各々がプロセッサ５１に結合された入力装置５２、出力装置５３、メモリ装置５４及び５５を含む。プロセッサ５１は、中央処理ユニット（ＣＰＵ）のような処理ユニットである。入力装置５２は、キーボード、マウス等でもよい。出力装置５３は、プリンタ、プロッタ、ディスプレイ装置（例えばコンピュータ・スクリーン）、磁気テープ、取り外し可能ハードディスク、フレキシブル・ディスク等でもよい。メモリ装置５４及び５５は、ハードディスク、フレキシブル・ディスク、磁気テープ、コンパクト・ディスク（ＣＤ）又はデジタル・ビデオ・ディスク（ＤＶＤ）のような光ディスク・ストレージ、動的ランダム・アクセス・メモリ（ＤＲＡＭ）、読み取り専用メモリ（ＲＯＭ）等でもよい。メモリ装置５５は、コンピュータ実行可能な命令を含むコンピュータ・プログラムである、コンピュータ・コード５７を含む。コンピュータ・コード５７は、ＭＰＥＧＨＤＲ画像を色空間画像に変換するためのアルゴリズムを含む。プロセッサ５１は、コンピュータ・コード５７を実行する。メモリ装置５４は、入力データ５６を含む。入力データ５６は、コンピュータ・コード５７によって必要とされる入力を含む。出力装置５３は、コンピュータ・コード５７からの出力を表示する。メモリ装置５４及び５５の一方又は両方は、その内部にコンピュータ可読プログラム又は他の格納データを有する、コンピュータ使用可能な記憶媒体（又はプログラム・ストレージ装置）として使用してもよい。一般に、コンピュータ・システム５０のコンピュータ・プログラム・プロダクト（又は製品）は、前記コンピュータ使用可能な記憶媒体（又は前記プログラム・ストレージ装置）を含んでもよい。
図５は、ハードウェア及びソフトウェアの特定の構成を示しているが、図５のコンピュータ・システム５０に関連して説明した前記目的を達成するために、当分野で公知のハードウェア及びソフトウェアの任意の構成を使用してもよい。例えば、メモリ装置５４及び５５は、個別のメモリ装置ではなく、単一のメモリ装置の複数の部分でもよい。
例示の目的のために、本明細書では本発明の特定の実施形態を説明したが、当業者にとっては、多数の修正及び変形を施し得ることが明らかであろう。
Ｃ１・・・可変長復号ブロック
Ｃ２・・・逆量子化及び逆離散コサイン変換ブロック
Ｃ３・・・動き補償ブロック
Ｃ４・・・色空間変換ブロック
Ｃ５・・・トーン・マッピング・ブロック
Ｃ６・・・単差分トーン・マッピング計算ブロック
Ｃ７・・・双差分トーン・マッピング計算ブロック

Claims (15)

  1. ＭＰＥＧフォーマットで符号化され且つイントラ符号化フレーム（Ｉフレーム）、予測符号化フレーム（Ｐフレーム）及び双方向予測符号化フレーム（Ｂフレーム）のフレーム・シーケンスを含む、高ダイナミック・レンジ（ＨＤＲ）ビデオ・データ・ストリームをトーン・マッピングするための方法であって、
    前記ＨＤＲビデオ・データ・ストリームを復号することにより、復号済みＩフレーム、Ｐフレームに関係する復号済み補助データ及びＢフレームに関係する復号済み補助データを生成する第１のステップ（３０２）と、
    各復号済みＩフレームに対しトーン・マッピング機能を適用することにより、トーン・マッピング・オペレータに従ったトーン・マップ済みＩフレームを供給する第２のステップ（３０４）と、
    参照Ｉフレームに依存するＰフレームごとに、前記参照Ｉフレームについて以前に決定された前記トーン・マップ済みＩフレーム、前記参照Ｉフレーム及び前記Ｐフレームに関係する前記復号済み補助データから、トーン・マップ済みＰフレームを計算する第３のステップ（３０６）と、
    Ｂフレームごとに、前記参照Ｉフレームについて以前に決定された前記トーン・マップ済みＩフレーム、前記参照Ｐフレームについて以前に決定された前記トーン・マップ済みＰフレーム及び前記Ｂフレームに関係する前記復号済み補助データから、トーン・マップ済みＢフレームを計算する第４のステップ（３０８）を含む、方法。
  2. 前記第３のステップ（３０６）は、前記Ｐフレームの所与の画素位置（ｘ，ｙ）に対応する前記参照Ｉフレームの所定の画素位置（ｘ’，ｙ’）における前記トーン・マップ済みＩフレームの値Ｉ１（ｘ’，ｙ’）、前記所定の画素位置（ｘ’，ｙ’）における前記参照Ｉフレームの値Ｉ（ｘ’，ｙ’）及び前記Ｐフレームに関係する前記復号済み補助データから、前記Ｐフレームの前記所与の画素位置（ｘ，ｙ）におけるトーン・マップ済みＰフレームの値Ｐ１（ｘ，ｙ）を計算することを含む、請求項１に記載の方法。
  3. 前記第４のステップ（３０８）は、前記Ｂフレームの所与の画素位置（ｘ，ｙ）に対応する前記参照Ｉフレームの第１の所定の画素位置（ｘ’，ｙ’）における前記トーン・マップ済みＩフレームの値Ｉ１（ｘ’，ｙ’）、前記所与の画素位置（ｘ，ｙ）に対応する前記参照Ｐフレームの第２の所定の画素位置（ｘ”，ｙ”）におけるトーン・マップ済みＰフレームの値Ｐ１（ｘ”，ｙ”）、前記第１の所定の画素位置（ｘ’，ｙ’）における前記参照Ｉフレームの値Ｉ（ｘ’，ｙ’）及び前記Ｂフレームに関係する前記復号済み補助データから、前記Ｂフレームの前記所与の画素位置（ｘ，ｙ）におけるトーン・マップ済みＢフレームの値Ｂ１（ｘ，ｙ）を計算することを含む、請求項１又は請求項２に記載の方法。
  4. 前記Ｐフレームに関係し且つ前記第３のステップ（３０６）中に使用される前記復号済み補助データは、前記Ｐフレーム用の復号済み誤差信号ｅｐを含み、各Ｂフレームと関係し且つ前記第４のステップ（３０８）中に使用される前記復号済み補助データは、復号済み誤差信号ｅｂを含み、前記第１のステップ（３０２）は、逆離散コサイン変換機能を使用して前記ＨＤＲビデオ・データ・ストリームからの前記誤差信号ｅｐ及び前記誤差信号ｅｂを復号することを含む、請求項３に記載の方法。
  5. 前記第３のステップ（３０６）は、前記Ｐフレームに関係する前記誤差信号ｅｐを比Ｉ１（ｘ’，ｙ’）／Ｉ（ｘ’，ｙ’）だけスケールすることを含み、前記第４のステップ（３０８）は、前記Ｂフレームに関係する前記誤差信号ｅｂを比Ｉ１（ｘ’，ｙ’）＋Ｐ１（ｘ”，ｙ”））／（Ｉ（ｘ’，ｙ’）＋Ｐ（ｘ”，ｙ”）だけスケールすることを含み、Ｐ（ｘ”，ｙ”）は、前記第２の所定の位置における前記参照Ｐフレームの再構築された値を表す、請求項４に記載の方法。
  6. 前記Ｐフレームの所与の画素位置（ｘ，ｙ）における前記トーン・マップ済みＰフレームの値Ｐ１（ｘ、ｙ）は、次の式に従って決定される、請求項４又は請求項５に記載の方法。
    Ｐ１（ｘ，ｙ）＝Ｉ１（ｘ’，ｙ’）＋ｅｐ（ｘ，ｙ）×Ｉ１（ｘ’，ｙ’）／Ｉ（ｘ’，ｙ’）
  7. 前記Ｂフレームの所与の画素位置（ｘ，ｙ）における前記トーン・マップ済みＢフレームの値Ｂ１（ｘ、ｙ）は、次の式に従って決定される、請求項４ないし請求項６の何れか１項に記載の方法。
    Ｂ１（ｘ，ｙ）＝Ｉ１（ｘ’，ｙ’）＋Ｐ１（ｘ”，ｙ”）＋ｅｂ（ｘ，ｙ）×（Ｉ１（ｘ’，ｙ’）＋Ｐ１（ｘ”，ｙ”））／（Ｉ（ｘ’，ｙ’）＋Ｐ（ｘ”，ｙ”））
  8. 前記復号済み補助データは、前記参照Ｉフレームに関連する各Ｐフレーム用の１セットの復号済み動きベクトルをさらに含み、前記第３のステップ（３０６）は、前記参照Ｉフレームに関連する前記１セットの復号済み動きベクトルから前記所定の位置（ｘ’，ｙ’）を決定することを含む、請求項２ないし請求項７の何れか１項に記載の方法。
  9. 前記復号済み補助データは、前記参照Ｉフレーム及び前記参照Ｐフレームにそれぞれ関連する各Ｂフレーム用の２セットの復号済み動きベクトルを含み、前記第４のステップ（３０８）は、前記参照Ｉフレームに関連する前記１セットの復号済み動きベクトルから前記第１の所定の画素位置（ｘ’，ｙ’）を決定し且つ前記参照Ｐフレームに関連する前記１セットの復号済み動きベクトルから前記第２の所定の画素位置（ｘ”，ｙ”）を決定することを含む、請求項３ないし請求項８の何れか１項に記載の方法。
  10. 前記複数セットの動きベクトルは、前記ＭＰＥＧビデオ・データ・ストリームから生成され、前記第１のステップ（３０２）は、動き補償機能を適用して前記複数セットの動きベクトルを復号することを含む、請求項８又は請求項９に記載の方法。
  11. 前記第１のステップ（３０２）は、前記ＨＤＲビデオ・データに可変長復号機能を適用することにより、量子化された係数セットを供給し、前記係数セットに逆スキャン機能を適用することにより、逆スキャン済みビデオ・データ信号を供給し、前記逆スキャン済みビデオ・データ信号に逆量子化機能を適用し、前記逆量子化されたビデオ・データ信号に逆離散コサイン変換機能を適用することにより、逆量子化済みビデオ・データ信号を供給することを含む、請求項１ないし請求項１０の何れか１項に記載の方法。
  12. 前記第２のステップ（３０４）、前記第３のステップ（３０６）及び前記第４のステップ（３０８）に従って得られた各マップ済みフレームの色空間変換を行うステップと、
    前記色空間変換された複数のフレームをディスプレイ装置上に表示するステップをさらに含む、請求項１ないし請求項１１の何れか１項に記載の方法。
  13. 前記色空間変換は、ＲＧＢ色空間への変換である、請求項１２に記載の方法。
  14. 請求項１ないし請求項１３の何れか１項に記載の方法の各ステップをコンピュータに実行させるためのコンピュータ・プログラム。
  15. 請求項１ないし請求項１３の何れか１項に記載の方法の各ステップを行うのに適した手段を備えるシステム。
JP2013542541A 2010-12-10 2011-12-08 高ダイナミック・レンジ（ｈｄｒ）ビデオ・データ・ストリームをトーン・マッピングするための方法、コンピュータ・プログラム及びシステム Expired - Fee Related JP5878551B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP10194489 2010-12-10
EP10194489.0 2010-12-10
PCT/EP2011/072183 WO2012076646A1 (en) 2010-12-10 2011-12-08 High-dynamic range video tone mapping

Publications (2)

Publication Number Publication Date
JP2014502480A true JP2014502480A (ja) 2014-01-30
JP5878551B2 JP5878551B2 (ja) 2016-03-08

Family

ID=45315791

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013542541A Expired - Fee Related JP5878551B2 (ja) 2010-12-10 2011-12-08 高ダイナミック・レンジ（ｈｄｒ）ビデオ・データ・ストリームをトーン・マッピングするための方法、コンピュータ・プログラム及びシステム

Country Status (6)

Country Link
US (1) US10013746B2 (ja)
JP (1) JP5878551B2 (ja)
CN (1) CN103250182B (ja)
DE (1) DE112011103365B4 (ja)
GB (1) GB2500835B (ja)
WO (1) WO2012076646A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016017058A1 (en) 2014-07-28 2016-02-04 Sony Corporation Image processing apparatus and image processing method
WO2016038775A1 (en) 2014-09-08 2016-03-17 Sony Corporation Image processing apparatus and image processing method
US9501855B2 (en) 2014-09-11 2016-11-22 Sony Corporation Image processing apparatus and image processing method
US10565694B2 (en) 2015-05-12 2020-02-18 Sony Corporation Image processing apparatus, image processing method, and program for reproducing tone of a high dynamic range (HDR) image
US10832636B2 (en) 2016-09-06 2020-11-10 Sony Corporation Image processing apparatus, image processing method, and program
US10915999B2 (en) 2016-05-25 2021-02-09 Sony Corporation Image processing apparatus, image processing method, and program

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI586150B (zh) * 2012-06-29 2017-06-01 新力股份有限公司 影像處理裝置及非暫態電腦可讀儲存媒體
EP2804374A1 (en) * 2013-02-22 2014-11-19 Thomson Licensing Coding and decoding methods of a picture block, corresponding devices and data stream
EP2804375A1 (en) 2013-02-22 2014-11-19 Thomson Licensing Coding and decoding methods of a picture block, corresponding devices and data stream
JP6156489B2 (ja) * 2013-04-23 2017-07-05 富士通株式会社 画像符号化装置、画像符号化方法、及び撮像装置
US9955084B1 (en) 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
US8958658B1 (en) 2013-09-10 2015-02-17 Apple Inc. Image tone adjustment using local tone curve computation
WO2015180854A1 (en) 2014-05-28 2015-12-03 Koninklijke Philips N.V. Methods and apparatuses for encoding an hdr images, and methods and apparatuses for use of such encoded images
US10277771B1 (en) 2014-08-21 2019-04-30 Oliver Markus Haynold Floating-point camera
US10225485B1 (en) * 2014-10-12 2019-03-05 Oliver Markus Haynold Method and apparatus for accelerated tonemapping
CN104463794A (zh) * 2014-11-13 2015-03-25 河南理工大学 一种基于分区的图像处理方法
PL4114014T3 (pl) * 2014-12-03 2024-04-08 Panasonic Intellectual Property Management Co., Ltd. Sposób generowania danych, sposób odtwarzania danych, urządzenie do generowania danych, oraz urządzenie do odtwarzania danych
EP3051488A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing A method and apparatus for inverse-tone mapping a picture
KR102322709B1 (ko) * 2015-04-29 2021-11-08 엘지디스플레이 주식회사 영상 처리 방법 및 영상 처리 회로와 그를 이용한 표시 장치
US10165198B2 (en) 2015-06-02 2018-12-25 Samsung Electronics Co., Ltd. Dual band adaptive tone mapping
US11176646B2 (en) * 2015-06-25 2021-11-16 Samsung Electronics Co., Ltd. HDR tone mapping methods with scene adaptive parameterized tone map function
EP3113492A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing Method and apparatus for determining prediction of current block of enhancement layer
EP3414890B1 (en) * 2016-02-12 2023-08-09 Contrast, Inc. Devices and methods for high dynamic range video
US10257394B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Combined HDR/LDR video streaming
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
GB2549696A (en) * 2016-04-13 2017-11-01 Sony Corp Image processing method and apparatus, integrated circuitry and recording medium
WO2018031441A1 (en) * 2016-08-09 2018-02-15 Contrast, Inc. Real-time hdr video for vehicle control
US10218952B2 (en) 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
JP6852411B2 (ja) * 2017-01-19 2021-03-31 ソニー株式会社 映像信号処理装置、映像信号処理方法およびプログラム
US10176561B2 (en) 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
WO2019014057A1 (en) 2017-07-10 2019-01-17 Contrast, Inc. STEREOSCOPIC CAMERA
US10755392B2 (en) * 2017-07-13 2020-08-25 Mediatek Inc. High-dynamic-range video tone mapping
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
CN108986039B (zh) * 2018-06-06 2019-07-09 贝壳找房(北京)科技有限公司 一种基于灰度图的色调映射方法及系统
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
CN111383201B (zh) * 2018-12-29 2024-03-12 深圳Tcl新技术有限公司 基于场景的图像处理方法、装置、智能终端及存储介质
CN113630563B (zh) * 2020-05-08 2022-07-22 华为技术有限公司 一种高动态范围hdr视频的处理方法、编码设备和解码设备
WO2023150074A1 (en) * 2022-02-01 2023-08-10 Dolby Laboratories Licensing Corporation Beta scale dynamic display mapping

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007243942A (ja) * 2006-02-24 2007-09-20 Sharp Corp 画像データの符号化方法、復号化方法、およびコーデックシステム
WO2009052205A1 (en) * 2007-10-15 2009-04-23 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
US20100135393A1 (en) * 2007-06-27 2010-06-03 Yong Ying Gao Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction for bit depth scalability
US20100260260A1 (en) * 2007-06-29 2010-10-14 Fraungofer-Gesellschaft zur Forderung der angewandten Forschung e.V. Scalable video coding supporting pixel value refinement scalability
JP2011501565A (ja) * 2007-10-16 2011-01-06 トムソン ライセンシング ビット深度スケーラビリティのためのアーティファクト除去のための方法及び装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7042944B2 (en) * 2000-09-22 2006-05-09 Koninklijke Philips Electronics N.V. Single-loop motion-compensation fine granular scalability
US8135073B2 (en) * 2002-12-19 2012-03-13 Trident Microsystems (Far East) Ltd Enhancing video images depending on prior image enhancements
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
US20050232355A1 (en) * 2004-04-15 2005-10-20 Srinivas Cheedela Video decoder for supporting both single and four motion vector macroblocks
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US20060222247A1 (en) * 2005-04-01 2006-10-05 Bhaskar Sherigar Hardware implementation of inverse scan for a plurality of standards
JP2007039791A (ja) 2005-06-29 2007-02-15 Fujifilm Corp リフレクタ、それを備えた加熱用るつぼおよび放射線像変換パネルの製造方法
US7983496B2 (en) 2007-06-26 2011-07-19 Mitsubishi Electric Research Laboratories, Inc. Inverse tone mapping for bit-depth scalable image coding adapted to variable block sizes
US8085852B2 (en) * 2007-06-26 2011-12-27 Mitsubishi Electric Research Laboratories, Inc. Inverse tone mapping for bit-depth scalable image coding
US9830691B2 (en) * 2007-08-03 2017-11-28 The University Of Akron Method for real-time implementable local tone mapping for high dynamic range images
US20090317017A1 (en) 2008-06-20 2009-12-24 The Hong Kong University Of Science And Technology Image characteristic oriented tone mapping for high dynamic range images
EP2051527A1 (en) * 2007-10-15 2009-04-22 Thomson Licensing Enhancement layer residual prediction for bit depth scalability using hierarchical LUTs
ES2389458T3 (es) 2008-07-10 2012-10-26 The University Of Warwick Métodos y dispositivos para la compresión de datos de vídeo HDR
US8406569B2 (en) * 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
JP5688773B2 (ja) * 2009-02-03 2015-03-25 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ビット深度スケーラビリティにおける平滑参照フレームを用いた動き補償のための方法および装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007243942A (ja) * 2006-02-24 2007-09-20 Sharp Corp 画像データの符号化方法、復号化方法、およびコーデックシステム
US20100135393A1 (en) * 2007-06-27 2010-06-03 Yong Ying Gao Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction for bit depth scalability
US20100260260A1 (en) * 2007-06-29 2010-10-14 Fraungofer-Gesellschaft zur Forderung der angewandten Forschung e.V. Scalable video coding supporting pixel value refinement scalability
WO2009052205A1 (en) * 2007-10-15 2009-04-23 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
JP2011501565A (ja) * 2007-10-16 2011-01-06 トムソン ライセンシング ビット深度スケーラビリティのためのアーティファクト除去のための方法及び装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JUI-CHIU CHIANG, ET.AL.: ""BIT-DEPTH SCALABLE VIDEO CODING USING INTER-LAYER PREDICTION FROM HIGH BIT-DEPTH LAYER"", PROC. OF IEEE INT. CONF. ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING 2009 (ICASSP 2009), JPN6015052118, 24 April 2009 (2009-04-24), pages 649 - 652, XP031459313, ISSN: 0003224484 *
SEGALL, A.: ""SCALABLE CODING OF HIGH DYNAMIC RANGE VIDEO"", PROC. OF IEEE INT. CONF. ON IMAGE PROCESSING 2007 (ICIP 2007), vol. 1, JPN6015052119, 19 October 2007 (2007-10-19), pages 1 - 4, ISSN: 0003224485 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016017058A1 (en) 2014-07-28 2016-02-04 Sony Corporation Image processing apparatus and image processing method
US10565695B2 (en) 2014-07-28 2020-02-18 Sony Corporation Apparatus and method for transmitting and receiving high dynamic range images
WO2016038775A1 (en) 2014-09-08 2016-03-17 Sony Corporation Image processing apparatus and image processing method
US10192294B2 (en) 2014-09-08 2019-01-29 Sony Corporation Image processing apparatus and image processing method for display mapping
US9501855B2 (en) 2014-09-11 2016-11-22 Sony Corporation Image processing apparatus and image processing method
US9665964B2 (en) 2014-09-11 2017-05-30 Sony Corporation Image processing apparatus and image processing method
US10032300B2 (en) 2014-09-11 2018-07-24 Sony Corporation Image processing apparatus and image processing method
US10402681B2 (en) 2014-09-11 2019-09-03 Sony Corporation Image processing apparatus and image processing method
US10565694B2 (en) 2015-05-12 2020-02-18 Sony Corporation Image processing apparatus, image processing method, and program for reproducing tone of a high dynamic range (HDR) image
US10915999B2 (en) 2016-05-25 2021-02-09 Sony Corporation Image processing apparatus, image processing method, and program
US10832636B2 (en) 2016-09-06 2020-11-10 Sony Corporation Image processing apparatus, image processing method, and program

Also Published As

Publication number Publication date
CN103250182A (zh) 2013-08-14
CN103250182B (zh) 2016-08-24
WO2012076646A1 (en) 2012-06-14
GB2500835A (en) 2013-10-02
GB2500835B (en) 2014-02-12
US10013746B2 (en) 2018-07-03
US20120147953A1 (en) 2012-06-14
DE112011103365T5 (de) 2013-07-18
GB201311047D0 (en) 2013-08-07
JP5878551B2 (ja) 2016-03-08
DE112011103365B4 (de) 2016-08-25
GB2500835A8 (en) 2013-10-16

Similar Documents

Publication Publication Date Title
JP5878551B2 (ja) 高ダイナミック・レンジ（ｈｄｒ）ビデオ・データ・ストリームをトーン・マッピングするための方法、コンピュータ・プログラム及びシステム
JP5257447B2 (ja) シャッター時間補償
US11064211B2 (en) Advanced video coding method, system, apparatus, and storage medium
JP2006512809A (ja) 立体ビデオの符号化及び復号化方法、符号化及び復号化装置
JPH06197334A (ja) 画像信号符号化方法、画像信号復号化方法、画像信号符号化装置、画像信号復号化装置及び画像信号記録媒体
JP2962348B2 (ja) 画像符号変換方式
CN1695381A (zh) 在数字视频信号的后处理中使用编码信息和局部空间特征的清晰度增强
US20150365698A1 (en) Method and Apparatus for Prediction Value Derivation in Intra Coding
US11212536B2 (en) Negative region-of-interest video coding
JP7384974B2 (ja) 適応乗算係数を用いた画像フィルタリングのための方法および装置
JP2018517317A (ja) ビデオコーディングシステムにおける残差変換及び逆変換方法
US8704932B2 (en) Method and system for noise reduction for 3D video content
JP4382284B2 (ja) サブバンドの符号化／復号
CN114556931A (zh) 基于调色板模式的图像或视频编码
CN1608378A (zh) 在视频清晰度增强中改善时间一致性
KR101323732B1 (ko) 영상 부호화장치 및 방법과 그 복호화장치 및 방법
JP2022515518A (ja) イントラ予測のための成分間線形モデリングの方法および装置
US10531112B2 (en) Signal processing apparatus, imaging apparatus, and signal processing method to reduce electric power required for signal processing
JP2005184525A (ja) 画像処理装置
Argyropoulos et al. Coding of two-dimensional and three-dimensional color image sequences
US8233709B2 (en) Color effects for compressed digital video
Benabdellah et al. A method for choosing reference images based on edge detection for video compression
JP5227439B2 (ja) 立体３ｄビデオイメージディジタルコーディングのシステムおよび方法
KR20220050968A (ko) 변환 스킵 및 팔레트 코딩 관련 정보 기반 영상 또는 비디오 코딩
KR20220073825A (ko) 크로마 양자화 파라미터 오프셋 정보 기반 영상 또는 비디오 코딩

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160128

R150 Certificate of patent or registration of utility model

Ref document number: 5878551

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees