JP2016005217A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP2016005217A
JP2016005217A JP2014125966A JP2014125966A JP2016005217A JP 2016005217 A JP2016005217 A JP 2016005217A JP 2014125966 A JP2014125966 A JP 2014125966A JP 2014125966 A JP2014125966 A JP 2014125966A JP 2016005217 A JP2016005217 A JP 2016005217A
Authority
JP
Japan
Prior art keywords
layer
image
unit
lookup table
granularity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014125966A
Other languages
English (en)
Other versions
JP6330507B2 (ja
Inventor
央二 中神
Hisaji Nakagami
央二 中神
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014125966A priority Critical patent/JP6330507B2/ja
Priority to EP15719302.0A priority patent/EP3011748A1/en
Priority to CN201580001432.7A priority patent/CN105409217B/zh
Priority to US14/905,428 priority patent/US9973766B2/en
Priority to PCT/JP2015/002033 priority patent/WO2015194078A1/en
Publication of JP2016005217A publication Critical patent/JP2016005217A/ja
Application granted granted Critical
Publication of JP6330507B2 publication Critical patent/JP6330507B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】ルックアップテーブル方式のスケーラブル符号化技術において、色空間の分割の粒度をより柔軟に扱うことを可能とする。
【解決手段】第１レイヤの輝度成分、第１色差成分及び第２色差成分の組合せと当該組合せに対応する第２レイヤの予測画素値とをマッピングするルックアップテーブルを用いて、前記第１レイヤの画像から、前記第１レイヤとは異なる画素属性を有する前記第２レイヤの画像を予測する予測部、を備え、前記予測部は、第１のルックアップテーブルを用いて前記第２レイヤの前記輝度成分の予測値を取得し、前記第１のルックアップテーブルとは粒度の異なる第２のルックアップテーブルを用いて前記第２レイヤの前記第１色差成分の予測値を取得する、画像処理装置を提供する。
【選択図】図１３

Description

本開示は、画像処理装置及び画像処理方法に関する。
ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同の標準化団体であるＪＣＴＶＣ（Joint Collaboration Team-Video Coding）は、Ｈ．２６４／ＡＶＣよりも符号化効率をさらに向上させることを目的として、ＨＥＶＣ（High Efficiency Video Coding）と呼ばれる画像符号化方式の標準化を進めてきた（例えば、非特許文献１参照）。ＨＥＶＣは、シングルレイヤの符号化のみならず、スケーラブル符号化をも提供する。ＨＥＶＣのスケーラブル符号化技術を、ＳＨＶＣ（Scalable HEVC）ともいう（例えば、非特許文献２参照）。
スケーラブル符号化とは、一般には、粗い画像信号を伝送するレイヤと精細な画像信号を伝送するレイヤとを階層的に符号化する技術をいう。従来のスケーラブル符号化技術において階層化され得る典型的な属性は、空間解像度（空間スケーラビリティ）、フレームレート（時間スケーラビリティ）及びＳＮ比（ＳＮＲ（Signal to Noise Ratio）スケーラビリティ）の３種類であった。これに対し、非特許文献３は、画素属性の一種である色域（Color Gamut）を階層化する色域スケーラビリティを提案している。色域と共に、ビット深度もまた階層化され得る。非特許文献４は、やはり画素属性の一種である輝度ダイナミックレンジを階層化する技術を提案している。
非特許文献３により提案された手法によれば、ベースレイヤの色域（例えば、ＩＴＵ−Ｒ ＢＴ．７０９）における画素ベクトル（Ｙ，Ｕ，Ｖ）から、３次元のルックアップテーブルを用いて、エンハンスメントレイヤの色域（例えば、ＩＴＵ−Ｒ ＢＴ．２０２０）の色域における対応する画素ベクトルが予測される。このルックアップテーブルは、カラーマッピングテーブルという名称でＳＨＶＣの標準仕様において採用される見込みである。カラーマッピングテーブルは、ベースレイヤの色空間をいくつかの直方体状の区画（cuboid partition）に分割する。カラーマッピングテーブルは、分割によって形成される複数の区画の各々を、対応するエンハンスメントレイヤの色空間の部分空間にマッピングする。１つの部分空間は、４つの頂点を定義することによって特定され得る。非特許文献３により提案された手法によれば、具体的な予測画素値は、４つの頂点の画素値に基づく三角錐補間（tetrahedral interpolation）によって決定される。
Benjamin Bross, Woo-Jin Han, Gary J. Sullivan, Jens-Rainer Ohm, Gary J. Sullivan, Ye-Kui Wang, Thomas Wiegand, "High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Consent)"（JCTVC-L1003_v4, 2013年1月14-23日） Jianle Chen, Jill Boyce, Yan Ye, Miska M. Hannuksela, Gary J. Sullivan and Ye-kui Wang, "Preliminary version of High efficiency video coding (HEVC) scalable extension Draft 6"（JCTVC-Q1008_v2， 2014年3月27-4月4日） Xiang Li, Jianle Chen and Marta Karczewicz, "Non-SCE1: Asymmetric 3D LUT for Color Gamut Scalability "（JCTVC-P0063_r1， 2014年1月9-17日） David Touze, el. al, "High Dynamic Range Video Distribution Using Existing Video Codecs"（30th Picture Coding Symposium, December 8-11, 2013）
カラーマッピングテーブルによる空間分割の粒度がより精細であるほど、ベースレイヤの色空間の区画数はより多くなり、対応するエンハンスメントレイヤの複数の部分空間を定義するために要する符号量も増大する。一方、空間分割の粒度がより粗ければ、カラーマッピングテーブルのために要する符号量はより少ないが、インターレイヤ予測の予測精度が低下し得る。しかし、既存の手法では、３つの色成分について画一的な（即ち１通りの）分割の粒度しか定義することができない。そのため、ある色成分の予測のために最適な粒度でベースレイヤの色空間を分割した場合に、他の色成分の予測にとっては粒度が粗すぎて十分な予測精度が得られず、又は必要以上に粒度が精細すぎることがある。
そこで、ルックアップテーブル方式のスケーラブル符号化技術において、色空間の分割の粒度をより柔軟に扱うことのできる手法が提供されることが望ましい。
本開示によれば、第１レイヤの輝度成分、第１色差成分及び第２色差成分の組合せと当該組合せに対応する第２レイヤの予測画素値とをマッピングするルックアップテーブルを用いて、前記第１レイヤの画像から、前記第１レイヤとは異なる画素属性を有する前記第２レイヤの画像を予測する予測部、を備え、前記予測部は、第１のルックアップテーブルを用いて前記第２レイヤの前記輝度成分の予測値を取得し、前記第１のルックアップテーブルとは粒度の異なる第２のルックアップテーブルを用いて前記第２レイヤの前記第１色差成分の予測値を取得する、画像処理装置が提供される。
上記画像処理装置は、画像を復号する画像復号装置として実現されてもよく、又は、画像を符号化する画像符号化装置として実現されてもよい。
また、本開示によれば、第１レイヤの画像から、前記第１レイヤとは異なる画素属性を有する第２レイヤの画像を予測する画像処理装置において、前記第１レイヤの輝度成分、第１色差成分及び第２色差成分の組合せと当該組合せに対応する前記第２レイヤの予測画素値とをマッピングする第１のルックアップテーブルを用いて、前記第２レイヤの前記輝度成分の予測値を取得することと、前記第１のルックアップテーブルとは粒度の異なる第２のルックアップテーブルを用いて、前記第２レイヤの前記第１色差成分の予測値を取得することと、を含む画像処理方法が提供される。
本開示に係る技術によれば、ルックアップテーブル方式のスケーラブル符号化技術において、色空間の分割の粒度をより柔軟に扱うことが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
スケーラブル符号化について説明するための説明図である。 ＢＴ．７０９及びＢＴ．２０２０により表現される色域について説明するための説明図である。 輝度ダイナミックレンジについて説明するための説明図である。 既存のカラーマッピングテーブルの概要について説明するための第１の説明図である。 カラーマッピングテーブルの概要について説明するための第２の説明図である。 一実施形態に係る画像符号化装置の概略的な構成を示すブロック図である。 一実施形態に係る画像復号装置の概略的な構成を示すブロック図である。 図６に示したＥＬ符号化部の構成の一例を示すブロック図である。 一実施形態に係る符号化時の概略的な処理の流れの一例を示すフローチャートである。 符号化時の空間分割処理の流れの一例を示すフローチャートである。 既存の手法に従ったテーブル情報符号化処理の流れの一例を示すフローチャートである。 新たな手法に従ったテーブル情報符号化処理の流れの一例を示すフローチャートである。 図７に示したＥＬ復号部の構成の一例を示すブロック図である。 一実施形態に係る復号時の概略的な処理の流れの一例を示すフローチャートである。 既存の手法に従ったテーブル再構築処理の流れの一例を示すフローチャートである。 新たな手法に従ったテーブル再構築処理の流れの一例を示すフローチャートである。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。 スケーラブル符号化の用途の第１の例について説明するための説明図である。 スケーラブル符号化の用途の第２の例について説明するための説明図である。 スケーラブル符号化の用途の第３の例について説明するための説明図である。 マルチビューコーデックについて説明するための説明図である。 マルチビューコーデックのための画像符号化装置の概略的な構成を示すブロック図である。 マルチビューコーデックのための画像復号装置の概略的な構成を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下の順序で説明を行う。
１．概要
１−１．スケーラブル符号化
１−２．ルックアップテーブル方式でのインターレイヤ予測
１−３．エンコーダの基本的な構成例
１−４．デコーダの基本的な構成例
２．一実施形態に係るＥＬ符号化部の構成例
２−１．各部の説明
２−２．シンタックス例
３．一実施形態に係る符号化時の処理の流れ
３−１．概略的な流れ
３−２．空間分割処理
３−３．テーブル情報符号化処理
４．一実施形態に係るＥＬ復号部の構成例
５．一実施形態に係る復号時の処理の流れ
５−１．概略的な流れ
５−２．テーブル再構築処理
６．応用例
６−１．様々な製品への応用
６−２．スケーラブル符号化の様々な用途
６−３．その他
７．まとめ
＜１．概要＞
［１−１．スケーラブル符号化］
スケーラブル符号化においては、一連の画像をそれぞれ含む複数のレイヤが符号化される。ベースレイヤ（base layer）は、最初に符号化される、最も粗い画像を表現するレイヤである。ベースレイヤの符号化ストリームは、他のレイヤの符号化ストリームを復号することなく、独立して復号され得る。ベースレイヤ以外のレイヤは、エンハンスメントレイヤ（enhancement layer）と呼ばれる、より精細な画像を表現するレイヤである。エンハンスメントレイヤの符号化ストリームは、ベースレイヤの符号化ストリームに含まれる情報を用いて符号化される。従って、エンハンスメントレイヤの画像を再現するためには、ベースレイヤ及びエンハンスメントレイヤの双方の符号化ストリームが復号されることになる。スケーラブル符号化において扱われるレイヤの数は、２つ以上のいかなる数であってもよい。３つ以上のレイヤが符号化される場合には、最下位のレイヤがベースレイヤ、残りの複数のレイヤがエンハンスメントレイヤである。より上位のエンハンスメントレイヤの符号化ストリームは、より下位のエンハンスメントレイヤ又はベースレイヤの符号化ストリームに含まれる情報を用いて符号化され及び復号され得る。
図１は、スケーラブル符号化される３つのレイヤＬ１、Ｌ２及びＬ３を示している。レイヤＬ１はベースレイヤであり、レイヤＬ２及びＬ３はエンハンスメントレイヤである。レイヤＬ２のレイヤＬ１に対する空間解像度の比は、２：１である。レイヤＬ３のレイヤＬ１に対する空間解像度の比は、４：１である。なお、ここでの解像度比は一例に過ぎず、例えば１．５：１などの非整数の解像度比が使用されてもよい。レイヤＬ１のブロックＢ１は、ベースレイヤのピクチャ内の符号化処理の処理単位である。レイヤＬ２のブロックＢ２は、ブロックＢ１と共通するシーンを映したエンハンスメントレイヤのピクチャ内の符号化処理の処理単位である。ブロックＢ２は、レイヤＬ１のブロックＢ１に対応する。レイヤＬ３のブロックＢ３は、ブロックＢ１及びＢ２と共通するシーンを映したより上位のエンハンスメントレイヤのピクチャ内の符号化処理の処理単位である。ブロックＢ３は、レイヤＬ１のブロックＢ１及びレイヤＬ２のブロックＢ２に対応する。
図１に例示したレイヤ構造において、画像のテクスチャは、共通するシーンを映したレイヤ間で類似する。即ち、レイヤＬ１内のブロックＢ１、レイヤＬ２内のブロックＢ２、及びレイヤＬ３内のブロックＢ３のテクスチャは類似する。従って、例えばブロックＢ１を参照ブロックとして用いてブロックＢ２又はブロックＢ３の画素を予測し、又はブロックＢ２を参照ブロックとして用いてブロックＢ３の画素を予測すれば、高い予測精度が得られる可能性がある。このようなレイヤ間の予測を、インターレイヤ予測という。インターレイヤ予測に分類される具体的な予測手法は、複数存在する。その一例は、ベースレイヤの復号画像（リコンストラクト画像）からエンハンスメントレイヤの復号画像を予測する、イントラＢＬ予測である。他の例は、ベースレイヤの予測誤差（残差）画像からエンハンスメントレイヤの予測誤差画像を予測する、イントラ残差予測及びインター残差予測である。
［１−２．ルックアップテーブル方式でのインターレイヤ予測］
（１）色域スケーラビリティ
図１に例示した空間スケーラビリティでは、アップサンプリングによって画素を補間することにより、インターレイヤ予測の予測画素が形成される。これに対し、非特許文献３により提案されたルックアップテーブル方式でのインターレイヤ予測は、色域スケーラビリティのような、画素属性が階層化される場合のスケーラブル符号化に適した手法である。画素属性が階層化される場合には、同じ空間的及び時間的位置の画素であっても、画素値がレイヤ間で異なる可能性がある。
一例として、ベースレイヤであるレイヤＬ１の画像がＨＤテレビジョン画像であり、エンハンスメントレイヤであるレイヤＬ２の画像がＵＨＤテレビジョン画像であるものとする。図２は、ＢＴ．７０９及びＢＴ．２０２０により表現される色域について説明するための説明図である。図２を参照すると、所定の拘束条件を用いて３次元の色空間を２次元平面へマッピングした色域グラフが示されている。グラフ中の十字マークは、白色がマッピングされる位置を示す。グラフ中の破線は、ＢＴ．７０９が表現することのできる色の範囲を示す。グラフ中の実線は、ＢＴ．２０２０が表現することのできる色の範囲を示す。グラフ中の点線は、人間の視覚が識別することのできる色の範囲を示す。図２から理解されるように、ＢＴ．２０２０は、ＢＴ．７０９よりも多彩な色を表現することができる。レイヤＬ１からレイヤＬ２へのインターレイヤ予測に際しては、レイヤＬ１の各画素にマッピングされるレイヤＬ２の予測画素値が、３次元のルックアップテーブルに基づいて取得され得る。アップサンプリングは、ルックアップテーブルへ入力される入力画素値について行われてもよく、又はルックアップテーブルに基づいて取得される予測画素値について行われてもよい。予測画素値に別途符号化され及び復号され得る残差（予測誤差）を加算することで、エンハンスメントレイヤの画素値が復元される。
（２）ダイナミックレンジスケーラビリティ
ルックアップテーブル方式は、色域スケーラビリティに限定されず、他の種類のスケーラブル符号化にも適用可能である。例えば、ダイナミックレンジ又はビット深度といった画素属性の変換のために、ルックアップテーブルによって変換の前後の画素値の最適なマッピングを定義することが可能である。
輝度ダイナミックレンジは、画質に影響を与える重要な属性である。既存の多くのディスプレイによりサポートされるＳＤＲ（Standard Dynamic Range）画像の最大輝度は、１００ｎｉｔである。一方、近年市場に投入されたハイエンドディスプレイによりサポートされるＨＤＲ（High Dynamic Range）画像の最大輝度は、例えば８００ｎｉｔに達する。ＳＤＲ画像は、ＨＤＲ画像との対比において、ＬＤＲ（Low Dynamic Range）画像とも呼ばれる。
図３は、ビデオフォーマットのダイナミックレンジについて説明するための説明図である。図３の縦軸は輝度［ｎｉｔ］を表す。自然界の最大輝度は２００００ｎｉｔに達することがあり、一般的な被写体の輝度は例えば最大で１２０００ｎｉｔ程度である。これに対し、イメージセンサのダイナミックレンジの上限は、自然界の最大輝度よりも低く、例えば４０００ｎｉｔであり得る。イメージセンサにより生成される画像信号は、さらに所定のビデオフォーマットで記録される。ＳＤＲ画像のダイナミックレンジは図中で斜線で網掛けされたバーで示されており、その上限は１００ｎｉｔである。よって、ＳＤＲ画像として撮像画像を記録する際には、輝度のダイナミックレンジは、例えばニー（knee）圧縮などの手法で、大きく圧縮される。そして、ディスプレイが表現可能な最大輝度が１０００ｎｉｔである場合、ＳＤＲ画像を表示する際に１０倍のスケーリングが行われるが、スケーリングの結果として表示画像には画質の劣化が現れ易い。ＨＤＲ画像のダイナミックレンジは図中で太枠のバーで示されており、その上限は８００ｎｉｔである。よって、ＨＤＲ画像として撮像画像を記録する際にも、輝度のダイナミックレンジは、例えばニー圧縮などの手法で圧縮される。ディスプレイが表現可能な最大輝度が１０００ｎｉｔである場合、ＨＤＲ画像を表示する際に１．２５倍のスケーリングが行われるが、スケーリング率が小さいために表示画像の画質の劣化は少なくて済む。
従って、ビデオフォーマットとしてＨＤＲ画像をサポートすることは、高画質の画像をユーザに提供することが可能となるという恩恵をもたらす。そして、ＳＤＲ画像をサポートするデバイスとの互換性の確保、ストレージの制約及び多様な伝送帯域への対応などを理由として、ダイナミックレンジスケーラビリティが実現されることが有益である。文献“High Dynamic Range Video Distribution Using Existing Video Codecs”（David Touze, el. al, 30th Picture Coding Symposium, December 8-11, 2013）は、ダイナミックレンジスケーラビリティの一形態とも言うべき技術を提案している。但し、同文献により提案された技術は、ルックアップテーブル方式を採用しておらず、ＨＤＲ画像を復元するために、複数フレームにわたる画素値から構成されるフィルタタップのフィルタリング及びＲＧＢ領域でのガンマ補正などの、複雑なアルゴリズムを要する。
（３）カラーマッピングテーブル
ＳＨＶＣの最新の仕様において、カラーマッピングテーブルは、ベースレイヤの輝度成分（Ｙ）、第１色差成分（Ｕ）及び第２色差成分（Ｖ）の組合せと、当該組合せに対応するエンハンスメントレイヤの予測画素値とをマッピングするルックアップテーブルである。カラーマッピングテーブルは、ベースレイヤの色空間を分割することにより形成される複数の直方体区画の各々に単純に１つの予測画素ベクトルをマッピングするのではなく、各直方体区画を、対応するエンハンスメントレイヤの色空間の部分空間にマッピングする。
図４及び図５は、既存のカラーマッピングテーブルの概要について説明するための説明図である。図４の左には、Ｙ、Ｕ及びＢという３つの成分軸を有するベースレイヤの色空間ＣＳＢが示されている。色空間ＣＳＢにおける輝度成分（Ｙ）の最大値はＹｍａｘ、第１色差成分（Ｕ）の最大値はＵｍａｘ、第２色差成分（Ｖ）の最大値はＶｍａｘである。なお、実際には第１色差成分及び第２色差成分のレンジは、それぞれ［−Ｕｍａｘ／２，Ｕｍａｘ／２］及び［−Ｖｍａｘ／２，Ｖｍａｘ／２］であり得る（ここでは説明の簡明さのために、色空間がオフセットされている）。最新の仕様によれば、シンタックスは３つの色成分軸を深さ３まで（即ち、２３＝８個の区画まで）分割することを許容しているが、コンフォーマンス制約によって第１及び第２色差成分の分割の深さの上限値は１（即ち、２１＝２個の区画まで）とされている。従って、色空間ＣＳＢは、図４に例示したように、最大で８×２×２（＝３２）個の直方体区画に分割され得る。図中の区画ＣＢ１はそうした区画のうちの１つであり、入力画素ＰＢ１は区画ＣＢ１に属する。
図４の右には、Ｙ、Ｕ及びＢという３つの成分軸を有するエンハンスメントレイヤの色空間ＣＳＥが示されている。部分空間ＣＥ１は、エンハンスメントレイヤの色空間ＣＳＥ内で、直方体区画ＣＢ１に対応する部分を占める。カラーマッピングテーブルは、こうしたベースレイヤの各直方体区画に対応するエンハンスメントレイヤの部分空間を、４つの頂点を定義することによって特定する。そして、例えば直方体区画ＣＢ１に属する入力画素ＰＢ１に対応する予測画素ＰＥ１の画素値は、部分空間ＣＥ１の４つの頂点の画素値に基づく三角錐補間によって決定される。
図５には、一例として、直方体区画ＣＢ１に対応する部分空間ＣＥ１の４つの頂点Ｖ１１、Ｖ１２、Ｖ１３及びＶ１４が示されている。これら頂点の位置を特定するために、典型的には、４つのパラメータＲ１、Ｒ２、Ｒ３及びＲ４が符号化され得る。例えば、パラメータＲ１は、Ｙ軸方向での、ある特定の基準位置Ｖ１０（例えば隣接区画の頂点位置）からの頂点Ｖ１１のオフセットを特定する。パラメータＲ２は、Ｖ軸方向での頂点Ｖ１１からの頂点Ｖ１２のオフセットを特定する。パラメータＲ３は、Ｕ軸方向での頂点Ｖ１２からの頂点Ｖ１３のオフセットを特定する。パラメータＲ４は、Ｙ軸方向でのある特定の基準位置Ｖ１５からの頂点Ｖ１４のオフセットを特定する。
表１〜表３は、非特許文献２に記載されている、カラーマッピングテーブルに関連するシンタックスを示している。表１に示したように、ＰＰＳ（Picture Parameter Set）において、カラーマッピングテーブルを有効化するフラグcolour_mapping_enabled_flagが真（True）に設定される場合に、カラーマッピングテーブルを定義する関数colour_mapping_table()が呼び出される。
Figure 2016005217
表２に示した関数colour_mapping_table()のパラメータcm_octant_depth及びパラメータcm_y_part_num_log2は、それぞれ、３つの色成分についての分割の深さの上限値、及び輝度成分についての追加的な分割の深さに関連するパラメータである。パラメータcm_input_luma_bit_depth_minus8及びcm_input_chroma_bit_depth_deltaは、カラーマッピングテーブルの入力画素値のビット深度に関連するパラメータである。パラメータcm_output_luma_bit_depth_minus8及びcm_output_chroma_bit_depth_deltaは、カラーマッピングテーブルの出力画素値のビット深度に関連するパラメータである。パラメータcm_res_quant_bitsは、出力画素値の量子化に関連するパラメータである。関数colour_mapping_octants()は再帰関数であり、その詳細は表３に示されている。
Figure 2016005217
表３に示した関数colour_mapping_octants()は、前半部（第２行〜第１０行）及び後半部（第１１行〜第２１行）から構成される。前半部は、主にカラーマッピングテーブルの粒度を定義する粒度情報（第３行）と関数の再帰的な呼び出し（第８行〜第９行）とを含む。ここでの粒度情報は、ベースレイヤの色空間の分割を定義する分割フラグsplit_octant_flagのセットを含む。ある直方体区画がさらに分割される場合には、分割フラグは真を示す。分割フラグが真を示す場合、さらに当該区画を分割することにより形成される８個のサブ区画（オクタント）の各々について関数colour_mapping_octants()が再帰的に呼び出される。ある直方体区画がそれ以上分割されない場合には、分割フラグは偽を示す。分割フラグが偽を示す場合、シンタックスの後半部において、当該区画に対応する予測値情報が符号化される。ここでの予測値情報は、エンハンスメントレイヤの色空間の部分空間を、部分空間の４つの頂点に対応する変数vertexの繰り返しと共に、パラメータres_y、res_u及びres_vによって特定する
Figure 2016005217
上述した粒度情報により特定されるベースレイヤの色空間の分割の粒度がより精細であるほど、ベースレイヤの色空間の区画数はより多くなる。上述した予測値情報は、ベースレイヤの色空間の区画の数（と頂点の数（＝４）との積）だけ繰り返されるため、粒度の精細さによる予測精度の向上は、ルックアップテーブルを定義するために要する符号量の増加との間でトレードオフの関係にある。ここで、例えばダイナミックレンジスケーラビリティでは、輝度成分についての変換は必ずしも線型的ではないためにより精細な空間分割が望ましい一方で、色差成分についての変換はより単純な線形変換（即ち、より粗い空間分割に基づく線型内挿など）であってよい。しかし、既存の手法の上述したシンタックスは、エンハンスメントレイヤの３つの色成分を予測するために画一的な（即ち１通りの）分割の粒度しか定義することができない。結果的に、ある色成分についての最適な空間分割の粒度が、他の色成分にとっては粗すぎるか又は必要以上に精細すぎることがある。
そこで、以下に説明する実施形態では、ルックアップテーブル方式のスケーラブル符号化技術において、色空間の分割の粒度をより柔軟に扱うことのできる仕組みが導入される。それら実施形態によれば、輝度成分のインターレイヤ予測のための第１のルックアップテーブルとは別に、色差成分の少なくとも一方のインターレイヤ予測のための、第１のルックアップテーブルとは粒度の異なる第２のルックアップテーブルを定義することが許容される。
［１−３．エンコーダの基本的な構成例］
図６は、スケーラブル符号化をサポートする、一実施形態に係る画像符号化装置１０の概略的な構成を示すブロック図である。図６を参照すると、画像符号化装置１０は、ベースレイヤ（ＢＬ）符号化部１ａ、エンハンスメントレイヤ（ＥＬ）符号化部１ｂ、共通メモリ２及び多重化部３を備える。
ＢＬ符号化部１ａは、ベースレイヤ画像を符号化し、ベースレイヤの符号化ストリームを生成する。ＥＬ符号化部１ｂは、エンハンスメントレイヤ画像を符号化し、エンハンスメントレイヤの符号化ストリームを生成する。共通メモリ２は、レイヤ間で共通的に利用される情報を記憶する。多重化部３は、ＢＬ符号化部１ａにより生成されるベースレイヤの符号化ストリームと、ＥＬ符号化部１ｂにより生成される１つ以上のエンハンスメントレイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する。
［１−４．デコーダの基本的な構成例］
図７は、スケーラブル符号化をサポートする、一実施形態に係る画像復号装置６０の概略的な構成を示すブロック図である。図７を参照すると、画像復号装置６０は、逆多重化部５、ベースレイヤ（ＢＬ）復号部６ａ、エンハンスメントレイヤ（ＥＬ）復号部６ｂ及び共通メモリ７を備える。
逆多重化部５は、マルチレイヤの多重化ストリームをベースレイヤの符号化ストリーム及び１つ以上のエンハンスメントレイヤの符号化ストリームに逆多重化する。ＢＬ復号部６ａは、ベースレイヤの符号化ストリームからベースレイヤ画像を復号する。ＥＬ復号部６ｂは、エンハンスメントレイヤの符号化ストリームからエンハンスメントレイヤ画像を復号する。共通メモリ７は、レイヤ間で共通的に利用される情報を記憶する。
図６に例示した画像符号化装置１０において、ベースレイヤの符号化のためのＢＬ符号化部１ａの構成と、エンハンスメントレイヤの符号化のためのＥＬ符号化部１ｂの構成とは、互いに類似する。ＢＬ符号化部１ａにより生成され又は取得されるいくつかのパラメータ及び画像は、共通メモリ２を用いてバッファリングされ、ＥＬ符号化部１ｂにより再利用され得る。次節では、そのようなＥＬ符号化部１ｂの構成について詳細に説明する。
同様に、図７に例示した画像復号装置６０において、ベースレイヤの復号のためのＢＬ復号部６ａの構成と、エンハンスメントレイヤの復号のためのＥＬ復号部６ｂの構成とは、互いに類似する。ＢＬ復号部６ａにより生成され又は取得されるいくつかのパラメータ及び画像は、共通メモリ７を用いてバッファリングされ、ＥＬ復号部６ｂにより再利用され得る。さらに次の節では、そのようなＥＬ復号部６ｂの構成について詳細に説明する。
＜２．一実施形態に係るＥＬ符号化部の構成例＞
［２−１．各部の説明］
図８は、図６に示したＥＬ符号化部１ｂの構成の一例を示すブロック図である。図８を参照すると、ＥＬ符号化部１ｂは、並び替えバッファ１１、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、ループフィルタ２４、フレームメモリ２５、セレクタ２６及び２７、イントラ予測部３０、インター予測部３５、インターレイヤ予測部４０並びにＬＵＴバッファ４５を備える。
並び替えバッファ１１は、一連の画像データに含まれる画像を並び替える。並び替えバッファ１１は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じて画像を並び替えた後、並び替え後の画像データを減算部１３、イントラ予測部３０、インター予測部３５及びインターレイヤ予測部４０へ出力する。
減算部１３には、並び替えバッファ１１から入力される画像データ、及び後に説明するイントラ予測部３０又はインター予測部３５から入力される予測画像データが供給される。減算部１３は、並び替えバッファ１１から入力される画像データと予測画像データとの差分である予測誤差データを計算し、計算した予測誤差データを直交変換部１４へ出力する。
直交変換部１４は、減算部１３から入力される予測誤差データについて直交変換を行う。直交変換部１４により実行される直交変換は、例えば、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）又はカルーネン・レーベ変換などであってよい。ＨＥＶＣにおいて、直交変換は、ＴＵ（変換単位：Transform Unit）と呼ばれるブロックごとに実行される。ＴＵは、ＣＵ（符号化単位：Coding Unit）を分割することにより形成されるブロックである。直交変換部１４は、直交変換処理により取得される変換係数データを量子化部１５へ出力する。
量子化部１５には、直交変換部１４から入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は、レート制御信号に従って決定される量子化ステップで変換係数データを量子化する。量子化部１５は、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１６及び逆量子化部２１へ出力する。
可逆符号化部１６は、量子化部１５から入力される量子化データについて可逆符号化処理を行うことにより、エンハンスメントレイヤの符号化ストリームを生成する。また、可逆符号化部１６は、符号化ストリームを復号する際に参照される様々なパラメータを符号化して、符号化されたパラメータを符号化ストリームのヘッダ領域に挿入する。可逆符号化部１６により符号化されるパラメータは、後に説明するイントラ予測に関する情報、インター予測に関する情報、及びインターレイヤ予測に関する情報を含み得る。そして、可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。
蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）へ出力する。
レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
逆量子化部２１、逆直交変換部２２及び加算部２３は、ローカルデコーダを構成する。逆量子化部２１は、量子化部１５により使用されたものと同じ量子化ステップで、エンハンスメントレイヤの量子化データを逆量子化し、変換係数データを復元する。そして、逆量子化部２１は、復元した変換係数データを逆直交変換部２２へ出力する。
逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。直交変換と同様、逆直交変換は、ＴＵごとに実行される。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。
加算部２３は、逆直交変換部２２から入力される復元された予測誤差データとイントラ予測部３０又はインター予測部３５から入力される予測画像データとを加算することにより、復号画像データ（エンハンスメントレイヤのリコンストラクト画像）を生成する。そして、加算部２３は、生成した復号画像データをループフィルタ２４及びフレームメモリ２５へ出力する。
ループフィルタ２４は、画質の向上を目的とするフィルタ群を含む。デブロックフィルタ（ＤＦ）は、画像の符号化時に生じるブロック歪みを軽減するフィルタである。サンプル適応オフセット（ＳＡＯ）フィルタは、各画素値に適応的に決定されるオフセット値を加えるフィルタである。ループフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングし、フィルタリング後の復号画像データをフレームメモリ２５へ出力する。
フレームメモリ２５は、加算部２３から入力されるエンハンスメントレイヤの復号画像データ、ループフィルタ２４から入力されるエンハンスメントレイヤのフィルタリング後の復号画像データ、及びインターレイヤ予測部４０から入力されるベースレイヤの参照画像データを記憶媒体を用いて記憶する。
セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部３０に供給する。また、セレクタ２６は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてインター予測部３５に供給する。さらに、イントラ予測部３０又はインター予測部３５においてインターレイヤ予測に基づく画像が利用される場合、セレクタ２６は、インターレイヤ予測部４０により生成される参照画像データをイントラ予測部３０又はインター予測部３５へ供給する。
セレクタ２７は、イントラ予測モードにおいて、イントラ予測部３０から出力されるイントラ予測の結果としての予測画像データを減算部１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６へ出力する。また、セレクタ２７は、インター予測モードにおいて、インター予測部３５から出力されるインター予測の結果としての予測画像データを減算部１３へ出力すると共に、インター予測に関する情報を可逆符号化部１６へ出力する。セレクタ２７は、イントラ予測モードとインター予測モードとを、コスト関数値の大きさに応じて切り替える。
イントラ予測部３０は、エンハンスメントレイヤの原画像データ及び復号画像データに基づいて、ＨＥＶＣのＰＵ（予測単位：Prediction Unit）ごとにイントラ予測処理を行う。例えば、イントラ予測部３０は、予測モードセット内の各候補モードによる予測結果を所定のコスト関数を用いて評価する。次に、イントラ予測部３０は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、イントラ予測部３０は、当該最適な予測モードに従ってエンハンスメントレイヤの予測画像データを生成する。イントラ予測部３０は、エンハンスメントレイヤにおける予測モードセットに、インターレイヤ予測に基づく画像を利用するイントラＢＬ予測又はイントラ残差予測を含めてもよい。イントラ予測部３０は、選択した最適な予測モードを表す予測モード情報を含むイントラ予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。
インター予測部３５は、エンハンスメントレイヤの原画像データ及び復号画像データに基づいて、ＨＥＶＣのＰＵごとにインター予測処理を行う。例えば、インター予測部３５は、予測モードセット内の各候補モードによる予測結果を所定のコスト関数を用いて評価する。次に、インター予測部３５は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、インター予測部３５は、当該最適な予測モードに従ってエンハンスメントレイヤの予測画像データを生成する。インター予測部３５は、エンハンスメントレイヤにおける予測モードセットに、インターレイヤ予測に基づく画像を利用するインター残差予測を含めてもよい。インター予測部３５は、選択した最適な予測モードを表す予測モード情報と動き情報とを含むインター予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。
インターレイヤ予測部４０は、共通メモリ２によりバッファリングされるベースレイヤの画像（復号画像又は予測誤差画像）を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする。また、インターレイヤ予測部４０は、ベースレイヤの画像とは異なる画素属性をエンハンスメントレイヤの画像が有する場合に、アップサンプリングしたベースレイヤの画素の各々の画素値を、ルックアップテーブル（ＬＵＴ）を用いてエンハンスメントレイヤの予測画素値に変換する。ここでの画素属性は、色域、ビット深度及びダイナミックレンジのうち少なくとも１つを含む。また、インターレイヤ予測部４０は、インターレイヤ予測のために使用すべきルックアップテーブルを定義するルックアップテーブル情報を生成する。ルックアップテーブル情報は、主に粒度情報と予測値情報とを含む。インターレイヤ予測部４０により生成されるルックアップテーブル情報は、可逆符号化部１６へ出力され、可逆符号化部１６により符号化される。
本実施形態において、インターレイヤ予測部４０は、輝度成分（Ｙ）用のＬＵＴ（ＬＵＴ＿Ｙ）を用いてエンハンスメントレイヤの輝度成分の予測値を取得し、第１色差成分（Ｕ）用のＬＵＴ（ＬＵＴ＿Ｕ）を用いてエンハンスメントレイヤの第１色差成分の予測値を取得する。さらに、インターレイヤ予測部４０は、第２色差成分（Ｖ）用のＬＵＴ（ＬＵＴ＿Ｖ）を用いてエンハンスメントレイヤの第２色差成分の予測値を取得してもよい。ＬＵＴ＿Ｙ、ＬＵＴ＿Ｕ及びＬＵＴ＿Ｖの空間分割の粒度は、それぞれ異なるように設定可能である（粒度が異なることは必須ではなく、符号化コストが最小化される場合には結果的に粒度は等しくなってもよい）。空間分割の粒度は、画素属性の種類、システムの要件又はユーザによる事前の設定などに依存して、予め設定されてもよい。なお、第１色差成分及び第２色差成分のインターレイヤ予測のために、１つのＬＵＴが共用されてもよい。インターレイヤ予測部４０により２つ以上のルックアップテーブルの使用を通じて生成される予測画像は、フレームメモリ２５に格納され、イントラ予測部３０又はインター予測部３５により参照画像として使用され得る。
ＬＵＴバッファ４５は、インターレイヤ予測部４０により使用される２つ以上のルックアップテーブル（ＬＵＴ＿Ｙ、ＬＵＴ＿Ｕ及びＬＵＴ＿Ｖのうちの２つ以上）をバッファリングするバッファである。各ルックアップテーブルは、ベースレイヤの輝度成分（Ｙ）、第１色差成分（Ｕ）及び第２色差成分（Ｖ）の組合せと当該組合せに対応するエンハンスメントレイヤの予測画素値とをマッピングする。
［２−２．シンタックス例］
本実施形態において、インターレイヤ予測部４０により生成され可逆符号化部１６により符号化されるルックアップテーブル情報は、少なくとも、ＬＵＴ＿Ｙ用のテーブル情報とＬＵＴ＿Ｕ用のテーブル情報とを含む。さらに、ルックアップテーブル情報は、ＬＵＴ＿Ｖ用のテーブル情報を含んでもよい。各テーブルのテーブル情報は、主に、ベースレイヤの色空間の分割を定義するフラグのセットを含む粒度情報と、分割により形成される複数の直方体区画の各々に対応する予測値情報と、を包含する。
表４〜表６は、本実施形態に係るルックアップテーブル情報のシンタックスの一例を示している。表４に示したように、本実施形態では、ＰＰＳにおいて、カラーマッピングテーブルを有効化するフラグcolour_mapping_enabled_flagが真（True）に設定される場合に、ルックアップテーブルを定義する関数colour_mapping_table(component)が、定義を必要とする色成分ごとに呼び出される。関数colour_mapping_table(component)の引数componentは色成分の識別子であり、例えば“Y”、“U”又は“V”のいずれかであってよい。下表の例では、Ｙ成分、Ｕ成分及びＶ成分のためのルックアップテーブルを別々に定義するために、関数colour_mapping_table(component)が３回呼び出されている。
Figure 2016005217
表５に示した関数colour_mapping_table(component)に含まれるパラメータの役割は、表２を参照しながら説明した同じ名称のパラメータの役割と同様であってよい。関数colour_mapping_octants()は再帰関数である。表５の再帰関数colour_mapping_octants()は、表２に示した同じ名称の関数と比較して、追加的な引数“component”を有する。この追加的な引数は、関数colour_mapping_table()へ入力される色成分の識別子に等しい。
Figure 2016005217
表６に示した関数colour_mapping_octants()は、粒度情報を含む前半部（第２行〜第１０行）、及び予測値情報を含む後半部（第１１行〜第１９行）から構成される。粒度情報は、再帰的に指定される、ベースレイヤの色空間の分割を定義する分割フラグsplit_octant_flagのセットを含む。表３に示したシンタックスとの粒度情報における相違は、関数colour_mapping_table(component)が色成分ごとに別々に呼び出される（表４参照）結果として、表６の分割フラグのセット（即ち、粒度情報）もまた色成分ごとに別々に定義される点である。予測値情報は、ある直方体区画がそれ以上分割されない場合（即ち、対応する分割フラグが偽を示す場合）に、当該直方体区画に対応するエンハンスメントレイヤの色空間の部分空間を、当該部分空間の頂点位置を示すことにより特定する。表３に示したシンタックスとの予測値情報における相違は、変数vertexの１回のループの中に収容される頂点位置のパラメータが、１つのパラメータres_component（文字列“component”は、色成分の識別子“Y”、“U”又は“V”に置換される）に集約される点である。
Figure 2016005217
表４〜表６に示したシンタックスは一例に過ぎず、一部のパラメータが省略され又は他の追加的なパラメータが採用されてもよい。例えば、インターレイヤ予測部４０は、ＬＵＴ＿Ｙ用の粒度情報とは別にＬＵＴ＿Ｕ用（又はＬＵＴ＿Ｖ用）の粒度情報が符号化されるか否かを示すフラグ、又はＬＵＴ＿Ｕ用の粒度情報とは別にＬＵＴ＿Ｖ用の粒度情報が符号化されるか否かを示すフラグを、符号化される追加的なパラメータとして生成してもよい。空間分割の粒度を色成分の間で別々に定義する必要の無い場合には、これらフラグは、偽を示し得る。
＜３．一実施形態に係る符号化時の処理の流れ＞
［３−１．概略的な流れ］
図９は、一実施形態に係る符号化時の概略的な処理の流れの一例を示すフローチャートである。なお、説明の簡明さのために、本開示に係る技術に直接的に関連しない処理ステップは、図から省略されている。
図９を参照すると、まず、ＢＬ符号化部１ａは、ベースレイヤの符号化処理を実行し、ベースレイヤの符号化ストリームを生成する（ステップＳ１１）。
共通メモリ２は、ベースレイヤの符号化処理において生成されるベースレイヤの画像（復号画像及び予測誤差画像の一方又は双方）及びレイヤ間で再利用されるパラメータをバッファリングする（ステップＳ１２）。レイヤ間で再利用されるパラメータは、例えば、解像度情報及び画素属性を識別する識別情報（例えば、色域情報、ダイナミックレンジ情報及びビット深度情報のうちの１つ以上）を含み得る。
次に、ＥＬ符号化部１ｂは、エンハンスメントレイヤの符号化処理を実行し、エンハンスメントレイヤの符号化ストリームを生成する（ステップＳ１３）。ここで実行されるエンハンスメントレイヤの符号化処理において、インターレイヤ予測部４０は、共通メモリ２によりバッファリングされるベースレイヤの画像を、空間分割の粒度の相違し得る２つ以上のルックアップテーブルを用いて、予測画像に変換する。そして、変換後の予測画像は、エンハンスメントレイヤにおいて参照画像として使用され得る。
次に、多重化部３は、ＢＬ符号化部１ａにより生成されるベースレイヤの符号化ストリームと、ＥＬ符号化部１ｂにより生成されるエンハンスメントレイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する（ステップＳ１４）。
［３−２．空間分割処理］
図１０は、符号化時の空間分割処理の流れの一例を示すフローチャートである。図１０を参照すると、インターレイヤ予測部４０は、まず、制御変数を初期化する。例えば、最小のコスト値を保持する変数Ｒｍｉｎの値及び分割の深さは共にゼロへ初期化され得る（再帰の初期状態は、“分割なし”に相当する）。
次に、インターレイヤ予測部４０は、“分割なし”の場合のベースレイヤの区画（ベースレイヤの色空間全体を占める１つの区画）に対応するエンハンスメントレイヤの部分空間を決定する（ステップＳ１３）。例えば、インターレイヤ予測部４０は、エンハンスメントレイヤの原画像と（必要に応じてアップアンプリングされた）ベースレイヤのリコンストラクト画像との相関に基づいて、エンハンスメントレイヤの対応する部分空間を決定し得る。
次に、インターレイヤ予測部４０は、“分割なし”の場合の符号化コスト（Ｒ）を、予測誤差及び想定される符号量に基づいて計算し、その計算結果で最小コストを更新する（Ｒｍｉｎ←Ｒ）（ステップＳ１５）。
次のステップＳ１９からステップＳ２９までの処理は、分割可能な区画が存在しないと判定されるまで繰り返される（ステップＳ１７）。その繰り返しの中で、インターレイヤ予測部４０は、まず、いずれかの注目区画を分割する（ステップＳ１９）。ここでの分割は、オクタント分割（２×２×２個のサブ区画への分割）又はＹ成分軸のみの追加的な分割であってよい。次に、インターレイヤ予測部４０は、分割によって形成されるサブ区画の各々に対応するエンハンスメントレイヤの部分空間を決定する（ステップＳ２１）。次に、インターレイヤ予測部４０は、ステップＳ１９における分割が反映された符号化コスト（Ｒ）を、予測誤差及び想定される符号量に基づいて計算する（ステップＳ２３）。そして、インターレイヤ予測部４０は、計算された符号化コストをその時点の最小コストと比較する（ステップＳ２５）。インターレイヤ予測部４０は、計算された符号化コストが最小コストよりも低い場合には、計算された符号化コストで最小コストを更新し（Ｒｍｉｎ←Ｒ）、注目区画の分割フラグを真に設定する（ステップＳ２７）。一方、インターレイヤ予測部４０は、計算された符号化コストがその時点の最小コストよりも低くない場合には、最小コストを更新することなく、注目区画の分割フラグを偽に設定する（ステップＳ２９）。
このような処理が、分割の深さが上限に達し、又は最小コストが更新されなくなるまで、再帰的に繰り返される。その結果、分割フラグのセットを含む１つのテーブルについての粒度情報が生成される。また、分割後の各直方体区画に対応するエンハンスメントレイヤの部分空間が決定される。
［３−３．テーブル情報符号化処理］
（１）既存の手法
図１１は、既存の手法に従ったテーブル情報符号化処理の流れの一例を示すフローチャートである。図１１を参照すると、まず、エンハンスメントレイヤの輝度成分（Ｙ）、第１色差成分（Ｕ）及び第２色差成分（Ｖ）について共通的に、図１０に例示したような空間分割処理が一度実行される（ステップＳ１１０）。
次に、空間分割処理の結果に基づいて、エンハンスメントレイヤの３つの色成分について共通の粒度情報が符号化される（ステップＳ１２０）。また、空間分割処理において決定されたエンハンスメントレイヤの輝度成分用の予測値情報、第１色差成分用の予測値情報及び第２色差成分用の予測値情報がそれぞれ符号化される（ステップＳ１２２、Ｓ１２４及びＳ１２６）。これら粒度情報及び予測値情報のシンタックスは、上の表１〜表３に示したように整形され得る。
（２）新たな手法
図１２は、上述した実施形態に係る新たな手法に従ったテーブル情報符号化処理の流れの一例を示すフローチャートである。
図１２を参照すると、まず、インターレイヤ予測部４０は、エンハンスメントレイヤの輝度成分（Ｙ）用のルックアップテーブル（ＬＵＴ＿Ｙ）の空間分割の粒度を決定するための空間分割処理を実行する（ステップＳ１１２）。また、インターレイヤ予測部４０は、エンハンスメントレイヤの第１色差成分（Ｕ）用のルックアップテーブル（ＬＵＴ＿Ｕ）の空間分割の粒度を決定するための空間分割処理を実行する（ステップＳ１１４）。また、インターレイヤ予測部４０は、エンハンスメントレイヤの第２色差成分（Ｖ）用のルックアップテーブル（ＬＵＴ＿Ｖ）の空間分割の粒度を決定するための空間分割処理を実行する（ステップＳ１１６）。
次に、可逆符号化部１６は、ステップＳ１１２における空間分割処理の結果に基づいて、ＬＵＴ＿Ｙのための第１の粒度情報を符号化し（ステップＳ１３０）、及びＬＵＴ＿Ｙのための第１の予測値情報を符号化する（ステップＳ１３５）。また、可逆符号化部１６は、ステップＳ１１４における空間分割処理の結果に基づいて、ＬＵＴ＿Ｕのための第２の粒度情報を符号化し（ステップＳ１４０）、及びＬＵＴ＿Ｕのための第２の予測値情報を符号化する（ステップＳ１４５）。また、可逆符号化部１６は、ステップＳ１１６における空間分割処理の結果に基づいて、ＬＵＴ＿Ｖのための第３の粒度情報を符号化し（ステップＳ１５０）、及びＬＵＴ＿Ｖのための第３の予測値情報を符号化する（ステップＳ１５５）。
なお、ルックアップテーブルを他の色成分と共用する色成分については、当該色成分に固有のルックアップテーブル情報の符号化は省略されてよい。また、ルックアップテーブルが共用されるか否かを示す追加的なパラメータが符号化されてもよい。
＜４．一実施形態に係るＥＬ復号部の構成例＞
図１３は、図７に示したＥＬ復号部６ｂの構成の一例を示すブロック図である。図１３を参照すると、ＥＬ復号部６ｂは、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、ループフィルタ６６、並び替えバッファ６７、Ｄ／Ａ（Digital to Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、イントラ予測部８０、インター予測部８５、インターレイヤ予測部９０並びにＬＵＴバッファ９５を備える。
蓄積バッファ６１は、逆多重化部５から入力されるエンハンスメントレイヤの符号化ストリームを記憶媒体を用いて一時的に蓄積する。
可逆復号部６２は、蓄積バッファ６１から入力されるエンハンスメントレイヤの符号化ストリームから、符号化の際に使用された符号化方式に従ってエンハンスメントレイヤの量子化データを復号する。また、可逆復号部６２は、符号化ストリームのヘッダ領域に挿入されている情報を復号する。可逆復号部６２により復号される情報は、例えば、イントラ予測に関する情報、インター予測に関する情報、及びインターレイヤ予測に関する情報を含み得る。可逆復号部６２は、量子化データを逆量子化部６３へ出力する。また、可逆復号部６２は、イントラ予測に関する情報をイントラ予測部８０へ出力する。また、可逆復号部６２は、インター予測に関する情報をインター予測部８５へ出力する。また、可逆復号部６２は、粒度の異なる２つ以上のルックアップテーブルを定義し得るルックアップテーブル情報を含むインターレイヤ予測に関する情報を、インターレイヤ予測部９０へ出力する。
逆量子化部６３は、可逆復号部６２から入力される量子化データを、符号化の際に使用されたものと同じ量子化ステップで逆量子化し、エンハンスメントレイヤの変換係数データを復元する。逆量子化部６３は、復元した変換係数データを逆直交変換部６４へ出力する。
逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。
加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７１から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部６５は、生成した復号画像データをループフィルタ６６及びフレームメモリ６９へ出力する。
ループフィルタ６６は、ＥＬ符号化部１ｂのループフィルタ２４と同様、ブロック歪みを軽減するデブロックフィルタ及び各画素値にオフセット値を加えるサンプル適応オフセットフィルタを含む。ループフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングし、フィルタリング後の復号画像データを並び替えバッファ６７及びフレームメモリ６９へ出力する。
並び替えバッファ６７は、ループフィルタ６６から入力される画像を並び替えることにより、時系列の一連の画像データを生成する。そして、並び替えバッファ６７は、生成した画像データをＤ／Ａ変換部６８へ出力する。
Ｄ／Ａ変換部６８は、並び替えバッファ６７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６８は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、エンハンスメントレイヤの画像を表示させる。
フレームメモリ６９は、加算部６５から入力されるフィルタリング前の復号画像データ、ループフィルタ６６から入力されるフィルタリング後の復号画像データ、及びインターレイヤ予測部９０により生成される参照画像データを記憶媒体を用いて記憶する。
セレクタ７０は、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ６９からの画像データの出力先をイントラ予測部８０とインター予測部８５との間で切り替える。例えば、セレクタ７０は、イントラ予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部８０へ出力する。また、セレクタ７０は、インター予測モードが指定された場合には、フィルタリング後の復号画像データを参照画像データとしてインター予測部８５へ出力する。さらに、イントラ予測部８０又はインター予測部８５においてインターレイヤ予測に基づく画像が利用される場合、セレクタ７０は、インターレイヤ予測部４０により生成される参照画像データをイントラ予測部８０又はインター予測部８５へ供給する。
セレクタ７１は、可逆復号部６２により取得されるモード情報に応じて、加算部６５へ供給すべき予測画像データの出力元をイントラ予測部８０とインター予測部８５との間で切り替える。例えば、セレクタ７１は、イントラ予測モードが指定された場合には、イントラ予測部８０から出力される予測画像データを加算部６５へ供給する。また、セレクタ７１は、インター予測モードが指定された場合には、インター予測部８５から出力される予測画像データを加算部６５へ供給する。
イントラ予測部８０は、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてエンハンスメントレイヤのイントラ予測処理を行い、予測画像データを生成する。イントラ予測処理は、ＰＵごとに実行される。イントラ予測部８０は、イントラ予測モードとしてイントラＢＬ予測又はイントラ残差予測が指定された場合には、インターレイヤ予測部９０により生成された画像を参照画像として使用する。イントラ予測部８０は、生成したエンハンスメントレイヤの予測画像データをセレクタ７１へ出力する。
インター予測部８５は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてエンハンスメントレイヤのインター予測処理（動き補償処理）を行い、予測画像データを生成する。インター予測処理は、ＰＵごとに実行される。インター予測部８５は、インター予測モードとしてインター残差予測が指定された場合には、インターレイヤ予測部９０により生成された画像を参照画像として使用する。インター予測部８５は、生成したエンハンスメントレイヤの予測画像データをセレクタ７１へ出力する。
インターレイヤ予測部９０は、共通メモリ７によりバッファリングされるベースレイヤの画像（復号画像又は予測誤差画像）を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする。また、インターレイヤ予測部９０は、ベースレイヤの画像とは異なる画素属性をエンハンスメントレイヤの画像が有する場合に、アップサンプリングしたベースレイヤの画素の各々の画素値を、ルックアップテーブル（ＬＵＴ）を用いてエンハンスメントレイヤの予測画素値に変換する。ここでの画素属性は、色域、ビット深度及びダイナミックレンジのうち少なくとも１つを含む。インターレイヤ予測部９０は、可逆復号部６２から入力されるインターレイヤ予測に関する情報に基づいて、インターレイヤ予測のために使用すべきルックアップテーブルを再構築する。本実施形態において、インターレイヤ予測に関する情報は、上述したように、異なる色成分の予測値を取得するための、粒度の異なる２つ以上のルックアップテーブルを定義し得るルックアップテーブル情報を含む。
例えば、第１のルックアップテーブル情報は、輝度成分（Ｙ）用のＬＵＴ（ＬＵＴ＿Ｙ）の粒度を定義する粒度情報と共に、ＬＵＴ＿Ｙの各直方体区画に対応する予測値情報を含む。第２のルックアップテーブル情報は、第１色差成分（Ｕ）用のＬＵＴ（ＬＵＴ＿Ｕ）の粒度を定義する粒度情報と共に、ＬＵＴ＿Ｕの各直方体区画に対応する予測値情報を含む。これらルックアップテーブル情報のシンタックスは、例えば表４〜表６に示した通りであってよい。但し、一部のパラメータが当該シンタックスから省略されてもよく、又は他の追加的なパラメータが採用されてもよい。第２のルックアップテーブル情報は、ＬＵＴ＿Ｕ用の粒度情報がＬＵＴ＿Ｙ用の粒度情報とは別に符号化されていることを示すパラメータが復号された場合にのみ復号されてもよい。さらに、第２色差成分（Ｖ）用のＬＵＴ（ＬＵＴ＿Ｖ）の粒度を定義する粒度情報と共にＬＵＴ＿Ｖの各直方体区画に対応する予測値情報を含む第３のルックアップテーブル情報もまた復号され得る。第３のルックアップテーブル情報は、ＬＵＴ＿Ｖ用の粒度情報がＬＵＴ＿Ｕ用の粒度情報とは別に符号化されていることを示すパラメータが復号された場合にのみ復号されてもよい。
インターレイヤ予測部９０は、ＬＵＴ＿Ｙを用いてエンハンスメントレイヤの輝度成分の予測値を、ＬＵＴ＿Ｕを用いてエンハンスメントレイヤの第１色差成分の予測値を、ＬＵＴ＿Ｖを用いてエンハンスメントレイヤの第２色差成分の予測値をそれぞれ取得し得る。これらルックアップテーブルの空間分割の粒度を定義する粒度情報は、別個に復号される。これは、それぞれの空間分割の粒度が互いに異なるように定義可能であることを意味する。インターレイヤ予測部９０により２つ以上のルックアップテーブルの使用を通じて生成される予測画像は、フレームメモリ６９に格納され、イントラ予測部８０又はインター予測部８５により参照画像として使用され得る。
ＬＵＴバッファ９５は、インターレイヤ予測部９０により使用される２つ以上のルックアップテーブル（ＬＵＴ＿Ｙ、ＬＵＴ＿Ｕ及びＬＵＴ＿Ｖのうちの２つ以上）をバッファリングするバッファである。各ルックアップテーブルは、ベースレイヤの輝度成分（Ｙ）、第１色差成分（Ｕ）及び第２色差成分（Ｖ）の組合せと当該組合せに対応するエンハンスメントレイヤの予測画素値とをマッピングする。
＜５．一実施形態に係る復号時の処理の流れ＞
［５−１．概略的な流れ］
図１４は、一実施形態に係る復号時の概略的な処理の流れの一例を示すフローチャートである。なお、説明の簡明さのために、本開示に係る技術に直接的に関連しない処理ステップは、図から省略されている。
図１４を参照すると、まず、逆多重化部５は、マルチレイヤの多重化ストリームをベースレイヤの符号化ストリーム及びエンハンスメントレイヤの符号化ストリームに逆多重化する（ステップＳ６０）。
次に、ＢＬ復号部６ａは、ベースレイヤの復号処理を実行し、ベースレイヤの符号化ストリームからベースレイヤ画像を再構築する（ステップＳ６１）。
共通メモリ７は、ベースレイヤの復号処理において生成されるベースレイヤの画像（復号画像及び予測誤差画像の一方又は双方）及びレイヤ間で再利用されるパラメータをバッファリングする（ステップＳ６２）。レイヤ間で再利用されるパラメータは、例えば、解像度情報及び画素属性を識別する識別情報（例えば、色域情報、ダイナミックレンジ情報及びビット深度情報のうちの１つ以上）を含み得る。
次に、ＥＬ復号部６ｂは、エンハンスメントレイヤの復号処理を実行し、エンハンスメントレイヤ画像を再構築する（ステップＳ６３）。ここで実行されるエンハンスメントレイヤの復号処理において、インターレイヤ予測部９０は、共通メモリ７によりバッファリングされるベースレイヤの画像を、空間分割の粒度の相違し得る２つ以上のルックアップテーブルを用いて、予測画像に変換する。そして、変換後の予測画像は、エンハンスメントレイヤにおいて参照画像として使用され得る。
［５−２．テーブル再構築処理］
（１）既存の手法
図１５は、既存の手法に従ったテーブル再構築処理の流れの一例を示すフローチャートである。図１５を参照すると、まず、エンハンスメントレイヤの輝度成分（Ｙ）、第１色差成分（Ｕ）及び第２色差成分（Ｖ）について共通の粒度情報が復号される（ステップＳ２２０）。ここで復号される粒度情報は、分割の深さの上限を示すパラメータに加えて、ベースレイヤの色空間の分割を定義する分割フラグのセットを含み得る。次に、輝度成分用の予測値情報、第１色差成分用の予測値情報、及び第２色差成分用の予測値情報がそれぞれ復号される（ステップＳ２２２、Ｓ２２４及びＳ２２６）。
次に、ステップＳ２２０において復号された粒度情報に従って、ベースレイヤの色空間を分割することにより、１つのＬＵＴのための１つ以上の直方体区画が共通的に設定される（ステップＳ２６２）。次に、ステップＳ２６２において設定された直方体区画の各々に対応するエンハンスメントレイヤの部分空間が、３つの色成分用の予測値情報に従って設定される（ステップＳ２６４）。
（２）新たな手法
図１６は、上述した実施形態に係る新たな手法に従ったテーブル再構築処理の流れの一例を示すフローチャートである。
図１６を参照すると、まず、可逆復号部６２は、エンハンスメントレイヤの輝度成分（Ｙ）の予測値を取得する際に参照されるルックアップテーブルであるＬＵＴ＿Ｙの粒度情報を復号する（ステップＳ２３０）。また、可逆復号部６２は、ＬＵＴ＿Ｙの予測値情報を復号する（ステップＳ２３２）。次に、インターレイヤ予測部９０は、ステップＳ２３０において復号された粒度情報に従って、ベースレイヤの色空間を分割することにより、ＬＵＴ＿Ｙのための１つ以上の直方体区画を設定する（ステップＳ２３４）。次に、インターレイヤ予測部９０は、設定したＬＵＴ＿Ｙの１つ以上の直方体区画の各々に対応するエンハンスメントレイヤの部分空間を、ステップＳ２３２において復号された予測値情報に従って設定する（ステップＳ２３６）。
次に、可逆復号部６２は、エンハンスメントレイヤの第１色差成分（Ｕ）の予測値を取得する際に参照されるルックアップテーブルであるＬＵＴ＿Ｕの粒度情報を復号する（ステップＳ２４０）。また、可逆復号部６２は、ＬＵＴ＿Ｕの予測値情報を復号する（ステップＳ２４２）。次に、インターレイヤ予測部９０は、ステップＳ２４０において復号された粒度情報に従って、ベースレイヤの色空間を分割することにより、ＬＵＴ＿Ｕのための１つ以上の直方体区画を設定する（ステップＳ２４４）。次に、インターレイヤ予測部９０は、設定したＬＵＴ＿Ｕの１つ以上の直方体区画の各々に対応するエンハンスメントレイヤの部分空間を、ステップＳ２４２において復号された予測値情報に従って設定する（ステップＳ２４６）。
次に、可逆復号部６２は、エンハンスメントレイヤの第２色差成分（Ｖ）の予測値を取得する際に参照されるルックアップテーブルであるＬＵＴ＿Ｖの粒度情報を復号する（ステップＳ２５０）。また、可逆復号部６２は、ＬＵＴ＿Ｖの予測値情報を復号する（ステップＳ２５２）。次に、インターレイヤ予測部９０は、ステップＳ２５０において復号された粒度情報に従って、ベースレイヤの色空間を分割することにより、ＬＵＴ＿Ｖのための１つ以上の直方体区画を設定する（ステップＳ２５４）。次に、インターレイヤ予測部９０は、設定したＬＵＴ＿Ｖの１つ以上の直方体区画の各々に対応するエンハンスメントレイヤの部分空間を、ステップＳ２５２において復号された予測値情報に従って設定する（ステップＳ２５６）。
なお、ルックアップテーブルを他の色成分と共用する色成分については、当該色成分に固有のルックアップテーブル情報の復号及び当該ルックアップテーブル情報に基づくルックアップテーブルの設定は省略されてよい。また、ルックアップテーブルが共用されるか否かを示す追加的なパラメータが復号され、当該追加的なパラメータに従ってテーブル再構築処理が分岐してもよい。
このように再構築される２つ以上のルックアップテーブルを用いて、インターレイヤ予測部９０は、インターレイヤ予測を実行し得る。例えば、インターレイヤ予測部９０は、ＬＵＴ＿Ｙの１つ以上の直方体区画のうち入力画素ベクトルが属する区画を判定し、判定した区画に対応するエンハンスメントレイヤの部分空間の頂点の画素値に基づいて、Ｙ成分の予測画素値を線形補間によって取得し得る。Ｕ成分の予測画素値及びＶ成分の予測画素値もまた、それぞれＬＵＴ＿Ｕ及びＬＵＴ＿Ｖを用いて同様に取得され得る。こうした変換が各画素について行われる結果、インターレイヤ予測の予測画像が生成される。
＜６．応用例＞
［６−１．様々な製品への応用］
上述した実施形態に係る画像符号化装置１０及び画像復号装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
（１）第１の応用例
図１７は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
制御部９１０は、ＣＰＵ（Central Processing Unit）などのプロセッサ、並びにＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、テレビジョン装置９００が画素属性の互いに異なるレイヤ間でルックアップテーブル方式を利用してインターレイヤ予測を実行する際に、空間分割の粒度の異なる複数のルックアップテーブルを、色成分ごとに使い分けることが可能となる。
（２）第２の応用例
図１８は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、携帯電話機９２０が画素属性の互いに異なるレイヤ間でルックアップテーブル方式を利用してインターレイヤ予測を実行する際に、空間分割の粒度の異なる複数のルックアップテーブルを、色成分ごとに使い分けることが可能となる。
（３）第３の応用例
図１９は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。
制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、記録再生装置９４０が画素属性の互いに異なるレイヤ間でルックアップテーブル方式を利用してインターレイヤ予測を実行する際に、空間分割の粒度の異なる複数のルックアップテーブルを、色成分ごとに使い分けることが可能となる。
（４）第４の応用例
図２０は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、撮像装置９６０が画素属性の互いに異なるレイヤ間でルックアップテーブル方式を利用してインターレイヤ予測を実行する際に、空間分割の粒度の異なる複数のルックアップテーブルを、色成分ごとに使い分けることが可能となる。
［６−２．スケーラブル符号化の様々な用途］
上述したスケーラブル符号化の利点は、様々な用途において享受され得る。以下、３つの用途の例について説明する。
（１）第１の例
第１の例において、スケーラブル符号化は、データの選択的な伝送のために利用される。図２１を参照すると、データ伝送システム１０００は、ストリーム記憶装置１００１及び配信サーバ１００２を含む。配信サーバ１００２は、ネットワーク１００３を介して、いくつかの端末装置と接続される。ネットワーク１００３は、有線ネットワークであっても無線ネットワークであってもよく、又はそれらの組合せであってもよい。図２１には、端末装置の例として、ＰＣ（Personal Computer）１００４、ＡＶ機器１００５、タブレット装置１００６及び携帯電話機１００７が示されている。
ストリーム記憶装置１００１は、例えば、画像符号化装置１０により生成される多重化ストリームを含むストリームデータ１０１１を記憶する。多重化ストリームは、ベースレイヤ（ＢＬ）の符号化ストリーム及びエンハンスメントレイヤ（ＥＬ）の符号化ストリームを含む。配信サーバ１００２は、ストリーム記憶装置１００１に記憶されているストリームデータ１０１１を読み出し、読み出したストリームデータ１０１１の少なくとも一部分を、ネットワーク１００３を介して、ＰＣ１００４、ＡＶ機器１００５、タブレット装置１００６、及び携帯電話機１００７へ配信する。
端末装置へのストリームの配信の際、配信サーバ１００２は、端末装置の能力又は通信環境などの何らかの条件に基づいて、配信すべきストリームを選択する。例えば、配信サーバ１００２は、端末装置が扱うことのできる画質を上回るほど高い画質を有する符号化ストリームを配信しないことにより、端末装置における遅延、オーバフロー又はプロセッサの過負荷の発生を回避してもよい。また、配信サーバ１００２は、高い画質を有する符号化ストリームを配信しないことにより、ネットワーク１００３の通信帯域が占有されることを回避してもよい。一方、配信サーバ１００２は、これら回避すべきリスクが存在しない場合、又はユーザとの契約若しくは何らかの条件に基づいて適切だと判断される場合に、多重化ストリームの全てを端末装置へ配信してもよい。
図２１の例では、配信サーバ１００２は、ストリーム記憶装置１００１からストリームデータ１０１１を読み出す。そして、配信サーバ１００２は、高い処理能力を有するＰＣ１００４へ、ストリームデータ１０１１をそのまま配信する。また、ＡＶ機器１００５は低い処理能力を有するため、配信サーバ１００２は、ストリームデータ１０１１から抽出されるベースレイヤの符号化ストリームのみを含むストリームデータ１０１２を生成し、ストリームデータ１０１２をＡＶ機器１００５へ配信する。また、配信サーバ１００２は、高い通信レートで通信可能であるタブレット装置１００６へストリームデータ１０１１をそのまま配信する。また、携帯電話機１００７は低い通信レートでしか通信できないため、配信サーバ１００２は、ベースレイヤの符号化ストリームのみを含むストリームデータ１０１２を携帯電話機１００７へ配信する。
このように多重化ストリームを用いることにより、伝送されるトラフィックの量を適応的に調整することができる。また、個々のレイヤがそれぞれ単独に符号化されるケースと比較して、ストリームデータ１０１１の符号量は削減されるため、ストリームデータ１０１１の全体が配信されるとしても、ネットワーク１００３に掛かる負荷は抑制される。さらに、ストリーム記憶装置１００１のメモリリソースも節約される。
端末装置のハードウエア性能は、装置ごとに異なる。また、端末装置において実行されるアプリケーションのケイパビリティも様々である。さらに、ネットワーク１００３の通信容量もまた様々である。データ伝送のために利用可能な容量は、他のトラフィックの存在に起因して、時々刻々と変化し得る。そこで、配信サーバ１００２は、ストリームデータの配信を開始する前に、配信先の端末装置との間のシグナリングを通じて、端末装置のハードウエア性能及びアプリケーションケイパビリティなどに関する端末情報と、ネットワーク１００３の通信容量などに関するネットワーク情報とを取得してもよい。そして、配信サーバ１００２は、取得した情報に基づいて、配信すべきストリームを選択し得る。
なお、復号すべきレイヤの抽出は、端末装置において行われてもよい。例えば、ＰＣ１００４は、受信した多重化ストリームから抽出され復号されるベースレイヤ画像をその画面に表示してもよい。また、ＰＣ１００４は、受信した多重化ストリームからベースレイヤの符号化ストリームを抽出してストリームデータ１０１２を生成し、生成したストリームデータ１０１２を記憶媒体に記憶させ、又は他の装置へ転送してもよい。
図２１に示したデータ伝送システム１０００の構成は一例に過ぎない。データ伝送システム１０００は、いかなる数のストリーム記憶装置１００１、配信サーバ１００２、ネットワーク１００３、及び端末装置を含んでもよい。
（２）第２の例
第２の例において、スケーラブル符号化は、複数の通信チャネルを介するデータの伝送のために利用される。図２２を参照すると、データ伝送システム１１００は、放送局１１０１及び端末装置１１０２を含む。放送局１１０１は、地上波チャネル１１１１上で、ベースレイヤの符号化ストリーム１１２１を放送する。また、放送局１１０１は、ネットワーク１１１２を介して、エンハンスメントレイヤの符号化ストリーム１１２２を端末装置１１０２へ送信する。
端末装置１１０２は、放送局１１０１により放送される地上波放送を受信するための受信機能を有し、地上波チャネル１１１１を介してベースレイヤの符号化ストリーム１１２１を受信する。また、端末装置１１０２は、放送局１１０１と通信するための通信機能を有し、ネットワーク１１１２を介してエンハンスメントレイヤの符号化ストリーム１１２２を受信する。
端末装置１１０２は、例えば、ユーザからの指示に応じて、ベースレイヤの符号化ストリーム１１２１を受信し、受信した符号化ストリーム１１２１からベースレイヤ画像を復号してベースレイヤ画像を画面に表示してもよい。また、端末装置１１０２は、復号したベースレイヤ画像を記憶媒体に記憶させ、又は他の装置へ転送してもよい。
また、端末装置１１０２は、例えば、ユーザからの指示に応じて、ネットワーク１１１２を介してエンハンスメントレイヤの符号化ストリーム１１２２を受信し、ベースレイヤの符号化ストリーム１１２１とエンハンスメントレイヤの符号化ストリーム１１２２とを多重化することにより多重化ストリームを生成してもよい。また、端末装置１１０２は、エンハンスメントレイヤの符号化ストリーム１１２２からエンハンスメントレイヤ画像を復号してエンハンスメントレイヤ画像を画面に表示してもよい。また、端末装置１１０２は、復号したエンハンスメントレイヤ画像を記憶媒体に記憶させ、又は他の装置へ転送してもよい。
上述したように、多重化ストリームに含まれる各レイヤの符号化ストリームは、レイヤごとに異なる通信チャネルを介して伝送され得る。それにより、個々のチャネルに掛かる負荷を分散させて、通信の遅延若しくはオーバフローの発生を抑制することができる。
また、何らかの条件に応じて、伝送のために使用される通信チャネルが動的に選択されてもよい。例えば、データ量が比較的多いベースレイヤの符号化ストリーム１１２１は帯域幅の広い通信チャネルを介して伝送され、データ量が比較的少ないエンハンスメントレイヤの符号化ストリーム１１２２は帯域幅の狭い通信チャネルを介して伝送され得る。また、特定のレイヤの符号化ストリーム１１２２が伝送される通信チャネルが、通信チャネルの帯域幅に応じて切り替えられてもよい。それにより、個々のチャネルに掛かる負荷をより効果的に抑制することができる。
なお、図２２に示したデータ伝送システム１１００の構成は一例に過ぎない。データ伝送システム１１００は、いかなる数の通信チャネル及び端末装置を含んでもよい。また、放送以外の用途において、ここで説明したシステムの構成が利用されてもよい。
（３）第３の例
第３の例において、スケーラブル符号化は、映像の記憶のために利用される。図２３を参照すると、データ伝送システム１２００は、撮像装置１２０１及びストリーム記憶装置１２０２を含む。撮像装置１２０１は、被写体１２１１を撮像することにより生成される画像データをスケーラブル符号化し、多重化ストリーム１２２１を生成する。多重化ストリーム１２２１は、ベースレイヤの符号化ストリーム及びエンハンスメントレイヤの符号化ストリームを含む。そして、撮像装置１２０１は、多重化ストリーム１２２１をストリーム記憶装置１２０２へ供給する。
ストリーム記憶装置１２０２は、撮像装置１２０１から供給される多重化ストリーム１２２１を、モードごとに異なる画質で記憶する。例えば、ストリーム記憶装置１２０２は、通常モードにおいて、多重化ストリーム１２２１からベースレイヤの符号化ストリーム１２２２を抽出し、抽出したベースレイヤの符号化ストリーム１２２２を記憶する。これに対し、ストリーム記憶装置１２０２は、高画質モードにおいて、多重化ストリーム１２２１をそのまま記憶する。それにより、ストリーム記憶装置１２０２は、高画質での映像の記録が望まれる場合にのみ、データ量の多い高画質のストリームを記録することができる。そのため、画質の劣化のユーザへの影響を抑制しながら、メモリリソースを節約することができる。
例えば、撮像装置１２０１は、監視カメラであるものとする。撮像画像に監視対象（例えば侵入者）が映っていない場合には、通常モードが選択される。この場合、撮像画像は重要でない可能性が高いため、データ量の削減が優先され、映像は低画質で記録される（即ち、ベースレイヤの符号化ストリーム１２２２のみが記憶される）。これに対し、撮像画像に監視対象（例えば、侵入者である被写体１２１１）が映っている場合には、高画質モードが選択される。この場合、撮像画像は重要である可能性が高いため、画質の高さが優先され、映像は高画質で記録される（即ち、多重化ストリーム１２２１が記憶される）。
図２３の例では、モードは、例えば画像解析結果に基づいて、ストリーム記憶装置１２０２により選択される。しかしながら、かかる例に限定されず、撮像装置１２０１がモードを選択してもよい。後者の場合、撮像装置１２０１は、通常モードにおいて、ベースレイヤの符号化ストリーム１２２２をストリーム記憶装置１２０２へ供給し、高画質モードにおいて、多重化ストリーム１２２１をストリーム記憶装置１２０２へ供給してもよい。
なお、モードを選択するための選択基準は、いかなる基準であってもよい。例えば、マイクロフォンを通じて取得される音声の大きさ又は音声の波形などに応じて、モードが切り替えられてもよい。また、周期的にモードが切り替えられてもよい。また、ユーザからの指示に応じてモードが切り替えられてもよい。さらに、選択可能なモードの数は、階層化されるレイヤの数を超えない限り、いかなる数であってもよい。
図２３に示したデータ伝送システム１２００の構成は一例に過ぎない。データ伝送システム１２００は、いかなる数の撮像装置１２０１を含んでもよい。また、監視カメラ以外の用途において、ここで説明したシステムの構成が利用されてもよい。
［６−３．その他］
（１）マルチビューコーデックへの応用
マルチビューコーデックは、マルチレイヤコーデックの一種であり、いわゆる多視点映像を符号化し及び復号するための画像符号化方式である。図２４は、マルチビューコーデックについて説明するための説明図である。図２４を参照すると、３つの視点においてそれぞれ撮影される３つのビューのフレームのシーケンスが示されている。各ビューには、ビューＩＤ（view_id）が付与される。これら複数のビューのうちいずれか１つのビューが、ベースビュー（base view）に指定される。ベースビュー以外のビューは、ノンベースビューと呼ばれる。図２４の例では、ビューＩＤが“０”であるビューがベースビューであり、ビューＩＤが“１”又は“２”である２つのビューがノンベースビューである。これらビューが階層的に符号化される場合、各ビューがレイヤに相当し得る。図中に矢印で示したように、ノンベースビューの画像は、ベースビューの画像を参照して符号化され及び復号される（他のノンベースビューの画像も参照されてよい）。
図２５は、マルチビューコーデックをサポートする画像符号化装置１０ｖの概略的な構成を示すブロック図である。図２５を参照すると、画像符号化装置１０ｖは、第１レイヤ符号化部１ｃ、第２レイヤ符号化部１ｄ、共通メモリ２及び多重化部３を備える。
第１レイヤ符号化部１ｃの機能は、入力としてベースレイヤ画像の代わりにベースビュー画像を受け取ることを除き、図６を用いて説明したＢＬ符号化部１ａの機能と同等である。第１レイヤ符号化部１ｃは、ベースビュー画像を符号化し、第１レイヤの符号化ストリームを生成する。第２レイヤ符号化部１ｄの機能は、入力としてエンハンスメントレイヤ画像の代わりにノンベースビュー画像を受け取ることを除き、図６を用いて説明したＥＬ符号化部１ｂの機能と同等である。第２レイヤ符号化部１ｄは、ノンベースビュー画像を符号化し、第２レイヤの符号化ストリームを生成する。共通メモリ２は、レイヤ間で共通的に利用される情報を記憶する。多重化部３は、第１レイヤ符号化部１ｃにより生成される第１レイヤの符号化ストリームと、第２レイヤ符号化部１ｄにより生成される第２レイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する。
図２６は、マルチビューコーデックをサポートする画像復号装置６０ｖの概略的な構成を示すブロック図である。図２６を参照すると、画像復号装置６０ｖは、逆多重化部５、第１レイヤ復号部６ｃ、第２レイヤ復号部６ｄ及び共通メモリ７を備える。
逆多重化部５は、マルチレイヤの多重化ストリームを第１レイヤの符号化ストリーム及び第２レイヤの符号化ストリームに逆多重化する。第１レイヤ復号部６ｃの機能は、入力としてベースレイヤ画像の代わりにベースビュー画像が符号化された符号化ストリームを受け取ることを除き、図７を用いて説明したＢＬ復号部６ａの機能と同等である。第１レイヤ復号部６ｃは、第１レイヤの符号化ストリームからベースビュー画像を復号する。第２レイヤ復号部６ｄの機能は、入力としてエンハンスメントレイヤ画像の代わりにノンベースビュー画像が符号化された符号化ストリームを受け取ることを除き、図７を用いて説明したＥＬ復号部６ｂの機能と同等である。第２レイヤ復号部６ｄは、第２レイヤの符号化ストリームからノンベースビュー画像を復号する。共通メモリ７は、レイヤ間で共通的に利用される情報を記憶する。
マルチビューの画像データを符号化し又は復号する際、ビュー間で色域、ダイナミックレンジ又はビット深度といった画素属性が異なる場合には、本開示に係る技術に従って、ビュー間で画素値が予測されてもよい。それにより、スケーラブル符号化のケースと同様に、マルチビューコーデックにおいても、空間分割の粒度の異なる複数のルックアップテーブルを使い分けることで、予測精度の向上と符号量の抑制との最適なバランスを達成することができる。
（２）ストリーミング技術への応用
本開示に係る技術は、ストリーミングプロトコルに適用されてもよい。例えば、ＭＰＥＧ−ＤＡＳＨ（Dynamic Adaptive Streaming over HTTP）では、解像度などのパラメータが互いに異なる複数の符号化ストリームがストリーミングサーバにおいて予め用意される。そして、ストリーミングサーバは、複数の符号化ストリームからストリーミングすべき適切なデータをセグメント単位で動的に選択し、選択したデータを配信する。このようなストリーミングプロトコルにおいて、本開示に係る技術に従って、符号化ストリーム間の予測が制御されてもよい。
＜７．まとめ＞
ここまで、図１〜図２６を用いて、本開示に係る技術の実施形態について詳細に説明した。上述した実施形態によれば、第１レイヤとは異なる画素属性を有する第２レイヤの画像を３次元のルックアップテーブルを用いて予測するインターレイヤ予測のために、第２レイヤの輝度成分の予測値を取得する際に参照される第１のルックアップテーブルとは別に、第２レイヤの少なくとも第１色差成分の予測値を取得する際に参照される第２のルックアップテーブルが定義される。第２のルックアップテーブルの空間分割の粒度は、第１のルックアップテーブルとは異なるように定義可能である。第２レイヤの第２色差成分の予測値を取得する際に参照される第３のルックアップテーブルであって、第１のルックアップテーブル及び第２のルックアップテーブルの少なくとも一方と粒度の異なる当該第３のルックアップテーブルもまた定義可能である。
こうした仕組みによれば、利用可能なルックアップテーブルの空間分割の粒度が、画一的な１通りの粒度に制限されない。従って、最適な粒度での空間分割に基づくルックアップテーブルを柔軟に使い分けることが可能となる。例えば、輝度成分についてより精細な８×２×２（＝３２）個の直方体区画を有するルックアップテーブルを使用する一方で、第１色差成分及び第２色差成分についてはより粗い２×１×１（＝２）個の直方体区画を有するルックアップテーブルを使用する、といったケースがあり得る（ここでの区画数は一例に過ぎず、本開示に係る技術を限定しない）。こうした輝度成分について特別に精細なルックアップテーブルを使用することは、例えばダイナミックレンジスケーラビリティにおける輝度成分の予測精度の向上に寄与し得る。一方で、色差成分についてより粗いルックアップテーブルを使用することは、ルックアップテーブル情報の符号量の削減につながる。このように、上述した仕組みによって、一部の色成分についてルックアップテーブルの空間分割の粒度が粗すぎ又は必要以上に精細すぎるといった不都合を回避し、結果的に予測精度の向上と符号量の抑制との最適なバランスを達成することができる。
また、一例として、別々のルックアップテーブルを定義する情報が符号化されているか否かを示す追加的なパラメータが符号化され及び復号されてもよい。かかる例によれば、当該追加的なパラメータの値を切り替えることで、定義されるルックアップテーブルの粒度のバリエーションを、適応的に増減させることが可能となる。
なお、本明細書に記述したＣＵ、ＰＵ及びＴＵとの用語は、ＨＥＶＣにおいて、個々のブロックに関連付けられるシンタックスをも含む論理的な単位を意味する。画像の一部分としての個々のブロックのみに着目する場合、これらは、ＣＢ（Coding Block）、ＰＢ（Prediction Block）及びＴＢ（Transform Block）との用語にそれぞれ置き換えられてもよい。ＣＢは、ＣＴＢ（Coding Tree Block）を四分木（Quad-Tree）状に階層的に分割することにより形成される。１つの四分木の全体がＣＴＢに相当し、ＣＴＢに対応する論理的な単位はＣＴＵ（Coding Tree Unit）と呼ばれる。ＨＥＶＣにおけるＣＴＢ及びＣＢは、符号化処理の処理単位である点でＨ．２６４／ＡＶＣにおけるマクロブロックに類似する役割を有する。但し、ＣＴＢ及びＣＢは、そのサイズが固定的でない点でマクロブロックと異なる（マクロブロックのサイズは常に１６×１６画素である）。ＣＴＢのサイズは１６×１６画素、３２×３２画素及び６４×６４画素から選択され、符号化ストリーム内でパラメータにより指定される。ＣＢのサイズは、ＣＴＢの分割の深さによって変化し得る。
また、本明細書では、インターレイヤ予測に関する情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵ（Central Processing Unit）などのプロセッサにより実行される。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１レイヤの輝度成分、第１色差成分及び第２色差成分の組合せと当該組合せに対応する第２レイヤの予測画素値とをマッピングするルックアップテーブルを用いて、前記第１レイヤの画像から、前記第１レイヤとは異なる画素属性を有する前記第２レイヤの画像を予測する予測部、
を備え、
前記予測部は、第１のルックアップテーブルを用いて前記第２レイヤの前記輝度成分の予測値を取得し、前記第１のルックアップテーブルとは粒度の異なる第２のルックアップテーブルを用いて前記第２レイヤの前記第１色差成分の予測値を取得する、
画像処理装置。
（２）
前記画像処理装置は、
前記第１のルックアップテーブルの粒度を定義する第１の粒度情報と前記第２のルックアップテーブルの粒度を定義する第２の粒度情報とを復号する復号部、
をさらに備える、
前記（１）に記載の画像処理装置。
（３）
前記画像処理装置は、
前記第１のルックアップテーブルの粒度を定義する第１の粒度情報と前記第２のルックアップテーブルの粒度を定義する第２の粒度情報とを符号化する符号化部、
をさらに備える、
前記（１）に記載の画像処理装置。
（４）
前記予測部は、さらに、前記第１のルックアップテーブル及び前記第２のルックアップテーブルとは粒度の異なる第３のルックアップテーブルを用いて前記第２レイヤの前記第２色差成分の予測値を取得する、前記（２）又は前記（３）に記載の画像処理装置。
（５）
前記第１の粒度情報は、前記第１のルックアップテーブルについてのベースレイヤの色空間の分割を定義するフラグのセットを含み、
前記第２の粒度情報は、前記第２のルックアップテーブルについてのベースレイヤの色空間の分割を定義するフラグのセットを含む、
前記（２）〜（４）のいずれか１項に記載の画像処理装置。
（６）
前記第１の粒度情報は、前記第１のルックアップテーブルの各直方体区画に対応する予測値情報と共に符号化され、
前記第２の粒度情報は、前記第２のルックアップテーブルの各直方体区画に対応する予測値情報と共に符号化される、
前記（５）に記載の画像処理装置。
（７）
前記予測値情報は、各直方体区画に対応するエンハンスメントレイヤの色空間の部分空間の頂点位置を示す、前記（６）に記載の画像処理装置。
（８）
前記復号部は、前記第２の粒度情報が前記第１の粒度情報とは別に符号化されていることを示すパラメータが復号された場合に、前記第２の粒度情報を復号する、前記（２）に記載の画像処理装置。
（９）
前記画素属性は、色域、ビット深度及びダイナミックレンジのうち少なくとも１つを含む、前記（１）〜（８）のいずれか１項に記載の画像処理装置。
（１０）
第１レイヤの画像から、前記第１レイヤとは異なる画素属性を有する第２レイヤの画像を予測する画像処理装置において、
前記第１レイヤの輝度成分、第１色差成分及び第２色差成分の組合せと当該組合せに対応する前記第２レイヤの予測画素値とをマッピングする第１のルックアップテーブルを用いて、前記第２レイヤの前記輝度成分の予測値を取得することと、
前記第１のルックアップテーブルとは粒度の異なる第２のルックアップテーブルを用いて、前記第２レイヤの前記第１色差成分の予測値を取得することと、
を含む画像処理方法。
１０，１０ｖ 画像符号化装置（画像処理装置）
１６ 可逆符号化部
４０ インターレイヤ予測部
４５ ルックアップテーブルバッファ
６０，６０ｖ 画像復号装置（画像処理装置）
６２ 可逆復号部
９０ インターレイヤ予測部
９５ ルックアップテーブルバッファ

Claims (10)

  1. 第１レイヤの輝度成分、第１色差成分及び第２色差成分の組合せと当該組合せに対応する第２レイヤの予測画素値とをマッピングするルックアップテーブルを用いて、前記第１レイヤの画像から、前記第１レイヤとは異なる画素属性を有する前記第２レイヤの画像を予測する予測部、
    を備え、
    前記予測部は、第１のルックアップテーブルを用いて前記第２レイヤの前記輝度成分の予測値を取得し、前記第１のルックアップテーブルとは粒度の異なる第２のルックアップテーブルを用いて前記第２レイヤの前記第１色差成分の予測値を取得する、
    画像処理装置。
  2. 前記画像処理装置は、
    前記第１のルックアップテーブルの粒度を定義する第１の粒度情報と前記第２のルックアップテーブルの粒度を定義する第２の粒度情報とを復号する復号部、
    をさらに備える、
    請求項１に記載の画像処理装置。
  3. 前記画像処理装置は、
    前記第１のルックアップテーブルの粒度を定義する第１の粒度情報と前記第２のルックアップテーブルの粒度を定義する第２の粒度情報とを符号化する符号化部、
    をさらに備える、
    請求項１に記載の画像処理装置。
  4. 前記予測部は、さらに、前記第１のルックアップテーブル及び前記第２のルックアップテーブルとは粒度の異なる第３のルックアップテーブルを用いて前記第２レイヤの前記第２色差成分の予測値を取得する、請求項２に記載の画像処理装置。
  5. 前記第１の粒度情報は、前記第１のルックアップテーブルについてのベースレイヤの色空間の分割を定義するフラグのセットを含み、
    前記第２の粒度情報は、前記第２のルックアップテーブルについてのベースレイヤの色空間の分割を定義するフラグのセットを含む、
    請求項２に記載の画像処理装置。
  6. 前記第１の粒度情報は、前記第１のルックアップテーブルの各直方体区画に対応する予測値情報と共に符号化され、
    前記第２の粒度情報は、前記第２のルックアップテーブルの各直方体区画に対応する予測値情報と共に符号化される、
    請求項５に記載の画像処理装置。
  7. 前記予測値情報は、各直方体区画に対応するエンハンスメントレイヤの色空間の部分空間の頂点位置を示す、請求項６に記載の画像処理装置。
  8. 前記復号部は、前記第２の粒度情報が前記第１の粒度情報とは別に符号化されていることを示すパラメータが復号された場合に、前記第２の粒度情報を復号する、請求項２に記載の画像処理装置。
  9. 前記画素属性は、色域、ビット深度及びダイナミックレンジのうち少なくとも１つを含む、請求項１に記載の画像処理装置。
  10. 第１レイヤの画像から、前記第１レイヤとは異なる画素属性を有する第２レイヤの画像を予測する画像処理装置において、
    前記第１レイヤの輝度成分、第１色差成分及び第２色差成分の組合せと当該組合せに対応する前記第２レイヤの予測画素値とをマッピングする第１のルックアップテーブルを用いて、前記第２レイヤの前記輝度成分の予測値を取得することと、
    前記第１のルックアップテーブルとは粒度の異なる第２のルックアップテーブルを用いて、前記第２レイヤの前記第１色差成分の予測値を取得することと、
    を含む画像処理方法。
JP2014125966A 2014-06-19 2014-06-19 画像処理装置及び画像処理方法 Expired - Fee Related JP6330507B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014125966A JP6330507B2 (ja) 2014-06-19 2014-06-19 画像処理装置及び画像処理方法
EP15719302.0A EP3011748A1 (en) 2014-06-19 2015-04-10 Image processing device, image processing method and computer-readable medium
CN201580001432.7A CN105409217B (zh) 2014-06-19 2015-04-10 图像处理装置、图像处理方法和计算机可读介质
US14/905,428 US9973766B2 (en) 2014-06-19 2015-04-10 Image processing device, image processing method and computer-readable medium
PCT/JP2015/002033 WO2015194078A1 (en) 2014-06-19 2015-04-10 Image processing device, image processing method and computer-readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014125966A JP6330507B2 (ja) 2014-06-19 2014-06-19 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2016005217A true JP2016005217A (ja) 2016-01-12
JP6330507B2 JP6330507B2 (ja) 2018-05-30

Family

ID=53015850

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014125966A Expired - Fee Related JP6330507B2 (ja) 2014-06-19 2014-06-19 画像処理装置及び画像処理方法

Country Status (5)

Country Link
US (1) US9973766B2 (ja)
EP (1) EP3011748A1 (ja)
JP (1) JP6330507B2 (ja)
CN (1) CN105409217B (ja)
WO (1) WO2015194078A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019017362A1 (ja) * 2017-07-20 2019-01-24 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346770A (zh) * 2013-07-24 2015-02-11 联咏科技股份有限公司 数据插补方法及数据插补系统
KR102028186B1 (ko) * 2013-09-20 2019-10-02 브이아이디 스케일, 인크. 색역 확장성을 위한 3ｄ 룩업 테이블 코딩을 제공하기 위한 시스템 및 방법
EP3304902A1 (en) * 2015-06-08 2018-04-11 Thomson Licensing Method and apparatus for color gamut scalability (cgs) video encoding with artifact detection
US10321162B2 (en) * 2015-06-08 2019-06-11 Qualcomm Incorporated Derivation of color gamut scalability parameters and tables in scalable video coding
WO2017010924A1 (en) * 2015-07-10 2017-01-19 Telefonaktiebolaget Lm Ericsson (Publ) Pixel pre-processing and encoding
US10972767B2 (en) * 2017-11-01 2021-04-06 Realtek Semiconductor Corp. Device and method of handling multiple formats of a video sequence

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015057656A1 (en) * 2013-10-14 2015-04-23 Qualcomm Incorporated Three-dimensional lookup table based color gamut scalability in multi-layer video coding
WO2015161268A1 (en) * 2014-04-17 2015-10-22 Qualcomm Incorporated Signaling reference layers for 3d color prediction for color gamut scalability

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3381855B2 (ja) * 1992-12-28 2003-03-04 ソニー株式会社 画像信号符号化方法および画像信号符号化装置、並びに画像信号復号化方法および画像信号復号化装置
CN101663896A (zh) * 2007-04-23 2010-03-03 汤姆森许可贸易公司 用于对视频数据进行编码的方法和设备、用于对编码的视频数据和编码的视频信号进行解码的方法和设备
EP2051527A1 (en) * 2007-10-15 2009-04-22 Thomson Licensing Enhancement layer residual prediction for bit depth scalability using hierarchical LUTs
PL2835976T3 (pl) * 2008-04-16 2017-04-28 Ge Video Compression, Llc Skalowalność głębi bitowej
KR101660558B1 (ko) * 2009-02-03 2016-09-27 톰슨 라이센싱 비트 깊이 스케일리빌리티에서 스무드 참조 프레임에 의한 모션 보상을 하는 방법들 및 장치
KR101503269B1 (ko) * 2010-04-05 2015-03-17 삼성전자주식회사 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치
TWI559779B (zh) * 2010-08-25 2016-11-21 杜比實驗室特許公司 擴展影像動態範圍
CN102231264B (zh) * 2011-06-28 2013-03-06 王洪剑 动态对比度增强装置和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015057656A1 (en) * 2013-10-14 2015-04-23 Qualcomm Incorporated Three-dimensional lookup table based color gamut scalability in multi-layer video coding
WO2015161268A1 (en) * 2014-04-17 2015-10-22 Qualcomm Incorporated Signaling reference layers for 3d color prediction for color gamut scalability

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
XIANG LI, ET AL.: "Non-SCE1: Asymmetric 3D LUT for Color Gamut Scalability", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 16TH, vol. JCTVC-P0063_r1, JPN6017039781, 9 January 2014 (2014-01-09), pages p.1-7. *
XIANG LI, ET AL.: "SCE1.2: Color gamut scalability with asymmetric 3D LUT", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-Q0048, JPN6017039779, 2 April 2014 (2014-04-02), pages p.1-7. *
YUWEN WU, ET AL.: "Study on Inter-layer Prediction in Bit-depth Scalability", JOINT VIDEO TEAM (JVT) OF ISO/IEC MPEG & ITU-T VCEG(ISO/IEC JTC 1/SC 29/WG 11 AND ITU-T SG 16 Q.6) 2, vol. JVT-X052, JPN6017039784, 4 July 2007 (2007-07-04), pages p.1-13. *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019017362A1 (ja) * 2017-07-20 2019-01-24 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US11245929B2 (en) 2017-07-20 2022-02-08 Saturn Licensing Llc Transmission device, transmission method, reception device, and reception method
US11736732B2 (en) 2017-07-20 2023-08-22 Saturn Licensing Llc Transmission device, transmission method, reception de-vice, and reception method

Also Published As

Publication number Publication date
WO2015194078A1 (en) 2015-12-23
CN105409217B (zh) 2019-12-24
CN105409217A (zh) 2016-03-16
US9973766B2 (en) 2018-05-15
JP6330507B2 (ja) 2018-05-30
US20160165243A1 (en) 2016-06-09
EP3011748A1 (en) 2016-04-27

Similar Documents

Publication Publication Date Title
JP6455434B2 (ja) 画像処理装置及び画像処理方法
JP6094688B2 (ja) 画像処理装置及び画像処理方法
JP6345650B2 (ja) 画像処理装置及び画像処理方法
JP6330507B2 (ja) 画像処理装置及び画像処理方法
WO2015053001A1 (ja) 画像処理装置及び画像処理方法
WO2013164922A1 (ja) 画像処理装置及び画像処理方法
US20150229932A1 (en) Image processing device and image processing method
WO2015146278A1 (ja) 画像処理装置及び画像処理方法
WO2015098561A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
US20150043638A1 (en) Image processing apparatus and image processing method
WO2014148070A1 (ja) 画像処理装置及び画像処理方法
WO2015005024A1 (ja) 画像処理装置及び画像処理方法
WO2015052979A1 (ja) 画像処理装置及び画像処理方法
JPWO2014002900A1 (ja) 画像処理装置および画像処理方法
WO2014097703A1 (ja) 画像処理装置及び画像処理方法
WO2015053111A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
WO2015098231A1 (ja) 画像処理装置及び画像処理方法
WO2014156707A1 (ja) 画像符号化装置および方法、並びに、画像復号装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180409

R151 Written notification of patent or utility model registration

Ref document number: 6330507

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees