JP2013026724A - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP2013026724A JP2013026724A JP2011158027A JP2011158027A JP2013026724A JP 2013026724 A JP2013026724 A JP 2013026724A JP 2011158027 A JP2011158027 A JP 2011158027A JP 2011158027 A JP2011158027 A JP 2011158027A JP 2013026724 A JP2013026724 A JP 2013026724A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- layer
- quad
- tree
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【解決手段】第1のレイヤ及び前記第1のレイヤよりも上位の第2のレイヤを含むスケーラブル復号される画像の前記第1のレイヤに設定される第1のQuad-Treeを特定するQuad-Tree情報を復号する復号部と、前記復号部により復号される前記Quad-Tree情報を用いて、前記第2のレイヤに第2のQuad-Treeを設定する設定部と、を備える画像処理装置を提供する。
【選択図】図16
Description
1.画像符号化装置の構成例
1−1.全体的な構成
1−2.適応オフセット部の詳細な構成
1−3.適応ループフィルタの詳細な構成
1−4.可逆符号化部の詳細な構成
2.符号化時の処理の流れの例
2−1.適応オフセット処理
2−2.適応ループフィルタ処理
2−3.符号化処理
3.画像復号装置の構成例
3−1.全体的な構成
3−2.可逆復号部の詳細な構成
3−3.適応オフセット部の詳細な構成
3−4.適応ループフィルタの詳細な構成
4.復号時の処理の流れの例
4−1.復号処理
4−2.適応オフセット処理
4−3.適応ループフィルタ処理
5.応用例
6.まとめ
[1−1.全体的な構成]
図1は、一実施形態に係る画像符号化装置10の構成の一例を示すブロック図である。図1を参照すると、画像符号化装置10は、A/D(Analogue to Digital)変換部11、並び替えバッファ12、減算部13、直交変換部14、量子化部15、可逆符号化部16、蓄積バッファ17、レート制御部18、逆量子化部21、逆直交変換部22、加算部23、デブロックフィルタ(DF)24、適応オフセット部(AO)25、適応ループフィルタ(ALF)26、フレームメモリ27、セレクタ28及び29、イントラ予測部30、並びに動き探索部40を備える。
−空間スケーラビリティ:空間解像度あるいは画像サイズが階層化される。
−時間スケーラビリティ:フレームレートが階層化される。
−SNR(Signal to Noise Ratio)スケーラビリティ:SN比が階層化される。
さらに、標準規格で未だ採用されていないものの、ビット深度スケーラビリティ及びクロマフォーマットスケーラビリティもまた議論されている。ここで、Quad-Tree情報の再利用は、通常、レイヤ間で画像の相関がある場合に有効である。レイヤ間の画像の相関は、一般的には、時間スケーラビリティを除く種類のスケーラビリティにおいて存在し得る。
本項では、図1に示した適応オフセット部25の詳細な構成について説明する。図4は、適応オフセット部25の詳細な構成の一例を示すブロック図である。図4を参照すると、適応オフセット部25は、構造探索部110、選択部112、オフセット処理部114及びバッファ116を有する。
ベースレイヤの適応オフセット処理では、構造探索部110は、画像内に設定すべき最適なQuad-Tree構造を探索する。即ち、構造探索部110は、まず、デブロックフィルタ24から入力されるDF後の復号画像を1つ以上のパーティションに分割する。分割は再帰的に行われてよく、1つのパーティションはさらに1つ以上のパーティションに分割され得る。また、構造探索部110は、各パーティションについて様々なオフセットパターンで最適なオフセット値を算出する。上記非特許文献3により提案されている手法では、オフセットパターンとして、2種類のバンドオフセット(Band Offset:BO)、6種類のエッジオフセット(Edge Offset:EO)及び処理なし(OFF)の9種類の候補が存在する。
エンハンスメントレイヤの適応オフセット処理では、バッファ116によりバッファリングされるQuad-Tree情報が再利用される。
本項では、図1に示した適応ループフィルタ26の詳細な構成について説明する。図8は、適応ループフィルタ26の詳細な構成の一例を示すブロック図である。図8を参照すると、適応ループフィルタ26は、構造探索部120、選択部122、フィルタリング部124及びバッファ126を有する。
ベースレイヤの適応ループフィルタ処理では、構造探索部120は、画像内に設定すべき最適なQuad-Tree構造を探索する。即ち、構造探索部120は、まず、適応オフセット部25から入力される適応オフセット処理後の復号画像を1つ以上のパーティションに分割する。分割は再帰的に行われてよく、1つのパーティションはさらに1つ以上のパーティションに分割され得る。また、構造探索部120は、各パーティションについて原画像と復号画像との誤差を最小化するフィルタ係数を算出し、フィルタリング後の画像を生成する。選択部122は、フィルタリング後の画像と原画像との比較に基づいて、最適なQuad-Tree構造及び各パーティションについてのフィルタ係数のセットを選択する。そして、選択部122は、Quad-Tree構造を表すQuad-Tree情報とフィルタ係数を表すフィルタ係数情報とを、フィルタリング部124及び可逆符号化部16へ出力する。また、Quad-Tree情報は、バッファ126によって、上位レイヤでの処理のためにバッファリングされる。
エンハンスメントレイヤの適応ループフィルタ処理では、バッファ126によりバッファリングされるQuad-Tree情報が再利用される。
本項では、図1に示した可逆符号化部16の詳細な構成について説明する。図10は、可逆符号化部16の詳細な構成の一例を示すブロック図である。図10を参照すると、可逆符号化部16は、CU構造判定部130、PU構造判定部132、TU構造判定部134、シンタックス符号化部136及びバッファ138を有する。
ベースレイヤの符号化処理では、CU構造判定部130は、入力画像内に設定されるQuad-Tree状のCU構造を、オフラインでの画像の解析結果に基づいて判定する。そして、CU構造判定部130は、CU構造を表すQuad-Tree情報を生成し、生成したQuad-Tree情報をPU構造判定部132及びシンタックス符号化部136へ出力する。PU構造判定部132は、各CU内に設定されるPU構造を判定する。そして、PU構造判定部132は、各CU内のPU構造を表すPU設定情報をTU構造判定部134及びシンタックス符号化部136へ出力する。TU構造判定部134は、各PU内に設定されるTU構造を判定する。そして、TU構造判定部134は、各PU内のTU構造を表すTU設定情報をシンタックス符号化部136へ出力する。これらQuad-Tree情報、PU設定情報及びTU設定情報は、バッファ138によって上位レイヤでの処理のためにバッファリングされる。
エンハンスメントレイヤの符号化処理では、バッファ138によりバッファリングされる情報が再利用される。
[2−1.適応オフセット処理]
図13は、図1に示した適応オフセット部25による適応オフセット処理の流れの一例を示すフローチャートである。なお、図13のフローチャートは、スケーラブル符号化される画像の複数のレイヤのうち1つのエンハンスメントレイヤを対象とする処理の流れを示している。ここで説明する処理の前に、下位レイヤを対象とする適応オフセット処理が行われ、下位レイヤについてのQuad-Tree情報がバッファ116によってバッファリングされているものとする。また、ここではLCUベースで繰り返し処理が行われるものとする。
図14は、図1に示した適応ループフィルタ26による適応ループフィルタ処理の流れの一例を示すフローチャートである。なお、図14のフローチャートは、スケーラブル符号化される画像の複数のレイヤのうち1つのエンハンスメントレイヤを対象とする処理の流れを示している。ここで説明する処理の前に、下位レイヤを対象とする適応ループフィルタ処理が行われ、下位レイヤについてのQuad-Tree情報がバッファ126によってバッファリングされているものとする。また、ここではLCUベースで繰り返し処理が行われるものとする。
図15は、図1に示した可逆符号化部16による符号化処理の流れの一例を示すフローチャートである。なお、図15のフローチャートは、スケーラブル符号化される画像の複数のレイヤのうち1つのエンハンスメントレイヤを対象とする処理の流れを示している。ここで説明する処理の前に、下位レイヤを対象とする符号化処理が行われ、下位レイヤについてのQuad-Tree情報がバッファ138によってバッファリングされているものとする。また、ここではLCUベースで繰り返し処理が行われるものとする。
[3−1.全体的な構成]
図16は、一実施形態に係る画像復号装置60の構成の一例を示すブロック図である。図16を参照すると、画像復号装置60は、蓄積バッファ61、可逆復号部62、逆量子化部63、逆直交変換部64、加算部65、デブロックフィルタ(DF)66、適応オフセット部(AO)67、適応ループフィルタ(ALF)68、並び替えバッファ69、D/A(Digital to Analogue)変換部70、フレームメモリ71、セレクタ72及び73、イントラ予測部80、並びに動き補償部90を備える。
本項では、図16に示した可逆復号部62の詳細な構成について説明する。図17は、可逆復号部62の詳細な構成の一例を示すブロック図である。図17を参照すると、可逆復号部62は、シンタックス復号部210、CU設定部212、PU設定部214、TU設定部216及びバッファ218を有する。
ベースレイヤの符号化処理では、シンタックス復号部210は、蓄積バッファ61から入力されるベースレイヤの符号化ストリームを復号する。シンタックス復号部210は、ベースレイヤに設定されるCUのためのQuad-Tree情報を復号すると、復号された当該Quad-Tree情報をCU設定部212へ出力する。CU設定部212は、シンタックス復号部210により復号されたQuad-Tree情報を用いて、ベースレイヤにQuad-Tree状に1つ以上のCUを設定する。そして、シンタックス復号部210は、CU設定部212により設定されるCUごとにその他のヘッダ情報及び画像データ(量子化データ)を復号する。シンタックス復号部210により復号された量子化データは、逆量子化部63へ出力される。
エンハンスメントレイヤの符号化処理では、バッファ218によりバッファリングされる情報が再利用される。
本項では、図16に示した適応オフセット部67の詳細な構成について説明する。図18は、適応オフセット部67の詳細な構成の一例を示すブロック図である。図18を参照すると、適応オフセット部67は、パーティション設定部220、オフセット取得部222、オフセット処理部224及びバッファ226を有する。
ベースレイヤの適応オフセット処理では、パーティション設定部220は、ベースレイヤの符号化ストリームから可逆復号部62により復号されるQuad-Tree情報を取得する。そして、パーティション設定部220は、取得した当該Quad-Tree情報を用いて、ベースレイヤにQuad-Tree状に適応オフセット処理のための1つ以上のパーティションを設定する。オフセット取得部222は、可逆復号部62により復号される適応オフセット処理のためのオフセット情報を取得する。ここで取得されるオフセット情報は、上述したように、パーティションごとのオフセットパターンと、各オフセットパターンについてのオフセット値のセットとを表す。そして、オフセット処理部224は、オフセット取得部222により取得されるオフセット情報を用いて、パーティション設定部220により設定されたパーティションごとに、適応オフセット処理を行う。即ち、オフセット処理部224は、各パーティション内の各画素値に、オフセット情報により表されるオフセットパターンに従ってオフセット値を加算する。そして、オフセット処理部224は、オフセットされた画素値を有する復号画像データを適応ループフィルタ68へ出力する。パーティション設定部220により取得されたQuad-Tree情報は、バッファ226によって、上位レイヤでの処理のためにバッファリングされる。
エンハンスメントレイヤの適応オフセット処理では、バッファ226によりバッファリングされるQuad-Tree情報が再利用される。
本項では、図16に示した適応ループフィルタ68の詳細な構成について説明する。図19は、適応ループフィルタ68の詳細な構成の一例を示すブロック図である。図19を参照すると、適応ループフィルタ68は、パーティション設定部230、係数取得部232、フィルタリング部234及びバッファ236を有する。
ベースレイヤの適応ループフィルタ処理では、パーティション設定部230は、ベースレイヤの符号化ストリームから可逆復号部62により復号されるQuad-Tree情報を取得する。そして、パーティション設定部230は、取得した当該Quad-Tree情報を用いて、ベースレイヤにQuad-Tree状に適応ループフィルタ処理のための1つ以上のパーティションを設定する。係数取得部232は、可逆復号部62により復号される適応ループフィルタ処理のためのフィルタ係数情報を取得する。ここで取得されるフィルタ係数情報は、上述したように、パーティションごとのフィルタ係数のセットを表す。そして、フィルタリング部234は、パーティション設定部230により設定されたパーティションごとに、フィルタ係数情報により表されるフィルタ係数を有するウィーナフィルタを用いて、復号画像データをフィルタリングする。そして、フィルタリング部234は、フィルタリングされた復号画像データを並び替えバッファ69及びフレームメモリ71へ出力する。パーティション設定部230により取得されたQuad-Tree情報は、バッファ236によって、上位レイヤでの処理のためにバッファリングされる。
エンハンスメントレイヤの適応ループフィルタ処理では、バッファ236によりバッファリングされるQuad-Tree情報が再利用される。
[4−1.符号化処理]
図20は、図16に示した可逆復号部62による復号処理の流れの一例を示すフローチャートである。なお、図20のフローチャートは、スケーラブル復号される画像の複数のレイヤのうち1つのエンハンスメントレイヤを対象とする処理の流れを示している。ここで説明する処理の前に、下位レイヤを対象とする復号処理が行われ、下位レイヤについての情報がバッファ218によってバッファリングされているものとする。また、ここではLCUベースで繰り返し処理が行われるものとする。
図21は、図16に示した適応オフセット部67による適応オフセット処理の流れの一例を示すフローチャートである。なお、図21のフローチャートは、スケーラブル復号される画像の複数のレイヤのうち1つのエンハンスメントレイヤを対象とする処理の流れを示している。ここで説明する処理の前に、下位レイヤを対象とする適応オフセット処理が行われ、下位レイヤについてのQuad-Tree情報がバッファ226によってバッファリングされているものとする。また、ここではLCUベースで繰り返し処理が行われるものとする。
図22は、図16に示した適応ループフィルタ68による適応ループフィルタ処理の流れの一例を示すフローチャートである。なお、図22のフローチャートは、スケーラブル復号される画像の複数のレイヤのうち1つのエンハンスメントレイヤを対象とする処理の流れを示している。ここで説明する処理の前に、下位レイヤを対象とする適応ループフィルタ処理が行われ、下位レイヤについてのQuad-Tree情報がバッファ236によってバッファリングされているものとする。また、ここではLCUベースで繰り返し処理が行われるものとする。
上述した実施形態に係る画像符号化装置10及び画像復号装置60は、衛星放送、ケーブルTVなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、4つの応用例について説明する。
図23は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置900は、アンテナ901、チューナ902、デマルチプレクサ903、デコーダ904、映像信号処理部905、表示部906、音声信号処理部907、スピーカ908、外部インタフェース909、制御部910、ユーザインタフェース911、及びバス912を備える。
図24は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機920は、アンテナ921、通信部922、音声コーデック923、スピーカ924、マイクロホン925、カメラ部926、画像処理部927、多重分離部928、記録再生部929、表示部930、制御部931、操作部932、及びバス933を備える。
図25は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置940は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置940は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置940は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置940は、音声データ及び映像データを復号する。
図26は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置960は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
ここまで、図1〜図26を用いて、一実施形態に係る画像符号化装置10及び画像復号装置60について詳細に説明した。本実施形態によれば、スケーラブル符号化及び復号に際して、下位レイヤに設定される第1のQuad-Treeを特定するQuad-Tree情報を用いて、上位レイヤに第2のQuad-Treeが設定される。従って、上位レイヤのQuad-Tree構造の全体を表すQuad-Tree情報を上位レイヤのために符号化する必要性が排除される。即ち、複数のレイヤにわたる冗長なQuad-Tree情報の符号化が回避されるため、符号化効率が高められる。
(1)
第1のレイヤ及び前記第1のレイヤよりも上位の第2のレイヤを含むスケーラブル復号される画像の前記第1のレイヤに設定される第1のQuad-Treeを特定するQuad-Tree情報を復号する復号部と、
前記復号部により復号される前記Quad-Tree情報を用いて、前記第2のレイヤに第2のQuad-Treeを設定する設定部と、
を備える画像処理装置。
(2)
前記復号部は、前記第1のQuad-Treeをさらに分割するかを示す分割情報を復号し、
前記設定部は、前記Quad-Tree情報を用いて形成されるQuad-Treeを前記分割情報に従ってさらに分割することにより、前記第2のQuad-Treeを設定する、
前記(1)に記載の画像処理装置。
(3)
前記設定部により設定される前記第2のQuad-Treeに含まれるパーティションごとに適応ループフィルタ処理を行うフィルタリング部、をさらに備える、前記(1)又は前記(2)に記載の画像処理装置。
(4)
前記復号部は、前記第2のレイヤの前記適応ループフィルタ処理のための各パーティションのフィルタ係数をさらに復号し、
前記フィルタリング部は、前記フィルタ係数を用いて前記適応ループフィルタ処理を行う、
前記(3)に記載の画像処理装置。
(5)
前記設定部により設定される前記第2のQuad-Treeに含まれるパーティションごとに適応オフセット処理を行うオフセット処理部、をさらに備える、前記(1)又は前記(2)に記載の画像処理装置。
(6)
前記復号部は、前記第2のレイヤの前記適応オフセット処理のためのオフセット情報をさらに復号し、
前記オフセット処理部は、前記オフセット情報を用いて前記適応オフセット処理を行う、
前記(5)に記載の画像処理装置。
(7)
前記第2のQuad-Treeは、CU(Coding Unit)のためのQuad-Treeであり、
前記復号部は、前記第2のQuad-Treeに含まれるCUごとに前記第2のレイヤの画像データを復号する、
前記(1)又は前記(2)に記載の画像処理装置。
(8)
前記設定部は、各CUに1つ以上のPU(Prediction Unit)を設定するためのPU設定情報を用いて、前記第2のQuad-Treeに含まれるCUの各々にさらに1つ以上のPUを設定する、前記(7)に記載の画像処理装置。
(9)
前記PU設定情報は、前記第1のレイヤにPUを設定するために復号される情報である、前記(8)に記載の画像処理装置。
(10)
前記PU設定情報は、前記第2のレイヤにPUを設定するために復号される情報である、前記(8)に記載の画像処理装置。
(11)
前記設定部は、各PUに1つ以上のTU(Transform Unit)を設定するためのTU設定情報を用いて、前記第2のQuad-Treeに含まれるCU内のPUの各々にさらに1つ上のTUを設定する、前記(8)に記載の画像処理装置。
(12)
前記TU設定情報は、前記第1のレイヤにTUを設定するために復号される情報である、前記(11)に記載の画像処理装置。
(13)
前記TU設定情報は、前記第2のレイヤにTUを設定するために復号される情報である、前記(11)に記載の画像処理装置。
(14)
前記設定部は、前記第1のレイヤと前記第2のレイヤとの間の空間解像度の比率に応じて前記第1のレイヤにおけるLCU(Largest Coding Unit)サイズを拡大し、拡大した前記LCUサイズに基づいて、前記第2のレイヤに前記第2のQuad-Treeを設定する、前記(7)〜(13)のいずれか1項に記載の画像処理装置。
(15)
前記第1のレイヤ及び前記第2のレイヤは、空間解像度の互いに異なるレイヤである、前記(1)〜(13)のいずれか1項に記載の画像処理装置。
(16)
前記第1のレイヤ及び前記第2のレイヤは、雑音比率の互いに異なるレイヤである、前記(1)〜(13)のいずれか1項に記載の画像処理装置。
(17)
前記第1のレイヤ及び前記第2のレイヤは、ビット深度の互いに異なるレイヤである、前記(1)〜(13)のいずれか1項に記載の画像処理装置。
(18)
前記第1のレイヤ及び前記第2のレイヤは、クロマフォーマットの互いに異なるレイヤである、前記(1)〜(13)のいずれか1項に記載の画像処理装置。
(19)
第1のレイヤ及び前記第1のレイヤよりも上位の第2のレイヤを含むスケーラブル復号される画像の前記第1のレイヤに設定される第1のQuad-Treeを特定するQuad-Tree情報を復号することと、
復号された前記Quad-Tree情報を用いて、前記第2のレイヤに第2のQuad-Treeを設定することと、
を含む画像処理方法。
(20)
第1のレイヤ及び前記第1のレイヤよりも上位の第2のレイヤを含むスケーラブル符号化される画像の前記第1のレイヤに設定される第1のQuad-Treeを特定するQuad-Tree情報であって、前記第2のレイヤに第2のQuad-Treeを設定するために使用される前記Quad-Tree情報を符号化する符号化部、
を備える画像処理装置。
(21)
第1のレイヤ及び前記第1のレイヤよりも上位の第2のレイヤを含むスケーラブル符号化される画像の前記第1のレイヤに設定される第1のQuad-Treeを特定するQuad-Tree情報であって、前記第2のレイヤに第2のQuad-Treeを設定するために使用される前記Quad-Tree情報を符号化すること、
を含む画像処理方法。
16 符号化部
60 画像復号装置(画像処理装置)
62 復号部
212,214,216,220,230 設定部
224 オフセット処理部
234 フィルタリング部
Claims (21)
- 第1のレイヤ及び前記第1のレイヤよりも上位の第2のレイヤを含むスケーラブル復号される画像の前記第1のレイヤに設定される第1のQuad-Treeを特定するQuad-Tree情報を復号する復号部と、
前記復号部により復号される前記Quad-Tree情報を用いて、前記第2のレイヤに第2のQuad-Treeを設定する設定部と、
を備える画像処理装置。 - 前記復号部は、前記第1のQuad-Treeをさらに分割するかを示す分割情報を復号し、
前記設定部は、前記Quad-Tree情報を用いて形成されるQuad-Treeを前記分割情報に従ってさらに分割することにより、前記第2のQuad-Treeを設定する、
請求項1に記載の画像処理装置。 - 前記設定部により設定される前記第2のQuad-Treeに含まれるパーティションごとに適応ループフィルタ処理を行うフィルタリング部、をさらに備える、請求項1に記載の画像処理装置。
- 前記復号部は、前記第2のレイヤの前記適応ループフィルタ処理のための各パーティションのフィルタ係数をさらに復号し、
前記フィルタリング部は、前記フィルタ係数を用いて前記適応ループフィルタ処理を行う、
請求項3に記載の画像処理装置。 - 前記設定部により設定される前記第2のQuad-Treeに含まれるパーティションごとに適応オフセット処理を行うオフセット処理部、をさらに備える、請求項1に記載の画像処理装置。
- 前記復号部は、前記第2のレイヤの前記適応オフセット処理のためのオフセット情報をさらに復号し、
前記オフセット処理部は、前記オフセット情報を用いて前記適応オフセット処理を行う、
請求項5に記載の画像処理装置。 - 前記第2のQuad-Treeは、CU(Coding Unit)のためのQuad-Treeであり、
前記復号部は、前記第2のQuad-Treeに含まれるCUごとに前記第2のレイヤの画像データを復号する、
請求項1に記載の画像処理装置。 - 前記設定部は、各CUに1つ以上のPU(Prediction Unit)を設定するためのPU設定情報を用いて、前記第2のQuad-Treeに含まれるCUの各々にさらに1つ以上のPUを設定する、請求項7に記載の画像処理装置。
- 前記PU設定情報は、前記第1のレイヤにPUを設定するために復号される情報である、請求項8に記載の画像処理装置。
- 前記PU設定情報は、前記第2のレイヤにPUを設定するために復号される情報である、請求項8に記載の画像処理装置。
- 前記設定部は、各PUに1つ以上のTU(Transform Unit)を設定するためのTU設定情報を用いて、前記第2のQuad-Treeに含まれるCU内のPUの各々にさらに1つ上のTUを設定する、請求項8に記載の画像処理装置。
- 前記TU設定情報は、前記第1のレイヤにTUを設定するために復号される情報である、請求項11に記載の画像処理装置。
- 前記TU設定情報は、前記第2のレイヤにTUを設定するために復号される情報である、請求項11に記載の画像処理装置。
- 前記設定部は、前記第1のレイヤと前記第2のレイヤとの間の空間解像度の比率に応じて前記第1のレイヤにおけるLCU(Largest Coding Unit)サイズを拡大し、拡大した前記LCUサイズに基づいて、前記第2のレイヤに前記第2のQuad-Treeを設定する、請求項7に記載の画像処理装置。
- 前記第1のレイヤ及び前記第2のレイヤは、空間解像度の互いに異なるレイヤである、請求項1に記載の画像処理装置。
- 前記第1のレイヤ及び前記第2のレイヤは、雑音比率の互いに異なるレイヤである、請求項1に記載の画像処理装置。
- 前記第1のレイヤ及び前記第2のレイヤは、ビット深度の互いに異なるレイヤである、請求項1に記載の画像処理装置。
- 前記第1のレイヤ及び前記第2のレイヤは、クロマフォーマットの互いに異なるレイヤである、請求項1に記載の画像処理装置。
- 第1のレイヤ及び前記第1のレイヤよりも上位の第2のレイヤを含むスケーラブル復号される画像の前記第1のレイヤに設定される第1のQuad-Treeを特定するQuad-Tree情報を復号することと、
復号された前記Quad-Tree情報を用いて、前記第2のレイヤに第2のQuad-Treeを設定することと、
を含む画像処理方法。 - 第1のレイヤ及び前記第1のレイヤよりも上位の第2のレイヤを含むスケーラブル符号化される画像の前記第1のレイヤに設定される第1のQuad-Treeを特定するQuad-Tree情報であって、前記第2のレイヤに第2のQuad-Treeを設定するために使用される前記Quad-Tree情報を符号化する符号化部、
を備える画像処理装置。 - 第1のレイヤ及び前記第1のレイヤよりも上位の第2のレイヤを含むスケーラブル符号化される画像の前記第1のレイヤに設定される第1のQuad-Treeを特定するQuad-Tree情報であって、前記第2のレイヤに第2のQuad-Treeを設定するために使用される前記Quad-Tree情報を符号化すること、
を含む画像処理方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011158027A JP5810700B2 (ja) | 2011-07-19 | 2011-07-19 | 画像処理装置及び画像処理方法 |
CN201280034435.7A CN103703775A (zh) | 2011-07-19 | 2012-05-24 | 图像处理设备和图像处理方法 |
US14/232,017 US20150036758A1 (en) | 2011-07-19 | 2012-05-24 | Image processing apparatus and image processing method |
PCT/JP2012/063309 WO2013011738A1 (ja) | 2011-07-19 | 2012-05-24 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011158027A JP5810700B2 (ja) | 2011-07-19 | 2011-07-19 | 画像処理装置及び画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013026724A true JP2013026724A (ja) | 2013-02-04 |
JP2013026724A5 JP2013026724A5 (ja) | 2014-08-21 |
JP5810700B2 JP5810700B2 (ja) | 2015-11-11 |
Family
ID=47557929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011158027A Expired - Fee Related JP5810700B2 (ja) | 2011-07-19 | 2011-07-19 | 画像処理装置及び画像処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20150036758A1 (ja) |
JP (1) | JP5810700B2 (ja) |
CN (1) | CN103703775A (ja) |
WO (1) | WO2013011738A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016526336A (ja) * | 2013-05-24 | 2016-09-01 | ソニック アイピー, インコーポレイテッド | 適応ビットレートストリーミングのための適応量子化を用いて複数のビデオストリームをエンコードするシステムおよび方法 |
US10148989B2 (en) | 2016-06-15 | 2018-12-04 | Divx, Llc | Systems and methods for encoding video content |
US10178399B2 (en) | 2013-02-28 | 2019-01-08 | Sonic Ip, Inc. | Systems and methods of encoding multiple video streams for adaptive bitrate streaming |
US11025902B2 (en) | 2012-05-31 | 2021-06-01 | Nld Holdings I, Llc | Systems and methods for the reuse of encoding information in encoding alternative streams of video data |
US11611785B2 (en) | 2011-08-30 | 2023-03-21 | Divx, Llc | Systems and methods for encoding and streaming video encoded using a plurality of maximum bitrate levels |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2993084A1 (fr) * | 2012-07-09 | 2014-01-10 | France Telecom | Procede de codage video par prediction du partitionnement d'un bloc courant, procede de decodage, dispositifs de codage et de decodage et programmes d'ordinateur correspondants |
US9635360B2 (en) * | 2012-08-01 | 2017-04-25 | Mediatek Inc. | Method and apparatus for video processing incorporating deblocking and sample adaptive offset |
US9648319B2 (en) * | 2012-12-12 | 2017-05-09 | Qualcomm Incorporated | Device and method for scalable coding of video information based on high efficiency video coding |
US9648335B2 (en) * | 2013-07-12 | 2017-05-09 | Qualcomm Incorporated | Bitstream restrictions on picture partitions across layers |
RU2630388C1 (ru) * | 2014-04-25 | 2017-09-07 | Сони Корпорейшн | Устройство передачи, способ передачи, устройство приема и способ приема |
US11196992B2 (en) | 2015-09-03 | 2021-12-07 | Mediatek Inc. | Method and apparatus of neural network based processing in video coding |
US20170150186A1 (en) * | 2015-11-25 | 2017-05-25 | Qualcomm Incorporated | Flexible transform tree structure in video coding |
EP3684056A1 (en) * | 2016-05-02 | 2020-07-22 | Sony Corporation | Image processing using filtering based on pixel classification |
CN107566848B (zh) | 2016-06-30 | 2020-04-14 | 华为技术有限公司 | 编解码的方法及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012167712A1 (en) * | 2011-06-10 | 2012-12-13 | Mediatek Inc. | Method and apparatus of scalable video coding |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8374238B2 (en) * | 2004-07-13 | 2013-02-12 | Microsoft Corporation | Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video |
US8199812B2 (en) * | 2007-01-09 | 2012-06-12 | Qualcomm Incorporated | Adaptive upsampling for scalable video coding |
US20090154567A1 (en) * | 2007-12-13 | 2009-06-18 | Shaw-Min Lei | In-loop fidelity enhancement for video compression |
US9860528B2 (en) * | 2011-06-10 | 2018-01-02 | Hfi Innovation Inc. | Method and apparatus of scalable video coding |
-
2011
- 2011-07-19 JP JP2011158027A patent/JP5810700B2/ja not_active Expired - Fee Related
-
2012
- 2012-05-24 US US14/232,017 patent/US20150036758A1/en not_active Abandoned
- 2012-05-24 WO PCT/JP2012/063309 patent/WO2013011738A1/ja active Application Filing
- 2012-05-24 CN CN201280034435.7A patent/CN103703775A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012167712A1 (en) * | 2011-06-10 | 2012-12-13 | Mediatek Inc. | Method and apparatus of scalable video coding |
JP2014514833A (ja) * | 2011-06-10 | 2014-06-19 | メディアテック インコーポレイテッド | スケーラブルビデオコーディングの方法及び装置 |
Non-Patent Citations (3)
Title |
---|
JPN6015020493; Koohyar Minoo, David Baylon, Ajay Luthra: Spatial Scalability for HEVC , 20110316, Joint Collaborative Team on Video Coding (JCT-VC) * |
JPN6015020494; Danny Hong, Wonkap Jang, Jill Boyce, Adeel Abbas: Scalability Support in HEVC , 20110714, Joint Collaborative Team on Video Coding (JCT-VC) * |
JPN6015020495; Ajay Luthra: Scalable enhancement requirements for HEVC , 20110316, Joint Collaborative Team on Video Coding (JCT-VC) * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11611785B2 (en) | 2011-08-30 | 2023-03-21 | Divx, Llc | Systems and methods for encoding and streaming video encoded using a plurality of maximum bitrate levels |
US11025902B2 (en) | 2012-05-31 | 2021-06-01 | Nld Holdings I, Llc | Systems and methods for the reuse of encoding information in encoding alternative streams of video data |
US10178399B2 (en) | 2013-02-28 | 2019-01-08 | Sonic Ip, Inc. | Systems and methods of encoding multiple video streams for adaptive bitrate streaming |
US10728564B2 (en) | 2013-02-28 | 2020-07-28 | Sonic Ip, Llc | Systems and methods of encoding multiple video streams for adaptive bitrate streaming |
JP2016526336A (ja) * | 2013-05-24 | 2016-09-01 | ソニック アイピー, インコーポレイテッド | 適応ビットレートストリーミングのための適応量子化を用いて複数のビデオストリームをエンコードするシステムおよび方法 |
US10148989B2 (en) | 2016-06-15 | 2018-12-04 | Divx, Llc | Systems and methods for encoding video content |
US10595070B2 (en) | 2016-06-15 | 2020-03-17 | Divx, Llc | Systems and methods for encoding video content |
US11483609B2 (en) | 2016-06-15 | 2022-10-25 | Divx, Llc | Systems and methods for encoding video content |
US11729451B2 (en) | 2016-06-15 | 2023-08-15 | Divx, Llc | Systems and methods for encoding video content |
Also Published As
Publication number | Publication date |
---|---|
US20150036758A1 (en) | 2015-02-05 |
JP5810700B2 (ja) | 2015-11-11 |
WO2013011738A1 (ja) | 2013-01-24 |
CN103703775A (zh) | 2014-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5810700B2 (ja) | 画像処理装置及び画像処理方法 | |
US11196995B2 (en) | Image processing device and image processing method | |
JP6208822B2 (ja) | 画像処理装置、画像処理方法、プログラム及び媒体 | |
US9088786B2 (en) | Image processing device and image processing method | |
TWI595776B (zh) | Image processing device and method | |
JP5830993B2 (ja) | 画像処理装置及び画像処理方法 | |
US9973784B2 (en) | Image processing device and method | |
WO2013001939A1 (ja) | 画像処理装置及び画像処理方法 | |
JP2013074491A (ja) | 画像処理装置および方法 | |
JP6265249B2 (ja) | 画像処理装置及び画像処理方法 | |
AU2017202277B2 (en) | Image processing device and image processing method | |
WO2014097703A1 (ja) | 画像処理装置及び画像処理方法 | |
JP6048564B2 (ja) | 画像処理装置及び画像処理方法 | |
WO2014156707A1 (ja) | 画像符号化装置および方法、並びに、画像復号装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140709 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150526 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150818 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150831 |
|
LAPS | Cancellation because of no payment of annual fees |