JP2014140163A - 処理方法及びビデオコーディングシステム - Google Patents

処理方法及びビデオコーディングシステム Download PDF

Info

Publication number
JP2014140163A
JP2014140163A JP2014000268A JP2014000268A JP2014140163A JP 2014140163 A JP2014140163 A JP 2014140163A JP 2014000268 A JP2014000268 A JP 2014000268A JP 2014000268 A JP2014000268 A JP 2014000268A JP 2014140163 A JP2014140163 A JP 2014140163A
Authority
JP
Japan
Prior art keywords
filter
fixed refining
video data
layer
enhancement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014000268A
Other languages
English (en)
Other versions
JP5976696B2 (ja
Inventor
Wenhao Zhang
ジャーン ウエンハオ
Yi-Jen Chiu
チウ イー−ジェン
Lidong Xu
シュイ リードーン
Zhipin Deng
ドゥオン ジーピン
Han Yu
ハン ユイ
Xiaoxia Cai
ツァイ シヤオシア
Jiang Hong
ジアーン ホーン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2014140163A publication Critical patent/JP2014140163A/ja
Application granted granted Critical
Publication of JP5976696B2 publication Critical patent/JP5976696B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】スケーラブルビデオコーデック装置のレイヤ間予測の処理を改善する。
【解決手段】再構築されたリファレンスレイヤビデオデータに固定リファイニングフィルタを適用し、リファインされた再構築ビデオデータを生成するステップと、リファインされた再構築ビデオデータに少なくとも部分的に基づいて、ビデオデータに関するエンハンスメントレイヤについてレイヤ間予測を実行するステップと、再構築されたリファレンスレイヤビデオデータとフィルタ係数との点乗積にオフセット値を加算するステップと、再構築されたリファレンスレイヤビデオデータのうちフィルタウィンドウの部分に前記固定リファイニングフィルタを適用するステップとを有する。
【選択図】図１

Description

開示される実施の形態は処理方法及びビデオコーディングシステム等に関連する。
ビデオエンコーダ又はビデオ符号器は、より多くの情報が所与の帯域幅で送信できるようにビデオ情報を圧縮する。そして、圧縮された信号はデコーダ又は復号器を有する受信機に送信され、デコーダは表示のために信号を復号又は非圧縮化する。
高効率ビデオコーディング(HEVC)は最新のビデオ圧縮標準規格であり、ISO/IEC動画エキスパートグループ(MPEG)及びITU-Tビデオ符号化エキスパートグループ(VCEG)によるJCT-VC(Joint Collaborative Team on Video Coding)により決定されている。従来のビデオ符号化標準規格と同様に、HEVCはイントラ/インター予測、変換、量子化、ループ内フィルタリング、及びエントロピ符号化等を行う基本機能モジュールを含む。
HEVCの主要部分の標準化が完成に近付くにつれて、HEVCのスケーラブルビデオ符号化(SVC)に関する研究が始まっている。SVCは最近のビデオサービス環境における異種のネットワーク及び装置と協働するための方法である。HEVC-SVCビットストリームはそれ自体でデコード可能ないくつかのサブビットストリームを含み、これらのサブビットストリームは、解像度、フレームレート、品質/SNRビット深度等が異なるソースビデオコンテンツを表現する。様々なスケーラビリティを達成するため、しばしば、複数階層符号化構造又はマルチレイヤ符号化構造が使用される。一般に、マルチレイヤ符号化構造は1つの基本階層又はベースレイヤ(BL)と1つ以上の拡張階層又はエンハンスメントレイヤ(EL)とを有する。この構造は、画像又は画像の一部が、下位のレイヤの画像(例えば、BL画像又は下位レベルのEL画像)から又は同じレイヤの以前に符号化した画像から予測されることを許容する。
ISO/IEC JTC/SC29/WG11 and ITU-T SG16 WP3, "High efficiency video coding (HEVC) text specification draft 8"(JCTVC-J1003_d7, July 2012)
実施の形態の課題は、スケーラブルビデオコーデック装置のレイヤ間予測の処理を改善することである。
実施の形態による処理方法は、
スケーラブルビデオコーディングを実行するためにコンピュータが実行する処理方法であって、
再構築されたリファレンスレイヤビデオデータに固定リファイニングフィルタを適用し、リファインされた再構築ビデオデータを生成するステップと、
前記リファインされた再構築ビデオデータに少なくとも部分的に基づいて、ビデオデータに関するエンハンスメントレイヤについてレイヤ間予測を実行するステップと
を有する処理方法である。
1つのベースレイヤ及び1つのエンハンスメントレイヤと共に符号器の一例を示す図。 スケーラブルビデオコーディングシステムの一例を示す図。 SVCエンコーディングシステムの一例を示す図。 SVCデコーディングシステムの一例を示す図。 固定リファイニングフィルタリングの一例を示す図。 動作例を示すフローチャート。 システム例を示す図。 ビットストリームの一例を示す図。 ビデオ符号化処理の一例を示す図。 動作中のビデオ符号化処理の一例を示す図。 ビデオコーディングシステムの一例を示す図。 システムの一例を示す図。 本発明の少なくとも幾つかの実施形態による装置全体の一例を示す図。
以下、単なる具体例を示しているに過ぎない図面を参照しながら実施の形態を説明する。説明の簡明化のため、図示されている要素は必ずしも寸法を表現しているとは限らない。例えば、明確化のため、ある要素の寸法は他の要素と比較して強調されているかもしれない。更に、適切である場合には、対応又は類似する要素を示すために参照ラベルが繰り返し使用されている。
添付図面を参照しながら1つ以上の構成及び配置を説明する。特定の構成及び形態が説明されるが、例示を目的としていることが理解されるべきである。当業者は、本願の精神及び範囲から逸脱することなく、他の構成及び配置が使用されてもよいことを認めるであろう。本願で説明される技法及び/又は手段は、本願で明示的には説明されていない様々な他のシステム及び形態でも使用されてよいことを、当業者は認めるであろう。
以下の説明は、例えばシステムオンチップ(SoC)アーキテクチャ等のようなアーキテクチャで使用されてよい様々な例を説明しているが、本願で説明されている技法及び/又は手段の実施の形態は、特定のアーキテクチャ及び/又はコンピュータシステムには限定されず、同様な用途の如何なるアーキテクチャ及び/又はコンピュータシステムにより使用されてよい。例えば、複数の集積回路(IC)チップ及びパッケージを利用する様々なアーキテクチャ、及び/又はセットトップボックスやスマートフォン等のような様々なコンピュータ装置及び/又は消費者電子装置(CE)が、本願で説明される技法及び/又は手段を利用してよい。更に、以下の説明は、論理構成、システムコンポーネントのタイプや相互関係、論理的な区分け/実現の際の選択肢等の様々な具体的な詳細事項を説明しているが、特許請求の範囲に記載される事項はそのような具体的な詳細事項に依存せずに実施されてよい。また、例えば制御構造及び完全なソフトウェア命令シーケンス等のような事項は、開示される内容を曖昧にしないように詳細には説明されていない。
本願で説明される内容は、ハードウェア、ファームウェア、ソフトウェア又はそれらの任意の組み合わせにより実施されてもよい。本願で説明される内容は、コンピュータ読み取り可能媒体(コンピュータで読み取ることが可能な媒体)に保存される命令として実現されてもよく、命令は1つ以上のプロセッサにより読み取られて実行される。コンピュータ読み取り可能媒体は、コンピュータ又はマシンにより読み取ることが可能な形式又はフォームで情報を格納又は通信するための任意の媒体及び/又は手段を含んでよい。例えば、コンピュータ読み取り可能媒体は、例えば、リードオンリメモリ(ROM)；ランダムアクセスメモリ(RAM)；磁気ディスク記憶媒体；光記憶媒体；フラッシュメモリ装置；電気、光、音又はその他の形式の伝搬する信号(例えば、搬送波、赤外線信号、ディジタル信号)等を含んでもよい。
「一実施形態」、「実施の形態」、「実施例」等に関する明細書中の用語は、説明されている実施の形態が、特定の性質、構造又は特徴を有することを示すが、その特定の性質、構造又は特徴を、必ずしも全ての実施の形態が有している必要はない。更に、そのような語句は必ずしも同じ実施の形態を指していなくてもよい。ある実施の形態に関連して特定の性質、構造又は特徴が説明されている場合、本願で明示的に説明されているか否かによらず、そのような特定の性質、構造又は特徴を他の実施の形態に応用することは当業者にとって可能である。
以下、スケーラブルビデオコーディングシステム、装置、製品及び方法が説明される。スケーラブルビデオコーディングシステムにおいて、空間スケーラビリティ、時間スケーラビリティ、品質スケーラビリティ、ビット深度スケーラビリティ等を含む様々な種類のスケーラビリティ(scalability)に関する処理を行うために、マルチレイヤ符号化方式が使用される。本願による開示によれば、スケーラブルビデオコーディングシステムにおけるスケーラブルビデオ符号化の効率及び柔軟性を改善するように、様々な1つ以上のリファイニングフィルタ(refining filter)が使用される。様々な実施の形態において、例えばスケーラブルビデオ符号化のレイヤ間予測(inter layer prediction)を可能にするために、ビデオコーデック、ビデオエンコーダ、ビデオプロセッサ、メディアプロセッサ等のうちの1つ以上により、リファイニングフィルタが使用されてよい。
以下、スケーラブルビデオ符号化のレイヤ間予測を行うためのリファイニングフィルタを含むビデオ符号化に関し、システム、装置、製品及び方法を説明する。
上述したように、高効率ビデオ符号化(HEVC)はスケーラブルビデオ符号化(SVC)の拡張を含むように意図されている。HEVC-SVCビットストリームは、様々な空間解像度、様々なフレームレート、様々な品質、様々なビット深度等におけるソースビデオコンテンツを表す複数のサブセットビットストリームを含む。そして、スケーラビリティは、一般的にはベースレイヤと少なくとも1つのエンハンスメントレイヤ(EL)とを含むマルチレイヤ符号化構造を用いて行われ、下位のレイヤの画像(例えば、BL画像)から、或いは同じレベルのレイヤで以前に符号化された画像から、画像又は画像の一部を予測できるようにする。そのような技術は最近のビデオサービス環境における異種のネットワーク及び装置と共に利用される。例えば、SVCビットストリームは複数のサブセットビットストリームを含み、サブセットビットストリームは、様々な解像度、フレームレート、品質、ビット深度等のソースビデオコンテンツをサブストリームが表現するように、それ自身でデコードされてもよい。様々なネットワーク及び装置の環境では、例えば帯域幅や装置の制約等により、様々なビデオ品質が使用されている。
以下において詳細に説明されるように、固定リファイニングフィルタ(fixed refining filter)が、再構築されたリファレンスレイヤビデオデータ(例えば、ベースレイヤ又は下位レベルのエンハンスメントレイヤに関連付けられている画像)に適用され、改善された再構築ビデオデータ(refined reconstructed video data)を生成する。改善された再構築ビデオデータに基づいて、ビデオデータに関連するエンハンスメントレイヤのためのレイヤ間予測が実行される。一実施形態において、固定リファイニングフィルタが適用され、レイヤ間予測がエンコーダで実行され、エンハンスメントレイヤにおけるレイヤ間予測に部分的に基づいて、ビットストリームはエンコードされる。別の例では、固定リファイニングフィルタが適用され、例えば表示装置による出力のためにエンハンスメントレイヤにおけるレイヤ間予測に部分的に基づいて、エンハンスメントレイヤ出力ビデオが生成される。
本願で使用されているように、「コーダ(coder)」という用語は、エンコーダ及び/又はデコーダに関連していてよい。同様に、本願で使用されているように、「コーディング(coding)」という用語は、エンコーダによるビデオエンコーディングを実行すること、及び/又はデコーダによるビデオデコーディングを実行することに関連していてよい。例えば、ビデオエンコーダ及びビデオデコーダは何れもビデオデータをコーディングすることが可能なコーダの一例である。更に、本願で使用されているように、「コーデック(codec)」という用語は、エンコーダ及び/又はデコーダを利用するソフトウェア、ファームウェア及び/又はハードウェアの任意の組み合わせ等のような任意のプロセス、プログラム又は一群の処理に関連していてよい。更に、本願で使用されているように、「ビデオデータ」という用語は、例えばビデオフレーム、画像データ、符号化ビットストリームデータ等のようなビデオコーディングに関する任意のタイプのデータに関連していてよい。
実施の形態は、国際ビデオコーデックコミッティで標準化される可能性のある技術として、スケーラブルビデオコーディング(SVC)の課題に適用される。本願で説明されるように、SVCビットストリームはベースレイヤサブビットストリームと少なくとも1つのエンハンスメントレイヤビットストリームとを含んでよい。一般に、ベースレイヤビットストリームはベースレイヤビデオを再構築するために独立にデコードされてよい。エンハンスメントレイヤフレームは下位レイヤの再構築されたビデオから又は以前のエンハンスメントレイヤフレームにより予測されるので(レイヤ間予測と言及される)、エンハンスメントビットストリームは独立にはデコードできない。本願で更に説明されるように、下位のレイヤベースレイヤ又は下位のレベルのエンハンスメントレイヤであってよい。
従って、エンハンスメントレイヤビットストリームは、エンハンスメントレイヤの出力ビデオを構築するために、下位のレイヤの再構築ビデオと共にエンコード/デコードされてもよい。レイヤ間予測の以前の設計では、エンハンスメントレイヤは、処理された下位レイヤの再構築フレームから直接的に予測される。下位レイヤの再構築に関するそのような処理は、例えば、空間スケーラビリティの場合にはフレームアップサンプリング(frame up-sampling)、ビット深度スケーラビリティの場合にはトーンマッピング(tone mapping)、又は何れの処理も施さずに通過させること等を含む。更に、以前の技法は、スケーラブルビデオコーディングのレイヤ間予測のために(オフセットと共に)アダプティブウィーナーフィルタ(adaptive Wiener filter)を適用している。以下において詳細に説明されるように、本願における実施の形態は、固定リファイニングフィルタを1つ以上適用し、レイヤ間予測の効率を改善する。そのような技法は、例えば、SVCシステムの圧縮のパフォーマンスを改善し、コーデックの処理の複雑さを軽減する。
上述したように、SVCは最近のビデオサービス環境における異種のネットワークや装置に対処するための手段である。SVCビットストリームは、それ自体でデコードできる複数のサブビットストリームを含み、これらのサブビットストリームは、様々な解像度、様々なフレームレート、様々な品質/SNR、様々なビット深度等と共にソースビデオコンテンツを表現する。様々なスケーラビリティを達成するため、マルチレイヤ符号化構造がしばしば使用される。一般に、SVCシステムでは1つのベースレイヤ(BL)及びいくつものエンハンスメントレイヤ(EL)が使用される。
図1は、本願の少なくとも1つの実施の形態に従って形成された、1つのベースレイヤ及び1つのエンハンスメントレイヤと共にSVCエンコーダ102の一例を示す。図示されているように、エンコーダ102は1つのベースレイヤであるベース0(ベースレイヤ)104と1つのエンハンスメントレイヤであるレイヤ1(エンハンスメントレイヤ)106とを含む。ベースレイヤ画像は、ベースレイヤビデオを構築/再構築するために独立にエンコード/デコードされる。エンハンスメントレイヤ画像がエンコード/デコードされる場合に、下位のレイヤ画像から予測されてもよいし、或いは同じレイヤの以前にエンコード/デコードされた画像から予測されてもよい。従って、レイヤIDがNに等しいエンハンスメントレイヤをコーディングする場合に、N未満のレイヤIDの全てのレイヤが利用可能であるべきことが保証されている。例えば、エンハンスメントレイヤ106をコーディングする場合、ベースレイヤ104は利用可能であることが保証されている。
図示されているように、エンハンスメントレイヤ106はエンハンスメントレイヤ入力フレーム112を受信し、ベースレイヤ104はベースレイヤ入力フレーム114を受信する。更に、図示されているように、ベースレイヤ入力フレーム114は、例えば空間的にデシメートされることにより或いはビット深度削減等により、何らかの方法でエンハンスメントレイヤフレーム112に関連するスケーラビリティを有する。一般に、エンハンスメントレイヤ入力フレーム112とベースレイヤ入力フレーム114との間の(関連付けに使用される)スケーラビリティは、空間スケーラビリティ、品質/SNRスケーラビリティ、ビット深度スケーラビリティ又はその他のスケーラビリティであってよい。
上述したように、ベースレイヤ入力フレーム114は、イントラ予測(intra prediction)、インター予測(inter prediction)及び/又はインターレイヤ予測を利用するHEVC/AVC対応のコーディング技術によりベースレイヤ104でエンコードされてもよい。更に、ベースレイヤ104は、変換(トランスフォーム)、量子化、インループフィルタリング、エントロコーディング、及び/又はSNRスケーラブルコーディング技術を利用して出力ビットストリームを生成する。同様に、エンハンスメントレイヤ入力フレーム112はエンハンスメントレイヤ106を介して処理され、出力ビットストリームを生成する。ベースレイヤ104及びエンハンスメントレイヤ106からの出力ビットストリームはマルチプレクサ130により多重化され、スケーラブルビットストリーム140を生成する。
図示されているように、ベースレイヤ104は、エンハンスメントレイヤコーディングに使用されるベースレイヤ情報122を、エンハンスメントレイヤ入力フレーム112のコーディングを行うエンハンスメントレイヤ106に転送する。以下において詳細に説明するように、エンハンスメントレイヤコーディングに使用されるベースレイヤ情報122は、1つ以上の固定リファイニングフィルタをベースレイヤ104により生成された再構築ビデオデータに適用することで(固定リファイニングにより)、リファインされた再構築ビデオデータを含む又は含むように処理される。
図2は、本願により開示される少なくとも1つの実施の形態による、スケーラブルビデオコーディング(SVC)システム200の一例を示す。一般に、システム200はスケーラブルビデオコーディングを実行するためにコンピュータが実行する処理方法を提供する。様々な実施の形態において、システム200は、1つ以上の標準規格又は標準仕様に従ってビデオ圧縮及び解凍を実行してビデオコーデックを実行し、1つ以上の標準規格又は標準仕様は、例えば、HEVC(High Efficiency Video Coding)スタンダード(例えば、非特許文献1)及びその任意のスケーラブルビデオコーディング(SVC)エクステンションである。システム200及び/又はその他のシステム、方式又はプロセスはHEVC標準規格のSVCエクステンションに関連して説明されているが、本願の開示内容は如何なる特定のビデオエンコーディング標準規格又は標準仕様又はそれらのエクステンションにも限定されない。
図示されているように、システム200は複数のビデオエンコーダを含むエンコーダサブシステム201を含み、複数のビデオエンコーダはレイヤ0又はベースレイヤ(BL)エンコーダ202と、レイヤ1又は第1エンハンスメントレイヤ(EL)エンコーダ204と、レイヤ2又は第2ELエンコーダ206とを含む。システム200はデコーダサブシステム203の対応するビデオデコーダも含み、レイヤ0(BL)デコーダ208と、レイヤ1(EL)デコーダ210と、レイヤ2(EL)デコーダ212とを含む。一般に、BLはHEVC対応の形式でコーディングされている。上述したように、レイヤ識別情報(ID)がNに等しいELをコーディングする場合に、レイヤ間予測方式で利用するために、N未満のレイヤIDの全てのコーディングレイヤを提供し、特定のELに属する画像が下位のレイヤ画像(例えば、BL又は1つ以上の下位レイヤのEL)から又は同じレイヤで以前にコーディングされた画像から予測される。
本願の開示によれば、以下において詳細に説明されるように、ELエンコーダ204、206の双方又は一方が、レイヤ間予測モジュール232及び/又はレイヤ間予測モジュール234のうちの1つ以上により生成されたリファインされた再構築ビデオデータを利用して、レイヤ間予測を実行する。例えば、一実施形態において、エンコーダ204は、レイヤ間予測モジュール232から取得されたリファインされた再構築ビデオデータ242を少なくとも部分的に利用してレイヤ間予測を実行する。更に、一実施形態において、エンコーダ206は、レイヤ間予測モジュール232及び/又はレイヤ間予測モジュール234それぞれから取得されたリファインされた再構築ビデオデータ242及び/又は再構築ビデオデータ244を少なくとも部分的に利用してレイヤ間予測を実行する。以下において更に説明するように、レイヤ間予測モジュール232は、下位レイヤ処理モジュール及びリファイニングフィルタリングモジュールを含み、再構築されたベースレイヤビデオデータ252に少なくとも部分的に基づいて、再構築されたビデオデータ242を生成する。更に、レイヤ間予測モジュール234は、下位レイヤ処理モジュール及びリファイニングフィルタリングモジュールを含み、再構築されたベースレイヤビデオデータ252及び/又は再構築されたベースレイヤビデオデータ254に少なくとも部分的に基づいて、再構築されたビデオデータ244を生成する。
上述したように、ELは再構築されたリファレンスレイヤビデオデータを利用してレイヤ間予測を実行する。上述したように、再構築されたリファレンスレイヤビデオデータはBL又は下位レベルのEL(又は双方)からELで受信される。本願で使用されるように、「リファレンスレイヤ」(RL)という用語は、再構築されたリファレンスレイヤビデオデータを受信及び使用してレイヤ間予測を実行するELに、再構築されたリファレンスレイヤビデオデータを提供するEL又はBLに関連する。一般に、再構築されたリファレンスレイヤビデオデータを受信及び使用してレイヤ間予測を実行するELは、「ターゲットEL」又は単にELと考えられてよい場合がある。
エンコーダ202、204、206のうちの任意の1つ以上を利用して、エンコーダサブシステム201は個別的なビットストリームをエントロピエンコーダ224に提供する。そして、エントロピエンコーダ224は、複数のレイヤのスケーラブルビデオコンテンツを含む圧縮されたビットストリーム216を、デコーダサブシステム203のエントロピデコーダ228に提供する。本願の開示によれば、以下において詳細に説明されるように、ELデコーダ210、212の双方又は一方が、レイヤ間予測モジュール262又はレイヤ間予測モジュール264からそれぞれ取得したリファインされた再構築ビデオデータ272又はリファインされた再構築ビデオデータ274を利用して、ビデオデータをデコードする際にレイヤ間予測を実行する。例えば、一実施形態において、デコーダ210はレイヤ間予測モジュール262から受信したリファインされた再構築ビデオデータ272を利用してレイヤ間予測を実行する。更に、一実施形態において、デコーダ212は、レイヤ間予測モジュール262及び/又はレイヤ間予測モジュール264のうち双方又は一方から取得したリファインされた再構築ビデオデータ272及び/又はリファインされた再構築ビデオデータ274をそれぞれ利用して、レイヤ間予測を実行する。
図2においては、システム200が、スケーラブルビデオコンテンツの3つのレイヤを利用し、サブシステム201における3つのエンコーダ(及び2つのレイヤ間予測モジュール)とサブシステム203における3つのデコーダ(及び2つのレイヤ間予測モジュール)とが対応する組をなすように示されているが、任意の数のスケーラブルビデオコーディングのレイヤ、対応するエンコーダ、デコーダ及びレイヤ間予測モジュールが本願の開示に関して使用されてよい。更に本願による開示は図2に示す特定のコンポーネントに限定されず及び/又はシステム200の様々なコンポーネントの配置方法にも限定されない。
更に、エンコーダサブシステム201は、例えばビデオコンテンツサーバシステムを含むコンテンツプロバイダシステムに関連付けられ及び/又はコンテンツプロバイダにより提供されてよいこと、及びビットストリーム226は、トランシーバ、アンテナ、ネットワークシステム等の図2には示されていない様々な通信コンポーネント及び/又はシステムを介してデコーダサブシステム203まで送信又は搬送されてよいことが、認められるであろう。デコーダサブシステム203はコンピュータ装置(例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、移動電話、モバイルフォン等)のようなクライアントシステムに関連し、トランシーバ、アンテナ、ネットワークシステム等の図2には示されていない様々な通信コンポーネント及び/又はシステムを介してビットストリーム226を受信することも認められるであろう。従って様々な実施の形態においてエンコーダサブシステム201及びデコーダサブシステム203は一緒に又は別々に実施されてもよい。更に、本願で説明されるシステム、装置及び方法は画像に関するレイヤ間予測を実行しているが、本願による開示はこれに限定されず、レイヤ間予測は、例えば、シーケンス、レイヤ、画像、スライス又はビデオデータのブロックなどを含むビデオデータ画像の任意の部分について実行されてよい。
図3及び図4は、本願の開示による少なくとも或る実施の形態に従った、SVCコーデック又はコーディングシステムの一例を示す。例えば、図3はSVCエンコーディングシステム例300を示し、図4はSVCデコーディングシステム例400を示す。
図3に示されているように、システム300はベースレイヤエンコーダ302及びエンハンスメントレイヤエンコーダ304を含み、これらはシステム200のエンコーダ202及びエンコーダ204にそれぞれ対応していてもよい。システム300は例えばベースレイヤエンコーダ及びエンハンスメントレイヤエンコーダのような2つのSVCコーディングレイヤに対応する2つのエンコーダ302、304しか含んでいないが、任意の数のSVCコーディングレイヤ及び対応するエンコーダが本願の開示に従って図3に示す構成に加えて使用されてよい。例えば、追加的なエンハンスメントレイヤに対応する追加的なエンコーダは、システム300に含まれていてもよく、後述のエンコーダ304に関する説明と同様にエンコーダ302とやり取りを行う。例えば、図示の簡明化の観点から、べースレイヤエンコーダ302及びエンハンスメントレイヤエンコーダ304に関する説明がなされているが、システム300は本願で説明されるように、リファレンスレイヤ及びエンハンスメントレイヤに関連する任意のリファレンスレイヤエンコーダ及びエンハンスメントレイヤエンコーダを含んでよい。一般に、リファレンスレイヤエンコーダは、ベースレイヤ(図示せず)に関するエンコーダであってもよいし、或いはエンハンスメントレイヤエンコーダ304に関するエンハンスメントレイヤより下位レベルの任意のエンハンスメントレイヤに関するエンコーダであってもよい。
図示されているように、ベースレイヤエンコーダ302はベースレイヤ入力ビデオ308を受信し、エンハンスメントレイヤエンコーダ304はエンハンスメントレイヤ入力ビデオ306を受信する。一般に、ベースレイヤ入力ビデオ308はビデオデータ350のベースレイヤに関連し、エンハンスメントレイヤ入力ビデオ306はビデオデータ350のエンハンスメントレイヤ(例えば、ターゲットのエンハンスメントレイヤ)に関連する。別の例の場合、本願に示されているように、ビデオデータ350はリファレンスレイヤ(例えば、下位レベルのエンハンスメントレイヤ)とエンハンスメントレイヤ(例えば、ターゲットのエンハンスメントレイヤ)とを含んでいてもよい。更に、本願で説明されるように、ベースレイヤ入力ビデオ308はエンハンスメントレイヤ入力ビデオ306に関するスケーラビリティを有し、例えば、ベースレイヤは、空間により、品質により、ビット深度削減等により、何らかの観点からデシメートされている。
図示されているように、システム300は、リファイニングフィルタリングモジュール(refining filtering module)362と選択的な下位レイヤ処理モジュール364とを有するレイヤ間予測モジュール360を含む。一般に、レイヤ間予測モジュール360は、例えば、システム300の個別的なモジュールとして(図示せず)、エンハンスメントレイヤエンコーダ304の一部分として、ベースレイヤエンコーダ302の一部分として等の形態で実現されてもよい。以下において詳細に説明されるように、下位レイヤ処理モジュール364は、再構築されたベースレイヤビデオデータ315に、下位レイヤ処理を施す。様々な具体例に関し、下位レイヤ処理は、空間スケーラビリティの場合にはアップサンプリング、又はビット深度スケーラビリティの場合にはトーンマッピング等を含んでよい。本願で説明されているように、一例として、何らの下位レイヤ処理も適用されなくてよい場合がある。リファイニングフィルタリングモジュール362は、(下位レイヤ処理を伴っても伴わなくてもよいが)再構築されたベースレイヤビデオデータ315に固定リファイニングフィルタ(fixed refining filter)を適用し、リファインされた再構築ビデオデータ365を生成する。エンハンスメントレイヤエンコーダ304は、リファインされた再構築ビデオデータ365に少なくとも部分的に基づいてレイヤ間予測を実行し、以下において詳細に説明されるように、システム300はエンハンスメントレイヤエンコーダ304においてレイヤ間予測に少なくとも部分的に基づいてビットストリーム342をエンコードしてもよい。
システム300を用いてSVCコーディングを行う場合に、エンハンスメントレイヤ入力ビデオ306の少なくともいくつかのブロックは、ベースレイヤエンコーダ302により処理されたベースレイヤ入力ビデオ308のうちの1つ以上の画像から、或いはエンハンスメントレイヤエンコーダ304により以前にエンコードされた同じエンハンスメントレイヤにおける他のビデオデータ(例えば、画像)から、エンハンスメントレイヤエンコーダ304により予測される。以下において詳細に説明されるように、システム300を用いてレイヤ間予測処理を行う場合に、エンハンスメントレイヤ入力フレーム306のうちの1つ以上の画像は、レイヤ間予測モジュール360(特に、リファイニングフィルタリングモジュール362)におり提供されるリファインされたビデオデータ365の画像の少なくとも一部を用いて、レイヤ間予測の処理に委ねられる。画像レベルに関して(すなわち、画像を単位として)説明されているが、リファインされた再構築ビデオを用いて本願で説明されるエンハンスメントレイヤのレイヤ間予測を実行する処理は、例えば、シーケンス、レイヤ、画像、スライス又はブロック等のレベル(単位)に適用されてもよい。
一般に、再構築されるベースレイヤデータ315は、コーディングループを用いてベースレイヤ入力ビデオ308の処理に基づいて決定され、コーディングループは、変換及び量子化モジュール312、逆量子化及び逆変換モジュール314、インループフィルタリングモジュール316、インター予測モジュール320、イントラ予測モジュール322、及び/又はモード判定モジュール326等を含む。図3に示されているように、再構築されたベースレイヤビデオデータ315は、インループフィルタリングモジュール316から取得されてもよい。モジュール312、314、316、320、324、326の機能は当該技術分野で知られており、本願において更には説明しない。
本願で説明されるように、エンハンスメントレイヤエンコーダ304において、リファインされたビデオデータ365はモード判定モジュール339において受信され、例えば、コーディングループを用いてエンハンスメントレイヤ入力フレーム306のブロック、ブロックに類するもの又は画像に関するレイヤ間予測を実行するために少なくとも部分的に使用され、コーディングループは、変換及び量子化モジュール328、逆量子化及び逆変換モジュール330、インループフィルタリングモジュール332、イントラ予測モジュール338、インター予測モジュール335、及び/又はモード判定モジュール339等を含んでもよい。モジュール328、330、332、338、335の機能は当該技術分野で知られており、本願において更には説明しない。本願で説明されるように、モード判定モジュール339は本願で説明されるようにイントラ予測モジュール338、インター予測モジュール335、及びリファインされた再構築ビデオデータ365の間でモード判定を実行するように形成されている。本願で説明されているように、本願の開示によれば、エンハンスメントレイヤエンコーダ304は、リファインされた再構築ビデオデータ365を利用して、エンハンスメントレイヤ入力ビデオ306の画像又はブロック等に関するレイヤ間予測を実行する。例えば、エンハンスメントレイヤエンコーダ304は、エンハンスメントレイヤ入力ビデオ306を利用して、エンハンスメントレイヤ入力ビデオ306の画像又はブロック等に関するレイヤ間予測を実行する。理解されるように、エンハンスメントレイヤ入力ビデオ306の任意の数のフレーム又は他の入力データのうちの任意の数のブロック又は画像等について、レイヤ間補償が実行されてもよい。
様々な実施の形態において、ベースレイヤエンコーダ302及びエンハンスメントレイヤエンコーダ304の双方又は一方は、ベースレイヤ入力ビデオ308の少なくとも一部及びエンハンスメントレイヤ入力ビデオ306の少なくとも一部のコーディングされた残留部分又は残差(coded residual)に対応する圧縮係数を、エントロピエンコーダモジュール340にそれぞれ提供する。エントロピエンコーダモジュール340は、(例えば、文脈依存型バイナリ演算コーディング(Context-adaptive binary arithmetic coding：CABAC)により)残差のロスレス圧縮を実行し、エンコードされた残差を含む多重化されたSVCビットストリーム342をシステム300からの出力として提供する。更に、本願において詳細に説明されるように、ビットストリーム342は、本願で説明されるような固定リファイニングフィルタリングを適用するか否かを示すフラグのようなインジケータを含んでもよい。本願で詳細に説明されるように、そのようなインジケータの値に応じて、デコーディングシステムは本願で説明されるようなレイヤ間予測モジュールから受信したリファインされた再構築ビデオデータを利用してレイヤ間予測を実行する又は実行しない。更に本願で詳細に説明されるように、ビットストリーム342は、複数の固定リファイニングフィルタのうち何れの固定リファイニングフィルタを適用するかを示す固定リファイニングフィルタインジケータを含んでもよい。そのような固定リファイニングフィルタインジケータの値に応じて、デコーディングシステムは複数の固定リファイニングフィルタのうちの或る固定リファイニングフィルタを適用してもよい。
図4を参照すると、システム400はベースレイヤデコーダ402及びターゲットエンハンスメントレイヤデコーダ404を含み、これらは例えばシステム200のデコーダ208及びデコーダ210にそれぞれ対応している。システム400は2つのSVCコーディングレイヤに対応する2つのデコーダ402、404しか含んでいないが、任意の数のSVCコーディングレイヤ及び対応するデコーダが図4に示す構成に加えて本願の開示に従って使用されてよい。例えば、追加的なエンハンスメントレイヤに対応する追加的なデコーダが、システム400に含まれてよく、エンハンスメントレイヤデコーダ404に関してなされる説明と同様にベースレイヤデコーダ402とやり取りを行う。例えば、説明の簡明化のため、ベースレイヤデコーダ402及びエンハンスメントレイヤデコーダ404に関して説明されているが、システム400は本願で説明されるようにリファレンスレイヤ及びエンハンスメントレイヤに関する任意のリファレンスレイヤデコーダ及びエンハンスメントレイヤデコーダを含んでもよい。一般に、リファレンスレイヤデコーダはベースレイヤ(図示せず)に関するデコーダであってもよいし、或いはエンハンスメントデコーダ404に関するエンハンスメントレイヤより下位のレベルの任意のエンハンスメントレイヤに関するデコーダであってもよい。
システム400を用いてSVCを実行する場合に、エンハンスメントレイヤ出力ビデオ406(例えば、エンハンスメントレイヤ出力フレーム)における様々な画像又はブロック等は、ベースレイヤデコーダ402により処理されたベースレイヤ出力ビデオデータ408(例えば、ベースレイヤ出力フレーム)の画像又はブロック等から、又はエンハンスメントレイヤデコーダ404により同じエンハンスメントレイヤで以前にデコードされた他の画像又はブロック等から、エンハンスメントレイヤデコーダ404によりレイヤ間予測に委ねられてもよい。本願で詳細に説明されるように、エンハンスメントレイヤ出力フレーム406のブロックに関するそのようなレイヤ間予測は、レイヤ間予測モジュール460により提供されるリファインされた再構築ビデオデータ465を利用してもよい。レイヤ間予測モジュール460は、リファイニングフィルタリングモジュール462及び選択的な下位レイヤ処理モジュール464を含んでもよい。一般に、レイヤ間予測モジュール460は、システム400の個別的なモジュールとして(図示せず)、エンハンスメントレイヤデコーダ404の一部分として、ベースレイヤデコーダ402の一部分として等の形態で実施されてもよい。下位レイヤ処理モジュール464は、再構築されたベースレイヤビデオデータ415に、下位レイヤ処理を適用してもよい。様々な例において、下位レイヤ処理は、空間スケーラビリティの場合にはアップサンプリング、ビット深度スケーラビリティの場合にはトーンマッピング等を含んでもよい。本願説明されるように、一例として、何らの下位レイヤ処理も適用されなくてよい場合がある。リファイニングフィルタリングモジュール462は、(下位レイヤ処理を伴っても伴わなくてもよいが)再構築されたベースレイヤビデオデータ415に固定リファイニングフィルタを適用し、リファインされた再構築ビデオデータ465を生成する。
本願で説明されるように、システム400はエンコードされたビットストリーム401を受信及びデコードするエントロピデコーダ440を含み、ベースレイヤデコーダ402にベースレイヤビデオデータ442を提供し、エンハンスメントレイヤデコーダ404にエンハンスメントレイヤビデオデータ444を提供する。本願で説明されるように、ベースレイヤデコーダ402は、逆量子化及び逆変換モジュール414、イントラ予測モジュール412、インター予測モジュール416、インループフィルタリングモジュール418、及び/又はモード判定モジュール427を含む。図4に示されているように、再構築されたベースレイヤビデオデータ415は、インループフィルタリングモジュール418から取得されてもよい。モジュール412、414、416、418、426の機能は当該技術分野で知られており、本願において更には説明しない。
本願で説明されるように、リファインされた再構築ビデオデータ465は、エンハンスメントレイヤデコーダ404のシンタックス指定モジュール(syntax specification module)428に提供される。円は素面トレイやデコーダ404は、逆量子化及び逆変換モジュール422、イントラ予測モジュール420、インター予測モジュール424、インループフィルタリングモジュール426を含む。レイヤ間予測を実行するように動作する場合、エンハンスメントレイヤデコーダ404は、リファインされた再構築ビデオデータ465を利用して、エンハンスメントレイヤ出力ビデオ406(例えば、エンハンスメントレイヤ出力フレーム)の様々なブロックに関する画素データを再構築する。更に、エンハンスメントレイヤデコーダ404は、ビットストリーム401により提供されるインジケータの値に基づく処理を行い、ビットストリーム401は図2のビットストリーム226や、図3のビットストリーム342に対応していてもよい。例えば、ビットストリーム401は、本願で説明されるような固定リファイニングフィルタリングを適用するか否かを示すフラグのようなインジケータを含んでもよい。本願で詳細に説明されるように、そのようなインジケータの値に応じて、デコーディングシステムは本願で説明されるようなレイヤ間予測モジュールから受信したリファインされた再構築ビデオデータを利用してレイヤ間予測を実行する又は実行しない。更に、ビットストリーム401は、複数の固定リファイニングフィルタのうち何れの固定リファイニングフィルタを適用するかを示す固定リファイニングフィルタインジケータを含んでもよい。そのような固定リファイニングフィルタインジケータの値に応じて、システム400は、(例えば、レイヤ間予測モジュール460及び/又はリファイニングフィルタリングモジュール462により)複数の固定リファイニングフィルタのうちの或る固定リファイニングフィルタを適用してもよい。一例として、固定リファイニングフィルタは後述するように係数及びオフセットを適用してもよい。適用される係数及び/又はオフセットは、固定されたリファイニングフィルタに特化しており、何れの固定リファイニングフィルタを適用するかを選択することで、適用される係数及び/又はオフセットを指定する。
本願で説明されるように、レイヤ間予測モジュールは(例えば、リファイニングフィルタリングモジュールにより)、再構築されたリファレンスレイヤビデオデータに、固定リファイニングフィルタを適用し、リファインされた再構築ビデオデータを生成する。リファインされた再構築ビデオデータは、(例えば、エンハンスメントレイヤエンコーダ又はデコーダにより)ビデオデータに関するエンハンスメントレイヤのレイヤ間予測を実行するために使用される。本願で説明されるように、ベースレイヤ及びエンハンスメントレイヤのビデオデータは、空間スケーラビリティ、品質/SNRスケーラビリティ、ビット深度スケーラビリティ又は他のスケーラビリティ等による相対的なスケーラビリティに起因して相違していてもよい。更に、下位レイヤ処理は、固定リファイニングフィルタを適用する前に、再構築されたリファレンスレイヤビデオデータに適用されてもよい。一般に、下位レイヤ処理の内容はスケーラビリティに依存していてもよい。例えば、空間スケーラビリティの場合にはアップサンプリングが適用され、ビット深度スケーラビリティの場合にはトーンマッピングが適用され、一例として、再構築されたリファレンスレイヤのビデオデータを、何も処理を施すことなく通過させてもよい。一般に、適用される固定リファイニングフィルタは、レイヤ間予測の精度を向上させるように、処理された下位レイヤの再構築画像に適用されてもよい。ELコーディングの圧縮効率は、改善されたレイヤ間予測を用いることで増進される。
一例として、固定リファイニングフィルタを適用する処理は、1つの固定リファイニングフィルタを使用することを含んでよい。別の例において、固定リファイニングフィルタを適用する処理は、複数の固定リファイニングフィルタを使用することを含んでよい。一例として、一群の固定フィルタがレイヤ間予測をリファイン又は改善するために使用されてもよい。図5は、本願の開示による少なくとも1つの形態に従って形成された固定リファイニングフィルタリングの一例を示す。図5は本願の開示による少なくとも1つの形態に従ってなされるリファイニングフィルタリング処理も示している。図示されているように、再構築されたリファレンスレイヤのビデオデータ572は、リファインニングフィルタリングモジュール570で受信される。一般に、リファイニングフィルタリングモジュール570はリファイニングフィルタリングモジュール362又はリファイニングフィルタリングモジュール462等に対応してもよく、一般にリファイニングフィルタリングモジュール570は本願で説明されるようにエンコーダ又はデコーダにおいて使用されてもよい。本願で説明されるように、再構築されたリファレンスレイヤビデオデータ572は、下位レイヤ処理モジュールにより(例えば、モジュール364、464等により)事前に処理されていてもよいし、或いは何らの予備的な処理もなされていなくてもよい。予備的な処理がなされる例の場合、再構築されたリファレンスレイヤのビデオデータ572は、処理された下位レイヤの再構築された予備フィルタリング画像又はブロック等と考えられてもよい。図示されているように、再構築されたリファレンスレイヤビデオデータ572は1つ以上の固定フィルタ574によりフィルタリングされ、1つ以上のリファインされた画像578を生成する。
本願で説明されるように、一例として、単独の固定フィルタ574を利用して1つのリファインされた画像578を生成してもよい。そのような例の場合、最良リファイン処理決定部576は省略され、単独のリファインされた画像578が、リファインされたビデオデータ580として転送される。
複数の固定フィルタ574が使用される例の場合に、ただ1つのリファインされた画像が生成されてもよい。例えば、複数の固定フィルタのうち1つの固定フィルタが選択され、選択された固定フィルタのみがリファインされた画像を生成し、リファインされた再構築ビデオデータ580(リファインされた再構築ビデオデータ365、465等に対応してもよい)として転送されてもよい。例えば、デコーダにおいて使用される場合、本願で説明されるように、受信されたビットストリームは、複数の固定リファイニングフィルタのうち何れの固定リファイニングフィルタを適用するかを示す固定リファイニングフィルタインジケータを含んでいてもよい。他の実施の形態では(エンコーダ又はデコーダにおいて)、最良リファイン処理決定部576が、複数の固定フィルタのうち使用する1つの固定フィルタを決定するために使用される。例えば、最良リファイン処理決定部576は、再構築されたリファレンスレイヤビデオデータ572を受信及び評価し、何れの固定フィルタを適用するかを決定する。再構築されたリファレンスレイヤのビデオデータ572の評価は、ローカルな適応的な方法、再構築されたリファレンスレイヤのビデオデータ572のローカルなエッジ情報(local edge information)を評価する処理、再構築されたリファレンスレイヤのビデオデータ572の勾配の大きさ(gradient strength)を評価する処理、又は再構築されたリファレンスレイヤのビデオデータ572のローカルな分散(variance)を評価する処理等に少なくとも部分的に基づいていてもよい。一般に、上記のエッジ情報、勾配の大きさ、ローカルな分散又は他の判断基準値は、再構築されたリファレンスレイヤのビデオデータ572の評価において別々に使用されてもよい。そのような技法の具体例については後述する。
別の例において、複数の固定フィルタ574の各々がリファインされた画像578の関連するリファイン画像を生成し、最良リファイン処理決定部576が、リファイン画像578を評価し、選択されるリファイン画像を決定し、それがリファインされた再構築ビデオデータ580として転送される。この決定は、リファイン画像578と再構築されたリファレンスレイヤのビデオデータ572の画像との比較等のような、リファイン画像578の適切な如何なる組み合わせに基づいていてもよい。画像レベルの例(画像を単位とする例)を説明しているが、本願で説明されるように、リファイニングフィルタリングモジュール570及び本願で説明される他のモジュールは、画像、スライス、ブロック等を単位とする任意のレベルで処理を行ってもよい。
一般に、固定フィルタ574は、本願で説明されているように、再構築されたリファレンスレイヤビデオデータから、リファインされた再構築ビデオデータを生成する適切な如何なる固定フィルタを含んでいてもよい。例えば、(x,y)の位置におけるフィルタリング前の画像の画素値をP(x,y)とすると(例えば、これは再構築されたリファレンスレイヤのビデオデータ572に関連する)、リファイニングフィルタリング(例えば、複数の固定フィルタ574のうちの或る固定フィルタ)は、以下の数式(1)に示すようにしてP(x,y)について実行する。
Figure 2014140163
 ここで、Ci及びOiはi番目の固定フィルタのフィルタ係数及びオフセット値を示し、M0、M1、N0、N1はフィルタウィンドウを規定するパラメータであり、P’はリファインされた画像(例えば、リファインされた再構築ビデオデータ)を表現する。一般に、M0、M1、N0、N1に関する様々な設定により、フィルタは、対称的、非対称的、1次元的又は2次元的に形成される。本願で説明されるように、そのような処理の後に、最良リファイン処理決定部576は最適なリファインされた結果(例えば、リファインされた画像578のうち最適な結果をもたらすもの)を決定してもよい。従って、この例の場合、固定リファイニングフィルタを適用する処理は、(数式(1)に示されているように)再構築されたリファレンスレイヤのビデオデータ(例えば、画素のデータ)とフィルタ係数との内積(又は点乗積又はスカラ積)を計算し、オフセット値を加えることを含む。一例として、固定リファイニングフィルタを適用する処理は、再構築されたリファレンスレイヤのビデオデータのフィルタウィンドウに、固定リファイニングフィルタを適用することを含んでもよい。他の例において、固定リファイニングフィルタを適用する処理は、再構築されたリファレンスレイヤのビデオデータの全体に、固定リファイニングフィルタを適用することを含んでもよい。
上述したように図5は固定リファイニングフィルタの例を示す。一般に、固定リファイニングフィルタは各自の特性を有していてもよい。例えば、本願で説明されるように、(1つしか使用されない場合の)固定リファイニングフィルタ又は複数の固定フィルタのうちの1つ以上は、対称的な固定リファイニングフィルタ、非対称な固定リファイニングフィルタ、一次元的な固定リファイニングフィルタ、分散した二次元的な固定リファイニングフィルタ、又は分散していない二次元的な固定リファイニングフィルタを含んでいてもよい。更に、様々な例において、(1つしか使用されない場合の)固定リファイニングフィルタ又は複数の固定フィルタのうちの1つ以上は、空間平滑化フィルタ(spatial smoothing filter)、空間先鋭化フィルタ(spatial sharpening filter)、特定ヒストグラムバンド強調フィルタ(particular histogram band enhancement filter)、特定ヒストグラムバンドパスフィルタ、低周波強調フィルタ、高周波強調フィルタ、特定周波数バンド強調フィルタ、ハイパス周波数フィルタ、バンドパス周波数フィルタ、ローパス周波数フィルタ又はその他のフィルタであってもよい。
一例として、ローパスフィルタは、再構築された入力画像よりも滑らかな(平滑化された)リファイン画像を提供してもよい。(数式(1)に関する)ローパスフィルタの係数及びオフセットの一例を数式(2)に示す。
Figure 2014140163
 (数式(1)に関する)ローパスフィルタの係数及びオフセットの別の例を数式(3)に示す。
Figure 2014140163
 一例として、高周波強調フィルタは、再構築された入力画像よりも先鋭化されたリファイン画像を提供してもよい。(数式(1)に関する)高周波強調フィルタの係数及びオフセットの一例を数式(4)に示す。
Figure 2014140163
 一般に、任意の数の固定フィルタが任意の組み合わせで使用されてよい。実施の形態において、(例えば、リファイニングを行うために使用される)2つの固定フィルタが使用され、一方の固定フィルタは予測画像を平滑化するローパスフィルタであり、他方のフィルタは予測画像を鋭くする(シャープにする)高周波強調フィルタであってもよい。例えば、ローパスフィルタは数式(2)又は(3)の係数及びオフセットを利用してもよく、高周波強調フィルタは数式(4)の係数及びオフセットを利用してもよい。
一例として、単独の固定フィルタが使用され(この場合、最良リファイン処理決定部576は使用されなくてよい)、単独の固定フィルタはローパスフィルタを含んでいてもよい。例えば、数式(2)又は(3)の係数及びオフセットを利用する単独の固定フィルタが使用されてもよい。一例として、固定フィルタのオフセット値をゼロに設定してもよい。一例として、固定フィルタはゼロに設定された強調フィルタ係数値と共に使用されてもよい。
更に詳細に説明するように、一実施形態において、固定リファイニングフィルタがレイヤ間予測に適用される場合、固定リファイニングフィルタがオンであるかオフであるかの判断がなされてもよい(例えば、固定リファイニングフィルタリングが実行されるべきか否かの判断がなされてもよい)。更に、複数の固定フィルタ(例えば、リファイニングフィルタ)が使用又は利用される場合、何れのフィルタが使用されるか(例えば、最適な固定フィルタ)が判定されてもよい。そのような判定又は判断は様々なレベルでなされてよい。例えば、固定フィルタは、シーケンス、レイヤ、画像、スライス又はブロックのレベル(単位)でオン又はオフにされてもよい。更に、リファイニングを行う際に何れのフィルタが使用されるかは、シーケンス、レイヤ、画像、スライス又はブロックのレベルで切り替えられてもよい。例えば、そのような判断は、エンコーダがリファイニングフィルタのオン/オフを判断して最適なフィルタを決定するように、エンコーダによりなされ、判断結果を示すフラグをデコーダに送信してもよい。
一例として、(使用される複数のフィルタのうち)何れのフィルタを適用するかの判断は、ローカルな適応的な方法(local adaptive method)でなされてもよい。一実施形態において、再構築されたリファレンスレイヤのビデオデータ572(例えば、フィルタリング前の画像)のローカルな特徴が、固定フィルタ(例えば、リファイニングフィルタ)の使い方を決定するために評価又は分析されてもよい。例えば、ローカルエッジ情報、勾配の大きさ、ローカルな分散、又は再構築されたリファレンスレイヤのビデオデータ572に関する他の判断基準値が、判断を行う際に使用されてもよい。例えば、エンコーダ及びデコーダの双方が同じ(又は類似する)処理を実行し、同じ又は実質的に同じ判断を行ってもよい。そのような例の場合、エンコードされたビットストリームに、追加的なフラグは不要である。
上述したように、ローカルエッジ情報、勾配の大きさ、ローカルな分散、再構築されたリファレンスレイヤのビデオデータ572に関する他の判断基準値は、何れのフィルタを適用するかを判断する際に使用されてよい。例えば、ローパスフィルタ及びハイパスフィルタが使用される場合、何れのフィルタが最適であるかを指定するために、可変の最適フィルタインデックスが使用されてもよい。以下の例では、0である最適フィルタインデックスはローパスフィルタが最適であることを示し、1である最適フィルタインデックスはハイパスフィルタが最適であることを示す。サイズがN×NであるブロックBを仮定した場合、最適フィルタの判断は、次の数式(5)に示すようにしてなされてもよい。
Figure 2014140163
 ここで、THは閾値(所定の閾値又は経験的に決定される閾値等)であり、func(・)はブロックの判断基準値である。
本願で説明されるように、様々な例において、ローカルエッジ情報、勾配の大きさ、ローカルな分散、又は再構築されたリファレンスレイヤのビデオデータ572に関する他の判断基準値が使用されてよい。ローカルエッジ情報が使用される例の場合、func(・)は現在のブロックのローカルエッジ情報に関する値を示し、以下の数式(6)、(7)、(8)に示されるようにして決定される。
Figure 2014140163
 ここで、i及びjはカウンタ変数であり、Bはブロックに関連する値であり、Gはローカルエッジ情報に関連している。
勾配の強度が使用される場合、func(・)は現在のブロックの勾配の強度に関する値を示し、以下の数式(9)に示されるようにして決定される。
Figure 2014140163
 ここで、i及びjはカウンタ変数であり、Bはブロックに関連する値である。
ローカルな分散が使用される場合、func(・)は現在のブロックのローカルな分散に関する値を示し、以下の数式(10)、(11)に示されるようにして決定される。
Figure 2014140163
 ここで、i及びjはカウンタ変数であり、Bはブロックに関連する値である。
ブロックのレベル(単位)に関して説明されているが、数式(5)ないし(11)に関する上記の手法は、例えば、がぞう、スライス、ブロック等の任意のレベル(単位)で使用されてよい。更に、2つのフィルタが適用される例が示されているが、説明された手法は任意の数のフィルタに拡張されてよい。
図6は、本願により開示される少なくとも幾つかの実施の形態によりなされるプロセス600の一例をフローチャートで示している。プロセス600は図6に示す1つ以上のブロック602、604、606及び/又は608により示されている1つ以上の処理、機能又は動作を含んでよい。プロセス600はスケーラブルビデオコーディングプロセスの少なくとも一部をなす。非限定的な例により、プロセス600は、図4に示すデコーダシステムが実行する1つ以上のエンハンスメントレイヤに関するスケーラブルビデオのデコードプロセスの少なくとも一部をなしているが、プロセス600又はその一部は本願で説明されているスケーラブルビデオのエンコーディングプロセスの少なくとも一部をなすように使用されてよい。
更に、プロセス600は図7に示すスケーラブルビデオコーディングシステム700に関連して説明される。図7は本願の開示による少なくとも1つの実施形態に従って形成された例示的なシステム700の図を示す。図7に示されているように、システム700はプロセッサ702、SVCコーデックモジュール706及びメモリ702を含んでよい。プロセッサ702は、本願の開示によるレイヤ間予測を行うためにSVCコーデックモジュール706のインスタンスを作成する。システム700の例において、メモリ708はビデオコンテンツを保存又は格納していてよい。SVCコーデックモジュール706はソフトウェア、ファームウェア及び/又はハードウェアの任意の組み合わせにより提供されてもよい。一例として、SVCコーデックモジュール706又はより一般的に論理モジュールはレイヤ間予測モジュールを含み、レイヤ間予測モジュールは、再構築されたリファレンスレイヤビデオデータにこれいリファイニングフィルタを適用してリファインされた再構築ビデオデータを生成する及び/又はエンハンスメントレイヤビデオコーダはリファインされた再構築ビデオデータに少なくとも部分的に基づいてビデオデータに関するエンハンスメントレイヤについてレイヤ間予測を実行する。メモリ708は、揮発性メモリ(例えば、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)等)又は不揮発性メモリ(例えば、フラッシュメモリ)等のような任意のタイプのメモリであってよい。非限定的な例として、メモリ708はキャッシュメモリにより実現されてもよい。
図6を参照すると、プロセス600は「ELについてレイヤ間予測を実行？」という判定ブロック602から始まり、この判定はエンハンスメントレイヤについてレイヤ間予測が実行されるべきか否かに関わる。レイヤ間予測が実行されるべき場合プロセス600はブロック604に続くが、レイヤ間予測が実行されるべきで内場合プロセス600は終了してよい。一例として、デコーダの例の場合、レイヤ間予測が実行されるべきか否かの判定は、ビットストリームにアクセスしてインジケータ(例えば、ビットストリームフラグ)を判定することを含んでもよく、そのインジケータはインター予測を実行するか或いは固定リファイニングフィルタリングを適用するか等を示す。
プロセス600は「何れの固定リファイニングフィルタを適用するかを決定」というブロック604に続き、現在のシーケンス、レイヤ、画像、スライス又はブロックについて、複数の固定リファイニングフィルタのうち、何れの固定リファイニングフィルタを使用するかの判定がなされる。本願で説明されるように、一例として、単独の固定リファイニングフィルタが使用されてもよい。そのような例の場合、ブロック604は省略されてよい。複数の固定リファイニングフィルタが使用されるデコーダの例の場合、何れの固定リファイニングフィルタを使用するかの判定は、ビットストリームにアクセスし、固定リファイニングフィルタインジケータを判別することを含んでもよく、固定リファイニングフィルタインジケータは複数の固定リファイニングフィルタのうち何れの固定リファイニングフィルタを使用するか示す。エンコーダの例の場合(及び固定リファイニングフィルタインジケータが存在しない場合のデコーダの例の場合)、何れの固定リファイニングフィルタを使用するかの判定は、本願で説明されるように、再構築されたリファレンスビデオデータを評価し及び/又は複数の固定リファイニングフィルタの結果(例えば、リファインされた再構築ビデオデータ)を評価し、選択される固定リファイニングフィルタを決定することを含む。
プロセス600は「固定リファイニングフィルタを適用」というブロック606に続き、単独の又は選択された固定リファイニングフィルタが、再構築されたリファレンスビデオデータに適用され、リファインされた再構築ビデオデータを生成する。本願で説明されるように、一例として、固定リファイニングフィルタ各々が既に適用され、その結果のデータが固定フィルタを選択するために使用されてもよい。そのような例の場合、ブロック606は省略されてもよい、或いはブロック606において、リファインされた再構築ビデオデータのうち選択されたものを転送する処理を含んでもよい。プロセス600は「リファインされた再構築ビデオデータに少なくとも部分的に基づいてELについてレイヤ間予測を実行」というブロック608に続き、本願で説明されるように、ビデオデータに関連するエンハンスメントレイヤについてレイヤ間予測が実行される。
本願で説明されるように、様々な実施の形態において、リファイニングフィルタリングに潜行して、下位レイヤの処理が実行されてもよい。そのような処理は、例えば、空間スケーラビリティの場合にはアップサンプリング、ビット深度スケーラビリティの場合にはトーンマッピング等を含んでもよい。
本願で説明されるように、様々な実施の形態において、プロセス600の一部(例えば、ブロック602におけるレイヤ間予測を実行するか否かの判定)は、例えばデコーダに(例えば、ビットストリームにより)提供された通知に応じてなされてもよい。図8は、本願の開示による少なくとも1つの実施の形態に従って形成されたビットストリーム140、226、342、401等のようなビットストリーム800の一例を示す。図8に示すように、ビットストリーム800はヘッダ部802及びデータ部804を含んでよい。ヘッダ部802は1つ以上のインジケータ806を含んでよい。インジケータ806はインジケータ又はフラグ808を含み、インジケータ又はフラグ808の値は、エンハンスメントレイヤの現在のシーケンス、レイヤ、画像、スライス又はブロックについて、本願で説明しているように、レイヤ間予測を実行するか否か或いは固定リファイニングフィルタリングを適用するか否か等を示す。更に、ビットストリーム800は他の情報を含んでもよく、例えば、上述したように、複数の固定リファイニングフィルタのうち何れの固定リファイニングフィルタを適用するかを示す1つ以上の固定リファイニングフィルタインジケータ810等を含んでもよい。本願で説明されるように、一例として、何れの固定リファイニングフィルタを適用するかの選択は、適用される係数及びオフセットを選択することになり、固定リファイニングフィルタの各々はその固定リファイニングフィルタに特化した係数及びオフセットを適用する。
本願で説明されるシステムの様々なコンポーネント(又は要素)はソフトウェア、ファームウェア、ハードウェア及び/又はそれらの任意の組み合わせにより実施されてもよい。例えば、システム300の様々なコンポーネントは、例えばスマートフォン等のようなコンピュータシステムに見受けられるコンピュータシステムオンチップ(SoC)のハードウェアにより少なくとも部分的に提供されていてもよい。本願で説明されているシステムは図面に明示的には示されていない別のコンポーネントを含んでよいことを、当業者は認めるであろう。例えば、本願で説明されているシステムは、ビットストリームマルチプレクサ又はデマルチプレクサモジュール等のような簡明化の観点から明示されていない更なるコンポーネントを含んでいてもよい。
図9は、本願の開示による少なくとも1つの実施の形態に従って形成されたビデオコーディングプロセス900の一例をフローチャートで示す。図示の例において、プロセス900はブロック902及び/又は904のうちの1つ以上により示されている1つ以上の処理、機能又は動作を含んでよい。非限定的な例として、プロセス900は、本願で説明されているように、ビデオコーディングシステム200、又はエンコーディングシステム300及びデコーディングシステム400を含むビデオシステムを実現する際に使用されてもよい。本願で説明されているように、プロセス900は、エンコーディング又はデコーディングに関連し、説明されている概念及び/又は処理は一般的にコーディングについて同一又は類似する形式で適用されてよい。
プロセス900はスケーラブルビデオコーティングを実行するためにコンピュータが実行する処理として利用されてよい。プロセス900は、「再構築されたリファレンスレイヤビデオデータに固定リファイニングフィルタを適用し、リファインされた再構築ビデオデータを生成する」という処理902から始まり、固定リファイニングフィルタが、再構築されたリファレンスレイヤビデオデータに適用され、リファインされた再構築ビデオデータを生成する。例えば、リファイインされた再構築ビデオデータ265がシステム200のレイヤ間予測モジュール260のリファイニングフィルタリングモジュール262において生成されてもよいし、或いはリファイインされた再構築ビデオデータ365がシステム300のレイヤ間予測モジュール360のリファイニングフィルタリングモジュール362において生成されてもよい。本願で説明されているように、リファインされた再構築ビデオデータは固定フィルタに基づくリファインされたデータを含み、固定フィルタは、再構築されたリファレンスレイヤビデオデータとフィルタ係数との点乗積をとってオフセットを加え、係数及びオフセットの値により様々な影響を及ぼすことが可能である。
プロセスは処理902から、「リファインされた再構築ビデオデータに少なくとも部分的に基づいてビデオデータに関連するエンハンスメントレイヤについてレイヤ間予測を実行する」という処理904に続き、リファインされた再構築ビデオデータに少なくとも部分的に基づいてビデオデータに関連するエンハンスメントレイヤについてレイヤ間予測が実行される。レイヤ間予測は例えばシステム200のエンハンスメントレイヤエンコーダ204又はシステム300のエンハンスメントレイヤデコーダ304において実行されてよい。
一般に、プロセス900は、エンハンスメントレイヤのビデオデータのシーケンス、レイヤ、画像、スライス又はブロック等のうちの何れも幾つについても、及び/又はデータの幾つのフレームについても、直列的又は並列的に何回でも反復されてよい。その結果のレイヤ間予測は、例えば、表示装置による出力用の出力ビデオデータ(例えば、エンハンスメントレイヤの1つ以上のフレーム)を生成する又はビットストリームをエンコードするために使用されてよい。プロセス900に関連する追加的及び/又は代替的な詳細な処理については本願で説明される1つ以上の実施形態で使用され、特に図10に関連して説明される。
図10は、本願の開示による少なくとも1つの実施の形態に従ってなされる動作中のビデオコーティングシステム例100及びビデオコーディング処理例1000の一例を示す。図示の例において、プロセス1000は、1001、1002、1003、1004、1005、1006、1007、1008、1009、1010、1011、1012、1013及び/又は1014のうちの1つ以上の処理により示される1つ以上の処理、機能又は動作を含んでよい。非限定的な例として、プロセス1000は、図3のエンコーダシステム300と図4のデコーダシステム400とを含むビデオコーディングシステムの例を参照しながら説明される。
図示の実施形態において、ビデオコーディングシステム100は論理モジュール1020等おの任意の要素の組み合わせを含んでよい。例えば、論理モジュール1020は、レイヤ間予測モジュール1050及びエンハンスメントレイヤエンコーダ1055を含んでよいエンコーダ1030(例えば、エンコーダ201、300に対応してもよい)と、レイヤ間予測モジュール1060及びエンハンスメントレイヤデコーダ1065を含んでよいデコーダ1040(例えば、エンコーダ201、300に対応してもよい)とを含んでよい。図10に示すように、ビデオコーディングシステム100は、特定のモジュールに関連する1つの特定の一群のブロック又は処理を含んでいるが、ブロック又は処理は図示されている特定のモジュールとは異なるモジュールに関連していてもよい。図示されているように、プロセス1000はエンコーディング及びデコーディングに関連しているが、説明されている概念及び/又は処理は、エンコーディング及び/又はデコーディングに別々に適用されてよく、一般的にビデオコーディングに適用されてよい。
プロセス1000は「再構築された画像データに下位レイヤ処理を適用する」ことを示すブロック1001から始まり、再構築された画像データに対して、下位レイヤ処理が適用される。様々な例において、下位レイヤ処理は、空間スケーラビリティの場合にはアップサンプリング、ビット深度スケーラビリティの場合にはトーンマッピング等を含んでいてよい。例えば、再構築されたベースレイヤビデオデータ315は下位レイヤ処理モジュール364により処理されてもよい。一例として、下位レイヤ処理はレイヤ間予測モジュール1050により実行されてもよい。
プロセス1000はブロック1001から「何れの固定リファイニングフィルタを適用するかを決定する」ことを示すブロック1002に続き、何れの固定リファイニングフィルタを適用するかが決定される。本願で説明されているように、一例として、固定リファイニングフィルタを適用することについての判定が事前になされ、その判定は、再構築されたリファレンスレイヤのビデオデータに基づいて、複数の使用可能な固定リファイニングフィルタの中でなされてもよい。例えば、評価はローカルなアダプティブ方法に少なくとも部分的に基づいていてもよく、その評価は、再構築されたリファレンスレイヤビデオデータのローカルなエッジ情報、再構築されたリファレンスレイヤビデオデータの勾配の大きさ、又は再構築されたリファレンスレイヤビデオデータのローカルな分散等を評価することを含んでよい。
本願で説明されているように、他の例として、複数の固定リファイニングフィルタの各々が、関連するリファインされた画像を生成し、何れの固定リファイニングフィルタを使用するかの判定は、生成されたリファインされた画像に基づいていてもよい。この判定はリファインされた画像の何らかの適切な比較に基づいていてもよく、そのような比較は、例えば、リファインされた画像と再構築されたリファレンスレイヤビデオデータの画像との比較である。そのような例の場合、ブロック1002は必要に応じてブロック1003の後に実行される。
プロセス1000はブロック1002から「固定リファイニングフィルタを適用する」ことを示すブロック1003に続き、再構築されたリファレンスレイヤビデオデータに固定リファイニングフィルタが適用され、リファインされた再構築ビデオデータを生成する。本願で説明されているように、一例では固定リファイニングフィルタは選択されたリファイニングフィルタを含み、他の例では複数の固定リファイニングフィルタが適用され、生成されたデータのうち最良の選択肢が使用されてもよい。更に他の例では、単独の固定リファイニングフィルタのみが使用/適用されてもよい。そのような例の場合、ブロック1002は省略されてよい。一例として、固定リファイニングフィルタはレイヤ間予測モジュール1050において適用されてよい。
プロセス1000は「レイヤ間予測を実行する」ことを示すブロック1004に続き、ビデオデータに関連するエンハンスメントレイヤについてのレイヤ間予測が、リファインされた再構築ビデオデータに少なくとも部分的に基づいて実行される。例えば、エンハンスメントレイヤエンコーダ304は、リファインされた再構築ビデオデータ365に少なくとも部分的に基づいてレイヤ間予測を実行してもよい。一例として、レイヤ間予測はエンハンスメントレイヤエンコーダ1055において実行されてもよい。
プロセス1000はブロック1004から「ビットストリームをエンコードする」ことを示すブロック1005に続き、レイヤ間予測に少なくとも部分的に基づいて、ビットストリームがエンコードされる。一例として、ビットストリームは残差コーディング(residual coding)によりエンコードされてもよい。本願で説明されているように、一例として、ビットストリームは、固定リファイニングフィルタを適用するか否かを示すインジケータ、及び/又は(該当する場合には)複数の固定リファイニングフィルタのうち使用する固定フィライニングフィルタを示すように設定された固定リファイニングフィルタインジケータを含んでいてもよい。例えば、ビットストリームはエントロピエンコーダ340等においてエンコードされてもよい。
プロセス1000はブロック1005から「ビットストリームを転送する」ことを示すブロック1006に続き、エンコードされたビットストリームが転送される。図示されているように、エンコードされたビットストリームデコーダ1040に転送される。本願で説明されるように、エンコーダ1030はコンテンツプロバイダシステムに関連していてもよく及び/又はコンテンツプロバイダシステムにより提供されてもよく、デコーダ1040はクライアントシステムに関連していてもよい。従って様々な例においてエンコーダ1030及びデコーダ1040はそれぞれ実質的に独立に実施されてよい。様々な例において、ビットストリームは、インターネットやメモリ装置等を介して転送されてもよい。理解されるように、一実施形態において、ビットストリームは直列的又は並列的に複数の装置に転送されてもよい。
プロセス1000はブロック1006から、「固定リファイニングフィルタを適用するか否かを指定するインジケータを判定するためにビットストリームにアクセスする」ことを示すブロック1007に続いて処理が始まり、ビデオデータに関連するビットストリームがアクセスされ、固定リファイニングフィルタを適用するか否かを指定するインジケータを判定する。インジケータは、例えばデコーダ300においてアクセスされてもよい。一例として、インジケータはビットストリームフラグを含んでいてもよい。固定リファイニングフィルタが適用されない場合(又はレイヤ間予測が実行されない場合)、プロセス1000はブロック1012まで省略されてもよい。
固定リファイニングフィルタリングが実行されるべき場合(リファイニングフィルタインジケータがビットストリームにより提供されている場合)、プロセスは「固定リファイニングフィルタインジケータを判定するためにビットストリームにアクセスする」ことを示すブロック1008に続き、ビデオデータに関するビットストリームにアクセスがアクセスされ、固定リファイニングフィルタインジケータを判定する。本願で説明されるように、一例として、固定リファイニングフィルタインジケータはデコードのためにビットストリームにエンコードされてもよい。固定リファイニングフィルタインジケータがビットストリームにエンコードされていない場合(及び固定リファイニングフィルタが複数個は使用されない場合)、何れのリファイニングフィルタを使用するかは、1002、1003及び他の箇所において説明したようにして判定されてもよい。
プロセス1000は「再構築された画像データに下位レイヤ処理を適用する」ことを示すブロック1009に続き、再構築された画像データに下位レイヤ処理が適用される。様々な例において、下位レイヤ処理は、空間スケーラビリティの場合にはアップサンプリング、ビット深度スケーラビリティの場合にはトーンマッピング等を含んでよい。例えば、再構築されたベースレイヤビデオデータ415は下位レイヤ処理モジュール464により処理されてよい。一例として、下位レイヤ処理はレイヤ間予測モジュール1060により実行されてよい。
プロセス1000はブロック1009から「固定リファイニングフィルタを適用する」ことを示すブロック1010に続き、固定リファイニングフィルタが、再構築されたリファレンスレイヤビデオに適用され、リファインされた再構築ビデオデータを生成する。本願で説明されているように、一例として、固定リファイニングフィルタを適用することは、(受信したビットストリームにアクセスすることに基づいて又はデコーダにおける判定に基づいて)選択されたリファイニングフィルタを利用することを含み、他の例として、複数の固定リファイニングフィルタが適用され、生成されたデータのうち最良の選択肢が使用されてもよい。更に別の例として、単独の固定リファイニングフィルタが使用されてもよい。そのような例の場合、ブロック1008はスキップされてよい。
プロセス1000は「レイヤ間予測を実行する」ことを示すブロック1011に続き、リファインされた再構築ビデオデータに少なくとも部分的に基づいて、ビデオデータに関するエンハンスメントレイヤについてレイヤ間予測が実行される。例えば、エンハンスメントレイヤデコーダ304が、リファインされた再構築ビデオデータ365に少なくとも部分的に基づいてレイヤ間予測を実行してもよい。一例として、レイヤ間予測はエンハンスメントレイヤデコーダ1165により実行されてもよい。
プロセス1000はブロック1011から「エンハンスメントレイヤ出力ビデオデータを生成する」ことを示すブロック1012に続き、レイヤ間予測に少なくとも部分的に基づいて、エンハンスメントレイヤに関するエンハンスメントレイヤ出力ビデオデータが生成される。例えば、エンハンスメントレイヤデコーダ404が、エンハンスメントレイヤ出力ビデオ406を生成してもよい。
プロセス1000はブロック1012から「表示する出力フレームを転送する」ことを示すブロック1013に続き、表示する出力ビデオデータが転送される。例えば、出力ビデオデータは表示装置を介してユーザに提示される。
図示の例示的な動作例は図示された順序示されている全てのブロックを実行することを含んでいるが、本願による開示はこの例に限定されず、様々な例において、実施の形態による動作例は、図示のブロックのうちの一部分しか実行しないことや、図示の順序とは異なる順序で実行すること等を含む。
更に、本願で説明されている任意の1つ以上のブロックが、1つ以上のコンピュータプログラムの命令に応じて実行されてよい。そのようなプログラムに関連するプログラムプロダクト又はプログラム関連製品は、例えば、プロセッサにより実行される場合に本願で説明されている機能を発揮する命令を提供するメディアを搬送する信号を含む。コンピュータプログラムは1つ以上のコンピュータ読み取り可能媒体の任意の形式で提供されてよい。従って、例えば、1つ以上のプロセッサコアを含むプロセッサは、1つ以上のコンピュータ読み取り可能媒体によりプロセッサに与えられるプログラムコード及び/又は命令又は命令群に応答して、本願の実施形態の1つ以上のブロックを実行してもよい。一般に、コンピュータ読み取り可能媒体はプログラムコード等(プログラムコード及び/又は命令又は命令群)の形式でソフトウェアを運ぶことが可能であり、プログラムコード等は、ビデオシステム200/300/400、SVCコーデックモジュール706、レイヤ間予測モジュール1050/1060等、本願で説明されている他の任意のモジュール/コンポーネントのうちの少なくとも一部分を、本願で説明されている任意の装置及び/又はシステムに実行させる。
本願で説明されている任意の実施形態で使用されているように、「モジュール」という用語は、本願で説明されている機能をもたらすように形成されているソフトウェア論理装置、ファームウェア論理装置及び/又はハードウェア論理装置の任意の組み合わせに関連する。ソフトウェアは、ソフトウェアパッケージ、コード及び/又は命令群又は命令として実施されてもよく、本願で説明されている任意の実施形態で使用されているような「ハードウェア」は、例えば、プログラム可能な回路で実行される命令を格納したファームウェア、状態マシン回路、プログラマブル回路、有線回路を単独で又は組み合わせの形式で含んでいてもよい。モジュールは、例えば、集積回路(IC)、システムオンチップ(SoC)等のようなより大きなシステムの一部分を形成する回路として、一括して又は個別的に、実現されてもよい。
図11は、本願の開示による少なくとも1つの実施形態に従って形成されたビデオコーディングシステム1100の一例を示す。図示の例において、ビデオコーディングシステム1100は、画像処理装置1101、ビデオエンコーダ1102、アンテナ1103、ビデオデコーダ1104、1つ以上のプロセッサ1106、1つ以上のメモリ格納部1108、表示装置1110及び/又は論理モジュール1140を含む。論理モジュール1140はレイヤ間予測モジュール1060及び/又はエンハンスメントレイヤデコーダ1165及び/又は要素の任意の組み合わせを含んでよい。本願で説明されるように、様々な例において、レイヤ間予測モジュール1060はエンハンスメントレイヤデコーダ1065により又はベースレイヤデコーダにより実現されてもよいが、図示の簡明化のため図11では示されていない。一例として、ビデオエンコーダ1102は例えばレイヤ間予測モジュール1050及び/又はエンハンスメントレイヤエンコーダ1055を実現する。
図示されているように、アンテナ1103、ビデオデコーダ1104、プロセッサ1106、メモリ格納部1108及び/又は表示装置1110は、互いにやり取りを行い及び/又は論理モジュール1140の部分とやり取りを行うことが可能である。同様に、画像処理装置1101及びビデオエンコーダ1102は互いにやり取りを行い及び/又は論理モジュール1140の部分とやり取りを行うことが可能である。従ってビデオデコーダ1104は論理モジュール1140の全部又は一部を含んでよく、ビデオエンコーダ1102は同様な論理モジュールを含んでよい。図11に示されているように、ビデオコーディングシステム1100は特定のモジュールに関連する或る特定の一群のブロック又は処理を含んでよいが、それらのブロック又は処理は図示の特定のモジュールとは異なるモジュールに関連していてもよい。
一例として、ビデオコーディングシステム1100はアンテナ1103、ビデオデコーダ1104等及び/又は要素の任意の組み合わせを含んでよい。アンテナ1103はビデオデータのエンコードされたビットストリームを受信するように形成される。ビデオデコーダ1104は、アンテナ1103に通信可能に結合され、エンコードされたビットストリームをデコードするように形成される。ビデオデコーダ1104は、再構築されたリファレンスレイヤビデオデータに固定リファイニングフィルタを適用してリファインされた再構築ビデオデータを生成し、リファインされた再構築ビデオデータに少なくとも部分的に基づいてビデオデータに関連するエンハンスメントレイヤについてレイヤ間予測を実行するように形成される。
他の例において、ビデオコーディングシステム1100は、表示装置1110、1つ以上のプロセッサ1106、1つ以上のメモリ格納部1108、レイヤ間予測モジュール1060等及び/又は要素の任意の組み合わせを含んでよい。表示装置1110はビデオデータを表示するように形成される。プロセッサ1106は表示装置1110に通信可能に結合される。メモリ格納部1108は1つ以上のプロセッサ1106に通信可能に結合される。ビデオデコーダ1104(他の例ではビデオエンコーダ1102)のレイヤ間予測モジュール1060は、1つ以上のプロセッサ1106に通信可能に結合され、再構築されたリファレンスレイヤビデオデータに固定リファイニングフィルタを適用し、リファインされた再構築ビデオデータを生成する。エンハンスメントレイヤデコーダ1065は、1つ以上のプロセッサ1106に通信可能に結合され、リファインされた再構築ビデオデータに少なくとも部分的に基づいてビデオデータに関連するエンハンスメントレイヤについてレイヤ間予測を実行するように形成され、表示装置1110による画像データの表示がレイヤ間予測に少なくとも部分的に基づくようにする。
様々な実施形態において、論理モジュール1140がハードウェアで実現される一方、他の論理装置をソフトウェアで実現してもよい。例えば、一実施形態において、レイヤ間予測モジュール1060及び/又はエンハンスメントレイヤデコーダ1065が特定用途向け集積回路(ASIC)論理装置により実現される一方、他の論理モジュールがプロセッサ1106のような論理装置により実行されるソフトウェア命令により実現されもよい。しかしながら本願の開示はその例に限定されず、論理モジュール1140及び/又は他の論理モジュールは、ハードウェア、ファームウェア及び/又はソフトウェアの任意の組み合わせにより実現されてよい。更に、メモリ格納部1108は、揮発性メモリ(例えば、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)等)又は不揮発性メモリ(例えば、フラッシュメモリ)等のような任意のタイプのメモリであってよい。非限定的な例として、メモリ格納部1108はキャッシュメモリにより実現されてもよい。
一例として、本願により説明される特徴は、1つ以上のコンピュータプログラムの命令に応じて実行されてよい。そのようなプログラムに関連するプログラムプロダクト又はプログラム関連製品は、例えば、プロセッサにより実行される場合に本願で説明されている機能を発揮する命令を提供するメディアを搬送する信号を含む。コンピュータプログラムは1つ以上のコンピュータ読み取り可能媒体の任意の形式で提供されてよい。従って、例えば、1つ以上のプロセッサコアを含むプロセッサは、1つ以上のコンピュータ読み取り可能媒体によりプロセッサに与えられるプログラムコード及び/又は命令又は命令群に応答して、本願で説明される1つ以上の特徴を活用してもよい。一般に、コンピュータ読み取り可能媒体はプログラムコード等(プログラムコード及び/又は命令又は命令群)の形式でソフトウェアを運ぶことが可能であり、プログラムコード等は、本願で説明されている特徴の少なくとも一部分を、本願で説明されている任意の装置及び/又はシステムに実行させる。
図12は、本願の開示による少なくとも1つの実施形態に従って形成されるシステム1200の一例を示す。様々な実施形態において、システム1200はメディアシステムであってよいが、システム1200はこの例に限定されない。例えば、システム1200は、パーソナルコンピュータ(PC)、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、携帯用コンピュータ、パームトップコンピュータ、パーソナルディジタルアシスタント(PDA)、セルラ電話、セルラ電話とPDAの組み合わせ、テレビジョン、スマート装置(例えば、スマートフォン、スマートタブレット、スマートテレビジョン)、モバイルインターネット装置(MID)、メッセージング装置、データ通信装置、カメラ(例えば、オートフォーカスカメラ、スーパーズームカメラ、ディジタル一眼レフ(DSLR)カメラ)等に組み込まれてもよい。
様々な実施形態において、システム1200はディスプレイ1220に結合されたプラットフォーム1202を含む。プラットフォーム1202は、コンテンツサービス装置1230又はコンテンツ配信装置1240又は他の類似するコンテンツソース等のようなコンテンツ装置からコンテンツを受信してもよい。1つ以上のナビゲーション機能を含むナビゲーションコントローラ1250が、例えば、プラットフォーム1202及び/又はディスプレイ1220とやり取りを行うために使用されてよい。これらの要素の各々については後述する。
様々な実施形態において、プラットフォーム1202は、チップセット1205、プロセッサ1210、メモリ1212、アンテナ1213、ストレージ1214、グラフィクスサブシステム1215、アプリケーション1216及び/又は無線部1218の任意の組み合わせを含んでよい。チップセット1205は、プロセッサ1210、メモリ1212、ストレージ1214、グラフィクスサブシステム1215、アプリケーション1216及び/又は無線部1218の中での相互通信機能をもたらす。例えば、チップセット1205はストレージ1214と相互通信する機能を発揮できるストレージアダプタ(図示せず)を含んでいてもよい。
プロセッサ1210は、複合命令セット(CISC)又は縮小命令セット(RISC)プロセッサ、x86命令セット対応プロセッサ、マルチコア、又は他の任意のマイクロプロセッサ又は中央処理装置(CPU)として実現されてよい。様々な実施形態において、プロセッサ1210はデュアルコアプロセッサ、デュアルコアモバイルプロセッサ等であってもよい。
メモリ1212は、揮発性メモリ装置として実現されてもよく、例えば、ランダムアクセスメモリ(RAM)、ダイナミックランダムアクセスメモリ(DRAM)又はスタティックRAM(SRAM)等であるが、これらに限定されない。
ストレージ1214は、不揮発性ストレージ装置として実現されてもよく、例えば、磁気ディスクドライブ、光ディスクドライブ、テープドライブ、内部ストレージ装置、外付けストレージ装置、フラッシュメモリ、バッテリバックアップSDRAM(同期DRAM)、及び/又はネットワークでアクセス可能なストレージ装置等であるが、これらに限定されない。様々な実施形態において、ストレージ1214は、例えば複数のハードドライブが含まれている場合に、貴重なディジタルメディアに対するストレージ保護パフォーマンス機能(storage performance enhanced protection)を強化する方法を利用していてもよい。
グラフィクスサブシステム1215は表示する静止画又は動画のような画像の処理を実行する。グラフィクスサブシステム1215は例えばグラフィックス処理ユニット(GPU)又はビジュアル処理ユニット(VPU)であってもよい。グラフィクスサブシステム1215及びディスプレイ1220に通信可能に結合するためにアナログ又はディジタルインタフェース画使用されてよい。例えば、インタフェースは、高解像度マルチメディアインタフェース、ディスプレイポート、ワイヤレスHDMI（登録商標）及び/又はワイヤレスHD対応方式等のような任意のものであってよい。グラフィクスサブシステム1215はプロセッサ1210又はチップセット1205に統合されてもよい。一実施形態において、グラフィクスサブシステム1215はチップセット1205に通信可能に結合されたスタンドアローン装置であってよい。
本願で説明されるグラフィクス及び/又はビデオ処理方式は様々なハードウェアアーキテクチャで実施されてよい。例えば、グラフィックス及び/又はビデオ機能はチップセット内に集積されていてもよい。代替的に、個別的なグラフィックス及び/又はビデオプロセッサが使用されてもよい。更に別の実施形態において、グラフィックス及び/又はビデオの機能は、マルチコアプロセッサを含む汎用プロセッサにより提供されてもよい。別の実施形態では、そのような機能は消費者電子装置に実装されてもよい。
無線部1218は適切な様々な無線通信技術を利用して信号を送信及び受信することが可能な1つ以上の無線部を含んでよい。そのような技術は1つ以上の無線ネットワークを介した通信を包含してよい。無線ネットワークの具体体は(限定ではないが)ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)、ワイヤレスメトロポリタンエリアネットワーク(WMAN)、セルラネットワーク及び衛星ねとワーク等を含む。そのようなネットワークを介した通信において、無線部1218は1つ以上の適用可能な何らかのバージョンの標準規格に従って動作する。
様々な実施形態において、ディスプレイ1220は任意のテレビジョン形式のモニタ又はディスプレイを含んでよい。ディスプレイ1220は、例えば、コンピュータディスプレイスクリーン、タッチスクリーンディスプレイ、ビデオもにた、テレビジョンのような装置、及び/又はテレビジョンを含んでいてもよい。ディスプレイ1220はディジタル及び/又はアナログ方式であってもよい。様々な実施形態において、ディスプレイ1220はホログラフィックディスプレイであってもよい。ディスプレイ1220は視覚的な投影を受ける透明な表面であってもよい。そのような投影は情報、画像及び/又はオブジェクトの様々な形式のものを伝送する。例えば、そのような投影又はプロジェクションは、モバイル拡張現実(mobile augmented reality：MAR)アプリケーションの視覚的なオーバレイ(重畳信号)であってもよい。1つ以上のソフトウェアアプリケーション1216の制御の下で、プラットフォーム1202はユーザインタフェース1222をディスプレイ1220に表示してもよい。
様々な実施形態において、コンテンツサービス装置1230は、国内のサービス、国際的なサービス及び/又は独立したサービスのホストとなり、例えばインターネットを介してプラットフォーム1202にアクセス可能である。コンテンツサービス装置1230はプラットフォーム1202及び/又はディスプレイ1220に結合されてもよい。プラットフォーム1202及び/又はコンテンツサービス装置1230はネットワーク1260に結合され、ネットワーク1260を介してメディア情報を通信(送信及び/又は受信)する。コンテンツ配信装置1240はプラットフォーム1202及び/又はディスプレイ1220にも結合される。
様々な実施形態において、コンテンツサービス装置1230は、ケーブルテレビジョンボックス、パーソナルコンピュータ、ネットワーク、電話を含んでもよいし、ディジタル情報及び/又はコンテンツを配信することが可能なインターネットイネーブル装置又は機器を含んでもよいし、コンテンツプロバイダ及びプラットフォーム1202及び/又はディスプレイ1220の間でネットワーク1260を介して又は直接的にコンテンツを一方向又は双方向に通信できるその他の任意の装置を含んでもよい。コンテンツはネットワーク1260を介してコンテンツプロバイダ及びシステム1200のコンポーネントのうちの任意のものとの間で一方向及び/又は双方向に通信されてよいことが、理解されるであろう。コンテンツの具体例は、例えば、ビデオ、音楽、医療情報、ゲーム情報等を含む任意のメディア情報を含んでよい。
コンテンツサービス装置1230は、メディア情報、ディジタル情報及び/又は他のコンテンツを含むケーブルテレビジョン番組のようなコンテンツを受信してもよい。コンテンツプロバイダの具体例はケーブル又は衛星のテレビジョン又は無線又はインターネットの任意のコンテンツプロバイダを含んでよい。これらの具体例は本願の開示を何らかの方法で限定するようには意図されていない。
様々な実施形態において、プラットフォーム1202は1つ以上のナビゲーション機能を有するナビゲーションコントローラ1250から制御信号を受信してもよい。コントローラ1250のナビゲーション機能は例えばユーザインタフェース1222とのやり取りに使用されてよい。様々な実施形態において、ナビゲーションコントローラ1250は(具体的には、ヒューマンインタフェース装置のような)コンピュータハードウェアコンポーネントであるポインティングデバイスであってもよく、ポインティングデバイスはユーザが(例えば、連続的な又は複合的な)空間的なデータをコンピュータに入力することを可能にする。グラフィックスユーザインタフェース(GUI)、テレビジョン及びモニタのような多くのシステムは、物理的なジェスチャ(身振り、手振り、動作等)を通じてコンピュータやテレビジョンに対するデータをユーザが制御及び提供できるようにする。
コントローラ1250のナビゲーション機能の動きは、ポインタ、カーソル、フォーカスリング又はディスプレイに表示される他の視覚的な表示により、ディスプレイ上で再現される。例えば、ソフトウェア1216の制御の下で、ナビゲーションコントローラ1250により特定されたナビゲーション対象(navigation feature)は、例えばユーザインタフェース1222に表示される仮想的なナビゲーション対象に対応付けられる(マッピングされる)。様々な実施形態において、コントローラ1250は、個別的な要素ではなく、プラットフォーム1202及び/又はディスプレイ1220に一体化(統合)されてもよい。しかしながら本願の開示はそのような具体的な形態に限定されない。
様々な実施形態において、ドライバ(図示せず)は、例えば初期起動させた後にボタンにタッチすることで或いは起動させる場合に、テレビジョンのようなプラットフォーム1202をユーザが速やかにオン及びオフにできるようにする手段を含んでいてもよい。プログラム論理装置は、たとえプラットフォームが「オフ」にされていたとしても、メディアアダプタ、他のコンテンツサービス装置1230又はコンテンツ配信装置1240に、プラットフォーム1202がトリームコンテンツを流せるようにする。更に、チップセット1205は、例えば5.1サラウンドサウンドオーディオ及び/又は高解像度7.1サラウンドサウンドオーディオに関するハードウェア及び/又はソフトウェアを含んでもよい。ドライバは統合されたグラフィックスプラットフォームのグラフィクスドライバを含んでもよい。様々な実施形態において、グラフィクスドライバはペリフェラルコンポーネント相互接続(PCI)エクスプレスグラフィクスカードを有していてもよい。
様々な実施形態において、システム1200に示されているコンポーネントのうちの任意の1つ以上が統合又は集積されてもよい。例えば、プラットフォーム1202及びコンテンツサービスドライバ1230が統合されてもよいし、プラットフォーム1202及びコンテンツ配信装置1240が統合されてもよいし、或いはプラットフォーム1202、コンテンツサービス装置1230及びコンテンツ配信装置1240が統合されてもよい。様々な実施形態において、プラットフォーム1202及びディスプレイ1220は一体化された装置であってよい。例えば、ディスプレイ1220及びコンテンツサービス装置1230は統合されてもよいし、ディスプレイ1220及びコンテンツ配信装置1240が統合されてもよい。これらの具体例は本願の開示を限定するものではない。
様々な実施形態において、システム1200は無線システム、有線システム又はそれら双方の組み合わせとして実現されてもよい。無線システムとして実現される場合、システム1200は無線共有媒体による通信に適したコンポーネント及びインタフェースを含み、例えば、1つ以上のアンテナ、送信機、受信機、トランシーバ、増幅器、フィルタ、制御論理装置等を含んでよい。無線共有媒体の具体例は、RFスペクトル等のような無線スペクトルの一部を含んでよい。有線システムとして実現される場合、システム1200は有線通信媒体による通信に適したコンポーネント及びインタフェースを含み、例えば、入出力(I/O)アダプタ、I/Oアダプタを対応する有線通信媒体に接続するための物理コネクタ、ネットワークインタフェースカード(NIC)、ディスクコントローラ、ビデオコントローラ、オーディオコントローラ等を含んでよい。有線通信媒体の具体例は、有線、ケーブル、金属導線、印刷回路基板(PCB)、バックプレーン、スイッチ部品、半導体材料、より対線、同軸ケーブル、光ファイバ等を含んでよい。
プラットフォーム1202は情報を通信するための1つ以上の論理的又は物理的なチャネルを設定してもよい。情報はメディア情報及び制御情報を含んでよい。メディア情報はユーザのために意図されているコンテンツを表現する任意のデータに関連してよい。コンテンツの具体例は、例えば、音声会話、テレビ会議、ストリーミングビデオ、電子メール(email)メッセージ、音声メールメッセージ、英数字シンボル、図形、画像、ビデオ、文字等に属するデータを含んでよい。音声会話のデータは、例えば、会話情報、無音期間、背景雑音、快適雑音(comfort noise)、トーン等であってよい。制御情報は、コマンド、命令、又は自動システムのための制御ワードを表現する任意のデータに関連してよい。例えば、制御情報は、システムを介してメディア情報をルーティングするために使用されてもよいし、メディア情報を所定の方法で処理するようにノードを指図するために使用されてもよい。しかしながら実施の形態は図12に関して図示及び説明される例に限定されない。
上述したようにシステム1200は様々な物理的な形状又は寸法で実現されてよい。図13はシステム1300が使用されている小型装置1300の実施形態を示す。様々な実施形態において、例えば、装置1300は無線通信機能を有する移動通信装置として実現されてもよい。移動通信装置は例えば1つ以上のバッテリのようなモバイル電源又はパワーサプライ及び処理システムを有する任意の装置であってよい。
上述したように、移動通信装置の具体例は、パーソナルコンピュータ(PC)、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、携帯用コンピュータ、パームトップコンピュータ、パーソナルディジタルアシスタント(PDA)、セルラ電話、セルラ電話とPDAの組み合わせ、テレビジョン、スマート装置(例えば、スマートフォン、スマートタブレット、スマートテレビジョン)、モバイルインターネット装置(MID)、メッセージング装置、データ通信装置、カメラ(例えば、オートフォーカスカメラ、スーパーズームカメラ、ディジタル一眼レフ(DSLR)カメラ)等を含んでもよい。
移動通信装置の具体例は人が身に付けるように形成されたコンピュータを含んでもよく、例えば、リスト(wrist)コンピュータ、フィンガ(finger)コンピュータ、リングコンピュータ、めがねコンピュータ、ベルトチップ(belt-chip)コンピュータ、アームバンド(arm-band)コンピュータ、靴(shoe)コンピュータ、衣服(clothing)コンピュータ、及びその他の着用コンピュータ等を含んでいてもよい。様々な実施形態において、例えば、モバイルコンピュータ装置は、コンピュータアプリケーションだけでなく音声通信及び/又はデータ通信を実行することが可能なスマートフォンとして実現されてもよい。実施の形態は一例としてスマートフォンとして実現される移動通信装置の観点から説明されているが、他の実施の形態は他の無線移動通信装置を用いて実現されてもよいことが理解されるであろう。実施の形態はこの例に限定されない。
図13に示されているように、装置1300はハウジング1302、ディスプレイ1304、入力/出力(I/O)装置1306、及びアンテナ1308を含んでもよい。装置1300はナビゲーション機能1312を含んでいてもよい。ディスプレイ1304は移動通信装置に適した情報を表示する適切な如何なる表示装置を含んでいてもよい。I/O装置1306は情報を移動津新装置に入力するための適切な任意のI/O装置を含んでいてもよい。I/O装置1306の具体例は、英数字キーボード、数字キーパッド、タッチパッド、入力キー、ボタン、スイッチ、ロッカースイッチ(rocker switch)、マイクロフォン、スピーカ、音声認識装置及びソフトウェア等を含んでもよい。情報はマイクロフォン(図示せず)により装置1300に入力されてもよい。そのような情報は音声認識装置(図示せず)によりディジタル化されてもよい。実施の形態はこの例に限定されない。
様々な実施の形態は、ハードウェア要素、ソフトウェア要素又はそれらの組み合わせを用いて実施されてもよい。ハードウェア要素の具体例は、プロセッサ、マイクロプロセッサ、回路、回路要素(例えば、トランジスタ、レジスタ、キャパシタ、インダクタ等)、集積回路、特定用途向け集積回路(ASIC)、プログラマブル論理装置(PLD)、ディジタル信号プロセッサ(DSP)、フィールドプログラマブルアレイ(FPGA)、論理ゲート、レジスタ、半導体装置、チップ、マイクロチップ、チップセット等を含んでいてもよい。ソフトウェアの具体例は、ソフトウエアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、マシンプログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、ファンクション、メソッド、プロシジャ、ソフトウェアインタフェース、アプリケーションプログラムインタフェース(API)、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、ワード、値、シンボル、又はこれらの任意の組み合わせを含んでいてもよい。実施の形態がハードウェア要素及びソフトウェア要素を用いて実施されるか否かの判断は、任意の数の要因に応じて異なってよく、そのような要因は例えば所望の演算速度、電力レベル、熱耐性、処理サイクル許容度(バジェット)、入力データレート、出力データレート、メモリリソース、データバス速度、及びその他の設計/パフォーマンスの制約等である。
少なくとも1つの実施例のうちの1つ以上の形態は、プロセッサの中で様々な論理処理を表現するコンピュータ読み取り可能媒体に保存された命令表現により実現されもよく、命令表現は、コンピュータ(又はマシン)により読み取られると、そこに記述されている処理を実行するための論理処理部をコンピュータに作成させる。そのような表現は、「IPコア」と呼ばれ、コンピュータで読み取ることが可能な有形媒体に保存され、様々な顧客へ供給され、或いは論理装置又はプロセッサを実際に製造する製造装置に与えるために製造施設へ供給される。
以上、様々な実施の形態と共に本願の開示による特徴が説明されてきたが、本説明は限定的な意味に解釈されるようには意図されていない。本願で明示的に説明された変形例だけでなく、本願の開示に関連する当業者にとって明らかな他の実施形態も、本願の精神及び範囲内に属している。
以下、本願により教示される装置又は方法を例示的に示す。
更なる具体例において、実施の形態は以下の要素を含んでもよい。
（１）スケーラブルビデオコーデック装置のレイヤ間予測を改善するためにリファイニングフィルタを実行する手段；(a)処理された下位レイヤの再構築画像についてリファインフィルタリングを適用することで、SVCレイヤ間予測を改善する手段(この場合における下位レイヤの再構築画像処理は、例えば、空間スケーラビリティの場合のアップサンプリング、ビット深度スケーラビリティの場合のトーンマッピングでもよいし、或いは処理を施さずに通過させてもよい。リファインフィルタリングは、エンハンスメントレイヤの入力画素と下位レイヤの処理された再構築された画素との間の差分/歪を減らすことを目的としている)。
（２）レイヤ間予測を改善するために複数の固定フィルタをオフセットと共に利用する手段；(a)一実施形態において、オフセット値はゼロに強制されてもよい；(b)一実施形態において、固定フィルタ係数がゼロに強制され、オフセット値のみが優位であってもよい；(c)一実施形態において、オフセットと共に1つの固定フィルタのみが使用されてもよい；(d)一実施形態において、複数のオフセットと共に1つより多い固定フィルタの群画使用されてもよい。
（３）レイヤ間予測を改善するために複数の固定フィルタを異なる強調効果と共に利用する手段；(a)一実施形態において、滑らかな予測画像を生成するために、画像の低周波部分を強調するフィルタが利用されてもよい；(b)一実施形態において、鋭い予測画像を生成するために、画像の高周波部分を強調するフィルタが利用されてもよい；(c) 一実施形態において、特定の予測画像を生成するために、画像の或る周波数帯(バンド)を強調するフィルタが利用されてもよい。
（４）レイヤ間予測を改善するために異なるレベルでリファイニングフィルタを適用する手段；(a)リファイニングフィルタはシーケンス/レイヤ/画像/スライス/ブロック等のレベル(単位)でオン又はオフにされてもよい；(b)シーケンス/レイヤ/画像/スライス/ブロック等のレベル(単位)で最良のフィルタに切り替えられる。
（５）レイヤ間予測を改善するためにリファイニングフィルタの使い方を適応的に決定する手段；(a)一実施形態において、リファイニングフィルタが適用されるか否か、及びリファイニングを行うために何れのフィルタが使用されるかについての判断がエンコーダでなされ、その判断結果を示すフラグがビットストリームデデコーダに送信されてもよい；(b)一実施形態において、リファイニングフィルタが適用されるか否か、及びリファイニングを行うために何れのフィルタが使用されるかについての判断は、画像の予備的なフィルタリングにより得られるローカルな特徴を分析することでなされてもよい。ローカルなエッジ情報、勾配の大きさ、ローカルな分散及びその他の判断材料が、リファイニングフィルタの使い方を決定するために使用可能である。エンコーダ及びデコーダの双方が同じ判断手順を実行し、同じ結論に至るので、ビットストリームに追加的なフラグは一切必要ない。
更なる例において、少なくとも1つのコンピュータ読み取り可能媒体は、コンピュータ装置で実行された場合に、上記の実施の形態のうちの何れかに従う方法をコンピュータ装置に実行させる複数の命令を格納していてもよい。
更に別の例において、装置は、上記の実施の形態のうちの何れかに従う方法を実行する手段を含んでもよい。
上記の実施例は特徴の具体的な組み合わせを含んでいる。しかしながら、そのような上記の実施例はそのような例に限定されず、様々な実施形態において、上記の実施例は、そのような特徴の一部分のみを使用してもよいし、そのような特徴を異なる順序で使用してもよいし、そのような特徴の異なる組み合わせを使用してもよいし、及び/又は明示的に列挙されている特徴以外の追加的な特徴を使用することを含んでもよい。例えば、実施例の方法に関して説明された特徴の全部又は一部が、装置例、システム例、及び/又は製品例に関して使用されてもよい。
104 ベースレイヤ
106 エンハンスメントレイヤ
112 エンハンスメントレイヤ入力フレーム
114 ベースレイヤ入力フレーム
130 マルチプレクサ
140 スケーラブルビットストリーム

Claims (24)

  1. スケーラブルビデオコーディングを実行するためにコンピュータが実行する処理方法であって、
    再構築されたリファレンスレイヤビデオデータに固定リファイニングフィルタを適用し、リファインされた再構築ビデオデータを生成するステップと、
    前記リファインされた再構築ビデオデータに少なくとも部分的に基づいて、ビデオデータに関するエンハンスメントレイヤについてレイヤ間予測を実行するステップと
    を有する処理方法。
  2. 再構築されたリファレンスレイヤビデオデータに固定リファイニングフィルタを適用し、リファインされた再構築ビデオデータを生成するステップにおいて、
    単独の固定リファイニングフィルタを使用する、請求項１に記載の処理方法。
  3. 再構築されたリファレンスレイヤビデオデータに固定リファイニングフィルタを適用し、リファインされた再構築ビデオデータを生成するステップが、
    前記再構築されたリファレンスレイヤビデオデータとフィルタ係数との点乗積にオフセット値を加算するステップと、
    前記再構築されたリファレンスレイヤビデオデータのうちフィルタウィンドウの部分に前記固定リファイニングフィルタを適用するステップと
    を有する、請求項１に記載の処理方法。
  4. 再構築されたリファレンスレイヤビデオデータに固定リファイニングフィルタを適用し、リファインされた再構築ビデオデータを生成するステップが、
    第１の固定リファイニングフィルタ及び第２の固定リファイニングフィルタを利用して、前記固定リファイニングフィルタを適用し、
    前記第１の固定リファイニングフィルタは第１の強調効果をもたらし、前記第２の固定リファイニングフィルタは第２の強調効果をもたらし、前記第１の強調効果及び前記第２の強調効果は異なり、
    前記第１の強調効果は、低周波強調効果、高周波強調効果、特定の周波数帯域の強調効果、空間平滑化フィルタ、空間先鋭化フィルタ、特定ヒストグラムバンド強調フィルタ、又は特定ヒストグラムバンドパスフィルタのうちの少なくとも１つに関連する、請求項１に記載の処理方法。
  5. 再構築されたリファレンスレイヤビデオデータに固定リファイニングフィルタを適用し、リファインされた再構築ビデオデータを生成するステップが、
    複数の固定リファイニングフィルタを利用して、前記複数の固定リファイニングフィルタのうちの固定リファイニングフィルタを適用し、
    前記複数の固定リファイニングフィルタは、対称的な固定リファイニングフィルタ、非対称な固定リファイニングフィルタ、１次元的な固定リファイニングフィルタ、分離されている２次元的な固定リファイニングフィルタ、又は分離されていない２次元的な固定リファイニングフィルタのうちの少なくとも１つを含む、請求項１に記載の処理方法。
  6. 再構築されたリファレンスレイヤビデオデータに固定リファイニングフィルタを適用し、リファインされた再構築ビデオデータを生成するステップが、
    複数の固定リファイニングフィルタを利用して、前記複数の固定リファイニングフィルタのうちの固定リファイニングフィルタを適用し、
    前記複数の固定リファイニングフィルタは、空間的な平滑化フィルタ又は空間的な先鋭化フィルタのうちの少なくとも１つを有する、請求項１に記載の処理方法。
  7. 再構築されたリファレンスレイヤビデオデータに固定リファイニングフィルタを適用し、リファインされた再構築ビデオデータを生成するステップが、
    複数の固定リファイニングフィルタを利用して、前記複数の固定リファイニングフィルタのうちの固定リファイニングフィルタを適用し、
    前記複数の固定リファイニングフィルタは、特定ヒストグラムバンド強調フィルタ又は特定ヒストグラムバンドパスフィルタのうちの少なくとも１つを有する、請求項１に記載の処理方法。
  8. 再構築されたリファレンスレイヤビデオデータに固定リファイニングフィルタを適用し、リファインされた再構築ビデオデータを生成するステップが、
    複数の固定リファイニングフィルタを利用して、前記複数の固定リファイニングフィルタのうちの固定リファイニングフィルタを適用し、
    前記複数の固定リファイニングフィルタは、低周波強調フィルタ、高周波強調フィルタ、特定周波数バンド強調フィルタ、ハイパス周波数フィルタ、バンドパス周波数フィルタ又はローパス周波数フィルタのうちの少なくとも１つを有する、請求項１に記載の処理方法。
  9. 当該処理方法は、前記固定リファイニングフィルタを適用する前に、再構築された画像データに下位レイヤ処理を適用するステップを更に有し、
    前記下位レイヤ処理は、空間スケーラビリティに関するアップサンプリング、カラーフォーマットスケーラビリティに関するカラーサンプルマッチング、色空間スケーラビリティに関する色空間変換、又はビット深度スケーラビリティに関するトーンマッピングのうちの少なくとも１つを含む、請求項１に記載の処理方法。
  10. 当該処理方法が、前記固定リファイニングフィルタを適用する前に、前記再構築されたリファレンスレイヤビデオデータの評価に少なくとも部分的に基づいて、使用され得る複数の固定リファイニングフィルタのうちの固定リファイニングフィルタを適用することを決定するステップを更に有し、
    前記評価は、ローカル適応方法に少なくとも部分的に基づいており、
    前記評価は、前記再構築されたリファレンスレイヤビデオデータのローカルなエッジ情報、前記再構築されたリファレンスレイヤビデオデータの勾配の大きさ、又は前記再構築されたリファレンスレイヤビデオデータのローカルな分散のうちの少なくとも１つの評価を含む、請求項１に記載の処理方法。
  11. 前記レイヤ間予測に少なくとも部分的に基づいてビットストリームをインジケータと共にエンコードするステップであって、前記ビットストリームは残差コーディングによりエンコードされ、前記インジケータは前記固定リファイニングフィルタを適用するか否かを示す、ステップと、
    複数の固定リファイニングフィルタのうち何れの固定リファイニングフィルタを適用するかを示す固定リファイニングフィルタインジケータと共に前記ビットストリームをエンコードするステップと
    を更に有する請求項１に記載の処理方法。
  12. 前記ビデオデータに関連するビットストリームにアクセスし、前記固定リファイニングフィルタを適用するか否かを示すインジケータを判定するステップと、
    前記ビデオデータに関連する前記ビットストリームにアクセスし、複数の固定リファイニングフィルタのうち何れの固定リファイニングフィルタを適用するかを示す固定リファイニングフィルタインジケータを判定するステップと
    を更に有する請求項１に記載の処理方法。
  13. 前記固定リファイニングフィルタを適用する前に、再構築された画像データに下位レイヤ処理を適用するステップであって、前記下位レイヤ処理は、空間スケーラビリティに関するアップサンプリング又はビット深度スケーラビリティに関するトーンマッピングのうちの少なくとも１つを含む、ステップと、
    前記固定リファイニングフィルタを適用する前に、前記再構築されたリファレンスレイヤビデオデータの評価に少なくとも部分的に基づいて、使用され得る複数の固定リファイニングフィルタのうちの固定リファイニングフィルタを適用することを決定するステップであって、前記評価は、ローカル適応方法に少なくとも部分的に基づいており、前記評価は、前記再構築されたリファレンスレイヤビデオデータのローカルなエッジ情報、前記再構築されたリファレンスレイヤビデオデータの勾配の大きさ、又は前記再構築されたリファレンスレイヤビデオデータのローカルな分散のうちの少なくとも１つの評価を含む、ステップと、
    前記レイヤ間予測に少なくとも部分的に基づいてビットストリームをインジケータと共にエンコードするステップであって、前記ビットストリームは残差コーディングによりエンコードされ、前記インジケータは前記固定リファイニングフィルタを適用するか否かを示し、前記インジケータはビットストリームフラグを有する、ステップと、
    複数の固定リファイニングフィルタのうち何れの固定リファイニングフィルタを適用するかを示す固定リファイニングフィルタインジケータと共に前記ビットストリームをエンコードするステップと、
    前記ビデオデータに関連するビットストリームにアクセスし、前記固定リファイニングフィルタを適用するか否かを示すインジケータを判定するステップであって、前記インジケータは前記ビットストリームフラグを示す、ステップと、
    前記ビデオデータに関連する前記ビットストリームにアクセスし、複数の固定リファイニングフィルタのうち何れの固定リファイニングフィルタを適用するかを示す固定リファイニングフィルタインジケータを判定するステップと、
    前記レイヤ間予測に少なくとも部分的に基づいて前記エンハンスメントレイヤに関するエンハンスメントレイヤ出力ビデオデータを生成するステップと
    を更に有し、
    再構築されたリファレンスレイヤビデオデータに固定リファイニングフィルタを適用し、リファインされた再構築ビデオデータを生成する前記ステップにおいて、ローパスフィルタを有する単独の固定リファイニングフィルタを使用し、
    再構築されたリファレンスレイヤビデオデータに固定リファイニングフィルタを適用し、リファインされた再構築ビデオデータを生成する前記ステップにおいて、複数の固定リファイニングフィルタを利用し、前記複数の固定リファイニングフィルタのうちの固定リファイニングフィルタを適用し、
    再構築されたリファレンスレイヤビデオデータに固定リファイニングフィルタを適用し、リファインされた再構築ビデオデータを生成する前記ステップにおいて、前記再構築されたリファレンスレイヤビデオデータとフィルタ係数との点乗積にオフセット値を加算し、前記再構築されたリファレンスレイヤビデオデータのうちフィルタウィンドウの部分に前記固定リファイニングフィルタを適用し、
    前記複数の固定リファイニングフィルタは、対称的な固定リファイニングフィルタ、非対称な固定リファイニングフィルタ、１次元的な固定リファイニングフィルタ、分離されている２次元的な固定リファイニングフィルタ、分離されていない２次元的な固定リファイニングフィルタ、空間平滑化フィルタ、空間先鋭化フィルタ、特定ヒストグラムバンド強調フィルタ、特定ヒストグラムバンドパスフィルタ、低周波強調フィルタ、高周波強調フィルタ、特定周波数バンド強調フィルタ、ハイパス周波数フィルタ、バンドパス周波数フィルタ又はローパス周波数フィルタのうちの少なくとも１つを有し、
    再構築されたリファレンスレイヤビデオデータに固定リファイニングフィルタを適用し、リファインされた再構築ビデオデータを生成する前記ステップにおいて、第１の固定リファイニングフィルタ及び第２の固定リファイニングフィルタを利用して、前記固定リファイニングフィルタを適用し、前記第１の固定リファイニングフィルタは第１の強調効果をもたらし、前記第２の固定リファイニングフィルタは第２の強調効果をもたらし、前記第１の強調効果及び前記第２の強調効果は異なり、前記第１の強調効果は、低周波強調効果、高周波強調効果、特定の周波数帯域の強調効果、空間平滑化フィルタ、空間先鋭化フィルタ、特定ヒストグラムバンド強調フィルタ、又は特定ヒストグラムバンドパスフィルタのうちの少なくとも１つに関連し、
    再構築されたリファレンスレイヤビデオデータに前記第２の固定リファイニングフィルタを適用する際に、前記再構築されたリファレンスレイヤビデオデータと第２のフィルタ係数との点乗積に第２のオフセット値を加算し、前記第２の固定リファイニングフィルタの前記第２のオフセット値は前記第１の固定リファイニングフィルタの第１のオフセット値とは異なり、
    前記第１の固定リファイニングフィルタはローパスフィルタを有し、前記第２の固定リファイニングフィルタは高周波強調フィルタを有し、
    前記再構築されたリファレンスレイヤビデオデータは、画像、スライス又はブロックのうちの少なくとも１つを有し、
    前記再構築されたリファレンスレイヤビデオデータは前記ビデオデータのリファレンスレイヤに関連し、前記リファレンスレイヤはベースレイヤ又は第２のエンハンスメントレイヤのうちの少なくとも１つを有し、前記エンハンスメントレイヤは前記第２のエンハンスメントレイヤより上位にあり、前記リファレンスレイヤ及び前記エンハンスメントレイヤのスケーラビリティは異なり、前記スケーラビリティは、品質のスケーラビリティ、時間的なスケーラビリティ又はビット深度のスケーラビリティのうちの少なくとも１つを有し、
    前記リファレンスレイヤはベースレイヤを有し、前記エンハンスメントレイヤはレベル１のエンハンスメントレイヤを有し、
    前記レイヤ間予測を実行する際に、エンハンスメントレイヤのデコーダ又はベースレイヤのデコーダのうちの少なくとも１つによりレイヤ間予測を実行し、前記エンハンスメントレイヤのデコーダは少なくとも部分的にハードウェアで実現されており、
    前記レイヤ間予測を実行する際に、エンハンスメントレイヤのエンコーダ又はベースレイヤのエンコーダのうちの少なくとも１つによりレイヤ間予測を実行する、請求項１に記載の処理方法。
  14. コンピュータにおけるビデオコーディングシステムであって、
    ビデオデータを提示するように形成される表示装置と、
    前記表示装置に通信可能に結合される１つ以上のプロセッサと、
    前記１つ以上のプロセッサに通信可能に結合される１つ以上のメモリ格納部と、
    前記１つ以上のプロセッサに通信可能に結合され、再構築されたリファレンスレイヤビデオデータに固定リファイニングフィルタを適用し、リファインされた再構築ビデオデータを生成するように形成されるレイヤ間予測モジュールと、
    前記１つ以上のプロセッサに通信可能に結合され、前記リファインされた再構築ビデオデータに少なくとも部分的に基づいて、前記ビデオデータに関するエンハンスメントレイヤについてレイヤ間予測を実行するように形成されるエンハンスメントレイヤビデオコーダと
    を有し、前記表示装置を介する画像データの提示は前記レイヤ間予測に少なくとも部分的に基づいている、ビデオコーディングシステム。
  15. 前記レイヤ間予測モジュールが単独の固定リファイニングフィルタを利用することにより前記固定リファイニングフィルタを適用するように形成され、前記単独の固定リファイニングフィルタはローパスフィルタを有する、請求項１４に記載のビデオコーディングシステム。
  16. 前記レイヤ間予測モジュールが、第１の固定リファイニングフィルタ及び第２の固定リファイニングフィルタを利用することにより、前記固定リファイニングフィルタを適用する際に、前記再構築されたリファレンスレイヤビデオデータに前記固定リファイニングフィルタを適用し、前記第１の固定リファイニングフィルタは第１の強調効果をもたらし、前記第２の固定リファイニングフィルタは第２の強調効果をもたらし、前記第１の強調効果及び前記第２の強調効果は異なる、請求項１４に記載のビデオコーディングシステム。
  17. 前記レイヤ間予測モジュールが、第１の固定リファイニングフィルタ及び第２の固定リファイニングフィルタを利用することにより、前記固定リファイニングフィルタを適用する際に、前記再構築されたリファレンスレイヤビデオデータに前記固定リファイニングフィルタを適用し、前記第１の固定リファイニングフィルタはローパスフィルタを有し、前記第２の固定リファイニングフィルタは高周波強調フィルタを有する、請求項１４に記載のビデオコーディングシステム。
  18. 前記レイヤ間予測モジュールが、複数の固定リファイニングフィルタを利用することにより、前記固定リファイニングフィルタを適用する際に、前記再構築されたリファレンスレイヤビデオデータに、前記複数の固定リファイニングフィルタのうちの固定リファイニングフィルタを適用する、請求項１４に記載のビデオコーディングシステム。
  19. 前記レイヤ間予測モジュールが、前記再構築されたリファレンスレイヤビデオデータとフィルタ係数との点乗積にオフセット値を加算することにより、前記固定リファイニングフィルタを適用し、
    前記再構築されたリファレンスレイヤビデオデータに前記固定リファイニングフィルタを適用する際に、前記再構築されたリファレンスレイヤビデオデータに前記固定リファイニングフィルタのフィルタウィンドウに、前記固定リファイニングフィルタを適用する、請求項１４に記載のビデオコーディングシステム。
  20. 前記レイヤ間予測モジュールが前記エンハンスメントレイヤビデオコーダ又はベースレイヤビデオコーダのうちの少なくとも１つにより使用される、請求項１４に記載のビデオコーディングシステム。
  21. 前記エンハンスメントレイヤビデオコーダがエンハンスメントレイヤビデオデコーダを有する、請求項１４に記載のビデオコーディングシステム。
  22. 前記レイヤ間予測モジュールが、
    前記固定リファイニングフィルタを適用する前に、再構築された画像データに下位レイヤ処理を適用するステップであって、前記下位レイヤ処理は、空間スケーラビリティに関するアップサンプリング又はビット深度スケーラビリティに関するトーンマッピングのうちの少なくとも１つを含む、ステップと、
    前記固定リファイニングフィルタを適用する前に、前記再構築されたリファレンスレイヤビデオデータの評価に少なくとも部分的に基づいて、使用され得る複数の固定リファイニングフィルタのうちの固定リファイニングフィルタを適用することを決定するステップであって、前記評価は、ローカル適応方法に少なくとも部分的に基づいており、前記評価は、前記再構築されたリファレンスレイヤビデオデータのローカルなエッジ情報、前記再構築されたリファレンスレイヤビデオデータの勾配の大きさ、又は前記再構築されたリファレンスレイヤビデオデータのローカルな分散のうちの少なくとも１つの評価を含む、ステップと、
    を更に実行するように形成されており、
    前記エンハンスメントレイヤビデオコーダが、
    前記レイヤ間予測に少なくとも部分的に基づいてビットストリームをインジケータと共にエンコードするステップであって、前記ビットストリームは残差コーディングによりエンコードされ、前記インジケータは前記固定リファイニングフィルタを適用するか否かを示し、前記インジケータはビットストリームフラグを有する、ステップと、
    複数の固定リファイニングフィルタのうち何れの固定リファイニングフィルタを適用するかを示す固定リファイニングフィルタインジケータと共に前記ビットストリームをエンコードするステップと、
    前記ビデオデータに関連するビットストリームにアクセスし、前記固定リファイニングフィルタを適用するか否かを示すインジケータを判定するステップであって、前記インジケータは前記ビットストリームフラグを示す、ステップと、
    前記ビデオデータに関連する前記ビットストリームにアクセスし、複数の固定リファイニングフィルタのうち何れの固定リファイニングフィルタを適用するかを示す固定リファイニングフィルタインジケータを判定するステップと、
    前記レイヤ間予測に少なくとも部分的に基づいて前記エンハンスメントレイヤに関するエンハンスメントレイヤ出力ビデオデータを生成するステップと
    を更に実行するように形成されており、
    再構築されたリファレンスレイヤビデオデータに固定リファイニングフィルタを適用し、リファインされた再構築ビデオデータを生成する前記ステップにおいて、ローパスフィルタを有する単独の固定リファイニングフィルタを使用し、
    再構築されたリファレンスレイヤビデオデータに固定リファイニングフィルタを適用し、リファインされた再構築ビデオデータを生成する前記ステップにおいて、複数の固定リファイニングフィルタを利用し、前記複数の固定リファイニングフィルタのうちの固定リファイニングフィルタを適用し、
    再構築されたリファレンスレイヤビデオデータに固定リファイニングフィルタを適用し、リファインされた再構築ビデオデータを生成する前記ステップにおいて、前記再構築されたリファレンスレイヤビデオデータとフィルタ係数との点乗積にオフセット値を加算し、前記再構築されたリファレンスレイヤビデオデータのうちフィルタウィンドウの部分に前記固定リファイニングフィルタを適用し、
    前記複数の固定リファイニングフィルタは、対称的な固定リファイニングフィルタ、非対称な固定リファイニングフィルタ、１次元的な固定リファイニングフィルタ、分離されている２次元的な固定リファイニングフィルタ、分離されていない２次元的な固定リファイニングフィルタ、空間平滑化フィルタ、空間先鋭化フィルタ、特定ヒストグラムバンド強調フィルタ、特定ヒストグラムバンドパスフィルタ、低周波強調フィルタ、高周波強調フィルタ、特定周波数バンド強調フィルタ、ハイパス周波数フィルタ、バンドパス周波数フィルタ又はローパス周波数フィルタのうちの少なくとも１つを有し、
    再構築されたリファレンスレイヤビデオデータに固定リファイニングフィルタを適用し、リファインされた再構築ビデオデータを生成する前記ステップにおいて、第１の固定リファイニングフィルタ及び第２の固定リファイニングフィルタを利用して、前記固定リファイニングフィルタを適用し、前記第１の固定リファイニングフィルタは第１の強調効果をもたらし、前記第２の固定リファイニングフィルタは第２の強調効果をもたらし、前記第１の強調効果及び前記第２の強調効果は異なり、前記第１の強調効果は、低周波強調効果、高周波強調効果、特定の周波数帯域の強調効果、空間平滑化フィルタ、空間先鋭化フィルタ、特定ヒストグラムバンド強調フィルタ、又は特定ヒストグラムバンドパスフィルタのうちの少なくとも１つに関連し、
    再構築されたリファレンスレイヤビデオデータに前記第２の固定リファイニングフィルタを適用する際に、前記再構築されたリファレンスレイヤビデオデータと第２のフィルタ係数との点乗積に第２のオフセット値を加算し、前記第２の固定リファイニングフィルタの前記第２のオフセット値は前記第１の固定リファイニングフィルタの第１のオフセット値とは異なり、
    前記第１の固定リファイニングフィルタはローパスフィルタを有し、前記第２の固定リファイニングフィルタは高周波強調フィルタを有し、
    前記再構築されたリファレンスレイヤビデオデータは、画像、スライス又はブロックのうちの少なくとも１つを有し、
    前記再構築されたリファレンスレイヤビデオデータは前記ビデオデータのリファレンスレイヤに関連し、前記リファレンスレイヤはベースレイヤ又は第２のエンハンスメントレイヤのうちの少なくとも１つを有し、前記エンハンスメントレイヤは前記第２のエンハンスメントレイヤより上位にあり、前記リファレンスレイヤ及び前記エンハンスメントレイヤのスケーラビリティは異なり、前記スケーラビリティは、品質のスケーラビリティ、時間的なスケーラビリティ又はビット深度のスケーラビリティのうちの少なくとも１つを有し、
    前記リファレンスレイヤはベースレイヤを有し、前記エンハンスメントレイヤはレベル１のエンハンスメントレイヤを有し、
    前記レイヤ間予測を実行する際に、エンハンスメントレイヤのデコーダ又はベースレイヤのデコーダのうちの少なくとも１つによりレイヤ間予測を実行し、前記エンハンスメントレイヤのデコーダは少なくとも部分的にハードウェアで実現されており、
    前記レイヤ間予測を実行する際に、エンハンスメントレイヤのエンコーダ又はベースレイヤのエンコーダのうちの少なくとも１つによりレイヤ間予測を実行する、請求項１４に記載のビデオコーディングシステム。
  23. コンピュータ装置で実行される際に、請求項１から１３のうちの何れか１項に記載の処理方法を前記コンピュータ装置に実行させる複数の命令を有する少なくとも１つのコンピュータ読み取り可能媒体。
  24. 請求項１から１３のうちの何れか１項に記載の処理方法を実行する手段を有する装置。
JP2014000268A 2013-01-04 2014-01-06 処理方法及びビデオコーディングシステム Expired - Fee Related JP5976696B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361749000P 2013-01-04 2013-01-04
US61/749,000 2013-01-04
US13/856,212 2013-04-03
US13/856,212 US9596465B2 (en) 2013-01-04 2013-04-03 Refining filter for inter layer prediction of scalable video coding

Publications (2)

Publication Number Publication Date
JP2014140163A true JP2014140163A (ja) 2014-07-31
JP5976696B2 JP5976696B2 (ja) 2016-08-24

Family

ID=50023411

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014000268A Expired - Fee Related JP5976696B2 (ja) 2013-01-04 2014-01-06 処理方法及びビデオコーディングシステム

Country Status (6)

Country Link
US (2) US9596465B2 (ja)
EP (1) EP2753088A1 (ja)
JP (1) JP5976696B2 (ja)
KR (1) KR101731335B1 (ja)
BR (1) BR102014000180A2 (ja)
TW (1) TWI548263B (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006031737A2 (en) * 2004-09-14 2006-03-23 Gary Demos High quality wide-range multi-layer compression coding system
US20130107949A1 (en) * 2011-10-26 2013-05-02 Intellectual Discovery Co., Ltd. Scalable video coding method and apparatus using intra prediction mode
US10616573B2 (en) * 2013-01-07 2020-04-07 Nokia Technologies Oy Method and apparatus for video coding and decoding
CN105659601A (zh) * 2013-10-11 2016-06-08 索尼公司 图像处理装置和图像处理方法
WO2017052409A1 (en) 2015-09-25 2017-03-30 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation with selectable interpolation filter
JP6678735B2 (ja) 2015-09-25 2020-04-08 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 予測符号化のための適応シャープニングフィルタ
CN108141603B (zh) 2015-09-25 2020-12-15 华为技术有限公司 视频编解码方法及视频编解码器
EP3354027A1 (en) 2015-09-25 2018-08-01 Huawei Technologies Co., Ltd. Apparatus and method for video motion compensation
MY197611A (en) * 2015-09-25 2023-06-28 Huawei Tech Co Ltd Apparatus and method for video motion compensation
US20180359468A1 (en) * 2015-10-01 2018-12-13 Lg Electronics Inc. Image processing method on basis of inter prediction mode and apparatus therefor
FR3042936A1 (fr) * 2015-10-23 2017-04-28 Sagemcom Broadband Sas Procede de codage et procede de decodage d'au moins une image
WO2017121549A1 (en) * 2016-01-12 2017-07-20 Telefonaktiebolaget Lm Ericsson (Publ) Frequency based prediction
GB201607879D0 (en) * 2016-05-05 2016-06-22 Magic Pony Technology Ltd Video encoding using hierarchical algorithms
KR102320198B1 (ko) * 2017-04-05 2021-11-02 삼성전자주식회사 깊이 영상 보정 방법 및 장치
CN109285127B (zh) * 2018-09-03 2021-08-31 中国民航大学 一种改进的PolSAR图像非局部均值滤波方法
CN114667734A (zh) 2019-09-23 2022-06-24 阿里巴巴集团控股有限公司 通过重采样执行运动补偿插值的滤波器
US11743459B2 (en) * 2020-09-29 2023-08-29 Qualcomm Incorporated Filtering process for video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295913A (ja) * 2005-04-11 2006-10-26 Sharp Corp 空間的スケーラブルコーディングのためのアダプティブアップサンプリング方法および装置
WO2012081609A1 (ja) * 2010-12-14 2012-06-21 シャープ株式会社 画像フィルタ装置、復号装置、符号化装置、および、データ構造
WO2012167712A1 (en) * 2011-06-10 2012-12-13 Mediatek Inc. Method and apparatus of scalable video coding

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2663178B1 (fr) * 1990-06-06 1995-07-21 Thomson Csf Procede d'estimation hierarchique du mouvement dans une sequence d'images.
US6760463B2 (en) * 1995-05-08 2004-07-06 Digimarc Corporation Watermarking methods and media
US6236757B1 (en) * 1998-06-18 2001-05-22 Sharp Laboratories Of America, Inc. Joint coding method for images and videos with multiple arbitrarily shaped segments or objects
US7460596B2 (en) * 2004-04-29 2008-12-02 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
GB0600141D0 (en) * 2006-01-05 2006-02-15 British Broadcasting Corp Scalable coding of video signals
JP2009522971A (ja) * 2006-01-10 2009-06-11 ノキア コーポレイション 拡張可能ビデオ符号化のための切換型フィルタアップサンプリング機構
KR100772873B1 (ko) 2006-01-12 2007-11-02 삼성전자주식회사 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
US8059714B2 (en) * 2006-07-10 2011-11-15 Sharp Laboratories Of America, Inc. Methods and systems for residual layer scaling
US8325819B2 (en) 2006-10-12 2012-12-04 Qualcomm Incorporated Variable length coding table selection based on video block type for refinement coefficient coding
MX2009006404A (es) * 2006-12-18 2009-06-23 Koninkl Philips Electronics Nv Compresion y descompresion de imagen.
US8107571B2 (en) * 2007-03-20 2012-01-31 Microsoft Corporation Parameterized filters and signaling techniques
WO2009003499A1 (en) * 2007-06-29 2009-01-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding supporting pixel value refinement scalability
TWI336782B (en) 2007-07-05 2011-02-01 Apex Biotechnology Corp Composite modified electrode trip
BRPI0817770B1 (pt) * 2007-10-16 2020-11-10 Interdigital Madison Patent Holdings métodos e aparelhos para a remoção de artefatos para a escalabilidade de profundidade em bits
US8126054B2 (en) * 2008-01-09 2012-02-28 Motorola Mobility, Inc. Method and apparatus for highly scalable intraframe video coding
PL2835976T3 (pl) * 2008-04-16 2017-04-28 Ge Video Compression, Llc Skalowalność głębi bitowej
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
CN102598660B (zh) * 2009-04-20 2015-04-29 杜比实验室特许公司 用于多层视频传输的自适应内插滤波器
US9241160B2 (en) * 2010-07-21 2016-01-19 Dolby Laboratories Licensing Corporation Reference processing using advanced motion models for video coding
DE102010033171A1 (de) * 2010-08-03 2012-02-09 Krones Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben einer Anlage zum Behandeln von Behältnissen mit übergeordneter Parameteranwahl
US8462221B2 (en) * 2010-11-03 2013-06-11 Eastman Kodak Company Method for producing high dynamic range images
BR112013031215B8 (pt) * 2011-06-10 2022-07-19 Mediatek Inc Método e aparelho de codificação escalável de vídeo
US8754671B2 (en) * 2011-07-29 2014-06-17 Crossbar, Inc. Field programmable gate array utilizing two-terminal non-volatile memory
ITMI20120788A1 (it) * 2012-05-09 2013-11-10 Ilpea Ind Spa Sistema schermante flessibile a copertura totale per onde elettromagnetiche
WO2013173292A1 (en) * 2012-05-14 2013-11-21 Motorola Mobility Llc Scalable video coding with enhanced base layer
EP2853096A4 (en) * 2012-05-21 2016-07-06 Mediatek Singapore Pte Ltd METHOD AND APPARATUS FOR FILTERING BETWEEN LAYERS FOR SCALABLE VIDEO CODING
WO2013185336A1 (en) 2012-06-15 2013-12-19 Intel Corporation Adaptive filtering for scalable video coding
EP2813079B1 (en) * 2012-06-20 2019-08-07 HFI Innovation Inc. Method and apparatus of inter-layer prediction for scalable video coding
US9344718B2 (en) * 2012-08-08 2016-05-17 Qualcomm Incorporated Adaptive up-sampling filter for scalable video coding
JP6763664B2 (ja) * 2012-10-01 2020-09-30 ジーイー ビデオ コンプレッション エルエルシー エンハンスメント層作動パラメータのためのベース層ヒントを使用するスケーラブルビデオ符号化
US9912942B2 (en) * 2012-12-28 2018-03-06 Qualcomm Incorporated High-frequency-pass sample adaptive offset in video coding
KR20140089487A (ko) * 2013-01-04 2014-07-15 삼성전자주식회사 위상차를 고려한 영상 업샘플링을 이용하는 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295913A (ja) * 2005-04-11 2006-10-26 Sharp Corp 空間的スケーラブルコーディングのためのアダプティブアップサンプリング方法および装置
WO2012081609A1 (ja) * 2010-12-14 2012-06-21 シャープ株式会社 画像フィルタ装置、復号装置、符号化装置、および、データ構造
WO2012167712A1 (en) * 2011-06-10 2012-12-13 Mediatek Inc. Method and apparatus of scalable video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YI-JEN CHIU ET AL., "DESCRIPTION OF SCALABLE VIDEO CODING TECHNOLOGY PROPOSAL BY INTEL, JPN6015007951, 10 October 2012 (2012-10-10), ISSN: 0003016333 *

Also Published As

Publication number Publication date
US9596465B2 (en) 2017-03-14
TW201448568A (zh) 2014-12-16
TWI548263B (zh) 2016-09-01
EP2753088A1 (en) 2014-07-09
KR101731335B1 (ko) 2017-04-28
US10462467B2 (en) 2019-10-29
JP5976696B2 (ja) 2016-08-24
BR102014000180A2 (pt) 2015-11-17
US20140192865A1 (en) 2014-07-10
KR20140089482A (ko) 2014-07-15
US20170163989A1 (en) 2017-06-08

Similar Documents

Publication Publication Date Title
JP5976696B2 (ja) 処理方法及びビデオコーディングシステム
JP6550633B2 (ja) ３ｄビデオコーディングのための予測パラメータ継承
US20150181216A1 (en) Inter-layer pixel sample prediction
CN104756498B (zh) 跨层运动向量预测
EP2901694A1 (en) Inter-layer residual prediction
TWI559749B (zh) 層間移動資料繼承之技術
JP6060394B2 (ja) クロスレイヤー・クロスチャネル残差予測
KR20150070313A (ko) 다수의 독립 코딩 스트림들 사이에서 공유된 모션 추정을 포함하는 비디오 코딩
US9860533B2 (en) Cross-layer cross-channel sample prediction
JP6005847B2 (ja) スケーラブルなビデオコーディングのためのアダプティブフィルタリング
KR101777487B1 (ko) 코딩 단위 비트 수 제한
JP2015146599A (ja) レイヤ間画素サンプル予測

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160720

R150 Certificate of patent or registration of utility model

Ref document number: 5976696

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees