JP2011083022A - 拡張された空間スケーラビティにおける画像レベルの適応化方法およびシステム - Google Patents

拡張された空間スケーラビティにおける画像レベルの適応化方法およびシステム Download PDF

Info

Publication number
JP2011083022A
JP2011083022A JP2010277337A JP2010277337A JP2011083022A JP 2011083022 A JP2011083022 A JP 2011083022A JP 2010277337 A JP2010277337 A JP 2010277337A JP 2010277337 A JP2010277337 A JP 2010277337A JP 2011083022 A JP2011083022 A JP 2011083022A
Authority
JP
Japan
Prior art keywords
base layer
prediction
crop window
image
base
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010277337A
Other languages
English (en)
Other versions
JP5154635B2 (ja
Inventor
Shijun Sun
サン シジュン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2011083022A publication Critical patent/JP2011083022A/ja
Application granted granted Critical
Publication of JP5154635B2 publication Critical patent/JP5154635B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】拡張された空間スケーラビティにおける画像レベルの適応化方法およびシステムを提供する。
【解決手段】上位レイヤ画像２５１と、下位レイヤ画像２５３との幾何学的関係において、画像レベルの適応化方法は、（ａ）入力ビデオシーケンスの第１画像の第１位置での第１クロップウインドウを規定する工程と、（ｂ）上記第１クロップウインドウに対応する第１ベースレイヤを生成する工程と、（ｃ）上記入力ビデオシーケンスの第２画像の前記第１位置と異なる位置である第２位置での第２クロップウインドウを規定する工程と、（ｄ）上記第２クロップウインドウに対応する第２ベースレイヤを生成する工程と、を含む。
【選択図】図１

Description

本発明は、拡張された空間スケーラビティにおける画像レベルの適応化方法およびシステム関し、また、画像レイヤ予測に用いる動きベクトルの拡張および調整方法およびシステムに関するものである。
動画データの圧縮符号化方式の標準であるＨ．２６４／ＭＰＥＧ−４ ＡＶＣは、非特許文献１に開示されているように、マクロブロック予測、残差符号化を順次行い、ビデオシーケンスの時間的または空間的な冗長性を取り除くことで圧縮効率を向上させる映像符号化方式である。空間スケーラビリティは、レート歪特性を維持しつつ、ビットストリームの一部を取り除くことで、サポートされた如何なる空間解像度をも実現する機能を有している。しかしながら、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣは、単層では空間スケーラビリティをサポートしていない。空間スケーラビリティは、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ スケーラブル映像符号化（ＳＶＣ）の拡張方式でサポートされている。
Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣスケーラブル映像符号化（ＳＶＣ）拡張方式は、非特許文献２に開示されているように、階層化されたビデオコーデックであり、空間レイヤ間の冗長を、レイヤ間予測により取り除くものである。Ｈ．２６４／ＭＰＥＧ−４ＡＶＣの拡張であるＳＶＣ規格に適用されるレイヤ間予測では、レイヤ間動き予測、レイヤ間残差予測、レイヤ間イントラテクスチャ予測の３つの技術が用いられる。
ブロック単位で動き補償する映像コーデックは、H.261, H.263, H264, MPEG-1, MPEG-2, MPEG-4等多くのビデオ圧縮の標準で用いられている。圧縮処理のロスにより、復号化された画像に可視ノイズ（画像ノイズ）が生じることがある。すなわち、画像にブロックの境界にそって、変換係数の量子化によりブロックノイズ（歪み）が生じる。
画像のフィルタリング技術によって、再結合された画像のノイズを減少させることができる。再結合された画像は、逆変換され復号化されることによって形成される。このフィルタリング技術で重要な法則は、画像のエッジ部分を維持しつつ、その他の部分を平滑化することである。ローパスフィルタは、特定の画素または画像エッジの周りの画素セットに基づいて、慎重に選択される。
ブロックの境界を跨ぐ相関のない画像を構成する画素には、特別にフィルタをかけてブロックノイズを低減させる。しかしながら、このフィルタ処理は、一方で画像ボケの要因となってしまう。したがって、隣接するブロック間でブロックノイズが存在しないか、存在しても少ない場合に上記フィルタ処理を行えば、その効果などなく、単に画像ボケを生じさせるだけであり、結局、無駄な処理を行ったことになる。
従来、スケーラブル映像符号化(ＳＶＣ)方式では、ダイアデック空間スケーラビリティだけが採用されていた。このダイアデック空間スケーラビリティでは、２つの連続する空間レイヤ間の画像ディメンションの比率を２の乗数としているが、２つの連続する空間レイヤ間の画像ディメンションの比率が２の乗数でない方法も新たに提案されている。この方法は、上位画像が、対応する下位画像では存在しない領域を含む、クロップ（切り取り）ウインドウを用いた非ダイアデック型スケーリング方法である。
レイヤ間予測方法では、何れの場合も画像アップサンプリングが用いられている。画像アップサンプリングは、低解像度画像から高解像度画像を生成する工程である。画像アップサンプリング処理の中には、サンプル補間処理を伴うものもある。スケーラブル映像符号化方式(ＳＶＣ)で用いられる従来のアップサンプリング処理は、インター予測のためのＨ.２６４で規定された１／４サンプル輝度補間処理に基づいて行われる。
Joint Video Team of ITU-T VCEG and ISO/IECMPEG, "Advanced Video Coding (AVC) - 4th Edition," ITU-T Rec.H.264 and ISO/IEC1/4496-10 (MPEG4-Part 10), January 2005 Working Document 1.0 (WD-1.0) (MPEG Doc. N6901) for the Joint Scalable Video Model (JSVM)
しかしながら、上記の従来のアップサンプリング方法を、空間スケーラブルコーデックに適応した場合、以下の問題があった。すなわち、補間解像度処理が、１／４サンプルに限られ、非ダイアデック型スケーリング方法をサポートしていないため、１／４サンプル位置を得るために、１／２サンプル補間処理を施す必要があり、算出処理が複雑になるという問題があった。したがって、上記の制限を受けることなく少ない演算量で実行できる画像アップサンプリング方法が求められている。
本発明の空間スケーラブル映像符号化方式における画像レベルの適応化方法は、上記の課題を解決するために、（ａ）入力ビデオシーケンスの第１画像の第１位置での第１クロップウインドウを規定する工程と、（ｂ）上記第１クロップウインドウに対応する第１ベースレイヤを生成する工程と、（ｃ）上記入力ビデオシーケンスの第２画像の前記第１位置と異なる位置である第２位置での第２クロップウインドウを規定する工程と、（ｄ）上記第２クロップウインドウに対応する第２ベースレイヤを生成する工程と、を含むことを特徴としている。
また、本発明の空間スケーラブル映像符号化方式におけるベースレイヤからクロップウインドウで規定されるエンハンスメントレイヤ領域を予測する方法は、上記の課題を解決するために、（ａ）上記ベースレイヤの画像ブロックの方向のベースレイヤ動きベクトルを計算する工程と、（ｂ）上記方向の上記ベースレイヤの大きさに対する上記方向の上記クロップウインドウの大きさの比率に基づいて、上記ベースレイヤ動きベクトルを拡張する工程と、（ｃ）参照画像におけるクロップウインドウの位置に対し、上記クロップウインドウの動きを表す拡張された動きベクトルを調整する工程と、を含むことを特徴としている。
また、本発明の空間スケーラブル映像符号化方式においてベースレイヤからクロップウインドウで規定されるエンハンスメントレイヤ領域を予測するシステムは、上記の課題を解決するために、（ａ）上記ベースレイヤの画像ブロックの方向のベースレイヤ動きベクトルを計算する演算部と、（ｂ）上記方向の上記ベースレイヤの大きさに対する上記方向の上記クロップウインドウの大きさの比率に基づいて、上記ベースレイヤ動きベクトルを拡張する拡張部と、（ｃ）上記参照画像におけるクロップウインドウの位置に対し、上記クロップウインドウの動きを表す拡張された動きベクトルを調整する調整部と、を含むことを特徴としている。
本発明の実施の形態におけるエンハンスメントレイヤとベースレイヤとの幾何学的関係を示す説明図である。 本発明の実施の形態におけるアップサンプルされたベースレイヤ画像と、エンハンスメントレイヤ画像との幾何学的関係を示す説明図である。 ４×４ブロックの画素を示す説明図である。 ８×８ブロック内の４×４ブロックを示す説明図である。 予測マクロブロックの８×８ブロックを示す説明図である。
本発明の実施形態は、図面を参照することにより、最もよく理解されるであろう。なお、全ての図中において、同様の部材には同じ符号を付与している。また、各図は、詳細な説明の一部として明確に組み入れられるものである。
本発明の構成要素を、図面では一般化して説明しているが、多種多様な形態に変更および設計が可能である。したがって、本発明の方法およびシステムの実施形態に関する以下の詳細な説明は、本発明の範囲を限定するものではなく、単に、本発明の現時点での好ましい実施形態の一例を示すものに過ぎない。
本発明の実施形態の構成要素を、ハードウェア、ファームウェアおよび／またはソフトウェアに組み込んでもよい。本明細書中に記載されている典型的な実施形態は、これらの形態のほんの一例を説明しているが、当業者であれば、本発明の範囲内において、これらの構成要素をこれらのあらゆる形態において実施できることを理解できるであろう。
本発明の実施の形態は、Ｈ.２６４／ＡＶＣのスケーラブル映像符号化(ＳＶＣ)拡張方式に関するものである。また、空間スケーラブル映像符号化における画像のアップサンプリング処理における問題点の解決方法に関する。具体的には、２００５年４月にＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ：ＭＰＥＧとＶＣＥＧとの共同映像チーム)で採用された空間スケーラブル映像符号化の拡張方式に適応するアップサンプリング工程を提供するものである。
現在のところ、JSVM WD-1.0 [MPEG Doc. N6901]は、ダイアデック空間スケーラビリティのみを対象としており、２つの連続する空間レイヤ間の画像の幅および高さ（画素数で換算）の比率を２の乗数としている。これは、明らかに、例えば、放送用のＳＤ画像からＨＤ画像への拡張等の一般使用を制限する要因となっている。
そこで、[MPEG Doc. ｍ11669]は、拡張された空間スケーラビリティにおいて、２つの連続する空間レイヤ間の画像の幅および高さの比率が２の乗数に限定されず、高レベルの画像が、対応する低レベルの画像に存在しない領域（通常画像の境界領域周辺）を含む構成に対応できるツールを提案している。この提案[MPEG Doc. ｍ11669]は、高位レイヤと低位レイヤの画像ディメンションの比率が２の乗数に限定されず、より一般化するためにWD-1.0[MPEG Doc. N6901]のインターレイヤ予測を拡張する。
本発明の実施の形態は、拡張された空間スケーラビリティ、すなわち、クロップウインドウを用いた非ダイアデックスケーリングに適用されるもので、一般的なアプリケーションに対する画像レベルの適応度を向上させるための調整方法に関するものである。空間スケーラビリティにおける画像レベルの適応化のサポートとして、本発明の実施の形態では、インターレイヤ予測の精度の向上を図るものである。さらに、従来の方法では、解消できなかった種々の課題を解決するものである。
本明細書および特許請求の範囲では、「画像」は、画素配列、デジタル画像、デジタル画像の細分割、デジタル画像のデータチャンネルまたは画像データのその他の表現形式を含むものとする。
図１は映像画像に対応する２つの画像を示している。
本実施の形態では、２つ以上の連続した空間レイヤとして、下位レイヤ（ベースレイヤ）２５３と上位レイヤ（エンハンスメントレイヤ）２５１を有する場合について説明する。これらのレイヤは、図１に示すように、下記の幾何学的関係を有している。以下の説明において、エンハンスメントレイヤ画像の幅をｗenh２５０、高さをｈenh２５２とする。同様に、ベースレイヤ画像の幅をｗbase２５４、高さをｈbase２５６とする。ベースレイヤ２５３は、エンハンスメントレイヤ画像２５１の一部分をサブサンプリング２６４したものであってもよい。この一部分はエンハンスメントレイヤ座標系の座標２６２ (xorig,yorig) に位置し、wextract２５８ とhextract２６０というディメンションをもつ。上位レイヤ画像２５１と、下位レイヤ画像２５３との幾何学的関係は、パラメータ(xorig ,yorig , wextract, hextract, wbase , hbase)により定義される。
本発明の実施の形態では、デコードされたベースレイヤに基づいたエンハンスメントレイヤのマクロブロックの符号化／復号化について説明する。エンハンスメントレイヤのマクロブロックは、(エンハンスメントレイヤ画像の境界上に)対応するベースレイヤのブロックを有しない構成としてもよく、図２に示すように、１ないし数個の、対応するベースレイヤのマクロブロックであってもよい。すなわち、WD-1.0[MPEG Doc. N6901] の場合と異なるインターレイヤ予測の管理が必要である。図２はアップサンプルされたベースレイヤ画像２７２とエンハンスメントレイヤ画像２７０の間で重なるマクロブロックを示している。ベースレイヤ画像２７２中、マクロブロックの境界は、破線２７４で示している。同様に、エンハンスメントレイヤ画像２７０中、マクロブロックの境界は、実線２７６で示している。
[MPEG Doc. m11669]では、幅wextractと高さhextractを、１６の倍数とする必要があるとされている。しかしながら、この制約は、画像レベルの適応化を制限する要因となる。本発明の実施の形態では、幅wextractと高さhextractとを２の倍数とし、さらに、xorig 、yorigも２の倍数とし、色度のアップサンプリング／ダウンサンプリング処理で起こりうる位相ズレの調整工程が煩雑となることを回避している。
図１に示すディメンションおよびその他のパラメータは、下記の符号または変数名で表すことができる。
Figure 2011083022
［インターレイヤ（レイヤ間）動き予測］
上位レイヤマクロブロックは、BASE_LAYER_MODEまたはQPEL_REFINEMENT_MODEを使ってスケーリングベースレイヤ動きデータを使用することによってインターレイヤ予測を利用できる。WD-1.0 [MPEG Doc. N6901]の場合と同様に、これらのマクロブロックモードは、マクロブロックパーティションを含む動き／予測情報が、ベースレイヤから直接得られることを示している。ベースレイヤからの動きデータを継承することによって、予測マクロブロック（MB_pred）を構築することができる。BASE_LAYER_MODEでは、参照インデックスリスト、動きベクトルと同様に、マクロブロックのパーティションは、予測マクロブロックMB_predのそれである。QPEL_REFINEMENT_MODEの場合も、１／４サンプル動きベクトルの改良である点以外は同様である。
予測マクロブロックMB_predを求める方法として、以下の４つのステップから求める方法が提案されている。
・MB_pred の各４×４ブロックについて、ベースレイヤ動きデータから動きデータを継承する。
・MB_pred の各８×８ブロックについて、パーティションを選択する。
・MB_pred のモードを選択する。
・動きベクトルのスケーリングをする。
しかしながら、本発明の実施の形態は、画像レベルの適応化をサポートするためにいくつかの方程式の変更を提示している。
［４×４ブロックの継承］
図３は、４つのコーナ２８１・２８２・２８３・２８４を有する４×４ブロック２８０を示している。この処理は、ブロックの３つのコーナ２８１・２８２・２８３・２８４をチェックする工程からなる。上位レイヤ座標系におけるコーナ画素ｃの座標位置を(x, y)とし、ベースレイヤ座標系における対応する座標位置を (xbase, ybase) とし、以下のように定義する。
Figure 2011083022
画素(x、y)のコロケーティドマクロブロックは、画素(xbase, ybase)含むベースレイヤマクロブロックである。同様に、画素(x、y)のコロケーティド８×８ブロックは、画素(xbase, ybase)含むベースレイヤの８×８ブロックであり、画素(x、y)のコロケーティド４×４ブロックは、画素(xbase, ybase)含むベースレイヤの４×４ブロックである。
ｂの動きデータの承継処理は、以下の通りである。
・各コーナｃについて、各リストlistx (listx=list0またはlist1)の参照インデックスr(c,listx)、動きベクトルmv(c,listx)を、コロケーティドベースレイヤ４×４ブロックのそれに設定する。
・各コーナについて、コロケーティドマクロブロックが存在しない、またはイントラモードの場合、ｂをイントラブロックとして設定する。
・さもなければ、各リストlistxについて、
・何れのコーナもこのリストを使用しない場合、当該リストの何れの参照インデックス、動きベクトルもｂに設定しない。
・さもなければ、
・ｂに設定する参照インデックスrb(listx)を４つのコーナの存在する参照インデックスの最小値とする。
Figure 2011083022
・mvb(listx)に設定する動きベクトルを、参照インデックスrb(listx)を有する４つのコーナの動きベクトルの平均値に設定する。
［８×８（ブロックにおける）パーティション選択］
各４×４ブロック動きデータが設定されると、それが属する８×８ブロックの実際のパーティションを決定するため、あるいは規則違反の構成を避けるために、結合処理が必要となる。以下に、図４を参照し、８×８ブロックを構成する複数の４×４ブロックについて説明する。
各８×８ブロックＢに対し、以下の工程が適応される。
・４つの４×４ブロックがイントラブロックＢとして分類された場合、Ｂはイントラブロックとみなされる。
・さもなければ、Ｂのパーティション選択を行う。
・同じ参照インデックスリストを各４×４ブロックに割り当てるための以下のプロセスを適応する。各リストlistxについて、
・何れの４×４ブロックもこのリストを使用しない場合、当該リストの何れの参照インデックス、動きベクトルもＢに設定しない。
・さもなければ、
・Ｂに設定する参照インデックスrＢ(listx)を４つのコーナの存在する参照インデックスの最小値として計算する。
Figure 2011083022
・同じ参照インデックスrb(listx)を有する４×４ブロックの動きベクトルの平均値mvmean(listx)を算出する。
・（１）イントラブロックとして分類される、（２）このリストを使わない、（３）参照インデックスrＢ(listx)と異なる参照インデックスrｂ(listx)を有する、４×４ブロックは、参照インデックスおよび動きベクトルとして、rB(listx) と mvmean(listx)とがそれぞれ設定される。
・そして、Ｂのパーティションモードが選択される。２つの４×４ブロックは、それらの動きベクトルが同一であれば、同一とみなす。次に、以下の工程にて結合処理を施す。
・b1 がb2と等しく、b3 がb4と等しい場合、
・b1 がb3と等しければ、BLK_8x8を選択する。
・さもなければ、BLK_8x4 を選択する。
・b1がb３と等しく、b２がb4と等しい場合、BLK_4×8を選択する。
・さもなければ、BLK_4x4 を選択する。
［予測マクロブロックモード選択］
本発明の実施の形態では、予測マクロブロックMB_predモードを決定するプロセスを含むものであってもよい。次に、図５に示すマクロブロック３００を構成する８×８ブロック３０１ないし３０４について以下に説明する。
以下に示す場合は、２つの８×８ブロックは同一とみなす。
・２つの８×８ブロックの１つまたは双方がイントラブロックに分類されている場合、又は
・これらの２つのブロック双方のパーティションモードが、いずれもBLK_8x8であり、各ブロックのlist0およびlist1の参照インデックスおよび動きベクトルが存在する場合これらが同一であれば、これらの２つのブロックは同一であるとする。
モード選択は、以下の工程により行う。
・全ての８×８ブロックがイントラブロックとして分類された場合は、予測マクロブロックMB_predを、インターマクロブロックとして分類する。
・さもなければ、予測マクロブロックMB_predを、イントラマクロブロックとして分類する。当該モードの選択は、以下のプロセスで行う。
・イントラとして分類された８×８ブロックは、BLK_8x8 パーティションとする。これらのブロックの参照インデックスおよび動きベクトルは、以下のように計算する。BINTRAを、８×８ブロックとすると、
各リストlistxについて、
・何れの８×８ブロックもこのリストを使用しない場合、当該リストの何れの参照インデックス、動きベクトルもBINTRA に割り当てない。
・さもなければ、以下の工程を実行する。
・８×８ブロックの存在する参照インデックスの最小値として、参照インデックスrmin (listx)を計算する。
Figure 2011083022
・同じ参照インデックスrmin(listx)を有する４×４ブロックの動きベクトルの平均値mvmean(listx)を計算する。
・rmin(listx) を BINTRA に割り当て、 BINTRA の各４×４ブロックを、参照インデックスと、動きベクトルとして、rmin(listx),mvmean(listx)を有するように設定する。
・これにより、Ｂのパーティションモードを選択する。２つの８×８ブロックのパーティションモードが、いずれもBLK_8x8であり、各８×８ブロックのlist0 および list1の参照インデックスおよび動きベクトルが存在する場合は、これらが同一である場合、これら２つの８×８ブロックは、同一であるとする。次に、以下の工程にて結合処理を施す。
・Ｂ1が Ｂ2 と等しく、Ｂ3 がＢ4 と等しい場合、
・Ｂ1 がＢ3と等しければ、MODE_16x16を選択する。
・さもなければ、MODE_16x8 を選択する。
・さもなければ、Ｂ1が Ｂ３と等しく、Ｂ２ がＢ4 と等しい場合、MODE_8x16を選択する。
・さもなければ、MODE_8x8 を選択する。
［動きベクトルスケーリング］
上記の工程により得られた予測マクロブロックMB_pred の存在するすべての動きベクトルに動きベクトルスケーリングを施してもよい。
動きベクトル mv = (dx, dy) は、以下の方式によりベクトル mvs =(dsx, dsy)でスケールすることができる。
Figure 2011083022
上記式中、sign[x] はｘが正の場合「１」に、ｘが負の場合は「-１」に設定されており、ｘがゼロの場合は「０」に設定されている。添字“r”を用いた各符号は、対応する参照画像の位置を表すパラメータを示している。
［インターレイヤテクスチャ予測］
テクスチャアップサンプリング
本発明の実施の形態では、インターレイヤテクスチャ予測を、インターレイヤ動き予測と同様の原理に基づいて適応することができる。ベースレイヤテクスチャアップサンプリングには、２つまたは３つのlobed Lanczos-windowed sinc functionsを用いることができる。２つのlobed Lanczos-windowed sinc functionは、下記式にて定義することができる。
Figure 2011083022
このアップサンプリングは、フレーム全体に対して行ってもよく、またブロック毎に行ってもよい。イントラテクスチャ予測では、各フレーム境界で反復パディングを用いている。残差データの予測には、各ブロック(変換に応じて４×４又は８×８)境界で反復パディングを用いている。
本実施の形態において、「Lanczos２function」により、以下の１６個の４タップアップサンプリングフィルタが表１に定義されている。これらのアップサンプリングフィルタは、ベースレイヤ画像の対応する成分のサンプルグリッドに対し、１／１６サンプル間隔ユニットの１６の異なる補間位相を有している。
座標位置 (x, y)での現在のレイヤにおける輝度サンプルとして、ベースレイヤ画像の対応するサンプルに対する位相ずれは、下記式にて定義される。
Figure 2011083022
Figure 2011083022
色度サンプル座標システムの座標位置 (xc, yc)での現レイヤにおける色度(chroma)サンプルについて、ベースレイヤ画像の対応するサンプルに対する位相ズレは、下記式にて定義できる。
Figure 2011083022
上記式中、
Figure 2011083022
Figure 2011083022
Figure 2011083022
Figure 2011083022
Figure 2011083022
Figure 2011083022
各位相ズレについて、表１から４タップ補間フィルタを選択することができる。
インターレイヤイントラテクスチャ予測
WD-1.0 [MPEG Doc. N6901]でI_BL modeを用いた場合、全ての対応するベースレイヤのマクロブロックをイントラ符号化する必要がある。本発明の本実施の形態では、上記の制約が緩和されており、対応するベースレイヤマクロブロックをインター符号化したり、また符号化しなくてもよい。
I_BL modeで符号化されたマクロブロックのイントラ予測信号を生成する際には、ベースレイヤ信号のコロケーティドブロックがあれば直接デブロッキングして補間する。４つの入力サンプル (X[n-1], X[n], X[n+1], X[n+2])で４タップ補間フィルタの出力値Ｙは下記式により求めることができる。
輝度サンプル
Figure 2011083022
上記式中、
Clip1ｙ(x) = min( max (0, x), (1 << BitDepthｙ) -1)
上記式中、BitDepthｙ は、輝度チャネルデータのビット深度を示す。
色度サンプル
Figure 2011083022
上記式中、
Clip1C( x ) = min( max ( 0, x ), ( 1 << BitDepthC ) -1)
上記式中、BitDepthC は、色度チャネルデータのビット深度を示す。
式（１５）および式（１６）の算出結果は四捨五入するため、フィルタリング順序は、「水平方向が先」または「垂直方向が先」として規定する。フィルタ処理は、水平方向にフィルタ処理を施した後、垂直方向にフィルタ処理を施すことが望ましい。上記のアップサンプリング処理は、以下に説明する拡張された空間スケーラビリティが可能な場合のみ行われる。
アップサンプリングフィルタ処理を行った後、固定値を用いてクロップウインドウの外の画像領域を埋める処理を行う。この固定値は、輝度の場合は(1<<(BitDepthY-1))に、色度の場合は(1<<(BitDepthC-1))に設定されている。
インターレイヤ残差予測
インターレイヤイントラテクスチャ予測と同様に、ベースレイヤの残差のアップサンプリング処理に、同じ４タップフィルタまたは他のフィルタを用いることができるが、四捨五入、クリッピング処理については式（１５）および式（１６）で定義されるものと異なっている。
４つの入力残差サンプル(X[n-1], X[n], X[n+1], X[n+2])に対し、フィルタの出力値Ｙは、下記式で算出する。
輝度の残差サンプル
Figure 2011083022
色差の残差サンプル
Figure 2011083022
残差のアップサンプリング処理のためのクリッピング機能は、下記式にて定義される。
Figure 2011083022
Figure 2011083022
上記式中、
Figure 2011083022
同様に、アップサンプリングフィルタ処理を行った後、固定値を用いてクロップウインドウの外の画像領域を含む残差の予測が適用できない画素位置を埋める処理を行う。この固定値は、全色成分で「０」に設定される。
［シンタックスおよびセマティックスの変更］
シンタックス表
本発明の実施の形態では、後述する大太文字で示した以下の変更を適用してもよい。主な変更としては、シーケンスパラメータセットのシンボル、extended_spatial _scalability、ベースレイヤのアップサンプリング処理に適用する位置変換に関するシーケンスパラメータセットおよびslice_data_in_scalable_extension()中の以下の４つのパラメータを追加する。
Figure 2011083022
Figure 2011083022
Figure 2011083022
Figure 2011083022
［セマンティックス］
スケーラブル拡張におけるシーケンスパラメータセット
スケーラブル拡張におけるシンタックスのシーケンスパラメータのセット
extended_spatial_scalabilityは、ベースレイヤアップサンプリングの位置情報パラメータに関連するシンタックスエレメントの存在を示している。
extended_spatial_scalabilityが「０」の場合、ビットストリームに位置情報パラメータが存在しないことを示している。
extended_spatial_scalability が「１」の場合、ビットストリームに位置情報パラメータが存在することを示している。extended_spatial_scalabilityが「２」の場合、slice_data_in_scalable_extensionに位置情報パラメータが存在することを示している。値３は、extended_spatial_scalability 用に予約されている。
extended_spatial_scalabilityが存在する場合、「０」と等しくなるようにしている。
scaled_base_left_offset_divided_by_twoは、アップサンプルされたベースレイヤ画像の左上画素と、現画像の左上画像との間の水平方向のズレの１／２を示している。
scaled_base_left_offset_divided_by_twoが存在しない場合、ゼロとみなさなければならない。
scaled_base_top_offset_divided_by_twoは、アップサンプルされたベースレイヤ画像の左下画素と、現画像の左下画像との間の垂直方向のズレの１／２を示している。scaled_base_top_offset_divided_by_two が存在しない場合、ゼロとみなさなければならない。
scaled_base_right_offset_divided_by_twoは、アップサンプルされたベースレイヤ画像の右上画素と、現画像の右上画像との間の水平方向のズレの１／２を示している。
scaled_base_right_offset_divided_by_twoが存在しない場合、ゼロとみなさなければならない。
scaled_base_bottom_offset_divided_by_twoは、アップサンプルされたベースレイヤ画像の右下画素と、現画像の右下画像との間の垂直方向のズレの１／２を示している。
scaled_base_bottom_offset_divided_by_twoが存在しない場合、ゼロとみなさなければならない。
すべての位置情報パラメータが、現在のレイヤ中の輝度サンプリング格子に対する１つのサンプル間隔ユニットにおける符号なし整数として特定される。さらに、数個の追加符号(scaled_base_left_offset, scaled_base_top_offset, scaled_base_right_offset, scaled_base_bottom_offset, scaled_base_width, scaled_base_height)が位置情報パラメータに基づいて定義される。
Figure 2011083022
Figure 2011083022
Figure 2011083022
Figure 2011083022
Figure 2011083022
Figure 2011083022
［スケーラブル拡張におけるスライスレイヤデータのシンタックス］
スライスデータのシンタクスエレメントのセマンティックスは、シーケンスパラメータセットの同一のシンタックスエレメントのセマンティックスと同じである。
［デコード処理］
予測データのデコード処理
WD-1.0 [MPEG Doc. N6901]での処理と比較すると、以下の工程が追加される。
extended_spatial_scalabilityが１または２で、かつbase_layer_mode_flagが１の場合、マクロブロックパーティションを含む動きベクトルフィールドは、項目３で説明した工程により求めることができる。WD-1.0 [MPEG Doc. N6901]の場合と同様に、全ての対応するベースレイヤマクロブロックがイントラ符号化された場合、現マクロブロックモードはI_BL に設定する。
・extended_spatial_scalabilityが１又は２でbase_layer_mode_flagが０、base_layer_refinementが１の場合、ベースレイヤリファインメントモードが指定される。ベースレイヤリファインメントモードは、ベースレイヤ予測モードに似ている。マクロブロックパーティション、参照インデックス、および動きベクトルは、項目３で説明した手順で求めることができる。しかしながら、各動きベクトルについて、１／４サンプルベクトルリファインメント（mvd_ref_lX ）(各動きベクトルコンポーネントについて-1, 0,+1)をさらに伝送し求めた動きベクトルに付加する。その他の工程については、WD-1.0 [MPEG Doc. N6901]の場合と同様である。
［サブバンド画像のデコード工程］
WD-1.0 [MPEG Doc. N6901]での処理に、以下の工程が追加される。
extended_spatial_scalabilityが１または２の場合、I_BL modeのＭＢのイントラ予測信号は、以下の工程により生成する。
・コロケーティドベースレイヤブロックまたはマクロブロックをフィルタ処理する。
・デブロックされたブロックを補間することによって、イントラ予測信号を生成する。補間処理については、項目４で説明した工程により行うことができる。その他の工程については、WD-1.0 [MPEG Doc. N6901]の場合と同様である。
extended_spatial_scalabilityが１または２で、かつresidual_prediction_flagが１の場合、以下の処理を施す。
・ ベースレイヤブロックの残差信号をアップサンプルし、現マクロブロックの残差信号に付加する。補間処理については、項目４で説明した工程により行うことができる。
［ループフィルタの変更］
extended_spatial_scalabilityが１又は２の場合、I_BL modeにおけるブロックのフィルタ強度決定時のループフィルタに対しマイナーな変更を行う。
・隣接ブロックがイントラ符号化され、I_BL modeでない場合、Bs は４とする (この最初の工程については、WD-1.0 [MPEG Doc. N6901]と同様である。)。
・隣接するブロックのいずれかに係数が設定されている場合、Bs は２とする。
・隣接するブロックが、I_BL modeでない場合は、Bs は１とする。
・上記に該当しない場合は、Bs は０とする。
［６タップフィルタの実施例］
本発明の実施の形態は、H.264/MPEG-4 AVC スケーラブル映像符号化(ＳＶＣ)の拡張方式に適応するものであり、特に２００５年４月にJVT (Joint Video Team (合同映像チーム):MPEG, VCEG)で採用されたExtended Spatial Scalable (ESS) 映像符号化特性に適応するものである。
現在のスケーラブル映像符号化（ＳＶＣ）方式では、アップサンプリング処理は、Ｈ.２６４インター予測で指定された１／４−サンプル輝度補間処理に基づいて行っている。上記の方法を空間スケーラブルコーデックに適用した場合、下記の２つの欠点を引き継ぐことなる。
（１）補間解像度が、１／４に限定される。
（２）１／４サンプル位置を求めるために１／２サンプル補間が必要となる。
本発明の実施の形態は、（１）より細かい補間解像度および（２）直接補間により、上記の欠点を解消することができる。この結果、本発明の実施の形態では、複雑な計算を要することなく、アップサンプルされた画像の品質の向上を図ることができる。
本発明の実施の形態のアップサンプリング技術は、１６個の６タップフィルタを用いた直接補間を行うものである。アップサンプリングフィルタは、１／１６画像サンプルユニットの０〜１５の補間位置または位相に基づいて選択する。フィルタのセットは、ＳＶＣの１／２サンプル補間工程と、Ｈ．２６４の１／２サンプル輝度インター予測と互換可能に設計している。したがって、これらの実施例で用いる技術は、ハード／ソフトインプリメンテーションの観点では、Ｈ．２６４の自然な拡張と言える。
従来の空間拡張画像符号化システムでは、空間または解像度スケーリングファクタを、２あるいは２の乗数としている。２００５年４月に、拡張された空間スケーラビリティが、SVC Joint Scalable Video Model (JSVM) に採用され、空間スケーリングファクタが２の乗数に限定されないより一般的な仕様が可能となった。しかしながら、インターレイヤテクスチャ予測のアップサンプリング工程については、依然解決すべき問題がある。２００５年４月のＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ：ＭＰＥＧとＶＣＥＧとの共同映像チームの会議で、Ｈ．２６４テクスチャアップサンプリングでは、当面１／４サンプル輝度補間を採用することで合意がなされた。
本発明の実施の形態においても、図１を参照し説明した実施の形態でも幾何学的関係を適用することができる。
上記の実施の形態では、ベースレイヤ画像における対応する成分のサンプルグリッドに対する１／１６サンプル間隔ユニットにおける１６の異なる補間位相について、以下の１６個の４タップアップサンプリングフィルタを定義している。しかしながら、４タップアップサンプリングフィルタは、Ｈ.２６４仕様と互換性がない。このため、各実施の形態では、１６個の新しい６タップアップサンプリングフィルタを用いて、対応するフィルタ処理を施してもよい。６タップフィルタとしては、例えば、表２に示すものを用いることができる。また、表３に示す６タップフィルタを用いる構成としてもよい。
Figure 2011083022
Figure 2011083022
整数輝度サンプルユニットにおけるエンハンスメント画像のサンプル座標位置を（ｘ, y)とした場合、ベースレイヤ画像の１／１６輝度サンプルユニットにおけるベースレイヤ画像の座標位置(px,L, py,L) は、下記式により求めることができる。
Figure 2011083022
上記式中、RL=16 (１／１６サンプル解像度補間）であり、(xorig,yorig) は（現画像の）１色差サンプルユニットにおける現画像のクロップウインドウの左上コーナの位置を示している。(wbase, hbase) は、ベースレイヤ画像の１輝度サンプルユニットにおけるベースレイヤ画像の解像度を示している。(wextract, hextract) は、現画像の１輝度サンプルユニットにおけるクロップウインドウの解像度を示している。“//”は、割り算で四捨五入することを意味している。
１色差サンプルユニットにおけるエンハンスメント画像の色度サンプル座標位置を (xc, yc) とした場合、ベースレイヤ画像の１／１６色度サンプルユニットにおけるベースレイヤ画像の座標位置(px,c, py,c) は、下記式により求めることができる。
Figure 2011083022
上記式中、Rｃ=16であり、(xorig,c, yorig,c)は（現画像の）シングル色度サンプルユニットにおける現画像のクロップウインドウの左上コーナの位置を示している。 (wbase,c, hbase,c) は、ベースレイヤ画像のシングル色度サンプルにおけるベースレイヤ画像の解像度を示している。(wextract,c, hextract,c) は、現画像のシングル色度サンプルユニットにおけるクロップウインドウの解像度を示している。(pbase,x, pbase,y) は、ベースレイヤ画像の１／４色度サンプルユニットにおけるベースレイヤ画像の相対的な色度の位相ズレを示している。 (penh,x, penh,y) は、現画像の１／４色度サンプルユニットにおける現画像の相対的な色度位相ズレを示している。
６タップフィルタは、式（２１）および式（２２）から算出した補間位置に基づいて表２または表３から選択することができる。本発明の実施の形態では、補間位置が１／２サンプル位置の場合、Ｈ．２６４での１／２サンプル輝度補間と同様のフィルタを用いることができる。このため、同様のハードウェア／ソフトウェアモジュールを本発明の実施の形態の技術に適応することができる。
インターレイヤ残差アップサンプリングについても同様の直接補間方法が用いられる。本発明の実施の形態では、上述したテクスチャアップサンプリングの６タップフィルタ、４タップフィルタに代えて双線型の補間フィルタを用いることもできる。
本発明の実施の形態の補間処理について説明する。
１．エンハンスメント画像のマクロブロックの左上輝度サンプルの座標位置(xP,yP)を規定する。「chroma_format_idc」が０でない場合、つまり、色度チャネルが存在する場合、同じマクロブロックの左上色度サンプルの座標位置(xC, yC)を規定する。
２．ベースレイヤのマクロブロックの相対位置を算出する。
Figure 2011083022
Figure 2011083022
「chroma_format_idc」が０でない場合、
Figure 2011083022
Figure 2011083022
上記式中、「MbWidthC 」と「MbHeightC 」とは、それぞれ、水平方向および垂直方向の各ＭＢの色度サンプルの数を表している。
３．テクスチャ補間工程
テクスチャ補間工程における入力は、以下の通りである。
・ベースレイヤ画像の整数輝度サンプル位置（(xB, yB) ・(xB1, yB1)）
・ベースレイヤ画像の輝度サンプル配列（baseL[x, y], x = -2 + xB..(xB1+2),y= -2+yB..(yB1+2))
・「chroma_format_idc 」が０でない場合、
・ベースレイヤ画像の整数輝度サンプル位置（(xCB, yCB)・(xCB1, yB1)）
・ベースレイヤ画像の２つの色度サンプル配列（baseCb[x, y], x =-2 + xCB..(xCB1+2),y= -2+yCB..(yCB1+2))
テクスチャ補間工程における出力は、以下の通りである。
・輝度サンプルマクロブロック配列(predL[x,y] (x=0..15, y=0..15))
・chroma_format_idcがゼロでない場合、２つの色度サンプルマクロブロック配列（predCb[x,y]・predCr[x,y]（x=0..MbWidthC-1, y=0..MbHeightC-1）
輝度サンプルpredL[x,y]（x=0..15, y=0..15)は、以下の工程にて算出できる。
tempL[x,y] (x=-2+xB..(xB1+2), y=0..15)を、一時的な輝度サンプル配列とすると、
各tempL[x,y]（x=-2+xB..(xB1+2), y=0..15)は、以下の工程にて求めることができる。
ベースレイヤの対応する小数サンプルの位置yf は、下記式により算出できる。
Figure 2011083022
yInt、yFracを下記のように規定する。
Figure 2011083022
Figure 2011083022
位相としてyFracを用いて表２から６タップフィルタ（e[j]（j = -2..3）)を選択し、下記式にてtempL[x, y]を算出する。
Figure 2011083022
各サンプル予測 predL[x, y] (x=0..15, y=0..15)は、下記の工程で求めることができる。
ベースレイヤでの対応する小数サンプルの位置ｘｆは、下記式により求めることができる。
Figure 2011083022
xInt、xFracをそれぞれ下記式にて定義する。
Figure 2011083022
位相としてxFracを用いて表２から６タップフィルタ（e[j]（j = -2..3）)を選択し、下記式にてpredL[x, y]を算出する。
Figure 2011083022
chroma_format_idcが０でない場合、色差サンプルpredC[x,y] ((Cは、CbとCr) x=0..MbWidthC-1, y=0..MbHeightC-1)）は、下記の工程で求めることができる。
tmp1Cb[x, y], tmp1Cr[x, y] (x==-2+xCB.. ..(xCB1+2),y=0..MbHeightC-1)を一時的な色度サンプル配列とすると、
各tempC[x,y]（CはCbとCr, x= -2+xCB..(xCB1+2), y=0..MbHeightC-1)は、以下の工程にて求めることができる。
・ベースレイヤの対応する小数サンプルの位置yfC、下記式により算出できる。
Figure 2011083022
・yIntC、yFracCを下記式により決定する。
Figure 2011083022
位相としてyFracCを用いて表２から６タップフィルタ（e[j]（j = -2..3）)を選択し、下記式にてtempC[x, y]を算出する。
Figure 2011083022
・各サンプル予測 predC[x, y] (CはCb, Cr, x=0..MbWidthC-1, y=0..MbHeightC-1)は、以下の工程にて求めることができる。
・ベースレイヤの対応する小数サンプルの位置xfC、下記式により算出できる。
Figure 2011083022
・xIntC、xFracCを下記式により決定する。
Figure 2011083022
・位相としてxFraCを用いて表２から６タップフィルタ（e[j]（j =-2..3）)を選択し、下記式にてpredC[x, y]を算出する。
Figure 2011083022
４．テクスチャ補間処理
テクスチャ補間工程における入力は、以下の通りである。
・ベースレイヤ画像basePicの整数輝度サンプル位置（(xB, yB)・(xB1, yB1)）
・ベースレイヤ画像の輝度残差サンプル配列（resBaseL[x,y], x=xB..xB1, y=yB..yB1)
・chroma_format_idc が０でない場合、
・ベース画像basePicの整数色度サンプル位置（(xCB, yCB)・(xCB1, yCB1)）
・２つの色差残差サンプル配列resBaseCb[x,y]・resBaseCr[x,y]（x=xCB..xCB1, y=yCB..yCB1)
テクスチャ補間工程における出力は、以下の通りである。
・輝度サンプル配列resPredL[x,y]（x=0..15, y=0..15）
・chroma_format_idcがゼロでない場合、２つの色度サンプル配列(resPredCb[x,y])・（predCb[x,y]・predCr[x,y]（x=0..MbWidthC-1, y=0..MbHeightC-1）
各輝度残差サンプルresPredL[x,y]（x=0..15, y=0..15)は、以下の工程にて算出できる。
・tempL[x,y] (x=-xB..xB1,y=0..15)を、一時的な輝度サンプル配列とする。
・各tempL[x,y]（x=-xB..xB1, y=0..15)は、以下の工程にて求めることができる。
・ベースレイヤの対応する小数サンプルの位置yf は、下記式により算出できる。
Figure 2011083022
・yInt、yFracを下記のように規定する。
Figure 2011083022
・tempL[x, y]を下記のように導出する。
Figure 2011083022
・各サンプル resPredL[x,y] (x=0..15, y=0..15)は、下記の工程で求めることができる。
・ベースレイヤでの対応する小数サンプルの位置xfは、下記式により求めることができる。
Figure 2011083022
・xInt、xFracをそれぞれ下記式にて定義する。
Figure 2011083022
・resPredL[x, y]を下記式により算出する。
Figure 2011083022
上記式中、Clip1Y, r(x)=Clip3(1-(1<<BitDepthY), (1<<BitDepthY)-1, x)
BitDepthYは、輝度チャネルデータのビット深度を示す。
chroma_format_idcが０でない場合、色度残差サンプルresPredC[x,y]（（CはCbまたはCr) x=0..MbWidthC-1, y=0..MbHeightC-1)は、以下の工程にて算出できる。
・tmp1Cb[x,y]、tmp1Cr[x,y](x=xCB..xCB1, y=0..MbHeightC-1)を、一時的な色差サンプル配列とすると、
・各tempC[x,y]（Cは、Cb, Cr, x=-xCB..xCB1,y=0..MbHeightC-1)は、以下の工程にて求めることができる。
・ベースレイヤでの対応する小数サンプルの位置xfCは、下記式により求めることができる。
Figure 2011083022
・yIntC、yFracCをそれぞれ下記式にて定義する。
Figure 2011083022
・tempC[x,y]は、下記式にて算出する。
Figure 2011083022
・各サンプルresPredC[x,y]（CはCbとCr, x=0..MbWidthC-1, y=0..MbHeight-1)は、以下の工程にて求めることができる。
・ベースレイヤの対応する小数サンプルの位置xfCは、下記式により算出できる。
Figure 2011083022
・xIntC、xFracCをそれぞれ下記式にて定義する。
Figure 2011083022
・resPredC[x, y]を下記式により算出する。
Figure 2011083022
上記式中、Clip1C, r(x)=Clip3(1-(1<<BitDepthC), (1<<BitDepthC)-1, x)
BitDepthCは、色度チャネルデータのビット深度を示す。
説明の便宜上、操作は様々な相互接続された機能ブロックまたは異なったソフトウェアモジュールとして記述しているが、本発明は、これに限定されず、これらの機能ブロックまたはソフトウェアモジュールが不明瞭な境界で単一の論理素子、プログラムまたは操作として同等に集約された構成としてもよい。いずれの場合も、機能ブロックおよびソフトウェアモジュールまたは上記の本発明の特徴的特徴を、ハードウェア、ファームウェアおよび／またはソフトウェアに組み込んでもよい。自分たち、またはハードウェアまたはソフトウェアのどちらかの他の操作と組み合わせて機能ブロックとソフトウェアモジュールまたは説明した特徴を実装することができる。
また、上記画像レベルの適応化方法およびシステムを以下のように構成してもよい。
＜１＞
空間スケーラブル映像符号化方式における画像レベルの適応化方法であって、
（ａ）入力ビデオシーケンスの第１画像の第１位置での第１クロップウインドウを規定する工程と、
（ｂ）上記第１クロップウインドウに対応する第１ベースレイヤを生成する工程と、
（ｃ）上記入力ビデオシーケンスの第２画像の前記第１位置と異なる位置である第２位置での第２クロップウインドウを規定する工程と、
（ｄ）上記第２クロップウインドウに対応する第２ベースレイヤを生成する工程と、を含むことを特徴とする画像レベルの適応化方法。
＜２＞
上記第２ベースレイヤに基づいて上記第２画像のエンハンスメントレイヤを予測する工程を更に含むことを特徴とする＜１＞に記載の方法。
＜３＞
上記予測工程において、画像の動き成分とクロップウインドウの動き成分とを有する拡張した動きベクトルを用いることを特徴とする＜２＞に記載の方法。
＜４＞
Figure 2011083022
（上記式中、sign[x]は、ｘが正の数であれば１、ｘが負の数でれば−１であり、ｘが０であれば０である（添字“ｒ”を伴うシンボルは、対応する参照画像の幾何学的パラメータである））
上記予測工程は、上記式を用いて動きベクトルmv = (d x , d y ) をmv s = (d sx , d sy ) に拡張したベクトルを用いることを特徴とする＜２＞に記載の方法。
＜５＞
上記第１画像と上記第２画像とがテクスチャー画像であることを特徴とする＜２＞に記載の方法。
＜６＞
上記第１画像と上記第２画像とが残差画像であることを特徴とする＜２＞に記載の方法。
＜７＞
空間スケーラブル映像符号化方式におけるベースレイヤからクロップウインドウで規定されるエンハンスメントレイヤ領域を予測する方法であって、
（ａ）上記ベースレイヤの画像ブロックの方向のベースレイヤ動きベクトルを計算する工程と、
（ｂ）上記方向の上記ベースレイヤの大きさに対する上記方向の上記クロップウインドウの大きさの比率に基づいて、上記ベースレイヤ動きベクトルを拡張する工程と、
（ｃ）参照画像におけるクロップウインドウの位置に対し、上記クロップウインドウの動きを表す拡張された動きベクトルを調整する工程と、を含むことを特徴とする方法。
＜８＞
さらに、上記調整された拡張された動きベクトルを用いて上記エンハンスメントレイヤを予測する工程を含むことを特徴とする＜７＞に記載の方法。
＜９＞
上記拡張工程および調整工程を、互いに直行する２つの方向に行うことを特徴とする＜７＞に記載の方法。
＜１０＞
Figure 2011083022
（上記式中、sign[x]は、ｘが正の数であれば１、ｘが負の数でれば−１であり、ｘが０であれば０である（添字“ｒ”を伴うシンボルは、対応する参照画像の幾何学的パラメータである））
上記予測工程は、上記式を用いて動きベクトルmv = (d x , d y ) をmv s = (d sx , d sy ) に拡張したベクトルを用いることを特徴とする＜７＞に記載の方法。
＜１１＞
上記予測工程が、テクスチャー予測を含むことを特徴とする＜７＞に記載の方法。
＜１２＞
上記予測工程が、残差予測を含むことを特徴とする＜７＞に記載の方法。
＜１３＞
上記拡張行程および調整工程を、予測マクロブロック（MB_pred）の全ての動きベクトルに適応することを特徴とする＜７＞に記載の方法。
＜１４＞
空間スケーラブル映像符号化方式においてベースレイヤからクロップウインドウで規定されるエンハンスメントレイヤ領域を予測するシステムであって、
（ａ）上記ベースレイヤの画像ブロックの方向のベースレイヤ動きベクトルを計算する演算部と、
（ｂ）上記方向の上記ベースレイヤの大きさに対する上記方向の上記クロップウインドウの大きさの比率に基づいて、上記ベースレイヤ動きベクトルを拡張する拡張部と、
（ｃ）上記参照画像におけるクロップウインドウの位置に対し、上記クロップウインドウの動きを表す拡張された動きベクトルを調整する調整部と、を含むことを特徴とするシステム。
＜１５＞
さらに、上記調整された拡張された動きベクトルを用いて、エンハンスメントレイヤを予測する予測部を更に含むことを特徴とする＜１４＞に記載のシステム。
＜１６＞
上記拡張工程および調整工程を、互いに直行する２つの方向に行うことを特徴とする＜１４＞に記載のシステム。
＜１７＞
Figure 2011083022
（上記式中、sign[x]は、ｘが正の数であれば１、ｘが負の数でれば−１であり、ｘが０であれば０である（添字“ｒ”を伴うシンボルは、対応する参照画像の幾何学的パラメータである））
上記予測工程は、上記式を用いて動きベクトルmv = (d x , d y ) をmv s = (d sx , d sy ) に拡張したベクトルを用いることを特徴とする＜１４＞に記載のシステム。
＜１８＞
上記予測が、テクスチャ予測を含むことを特徴とする＜１４＞に記載のシステム。
＜１９＞
上記予測が、残差予測を含むことを特徴とする＜１４＞に記載のシステム。
＜２０＞
上記拡張および調整工程を、予測マクロブロック（MB_pred）の全ての動きベクトルに適応することを特徴とする＜１４＞に記載の方法。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
２５１ 上位レイヤ（エンハンスメントレイヤ）
２５３ 下位レイヤ（ベースレイヤ）
２７０ エンハンスメントレイヤ画像
２７２ ベースレイヤ画像
２８１・２８２・２８３・２８４ コーナブロック
３００ マクロブロック
３０１・３０２・３０３・３０４ ブロック

Claims (14)

  1. 空間スケーラブル映像符号化方式におけるベースレイヤからクロップウインドウで規定されるエンハンスメントレイヤ領域を予測する方法であって、
    （ａ）上記ベースレイヤと上記クロップウインドウとの水平方向の大きさ及び垂直方向の大きさの比率に基づいて、上記ベースレイヤの動きベクトルを拡張する拡張工程と、
    （ｂ）参照画像におけるクロップウインドウと、上記クロップウインドウとの間の動き成分に基づいて、上記拡張された動きベクトルを調整する調整工程と、を含むことを特徴とする方法。
  2. さらに、上記調整された拡張された動きベクトルを用いて上記エンハンスメントレイヤを予測する予測工程を含むことを特徴とする請求項１に記載の方法。
  3. 上記拡張工程および調整工程を、互いに直交する２つの方向に行うことを特徴とする請求項１に記載の方法。
  4. Figure 2011083022
     （上記式中、sign[ｄ x ]は、ｄ x が正の数であれば１、ｄ x が負の数でれば−１であり、ｄ x が０であれば０である。ｗ ｅｘｔｒａｃｔ はエンハンスメントレイヤにおける前記クロップウインドウの幅を示し、ｈ ｅｘｔｒａｃｔ はエンハンスメントレイヤにおける前記クロップウインドウの高さを示し、ｗ ｂａｓｅ はベースレイヤにおける画面の幅を示し、ｈ ｂａｓｅ はベースレイヤにおける画面の高さを示し、ｘ ｏｒｉｇ 、ｙ ｏｒｉｇ はエンハンスメントレイヤの画面座標系における座標を示す（添字“ｒ”を伴うシンボルは、対応する参照画像の幾何学的パラメータである）。）
    上記予測工程は、上記式を用いて上記ベースレイヤの動きベクトルmv = (dx, dy)にスケーリングおよび調整を行った動きベクトルmvs = (dsx, dsy)を用いることを特徴とする請求項２に記載の方法。
  5. 上記予測工程が、テクスチャー予測を含むことを特徴とする請求項２に記載の方法。
  6. 上記予測工程が、残差予測を含むことを特徴とする請求項２に記載の方法。
  7. 上記ベースレイヤと上記クロップウインドウとの大きさの比率に基づいて、上記ベースレイヤの動きベクトルを継承した動きデータをスケーリングし、参照画像におけるクロップウインドウと、上記クロップウインドウとの間の動き成分に基づいて、上記スケーリングされた動きデータを調整して、上記クロップウインドウで規定されるエンハンスメントレイヤ領域を予測することを特徴とする請求項１に記載の方法。
  8. 空間スケーラブル映像符号化方式においてベースレイヤからクロップウインドウで規定されるエンハンスメントレイヤ領域を予測するシステムであって、
    （ａ）上記ベースレイヤと上記クロップウインドウとの水平方向の大きさ及び垂直方向の大きさの比率に基づいて、上記ベースレイヤの動きベクトルを拡張する拡張部と、
    （ｂ）参照画像におけるクロップウインドウと、上記クロップウインドウとの間の動き成分に基づいて、上記拡張された動きベクトルを調整する調整部と、を含むことを特徴とするシステム。
  9. さらに、上記調整された拡張された動きベクトルを用いて、エンハンスメントレイヤを予測する予測部を更に含むことを特徴とする請求項８に記載のシステム。
  10. 上記拡張部による拡張および調整部による調整を、互いに直交する２つの方向に行うことを特徴とする請求項８に記載のシステム。
  11. Figure 2011083022
     （上記式中、sign[ｄ x ]は、ｄ x が正の数であれば１、ｄ x が負の数でれば−１であり、ｄ x が０であれば０である。ｗ ｅｘｔｒａｃｔ はエンハンスメントレイヤにおける前記クロップウインドウの幅を示し、ｈ ｅｘｔｒａｃｔ はエンハンスメントレイヤにおける前記クロップウインドウの高さを示し、ｗ ｂａｓｅ はベースレイヤにおける画面の幅を示し、ｈ ｂａｓｅ はベースレイヤにおける画面の高さを示し、ｘ ｏｒｉｇ 、ｙ ｏｒｉｇ はエンハンスメントレイヤの画面座標系における座標を示す（添字“ｒ”を伴うシンボルは、対応する参照画像の幾何学的パラメータである）。）
    上記予測部による予測は、上記式を用いて上記ベースレイヤの動きベクトルmv = (dx, dy)にスケーリングおよび調整を行った動きベクトルmvs = (dsx, dsy)を用いることを特徴とする請求項９に記載のシステム。
  12. 上記予測部による予測が、テクスチャ予測を含むことを特徴とする請求項９に記載のシステム。
  13. 上記予測部による予測が、残差予測を含むことを特徴とする請求項９に記載のシステム。
  14. 上記ベースレイヤと上記クロップウインドウとの大きさの比率に基づいて、上記ベースレイヤの動きベクトルを継承した動きデータをスケーリングし、参照画像におけるクロップウインドウと、上記クロップウインドウとの間の動き成分に基づいて、上記スケーリングされた動きデータを調整して、上記クロップウインドウで規定されるエンハンスメントレイヤ領域を予測することを特徴とする請求項８に記載のシステム。
JP2010277337A 2005-03-18 2010-12-13 拡張された空間スケーラビティにおける画像レベルの適応化方法およびシステム Active JP5154635B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US66316105P 2005-03-18 2005-03-18
US60/663,161 2005-03-18
US68306005P 2005-05-20 2005-05-20
US60/683,060 2005-05-20
US68667605P 2005-06-01 2005-06-01
US60/686,676 2005-06-01

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2008501903A Division JP4751928B2 (ja) 2005-03-18 2006-02-28 拡張された空間スケーラビティにおける画像レベルの適応化方法およびシステム

Publications (2)

Publication Number Publication Date
JP2011083022A true JP2011083022A (ja) 2011-04-21
JP5154635B2 JP5154635B2 (ja) 2013-02-27

Family

ID=37024293

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2008501902A Active JP4454678B2 (ja) 2005-03-18 2006-02-28 隣接するブロック間のブロック境界の特徴を定める方法
JP2008501903A Active JP4751928B2 (ja) 2005-03-18 2006-02-28 拡張された空間スケーラビティにおける画像レベルの適応化方法およびシステム
JP2009242741A Pending JP2010016911A (ja) 2005-03-18 2009-10-21 ブロッキング歪を低減した画像データの符号化・複号化装置及び伝送システム
JP2009242688A Active JP4975078B2 (ja) 2005-03-18 2009-10-21 空間的にスケーラブルなビデオ符号化のために、低い複雑さでブロッキング歪を低減するための方法およびシステム
JP2010277337A Active JP5154635B2 (ja) 2005-03-18 2010-12-13 拡張された空間スケーラビティにおける画像レベルの適応化方法およびシステム

Family Applications Before (4)

Application Number Title Priority Date Filing Date
JP2008501902A Active JP4454678B2 (ja) 2005-03-18 2006-02-28 隣接するブロック間のブロック境界の特徴を定める方法
JP2008501903A Active JP4751928B2 (ja) 2005-03-18 2006-02-28 拡張された空間スケーラビティにおける画像レベルの適応化方法およびシステム
JP2009242741A Pending JP2010016911A (ja) 2005-03-18 2009-10-21 ブロッキング歪を低減した画像データの符号化・複号化装置及び伝送システム
JP2009242688A Active JP4975078B2 (ja) 2005-03-18 2009-10-21 空間的にスケーラブルなビデオ符号化のために、低い複雑さでブロッキング歪を低減するための方法およびシステム

Country Status (6)

Country Link
US (1) US7961963B2 (ja)
EP (2) EP1859389A4 (ja)
JP (5) JP4454678B2 (ja)
KR (2) KR100959436B1 (ja)
CN (3) CN101379511B (ja)
WO (2) WO2006101682A2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014078924A (ja) * 2012-09-21 2014-05-01 Toshiba Corp 復号装置、及び符号化装置
JP2016503270A (ja) * 2013-01-07 2016-02-01 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ Ｈｌｓ専用スケーラブル映像コーディングに関する層間基準ピクチャ生成
JP2016513441A (ja) * 2013-03-01 2016-05-12 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ スケーラブルビデオコーディングのための空間動きベクトルスケーリング
JP2020145765A (ja) * 2012-09-21 2020-09-10 株式会社東芝 復号装置、符号化装置、復号方法、及び符号化方法

Families Citing this family (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100679035B1 (ko) * 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
WO2006087319A2 (en) * 2005-02-18 2006-08-24 Thomson Licensing Method for deriving coding information for high resolution pictures from low resoluton pictures and coding and decoding devices implementing said method
JP5065051B2 (ja) * 2005-02-18 2012-10-31 トムソン ライセンシング 低解像度画像から高解像度画像の符号化情報を導出する方法、並びに、係る方法を実現する符号化及び復号化装置
JP4839035B2 (ja) * 2005-07-22 2011-12-14 オリンパス株式会社 内視鏡用処置具および内視鏡システム
KR100678958B1 (ko) * 2005-07-29 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
CN1859576A (zh) 2005-10-11 2006-11-08 华为技术有限公司 对空间分层编码视频图象的上采样方法及其系统
MY159176A (en) * 2005-10-19 2016-12-30 Thomson Licensing Multi-view video coding using scalable video coding
US8345755B2 (en) * 2006-01-09 2013-01-01 Lg Electronics, Inc. Inter-layer prediction method for video signal
US20070160134A1 (en) * 2006-01-10 2007-07-12 Segall Christopher A Methods and Systems for Filter Characterization
JP2009522971A (ja) * 2006-01-10 2009-06-11 ノキア コーポレイション 拡張可能ビデオ符号化のための切換型フィルタアップサンプリング機構
CN1794821A (zh) * 2006-01-11 2006-06-28 浙江大学 可分级视频压缩中插值的方法与装置
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
US8422548B2 (en) * 2006-07-10 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for transform selection and management
US8059714B2 (en) * 2006-07-10 2011-11-15 Sharp Laboratories Of America, Inc. Methods and systems for residual layer scaling
US7885471B2 (en) * 2006-07-10 2011-02-08 Sharp Laboratories Of America, Inc. Methods and systems for maintenance and use of coded block pattern information
US7840078B2 (en) * 2006-07-10 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for image processing control based on adjacent block characteristics
US8130822B2 (en) * 2006-07-10 2012-03-06 Sharp Laboratories Of America, Inc. Methods and systems for conditional transform-domain residual accumulation
US8532176B2 (en) * 2006-07-10 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for combining layers in a multi-layer bitstream
EP1879399A1 (en) 2006-07-12 2008-01-16 THOMSON Licensing Method for deriving motion data for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
EP2060123A4 (en) * 2006-09-07 2016-05-04 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / ENCODING A VIDEO SIGNAL
JP5134001B2 (ja) * 2006-10-18 2013-01-30 アップル インコーポレイテッド 下層のフィルタリングを備えたスケーラブルビデオ符号化
CN101888559B (zh) * 2006-11-09 2013-02-13 Lg电子株式会社 用于解码/编码视频信号的方法及装置
EP1985121A4 (en) * 2006-11-17 2010-01-13 Lg Electronics Inc METHOD AND DEVICE FOR DECODING / CODING A VIDEO SIGNAL
US8548056B2 (en) * 2007-01-08 2013-10-01 Qualcomm Incorporated Extended inter-layer coding for spatial scability
US8199812B2 (en) * 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
US8503524B2 (en) * 2007-01-23 2013-08-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction
US8665942B2 (en) * 2007-01-23 2014-03-04 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction signaling
US8233536B2 (en) 2007-01-23 2012-07-31 Sharp Laboratories Of America, Inc. Methods and systems for multiplication-free inter-layer image prediction
US7826673B2 (en) * 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
KR100843100B1 (ko) * 2007-02-07 2008-07-03 삼성전자주식회사 디지털 영상에서의 블록 노이즈 저감 방법 및 장치, 이를이용한 인코딩/디코딩 방법 및 인코더/디코더
US7760949B2 (en) 2007-02-08 2010-07-20 Sharp Laboratories Of America, Inc. Methods and systems for coding multiple dynamic range images
US8767834B2 (en) 2007-03-09 2014-07-01 Sharp Laboratories Of America, Inc. Methods and systems for scalable-to-non-scalable bit-stream rewriting
US8014613B2 (en) * 2007-04-16 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image parameter prediction
WO2009032255A2 (en) * 2007-09-04 2009-03-12 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
US8175158B2 (en) * 2008-01-04 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction parameter determination
US8249142B2 (en) * 2008-04-24 2012-08-21 Motorola Mobility Llc Method and apparatus for encoding and decoding video using redundant encoding and decoding techniques
KR101552639B1 (ko) * 2008-07-11 2015-09-14 한국전자통신연구원 인트라 매크로 블록의 디블록킹 필터 및 필터링 방법
US8379727B2 (en) * 2008-09-26 2013-02-19 General Instrument Corporation Method and apparatus for scalable motion estimation
WO2010036772A2 (en) 2008-09-26 2010-04-01 Dolby Laboratories Licensing Corporation Complexity allocation for video and image coding applications
KR101590500B1 (ko) * 2008-10-23 2016-02-01 에스케이텔레콤 주식회사 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체
KR101534050B1 (ko) * 2008-10-28 2015-07-06 에스케이 텔레콤주식회사 동영상 부호화/복호화 장치, 이를 위한 디블록킹 필터링 장치와 방법, 및 기록 매체
JP5667773B2 (ja) * 2010-03-18 2015-02-12 キヤノン株式会社 情報作成装置及びその制御方法
TWI416961B (zh) * 2010-04-02 2013-11-21 Univ Nat Chiao Tung 用於可調式視訊編碼系統之選擇性移動向量預測方法、移動估測方法及其裝置
BR122020008249B1 (pt) 2010-04-13 2021-02-17 Ge Video Compression, Llc herança em amostra de arranjo em subdivisão multitree
CN106067983B (zh) 2010-04-13 2019-07-12 Ge视频压缩有限责任公司 解码数据流的方法、生成数据流的方法及解码器
CN106231337B (zh) 2010-04-13 2020-06-19 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
EP3703369B1 (en) 2010-04-13 2024-07-24 GE Video Compression, LLC Sample region merging
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
CN105791859B (zh) * 2010-05-26 2018-11-06 Lg电子株式会社 用于处理视频信号的方法和设备
JP5875979B2 (ja) 2010-06-03 2016-03-02 シャープ株式会社 フィルタ装置、画像復号装置、画像符号化装置、および、フィルタパラメータのデータ構造
CN103109531B (zh) * 2010-09-17 2016-06-01 日本电气株式会社 视频编码设备和视频解码设备
CN102438135B (zh) * 2011-01-14 2013-12-04 展讯通信（上海）有限公司 高分辨率视频在小尺寸显示设备上的降采样解码方法及装置
KR20120088488A (ko) 2011-01-31 2012-08-08 한국전자통신연구원 시간적 움직임 벡터 저장 방법 및 그 장치
US9729879B2 (en) * 2011-03-10 2017-08-08 Hfi Innovation Inc. Method and apparatus of deblocking filter
EP2719182B1 (en) * 2011-06-07 2018-05-02 Thomson Licensing Method for encoding and/or decoding images on macroblock level using intra-prediction
CN103688533B (zh) 2011-06-20 2015-12-23 联发科技（新加坡）私人有限公司 可减少行存储器的色度帧内预测方法及装置
WO2012177052A2 (ko) 2011-06-21 2012-12-27 한국전자통신연구원 인터 예측 방법 및 그 장치
KR20120140592A (ko) 2011-06-21 2012-12-31 한국전자통신연구원 움직임 보상의 계산 복잡도 감소 및 부호화 효율을 증가시키는 방법 및 장치
DK3313074T3 (da) * 2011-06-28 2021-10-25 Sony Group Corp Anordning til billedbehandling, fremgangsmåde til billedbehandling
CN106658014B (zh) * 2011-06-30 2021-01-08 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
EP2552115A1 (en) * 2011-07-25 2013-01-30 Siemens Aktiengesellschaft A method for coding a sequence of digital images
JP2014531807A (ja) 2011-09-09 2014-11-27 パナモーフ, インコーポレイテッドPanamorph, Inc. 画像処理システム及び方法
KR102219231B1 (ko) * 2011-09-20 2021-02-23 엘지전자 주식회사 영상 정보 인코딩/디코딩 방법 및 장치
KR20130037162A (ko) * 2011-10-05 2013-04-15 한국전자통신연구원 스케일러블 비디오 코딩을 위한 계층간 텍스처 예측 방법 및 그 장치
US9167269B2 (en) * 2011-10-25 2015-10-20 Qualcomm Incorporated Determining boundary strength values for deblocking filtering for video coding
WO2013064047A1 (en) * 2011-10-31 2013-05-10 Mediatek Singapore Pte. Ltd. Method and apparatus of deblocking filter with simplified boundary strength decision
PT2775711T (pt) * 2011-11-04 2020-04-03 Lg Electronics Inc Método e aparelhos para codificação/descodificação de informação em vídeo no campo técnico
WO2013077714A1 (ko) * 2011-11-27 2013-05-30 엘지전자 주식회사 영상 정보 인코딩/디코딩 방법 및 장치
JP5944013B2 (ja) * 2012-01-17 2016-07-05 テレフオンアクチーボラゲット エルエム エリクソン（パブル） 参照画像リストの取り扱い
EP2833633A4 (en) * 2012-03-29 2015-11-11 Lg Electronics Inc METHOD FOR PREDICTION BETWEEN LAYERS, AND ENCODING DEVICE AND DECODING DEVICE USING THE SAME
CN102630015B (zh) * 2012-04-06 2014-07-16 芯原微电子(北京)有限公司 一种基于RealVideo9或10去块效应的快速旁路方法和装置
WO2013169049A1 (ko) * 2012-05-10 2013-11-14 엘지전자 주식회사 인터 레이어 예측 방법 및 이를 이용하는 장치
EP2859724B1 (en) * 2012-06-22 2019-09-04 MediaTek Inc. Method and apparatus of adaptive intra prediction for inter-layer coding
WO2014007058A1 (ja) * 2012-07-03 2014-01-09 シャープ株式会社 画像復号装置、および画像符号化装置
EP2871567A4 (en) 2012-07-06 2016-01-06 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR ENCODING MULTILAYER VIDEO, AND METHOD AND APPARATUS FOR DECODING MULTILAYER VIDEO
CN110035286B (zh) * 2012-07-09 2021-11-12 Vid拓展公司 用于多层视频编码的编解码器架构
CN110087091B (zh) * 2012-08-06 2021-11-12 Vid拓展公司 多层视频编码中用于空间层的采样栅格信息
US20140044162A1 (en) * 2012-08-08 2014-02-13 Qualcomm Incorporated Adaptive inference mode information derivation in scalable video coding
US9854235B2 (en) 2012-08-31 2017-12-26 Blackberry Limited Methods and devices for entropy coding in scalable video compression
US10448032B2 (en) * 2012-09-04 2019-10-15 Qualcomm Incorporated Signaling of down-sampling location information in scalable video coding
EP3748969B1 (en) * 2012-09-27 2024-01-03 Dolby Laboratories Licensing Corporation Inter-layer reference picture processing for coding standard scalability
EP2911397A1 (en) * 2012-09-28 2015-08-26 Intel Corporation Inter-layer pixel sample prediction
US9860558B2 (en) 2012-09-28 2018-01-02 Intel Corporation Inter-layer intra mode prediction
CN103716622B (zh) * 2012-09-29 2017-02-08 华为技术有限公司 用于图像处理的方法和装置
KR102094892B1 (ko) * 2012-11-07 2020-03-30 엘지전자 주식회사 신호 송수신 장치 및 신호 송수신 방법
US9756613B2 (en) 2012-12-06 2017-09-05 Qualcomm Incorporated Transmission and reception timing for device-to-device communication system embedded in a cellular system
TWI597968B (zh) * 2012-12-21 2017-09-01 杜比實驗室特許公司 在高位元深度視訊的可適性編碼中，高精度升取樣
CN103916676B (zh) * 2012-12-31 2017-09-29 华为技术有限公司 一种边界强度确定方法、去块效应滤波方法、及装置
CN105144720B (zh) 2013-01-04 2018-12-28 Ge视频压缩有限责任公司 高效可伸缩编码概念
US9294776B2 (en) * 2013-03-05 2016-03-22 Qualcomm Incorporated Parallel processing for video coding
US10284842B2 (en) * 2013-03-05 2019-05-07 Qualcomm Incorporated Inter-layer reference picture construction for spatial scalability with different aspect ratios
CN105052144B (zh) * 2013-03-12 2019-01-01 寰发股份有限公司 用于可伸缩视频编码的层间预测方法
KR102698537B1 (ko) 2013-04-08 2024-08-23 지이 비디오 컴프레션, 엘엘씨 효율적인 다-시점/계층 코딩을 허용하는 코딩 개념
CN103220529B (zh) * 2013-04-15 2016-02-24 北京大学 一种视频编解码环路滤波的实现方法
US9813723B2 (en) * 2013-05-03 2017-11-07 Qualcomm Incorporated Conditionally invoking a resampling process in SHVC
US9578328B2 (en) * 2013-07-15 2017-02-21 Qualcomm Incorporated Cross-layer parallel processing and offset delay parameters for video coding
DK3047639T3 (en) 2013-09-20 2018-10-15 Vid Scale Inc Video Codes and Methods to Provide 3D Lookup Table Encoding for Color Game Scalability
KR101786414B1 (ko) * 2013-12-13 2017-10-17 브이아이디 스케일, 인크. 보간을 이용하는 루마 및 크로마의 위상 정렬을 위한 컬러 색역 스케일러블 비디오 코딩 디바이스 및 방법
FR3018417B1 (fr) * 2014-03-04 2017-07-28 Sagemcom Broadband Sas Procede de modification d'un flux video binaire.
WO2015137786A1 (ko) * 2014-03-14 2015-09-17 삼성전자 주식회사 스케일러블 비디오 부호화/복호화 방법 및 장치
KR102260146B1 (ko) 2014-03-31 2021-06-03 인텔렉추얼디스커버리 주식회사 시점 간 움직임 병합 후보 유도 방법 및 장치
US9704213B2 (en) 2014-08-13 2017-07-11 Qualcomm Incorporated Texture element streaming
JP6305279B2 (ja) * 2014-08-26 2018-04-04 株式会社東芝 映像圧縮装置および映像再生装置
CN109257605B (zh) * 2017-07-13 2021-11-19 华为技术有限公司 图像处理方法、设备及系统
EP3454556A1 (en) * 2017-09-08 2019-03-13 Thomson Licensing Method and apparatus for video encoding and decoding using pattern-based block filtering
KR102520626B1 (ko) * 2018-01-22 2023-04-11 삼성전자주식회사 아티팩트 감소 필터를 이용한 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
TWI719520B (zh) * 2018-06-29 2021-02-21 大陸商北京字節跳動網絡技術有限公司 零單元的濾波
TWI714153B (zh) 2018-06-29 2020-12-21 大陸商北京字節跳動網絡技術有限公司 零單元的定義
US11620775B2 (en) 2020-03-30 2023-04-04 Panamorph, Inc. Method of displaying a composite image on an image display

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE143758T1 (de) * 1990-07-11 1996-10-15 Philips Electronics Nv Vorrichtung zur ableitung eines kompatiblen zeilensprungfernsehsignals mit geringer auflösung und anderen komponenten eines hochauflösenden zeilensprungfernsehsignals sowie vorrichtung zur wiederherstellung des originalsignals
JPH07107464A (ja) * 1993-10-01 1995-04-21 Hitachi Ltd 画像符号化装置および復号化装置
JPH07212761A (ja) * 1994-01-17 1995-08-11 Toshiba Corp 階層符号化装置及び階層復号化装置
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
JPH1070717A (ja) * 1996-06-19 1998-03-10 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像復号化装置
US6173013B1 (en) * 1996-11-08 2001-01-09 Sony Corporation Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal
AU732452B2 (en) 1997-04-01 2001-04-26 Sony Corporation Image encoder, image encoding method, image decoder, image decoding method, and distribution media
US6057884A (en) 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
JP2000036032A (ja) * 1998-07-17 2000-02-02 Fujitsu Ltd 前景画像抽出方法、画像処理装置、自動トリミング装置、記録媒体及び肖像写真装置
US6459814B1 (en) 1998-09-08 2002-10-01 Sarnoff Corporation Method and apparatus for generic scalable shape coding by deriving shape information for chrominance components from luminance component
CN1286575A (zh) * 1999-08-25 2001-03-07 松下电器产业株式会社 噪声检测方法、噪声检测装置及图象编码装置
US6873655B2 (en) * 2001-01-09 2005-03-29 Thomson Licensing A.A. Codec system and method for spatially scalable video data
US7450641B2 (en) * 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
EP1442602A1 (en) * 2001-10-26 2004-08-04 Koninklijke Philips Electronics N.V. Spatial scalable compression scheme using adaptive content filtering
US7155654B2 (en) * 2003-04-04 2006-12-26 Sst Communications, Corp. Low complexity error concealment for wireless transmission
JP2004328634A (ja) * 2003-04-28 2004-11-18 Sony Corp 画像復号化装置及び方法
US20070118794A1 (en) * 2004-09-08 2007-05-24 Josef Hollander Shared annotation system and method
JP4191729B2 (ja) * 2005-01-04 2008-12-03 三星電子株式会社 イントラｂｌモードを考慮したデブロックフィルタリング方法、及び該方法を用いる多階層ビデオエンコーダ／デコーダ
JP5065051B2 (ja) * 2005-02-18 2012-10-31 トムソン ライセンシング 低解像度画像から高解像度画像の符号化情報を導出する方法、並びに、係る方法を実現する符号化及び復号化装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020145765A (ja) * 2012-09-21 2020-09-10 株式会社東芝 復号装置、符号化装置、復号方法、及び符号化方法
US10250898B2 (en) 2012-09-21 2019-04-02 Kabushiki Kaisha Toshiba Decoding device and encoding device
US12022099B2 (en) 2012-09-21 2024-06-25 Kabushiki Kaisha Toshiba Decoding device and encoding device
US9621867B2 (en) 2012-09-21 2017-04-11 Kabushiki Kaisha Toshiba Decoding device and encoding device
JP2014078924A (ja) * 2012-09-21 2014-05-01 Toshiba Corp 復号装置、及び符号化装置
US9998747B2 (en) 2012-09-21 2018-06-12 Kabushiki Kaisha Toshiba Decoding device
JP7387924B2 (ja) 2012-09-21 2023-11-28 株式会社東芝 復号装置、符号化装置、復号方法、及び符号化方法
US10728566B2 (en) 2012-09-21 2020-07-28 Kabushiki Kaisha Toshiba Decoding device and encoding device
US9781440B2 (en) 2012-09-21 2017-10-03 Kabushiki Kaisha Toshiba Decoding device and encoding device
US10972745B2 (en) 2012-09-21 2021-04-06 Kabushiki Kaisha Toshiba Decoding device and encoding device
JP2022036956A (ja) * 2012-09-21 2022-03-08 株式会社東芝 復号装置、符号化装置、復号方法、及び符号化方法
US11381831B2 (en) 2012-09-21 2022-07-05 Kabushiki Kaisha Toshiba Decoding device and encoding device
JP7214818B2 (ja) 2012-09-21 2023-01-30 株式会社東芝 復号装置、符号化装置、復号方法、及び符号化方法
JP2023029538A (ja) * 2012-09-21 2023-03-03 株式会社東芝 復号装置、符号化装置、復号方法、及び符号化方法
JP2016503270A (ja) * 2013-01-07 2016-02-01 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ Ｈｌｓ専用スケーラブル映像コーディングに関する層間基準ピクチャ生成
JP2016513441A (ja) * 2013-03-01 2016-05-12 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ スケーラブルビデオコーディングのための空間動きベクトルスケーリング

Also Published As

Publication number Publication date
CN101379511A (zh) 2009-03-04
EP1859389A4 (en) 2010-08-25
US7961963B2 (en) 2011-06-14
WO2006101682A2 (en) 2006-09-28
JP4751928B2 (ja) 2011-08-17
KR100959436B1 (ko) 2010-05-26
JP5154635B2 (ja) 2013-02-27
JP4454678B2 (ja) 2010-04-21
JP2010016910A (ja) 2010-01-21
CN102387366A (zh) 2012-03-21
CN101449476B (zh) 2012-05-23
JP2008533909A (ja) 2008-08-21
EP1859534A2 (en) 2007-11-28
KR20080003808A (ko) 2008-01-08
JP2008538057A (ja) 2008-10-02
WO2007064347A3 (en) 2008-01-17
EP1859389A2 (en) 2007-11-28
WO2007064347A2 (en) 2007-06-07
CN101379511B (zh) 2011-11-09
JP2010016911A (ja) 2010-01-21
US20060209959A1 (en) 2006-09-21
KR20080005210A (ko) 2008-01-10
WO2006101682A3 (en) 2008-11-13
EP1859534A4 (en) 2010-09-29
JP4975078B2 (ja) 2012-07-11
KR100947677B1 (ko) 2010-03-16
CN101449476A (zh) 2009-06-03

Similar Documents

Publication Publication Date Title
JP5154635B2 (ja) 拡張された空間スケーラビティにおける画像レベルの適応化方法およびシステム
JP5189054B2 (ja) 画像の復号方法
US8023569B2 (en) Methods and systems for block-based residual upsampling
CN108111846B (zh) 用于可伸缩视频编码的帧间层预测方法及装置
US7929610B2 (en) Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
KR102653005B1 (ko) 휘도 샘플을 이용한 색차 블록의 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
US8457201B2 (en) Inter-layer prediction method for video signal
EP1817914B1 (en) Method for scalable video coding
US20080267291A1 (en) Method for Deriving Coding Information for High Resolution Images from Low Resolution Images and Coding and Decoding Devices Implementing Said Method
JP2012521735A (ja) 多層映像配信のための適応補間フィルタ
WO2011086836A1 (ja) 符号化装置、復号装置、および、データ構造
JP6055098B2 (ja) 映像復号方法及びそれを利用する装置
EP1694074A1 (en) Process for scalable coding of images
CN117769836A (zh) 用于视频处理的方法、设备和介质
JP2024020420A (ja) 適応ループフィルタリングのための境界位置
CN118044182A (zh) 用于视频处理的方法、设备和介质
CN117581533A (zh) 用于视频处理的方法、设备和介质
CN115606182A (zh) 使用增强二次变换的编解码视频处理
JP2023524944A (ja) 圧縮されたピクチャインピクチャシグナリング
Bharanitharan Efficient spatial scalability algorithm for H. 264/SVC encoders

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121205

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151214

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5154635

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250