JP2010022020A - 画像アップサンプリング方法およびシステム - Google Patents

画像アップサンプリング方法およびシステム Download PDF

Info

Publication number
JP2010022020A
JP2010022020A JP2009200786A JP2009200786A JP2010022020A JP 2010022020 A JP2010022020 A JP 2010022020A JP 2009200786 A JP2009200786 A JP 2009200786A JP 2009200786 A JP2009200786 A JP 2009200786A JP 2010022020 A JP2010022020 A JP 2010022020A
Authority
JP
Japan
Prior art keywords
image
resolution image
filter coefficient
calculating
upsampling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009200786A
Other languages
English (en)
Other versions
JP5189054B2 (ja
JP2010022020A5 (ja
Inventor
Shijun Sun
サン シジュン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2010022020A publication Critical patent/JP2010022020A/ja
Publication of JP2010022020A5 publication Critical patent/JP2010022020A5/ja
Application granted granted Critical
Publication of JP5189054B2 publication Critical patent/JP5189054B2/ja
Anticipated expiration legal-status Critical
Active legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

【課題】低演算量で実行できる低解像度画像から高解像度画像への画像アップサンプリング方法およびシステムを実現する。
【解決手段】画像アップサンプリング用法および画像アップサンプリングシステムは、高解像度画像のサンプル位置に対応する低解像度画像の位置の位相に基づいて選択されたフィルタ係数を用いたダイレクト補間処理を用い、H.264/MPEG-4 AVCスケーラブル映像符号化(SVC)拡張方式に適応される。
【選択図】図１

Description

本発明は、画像アップサンプリング方法および画像アップサンプリングシステムに関し、特に、空間拡張型ビデオコード化に用いられる画像アップサンプリング方法および画像アップサンプリングシステムに関するものである。
動画データの圧縮符号化方式の標準であるH.264/MPEG-4 AVCは、非特許文献１に開示されているように、マクロブロック予測、残差コーディングを順次行い、ビデオシーケンスの時間的または空間的な冗長性を取り除くことで圧縮効率を向上させるビデオコーディック仕様である。空間スケーラビリティは、サポートされた如何なる空間解像度でもレート歪特性を維持しつつビットストリームのパーツを取り除くことができる機能である。しかしながら、H.264/MPEG-4 AVCは、単層では空間スケーラビリティをサポートしていない。空間スケーラビリティは、H.264/MPEG-4 AVC スケーラブル映像符号化(SVC)の拡張方式でサポートされている。
H.264/MPEG-4 AVCの拡張方式は、非特許文献２に開示されているように、階層化されたビデオコーディックであり、空間レイヤ間の冗長を、レイヤ間予測により取り除くものである。H.264/MPEG-4 AVC規格に適用されるレイヤ間予測では、レイヤ間動き予測、レイヤ間残差予測、レイヤ間イントラテクスチャ予測の３つの技術が用いられる。
従来、スケーラブル映像符号化(SVC)方式では、ダイアディック空間スケーラビリティだけが採用されていた。
このダイアディック空間スケーラビリティでは、２つの連続する空間レイヤ間の画像ダイメンションの比率を２の乗数（power of 2）としているが、２つの連続する空間レイヤ間の画像ダイメンションの比率が２の乗数でない方法も新たに提案されている。この方法は、高域画像が、対応する低域画像では存在しない領域を含む、Crop（切り取り）ウインドウを用いた非dyadic型スケーリング方法である。
レイヤ間予測方法では、何れの場合も画像アップサンプリング処理が用いられている。画像アップサンプリング処理は、低解像度画像から高解像度画像を生成する工程である。画像アップサンプリング処理の中には、サンプル補間処理を伴うものもある。スケーラブル映像符号化方式(SVC)で用いられる従来のアップサンプリング処理は、イントラ(Intra)予測のためのH.264で規定された1/4輝度サンプル補間処理に基づいて行われる。
Joint Video Team of ITU-T VCEG and ISO/IECMPEG, "Advanced Video Coding (AVC) - 4th Edition," ITU-T Rec.H.264 and ISO/IEC1/4496-10 (MPEG4-Part 10), January 2005 Working Document 1.0 (WD-1.0) (MPEG Doc. N6901) for the Joint Scalable Video Model (JSVM)
しかしながら、上記の従来のアップサンプリング方法を、空間スケーラブルコーディングに適応する場合、以下の問題があった。すなわち、補間解像度処理が、1/4サンプルに限られ、非dyadic型スケーリング方法ではサポートされていないため、1/4サンプル位置を得るために、1/2サンプル補間処理を施す必要があり、算出処理が複雑になるという問題があった。
したがって、上記の制限を受けることなく低演算量で実行できる画像アップサンプリング方法が求められている。
本発明の画像アップサンプリング方法は、上記の課題を解決するために、低解像度画像から高解像度画像へアップサンプリングする画像アップサンプリング方法であって、高解像度画像のサンプル位置に対応する低解像度画像の位置を算出する工程（ａ）と、上記低解像度画像の位置に基づいて、第１方向の第１位置補間中心を算出する工程（ｂ）と、上記低解像度画像の位置に基づいて、上記第１方向の第１位置位相を算出する工程（ｃ）と、上記低解像度画像の位置に基づいて、第２方向の第２位置補間中心を算出する工程（ｄ）と、上記低解像度画像の位置に基づいて、上記第２方向の第２位置位相を算出する工程（ｅ）と、上記第１位置位相に基づいて、第１フィルタ係数セットを算出する工程（ｆ）と、上記第２位置位相に基づいて、第２フィルタ係数セットを算出する工程（ｇ）と、上記第１フィルタ係数セットを有する第１フィルタを用いて上記第１方向に上記低解像度画像をフィルタ処理することによって、第１フィルタ画像を生成する工程（ｈ）と、上記第２フィルタ係数セットを有する第２フィルタを用いて上記第２方向に上記低解像度画像をフィルタ処理することによって、第２フィルタ画像を生成する工程（ｉ）とを含むことを特徴としている。
また、本発明の画像アップサンプリングシステムは、上記の課題を解決するために、低解像度画像から高解像度画像へアップサンプリングする画像アップサンプリングシステムであって、上記高解像度画像のサンプル位置に対応する低解像度画像の位置を算出する相対位置取得部と、上記低解像度画像の位置に基づいて、第１方向の第１位置補間中心を算出する第１位置補間中心算出部と、上記低解像度画像の位置に基づいて、上記第１方向の第１位置位相を算出する第１位置位相算出部と、上記低解像度画像の位置に基づいて、第２方向の第２位置補間中心を算出する第２位置補間中心算出部、上記低解像度画像の位置に基づいて、上記第２方向の第２位置位相を算出する第２位置位相算出部と、上記第１位置位相に基づいて、第１フィルタ係数セットを算出する第１フィルタ係数選択部と、上記第２位置位相に基づいて、第２フィルタ係数セットを算出する第２フィルタ係数選択部と、上記第１方向に上記低解像度画像をフィルタ処理することによって、第１フィルタ画像を生成する上記第１フィルタ係数セットを有する第１フィルタと、上記第２方向に上記低解像度画像をフィルタ処理することによって、第２フィルタ画像を生成する上記第２フィルタ係数セットを有する第２フィルタと、を含むことを特徴としている。
上記の構成によれば、低演算量で実行できる画像アップサンプリング方法およびシステムを実現することができる。
本発明の画像アップサンプリング方法は、以上のように、低解像度画像から高解像度画像へアップサンプリングする画像アップサンプリング方法であって、高解像度画像のサンプル位置に対応する低解像度画像の位置を算出する工程（ａ）と、上記低解像度画像の位置に基づいて、第１方向の第１位置補間中心を算出する工程（ｂ）と、上記低解像度画像の位置に基づいて、上記第１方向の第１位置位相を算出する工程（ｃ）と、上記低解像度画像の位置に基づいて、第２方向の第２位置補間中心を算出する工程（ｄ）と、上記低解像度画像の位置に基づいて、上記第２方向の第２位置位相を算出する工程（ｅ）と、上記第１位置位相に基づいて、第１フィルタ係数セットを算出する工程（ｆ）と、上記第２位置位相に基づいて、第２フィルタ係数セットを算出する工程（ｇ）と、上記第１フィルタ係数セットを有する第１フィルタを用いて上記第１方向に上記低解像度画像をフィルタ処理することによって、第１フィルタ画像を生成する工程（ｈ）と、上記第２フィルタ係数セットを有する第２フィルタを用いて上記第２方向に上記低解像度画像をフィルタ処理することによって、第２フィルタ画像を生成する工程（ｉ）とを含む方法である。
それゆえ、低演算量で実行できるという効果を奏する。
エンハンスメントレイヤとベースレイヤとの幾何学的な関係を示す説明図である。 エンハンスメントレイヤとベースレイヤとの相対的位置関係の一例を示す説明図である。 本発明の一実施の形態にかかる２方向の補間フィルタ処理工程を示すフローチャートである。 エンハンスメントレイヤとベースレイヤとの各マクロブロックの関係を示す説明図である。 エンハンスメントレイヤとベースレイヤとのマクロブロックの関係を示す説明図である。
本発明の実施形態は、図面を参照することにより、最もよく理解されるであろう。なお、全ての図中において、同様の部材には同じ符号を付与している。また、各図は、詳細な説明の一部として明確に組み入れられるものである。
本発明の構成要素を、ここに示されている図においては一般化して描き、説明しているが、多種多様な形態に変更および設計できることができる。したがって、本発明の方法およびシステムの実施形態に関する以下の詳細な説明は、本発明の範囲を限定するものではなく、単に、本発明の現時点での好ましい実施形態の一例を示すものに過ぎない。
本発明の実施形態の構成要素を、ハードウェア、ファームウェアおよび／またはソフトウェアに組み込んでもよい。本明細書中に記載されている典型的な実施形態は、これらの形態のほんの一例を説明しているが、当業者であれば、本発明の範囲内において、これらの構成要素をこれらのあらゆる形態において実施できることを理解できるであろう。
本発明の実施の形態に係る画像アップサンプリング方法は、補間される画素の位置の位相に基づいて選択されたフィルタ係数を用いたダイレクト補間処理工程を含んでいる。
本明細書および特許請求の範囲では、「画像」は、画素アレイ、デジタル画像、デジタル画像の細分割、デジタル画像のデータチャンネルまたは画像データのその他の表現形式を含むものとする。図１はイメージ画像に対応する低域空間画像（ベース空間画像、ベースレイヤ画像）１０と高域空間画像（エンハンスメント空間画像・エンハンスメントレイヤ画像）１００との２つの画像を示している。図１に示すように、ベース空間画像１０は、エンハンスメント空間画像１００よりも空間解像度が低いものであってもよい。また、ベース空間画像１０は、図１に示すように、エンハンスメント空間画像１００と同じ空間領域を有していない構成としてもよい。図１には、エンハンスメント空間画像１００の空間領域１１０に対応したベース空間画像１０を示している。
本発明の実施の形態は、ベース空間画像とエンハンスメント空間画像とが、スケーラブルビデオコーダ／デコーダ（コーデック）における２つの空間レイヤに対応する構成としてもよい。
以下の説明において、エンハンスメント空間画像１００の幅１０１をｗe、高さ１０２をｈeとし、ベース空間画像１０の幅１１をｗｂ、高さ１２をｈｂとする。ベース空間画像１０は、エンハンスメント空間画像の座標(xorig, yorig)に位置するエンハンスメント空間画像１００のサブ領域（Crop（切り取り）領域）１１０をサブサンプルすることにより得ることができる。座標位置１０３は、cropウインドウ(Crop領域)１１０の左上隅に位置している。１１０の幅１１１と高さ１１２は、それぞれwex・hexで示している。エンハンスメント空間画像（高域空間画像）１００とベース空間画像（低域空間画像）１０との関係は、パラメータ(xorig, yorig, wex, hex, wb, hb)により規定される。
画像アップサンプリング処理は、低域空間解像度画像から高域空間解像度画像を生成する処理である。本実施の形態に係る画像アップサンプリング処理は、空間的あるいは時間的なダイメンションに限らず、あるダイメンションにおいて、解像度を向上させる処理と言ってもよい。図２は、高域空間解像度画像２００の画素位置２２０を示している。画素位置２２０は、低域空間解像度画像２０の位置２２に対応する位置である。画素位置２２０は、低域空間解像度画像の画素位置に並んで配置されていてもよいがこれに限定されない。図２では、位置２２は、ベースレイヤの４つの画素２１、２３、２４、２５で形成される領域内に位置している。
本発明の実施の形態にかかるアップサンプリング方法およびアップサンプリングシステムは、低域空間解像度画像（ベース空間画像）２０から高域空間解像度画像（エンハンスメント空間画像）２００の画素位置２２０をダイレクト補間処理するもので、ダイメンション間の比率が２の乗数に限定されない構成としてもよい。また、本発明の実施の形態に係るアップサンプリング方法およびアップサンプリングシステムは、ベース空間画像２０の画像全体をアップサンプリングする構成であってもよい。本発明の他の実施の形態として、ベース空間画像２０をブロックごとにアップサンプリングするものであってもよい。また、所定の方向にアップサンプリングした後、該所定の方向と異なる方向にアップサンプリングする構成としてもい。
複数の整数サンプルで構成される複数のユニットにおけるエンハンスメント空間画像のサンプル位置(x, y)の場合、複数の１／ＲＬユニットのベース空間画像における対応位置(Px,L(x), Py,L(y))は、下記式により算出する。
Figure 2010022020
上記式において、パラメータ(xorig, yorig, wex, hex, wb, hb)は、図１と同様に、エンハンスメント空間画像（高域空間画像）１００とベース空間画像（低域空間画像）１０との関係を規定しており、ＲＬは、補間解像度を示している。上記補間解像度を画像サンプルの解像度の１／１６に設定している場合は、ＲＬは１６となる。
また、ベース空間画像１０における対応する位置(Px,L(x), Py,L(y))は、下記式により算出する。
Figure 2010022020
上記式において、パラメータ(xorig, yorig, wex, hex, wb, hb)は、図１と同様に、エンハンスメント空間画像（高域空間画像）１００とベース空間画像（低域空間画像）１０との関係を規定しており、ＲＬは、補間解像度を示している。また、“//”は、割り算で四捨五入することを意味している。サンプル位置は、２の乗数に限らず、また、サンプル位置を直接計算することにより、当該サンプル位置における画像をダイレクト補間することができる。
本実施の形態において、サンプル位置(x, y)のエンハンスメントレイヤの画像値の補間処理は、フィルタ処理を含むものであってもよい。フィルタ処理は、さらに、ルックアップテーブルから補間フィルタ係数を算出する工程を含むものであってもよい。ここで、ルックアップテーブルのインデックスとして、補間位置(Px,L(x), Py,L(y))に関連付けたインデックスを用いてもよい。
本実施の形態の補間フィルタとしては、例えば、４タップフィルタ、６タップフィルタを用いることができる。補間フィルタ係数は、例えば、two-lobed Lanczos-windowed sinc functionまたはthree-lobed Lanczos-windowed sinc functionから導出できる。
表１および表２は、ぞれぞれ、位相が補間位置(Px,L(x), Py,L(y))に対応した１６位相６タップフィルタの補間フィルタ係数のルックアップテーブルを例示している。
Figure 2010022020
Figure 2010022020
表３は、位相が補間位置(Px,L(x), Py,L(y))に対応した１６位相４タップフィルタの補間フィルタ係数のルックアップテーブルを示している。
Figure 2010022020
図３に示すように、本実施の形態の補間処理は、別々のパス（パス３００・パス３０）で、それぞれＸ方向およびＹ方向に行ってもよい。また、本実施の形態において、画像のマクロブロックまたは別の下位区分の中で各パスを実行できる構成としてもよく、また、全体の画像の中で各パスを実行できる構成としてもよい。
エンハンスメントレイヤ３１のサンプル位置、すなわち、エンハンスメントレイヤの画像位置に対応するベースレイヤ３２の位置を決定する（工程３０１）。次に、整数ベースレイヤ画素位置からベースレイヤサンプルにおける各方法のオフセットまた位相である、ｙ位置位相３３およびｘ位置位相３４をそれぞれ導出する（工程３０２・工程３０３）。これらの工程において、オフセットまたは位相は、補間解像ユニットで求めてもよい。例えば、補間解像度がサンプル画像の解像度の１／１６の場合、０位相はベースレイヤの画素位置からオフセットしていない場合に対応し、８位相は、エンハンスメントレイヤの画素が１つのダイメンションにおけるベースレイヤ画素位置間の中間に位置する場合に対応する。
補間フィルタ係数はルックアップテーブルを用いて決定してもよい。このルックアップテーブルにおいて、ｙ位置位相３３は、ｙ方向で補間するときのインデックスであってもよく、ｘ位置位相３４は、ｘ方向で補間するときのインデックスであってもよい。所定方向における中心補間位置は、位相位置が測定されるベースレイヤの画素位置である。本実施の形態において、上記中心補間位置は、フィルタの中心が位置する画素位置であってもよい。
図４はマクロブロックのオーバレイを有する図１に示されていたものと同じ結合構造を示している。参照符号１４０は、強調空間レイヤ１００におけるマクロブロックの一例を示している。参照符号４０は、ベース空間画像（ベース空間レイヤ）１０におけるマクロブロックの一例を示している。ベース空間レイヤ１０におけるマクロブロックは、Crop領域１１０内に形成されていてもよい。また、強調空間レイヤ１００のマクロブロック１４４は、完全にCrop領域１１０の外側に形成されていてもよい。強調空間レイヤ１００のマクロブロック１４６は、Crop領域１１０の内外の両方に形成されていてもよい。
図５は、強調空間レイヤ１００上のアップサンプルされたベース空間レイヤ５０のマクロブロックのオーバレイの一例を示している。図５中、破線は、それぞれアップサンプルされたベース空間レイヤのマクロブロックを示している。ブロック５１は、ベース空間レイヤからアップサンプルされたマクロブロックを示している。強調空間レイヤ１００のマクロブロックのうちいくつかのマクロブロック（例えば、マクロブロック５２）は、ベース空間レイヤの対応するブロックを有していない。強調空間レイヤ１００における他のマクロブロックは、１から７つのベース空間レイヤマクロブロックを有している。強調空間レイヤ１００のブロック５３は、ベース空間レイヤのブロック５４に対応している。強調空間レイヤ１００のブロック５５は、ベース空間レイヤの４つの対応するブロック５６・５７・５８・５９を有している。
本発明の実施の形態にかかる補間処理は、H.264(MPEG-4 AVC)のSVC拡張方式と互換性があり、以下の工程を含んでいる。
強調画像におけるマクロブロックの左上の輝度サンプル位置(xP, yP)を定義する。次に、chroma_format_idcがゼロでない場合、すなわち、色度チャネルが存在する場合、上記色度ブロックの左上の複数の色度サンプル位置(xC, yC)を規定する。
下記式を用いて、輝度ベースレイヤ画像(Px,L, Py,L)における輝度サンプルマクロブロックの相対位置を算出する。
Figure 2010022020
Figure 2010022020
上記式は、下記式を充足する。下記式中、ＲＬは、１６である。
Figure 2010022020
chroma_format_idcがゼロでない場合、色度ベースレイヤ画像(Px,C, Py,CL)の色度マクロブロックの相対位置を、下記式を用いて算出する。
Figure 2010022020
Figure 2010022020
上記式中、MbWidthCおよびMbHeightCは、それぞれ、水平方向および垂直方向のマクロブロック（ＭＢ）ごとの色度サンプルの数を示している。それぞれ１つの色度サンプルからなる複数のユニットにおける強調画像における所定の色度サンプル位置において、ベース画像の複数の1/16 色度サンプルユニットにおけるベース画像(Px,c, Py,c)に対応する位置を下記式より算出する。
Figure 2010022020
上記式中、RC=16(xorig,c, yorig,c)は、Cropウインドウ(Crop領域)１１０の左上隅の位置を示し、(wb,c, hb,c)は、ベース画像の１つの色度サンプルユニットにおけるベース画像の解像度を示し、(wex,c, hex,c)は、現画像の１のシングル色度サンプルユニットにおけるCropウインドウの解像度を示し、(pbase,x, pbase,y)は、ベース画像の1/4色度サンプルユニットにおけるベース画像の相対色度位相ずれを示し、(penh,x, penh,y）は、ベース画像の1/4色度サンプルユニットにおける現画像の相対色度位相ずれを示している。
テクスチャ補間処理:予測 [Prediction]
テクスチャ補間処理の入力は、以下に示す通りである。
・ベース画像（xB,yB）および（xB1,yB1）の整数輝度サンプル位置
・ベース画像(baseL[x, y]) (=-2+xB..(xB1+2), y=-2+ yB..(yB1+2))
・chroma_format_idcがゼロでない場合、
・ベース画像((xCB,yCB),(xCB1,yCB1))の整数色度サンプル位置、
・ベース画像（baseCb[x,y], baseCr[x,y]）(=-2 + xCB..(xCB1+2), y=-2 + yCB..(yCB1+2))
テクスチャ補間処理の出力は、以下に示す通りである。
・輝度サンプルマクロブロックアレイ (PredL[x, y]) (x=0..15, y = 0..15))
・chroma_format_idcがゼロでない場合、
・２つの輝度サンプルマクロブロックアレイpredCb[x, y]・predCr[x, y] (x=0..MbWidthC-1, y=0..MbHeightC-1)
上記輝度サンプルマクロブロックアレイPredL[x,y] (x=0..15, y = 0..15) は、以下のように算出する。
・tempL[x, y] (x=-2+(xB..(xB1+2), y=0..15) を一時的輝度サンプルアレイとする。
各tempL[x,y] (x=-2+(xB..(xB1+2), y=0..15)は、以下のように算出することができる。
ベースレイヤの対応する分数間隔サンプル位置(yf)は、下記式により算出する。
Figure 2010022020
・上記yInt および yFrac を下記式により算出する。
Figure 2010022020
・上記式により求めたyFracを位相として用いてテーブル１より６タップフィルタe[j](j=-2..3)を選択し、tempL[x, y]を下記式により算出する。
Figure 2010022020
・各サンプル（PredL[x, y]）（x=0..15, y = 0..15）は、以下のように算出する。
・ベースレイヤの対応する分数間隔サンプル位置(xf)は、下記式により算出する。
Figure 2010022020
・xInt および xFrac を下記式により算出する。
Figure 2010022020
・上記式により求めたxFrac を位相として用いてテーブル１より６タップフィルタe[j] (j=-2..3)を選択し、predL[x, y]を下記式により算出する。
Figure 2010022020
上記式は、下記式を満たす。
Figure 2010022020
上記式において、BitDepthYは、輝度チャネルデータのビット深度を示している。
・chroma_format_idcがゼロでない場合、
・色度サンプル(predC[x, y]) (Cは、Cb, Cr を示し、x = 0..MbWidthC-1, y=0..MbHeightC-1を満たす)は、以下のように算出する。
・tempCb[x,y] およびtempCr[x, y] (x = -2 + (xCB..(xCB1+2), y=0..MbHeightC-1)を一時的色度サンプルアレイとする。
・各tempC[x,y] (Cは、CbおよびCrを示し、x=-2+(xB..(xB1+2)、y=0..MbHeightC-15を満たす)は、以下のように算出することができる。
・ベースレイヤの対応する分数間隔サンプル位置(yfC)は、下記式により算出する。
Figure 2010022020
・yIntCy および yFracC を下記式により算出する。
Figure 2010022020
・上記式により求めたyFracCを位相として用いてテーブル１より６タップフィルタe[j](j=-2..3)を選択し、tempＣ[x,y]を下記式により算出する。
Figure 2010022020
・各サンプル（predC[x,y]）(Cは、CbおよびCrを示し、x = 0..MbWidthC-1, y = 0..MbHeightC-1を満たす)は、以下のように算出することができる。
・ベースレイヤの対応する分数間隔サンプル位置(xfC)は、下記式により算出する。
Figure 2010022020
・yIntCy および yFracCを下記式により算出する。
Figure 2010022020
・上記式２４により求めたyFracC を位相として用いてテーブル１より６タップフィルタe[j] (j=-2..3)を選択し、predC[x,y]を下記式により算出する。
Figure 2010022020
上記式は、下記式を満たす。
Figure 2010022020
上記式において、BitDepthCは、色度チャネルデータのビット深度を示している。
〔テクスチャ補間処理工程：残差（RESIDUAL)〕
テクスチャ補間処理の入力は、以下に示す通りである。
・ベース画像basePic(xB,yB)および(xB1,yB1)の各整数輝度サンプル位置
・輝度残差サンプルアレイ(resBaseL[x, y])（x=-xB..xB1, y=yB..yB1）
・chroma_format_idcがゼロでない場合、
・ベース画像 （basePic(xCB, yCB), (xCB1, yCB1)）の整数色度サンプル位置
・２つの色度サンプルアレイresBaseCb[x, y]およびresBaseCr[x, y] (x=-2 + xCB..(xCB1+2), y=yCB..yCB1。
テクスチャ補間処理の出力は、以下に示す通りである。
・輝度サンプルアレイ（resPredL[x, y] (x=0..15, y = 0..15)）
・chroma_format_idcがゼロでない場合、
・２つの色度サンプルアレイ（resPredCb[x, y],pesPredCr[x, y]) (x=0..MbWidthC-1, y=0..MbHeightC-1)）。
上記輝度残差サンプル(resPredL[x, y])(x=0..15, y=0..15)は、以下のように算出する。
・tempL[x, y](x=xB..xB1, y=0..15) を一時的輝度サンプルアレイとする。
・各tempL[x, y](x=xB..xB1, y=0..15)は、以下のように算出することができる。
・ベースレイヤの対応する分数間隔サンプル位置(yf)は、下記式により算出する。
Figure 2010022020
・yInt および yFrac を下記式により算出する。
Figure 2010022020
・tempL[x, y]を下記式により算出する。
Figure 2010022020
・各残差サンプルresPredL[x, y] (x=0..15, y=0..15)は、以下のように算出することができる。
・ベースレイヤの対応する分数間隔サンプル位置(yf)は、下記式により算出する。
Figure 2010022020
・yInt および yFrac を下記式により算出する。
Figure 2010022020
・各残差サンプルresPredL[x, y]を下記式により算出する。
Figure 2010022020
chroma_format_idcがゼロでない場合、色度残差サンプル（resPredC[x, y] ）（Cは、Cb, Cr を示し、x=0..MbWidthC-1,y=0..MbHeightC-1を満たす)は、以下のように算出する。
・tempCb[x, y] およびtempCr[x, y] (x=CB..xCB1, y=0..MbHeightC-1)を一時的色度サンプルとする。
・各tempC[x, y] (Cは、Cb、Crを示し、x=xCB..xCB1、y=0..MbHeightC-1を満たす)を、下の工程で算出することができる。
・ベースレイヤの対応する分数間隔サンプル位置(yfC)を、下記式により算出する。
Figure 2010022020
・yIntCおよびyFracCを下記式により算出する。
Figure 2010022020
・Tempc[x, y]を下記式により算出する。
Figure 2010022020
・各サンプルresPredC[x, y] (Cは、CbおよびCrを示し、x=0..MbWidthC-1,y=0..MbHeight-1を満たす)は、以下のように算出することができる。
・ベースレイヤの対応する分数間隔サンプル位置(xfC)は、下記式により算出する。
Figure 2010022020
・xIntC および yFracC を下記式により算出する。
Figure 2010022020
・resPredC[x, y]を下記式により算出する。
Figure 2010022020
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は、空間拡張型ビデオコード化に用いられる画像アップサンプリング方法および画像アップサンプリングシステムに利用することができる。
１０ 低域空間画像（ベース空間画像、ベースレイヤ画像）
２０ 低域空間解像度画像
３０ パス
３３ ｙ位置位相
３４ ｘ位置位相
４０ ブロック（マクロブロック）
５０ ベース空間レイヤ
５１ ブロック（マクロブロック）
５２ ブロック（マクロブロック）
５３ ブロック（マクロブロック）
５４ ブロック（マクロブロック）
５５ ブロック（マクロブロック）
５６ ブロック（マクロブロック）
５７ ブロック（マクロブロック）
５８ ブロック（マクロブロック）
５９ ブロック（マクロブロック）
１００ 高域空間画像（エンハンスメント空間画像・エンハンスメントレイヤ画像・強調空間レイヤ）
１１０ Crop領域（空間領域）
１４０ マクロブロック
２００ 高低域空間解像度画像
３００ パス

Claims (13)

  1. 低解像度画像から高解像度画像へアップサンプリングする画像アップサンプリング方法であって、
    高解像度画像のサンプル位置に対応する低解像度画像の位置を算出する工程（ａ）と、
    上記低解像度画像の位置に基づいて、第１方向の第１位置補間中心を算出する工程（ｂ）と、
    上記低解像度画像の位置に基づいて、上記第１方向の第１位置位相を算出する工程（ｃ）と、
    上記低解像度画像の位置に基づいて、第２方向の第２位置補間中心を算出する工程（ｄ）と、
    上記低解像度画像の位置に基づいて、上記第２方向の第２位置位相を算出する工程（ｅ）と、
    上記第１位置位相に基づいて、第１フィルタ係数セットを算出する工程（ｆ）と、
    上記第２位置位相に基づいて、第２フィルタ係数セットを算出する工程（ｇ）と、
    上記第１フィルタ係数セットを有する第１フィルタを用いて上記第１方向に上記低解像度画像をフィルタ処理することによって、第１フィルタ画像を生成する工程（ｈ）と、
    上記第２フィルタ係数セットを有する第２フィルタを用いて上記第２方向に上記低解像度画像をフィルタ処理することによって、第２フィルタ画像を生成する工程（ｉ）とを含むことを特徴とする画像アップサンプリング方法。
  2. 上記工程（ｂ）および工程（ｄ）の各々は、画像サンプルの１／１６の補間解像度を用いることを特徴とする請求項１に記載の画像アップサンプリング方法。
  3. 上記第１フィルタ係数セットを算出する工程は、ルックアップテーブルを参照する工程を含むことを特徴とする請求項１に記載の画像アップサンプリング方法。
  4. 上記第２フィルタ係数セットを算出する工程は、ルックアップテーブルを参照する工程を含むことを特徴とする請求項１に記載の画像アップサンプリング方法。
  5. 上記ルックアップテーブルは、Lanczos-windowed sinc functionの複数のサンプルを含むことを特徴とする請求項３に記載の画像アップサンプリング方法。
  6. 上記ルックアップテーブルは、Lanczos-windowed sinc functionの複数のサンプルを含むことを特徴とする請求項４に記載の画像アップサンプリング方法。
  7. 低解像度画像から高解像度画像へアップサンプリングする画像アップサンプリングシステムであって、
    上記高解像度画像のサンプル位置に対応する低解像度画像の位置を算出する相対位置取得部と、
    上記低解像度画像の位置に基づいて、第１方向の第１位置補間中心を算出する第１位置補間中心算出部と、
    上記低解像度画像の位置に基づいて、上記第１方向の第１位置位相を算出する第１位置位相算出部と、
    上記低解像度画像の位置に基づいて、第２方向の第２位置補間中心を算出する第２位置補間中心算出部と、
    上記低解像度画像の位置に基づいて、上記第２方向の第２位置位相を算出する第２位置位相算出部と、
    上記第１位置位相に基づいて、第１フィルタ係数セットを算出する第１フィルタ係数選択部と、
    上記第２位置位相に基づいて、第２フィルタ係数セットを算出する第２フィルタ係数選択部と、
    上記第１方向に上記低解像度画像をフィルタ処理することによって、第１フィルタ画像を生成する上記第１フィルタ係数セットを有する第１フィルタと、
    上記第２方向に上記低解像度画像をフィルタ処理することによって、第２フィルタ画像を生成する上記第２フィルタ係数セットを有する第２フィルタと、を含むことを特徴とする画像アップサンプリングシステム。
  8. 上記第１位置補間中心算出部および第２位置補間中心算出部の各々は、画像サンプルの１／１６の補間解像度を用いることを特徴とする請求項７に記載の画像アップサンプリングシステム。
  9. 上記第１フィルタ係数選択部は、ルックアップテーブルを参照して上記第１フィルタ係数セットを選択することを特徴とする請求項８に記載の画像アップサンプリングシステム。
  10. 上記第２フィルタ係数選択部は、ルックアップテーブルを参照して上記第２フィルタ係数セットを選択することを特徴とする請求項８に記載の画像アップサンプリングシステム。
  11. 上記ルックアップテーブルは、Lanczos-windowed sinc functionの複数のサンプルを含むことを特徴とする請求項９に記載の画像アップサンプリングシステム。
  12. 上記ルックアップテーブルは、Lanczos-windowed sinc functionの複数のサンプルを含むことを特徴とする請求項１０に記載の画像アップサンプリングシステム。
  13. さらに、H.264/MPEG-4 AVCビデオコーディックを含むことを特徴とする請求項７に記載の画像アップサンプリングシステム。
JP2009200786A 2005-03-18 2009-08-31 画像の復号方法 Active JP5189054B2 (ja)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US66316105P 2005-03-18 2005-03-18
US60/663,161 2005-03-18
US68306005P 2005-05-20 2005-05-20
US60/683,060 2005-05-20
US68667605P 2005-06-01 2005-06-01
US60/686,676 2005-06-01
US11/347,539 US8175168B2 (en) 2005-03-18 2006-02-03 Methods and systems for picture up-sampling
US11/347,539 2006-02-03

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2008501901A Division JP2008533908A (ja) 2005-03-18 2006-02-28 画像アップサンプリング方法およびシステム

Publications (3)

Publication Number Publication Date
JP2010022020A true JP2010022020A (ja) 2010-01-28
JP2010022020A5 JP2010022020A5 (ja) 2010-09-16
JP5189054B2 JP5189054B2 (ja) 2013-04-24

Family

ID=37010409

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2008501901A Pending JP2008533908A (ja) 2005-03-18 2006-02-28 画像アップサンプリング方法およびシステム
JP2009200786A Active JP5189054B2 (ja) 2005-03-18 2009-08-31 画像の復号方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2008501901A Pending JP2008533908A (ja) 2005-03-18 2006-02-28 画像アップサンプリング方法およびシステム

Country Status (6)

Country Link
US (2) US8175168B2 (ja)
EP (1) EP1859388A4 (ja)
JP (2) JP2008533908A (ja)
KR (1) KR100937272B1 (ja)
CN (2) CN102075755A (ja)
WO (1) WO2006101681A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014107066A1 (ko) * 2013-01-04 2014-07-10 삼성전자 주식회사 위상차를 고려한 영상 업샘플링을 이용하는 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8243820B2 (en) * 2004-10-06 2012-08-14 Microsoft Corporation Decoding variable coded resolution video with native range/resolution post-processing operation
US9071847B2 (en) 2004-10-06 2015-06-30 Microsoft Technology Licensing, Llc Variable coding resolution in video codec
JP4839035B2 (ja) * 2005-07-22 2011-12-14 オリンパス株式会社 内視鏡用処置具および内視鏡システム
CN1859576A (zh) * 2005-10-11 2006-11-08 华为技术有限公司 对空间分层编码视频图象的上采样方法及其系统
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US20070160134A1 (en) * 2006-01-10 2007-07-12 Segall Christopher A Methods and Systems for Filter Characterization
CN1794821A (zh) * 2006-01-11 2006-06-28 浙江大学 可分级视频压缩中插值的方法与装置
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
US8059714B2 (en) * 2006-07-10 2011-11-15 Sharp Laboratories Of America, Inc. Methods and systems for residual layer scaling
US7885471B2 (en) * 2006-07-10 2011-02-08 Sharp Laboratories Of America, Inc. Methods and systems for maintenance and use of coded block pattern information
US8422548B2 (en) * 2006-07-10 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for transform selection and management
US8532176B2 (en) * 2006-07-10 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for combining layers in a multi-layer bitstream
US8130822B2 (en) * 2006-07-10 2012-03-06 Sharp Laboratories Of America, Inc. Methods and systems for conditional transform-domain residual accumulation
US7840078B2 (en) * 2006-07-10 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for image processing control based on adjacent block characteristics
US8548056B2 (en) * 2007-01-08 2013-10-01 Qualcomm Incorporated Extended inter-layer coding for spatial scability
US8233536B2 (en) 2007-01-23 2012-07-31 Sharp Laboratories Of America, Inc. Methods and systems for multiplication-free inter-layer image prediction
US8665942B2 (en) 2007-01-23 2014-03-04 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction signaling
US7826673B2 (en) * 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
US8503524B2 (en) * 2007-01-23 2013-08-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction
US7760949B2 (en) 2007-02-08 2010-07-20 Sharp Laboratories Of America, Inc. Methods and systems for coding multiple dynamic range images
US8767834B2 (en) 2007-03-09 2014-07-01 Sharp Laboratories Of America, Inc. Methods and systems for scalable-to-non-scalable bit-stream rewriting
US8107571B2 (en) * 2007-03-20 2012-01-31 Microsoft Corporation Parameterized filters and signaling techniques
US8014613B2 (en) * 2007-04-16 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image parameter prediction
US8175158B2 (en) * 2008-01-04 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction parameter determination
JP5257367B2 (ja) * 2008-02-20 2013-08-07 日本電気株式会社 映像配信装置、映像配信システム及び映像配信方法
JP5310718B2 (ja) * 2008-03-21 2013-10-09 日本電気株式会社 映像再生装置、映像配信システム、映像再生方法およびプログラム
CN101715125B (zh) * 2009-09-11 2011-09-28 中山大学 一种用于h.264视频编码的联合分数点运动估计和插值方法
WO2011152425A1 (ja) * 2010-06-03 2011-12-08 シャープ株式会社 フィルタ装置、画像復号装置、画像符号化装置、および、フィルタパラメータのデータ構造
US8948248B2 (en) * 2011-07-21 2015-02-03 Luca Rossato Tiered signal decoding and signal reconstruction
WO2013036972A1 (en) 2011-09-09 2013-03-14 Panamorph, Inc. Image processing system and method
CN108696752B (zh) 2011-09-20 2021-07-27 Lg 电子株式会社 用于编码/解码图像信息的方法和装置
US20150326886A1 (en) * 2011-10-14 2015-11-12 Mediatek Inc. Method and apparatus for loop filtering
CN103891277B (zh) * 2011-10-14 2018-01-26 寰发股份有限公司 回路滤波方法及其装置
PL2775711T3 (pl) 2011-11-04 2020-06-29 Lg Electronics Inc. Sposób i aparat do kodowania/dekodowania informacji o obrazie
US20150016522A1 (en) * 2012-04-05 2015-01-15 Sony Corporation Image processing apparatus and image processing method
JP2013243636A (ja) * 2012-04-24 2013-12-05 Sharp Corp 画像復号装置および画像符号化装置
JP6050489B2 (ja) 2012-07-06 2016-12-21 サムスン エレクトロニクス カンパニー リミテッド 多階層ビデオ符号化方法及びその装置、並びに多階層ビデオ復号化方法及びその装置
US10448032B2 (en) 2012-09-04 2019-10-15 Qualcomm Incorporated Signaling of down-sampling location information in scalable video coding
US9350899B2 (en) 2012-09-14 2016-05-24 Qualcomm Incorporated Methods and device for efficient resampling and resizing of digital images
US9124899B2 (en) 2012-09-28 2015-09-01 Sharp Laboratories Of America, Inc. Motion derivation and coding for scaling video
TWI521946B (zh) * 2012-12-21 2016-02-11 杜比實驗室特許公司 在高位元深度視訊的可適性編碼中，高精度升取樣
CN103916649B (zh) * 2012-12-31 2017-03-15 展讯通信（上海）有限公司 一种图像处理方法和装置、系统
US9549207B2 (en) 2013-01-02 2017-01-17 Dolby Laboratories Licensing Corporation Backward-compatible coding for ultra high definition video signals with enhanced dynamic range
US9584808B2 (en) * 2013-02-22 2017-02-28 Qualcomm Incorporated Device and method for scalable coding of video information
EP2961167A4 (en) * 2013-02-25 2016-08-10 Samsung Electronics Co Ltd DEVICE AND METHOD FOR SCALABLE VIDEO CODING, INCLUDING MEMORY BAND WIDTH AND CALCULATION QUANTITY, AND DEVICE AND METHOD FOR SCALABLE VIDEO CODING
KR20140138538A (ko) * 2013-05-24 2014-12-04 주식회사 케이티 복수의 레이어를 지원하는 비디오 코딩 방법 및 장치
WO2014189300A1 (ko) * 2013-05-24 2014-11-27 주식회사 케이티 복수의 레이어를 지원하는 비디오 코딩 방법 및 장치
US9635371B2 (en) * 2013-05-31 2017-04-25 Qualcomm Incorporated Determining rounding offset using scaling factor in picture resampling
US10171821B2 (en) * 2013-07-16 2019-01-01 Samsung Electronics Co., Ltd. Scalable video encoding method and apparatus and scalable video decoding method and apparatus using up-sampling filter accompanied by conversion of bit depth and color format
US10136147B2 (en) 2014-06-11 2018-11-20 Dolby Laboratories Licensing Corporation Efficient transcoding for backward-compatible wide dynamic range codec
GB201500719D0 (en) * 2015-01-15 2015-03-04 Barco Nv Method for chromo reconstruction
KR102440941B1 (ko) 2015-03-03 2022-09-05 삼성전자주식회사 이미지 처리 정보에 따라 크기와 방향을 갖는 초기 위상을 계산할 수 있는 이미지 처리 장치들
US10609372B2 (en) * 2017-09-29 2020-03-31 Dolby Laboratories Licensing Corporation Up-conversion to content adaptive perceptual quantization video signals
KR102712746B1 (ko) 2018-08-24 2024-10-02 삼성전자주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
CN111200755A (zh) * 2018-11-20 2020-05-26 晨星半导体股份有限公司 影像像素提升装置与方法
US11620775B2 (en) 2020-03-30 2023-04-04 Panamorph, Inc. Method of displaying a composite image on an image display

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10134175A (ja) * 1996-10-29 1998-05-22 Sony Corp 画像処理装置および方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69028772T2 (de) * 1990-07-11 1997-04-03 Philips Electronics Nv Vorrichtung zur Ableitung eines kompatiblen Zeilensprungfernsehsignals mit geringer Auflösung und anderen Komponenten eines hochauflösenden Zeilensprungfernsehsignals sowie Vorrichtung zur Wiederherstellung des Originalsignals
JPH07107464A (ja) 1993-10-01 1995-04-21 Hitachi Ltd 画像符号化装置および復号化装置
JPH07212761A (ja) 1994-01-17 1995-08-11 Toshiba Corp 階層符号化装置及び階層復号化装置
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US6173013B1 (en) 1996-11-08 2001-01-09 Sony Corporation Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal
EP0901734B1 (en) 1997-03-12 2004-02-18 Matsushita Electric Industrial Co., Ltd. Mpeg decoder providing multiple standard output signals
ES2323358T3 (es) 1997-04-01 2009-07-14 Sony Corporation Codificador de imagenes, metodo de codificacion de imagenes, descodificador de imagenes, metodo de descodificacion de imagenes, y medio de distribucion.
JPH1132287A (ja) 1997-07-08 1999-02-02 Fuji Photo Film Co Ltd 画像ファイル作成方法および装置
JP2000075854A (ja) 1998-06-18 2000-03-14 Matsushita Electric Ind Co Ltd 画像処理装置、およびこれを用いたディスプレイ装置
JP2000036032A (ja) 1998-07-17 2000-02-02 Fujitsu Ltd 前景画像抽出方法、画像処理装置、自動トリミング装置、記録媒体及び肖像写真装置
CA2406459C (en) * 2000-04-07 2006-06-06 Demografx Enhanced temporal and resolution layering in advanced television
US6873655B2 (en) 2001-01-09 2005-03-29 Thomson Licensing A.A. Codec system and method for spatially scalable video data
KR100783396B1 (ko) * 2001-04-19 2007-12-10 엘지전자 주식회사 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법
US6950469B2 (en) 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
FI20012115A7 (fi) 2001-11-01 2003-05-02 Oplayo Oy Kuvan interpolointi
JP2006518568A (ja) * 2003-02-17 2006-08-10 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ビデオ符号化
CN1272734C (zh) * 2004-05-20 2006-08-30 上海交通大学 基于非负矩阵分解的相关反馈图像检索方法
WO2006087314A1 (en) 2005-02-18 2006-08-24 Thomson Licensing Method for deriving coding information for high resolution images from low resoluton images and coding and decoding devices implementing said method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10134175A (ja) * 1996-10-29 1998-05-22 Sony Corp 画像処理装置および方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN6009054085; Ｋｅｎ　Ｔｕｒｋｏｗｓｋｉ: Ｆｉｌｔｅｒｓ　ｆｏｒ　ｃｏｍｍｏｎ　ｒｅｓａｍｐｌｉｎｇ　ｔａｓｋｓ , 19900410 *
JPN6009054086; Ｄｅｓｃｒｉｐｔｉｏｎ　ｏｆ　Ｃｏｒｅ　Ｅｘｐｅｒｉｍｅｎｔｓ　ｉｎ　ＳＶＣ , 200501 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014107066A1 (ko) * 2013-01-04 2014-07-10 삼성전자 주식회사 위상차를 고려한 영상 업샘플링을 이용하는 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
US9961365B2 (en) 2013-01-04 2018-05-01 Samsung Electronics Co., Ltd. Scalable video encoding method and apparatus using image up-sampling in consideration of phase-shift and scalable video decoding method and apparatus

Also Published As

Publication number Publication date
CN101513053A (zh) 2009-08-19
WO2006101681A2 (en) 2006-09-28
US8670489B2 (en) 2014-03-11
US8175168B2 (en) 2012-05-08
JP5189054B2 (ja) 2013-04-24
KR20070116872A (ko) 2007-12-11
CN102075755A (zh) 2011-05-25
CN101513053B (zh) 2011-04-06
US20120213296A1 (en) 2012-08-23
US20060210185A1 (en) 2006-09-21
KR100937272B1 (ko) 2010-01-18
JP2008533908A (ja) 2008-08-21
WO2006101681A3 (en) 2009-04-16
EP1859388A2 (en) 2007-11-28
EP1859388A4 (en) 2010-09-08

Similar Documents

Publication Publication Date Title
JP5189054B2 (ja) 画像の復号方法
JP5154635B2 (ja) 拡張された空間スケーラビティにおける画像レベルの適応化方法およびシステム
JP7284221B2 (ja) エンハンスメント層予測に層間予測寄与を使用するスケーラブルビデオ符号化
US8023569B2 (en) Methods and systems for block-based residual upsampling
US9445123B2 (en) Method and apparatus for intra prediction within display screen
US8264968B2 (en) Inter-layer prediction method for video signal
JP5416271B2 (ja) 多層映像配信のための適応補間フィルタ
KR20130124539A (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
US8638862B2 (en) Methods and systems for upsampling filter design
WO2014199634A1 (ja) 画像符号化装置、画像符号化方法、画像復号装置及び画像復号方法
KR20140138538A (ko) 복수의 레이어를 지원하는 비디오 코딩 방법 및 장치
WO2007042365A1 (en) Method and apparatus for reconstructing the texture of a spatial enhancement-layer video picture
WO2007100128A1 (en) Method and system for picture up-sampling
Lee et al. A high performance and low complexity sampling-based intra coding method for H. 264/AVC
Bharanitharan Efficient spatial scalability algorithm for H. 264/SVC encoders
HK1119890B (en) Method of encoding and decoding video signals

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100802

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130123

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160201

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5189054

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250