JP2008538057A - 拡張された空間スケーラビティにおける画像レベルの適応化方法およびシステム - Google Patents

拡張された空間スケーラビティにおける画像レベルの適応化方法およびシステム Download PDF

Info

Publication number
JP2008538057A
JP2008538057A JP2008501903A JP2008501903A JP2008538057A JP 2008538057 A JP2008538057 A JP 2008538057A JP 2008501903 A JP2008501903 A JP 2008501903A JP 2008501903 A JP2008501903 A JP 2008501903A JP 2008538057 A JP2008538057 A JP 2008538057A
Authority
JP
Japan
Prior art keywords
image
base layer
prediction
motion vector
crop window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008501903A
Other languages
English (en)
Other versions
JP4751928B2 (ja
Inventor
サン シジュン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2008538057A publication Critical patent/JP2008538057A/ja
Application granted granted Critical
Publication of JP4751928B2 publication Critical patent/JP4751928B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Abstract

発明は、空間スケーラブル映像符号化方式における動きベクトルの改善システムおよび方法に関するものであり、Ｈ.２６４/ＭＰＥＧ−４ ＡＶＣ スケーラブル映像符号化(ＳＶＣ)拡張方式に適応される。

Description

本発明は、拡張された空間スケーラビティにおける画像レベルの適応化方法およびシステム関し、また、画像レイヤ予測に用いる動きベクトルの拡張および調整方法およびシステムに関するものである。
動画データの圧縮符号化方式の標準であるＨ．２６４／ＭＰＥＧ−４ ＡＶＣは、非特許文献１に開示されているように、マクロブロック予測、残差符号化を順次行い、ビデオシーケンスの時間的または空間的な冗長性を取り除くことで圧縮効率を向上させる映像符号化方式である。空間スケーラビリティは、レート歪特性を維持しつつ、ビットストリームの一部を取り除くことで、サポートされた如何なる空間解像度をも実現する機能を有している。しかしながら、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣは、単層では空間スケーラビリティをサポートしていない。空間スケーラビリティは、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ スケーラブル映像符号化（ＳＶＣ）の拡張方式でサポートされている。
Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣスケーラブル映像符号化（ＳＶＣ）拡張方式は、非特許文献２に開示されているように、階層化されたビデオコーデックであり、空間レイヤ間の冗長を、レイヤ間予測により取り除くものである。Ｈ．２６４／ＭＰＥＧ−４ＡＶＣの拡張であるＳＶＣ規格に適用されるレイヤ間予測では、レイヤ間動き予測、レイヤ間残差予測、レイヤ間イントラテクスチャ予測の３つの技術が用いられる。
ブロック単位で動き補償する映像コーデックは、H.261, H.263, H264, MPEG-1, MPEG-2, MPEG-4等多くのビデオ圧縮の標準で用いられている。圧縮処理のロスにより、復号化された画像に可視ノイズ（画像ノイズ）が生じることがある。すなわち、画像にブロックの境界にそって、変換係数の量子化によりブロックノイズ（歪み）が生じる。
画像のフィルタリング技術によって、再結合された画像のノイズを減少させることができる。再結合された画像は、逆変換され復号化されることによって形成される。このフィルタリング技術で重要な法則は、画像のエッジ部分を維持しつつ、その他の部分を平滑化することである。ローパスフィルタは、特定の画素または画像エッジの周りの画素セットに基づいて、慎重に選択される。
ブロックの境界を跨ぐ相関のない画像を構成する画素には、特別にフィルタをかけてブロックノイズを低減させる。しかしながら、このフィルタ処理は、一方で画像ボケの要因となってしまう。したがって、隣接するブロック間でブロックノイズが存在しないか、存在しても少ない場合に上記フィルタ処理を行えば、その効果などなく、単に画像ボケを生じさせるだけであり、結局、無駄な処理を行ったことになる。
従来、スケーラブル映像符号化(ＳＶＣ)方式では、ダイアデック空間スケーラビリティだけが採用されていた。このダイアデック空間スケーラビリティでは、２つの連続する空間レイヤ間の画像ディメンションの比率を２の乗数としているが、２つの連続する空間レイヤ間の画像ディメンションの比率が２の乗数でない方法も新たに提案されている。この方法は、上位画像が、対応する下位画像では存在しない領域を含む、クロップ（切り取り）ウインドウを用いた非ダイアデック型スケーリング方法である。
レイヤ間予測方法では、何れの場合も画像アップサンプリングが用いられている。画像アップサンプリングは、低解像度画像から高解像度画像を生成する工程である。画像アップサンプリング処理の中には、サンプル補間処理を伴うものもある。スケーラブル映像符号化方式(ＳＶＣ)で用いられる従来のアップサンプリング処理は、インター予測のためのＨ.２６４で規定された１／４サンプル輝度補間処理に基づいて行われる。
Joint Video Team of ITU-T VCEG and ISO/IECMPEG, "Advanced Video Coding (AVC) - 4th Edition," ITU-T Rec.H.264 and ISO/IEC1/4496-10 (MPEG4-Part 10), January 2005 Working Document 1.0 (WD-1.0) (MPEG Doc. N6901) for the Joint Scalable Video Model (JSVM)
しかしながら、上記の従来のアップサンプリング方法を、空間スケーラブルコーデックに適応した場合、以下の問題があった。すなわち、補間解像度処理が、１／４サンプルに限られ、非ダイアデック型スケーリング方法をサポートしていないため、１／４サンプル位置を得るために、１／２サンプル補間処理を施す必要があり、算出処理が複雑になるという問題があった。したがって、上記の制限を受けることなく少ない演算量で実行できる画像アップサンプリング方法が求められている。
本発明の空間スケーラブル映像符号化方式における画像レベルの適応化方法は、上記の課題を解決するために、（ａ）入力ビデオシーケンスの第１画像の第１位置での第１クロップウインドウを規定する工程と、（ｂ）上記第１クロップウインドウに対応する第１ベースレイヤを生成する工程と、（ｃ）上記入力ビデオシーケンスの第２画像の前記第１位置と異なる位置である第２位置での第２クロップウインドウを規定する工程と、（ｄ）上記第２クロップウインドウに対応する第２ベースレイヤを生成する工程と、を含むことを特徴としている。
また、本発明の空間スケーラブル映像符号化方式におけるベースレイヤからクロップウインドウで規定されるエンハンスメントレイヤ領域を予測する方法は、上記の課題を解決するために、（ａ）上記ベースレイヤの画像ブロックの方向のベースレイヤ動きベクトルを計算する工程と、（ｂ）上記方向の上記ベースレイヤの大きさに対する上記方向の上記クロップウインドウの大きさの比率に基づいて、上記ベースレイヤ動きベクトルを拡張する工程と、（ｃ）参照画像におけるクロップウインドウの位置に対し、上記クロップウインドウの動きを表す拡張された動きベクトルを調整する工程と、を含むことを特徴としている。
また、本発明の空間スケーラブル映像符号化方式においてベースレイヤからクロップウインドウで規定されるエンハンスメントレイヤ領域を予測するシステムは、上記の課題を解決するために、（ａ）上記ベースレイヤの画像ブロックの方向のベースレイヤ動きベクトルを計算する演算部と、（ｂ）上記方向の上記ベースレイヤの大きさに対する上記方向の上記クロップウインドウの大きさの比率に基づいて、上記ベースレイヤ動きベクトルを拡張する拡張部と、（ｃ）上記参照画像におけるクロップウインドウの位置に対し、上記クロップウインドウの動きを表す拡張された動きベクトルを調整する調整部と、を含むことを特徴としている。
本発明の実施形態は、図面を参照することにより、最もよく理解されるであろう。なお、全ての図中において、同様の部材には同じ符号を付与している。また、各図は、詳細な説明の一部として明確に組み入れられるものである。
本発明の構成要素を、図面では一般化して説明しているが、多種多様な形態に変更および設計が可能である。したがって、本発明の方法およびシステムの実施形態に関する以下の詳細な説明は、本発明の範囲を限定するものではなく、単に、本発明の現時点での好ましい実施形態の一例を示すものに過ぎない。
本発明の実施形態の構成要素を、ハードウェア、ファームウェアおよび／またはソフトウェアに組み込んでもよい。本明細書中に記載されている典型的な実施形態は、これらの形態のほんの一例を説明しているが、当業者であれば、本発明の範囲内において、これらの構成要素をこれらのあらゆる形態において実施できることを理解できるであろう。
本発明の実施の形態は、Ｈ.２６４／ＡＶＣのスケーラブル映像符号化(ＳＶＣ)拡張方式に関するものである。また、空間スケーラブル映像符号化における画像のアップサンプリング処理における問題点の解決方法に関する。具体的には、２００５年４月にＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ：ＭＰＥＧとＶＣＥＧとの共同映像チーム)で採用された空間スケーラブル映像符号化の拡張方式に適応するアップサンプリング工程を提供するものである。
現在のところ、JSVM WD-1.0 [MPEG Doc. N6901]は、ダイアデック空間スケーラビリティのみを対象としており、２つの連続する空間レイヤ間の画像の幅および高さ（画素数で換算）の比率を２の乗数としている。これは、明らかに、例えば、放送用のＳＤ画像からＨＤ画像への拡張等の一般使用を制限する要因となっている。
そこで、[MPEG Doc. ｍ11669]は、拡張された空間スケーラビリティにおいて、２つの連続する空間レイヤ間の画像の幅および高さの比率が２の乗数に限定されず、高レベルの画像が、対応する低レベルの画像に存在しない領域（通常画像の境界領域周辺）を含む構成に対応できるツールを提案している。この提案[MPEG Doc. ｍ11669]は、高位レイヤと低位レイヤの画像ディメンションの比率が２の乗数に限定されず、より一般化するためにWD-1.0[MPEG Doc. N6901]のインターレイヤ予測を拡張する。
本発明の実施の形態は、拡張された空間スケーラビリティ、すなわち、クロップウインドウを用いた非ダイアデックスケーリングに適用されるもので、一般的なアプリケーションに対する画像レベルの適応度を向上させるための調整方法に関するものである。空間スケーラビリティにおける画像レベルの適応化のサポートとして、本発明の実施の形態では、インターレイヤ予測の精度の向上を図るものである。さらに、従来の方法では、解消できなかった種々の課題を解決するものである。
本明細書および特許請求の範囲では、「画像」は、画素配列、デジタル画像、デジタル画像の細分割、デジタル画像のデータチャンネルまたは画像データのその他の表現形式を含むものとする。
図１は映像画像に対応する２つの画像を示している。
本実施の形態では、２つ以上の連続した空間レイヤとして、下位レイヤ（ベースレイヤ）２５３と上位レイヤ（エンハンスメントレイヤ）２５１を有する場合について説明する。これらのレイヤは、図１に示すように、下記の幾何学的関係を有している。以下の説明において、エンハンスメントレイヤ画像の幅をｗenh２５０、高さをｈenh２５２とする。同様に、ベースレイヤ画像の幅をｗbase２５４、高さをｈbase２５６とする。ベースレイヤ２５３は、エンハンスメントレイヤ画像２５１の一部分をサブサンプリング２６４したものであってもよい。この一部分はエンハンスメントレイヤ座標系の座標２６２ (xorig, yorig) に位置し、wextract２５８ とhextract２６０というディメンションをもつ。上位レイヤ画像２５１と、下位レイヤ画像２５３との幾何学的関係は、パラメータ(xorig , yorig , wextract, hextract , wbase , hbase)により定義される。
本発明の実施の形態では、デコードされたベースレイヤに基づいたエンハンスメントレイヤのマクロブロックの符号化／復号化について説明する。エンハンスメントレイヤのマクロブロックは、(エンハンスメントレイヤ画像の境界上に)対応するベースレイヤのブロックを有しない構成としてもよく、図２に示すように、１ないし数個の、対応するベースレイヤのマクロブロックであってもよい。すなわち、WD-1.0[MPEG Doc. N6901] の場合と異なるインターレイヤ予測の管理が必要である。図２はアップサンプルされたベースレイヤ画像２７２とエンハンスメントレイヤ画像２７０の間で重なるマクロブロックを示している。ベースレイヤ画像２７２中、マクロブロックの境界は、破線２７４で示している。同様に、エンハンスメントレイヤ画像２７０中、マクロブロックの境界は、実線２７６で示している。
[MPEG Doc. m11669]では、幅wextractと高さhextractを、１６の倍数とする必要があるとされている。しかしながら、この制約は、画像レベルの適応化を制限する要因となる。本発明の実施の形態では、幅wextractと高さhextractとを２の倍数とし、さらに、xorig 、yorigも２の倍数とし、色度のアップサンプリング／ダウンサンプリング処理で起こりうる位相ズレの調整工程が煩雑となることを回避している。
図１に示すディメンションおよびその他のパラメータは、下記の符号または変数名で表すことができる。
Figure 2008538057
［インターレイヤ（レイヤ間）動き予測］
上位レイヤマクロブロックは、BASE_LAYER_MODEまたはQPEL_REFINEMENT_MODEを使ってスケーリングベースレイヤ動きデータを使用することによってインターレイヤ予測を利用できる。WD-1.0 [MPEG Doc. N6901]の場合と同様に、これらのマクロブロックモードは、マクロブロックパーティションを含む動き／予測情報が、ベースレイヤから直接得られることを示している。ベースレイヤからの動きデータを継承することによって、予測マクロブロック（MB_pred）を構築することができる。BASE_LAYER_MODEでは、参照インデックスリスト、動きベクトルと同様に、マクロブロックのパーティションは、予測マクロブロックMB_predのそれである。QPEL_REFINEMENT_MODEの場合も、１／４サンプル動きベクトルの改良である点以外は同様である。
予測マクロブロックMB_predを求める方法として、以下の４つのステップから求める方法が提案されている。
・MB_pred の各４×４ブロックについて、ベースレイヤ動きデータから動きデータを継承する。
・MB_pred の各８×８ブロックについて、パーティションを選択する。
・MB_pred のモードを選択する。
・動きベクトルのスケーリングをする。
しかしながら、本発明の実施の形態は、画像レベルの適応化をサポートするためにいくつかの方程式の変更を提示している。
［４×４ブロックの継承］
図３は、４つのコーナ２８１・２８２・２８３・２８４を有する４×４ブロック２８０を示している。この処理は、ブロックの３つのコーナ２８１・２８２・２８３・２８４をチェックする工程からなる。上位レイヤ座標系におけるコーナ画素ｃの座標位置を(x, y)とし、ベースレイヤ座標系における対応する座標位置を (xbase, ybase) とし、以下のように定義する。
Figure 2008538057
画素(x、y)のコロケーティドマクロブロックは、画素(xbase, ybase)含むベースレイヤマクロブロックである。同様に、画素(x、y)のコロケーティド８×８ブロックは、画素(xbase, ybase)含むベースレイヤの８×８ブロックであり、画素(x、y)のコロケーティド４×４ブロックは、画素(xbase, ybase)含むベースレイヤの４×４ブロックである。
ｂの動きデータの承継処理は、以下の通りである。
・各コーナｃについて、各リストlistx (listx=list0またはlist1)の参照インデックスr(c,listx)、動きベクトルmv(c,listx)を、コロケーティドベースレイヤ４×４ブロックのそれに設定する。
・各コーナについて、コロケーティドマクロブロックが存在しない、またはイントラモードの場合、ｂをイントラブロックとして設定する。
・さもなければ、各リストlistxについて、
・何れのコーナもこのリストを使用しない場合、当該リストの何れの参照インデックス、動きベクトルもｂに設定しない。
・さもなければ、
・ｂに設定する参照インデックスrb(listx)を４つのコーナの存在する参照インデックスの最小値とする。
Figure 2008538057
・mvb(listx)に設定する動きベクトルを、参照インデックスrb(listx)を有する４つのコーナの動きベクトルの平均値に設定する。
［８×８（ブロックにおける）パーティション選択］
各４×４ブロック動きデータが設定されると、それが属する８×８ブロックの実際のパーティションを決定するため、あるいは規則違反の構成を避けるために、結合処理が必要となる。以下に、図４を参照し、８×８ブロックを構成する複数の４×４ブロックについて説明する。
各８×８ブロックＢに対し、以下の工程が適応される。
・４つの４×４ブロックがイントラブロックＢとして分類された場合、Ｂはイントラブロックとみなされる。
・さもなければ、Ｂのパーティション選択を行う。
・同じ参照インデックスリストを各４×４ブロックに割り当てるための以下のプロセスを適応する。各リストlistxについて、
・何れの４×４ブロックもこのリストを使用しない場合、当該リストの何れの参照インデックス、動きベクトルもＢに設定しない。
・さもなければ、
・Ｂに設定する参照インデックスrＢ(listx)を４つのコーナの存在する参照インデックスの最小値として計算する。
Figure 2008538057
・同じ参照インデックスrb(listx)を有する４×４ブロックの動きベクトルの平均値mvmean(listx)を算出する。
・（１）イントラブロックとして分類される、（２）このリストを使わない、（３）参照インデックスrＢ(listx)と異なる参照インデックスrｂ(listx)を有する、４×４ブロックは、参照インデックスおよび動きベクトルとして、rB(listx) と mvmean(listx)とがそれぞれ設定される。
・そして、Ｂのパーティションモードが選択される。２つの４×４ブロックは、それらの動きベクトルが同一であれば、同一とみなす。次に、以下の工程にて結合処理を施す。
・b1 がb2 と等しく、b3 がb4 と等しい場合、
・b1 がb3と等しければ、BLK_8x8を選択する。
・さもなければ、BLK_8x4 を選択する。
・b1がb３と等しく、b２がb4と等しい場合、BLK_4×8を選択する。
・さもなければ、BLK_4x4 を選択する。
［予測マクロブロックモード選択］
本発明の実施の形態では、予測マクロブロックMB_predモードを決定するプロセスを含むものであってもよい。次に、図５に示すマクロブロック３００を構成する８×８ブロック３０１ないし３０４について以下に説明する。
以下に示す場合は、２つの８×８ブロックは同一とみなす。
・２つの８×８ブロックの１つまたは双方がイントラブロックに分類されている場合、又は
・これらの２つのブロック双方のパーティションモードが、いずれもBLK_8x8であり、各ブロックのlist0およびlist1の参照インデックスおよび動きベクトルが存在する場合これらが同一であれば、これらの２つのブロックは同一であるとする。
モード選択は、以下の工程により行う。
・全ての８×８ブロックがイントラブロックとして分類された場合は、予測マクロブロックMB_predを、インターマクロブロックとして分類する。
・さもなければ、予測マクロブロックMB_predを、イントラマクロブロックとして分類する。当該モードの選択は、以下のプロセスで行う。
・イントラとして分類された８×８ブロックは、BLK_8x8 パーティションとする。これらのブロックの参照インデックスおよび動きベクトルは、以下のように計算する。BINTRAを、８×８ブロックとすると、
各リストlistxについて、
・何れの８×８ブロックもこのリストを使用しない場合、当該リストの何れの参照インデックス、動きベクトルもBINTRA に割り当てない。
・さもなければ、以下の工程を実行する。
・８×８ブロックの存在する参照インデックスの最小値として、参照インデックスrmin (listx)を計算する。
Figure 2008538057
・同じ参照インデックスrmin(listx)を有する４×４ブロックの動きベクトルの平均値mvmean(listx)を計算する。
・rmin(listx) を BINTRA に割り当て、 BINTRA の各４×４ブロックを、参照インデックスと、動きベクトルとして、rmin(listx),mvmean(listx)を有するように設定する。
・これにより、Ｂのパーティションモードを選択する。２つの８×８ブロックのパーティションモードが、いずれもBLK_8x8であり、各８×８ブロックのlist0 および list1の参照インデックスおよび動きベクトルが存在する場合は、これらが同一である場合、これら２つの８×８ブロックは、同一であるとする。次に、以下の工程にて結合処理を施す。
・Ｂ1が Ｂ2 と等しく、Ｂ3 がＢ4 と等しい場合、
・Ｂ1 がＢ3と等しければ、MODE_16x16を選択する。
・さもなければ、MODE_16x8 を選択する。
・さもなければ、Ｂ1が Ｂ３ と等しく、Ｂ２ がＢ4 と等しい場合、MODE_8x16を選択する。
・さもなければ、MODE_8x8 を選択する。
［動きベクトルスケーリング］
上記の工程により得られた予測マクロブロックMB_pred の存在するすべての動きベクトルに動きベクトルスケーリングを施してもよい。
動きベクトル mv = (dx, dy) は、以下の方式によりベクトル mvs =(dsx, dsy)でスケールすることができる。
Figure 2008538057
上記式中、sign[x] はｘが正の場合「１」に、ｘが負の場合は「-１」に設定されており、ｘがゼロの場合は「０」に設定されている。添字“r”を用いた各符号は、対応する参照画像の位置を表すパラメータを示している。
［インターレイヤテクスチャ予測］
テクスチャアップサンプリング
本発明の実施の形態では、インターレイヤテクスチャ予測を、インターレイヤ動き予測と同様の原理に基づいて適応することができる。ベースレイヤテクスチャアップサンプリングには、２つまたは３つのlobed Lanczos-windowed sinc functionsを用いることができる。２つのlobed Lanczos-windowed sinc functionは、下記式にて定義することができる。
Figure 2008538057
このアップサンプリングは、フレーム全体に対して行ってもよく、またブロック毎に行ってもよい。イントラテクスチャ予測では、各フレーム境界で反復パディングを用いている。残差データの予測には、各ブロック(変換に応じて４×４又は８×８)境界で反復パディングを用いている。
本実施の形態において、「Lanczos２function」により、以下の１６個の４タップアップサンプリングフィルタが表１に定義されている。これらのアップサンプリングフィルタは、ベースレイヤ画像の対応する成分のサンプルグリッドに対し、１／１６サンプル間隔ユニットの１６の異なる補間位相を有している。
座標位置 (x, y)での現在のレイヤにおける輝度サンプルとして、ベースレイヤ画像の対応するサンプルに対する位相ずれは、下記式にて定義される。
Figure 2008538057
Figure 2008538057
色度サンプル座標システムの座標位置 (xc, yc)での現レイヤにおける色度(chroma)サンプルについて、ベースレイヤ画像の対応するサンプルに対する位相ズレは、下記式にて定義できる。
Figure 2008538057
上記式中、
Figure 2008538057
Figure 2008538057
Figure 2008538057
Figure 2008538057
Figure 2008538057
Figure 2008538057
各位相ズレについて、表１から４タップ補間フィルタを選択することができる。
インターレイヤイントラテクスチャ予測
WD-1.0 [MPEG Doc. N6901]でI_BL modeを用いた場合、全ての対応するベースレイヤのマクロブロックをイントラ符号化する必要がある。本発明の本実施の形態では、上記の制約が緩和されており、対応するベースレイヤマクロブロックをインター符号化したり、また符号化しなくてもよい。
I_BL modeで符号化されたマクロブロックのイントラ予測信号を生成する際には、ベースレイヤ信号のコロケーティドブロックがあれば直接デブロッキングして補間する。４つの入力サンプル (X[n-1], X[n], X[n+1], X[n+2])で４タップ補間フィルタの出力値Ｙは下記式により求めることができる。
輝度サンプル
Figure 2008538057
上記式中、
Clip1ｙ(x) = min( max (0, x), (1 << BitDepthｙ) -1)
上記式中、BitDepthｙ は、輝度チャネルデータのビット深度を示す。
色度サンプル
Figure 2008538057
上記式中、
Clip1C( x ) = min( max ( 0, x ), ( 1 << BitDepthC ) -1)
上記式中、BitDepthC は、色度チャネルデータのビット深度を示す。
式（１５）および式（１６）の算出結果は四捨五入するため、フィルタリング順序は、「水平方向が先」または「垂直方向が先」として規定する。フィルタ処理は、水平方向にフィルタ処理を施した後、垂直方向にフィルタ処理を施すことが望ましい。上記のアップサンプリング処理は、以下に説明する拡張された空間スケーラビリティが可能な場合のみ行われる。
アップサンプリングフィルタ処理を行った後、固定値を用いてクロップウインドウの外の画像領域を埋める処理を行う。この固定値は、輝度の場合は(1<<(BitDepthY-1))に、色度の場合は(1<<(BitDepthC-1))に設定されている。
インターレイヤ残差予測
インターレイヤイントラテクスチャ予測と同様に、ベースレイヤの残差のアップサンプリング処理に、同じ４タップフィルタまたは他のフィルタを用いることができるが、四捨五入、クリッピング処理については式（１５）および式（１６）で定義されるものと異なっている。
４つの入力残差サンプル(X[n-1], X[n], X[n+1], X[n+2])に対し、フィルタの出力値Ｙは、下記式で算出する。
輝度の残差サンプル
Figure 2008538057
色差の残差サンプル
Figure 2008538057
残差のアップサンプリング処理のためのクリッピング機能は、下記式にて定義される。
Figure 2008538057
Figure 2008538057
上記式中、
Figure 2008538057
同様に、アップサンプリングフィルタ処理を行った後、固定値を用いてクロップウインドウの外の画像領域を含む残差の予測が適用できない画素位置を埋める処理を行う。この固定値は、全色成分で「０」に設定される。
［シンタックスおよびセマティックスの変更］
シンタックス表
本発明の実施の形態では、後述する大太文字で示した以下の変更を適用してもよい。主な変更としては、シーケンスパラメータセットのシンボル、extended_spatial _scalability、ベースレイヤのアップサンプリング処理に適用する位置変換に関するシーケンスパラメータセットおよびslice_data_in_scalable_extension()中の以下の４つのパラメータを追加する。
Figure 2008538057
Figure 2008538057
Figure 2008538057
Figure 2008538057
［セマンティックス］
スケーラブル拡張におけるシーケンスパラメータセット
スケーラブル拡張におけるシンタックスのシーケンスパラメータのセット
extended_spatial_scalabilityは、ベースレイヤアップサンプリングの位置情報パラメータに関連するシンタックスエレメントの存在を示している。
extended_spatial_scalabilityが「０」の場合、ビットストリームに位置情報パラメータが存在しないことを示している。
extended_spatial_scalability が「１」の場合、ビットストリームに位置情報パラメータが存在することを示している。extended_spatial_scalabilityが「２」の場合、slice_data_in_scalable_extensionに位置情報パラメータが存在することを示している。値３は、extended_spatial_scalability 用に予約されている。
extended_spatial_scalabilityが存在する場合、「０」と等しくなるようにしている。
scaled_base_left_offset_divided_by_twoは、アップサンプルされたベースレイヤ画像の左上画素と、現画像の左上画像との間の水平方向のズレの１／２を示している。
scaled_base_left_offset_divided_by_twoが存在しない場合、ゼロとみなさなければならない。
scaled_base_top_offset_divided_by_twoは、アップサンプルされたベースレイヤ画像の左下画素と、現画像の左下画像との間の垂直方向のズレの１／２を示している。scaled_base_top_offset_divided_by_two が存在しない場合、ゼロとみなさなければならない。
scaled_base_right_offset_divided_by_twoは、アップサンプルされたベースレイヤ画像の右上画素と、現画像の右上画像との間の水平方向のズレの１／２を示している。
scaled_base_right_offset_divided_by_twoが存在しない場合、ゼロとみなさなければならない。
scaled_base_bottom_offset_divided_by_twoは、アップサンプルされたベースレイヤ画像の右下画素と、現画像の右下画像との間の垂直方向のズレの１／２を示している。
scaled_base_bottom_offset_divided_by_twoが存在しない場合、ゼロとみなさなければならない。
すべての位置情報パラメータが、現在のレイヤ中の輝度サンプリング格子に対する１つのサンプル間隔ユニットにおける符号なし整数として特定される。さらに、数個の追加符号(scaled_base_left_offset, scaled_base_top_offset, scaled_base_right_offset, scaled_base_bottom_offset, scaled_base_width, scaled_base_height)が位置情報パラメータに基づいて定義される。
Figure 2008538057
Figure 2008538057
Figure 2008538057
Figure 2008538057
Figure 2008538057
Figure 2008538057
［スケーラブル拡張におけるスライスレイヤデータのシンタックス］
スライスデータのシンタクスエレメントのセマンティックスは、シーケンスパラメータセットの同一のシンタックスエレメントのセマンティックスと同じである。
［デコード処理］
予測データのデコード処理
WD-1.0 [MPEG Doc. N6901]での処理と比較すると、以下の工程が追加される。
extended_spatial_scalabilityが１または２で、かつbase_layer_mode_flagが１の場合、マクロブロックパーティションを含む動きベクトルフィールドは、項目３で説明した工程により求めることができる。WD-1.0 [MPEG Doc. N6901]の場合と同様に、全ての対応するベースレイヤマクロブロックがイントラ符号化された場合、現マクロブロックモードはI_BL に設定する。
・extended_spatial_scalabilityが１又は２でbase_layer_mode_flagが０、
base_layer_refinementが１の場合、ベースレイヤリファインメントモードが指定される。ベースレイヤリファインメントモードは、ベースレイヤ予測モードに似ている。マクロブロックパーティション、参照インデックス、および動きベクトルは、項目３で説明した手順で求めることができる。しかしながら、各動きベクトルについて、１／４サンプルベクトルリファインメント（mvd_ref_lX ）(各動きベクトルコンポーネントについて-1, 0, +1)をさらに伝送し求めた動きベクトルに付加する。その他の工程については、WD-1.0 [MPEG Doc. N6901]の場合と同様である。
［サブバンド画像のデコード工程］
WD-1.0 [MPEG Doc. N6901]での処理に、以下の工程が追加される。
extended_spatial_scalabilityが１または２の場合、I_BL modeのＭＢのイントラ予測信号は、以下の工程により生成する。
・コロケーティドベースレイヤブロックまたはマクロブロックをフィルタ処理する。
・デブロックされたブロックを補間することによって、イントラ予測信号を生成する。補間処理については、項目４で説明した工程により行うことができる。その他の工程については、WD-1.0 [MPEG Doc. N6901]の場合と同様である。
extended_spatial_scalabilityが１または２で、かつresidual_prediction_flagが１の場合、以下の処理を施す。
・ ベースレイヤブロックの残差信号をアップサンプルし、現マクロブロックの残差信号に付加する。補間処理については、項目４で説明した工程により行うことができる。
［ループフィルタの変更］
extended_spatial_scalabilityが１又は２の場合、I_BL modeにおけるブロックのフィルタ強度決定時のループフィルタに対しマイナーな変更を行う。
・隣接ブロックがイントラ符号化され、I_BL modeでない場合、Bs は４とする (この最初の工程については、WD-1.0 [MPEG Doc. N6901]と同様である。)。
・隣接するブロックのいずれかに係数が設定されている場合、Bs は２とする。
・隣接するブロックが、I_BL modeでない場合は、Bs は１とする。
・上記に該当しない場合は、Bs は０とする。
［６タップフィルタの実施例］
本発明の実施の形態は、H.264/MPEG-4 AVC スケーラブル映像符号化(ＳＶＣ)の拡張方式に適応するものであり、特に２００５年４月にJVT (Joint Video Team (合同映像チーム):MPEG, VCEG)で採用されたExtended Spatial Scalable (ESS) 映像符号化特性に適応するものである。
現在のスケーラブル映像符号化（ＳＶＣ）方式では、アップサンプリング処理は、Ｈ.２６４インター予測で指定された１／４−サンプル輝度補間処理に基づいて行っている。上記の方法を空間スケーラブルコーデックに適用した場合、下記の２つの欠点を引き継ぐことなる。
（１）補間解像度が、１／４に限定される。
（２）１／４サンプル位置を求めるために１／２サンプル補間が必要となる。
本発明の実施の形態は、（１）より細かい補間解像度および（２）直接補間により、上記の欠点を解消することができる。この結果、本発明の実施の形態では、複雑な計算を要することなく、アップサンプルされた画像の品質の向上を図ることができる。
本発明の実施の形態のアップサンプリング技術は、１６個の６タップフィルタを用いた直接補間を行うものである。アップサンプリングフィルタは、１／１６画像サンプルユニットの０〜１５の補間位置または位相に基づいて選択する。フィルタのセットは、ＳＶＣの１／２サンプル補間工程と、Ｈ．２６４の１／２サンプル輝度インター予測と互換可能に設計している。したがって、これらの実施例で用いる技術は、ハード／ソフトインプリメンテーションの観点では、Ｈ．２６４の自然な拡張と言える。
従来の空間拡張画像符号化システムでは、空間または解像度スケーリングファクタを、２あるいは２の乗数としている。２００５年４月に、拡張された空間スケーラビリティが、SVC Joint Scalable Video Model (JSVM) に採用され、空間スケーリングファクタが２の乗数に限定されないより一般的な仕様が可能となった。しかしながら、インターレイヤテクスチャ予測のアップサンプリング工程については、依然解決すべき問題がある。２００５年４月のＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ：ＭＰＥＧとＶＣＥＧとの共同映像チームの会議で、Ｈ．２６４テクスチャアップサンプリングでは、当面１／４サンプル輝度補間を採用することで合意がなされた。
本発明の実施の形態においても、図１を参照し説明した実施の形態でも幾何学的関係を適用することができる。
上記の実施の形態では、ベースレイヤ画像における対応する成分のサンプルグリッドに対する１／１６サンプル間隔ユニットにおける１６の異なる補間位相について、以下の１６個の４タップアップサンプリングフィルタを定義している。しかしながら、４タップアップサンプリングフィルタは、Ｈ.２６４仕様と互換性がない。このため、各実施の形態では、１６個の新しい６タップアップサンプリングフィルタを用いて、対応するフィルタ処理を施してもよい。６タップフィルタとしては、例えば、表２に示すものを用いることができる。また、表３に示す６タップフィルタを用いる構成としてもよい。
Figure 2008538057
Figure 2008538057
整数輝度サンプルユニットにおけるエンハンスメント画像のサンプル座標位置を（ｘ, y)とした場合、ベースレイヤ画像の１／１６輝度サンプルユニットにおけるベースレイヤ画像の座標位置(px,L, py,L) は、下記式により求めることができる。
Figure 2008538057
上記式中、RL=16 (１／１６サンプル解像度補間）であり、(xorig,yorig) は（現画像の）１色差サンプルユニットにおける現画像のクロップウインドウの左上コーナの位置を示している。(wbase, hbase) は、ベースレイヤ画像の１輝度サンプルユニットにおけるベースレイヤ画像の解像度を示している。(wextract, hextract) は、現画像の１輝度サンプルユニットにおけるクロップウインドウの解像度を示している。“//”は、割り算で四捨五入することを意味している。
１色差サンプルユニットにおけるエンハンスメント画像の色度サンプル座標位置を (xc, yc) とした場合、ベースレイヤ画像の１／１６色度サンプルユニットにおけるベースレイヤ画像の座標位置(px,c, py,c) は、下記式により求めることができる。
Figure 2008538057
上記式中、Rｃ=16であり、(xorig,c, yorig,c)は（現画像の）シングル色度サンプルユニットにおける現画像のクロップウインドウの左上コーナの位置を示している。 (wbase,c, hbase,c) は、ベースレイヤ画像のシングル色度サンプルにおけるベースレイヤ画像の解像度を示している。(wextract,c, hextract,c) は、現画像のシングル色度サンプルユニットにおけるクロップウインドウの解像度を示している。(pbase,x, pbase,y) は、ベースレイヤ画像の１／４色度サンプルユニットにおけるベースレイヤ画像の相対的な色度の位相ズレを示している。 (penh,x, penh,y) は、現画像の１／４色度サンプルユニットにおける現画像の相対的な色度位相ズレを示している。
６タップフィルタは、式（２１）および式（２２）から算出した補間位置に基づいて表２または表３から選択することができる。本発明の実施の形態では、補間位置が１／２サンプル位置の場合、Ｈ．２６４での１／２サンプル輝度補間と同様のフィルタを用いることができる。このため、同様のハードウェア／ソフトウェアモジュールを本発明の実施の形態の技術に適応することができる。
インターレイヤ残差アップサンプリングについても同様の直接補間方法が用いられる。本発明の実施の形態では、上述したテクスチャアップサンプリングの６タップフィルタ、４タップフィルタに代えて双線型の補間フィルタを用いることもできる。
本発明の実施の形態の補間処理について説明する。
１．エンハンスメント画像のマクロブロックの左上輝度サンプルの座標位置(xP,yP)を規定する。「chroma_format_idc」が０でない場合、つまり、色度チャネルが存在する場合、同じマクロブロックの左上色度サンプルの座標位置(xC, yC)を規定する。
２．ベースレイヤのマクロブロックの相対位置を算出する。
Figure 2008538057
Figure 2008538057
「chroma_format_idc」が０でない場合、
Figure 2008538057
Figure 2008538057
上記式中、「MbWidthC 」と「MbHeightC 」とは、それぞれ、水平方向および垂直方向の各ＭＢの色度サンプルの数を表している。
３．テクスチャ補間工程
テクスチャ補間工程における入力は、以下の通りである。
・ベースレイヤ画像の整数輝度サンプル位置（(xB, yB) ・(xB1, yB1)）
・ベースレイヤ画像の輝度サンプル配列（baseL[x, y], x = -2 + xB..(xB1+2),y= -2+yB..(yB1+2))
・「chroma_format_idc 」が０でない場合、
・ベースレイヤ画像の整数輝度サンプル位置（(xCB, yCB)・(xCB1, yB1)）
・ベースレイヤ画像の２つの色度サンプル配列（baseCb[x, y], x =-2 + xCB..(xCB1+2),y= -2+yCB..(yCB1+2))
テクスチャ補間工程における出力は、以下の通りである。
・輝度サンプルマクロブロック配列(predL[x,y] (x=0..15, y=0..15))
・chroma_format_idcがゼロでない場合、２つの色度サンプルマクロブロック配列（predCb[x,y]・predCr[x,y]（x=0..MbWidthC-1, y=0..MbHeightC-1）
輝度サンプルpredL[x,y]（x=0..15, y=0..15)は、以下の工程にて算出できる。
tempL[x,y] (x=-2+xB..(xB1+2), y=0..15)を、一時的な輝度サンプル配列とすると、
各tempL[x,y]（x=-2+xB..(xB1+2), y=0..15)は、以下の工程にて求めることができる。
ベースレイヤの対応する小数サンプルの位置yf は、下記式により算出できる。
Figure 2008538057
yInt、yFracを下記のように規定する。
Figure 2008538057
Figure 2008538057
位相としてyFracを用いて表２から６タップフィルタ（e[j]（j = -2..3）)を選択し、下記式にてtempL[x, y]を算出する。
Figure 2008538057
各サンプル予測 predL[x, y] (x=0..15, y=0..15)は、下記の工程で求めることができる。
ベースレイヤでの対応する小数サンプルの位置ｘｆは、下記式により求めることができる。
Figure 2008538057
xInt、xFracをそれぞれ下記式にて定義する。
Figure 2008538057
位相としてxFracを用いて表２から６タップフィルタ（e[j]（j = -2..3）)を選択し、下記式にてpredL[x, y]を算出する。
Figure 2008538057
chroma_format_idcが０でない場合、色差サンプルpredC[x,y] ((Cは、CbとCr) x=0..MbWidthC-1, y=0..MbHeightC-1)）は、下記の工程で求めることができる。
tmp1Cb[x, y], tmp1Cr[x, y] (x==-2+xCB.. ..(xCB1+2),y=0..MbHeightC-1)を一時的な色度サンプル配列とすると、
各tempC[x,y]（CはCbとCr, x= -2+xCB..(xCB1+2), y=0..MbHeightC-1)は、以下の工程にて求めることができる。
・ベースレイヤの対応する小数サンプルの位置yfC、下記式により算出できる。
Figure 2008538057
・yIntC、yFracCを下記式により決定する。
Figure 2008538057
位相としてyFracCを用いて表２から６タップフィルタ（e[j]（j = -2..3）)を選択し、下記式にてtempC[x, y]を算出する。
Figure 2008538057
・各サンプル予測 predC[x, y] (CはCb, Cr, x=0..MbWidthC-1, y=0..MbHeightC-1)は、以下の工程にて求めることができる。
・ベースレイヤの対応する小数サンプルの位置xfC、下記式により算出できる。
Figure 2008538057
・xIntC、xFracCを下記式により決定する。
Figure 2008538057
・位相としてxFraCを用いて表２から６タップフィルタ（e[j]（j =-2..3）)を選択し、下記式にてpredC[x, y]を算出する。
Figure 2008538057
４．テクスチャ補間処理
テクスチャ補間工程における入力は、以下の通りである。
・ベースレイヤ画像basePicの整数輝度サンプル位置（(xB, yB)・(xB1, yB1)）
・ベースレイヤ画像の輝度残差サンプル配列（resBaseL[x,y], x=xB..xB1, y=yB..yB1)
・chroma_format_idc が０でない場合、
・ベース画像basePicの整数色度サンプル位置（(xCB, yCB)・(xCB1, yCB1)）
・２つの色差残差サンプル配列resBaseCb[x,y]・resBaseCr[x,y]（x=xCB..xCB1, y=yCB..yCB1)
テクスチャ補間工程における出力は、以下の通りである。
・輝度サンプル配列resPredL[x,y]（x=0..15, y=0..15）
・chroma_format_idcがゼロでない場合、２つの色度サンプル配列(resPredCb[x,y])・（predCb[x,y]・predCr[x,y]（x=0..MbWidthC-1, y=0..MbHeightC-1）
各輝度残差サンプルresPredL[x,y]（x=0..15, y=0..15)は、以下の工程にて算出できる。
・tempL[x,y] (x=-xB..xB1,y=0..15)を、一時的な輝度サンプル配列とする。
・各tempL[x,y]（x=-xB..xB1, y=0..15)は、以下の工程にて求めることができる。
・ベースレイヤの対応する小数サンプルの位置yf は、下記式により算出できる。
Figure 2008538057
・yInt、yFracを下記のように規定する。
Figure 2008538057
・tempL[x, y]を下記のように導出する。
Figure 2008538057
・各サンプル resPredL[x,y] (x=0..15, y=0..15)は、下記の工程で求めることができる。
・ベースレイヤでの対応する小数サンプルの位置xfは、下記式により求めることができる。
Figure 2008538057
・xInt、xFracをそれぞれ下記式にて定義する。
Figure 2008538057
・resPredL[x, y]を下記式により算出する。
Figure 2008538057
上記式中、Clip1Y, r(x)=Clip3(1-(1<<BitDepthY), (1<<BitDepthY)-1, x)
BitDepthYは、輝度チャネルデータのビット深度を示す。
chroma_format_idcが０でない場合、色度残差サンプルresPredC[x,y]（（CはCbまたはCr) x=0..MbWidthC-1, y=0..MbHeightC-1)は、以下の工程にて算出できる。
・tmp1Cb[x,y]、tmp1Cr[x,y](x=xCB..xCB1, y=0..MbHeightC-1)を、一時的な色差サンプル配列とすると、
・各tempC[x,y]（Cは、Cb, Cr, x=-xCB..xCB1,y=0..MbHeightC-1)は、以下の工程にて求めることができる。
・ベースレイヤでの対応する小数サンプルの位置xfCは、下記式により求めることができる。
Figure 2008538057
・yIntC、yFracCをそれぞれ下記式にて定義する。
Figure 2008538057
・tempC[x,y]は、下記式にて算出する。
Figure 2008538057
・各サンプルresPredC[x,y]（CはCbとCr, x=0..MbWidthC-1, y=0..MbHeight-1)は、以下の工程にて求めることができる。
・ベースレイヤの対応する小数サンプルの位置xfCは、下記式により算出できる。
Figure 2008538057
・xIntC、xFracCをそれぞれ下記式にて定義する。
Figure 2008538057
・resPredC[x, y]を下記式により算出する。
Figure 2008538057
上記式中、Clip1C, r(x)=Clip3(1-(1<<BitDepthC), (1<<BitDepthC)-1, x)
BitDepthCは、色度チャネルデータのビット深度を示す。
説明の便宜上、操作は様々な相互接続された機能ブロックまたは異なったソフトウェアモジュールとして記述しているが、本発明は、これに限定されず、これらの機能ブロックまたはソフトウェアモジュールが不明瞭な境界で単一の論理素子、プログラムまたは操作として同等に集約された構成としてもよい。いずれの場合も、機能ブロックおよびソフトウェアモジュールまたは上記の本発明の特徴的特徴を、ハードウェア、ファームウェアおよび／またはソフトウェアに組み込んでもよい。自分たち、またはハードウェアまたはソフトウェアのどちらかの他の操作と組み合わせて機能ブロックとソフトウェアモジュールまたは説明した特徴を実装することができる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明の実施の形態におけるエンハンスメントレイヤとベースレイヤとの幾何学的関係を示す説明図である。 本発明の実施の形態におけるアップサンプルされたベースレイヤ画像と、エンハンスメントレイヤ画像との幾何学的関係を示す説明図である。 ４×４ブロックの画素を示す説明図である。 ８×８ブロック内の４×４ブロックを示す説明図である。 予測マクロブロックの８×８ブロックを示す説明図である。
符号の説明
２５１ 上位レイヤ（エンハンスメントレイヤ）
２５３ 下位レイヤ（ベースレイヤ）
２７０ エンハンスメントレイヤ画像
２７２ ベースレイヤ画像
２８１・２８２・２８３・２８４ コーナブロック
３００ マクロブロック
３０１・３０２・３０３・３０４ ブロック

Claims (20)

  1. 空間スケーラブル映像符号化方式における画像レベルの適応化方法であって、
    （ａ）入力ビデオシーケンスの第１画像の第１位置での第１クロップウインドウを規定する工程と、
    （ｂ）上記第１クロップウインドウに対応する第１ベースレイヤを生成する工程と、
    （ｃ）上記入力ビデオシーケンスの第２画像の前記第１位置と異なる位置である第２位置での第２クロップウインドウを規定する工程と、
    （ｄ）上記第２クロップウインドウに対応する第２ベースレイヤを生成する工程と、を含むことを特徴とする画像レベルの適応化方法。
  2. 上記第２ベースレイヤに基づいて上記第２画像のエンハンスメントレイヤを予測する工程を更に含むことを特徴とする請求項１に記載の方法。
  3. 上記予測工程において、画像の動き成分とクロップウインドウの動き成分とを有する拡張した動きベクトルを用いることを特徴とする請求項２に記載の方法。
  4. Figure 2008538057
     （上記式中、sign[x]は、ｘが正の数であれば１、ｘが負の数でれば−１であり、ｘが０であれば０である（添字“γ”を伴うシンボルは、対応する参照画像の幾何学的パラメータである））
    上記予測工程は、上記式を用いて動きベクトルmv = (dx, dy) をmvs = (dsx, dsy) に拡張したベクトルを用いることを特徴とする請求項２に記載の方法。
  5. 上記第１画像と上記第２画像とがテクスチャー画像であることを特徴とする請求項２に記載の方法。
  6. 上記第１画像と上記第２画像とが残差画像であることを特徴とする請求項２に記載の方法。
  7. 空間スケーラブル映像符号化方式におけるベースレイヤからクロップウインドウで規定されるエンハンスメントレイヤ領域を予測する方法であって、
    （ａ）上記ベースレイヤの画像ブロックの方向のベースレイヤ動きベクトルを計算する工程と、
    （ｂ）上記方向の上記ベースレイヤの大きさに対する上記方向の上記クロップウインドウの大きさの比率に基づいて、上記ベースレイヤ動きベクトルを拡張する工程と、
    （ｃ）参照画像におけるクロップウインドウの位置に対し、上記クロップウインドウの動きを表す拡張された動きベクトルを調整する工程と、を含むことを特徴とする方法。
  8. さらに、上記調整された拡張された動きベクトルを用いて上記エンハンスメントレイヤを予測する工程を含むことを特徴とする請求項７に記載の方法。
  9. 上記拡張工程および調整工程を、互いに直行する２つの方向に行うことを特徴とする請求項７に記載の方法。
  10. Figure 2008538057
     （上記式中、sign[x]は、ｘが正の数であれば１、ｘが負の数でれば−１であり、ｘが０であれば０である（添字“γ”を伴うシンボルは、対応する参照画像の幾何学的パラメータである））
    上記予測工程は、上記式を用いて動きベクトルmv = (dx, dy) をmvs = (dsx, dsy) に拡張したベクトルを用いることを特徴とする請求項７に記載の方法。
  11. 上記予測工程が、テクスチャー予測を含むことを特徴とする請求項７に記載の方法。
  12. 上記予測工程が、残差予測を含むことを特徴とする請求項７に記載の方法。
  13. 上記拡張行程および調整工程を、予測マクロブロック（MB_pred）の全ての動きベクトルに適応することを特徴とする請求項７に記載の方法。
  14. 空間スケーラブル映像符号化方式においてベースレイヤからクロップウインドウで規定されるエンハンスメントレイヤ領域を予測するシステムであって、
    （ａ）上記ベースレイヤの画像ブロックの方向のベースレイヤ動きベクトルを計算する演算部と、
    （ｂ）上記方向の上記ベースレイヤの大きさに対する上記方向の上記クロップウインドウの大きさの比率に基づいて、上記ベースレイヤ動きベクトルを拡張する拡張部と、
    （ｃ）上記参照画像におけるクロップウインドウの位置に対し、上記クロップウインドウの動きを表す拡張された動きベクトルを調整する調整部と、を含むことを特徴とするシステム。
  15. さらに、上記調整された拡張された動きベクトルを用いて、エンハンスメントレイヤを予測する予測部を更に含むことを特徴とする請求項１４に記載の方法。
  16. 上記拡張工程および調整工程を、互いに直行する２つの方向に行うことを特徴とする請求項１４に記載の方法。
  17. Figure 2008538057
     （上記式中、sign[x]は、ｘが正の数であれば１、ｘが負の数でれば−１であり、ｘが０であれば０である（添字“γ”を伴うシンボルは、対応する参照画像の幾何学的パラメータである））
    上記予測工程は、上記式を用いて動きベクトルmv = (dx, dy) をmvs = (dsx, dsy) に拡張したベクトルを用いることを特徴とする請求項１４に記載の方法。
  18. 上記予測が、テクスチャ予測を含むことを特徴とする請求項１４に記載の方法。
  19. 上記予測が、残差予測を含むことを特徴とする請求項１４に記載の方法。
  20. 上記拡張および調整工程を、予測マクロブロック（MB_pred）の全ての動きベクトルに適応することを特徴とする請求項１４に記載の方法。
JP2008501903A 2005-03-18 2006-02-28 拡張された空間スケーラビティにおける画像レベルの適応化方法およびシステム Active JP4751928B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US66316105P 2005-03-18 2005-03-18
US60/663,161 2005-03-18
US68306005P 2005-05-20 2005-05-20
US60/683,060 2005-05-20
US68667605P 2005-06-01 2005-06-01
US60/686,676 2005-06-01
PCT/US2006/007106 WO2006101682A2 (en) 2005-03-18 2006-02-28 Methods and systems for extended spatial scalability with picture-level adaptation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010277337A Division JP5154635B2 (ja) 2005-03-18 2010-12-13 拡張された空間スケーラビティにおける画像レベルの適応化方法およびシステム

Publications (2)

Publication Number Publication Date
JP2008538057A true JP2008538057A (ja) 2008-10-02
JP4751928B2 JP4751928B2 (ja) 2011-08-17

Family

ID=37024293

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2008501902A Active JP4454678B2 (ja) 2005-03-18 2006-02-28 隣接するブロック間のブロック境界の特徴を定める方法
JP2008501903A Active JP4751928B2 (ja) 2005-03-18 2006-02-28 拡張された空間スケーラビティにおける画像レベルの適応化方法およびシステム
JP2009242741A Pending JP2010016911A (ja) 2005-03-18 2009-10-21 ブロッキング歪を低減した画像データの符号化・複号化装置及び伝送システム
JP2009242688A Active JP4975078B2 (ja) 2005-03-18 2009-10-21 空間的にスケーラブルなビデオ符号化のために、低い複雑さでブロッキング歪を低減するための方法およびシステム
JP2010277337A Active JP5154635B2 (ja) 2005-03-18 2010-12-13 拡張された空間スケーラビティにおける画像レベルの適応化方法およびシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2008501902A Active JP4454678B2 (ja) 2005-03-18 2006-02-28 隣接するブロック間のブロック境界の特徴を定める方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2009242741A Pending JP2010016911A (ja) 2005-03-18 2009-10-21 ブロッキング歪を低減した画像データの符号化・複号化装置及び伝送システム
JP2009242688A Active JP4975078B2 (ja) 2005-03-18 2009-10-21 空間的にスケーラブルなビデオ符号化のために、低い複雑さでブロッキング歪を低減するための方法およびシステム
JP2010277337A Active JP5154635B2 (ja) 2005-03-18 2010-12-13 拡張された空間スケーラビティにおける画像レベルの適応化方法およびシステム

Country Status (6)

Country Link
US (1) US7961963B2 (ja)
EP (2) EP1859389A4 (ja)
JP (5) JP4454678B2 (ja)
KR (2) KR100959436B1 (ja)
CN (3) CN101449476B (ja)
WO (2) WO2007064347A2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008530927A (ja) * 2005-02-18 2008-08-07 トムソン ライセンシング 高分解能ピクチャの符号化情報を低分解能ピクチャから導き出す方法、並びにその方法を実現する符号化及び復号化装置
JP2009523336A (ja) * 2006-01-11 2009-06-18 華為技術有限公司 スケーラブルビデオ符号化における補間を実行する方法および装置
JP2011199525A (ja) * 2010-03-18 2011-10-06 Canon Inc チャプタ情報作成装置及びその制御方法
US8401085B2 (en) 2006-09-07 2013-03-19 Lg Electronics Inc. Method and apparatus for decoding/encoding of a video signal
US8718130B2 (en) 2005-10-11 2014-05-06 Huawei Technologies Co., Ltd. Method and system for upsampling a spatial layered coded video image
JP2015527028A (ja) * 2012-09-04 2015-09-10 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ スケーラブルビデオコード化におけるダウンサンプリング位相情報の信号伝達
JP2016513441A (ja) * 2013-03-01 2016-05-12 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ スケーラブルビデオコーディングのための空間動きベクトルスケーリング
JP2016513913A (ja) * 2013-03-05 2016-05-16 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 異なるアスペクト比を伴う空間スケーラビリティのためのレイヤ間の参照ピクチャの構築
JP2016530774A (ja) * 2013-07-15 2016-09-29 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ビデオコーディングのためのクロスレイヤ並列処理およびオフセット遅延パラメータ

Families Citing this family (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100679035B1 (ko) * 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
CN101204092B (zh) * 2005-02-18 2010-11-03 汤姆森许可贸易公司 从低分辨率图像导出高分辨率图像的编码信息的方法以及实施所述方法的编码和解码设备
JP4839035B2 (ja) * 2005-07-22 2011-12-14 オリンパス株式会社 内視鏡用処置具および内視鏡システム
KR100678958B1 (ko) * 2005-07-29 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
WO2007047736A2 (en) * 2005-10-19 2007-04-26 Thomson Licensing Multi-view video coding using scalable video coding
KR100904442B1 (ko) * 2006-01-09 2009-06-24 엘지전자 주식회사 영상 신호의 레이어 간 예측 방법
US20070160134A1 (en) * 2006-01-10 2007-07-12 Segall Christopher A Methods and Systems for Filter Characterization
JP2009522971A (ja) * 2006-01-10 2009-06-11 ノキア コーポレイション 拡張可能ビデオ符号化のための切換型フィルタアップサンプリング機構
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
US8532176B2 (en) * 2006-07-10 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for combining layers in a multi-layer bitstream
US7885471B2 (en) * 2006-07-10 2011-02-08 Sharp Laboratories Of America, Inc. Methods and systems for maintenance and use of coded block pattern information
US8059714B2 (en) * 2006-07-10 2011-11-15 Sharp Laboratories Of America, Inc. Methods and systems for residual layer scaling
US7840078B2 (en) * 2006-07-10 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for image processing control based on adjacent block characteristics
US8422548B2 (en) * 2006-07-10 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for transform selection and management
US8130822B2 (en) * 2006-07-10 2012-03-06 Sharp Laboratories Of America, Inc. Methods and systems for conditional transform-domain residual accumulation
EP1879399A1 (en) 2006-07-12 2008-01-16 THOMSON Licensing Method for deriving motion data for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
US20080095238A1 (en) * 2006-10-18 2008-04-24 Apple Inc. Scalable video coding with filtering of lower layers
AU2007318376B2 (en) * 2006-11-09 2010-07-01 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
JP2009538086A (ja) * 2006-11-17 2009-10-29 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング／エンコーディング方法及び装置
US8548056B2 (en) 2007-01-08 2013-10-01 Qualcomm Incorporated Extended inter-layer coding for spatial scability
US8199812B2 (en) * 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
US8503524B2 (en) * 2007-01-23 2013-08-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction
US8665942B2 (en) * 2007-01-23 2014-03-04 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction signaling
US7826673B2 (en) * 2007-01-23 2010-11-02 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction with color-conversion
US8233536B2 (en) 2007-01-23 2012-07-31 Sharp Laboratories Of America, Inc. Methods and systems for multiplication-free inter-layer image prediction
KR100843100B1 (ko) * 2007-02-07 2008-07-03 삼성전자주식회사 디지털 영상에서의 블록 노이즈 저감 방법 및 장치, 이를이용한 인코딩/디코딩 방법 및 인코더/디코더
US7760949B2 (en) 2007-02-08 2010-07-20 Sharp Laboratories Of America, Inc. Methods and systems for coding multiple dynamic range images
US8767834B2 (en) 2007-03-09 2014-07-01 Sharp Laboratories Of America, Inc. Methods and systems for scalable-to-non-scalable bit-stream rewriting
US8014613B2 (en) * 2007-04-16 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image parameter prediction
WO2009032255A2 (en) * 2007-09-04 2009-03-12 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
US8175158B2 (en) * 2008-01-04 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction parameter determination
US8249142B2 (en) * 2008-04-24 2012-08-21 Motorola Mobility Llc Method and apparatus for encoding and decoding video using redundant encoding and decoding techniques
KR101552639B1 (ko) * 2008-07-11 2015-09-14 한국전자통신연구원 인트라 매크로 블록의 디블록킹 필터 및 필터링 방법
US8379727B2 (en) * 2008-09-26 2013-02-19 General Instrument Corporation Method and apparatus for scalable motion estimation
WO2010036772A2 (en) 2008-09-26 2010-04-01 Dolby Laboratories Licensing Corporation Complexity allocation for video and image coding applications
KR101590500B1 (ko) * 2008-10-23 2016-02-01 에스케이텔레콤 주식회사 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체
KR101534050B1 (ko) * 2008-10-28 2015-07-06 에스케이 텔레콤주식회사 동영상 부호화/복호화 장치, 이를 위한 디블록킹 필터링 장치와 방법, 및 기록 매체
TWI416961B (zh) * 2010-04-02 2013-11-21 Univ Nat Chiao Tung 用於可調式視訊編碼系統之選擇性移動向量預測方法、移動估測方法及其裝置
CN102939750B (zh) 2010-04-13 2016-07-06 Ge视频压缩有限责任公司 跨平面预测
KR102480988B1 (ko) 2010-04-13 2022-12-26 지이 비디오 컴프레션, 엘엘씨 샘플 영역 병합
LT3697089T (lt) 2010-04-13 2022-01-10 Ge Video Compression, Llc Paveldėjimas ėminių masyvo multimedžio poskaidinyje
CN106231328B (zh) 2010-04-13 2020-06-12 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
CN105791859B (zh) * 2010-05-26 2018-11-06 Lg电子株式会社 用于处理视频信号的方法和设备
US8805100B2 (en) 2010-06-03 2014-08-12 Sharp Kabushiki Kaisha Filter device, image decoding device, image encoding device, and filter parameter data structure
KR101391365B1 (ko) * 2010-09-17 2014-05-07 닛본 덴끼 가부시끼가이샤 영상 부호화 장치 및 영상 복호 장치
CN102438135B (zh) * 2011-01-14 2013-12-04 展讯通信（上海）有限公司 高分辨率视频在小尺寸显示设备上的降采样解码方法及装置
KR20120088488A (ko) * 2011-01-31 2012-08-08 한국전자통신연구원 시간적 움직임 벡터 저장 방법 및 그 장치
MX2013007018A (es) * 2011-03-10 2013-07-30 Mediatek Singapore Pte Ltd Metodo y aparato para desbloquear un filtro.
US10728575B2 (en) * 2011-06-07 2020-07-28 Interdigital Vc Holdings, Inc. Method for encoding and/or decoding images on macroblock level using intra-prediction
WO2012175003A1 (en) * 2011-06-20 2012-12-27 Mediatek Singapore Pte. Ltd. Method and apparatus of chroma intra prediction with reduced line memory
WO2012177052A2 (ko) 2011-06-21 2012-12-27 한국전자통신연구원 인터 예측 방법 및 그 장치
KR20120140592A (ko) 2011-06-21 2012-12-31 한국전자통신연구원 움직임 보상의 계산 복잡도 감소 및 부호화 효율을 증가시키는 방법 및 장치
CN110611811B (zh) * 2011-06-28 2021-07-06 索尼公司 图像处理装置和图像处理方法
CN106658015B (zh) * 2011-06-30 2020-08-18 三菱电机株式会社 图像编码装置以及图像编码方法
EP2552115A1 (en) * 2011-07-25 2013-01-30 Siemens Aktiengesellschaft A method for coding a sequence of digital images
US8855195B1 (en) 2011-09-09 2014-10-07 Panamorph, Inc. Image processing system and method
CN108989803B (zh) * 2011-09-20 2021-05-28 Lg 电子株式会社 用于编码/解码图像信息的方法和装置
KR20130037162A (ko) * 2011-10-05 2013-04-15 한국전자통신연구원 스케일러블 비디오 코딩을 위한 계층간 텍스처 예측 방법 및 그 장치
US9167269B2 (en) * 2011-10-25 2015-10-20 Qualcomm Incorporated Determining boundary strength values for deblocking filtering for video coding
CN103988511B (zh) * 2011-10-31 2017-09-08 寰发股份有限公司 视频编码系统中重建视频的去块方法和设备
CN109348224A (zh) * 2011-11-04 2019-02-15 Lg 电子株式会社 用于编码/解码图像信息的方法和装置
WO2013077714A1 (ko) * 2011-11-27 2013-05-30 엘지전자 주식회사 영상 정보 인코딩/디코딩 방법 및 장치
ES2629744T3 (es) * 2012-01-17 2017-08-14 Telefonaktiebolaget Lm Ericsson (Publ) Gestión de listas de imágenes de referencia
CN104255032B (zh) * 2012-03-29 2018-03-27 Lg 电子株式会社 层间预测方法和使用其的编码设备和解码设备
CN102630015B (zh) * 2012-04-06 2014-07-16 芯原微电子(北京)有限公司 一种基于RealVideo9或10去块效应的快速旁路方法和装置
WO2013169049A1 (ko) * 2012-05-10 2013-11-14 엘지전자 주식회사 인터 레이어 예측 방법 및 이를 이용하는 장치
WO2013189205A1 (en) 2012-06-22 2013-12-27 Mediatek Inc. Method and apparatus of adaptive intra prediction for inter-layer and inter-view coding
US9686559B2 (en) * 2012-07-03 2017-06-20 Sharp Kabushiki Kaisha Image decoding device, and image encoding device
US10116947B2 (en) 2012-07-06 2018-10-30 Samsung Electronics Co., Ltd. Method and apparatus for coding multilayer video to include scalable extension type information in a network abstraction layer unit, and method and apparatus for decoding multilayer video
TWI606716B (zh) * 2012-07-09 2017-11-21 Ｖｉｄ衡器股份有限公司 多層視訊編碼編解碼器架構
WO2014025741A2 (en) * 2012-08-06 2014-02-13 Vid Scale, Inc. Sampling grid information for spatial layers in multi-layer video coding
US20140044162A1 (en) * 2012-08-08 2014-02-13 Qualcomm Incorporated Adaptive inference mode information derivation in scalable video coding
US9854235B2 (en) 2012-08-31 2017-12-26 Blackberry Limited Methods and devices for entropy coding in scalable video compression
JP6125215B2 (ja) 2012-09-21 2017-05-10 株式会社東芝 復号装置、及び符号化装置
JP6282763B2 (ja) * 2012-09-21 2018-02-21 株式会社東芝 復号装置、符号化装置、復号方法、及び符号化方法
KR101806101B1 (ko) * 2012-09-27 2017-12-07 돌비 레버러토리즈 라이쎈싱 코오포레이션 부호화 표준 확장성을 위한 계층 간 참조 화상 처리
KR20150038249A (ko) * 2012-09-28 2015-04-08 인텔 코포레이션 계층간 화소 샘플 예측
US9860558B2 (en) 2012-09-28 2018-01-02 Intel Corporation Inter-layer intra mode prediction
CN103716622B (zh) * 2012-09-29 2017-02-08 华为技术有限公司 用于图像处理的方法和装置
KR102094892B1 (ko) * 2012-11-07 2020-03-30 엘지전자 주식회사 신호 송수신 장치 및 신호 송수신 방법
US9756613B2 (en) 2012-12-06 2017-09-05 Qualcomm Incorporated Transmission and reception timing for device-to-device communication system embedded in a cellular system
TWI597968B (zh) * 2012-12-21 2017-09-01 杜比實驗室特許公司 在高位元深度視訊的可適性編碼中，高精度升取樣
CN103916676B (zh) * 2012-12-31 2017-09-29 华为技术有限公司 一种边界强度确定方法、去块效应滤波方法、及装置
CN116708768A (zh) * 2013-01-04 2023-09-05 Ge视频压缩有限责任公司 高效可伸缩编码概念
US9270991B2 (en) * 2013-01-07 2016-02-23 Qualcomm Incorporated Inter-layer reference picture generation for HLS-only scalable video coding
US9467707B2 (en) * 2013-03-05 2016-10-11 Qualcomm Incorporated Parallel processing for video coding
EP2974313B1 (en) * 2013-03-12 2018-07-11 HFI Innovation Inc. Inter-layer motion vector scaling for scalable video coding
KR102327617B1 (ko) 2013-04-08 2021-11-17 지이 비디오 컴프레션, 엘엘씨 효율적인 다-시점/계층 코딩을 허용하는 코딩 개념
CN103220529B (zh) * 2013-04-15 2016-02-24 北京大学 一种视频编解码环路滤波的实现方法
US9813723B2 (en) * 2013-05-03 2017-11-07 Qualcomm Incorporated Conditionally invoking a resampling process in SHVC
RU2016115055A (ru) 2013-09-20 2017-10-25 Вид Скейл, Инк. Системы и способы обеспечения кодирования 3d справочной таблицы для масштабируемости цветовой гаммы
WO2015089352A1 (en) * 2013-12-13 2015-06-18 Vid Scale, Inc Color gamut scalable video coding device and method for the phase alignment of luma and chroma using interpolation
FR3018417B1 (fr) * 2014-03-04 2017-07-28 Sagemcom Broadband Sas Procede de modification d'un flux video binaire.
US20180176588A1 (en) * 2014-03-14 2018-06-21 Samsung Electronics Co., Ltd. Scalable video encoding/decoding method and apparatus
KR102260146B1 (ko) 2014-03-31 2021-06-03 인텔렉추얼디스커버리 주식회사 시점 간 움직임 병합 후보 유도 방법 및 장치
US9704213B2 (en) 2014-08-13 2017-07-11 Qualcomm Incorporated Texture element streaming
JP6305279B2 (ja) 2014-08-26 2018-04-04 株式会社東芝 映像圧縮装置および映像再生装置
CN109257605B (zh) * 2017-07-13 2021-11-19 华为技术有限公司 图像处理方法、设备及系统
KR102520626B1 (ko) * 2018-01-22 2023-04-11 삼성전자주식회사 아티팩트 감소 필터를 이용한 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
WO2020003264A2 (en) * 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Filtering of zero unit
US11620775B2 (en) 2020-03-30 2023-04-04 Panamorph, Inc. Method of displaying a composite image on an image display

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07107464A (ja) * 1993-10-01 1995-04-21 Hitachi Ltd 画像符号化装置および復号化装置
JPH07212761A (ja) * 1994-01-17 1995-08-11 Toshiba Corp 階層符号化装置及び階層復号化装置
WO2006087314A1 (en) * 2005-02-18 2006-08-24 Thomson Licensing Method for deriving coding information for high resolution images from low resoluton images and coding and decoding devices implementing said method

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0465732B1 (en) * 1990-07-11 1996-10-02 Koninklijke Philips Electronics N.V. Apparatus for deriving a compatible low-definition interlaced television signal and other components from an interlaced high-definition television signal and apparatus for reconstructing the original signal
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
JPH1070717A (ja) * 1996-06-19 1998-03-10 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像復号化装置
US6173013B1 (en) * 1996-11-08 2001-01-09 Sony Corporation Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal
CA2255923C (en) * 1997-04-01 2005-06-07 Sony Corporation Picture coding device, picture coding method, picture decoding device, picture decoding method, and providing medium
US6057884A (en) 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
JP2000036032A (ja) * 1998-07-17 2000-02-02 Fujitsu Ltd 前景画像抽出方法、画像処理装置、自動トリミング装置、記録媒体及び肖像写真装置
US6459814B1 (en) 1998-09-08 2002-10-01 Sarnoff Corporation Method and apparatus for generic scalable shape coding by deriving shape information for chrominance components from luminance component
US6748113B1 (en) * 1999-08-25 2004-06-08 Matsushita Electric Insdustrial Co., Ltd. Noise detecting method, noise detector and image decoding apparatus
US6873655B2 (en) * 2001-01-09 2005-03-29 Thomson Licensing A.A. Codec system and method for spatially scalable video data
US7450641B2 (en) * 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
KR20040054744A (ko) * 2001-10-26 2004-06-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 적응 콘텐트 필터링을 사용하는 공간 스케일가능 압축 체계
US7155654B2 (en) * 2003-04-04 2006-12-26 Sst Communications, Corp. Low complexity error concealment for wireless transmission
JP2004328634A (ja) * 2003-04-28 2004-11-18 Sony Corp 画像復号化装置及び方法
US20070118794A1 (en) * 2004-09-08 2007-05-24 Josef Hollander Shared annotation system and method
JP4191729B2 (ja) * 2005-01-04 2008-12-03 三星電子株式会社 イントラｂｌモードを考慮したデブロックフィルタリング方法、及び該方法を用いる多階層ビデオエンコーダ／デコーダ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07107464A (ja) * 1993-10-01 1995-04-21 Hitachi Ltd 画像符号化装置および復号化装置
JPH07212761A (ja) * 1994-01-17 1995-08-11 Toshiba Corp 階層符号化装置及び階層復号化装置
WO2006087314A1 (en) * 2005-02-18 2006-08-24 Thomson Licensing Method for deriving coding information for high resolution images from low resoluton images and coding and decoding devices implementing said method

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008530927A (ja) * 2005-02-18 2008-08-07 トムソン ライセンシング 高分解能ピクチャの符号化情報を低分解能ピクチャから導き出す方法、並びにその方法を実現する符号化及び復号化装置
US8718130B2 (en) 2005-10-11 2014-05-06 Huawei Technologies Co., Ltd. Method and system for upsampling a spatial layered coded video image
JP2009523336A (ja) * 2006-01-11 2009-06-18 華為技術有限公司 スケーラブルビデオ符号化における補間を実行する方法および装置
US8401085B2 (en) 2006-09-07 2013-03-19 Lg Electronics Inc. Method and apparatus for decoding/encoding of a video signal
US8428144B2 (en) 2006-09-07 2013-04-23 Lg Electronics Inc. Method and apparatus for decoding/encoding of a video signal
JP2011199525A (ja) * 2010-03-18 2011-10-06 Canon Inc チャプタ情報作成装置及びその制御方法
JP2015527028A (ja) * 2012-09-04 2015-09-10 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ スケーラブルビデオコード化におけるダウンサンプリング位相情報の信号伝達
JP2018110412A (ja) * 2012-09-04 2018-07-12 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ スケーラブルビデオコード化におけるダウンサンプリング位相情報の信号伝達
US10448032B2 (en) 2012-09-04 2019-10-15 Qualcomm Incorporated Signaling of down-sampling location information in scalable video coding
JP2016513441A (ja) * 2013-03-01 2016-05-12 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ スケーラブルビデオコーディングのための空間動きベクトルスケーリング
JP2016513913A (ja) * 2013-03-05 2016-05-16 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 異なるアスペクト比を伴う空間スケーラビリティのためのレイヤ間の参照ピクチャの構築
US10284842B2 (en) 2013-03-05 2019-05-07 Qualcomm Incorporated Inter-layer reference picture construction for spatial scalability with different aspect ratios
JP2016530774A (ja) * 2013-07-15 2016-09-29 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ビデオコーディングのためのクロスレイヤ並列処理およびオフセット遅延パラメータ

Also Published As

Publication number Publication date
CN102387366A (zh) 2012-03-21
EP1859534A4 (en) 2010-09-29
CN101379511B (zh) 2011-11-09
JP2011083022A (ja) 2011-04-21
WO2007064347A3 (en) 2008-01-17
KR20080005210A (ko) 2008-01-10
JP2008533909A (ja) 2008-08-21
JP2010016910A (ja) 2010-01-21
JP4454678B2 (ja) 2010-04-21
JP5154635B2 (ja) 2013-02-27
JP2010016911A (ja) 2010-01-21
WO2006101682A2 (en) 2006-09-28
KR20080003808A (ko) 2008-01-08
EP1859389A2 (en) 2007-11-28
US7961963B2 (en) 2011-06-14
JP4751928B2 (ja) 2011-08-17
WO2007064347A2 (en) 2007-06-07
CN101449476B (zh) 2012-05-23
CN101379511A (zh) 2009-03-04
EP1859389A4 (en) 2010-08-25
US20060209959A1 (en) 2006-09-21
KR100959436B1 (ko) 2010-05-26
WO2006101682A3 (en) 2008-11-13
CN101449476A (zh) 2009-06-03
JP4975078B2 (ja) 2012-07-11
EP1859534A2 (en) 2007-11-28
KR100947677B1 (ko) 2010-03-16

Similar Documents

Publication Publication Date Title
JP4751928B2 (ja) 拡張された空間スケーラビティにおける画像レベルの適応化方法およびシステム
JP5189054B2 (ja) 画像の復号方法
US8457201B2 (en) Inter-layer prediction method for video signal
US7929610B2 (en) Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
JP5416271B2 (ja) 多層映像配信のための適応補間フィルタ
KR102653005B1 (ko) 휘도 샘플을 이용한 색차 블록의 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
CN108111846B (zh) 用于可伸缩视频编码的帧间层预测方法及装置
US20070140354A1 (en) Methods and Systems for Block-Based Residual Upsampling
EP1817914B1 (en) Method for scalable video coding
US20080267291A1 (en) Method for Deriving Coding Information for High Resolution Images from Low Resolution Images and Coding and Decoding Devices Implementing Said Method
JP2024020420A (ja) 適応ループフィルタリングのための境界位置
CN115606182A (zh) 使用增强二次变换的编解码视频处理

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110510

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110523

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4751928

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140527

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250