JP2011160469A - 単一符号化モードを利用した映像符号化/復号化方法及び装置 - Google Patents

単一符号化モードを利用した映像符号化/復号化方法及び装置 Download PDF

Info

Publication number
JP2011160469A
JP2011160469A JP2011087682A JP2011087682A JP2011160469A JP 2011160469 A JP2011160469 A JP 2011160469A JP 2011087682 A JP2011087682 A JP 2011087682A JP 2011087682 A JP2011087682 A JP 2011087682A JP 2011160469 A JP2011160469 A JP 2011160469A
Authority
JP
Japan
Prior art keywords
video
encoding
prediction
current
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011087682A
Other languages
English (en)
Other versions
JP5512587B2 (ja
Inventor
Dae-Sung Cho
チョウ,デ−ソン
Hyun-Mun Kim
キム,ヒョン−ムン
Woo-Shik Kim
キム,ウー−シク
Dmitri Birinov
ビリノフ,ドミトリ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2011160469A publication Critical patent/JP2011160469A/ja
Application granted granted Critical
Publication of JP5512587B2 publication Critical patent/JP5512587B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00Colour television systems
    • H04N11/04Colour television systems using pulse code modulation
    • H04N11/042Codec means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00Colour television systems
    • H04N11/02Colour television systems with bandwidth reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】 カラー映像の各成分を空間上隣接した画素や時間上隣接した画素を使用して予測符号化するとき、各映像成分に同じ予測方法を使用することで、符号化効率を向上させる。
【解決手段】 本発明は、映像符号化装置により実行される映像符号化方法に関する。本方法は、映像符号化装置の予測映像生成手段が、少なくとも2種以上の映像成分からなる現在映像で、映像成分それぞれに対して同じ符号化モードを適用して、現在映像に対する予測映像を生成する段階、映像符号化装置の生成手段が、現在映像と生成された予測映像との残差を生成する段階、及び映像符号化装置の符号化手段が、生成された残差を符号化することにより、ビットストリームを生成する段階を含む。
【選択図】 図4

Description

本発明は、映像の符号化方法及び装置、並びに映像の復号化方法及び装置に関する。
一般的に、機器から映像を取得するとき、RGB型式で映像を取得する。しかし、このように得た映像を圧縮するときには、一般的にYUV(またはYCbCr)のような映像形式で変換する。このとき、Yは白黒映像であって輝度成分を有し、U(またはCb)及びV(またはCr)は、映像成分を有する。RGB映像では、情報がR、G及びBにくまなく分布しているが、YUV(またはYCbCr)映像では、情報がY成分に集まり、U(またはCb)及びV(またはCr)には情報量が減る。従って、圧縮を行う場合、圧縮効率が高まるという長所がある。圧縮効率を追加的に改善するために、一般的に、YUV(またはYCbCr)映像の色度成分U(またはCb)及びV(またはCr)を1/4サイズにサンプリング(sampling)して構成したYUV(またはYCbCr)4:2:0映像を使用する。
かようなYUV(またはYCbCr)4:2:0映像で、Y成分が有する統計的特性とU(またはCb)及びV(またはCr)成分が有する統計的特性とが異なるので、圧縮するときに、Y成分とU(またはCb)及びV(またはCr)成分とを互いに異なる方法を使用して処理することが一般的な符号化方法で使われてきた。例えば、最近標準化がなされたISO/IEC MPEG及びITU−T VCEGのJoint Video TeamのMPEG−4 AVC/H.264標準化技術(“Text of ISO/IEC FDIS 14496-10:Information Technology-Coding of audio-visual objects-Part 10:Advanced Video Coding”,ISO/IEC JTC 1/SC 29/WG 11,N5555,March,2003)(以下、MPEG−4 AVC/H.264とする)について述べれば、ビデオ信号で、Y成分をイントラ映像に符号化するときに、4x4ブロック単位で、予測方向によって9個の予測方法を使用して空間上予測を行う。また、16x16ブロック単位で、予測方向によって4個の予測方法を使用して空間上予測を行う。しかし、U(またはCb)及びV(またはCr)の場合には、Y成分に比べて映像が比較的単純なために、Y成分とは独立して、8x8ブロック単位で、予測方向によって4個の予測方法を使用して空間上予測を行う。
そして、インター映像に符号化するときにも、Y成分の場合には、6−tapフィルタを使用して予測映像を拡張し、精密に動き補償を行う一方、U(またはCb)及びV(またはCr)成分の場合には、バイリニア(bilinear)フィルタを使用して予測映像を拡張し、動き補償を行う。このように、既存の方法では、Y成分とU(またはCb)及びV(またはCr)成分との統計的特性が異なるために、互いに異なる方法を使用して映像を圧縮した。
そして、時間上−空間上予測で得られたレジデュ映像を二進算術符号化器でエントロピ符号化するときも、各成分別に互いに異なる確率モデルを使用する方法を使用して映像を圧縮した。しかし、YUV(またはYCbCr)4:2:0映像で、U(またはCb)及びV(またはCr)を1/4サイズでサンプリングするのは、色相歪曲が発生して高画質の応用には適さない。従って、U(またはCb)及びV(またはCr)のサンプリング過程のないYUV(またはYCbCr)4:4:4映像を効果的に符号化する方法が必要である。さらにまた、RGB映像を直接符号化してYUV(またはYCbCr)に変換するときに発生する色相歪曲をなくす必要がある。
このように、YUV(またはYCbCr)4:4:4及びRGB映像のように、映像成分間に同じ解像度を有する映像を直ちに符号化する場合、既存のYUV(またはYCbCr)4:2:0映像圧縮方法であるMPEG−4 AVC/H.264をそのまま適用すれば、符号化効率が落ちるという問題点があった。これは、YUV(またはYCbCr)4:2:0でのU(またはCb)及びV(またはCr)成分に適した方法をYUV(またはYCbCr)4:4:4及びRGB映像にそのまま適用することから起因する。
本発明がなそうとする技術的課題は、YUV(またはYCbCr)4:4:4映像を符号化したり、またはRGB現在映像をYUV(またはYCbCr)に変換せずにそのままRGBドメインで符号化するとき、映像の統計的特性に合わせて空間上予測及び時間上予測を行い、高画質を維持しつつも、符号化効率を高めることができる装置及び方法を提供するところにある。また、前記方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供するところにある。
本発明がなそうとする技術的課題は、前記のような技術的課題に限定されず、他の技術的課題が存在しうる。これは、本発明が属する技術分野で当業者ならば、以下の記載から明確に分かるであろう。
前記技術的課題を解決するための本発明による空間上予測映像の生成方法は、少なくとも2種以上の映像成分からなる現在映像で、前記映像成分それぞれに対して同じ予測方向を適用し、前記現在映像の所定大きさのブロックに空間的に隣接した復元映像の画素から前記現在映像に対する予測映像を生成する。
前記技術的課題を解決するために、本発明は、前記の空間上予測映像の生成方法を、コンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
前記技術的課題を解決するための本発明による時間上予測映像の生成方法は、少なくとも2種以上の映像成分からなる現在映像で、前記映像成分それぞれに対して同じブロック単位で同じ動きベクトル及び同じ動き補間方法を適用し、復元映像と前記現在映像との間の動き推定から前記現在映像に対する予測映像を生成する。
前記技術的課題を解決するために、本発明は、前記の時間上予測映像の生成方法を、コンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
前記技術的課題を解決するための本発明による予測映像の生成方法は、少なくとも2種以上の映像成分からなる現在映像で、前記映像成分それぞれに対して同じ予測方向を適用し、前記現在映像に対する空間上予測映像を生成する段階と、前記現在映像で、前記映像成分それぞれに対して同じブロック単位で同じ動きベクトル及び同じ動き補間方法を適用し、前記現在映像に対する時間上予測映像を生成する段階と、前記生成された空間上予測映像と前記生成された時間上予測映像とを利用し、符号化モードを選択する段階と、前記選択された符号化モードを前記入力映像の映像成分それぞれに対して同一に適用し、前記現在映像に対する予測映像を生成する段階とを含む。
前記技術的課題を解決するために、本発明は、前記の予測映像の生成方法を、コンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
前記技術的課題を解決するための本発明による予測映像生成装置は、少なくとも2種以上の映像成分からなる現在映像で、前記映像成分それぞれに対して同じ予測方向を適用し、前記現在映像に対する空間上予測映像を生成する空間上予測映像生成部と、前記符号化モードそれぞれに対して前記現在映像で、前記映像成分それぞれに対して同じブロック単位で同じ動きベクトル及び同じ動き補間方法を適用し、前記現在映像に対する時間上予測映像を生成する時間上予測映像生成部と、前記生成された空間上予測映像と前記生成された時間上予測映像とを利用し、符号化モードを選択する符号化モード選択部と、前記選択された符号化モードを前記現在映像の映像成分それぞれに同一に適用し、前記現在映像に対する予測映像を生成する単一モード予測映像生成部とを備える。
前記技術的課題を解決するための本発明による映像符号化方法は、少なくとも2種以上の映像成分からなる現在映像で、前記映像成分それぞれに対して同じ符号化モードを適用し、前記現在映像に対する予測映像を生成する段階と、前記現在映像と前記生成された予測映像との差に該当するレジデュを生成する段階と、前記生成されたレジデュを符号化することによって、ビットストリームを生成する段階とを含む。
前記技術的課題を解決するために、本発明は、前記の映像符号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
前記技術的課題を解決するための本発明による映像符号化装置は、少なくとも2種以上の映像成分からなる現在映像で、前記映像成分それぞれに対して同じ符号化モードを適用し、前記現在映像に対する予測映像を生成する予測映像生成部と、前記現在映像と前記生成された予測映像との差に該当するレジデュを生成するレジデュ生成部と、前記レジデュを符号化することによって、ビットストリームを生成する符号化部とを備える。
前記技術的課題を解決するための本発明による映像復号化方法は、ビットストリームから少なくとも2種以上の映像成分からなる現在映像と予測映像との差に該当するレジデュを復元する段階と、前記復元されたレジデュに、同じ符号化モードを適用して生成された予測映像を加え、前記現在映像を復元する段階とを含む。
前記技術的課題を解決するために、本発明は、前記の映像復号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
前記技術的課題を解決するための本発明による映像復号化装置は、ビットストリームから少なくとも2種以上の映像成分からなる現在映像と予測映像との差に該当するレジデュを復元するデータ復元部と、前記復元されたレジデュに、同じ符号化モードを適用して生成された予測映像を加えることによって、前記現在映像を復元する予測補償部とを備える。
前記技術的課題を解決するための本発明による文脈基盤の二進算術符号化方法は、少なくとも2種以上の映像成分からなる現在映像と予測映像との差に該当するレジデュを符号化するための構文要素を二進化する段階と、前記映像成分それぞれの構文要素の二進値の文脈索引情報を選択する段階と、前記選択された映像成分それぞれの文脈索引値に対して同じ構文要素の確率値を有する確率モデルを使用し、前記構文要素の二進値を二進算術符号化する段階とを含む。
前記技術的課題を解決するために、本発明は、前記の文脈基盤の二進算術符号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
前記技術的課題を解決するための本発明による文脈基盤の二進算術符号化装置は、少なくとも2種以上の映像成分からなる現在映像と予測映像との差に該当するレジデュを符号化するための構文要素を二進化する二進化部と、前記映像成分それぞれの構文要素の二進値の文脈索引情報を選択する文脈索引選択部と、前記選択された映像成分それぞれの文脈索引値に対して同じ構文要素の確率値を有する確率モデルを使用し、前記構文要素の二進値を二進算術符号化する二進算術符号化部とを備える。
前記技術的課題を解決するための本発明による文脈基盤の二進算術復号化方法は、少なくとも2種以上の映像成分からなる現在映像と予測映像との差に該当するレジデュを符号化するための構文要素の二進値に対する文脈索引情報を選択する段階と、前記選択された映像成分それぞれの文脈索引値に対して同じ構文要素の確率値を有する確率モデルを使用し、前記構文要素の二進値に対する二進算術復号化を行うことによって、前記構文要素の二進値を復元する段階と、前記復元された構文要素の二進値を逆二進化し、前記構文要素を復元する段階とを含む。
前記技術的課題を解決するために、本発明は、前記の文脈基盤の二進算術復号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
前記技術的課題を解決するための本発明による文脈基盤の二進算術復号化装置は、少なくとも2種以上の映像成分からなる現在映像と予測映像との差に該当するレジデュを符号化するための構文要素の二進値に対する文脈索引情報を選択する文脈索引選択部と、前記選択された映像成分それぞれの文脈索引値に対して同じ構文要素の確率値を有する確率モデルを使用し、前記構文要素の二進値に対する二進算術復号化を行うことによって、前記構文要素の二進値を復元する二進算術復号化部と、前記復元された構文要素の二進値を逆二進化し、前記構文要素を復元する逆二進化部とを備える。
本発明によれば、色映像の各成分を空間上隣接した画素や時間上隣接した画素を使用して予測符号化するとき、各映像成分に同じ予測方法を使用することによって、符号化効率を高めることができる。例えば、YUV(またはYCbCr)色映像を使用する場合、U(またはCb)及びV(またはCr)を1/4サイズにサンプリングしない、各成分間で同じ解像度を有する場合、Y成分と同じ予測方法を使用することによって、符号化効率を高めることができる。
また、RGB色映像を使用する場合、RGB現在映像をYUV(またはYCbCr)に変換せずにそのままRGBドメインで符号化するとき、RGB映像の統計的特性に合わせ、映像成分間で互いに同じ空間上予測及び時間上予測を行い、高画質を維持しつつ符号化効率を高めることができる。また、本発明による符号化方法を使用して得たレジデュに対して、映像成分間で単一確率モデルを利用してエントロピ符号化/復号化を行う、単一確率モデルを利用した文脈基盤の二進算術復号化方法と、それぞれ所定のブロック別にCBP情報を符号化する方法とを提供し、複雑度の増大なしに符号化効率を改善できる。
また、機器から直ちに取得できるRGBビデオ映像を、既存のYUV(またはYCbCr)映像への変換する過程なしに効果的に直接圧縮することによって、RGB領域で直接符号化すれば、YUV(またはYCbCr)領域に変換するとき発生する色相の歪曲のような映像品質損失がないので、高品質の映像情報が必要なデジタル映画(デジタル シネマ)及びデジタルアーカイブなどへの応用に適している。
本発明の望ましい一実施形態による予測映像生成装置の構成図である。 本発明の望ましい一実施形態による予測映像の生成方法のフローチャートである。 本発明の望ましい一実施形態による映像符号化装置の構成図である。 本発明の望ましい一実施形態による映像符号化方法のフローチャートである。 本発明の望ましい一実施形態による映像復号化装置の構成図である。 本発明の望ましい一実施形態による映像復号化方法のフローチャートである。 図5に図示されている予測補償部560の詳細構成図である。 I4x4符号化モードで、空間上予測のための隣接画素の位置、予測する現在ブロックの画素の位置を図示した図である。 I4x4符号化モードで、空間上予測のための隣接画素から現在ブロックの予測方向を図示した図である。 時間予測モードでのマクロブロック(macro block)の分割方法を図示した図である。 図3に図示されている変換/量子化部320での変換及び量子化の様子を図示した図である。 図3に図示されている変換/量子化部320での変換及び量子化の様子を図示した図である。 図3に図示されているエントロピ符号化部330でのジグザグスキャンの様子を図示した図である。 図3に図示されているエントロピ符号化部330でのジグザグスキャンの様子を図示した図である。 レジデュの量子化された変換係数の符号化/復号化方法のフローチャートである。 レジデュの量子化された変換係数の符号化/復号化方法のフローチャートである。 レジデュの量子化された変換係数の符号化/復号化方法のフローチャートである。 一般的な文脈基盤の二進算術符号化装置の構成図である。 一般的な文脈基盤の二進算術符号化方法のフローチャートである。 一般的な文脈基盤の二進算術復号化装置の構成図である。 一般的な文脈基盤の二進算術復号化方法のフローチャートである。 本発明の望ましい一実施形態による文脈基盤の二進算術符号化装置の構成図である。 本発明の望ましい一実施形態による文脈基盤の二進算術符号化方法のフローチャートである。 本発明の望ましい一実施形態による文脈基盤の二進算術復号化装置の構成図である。 本発明の望ましい一実施形態による文脈基盤の二進算術復号化方法のフローチャートである。 本発明の望ましい一実施形態による4:4:4映像のレジデュデータの効率的符号化/復号化のためのCBP(CodedBlockPattern)の符号化/復号化方法を図示した図である。 本発明の望ましい一実施形態による4:4:4映像のレジデュデータの効率的符号化/復号化のためのCBP(CodedBlockPattern)の符号化/復号化方法を図示した図である。 本発明の望ましい一実施形態による4:4:4映像のレジデュデータの効率的符号化/復号化のためのCBP(CodedBlockPattern)の符号化/復号化方法を図示した図である。 本発明の望ましい一実施形態による4:4:4映像のレジデュデータの効率的符号化/復号化のためのCBP(CodedBlockPattern)の符号化/復号化方法を図示した図である。 本発明の望ましい一実施形態による4:4:4映像のレジデュデータの効率的符号化/復号化のためのCBP(CodedBlockPattern)の符号化/復号化方法の他の例を図示した図である。 本発明の望ましい一実施形態による4:4:4映像のレジデュデータの効率的符号化/復号化のためのCBP(CodedBlockPattern)の符号化/復号化方法の他の例を図示した図である。 ブロックデータの文脈索引情報を得るための空間上の2つの隣接ブロックを図示した図である。 切断単項コードと指数ゴロムコードとの組み合わせを使用した一例を図示した図である。 輝度及び色差成分の復元に必要な構文要素、当該文脈索引情報及び文脈索引オフセット情報を表で図示した図である。 CBP情報の二進値の文脈索引情報及び当該確率モデル情報を表で図示した図である。 レジデュの変換及び量子化値のブロックタイプ、当該係数の数及び文脈ブロック範疇情報を表で図示した図である。 レジデュの変換及び量子化値の構文要素と文脈ブロック範疇情報による文脈索引増加値(ctxIdxInc)とを表で図示した図である。 I16x16以外の符号化モードでの輝度成分の図21A及び図21B並びに図22A及び図22BでのCBP情報を表で図示した図である。 I16x16符号化モードでの輝度成分の図21A及び図21B並びに図22A及び図22BでのCBP情報を表で図示した図である。 I16x16以外の符号化モードでの色差成分の図21A及び図21BでのCBP情報を表で図示した図である。 I16x16符号化モードでの色差成分の図21A及び図21B並びに図22A及び図22BでのCBP情報を表で図示した図である。 I16x16以外の符号化モードでの色差成分の図22A及び図22BでのCBP情報を表で図示した図である。 I16x16以外の符号化モードでの色成分の図23A及び図23BでのCBP情報を表で図示した図である。 I16x16符号化モードでの色成分の図23A及び図23BでのCBP情報を表で図示した図である。
以下、図面を参照しつつ、本発明の望ましい実施形態について詳細に説明する。以下で記述される本実施形態は、基本的に少なくとも2種以上の映像成分からなる現在映像の映像成分それぞれに単一符号化モードを適用し、現在映像を符号化/復号化しようとすることである。特に、本発明の現在映像では、RGB映像またはYUV(またはYCbCr)4:4:4映像がいずれも可能である。ただし、本明細書に添付された図面は、現在映像でYUV映像を図示しているが、RGB映像など多種の映像になりうることは、本実施形態が属する技術分野で当業者ならば、理解することができるであろう。
図1は、本発明の望ましい一実施形態による予測映像生成装置の構成図である。図1を参照するに、本実施形態による予測映像生成装置は、空間上予測映像生成部100、時間上予測映像生成部120、符号化モード選択部140及び単一モード予測映像生成部160から構成される。図1に図示されている予測映像生成装置は、現在映像をブロック単位で処理する。また、本実施形態による予測映像生成装置は、予測映像の符号化効率を高めるために、復元映像で現在映像の動きを推定して現在映像を予測するインター(inter)方法と、現在映像の所定大きさのブロックから空間的に隣接した復元映像の画素から現在映像を予測するイントラ(intra)方法とを使用する。特に、本実施形態によれば、図1に図示されている予測映像生成装置は、多数の符号化モードのうちから最も効果的な符号化モードを選択する。
空間上予測映像生成部100は、空間予測モード、すなわちイントラモードである場合、少なくとも2種以上の映像成分からなる現在映像で、前記現在映像の映像成分それぞれに対して同じ予測方向を適用し、現在映像の所定大きさの画素ブロックに空間的に近接した復元映像の画素から現在映像に対する空間上予測映像を生成する。例えば、現在映像がRGB映像ならば、空間上予測映像生成部100は、R成分、G成分、B成分それぞれに対して同じ予測方向を適用して空間上予測映像を生成する。特に、空間上予測映像生成部100は、イントラ方式での多数の符号化モードそれぞれに対して空間上予測映像を生成する。
図8Aは、I4x4符号化モードで、空間上予測のための隣接画素の位置、予測する現在ブロックの画素の位置を示し、図8Bは、I4X4符号化モードで空間予測のための予測方向を図示した図である。図8Aを参照するに、空間上予測映像生成部100は、画素ブロックの大きさが4x4である場合、4x4ブロックサイズごとに9種の予測方向のうち、いずれか一つを同じ予測方向として決定し、このように決定された同じ予測方向を適用し、空間上予測映像を生成する。これをI4x4符号化モードという。もし画素ブロックの大きさが8x8である場合ならば、空間上予測映像生成部100は、前記のI4x4符号化モードと同様に、9種の予測方向のうちいずれか一つを同じ予測方向として決定し、R成分、G成分、B成分それぞれに対してこのように決定された同じ予測方向を適用し、空間上予測映像を生成する。これをI8x8符号化モードという。もし画素ブロックの大きさが16x16である場合ならば、空間上予測映像生成部100は、4種の予測方向のうち、いずれか一つを同じ予測方向として決定し、R成分、G成分、B成分それぞれに対してこのように決定された同じ予測方向を適用し、空間上予測映像を生成する。
図8Aは、I4x4符号化モードで空間上予測のための隣接画素の位置と、予測する現在ブロックの画素の位置とを図示した図である。この方法は、MPEG−4 AVC/H.264で使用する方法と同じである。図8Aに図示されているように、4×4サイズのブロックデータPa,Pb,…,Pqを予測するために、以前に符号化されて復元された空間上の隣接したデータP0,P1,…,P12を利用する。図8Bは、空間上隣接した画素から投影(projection)して現在ブロックを予測するための0から8までの9種の予測方向を示す。例えば、0の方向の場合は、隣接した画素値P1、P2、P3及びP4を垂直方向に投影し、Pa、Pe、Pi及びPmはP1値、Pb、Pf、Pj及びPnは、P2値、Pc、Pg、Pk及びPoはP3値、Pd、Ph、Pl及びPqはP4値に予測する。他の方向の場合も、同様に投影を介して予測する。
時間上予測映像生成部120は、時間予測モード、すなわちインターモードである場合、少なくとも2種以上の映像成分からなる現在映像で、現在映像の映像成分それぞれに対して同じブロック単位で同じ動きベクトル及び同じ動き補間方法を適用し、映像成分それぞれの復元映像と現在映像との間の動き推定から、時間上予測映像を生成する。例えば、現在映像がRGB映像ならば、時間上予測映像生成部120は、R成分、G成分、B成分それぞれに対して同じブロック単位で同じ動きベクトルを使用する。また、時間上予測映像生成部120は、予測映像を拡張するときに、R成分、G成分、B成分それぞれに対して同じフィルタを使用して補間し、時間上予測映像を生成する。特に、時間上予測映像生成部120は、インター方式でのさまざまな符号化モードそれぞれに対して空間上予測映像を生成する。
図9は、時間予測モードでのマクロブロック(macro block)の分割方法を図示した図である。図9を参照するに、時間上予測映像生成部120は、現在映像を図9に図示されているようなブロックに分割して動き予測を行う。さらに詳細に説明すれば、時間上予測映像生成部120は、基本的に縦横に16サイズのマクロブロックを16x16、16x8、8x16、8x8の多様な大きさに分けてそれぞれ動きベクトルを求め、時間上で映像値を予測する。特に、8x8サイズのブロックは、さらに8x8、8x4、4x8、4x4サイズに分け、精密な動きも正確に感知させる。この方法は、MPEG−4
AVC/H.264で使用する方法である。
また、時間上予測映像生成部120は、動き予測を詳細に行うために、予測映像を補間して拡張する。時間上予測映像生成部120は、6−tapフィルタまたはバイリニアフィルタを使用して予測映像を補間できる。このフィルタは、MPEG−4 AVC/H.264で広く使われる。特に、6−tapフィルタは、[1,−5,20,20,−5,1]であり、動き予測を1/4画素単位まで行う。また、バイリニアフィルタは、6−tapフィルタを使用した場合に比べて比較的周囲の画素を少なく使用し、補間する値と近接した距離の周囲値を使用する。
特に、本実施形態によれば、時間上予測映像生成部120は、R成分、G成分、B成分それぞれに同じ補間方法を適用するために、R成分、G成分、B成分いずれも6−tapフィルタを使用できる。あるいは、時間上予測映像生成部120は、R成分、G成分、B成分いずれもバイリニアフィルタを使用できる。さらに、本実施形態では、ブロック単位で最適の方法を選択し、このように選択された方法がいかなるものであるかをブロック単位で符号化し、映像復号化装置に伝達できる。
符号化モード選択部140は、空間上予測映像生成部100によって生成された空間上予測映像と、時間上予測映像生成部120によって生成された時間上予測映像とを利用し、単一符号化モードを選択する。特に、図1を参照するに、符号化モード選択部140は、空間上ビット量/画質歪曲計算部142、時間上ビット量/画質歪曲計算部144及び性能比較部146から構成される。
空間上ビット量/画質歪曲計算部142は、空間上予測映像生成部100によって生成された空間上予測映像に対してビット量と画質の歪曲とを計算する。時間上ビット量/画質歪曲計算部144は、時間上予測映像生成部120によって生成された時間上予測映像に対してビット量と画質の歪曲とを計算する。特に、空間上ビット量/画質歪曲計算部142は、イントラ方式での各符号化モードで、空間上予測映像生成部100で生成された予測映像に対してビット量と画質の歪曲とを計算する。また、時間上ビット量/画質歪曲計算部144は、インター方式での各符号化モードで、時間上予測映像生成部120で生成された予測映像に対してビット量と画質の歪曲とを計算する。
さらに詳細に説明すれば、空間上ビット量/画質歪曲計算部142及び時間上ビット量/画質歪曲計算部144は、図3に図示されている映像符号化装置のエントロピ符号化部330から出力されたビットストリームを利用し、空間上予測映像または時間上予測映像に対するビット量を計算できる。また、空間上ビット量/画質歪曲計算部142及び時間上ビット量/画質歪曲計算部144は、次の式(1)のように映像を復元し、原本映像との差値を自乗して合算した値の平均でもって、空間上予測映像または時間上予測映像に対する画質の歪曲を計算できる。
Figure 2011160469
ここで、Dは画質歪曲の程度を数値で示した値であり、pは現在映像の画素値、qは以前映像の画素値、iは現在ブロック内で画素の索引(index)を示す。
性能比較部146は、空間上ビット量/画質歪曲計算部142によって計算されたビット量と画質歪曲とを合わせ、時間上ビット量/画質歪曲計算部144によって計算されたビット量と画質歪曲とを合わせる。また、性能比較部146は、このように合わせた値を比較し、その値が最小値に該当する符号化モード、すなわち最も符号化効率が高い符号化モードを単一符号化モードとして選択する。さらに詳細に説明すれば、性能比較部146は、次の式(2)のように、画質の歪曲とビット量との間の単位を調整するために、一定定数を乗じてしてビット量と画質歪曲とを合わせる。
Figure 2011160469
ここで、Rはビット率、λは一定定数を示す。すなわち、性能比較部146は、多数の符号化モードそれぞれに対してLを計算し、このように計算されたLのうち最小値に該当する符号化モードを単一符号化モードとして選択する。
単一モード予測映像生成部160は、現在映像の映像成分それぞれに対して符号化モード選択部140によって選択された単一符号化モードを同一に適用し、現在映像に対する予測映像を生成する。
一方、符号化モード選択部140で符号化効率が最も高い符号化モードを選択するにおいて、ビット量と画質歪曲とを計算して比較するのは一実施形態であり、本発明が使われる状況によって、ビット量及び画質歪曲以外の他の要素によっても最も符号化効率が高い符号化モードを選択できる。
図2は、本発明の望ましい一実施形態による予測映像の生成方法のフローチャートである。図2を参照するに、本実施形態による予測映像の生成方法は、図1に図示されている予測映像生成装置で、時系列的に処理される段階から構成される。従って、以下で省略されている内容であっても、図1に図示されている予測映像生成装置について以上で記述された内容は、本実施形態による予測映像の生成方法にも適用される。
200段階で予測映像生成装置は、少なくとも2種以上の映像成分からなる現在映像で、現在映像の映像成分それぞれに対して同じ予測方向を適用し、現在映像の所定大きさの画素ブロックに空間的に近接した復元映像の画素から現在映像に対する空間上予測映像を生成する。
220段階で予測映像生成装置は、少なくとも2種以上の映像成分からなる現在映像で、現在映像の映像成分それぞれに対して同じブロック単位で同じ動きベクトル及び同じ動き補間方法を適用し、映像成分それぞれの復元映像と現在映像との間の動き推定から、現在映像に対する時間上予測映像を生成する。
240段階で予測映像生成装置は、200段階で生成された空間上予測映像に対してビット量と画質の歪曲とを計算し、220段階で生成された時間上予測映像に対してビット量と画質の歪曲とを計算する。
260段階で予測映像生成装置は、240段階で空間上予測映像に対して計算されたビット量と画質の歪曲とを合わせ、時間上予測映像に対して計算されたビット量と画質の歪曲とを合わせ、このように合わせた値を比較し、その値が最小値に該当する符号化モードを単一符号化モードとして選択する。
280段階で予測映像生成装置は、現在映像の映像成分それぞれに対して260段階で選択された符号化モードを適用し、現在映像に対する予測映像を生成する。
図3は、本発明の望ましい一実施形態による映像符号化装置の構成図である。図3を参照するに、本実施形態による映像符号化装置は、予測映像生成部300、レジデュ又は残差(residue)生成部310、変換/量子化部320、エントロピ符号化部330、逆量子化/逆変換部340及び予測補償部350から構成される。
予測映像生成部300は、少なくとも2種以上の映像成分からなる現在映像で、現在映像の映像成分それぞれに対して同じ符号化モードを適用し、現在映像に対する予測映像を生成する。予測映像生成部300は、図1に図示された予測映像生成装置をそのまま利用する。従って、予測映像生成部300は、図1に図示されているように、空間上予測映像生成部100、時間上予測映像生成部120、符号化モード選択部140及び単一モード予測映像生成部160から構成されうる。
レジデュ生成部310は、現在映像と、予測映像生成部300によって生成された予測映像との差に該当するレジデュを生成する。例えば、入力映像がYUV(またはYCbCr)4:4:4映像ならば、予測映像生成部300は、空間予測モードを選択する場合には、Y成分、U(またはCb)成分及びV(またはCr)成分いずれにも同じ予測モードを適用する。また、予測映像生成部300は、時間予測モードを選択する場合には、Y成分、U(またはCb)成分及びV(またはCr)成分いずれにも同じブロック単位で同じ動きベクトルを適用し、また予測映像を拡張するときに、Y成分、U(またはCb)成分及びV(またはCr)成分いずれにも同じフィルタを使用して補間する。次に、前記の通りに選択された符号化モードによって、空間または時間予測符号化を行えば、レジデュ生成部310は、Y成分、U(またはCb)成分及びV(またはCr)成分それぞれのレジデュを生成できる。
変換/量子化部320は、レジデュ生成部310で生成されたレジデュを所定大きさのブロック別に変換及び量子化する。さらに詳細に説明すれば、変換/量子化部320は、直交変換符号化方式を使用して変換する。直交変換符号化方式のうち、多用される方式は、高速フーリエ変換(FFT)、離散コサイン変換(DCT:Discrete Cosine Transform)、カルーネン・レーブ変換(KLT)、アダマール変換(Hadamard transform)、傾斜変換(slant transform)などがある。
図10A及び図10Bは、図3に図示されている変換/量子化部320での変換及び量子化の様子を図示した図である。MPEG−4 AVC/H.264では、図10Aのように、輝度映像成分Y 1040及び色差映像成分U(またはCb)1050、V(またはCr)1060それぞれを4x4単位で変換する。このとき、図1に図示された空間上予測映像生成部100で、空間上予測が16x16単位からなるI16x16符号化モードである場合、マクロブロック内の各ブロックのDC成分だけを集め、別途に輝度映像成分Y 1010及び色差映像成分U(またはCb)1020、V(またはCr)1030に対して、4x4単位でさらに変換及び量子化する。図10Bは、輝度映像成分Y 1070及び色差映像成分U(またはCb)1080、V(またはCr)1090に対して、8x8単位で変換したところを図示している図である。
エントロピ符号化部330は、変換/量子化部320によって変換及び量子化されたデータをエントロピ符号化することによって、ビットストリームを生成する。
図11A及び図11Bは、図3に図示されているエントロピ符号化部330でのジグザグスキャンの様子を図示した図である。
図10A及び図10Bで得た変換及び量子化されたレジデュ係数を、図3のエントロピ符号化部330でビットストリームに効率的に生成するために、図11Aは、4x4変換されたレジデュ1100の量子化された係数をDC係数1101を始まりとしてジグザグスキャンし(1102)、二次元データからエントロピ符号化するための一次元データを得るところを図示した図である。図11Bは、8x8単位で変換されたレジデュ1110の量子化された係数を効率的に符号化するために、DC係数1111を始まりとしてジグザグスキャンし(1112)、二次元データからエントロピ符号化するための一次元データを得るところを図示した図である。
逆量子化/逆変換部340及び予測補償部350は、予測映像生成部300で予測映像を生成するときに必要な現在復元映像と以前復元映像とを生成するために、変換/量子化部320で変換及び量子化されたデータを逆量子化/逆変換及び予測補償を行う。
図4は、本発明の望ましい一実施形態による映像符号化方法のフローチャートである。図4を参照するに、本実施形態による映像符号化方法は、図3に図示された映像符号化装置で、時系列的に処理される段階から構成される。従って、以下で省略された内容であっても、図3に図示された映像符号化装置について以上で記述された内容は、本実施形態による映像符号化方法にも適用される。
400段階で映像符号化装置は、少なくとも2種以上の映像成分からなる現在映像で、現在映像の映像成分それぞれに対して同じ符号化モードを適用し、現在映像に対する予測映像を生成する。
420段階で映像符号化装置は、現在映像と、400段階で生成された予測映像との差に該当するレジデュを生成する。
440段階で映像符号化装置は、420段階で生成されたレジデュを所定大きさのブロック別に変換及び量子化する。
460段階で映像符号化装置は、440段階で変換及び量子化されたデータをエントロピ符号化することによって、ビットストリームを生成する。
図5は、本発明の望ましい一実施形態による映像復号化装置の構成図である。図5を参照するに、本実施形態による映像復号化装置は、エントロピ復号化部500、逆量子化/逆変換部520及び予測補償部560から構成される。
エントロピ復号化部500は、ビットストリームをエントロピ復号化する。逆量子化/逆変換部520は、エントロピ復号化部500によってエントロピ復号化された結果を、所定大きさのブロック単位で逆量子化及び逆変換することによって、少なくとも2種以上の映像成分からなる現在映像と予測映像との差に該当する映像成分それぞれのレジデュを復元する。予測補償部560は、逆量子化/逆変換部520によって復元された映像成分それぞれのレジデュに、同じ符号化モードを適用して生成された予測映像に加えて現在映像を復元する。
図7は、図5に図示された予測補償部560の詳細構成図である。図7を参照するに、図5に図示された予測補償部560は、空間上予測補償部700及び時間上予測補償部750から構成される。
空間上予測補償部700は、逆量子化/逆変換部520によって復元された映像成分それぞれのレジデュが、イントラ方式で符号化された場合ならば、映像成分それぞれに対して同じ予測方向を適用し、現在映像の所定大きさのブロックに空間的に近接した復元映像の画素から生成された予測映像を、逆量子化/逆変換部520に復元された映像成分それぞれのレジデュに加えて現在映像を復元する。
時間上予測補償部750は、逆量子化/逆変換部520によって復元された映像成分それぞれのレジデュが、インター方式で符号化された場合ならば、映像成分それぞれに対して同じブロック単位で同じ動きベクトル及び動き補間方法を適用し、復元映像と現在映像との間の動き推定から生成された予測映像を、逆量子化/逆変換部520に復元された映像成分それぞれのレジデュに加えて現在映像を復元する。
一般的に、図3に図示された変換/量子化部320によって変換及び量子化された結果に該当するレジデュを圧縮してビットストリームに生成するために、エントロピ符号化が使われる。エントロピ符号化の代表的な例としては、ハフマン符号化と算術符号化とがある。MPEG−4 AVC/H.264について述べれば、ビットストリームを生成するときに、ハフマン符号化と算術符号化とをユーザが選択して使用できるようにしている。これらのうち、算術符号化は、ハフマン符号化に比べて複雑度が高いという短所があるが、データの統計的特性によって符号化コードを生成するために、高い圧縮率を有するという長所を有する。本実施形態では、映像成分それぞれに同一確率モデルを適用した文脈(context)基盤の二進算術符号化について詳細に説明する。
図6は、本発明の望ましい一実施形態による映像復号化方法のフローチャートである。図6を参照するに、本実施形態による映像復号化方法は、図5に図示されている映像復号化装置で、時系列的に処理される段階から構成される。従って、以下で省略された内容であっても、図5に示された映像復号化装置について以上で記述された内容は、本実施形態による映像復号化方法にも適用される。
600段階で映像復号化装置は、ビットストリームをエントロピ復号化する。
620段階で映像復号化装置は、600段階でエントロピ復号化された結果を、所定大きさのブロック単位で逆量子化及び逆変換することによって、少なくとも2種以上の映像成分からなる現在映像と予測映像との差に該当する映像成分それぞれのレジデュを復元する。
640段階で映像復号化装置は、620段階で復元された映像成分それぞれのレジデュに、同じ符号化モードを適用して生成された予測映像を加えて現在映像を復元する。
一般的に、エントロピ符号化段階で、データを圧縮してビットストリームを生成するために圧縮しなければならないデータを一定の意味単位に分けて処理する。このような一定意味単位を構文要素(syntax element)という。図10A及び図10B並びに図11A及び図11Bで生成された変換及び量子化されたレジデュを算術符号化/復号化するための構文要素単位及びこの構文要素を符号化/復号化する詳細な過程を、図12A、図12B及び図12Cに図示した。
図12A、図12B及び図12Cは、レジデュの量子化された変換係数の符号化/復号化方法のフローチャートである。図12Aを参照するに、1200段階で映像符号化装置は、変換/量子化部320によって復元されたレジデュの係数がいくつであるかをMaxNumCoeffを入力として受ける。ここで、MaxNumCoeffは、図3に図示された変換量子化部320で、4x4単位で変換及び量子化を行えば16になり、I16x16符号化モードの16x16単位で空間上予測を行えば、DC係数の場合16でAC係数の場合に15となる。もし図3の変換/量子化部320で8x8単位の変換を行えば、MaxNumCoeffは64となる。
1210段階で映像符号化装置は、変換/量子化部320によって復元されたレジデュが変換ブロックサイズ単位で0であるか否かを示すcoded_block_flagを符号化/復号化する。一般的にレジデュは、4x4または8x8サイズの変換ブロックサイズ単位で変換されるが、H.264/AVCでは、4x4単位でcoded_block_flagを符号化し、8x8サイズのブロックに含まれたあらゆる変換ブロックの量子化されたレジデュの係数が0であるか否かは、他の構文要素であるcoded_block_patternで示す。従って、8x8単位の変換を使用した場合は、coded_block_patternとcoded_block_flagとが互いに重複されるので、coded_block_flagは、別途に符号化しない。
1220段階で映像符号化装置は、coded_block_flagが1であるか否かを確認し、その結果、coded_block_flagが1であるならば1230段階に進み、1ではなければ終了する。ここで、coded_block_flagが1であるというのは、このcoded_block_flagに該当する4x4ブロック内に0ではない係数が存在するということを示す。
1230段階で映像符号化装置は、前記のcoded_block_flagに該当する4x4ブロック内で0ではない係数の位置情報を示す重要マップ情報を符号化/復号化する。
1240段階で映像符号化装置は、0ではない係数のレベル情報を符号化/復号化する。
図12Bは、図12Aに図示された1230段階の詳細フローチャートである。
1232段階で映像符号化装置は、前記のcoded_block_flagに該当する4x4ブロック内の変換及び量子化されたレジデュが0であるか否かを示すマップ情報であるsignificant_coeff_flagsを符号化/復号化する。
1234段階で映像符号化装置は、significant_coeff_flagが1であるか否かを確認し、その結果、significant_coeff_flagが1であるならば1236段階に進み、1ではなければ終了する。ここで、significant_coeff_flag==1であるというのは、前記のcoded_block_flagに該当する4x4ブロック内の変換及び量子化されたレジデュが0ではないということを示す。
1236段階で映像符号化装置は、前記のcoded_block_flagに該当する4x4ブロック内の変換及び量子化されたレジデュが0ではない場合、このデータが図11A及び図11Bに図示されているように、4x4ブロック内で一次元でスキャンされるとき、最後に0ではないデータであるか否かを示すlast_significant_coeff_flagを符号化/復号化する。
1238段階で映像符号化装置は、last_significant_coeff_flagが1であるか否かを確認し、その結果、last_significant_coeff_flagが1であるならば終了し、1ではなければ1232段階に復帰する。ここで、last_significant_coeff_flagが1であるというのは、4x4ブロック内で一次元でスキャンされるときに、最後に0ではないデータであるということを示す。
図12Cは、図12Aに図示された1240段階の詳細フローチャートである。
1242段階で映像符号化装置は、significant_coeff_flagが1であるか否かを確認し、その結果、significant_coeff_flagが1である場合には1244段階に進み、1ではない場合には終了する。前記の通りに、significant_coeff_flag==1であるというのは、前記のcoded_block_flagに該当する4x4ブロック内の変換及び量子化されたレジデュが0ではないということを示す。
1244段階で映像符号化装置は、前記のcoded_block_flagに該当する4x4ブロック内の0ではないデータのレベル値であるcoeff_abs_level_minus1coeff_abs_level_minus1を符号化/復号化する。
1246段階で映像符号化装置は、前記のcoded_block_flagに該当する4x4ブロック内の0ではないデータのレベル値の符号値を符号化/復号化する。
図13は、一般的な文脈基盤の二進算術符号化装置の構成図である。図13を参照するに、文脈基盤の二進算術符号化装置(Binary Arithmetic Encoder)は、二進化部1300、文脈索引選択部1310、確率モデル保存部1330及び二進算術符号化部1320から構成される。本実施形態で構文要素は、図3に図示されたエントロピ符号化部330で、映像情報を圧縮する基本単位として代表的な例として、前記のCBP(coded_block_pattern)、動きベクトル(motion vector)及びレジデュ(residue)情報などを含む。
二進化部1300は、構文要素が0と1とからなる二進値ではない場合に、かような構文要素を二進化する。特に、二進化部1300は、可変長符号化(Variable Length Coding)のように、低確率のシンボルには長い長さの二進値を付与し、高確率のシンボルには短い長さの二進値を付与することによって、符号化効率を高めることができる。MPEG−4 AVC/H.264では、かような二進化方法で単項コード(unary code)、切断単項コード(truncated unary code)、固定長コード(Fixed-length code)、及び切断単項コードと指数ゴロムコード(Exponential Golomb code)との組み合わせを使用する。
単項コードは、レベル値xをx個の1と0とに二進化するのである。切断単項コードは、単項コードの一部のみを使用のことであり、使われる範囲が0からSまでと決められている場合、S値については、最後に0を使わずに1を使うコードである。指数ゴロムコードは、プレフィックス(prefix)とサフィックス(suffix)とから構成され、そのうちプレフィックスは、次の式(3)によって計算されるl(x)値の単項コードである。
Figure 2011160469
ここで、xは二進化しようとする値であり、kは指数コードの次数(order)である。また、指数ゴロムコードのサフィックスは、次の式(4)によって計算されるm(x)値のバイナリ(binary)コードであり、このバイナリコードは、k+l(x)のビット数を有する。
Figure 2011160469
図25は切断単項コードと指数ゴロムコードとの組み合わせを使用した一例を図示した図である。図25は、図12で説明したレジデュの量子化された変換係数値から1を差し引いた値であるabs_level_minus1を二進化する場合である。図25に図示されているように、二進化された二進値それぞれをbinとすれば、MPEG−4 AVC/H.264では、abs_level_minus1値が14より小さい場合、1が続いていて最後に0がつく切断単項(TU:Truncation Unary)コードにマッピングされる。一方、abs_level_minus1値が14より大きい場合、13までの二進値であるプレフィックス部分は、切断単項コードにマッピングされ、14以上の二進値のサフィックス部分は、次数0を有する指数ゴロムコード(EGO:Exponential GOlomb code)にマッピングされる。前記の通りに、値の大きさによって二進化方法を異なるように使用したのは、頻繁に発生する小さい値に対して確率値を適応的に集めることによって、算術符号化の効果を極大化させるためである。
文脈索引(context index)選択部1310は、構文要素の確率モデル情報を文脈基盤として選択する。文脈基盤というのは、与えられた二進シンボルを符号化するにおいて、周辺シンボルの状態によって異なる文脈を抽出し、適応的に確率値を有するようにして圧縮効率を高める方法である。すなわち、確率モデル情報は、前記の通りに選択される文脈索引情報によって、適応的に変化する状態値(State)とMPS(Most Probability Symbol)との2種因子からなっているが、2種因子でもって確率特性についての情報を示す。2種因子は、確率モデル保存部1330に保存される。
二進算術符号化部1320は、文脈索引選択部1310によって選択された文脈索引情報を利用して構文要素に対する確率モデルを探し、このモデル情報を利用して二進値を符号化する。また、二進算術符号化部1320は、符号化後には符号化された二進値を考慮し、確率モデルをさらに更新する。
図14は、一般的な文脈基盤の二進算術符号化方法のフローチャートである。図14を参照するに、文脈基盤の二進算術符号化方法は、次のような段階から構成される。
1400段階で文脈基盤の二進算術符号化装置は、構文要素の入力に対して、この構文要素が特定単位の最初の構文要素であるか否かを確認し、その結果、最初の構文要素である場合には1410段階に進み、最初の構文要素ではない場合には、1420段階までの初期化段階を省略し、直ちに1430段階に進む。ここで、特定単位は、スライス(slice)またはピクチャ(picture)になるのが望ましい。
1410段階で文脈基盤の二進算術符号化装置は、あらゆる構文要素の確率モデルを初期化する。
1420段階で文脈基盤の二進算術符号化装置は、二進算術符号化部1320のパラメータ値を初期化する。
1430段階で文脈基盤の二進算術符号化装置は、構文要素に対して二進化を行う。
1440段階で文脈基盤の二進算術符号化装置は、1430段階で二進化された二進値それぞれの文脈索引を、隣接した文脈索引などを利用して選択する。このように行うことによって、確率モデルをさらに良好に予測でき、符号化効率を向上させることができる。
1450段階で文脈基盤の二進算術符号化装置は、1440段階で選択された確率モデルを利用し、構文要素の二進値それぞれを二進算術符号化する。
図15は、一般的な文脈基盤の二進算術復号化装置の構成図である。図15を参照するに、文脈基盤の二進算術復号化装置は、文脈索引選択部1500、確率モデル保存部1530、二進算術復号化部1510及び逆二進化部1520から構成される。前記過程は、図13の過程の逆過程でビットストリームから構文要素を復元する。
図16は、一般的な文脈基盤の二進算術復号化方法のフローチャートである。図16を参照するに、文脈基盤の二進算術復号化方法は、次のような段階から構成される。
1600段階で文脈基盤の二進算術復号化装置は、入力ビットストリームが特定単位の最初の構文要素を復元しようとするか否かを確認し、その結果、最初の構文要素を復元しようとするならば1610段階に進み、最初の構文要素を復元しようとする場合ではないならば、1620段階までの初期化段階を省略し、直ちに1630段階に進む。
1610段階で文脈基盤の二進算術復号化装置は、あらゆる構文要素の確率モデルを初期化する。
1620段階で文脈基盤の二進算術復号化装置は、二進算術復号化部1510のパラメータ値を初期化する。
1630段階で文脈基盤の二進算術復号化装置は、構文要素の二進値に対する文脈索引を、隣接した文脈索引などを利用して選択する。
1640段階で文脈基盤の二進算術復号化装置は、1630段階で選択された文脈索引を利用し、構文要素の二進値に対する二進算術復号化を行うことによって、構文要素の二進値を復元する。
1650段階で文脈基盤の二進算術復号化装置は、1640段階で復元された二進値を逆二進化し、構文要素を復元する。
以下では、前記の説明を参照しつつ、本実施形態による単一確率モデルを利用した文脈基盤の二進算術符号化及び復号化方法について詳細に説明する。特に、図17に図示されている文脈基盤の二進算術符号化装置及び図19に図示されている文脈基盤の二進算術復号化装置で使われる構文要素は、CBP(coded_block_pattern)情報及び変換/量子化部320によって変換/量子化されたレジデュの符号化情報を含む。
図17は、本発明の望ましい一実施形態による文脈基盤の二進算術符号化装置の構成図である。図17を参照するに、本実施形態による文脈基盤の二進算術符号化装置は、輝度成分及び色差成分それぞれのための構文要素の二進化部1700及び1740、文脈索引選択部1710及び1750、二進算術符号化部1720及び1760及び確率モデル保存部1730から構成される。図13に図示された文脈基盤の二進算術符号化装置と異なる点は、輝度成分の構文要素及び色差成分の構文要素それぞれに対して同じ確率モデルを使用するということである。これは、4:4:4形式の映像で、映像成分間の特性が類似しているので、同じ確率モデルを使用することが有利であり、不要な確率モデルの増加を防止して複雑度を低下させる長所がある。
二進化部1700及び1740は、少なくとも2種以上の映像成分からなる現在映像と予測映像との差に該当するレジデュを符号化するための構文要素を二進化する。特に、二進化部1700は、輝度成分のレジデュを符号化するための構文要素を二進化する。また、二進化部1740は、色差成分のレジデュを符号化するための構文要素を二進化する。
文脈索引選択部1710及び1750は、各構文要素の二進値の文脈索引情報を選択する。特に、文脈索引選択部1710は、輝度成分のレジデュを符号化するための構文要素の二進値の文脈索引情報を選択する。また、文脈索引選択部1740は、色差成分のレジデュを符号化するための構文要素の二進値の文脈索引情報を選択する。
二進算術符号化部1720及び1760は、文脈索引選択部1710及び1750によって選択された映像成分それぞれの文脈索引値に対して、同じ構文要素の確率値を有する確率モデルを使用し、構文要素の二進値を二進算術符号化する。特に、二進算術符号化部1720は、文脈索引選択部1710によって選択された輝度成分のレジデュの文脈索引値に対して、同じ構文要素の確率値を有する確率モデルを使用し、構文要素の二進値を二進算術符号化する。また、二進算術符号化部1760は、文脈索引選択部1750によって選択された色差成分のレジデュの文脈索引値に対して、同じ構文要素の確率値を有する確率モデルを使用し、構文要素の二進値を二進算術符号化する。
特に、本実施形態によれば、二進算術符号化部1720及び1760は、映像成分それぞれに対して同じ確率モデルを使用し、映像成分それぞれのレジデュを符号化のための構文要素の一つであるCBP情報を二進算術符号化する。ここで、CBP情報は、少なくとも2種以上の映像成分それぞれに対して所定大きさのブロック別に変換及び量子化されたレジデュデータがいずれも0であるか否かを示す。
さらに詳細に説明すれば、二進算術符号化部1720及び1760は、映像成分のうち第1関心成分及び第2関心成分に対して同じ確率モデルを使用して二進算術符号化する。すなわち、二進算術符号化部1720及び1760は、映像成分のうち第1関心成分に対して、所定大きさのブロック別に変換及び量子化されたレジデュのデータが、いずれも0であるか否かを示すCBP情報、及び映像成分の第2関心成分に対して、同じ位相を有する所定大きさのブロック別に変換及び量子化されたレジデュのデータが、いずれも0であるか否かを示すCBP情報を同じ確率モデルを使用し、二進算術符号化する。例えば、第1関心成分は輝度成分になり、第2関心成分は色差成分になりうる。あるいは、二進算術符号化部1720及び1760は、映像成分それぞれに対して同じ位相を有する所定大きさのブロック別に変換及び量子化されたレジデュデータが、いずれも0であるか否かを示すCBP情報を、同じ確率モデルを使用して二進算術符号化する。
確率モデル保存部1730は、少なくとも2種以上の映像成分それぞれの文脈索引情報に対して、互いに同じ構文要素の確率値を有する確率モデルを保存する。
図18は、本発明の望ましい一実施形態による文脈基盤の二進算術符号化方法のフローチャートである。図18を参照するに、本実施形態による文脈基盤の二進算術符号化方法は、図17に図示された文脈基盤の二進算術符号化装置で、時系列的に処理される段階から構成される。従って、以下で省略された内容であっても、図17に図示された文脈基盤の二進算術符号化装置について以上で記述された内容は、本実施形態による文脈基盤の二進算術符号化方法にも適用される。
1800段階で映像符号化装置は、構文要素の入力に対して、この構文要素が特定単位の最初の構文要素であるか否かを確認し、その結果、最初の構文要素である場合には1810段階に進み、最初の構文要素ではない場合には、1820段階までの初期化段階を省略し、直ちに1830段階に進む。
1810段階で文脈基盤の二進算術符号化装置は、あらゆる構文要素の確率モデルを初期化する。
1820段階で文脈基盤の二進算術符号化装置は、二進算術符号化部1720及び1760のパラメータ値を初期化する。
1830段階で文脈基盤の二進算術符号化装置は、映像成分それぞれの構文要素を二進化する。
1840段階で文脈基盤の二進算術符号化装置は、1830段階で二進化された二進値それぞれの文脈索引を、隣接した文脈索引などを利用して選択する。
1850段階で文脈基盤の二進算術符号化装置は、1840段階で選択された映像成分それぞれの文脈索引値に対して、同じ構文要素の確率値を有する確率モデルを使用し、構文要素の二進値を二進算術符号化する。
図19は、本発明の望ましい一実施形態による文脈基盤の二進算術復号化装置の構成図である。図19を参照するに、本実施形態による文脈基盤の二進算術復号化装置は、輝度成分及び色差成分それぞれのための文脈索引選択部1900及び1940、二進算術復号化部1910及び1950、逆二進化部1920及び1960、及び確率モデル保存部1930から構成される。図15に図示された文脈基盤の二進算術復号化装置と異なる点は、輝度成分の構文要素及び色差成分の構文要素それぞれに対して同じ確率モデルを使用するということである。
文脈索引選択部1900及び1940は、少なくとも2種以上の映像成分からなる現在映像と予測映像との差に該当するレジデュを符号化するための構文要素の二進値に対する文脈索引情報を選択する。
二進算術復号化部1910及び1950は、文脈索引選択部1900及び1940によって選択された映像成分それぞれの文脈索引情報に対して、同じ構文要素の確率値を有する確率モデルを使用し、構文要素の二進値に対する二進算術復号化を行うことによって、構文要素の二進値を復元する。特に、本実施形態によれば、二進算術復号化部1910及び1950は、映像成分それぞれに対して同じ確率モデルを使用し、映像成分それぞれのレジデュを復号化するための構文要素の一つであるCBP情報に対する二進算術復号化を行う。ここで、CBP情報は、映像成分それぞれに対して所定大きさのブロック別に変換及び量子化されたレジデュのデータがいずれも0であるか否かを示す。
さらに詳細に説明すれば、二進算術復号化部1910及び1950は、映像成分のうち第1関心成分及び第2関心成分に対して同じ確率モデルを使用し、二進算術復号化する。例えば、二進算術復号化部1910及び1950は、映像成分のうち第1関心成分に対して、所定大きさのブロック別に変換及び量子化されたレジデュのデータが、いずれも0であるか否かを示すCBP情報、及び映像成分のうち第2関心成分に対して、同じ位相を有する所定大きさのブロックにいずれも含まれた変換及び量子化されたレジデュデータが、いずれも0であるか否かを示すCBP情報に対する二進算術復号化を同じ確率モデルを使用して行う。あるいは、二進算術復号化部1910及び1950は、映像成分それぞれに対して同じ位相を有する所定大きさのブロック別に変換及び量子化されたレジデュデータが、いずれも0であるか否かを示すCBP情報に対する二進算術復号化を、同じ確率モデルを使用して行う。
逆二進化部1920及び1960は、二進算術復号化部1910及び1950によって復元された構文要素の二進値を逆二進化することによって、構文要素を復元する。
確率モデル保存部1930は、少なくとも2種以上のレジデュ成分それぞれの文脈索引情報に対して、同じ構文要素の確率値を有する確率モデルを保存する。
図20は、本発明の望ましい一実施形態による文脈基盤の二進算術復号化方法のフローチャートである。図20を参照するに、本実施形態による文脈基盤の二進算術復号化方法は、図19に図示された文脈基盤の二進算術符号化装置で、時系列的に処理される段階から構成される。従って、以下で省略された内容であっても、図19に図示された文脈基盤の二進算術復号化装置について以上で記述された内容は、本実施形態による文脈基盤の二進算術復号化方法にも適用される。
2000段階で文脈基盤の二進算術復号化装置は、入力ビットストリームが特定単位の最初の構文要素を復元しようとするか否かを確認し、その結果、最初の構文要素を復元しようとするならば2010段階に進み、最初の構文要素を復元しようとする場合ではないならば、2020段階までの初期化段階を省略し、直ちに2030段階に進む。
2010段階で文脈基盤の二進算術復号化装置は、あらゆる構文要素の確率モデルを初期化する。
2020段階で文脈基盤の二進算術復号化装置は、二進算術復号化部1910及び1950のパラメータ値を初期化する。
2030段階で文脈基盤の二進算術復号化装置は、映像成分それぞれの構文要素の二進値に対する文脈索引を、隣接した文脈索引などを利用して選択する。
2040段階で文脈基盤の二進算術復号化装置は、2030段階で選択された映像成分それぞれの文脈索引情報に対して、同じ構文要素の確率値を有する確率モデルを使用して構文要素の二進値に対する二進算術復号化を行うことによって、構文要素の二進値を復元する。
2050段階で文脈基盤の二進算術復号化装置は、2040段階で復元された二進値を逆二進化して構文要素を復元する。
図26に、映像成分の復元に必要なCBP情報及び変換/量子化されたレジデュデータの符号化情報の符号化関連構文要素、当該構文要素の文脈索引増加(ctxIdxInc)情報の範囲、各構文要素のmaxBinIdx及び文脈索引オフセット(ctxIdxOffset)を表した。ここで、maxBinIdxは、構文要素を二進化したときに、二進化値の長さ情報を示し、文脈索引オフセット(ctxIdxOffset)情報は、構文要素の文脈索引情報の最初の開始値を示す。そして、文脈索引増加(ctxIdxInc)情報は、隣接文脈索引情報などを活用し、当該構文要素が有しうる文脈索引(ctxIdx)の変化量を示す。まず、CBPの構文要素であるcoded_block_patternについて、輝度成分の値は、文脈索引情報が73ないし76の値を有する。しかし、既存の4:2:0映像の場合に、輝度成分と色差成分とのcoded_block_patternの意味が異なるので、色差成分の文脈索引情報は77ないし84と、互いに異なる値を有する。しかし、単一予測モードを利用した4:4:4映像符号化方法の場合に、色差成分の文脈索引が73−76であって、輝度成分と同じ確率モデルを使用する。前記の図17及び図19の文脈索引選択部1710,1550,1600及び1640によって選択された、coded_block_pattern構文要素の二進値に対する文脈索引情報ctxIdxは、次の通りに求めることができる。
ctxIdx=cxtIdxOffset+ctxIdxInc (5)
ここで、ctxIdxIncは、図24のように、一般的に現在ブロックの文脈索引情報を得るために、空間上で左−上に隣接したブロックから得た文脈索引情報を利用して求める。前記のcoded_block_patternについては、さらに詳細に後述する。
図13で説明した通り、確率モデルは、文脈索引情報によって適応的に変化する状態値(State)とMPSとのの2種因子からなっているが、MPEG−4 AVC/H.264では、この値を次の式(6)でのように、mとnとを使用して表現する。
preCtxState=max(1,min(126,((m*sliceQP))>>4)+n)
if(preCtxState<=63){
State=63-preCtxState
valMPS=0 (6)
}else{
State=preCtxState 64
valMPS=1
}
ここで、初期State値は、スライスのQP値であるSliceQP値とm及びnとによって決定されるが、[0,63]の範囲を有する。State値が0に近いほど当該構文要素の二進値のMPSの確率が1/2に近づき、63に近いほど1に近づく。一例として、図17及び図19の確率モデル保存部1730及び1930に保存されるcoded_block_patternの構文要素の輝度及び色差成分間の同じ確率モデルを示すm及びn値を図27に図示した。
本実施形態によるところの変換及び量子化されたレジデュの構文要素にかかわり、図17及び図19の文脈索引選択部1710,1750,1910及び1950で文脈索引情報を選択する方法について具体的に説明する。
coded_block_flag、significant_coeff_flag、last_significant_coeff_flag及びcoeff_abs_level_minus1の場合、式(5)を利用したcoded_block_patternや他の構文要素の文脈索引情報を求める方法の代わりに、次のような方法で、文脈索引情報を求める。
ctxIdx=ctxIdxOffset+ctxBlockCatOffset(ctxBlockCat)+ctxIdxInc (7)
ここで、ctxBlockCatは、図1の符号化モード及び図10A及び図10Bの変換方法によるブロックタイプごとに文脈索引情報を異なって使用するための値であり、図28に図示した。
式(7)のctxBlockCateOffset(ctxBlockCat)は、cxtBlockCatが与えられたときに、各ブロックのタイプに該当する文脈索引情報の開始値を表し、図29に図示した。
映像成分それぞれの構文要素であるcoded_block_flag、significant_coeff_flag、last_significant_coeff_flag及びcoeff_abs_level_minus1の場合、4:2:0映像である場合、図28でのように輝度及び色差成分についてctxBlockCat情報が互いに異なる。すなわち、式(7)でのように、文脈索引(ctxIdx)情報と色情報とが互いに異なり、その結果として、使用する確率モデルが異なる。一方、4:4:4映像である場合には、輝度及び色差成分に対して符号化モード別にctxBlockCat情報が互いに同じであり、互いに同じ確率モデルを使用する。
レジデュを符号化するための構文要素(syntaxelement)のうち、coeff_abs_level_minus1構文情報についてさらに詳細に説明すれば、現在符号化しようとする値が二進化されたデータのうち最初の位置の二進数である場合には、次の通りにctxIdxIncを選択する。
ctxIdxInc=((numDecodAbsLevelGt1!=0)?0:Min(N,1+numDecodAbsLevelEq1)) (8)
ctxIdxIncは、選択される文脈を指す値であり、numDecodAbsLevelGt1は、以前に復号化された1より大きい量子化変換係数値の個数であり、numDecodAbsLevelEq1は、以前に復号化された1の値を有する量子化変換係数の個数であり、Nは、前記最初の位置の二進数にかかわる文脈索引情報の個数である。また、「!=」という記号は「not equal」を示し、「?」という記号は「if~then」を示し、「:」という記号は「else」を示す。現在符号化しようとする値が最初の位置の二進数ではない場合、次のようなctxIdxIncを選択する。
ctxIdxInc=N+Min(M、numDecodAbsLevelGt1) (9)
ここで、Mは、最初の位置ではない二進数にかかわる文脈索引の個数である。図17に図示された文脈基盤の二進算術符号化装置は、このように選択された文脈索引の確率分布を利用し、図17の二進化部1700または1740から出力されるデータに対して算術符号化を行う。算術符号化方法について、それぞれ0.2、0.4、0.3、0.1の確率値を有するS1、S2、S3、S4の4つのシンボルに対し、S1S3S2S4を算術符号化する場合を例にして説明する。まず、4つのシンボルの区間を確率分布によって0から1までの区間に初期化する。S1、S2、S3、S4の4つのシンボルそれぞれは、[0.0,0.2]、[0.2,0.6]、[0.6,0.9]、[0.9、1.0]の区間に初期化される。最初のシンボルS1について初期化された区間である[0.0,0.2]に全体区間が決定され、新しく決定された[0.0,0.2]区間のうち2番目のシンボルS3についての区間は、[0.12,0.18]区間になる。新しい区間である[0.12、0.18]区間のうち、3番目のシンボルS2についての区間は、[0.132,0.156]区間になり、新しい区間である[0.132,0.156]区間のうち最後のシンボルS4についての区間は、[0.1536,0.156]区間になる。従って、S1S3S2S4データは、最終決定された区間である[0.1536,0.156]区間に属する任意の値に符号化できる。例えば、二進算術符号化部1320は、S1S3S2S4を[0.1536,0.156]区間に属する0.154値に符号化できる。
図21A及び図21Bは、本発明の望ましい一実施形態による4:4:4映像のレジデュデータの効率的符号化/復号化のためのCBP(CodedBlockPattern)の符号化/復号化方法を図示した図である。
図21Aで、CBP(0)ないしCBP(3)は、輝度Y成分の関心ブロックそれぞれのCBP情報を意味し、CBP(4)ないしCBP(7)は、色差成分U(またはCb)の関心ブロックそれぞれのCBP情報を意味し、CBP(8)ないしCBP(11)は、色差成分V(またはCr)の関心ブロックそれぞれのCBP情報を意味する。図21Bは、図21Aの4:4:4形式映像のマクロブロックのCBPの構文要素であるcoded_block_patternの二進化を表したものである。結局、coded_block_patternの二進化値は、12ビットから構成され、0から4095までの値を有することができる。
まず、構文要素coded_block_patternは、輝度及び色差映像成分のCBP情報をいずれも含み、次の通り示すことができる。
CodedBlockPatternLuma=coded_block_pattern%16;
CodedBlockPatternChroma=coded_block_pattern/16;
CodedBlockPatternLuma=CBP(3)<<3+CBP(2)<<2+CBP(1)<<1+CBP(0);
CodedBlockPatternChroma=CodedBlockPatternChroma444[0]<<4+
CodedBlockPatternChroma444[1]; (10)
CodedBlockPatternChroma444[0]=CBP(7)<<3+CBP(6)<<2+CBP(5)<<1+CBP(4)
CodedBlockPatternChroma444[1]=CBP(11)<<3+CBP(10)<<2+CBP(9)<<1+CBP(8)
CodedBlockPatternChroma444[iCbCr](iCbCr==0,or 1)
ここで、CodedBlockPatternLumaは輝度成分のCBP情報を含み、CodedBlockPatternChromaは色差成分のCBP情報を含み、CodedBlockPatternChromaはさらに色差成分U(またはCb)及びV(またはCr)に対するCBP情報であるCodedBlockPatternChroma444[iCbCr](iCbCr==0である場合にU成分、iCbCr==1である場合にV成分)から構成されている。
I16x16以外の符号化モードの場合に、所定大きさの各ブロックの輝度成分のためのcoded_block_pattern構文要素のCBP情報の詳細な意味を図30に図示した。16x16モードの場合は、輝度成分のマクロブロックのCodedBlockPatternLumaの詳細な意味を図31に図示した。I16x16符号化モードの場合に映像が画素値の変化が激しくない部分のcoded_block_patternを示し、ブロック単位ではないマクロブロック内のあらゆるブロックに対して変換係数が0であるか否かを判断する情報を示す。
4:4:4映像で、I16x16以外の符号化モードの場合に、所定大きさの各ブロックの色差成分のためのcoded_block_pattern構文要素のCBP情報の詳細な意味を図32に図示した。16x16モードの場合は、輝度成分のマクロブロックのCodedBlockPatternLumaの詳細な意味を図33に図示した。I16x16符号化モードの場合に映像が画素値の変化が激しくない部分のcoded_block_patternを示し、ブロック単位ではないマクロブロック内のあらゆるブロックに対して変換係数が0であるか否かを判断する情報を示す。図32及び図33の色差成分のCBPは、単一符号化モードを使用する本発明の特性によって、図30及び図31の輝度成分のCBPと同じ意味を有するのが望ましい。
図22A及び図22Bは、本発明の望ましい一実施形態による4:4:4映像のレジデュデータの効率的符号化/復号化のためのCBP(Coded Block Pattern)の符号化/復号化方法を図示した図である。図22Aで、CBP(0)ないしCBP(3)は、第1関心成分である輝度Y成分の関心ブロックそれぞれのCBP情報を意味し、CBP(4)ないしCBP(7)は、第2関心成分である色差成分のU(またはCb)及びV(またはCr)間で、互いに同じ位相を有する所定大きさのブロック単位のCBP情報を意味する。図22Bは、図22Aの4:4:4形式映像のマクロブロックのCBPの構文要素であるcoded_block_patternの二進化を表したものである。結局、coded_block_patternの二進化値は、8ビットから構成され、0から255までの値を有することができる。
まず、構文要素coded_block_patternは、輝度及び色差映像成分のCBP情報をいずれも含み、次の通り示すことができる。
CodedBlockPatternLuma=coded_block_pattern % 16;
CodedBlockPatternChroma=coded_block_pattern/16;
CodedBlockPatternLuma=CBP(3)<<3+CBP(2)<<2+CBP(1)<<1+CBP(0); (11)
CodedBlockPatternChroma=CBP(7)<<3+CBP(6)<<2+CBP(5)<<1+CBP(4);
ここで、CodedBlockPatternLumaは、輝度成分のCBP情報を含み、CodedBlockPatternChromaは、色差成分のCBP情報を含む。
I16x16以外の符号化モードの場合に、所定大きさの各ブロックの輝度成分のためのcoded_block_pattern構文要素のCBP情報の詳細な意味は、前記図21A及び図21Bで説明した通り、図30に表で図示されている通りである。I16x16モードの場合に、輝度成分のマクロブロックのCodedBlockPatternLumaの詳細な意味は、図21A及び図21Bで説明した通り、図31に図示した通りである。
4:4:4映像で、I16x16以外の符号化モードの場合、所定大きさの各ブロックの色差成分のためのcoded_block_pattern構文要素のCBP情報の詳細な意味を、図34に図示した。I16x16モードの場合は、輝度成分のマクロブロックのCodedBlockPatternLumaの前記図21A及び図21Bで説明した通り、図33に表で図示した通りである。色差情報のためのCBP情報は、単一符号化モードを使用する本発明の特性によって、輝度成分のCBP情報のような意味を有することが望ましい。
図23A、図23Bは、本発明の望ましい一実施形態による4:4:4映像のレジデュデータの効率的符号化/復号化のためのCBP(CodedBlockPattern)の符号化/復号化方法の他の例を図示した図である。
図23Aで、CBP(0)ないしCBP(3)は、輝度Y成分と色差成分U(またはCb)及びV(またはCr)とを含んだあらゆる映像成分それぞれに対して同じ位相を有する所定大きさのブロック単位でのCBP情報を示す。図23Bは、図22Aの4:4:4形式映像のマクロブロックのCBPの構文要素であるcoded_block_patternの二進化を表したものである。結局、coded_block_patternの二進化値は、4ビットから構成され、0から15までの値を有することができる。
まず、構文要素coded_block_patternは、輝度及び色差映像成分のCBP情報をいずれも含み、次の通り示すことができる。
CodedBlockPatternLuma=coded_block_pattern;
CodedBlockPatternLuma=CBP(3)<<3+CBP(2)<<2+CBP(1)<<1+CBP(0); (12)
ここで、CodedBlockPatternLumaは、あらゆる輝度及び色差成分の同一位相のCBP情報を含む。
I16x16以外の符号化モードの場合に、所定大きさの各ブロックの輝度及び色差成分のためのcoded_block_pattern構文要素のCBP情報の詳細な意味を図35に図示した。I16x16モードの場合は、輝度及び色差成分のためのマクロブロックのCodedBlockPatternLumaの詳細な意味を図36に図示した。
図24は、ブロックデータの文脈索引情報を得るための空間上の2つの隣接ブロックを図示した図である。一般的に、現在ブロックの文脈索引情報を得るために、空間上で左−上に隣接したブロックから得た文脈索引情報を利用し、符号化効率を高める。
本発明は、コンピュータで読み取り可能な記録媒体にコンピュータ(情報処理機能を有する装置をいずれも含む)で読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録装置の例としては、ROM(リード オンリ メモリ)、RAM(ランダム アクセス メモリ)、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ保存装置などがある。
本発明は、図面に図示された実施形態を参考に説明されたが、それらは例示的なものに過ぎず、本技術分野の当業者ならば、それらから多様な変形及び均等な他実施形態が可能であるという点を理解することができるであろう。従って、本発明の真の技術的保護範囲は、登録請求の範囲の技術的思想によって決まるものである。
100:空間上予測映像生成部
120:時間上予測映像生成部
140:符号化モード選択部
160:単一モード予測映像生成部
142:空間上ビット量/画質歪曲計算部
144:時間上ビット量/画質歪曲計算部
146:性能比較部

Claims (14)

  1. 映像符号化装置により実行される映像符号化方法であって、
    (a)前記映像符号化装置の予測映像生成手段が、少なくとも2種以上の映像成分からなる現在映像で、前記映像成分それぞれに対して同じ符号化モードを適用して、前記現在映像に対する予測映像を生成する段階と、
    (b)前記映像符号化装置の生成手段が、前記現在映像と前記生成された予測映像との残差を生成する段階と、
    (c)前記映像符号化装置の符号化手段が、前記生成された残差を符号化することにより、ビットストリームを生成する段階と、
    を含むことを特徴とする映像符号化方法。
  2. 前記(a)段階は、
    (a1)前記映像成分それぞれに対して同じ予測方向を適用して、前記現在映像に対する空間上予測映像を生成する段階と、
    (a2)前記映像成分それぞれに対して同じブロック単位で同じ動きベクトル及び同じ動き補間方法を適用して、前記現在映像に対する時間上予測映像を生成する段階と、
    (a3)前記生成された空間上予測映像と前記生成された時間上予測映像とを利用して、符号化モードを選択する段階と、
    (a4)前記選択された符号化モードを前記現在映像の映像成分それぞれに同一に適用して、前記現在映像に対する予測映像を生成する段階と、
    を含むことを特徴とする請求項1記載の映像符号化方法。
  3. 前記(a3)段階は、
    前記空間上予測映像と前記時間上予測映像とに対してそれぞれビット量と画質の歪曲とを計算し、前記計算された2つの値を合わせた値が最小値に該当する符号化モードを選択する、
    ことを特徴とする請求項2記載の映像符号化方法。
  4. コンピュータに、
    少なくとも2種以上の映像成分からなる現在映像で、前記映像成分それぞれに対して同じ符号化モードを適用し、前記現在映像に対する予測映像を生成する段階と、
    前記現在映像と前記生成された予測映像との残差を生成する段階と、
    前記生成された残差を符号化することにより、ビットストリームを生成する段階と、
    を含む映像符号化方法を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
  5. 少なくとも2種以上の映像成分からなる現在映像で、前記映像成分それぞれに対して同じ符号化モードを適用して、前記現在映像に対する予測映像を生成する予測映像生成手段と、
    前記現在映像と前記生成された予測映像との残差を生成する生成手段と、
    前記残差を符号化することにより、ビットストリームを生成する符号化手段と、
    を備えることを特徴とする映像符号化装置。
  6. 前記予測映像生成手段は、
    前記映像成分それぞれに対して同じ予測方向を適用して、前記現在映像に対する空間上予測映像を生成する空間上予測映像生成手段と、
    前記映像成分それぞれに対して同じブロック単位で同じ動きベクトル及び動き補間方法を適用して、前記現在映像に対する時間上予測映像を生成する時間上予測映像生成手段と、
    前記生成された空間上予測映像と前記生成された時間上予測映像とを利用して、符号化モードを選択する符号化モード選択手段と、
    前記選択された符号化モードを前記現在映像の映像成分それぞれに同一に適用して予測映像を生成する単一モード予測映像生成手段と、
    を備えることを特徴とする請求項5記載の映像符号化装置。
  7. 前記符号化モード選択手段は、
    イントラ方式での符号化モードそれぞれで、前記空間上予測映像に対するビット量と画質の歪曲とを計算する空間上ビット量/画質歪曲計算手段と、
    インター方式での符号化モードそれぞれで、前記時間上予測映像に対するビット量と画質の歪曲とを計算する時間上ビット量/画質歪曲計算手段と、
    前記計算されたビット量と画質歪曲とを合わせた値を比較して、前記イントラ方式での符号化モード及び前記インター方式での符号化モードのうち、前記合わせた値が最小値に該当する符号化モードを選択する性能比較手段と、
    を備えることを特徴とする請求項6記載の映像符号化装置。
  8. 映像復号化装置により実行される映像復号化方法であって、
    (a)前記映像復号化装置のデータ復元手段が、ビットストリームから少なくとも2種以上の映像成分からなる現在映像と予測映像との残差を復元する段階と、
    (b)前記映像復号化装置の予測補償手段が、前記復元された残差に、同じ符号化モードを適用して生成された予測映像を加えて、前記現在映像を復元する段階と、
    を含むことを特徴とする映像復号化方法。
  9. 前記(b)段階は、
    (b1)前記復元された残差がイントラ方式で符号化された場合、前記映像成分それぞれに対して同じ予測方向を適用し、前記現在映像の所定大きさのブロックに空間的に隣接した復元映像の画素から生成された予測映像を前記復元された残差に加えて、前記現在映像を復元する段階と、
    (b2)前記復元された残差がインター方式で符号化された場合、前記映像成分それぞれに対して同じブロック単位で同じ動きベクトル及び同じ動き補間方法を適用し、復元映像と前記現在映像との間の動き推定から生成された予測映像を前記復元された残差に加えて、前記現在映像を復元する段階と、
    を含むことを特徴とする請求項8記載の映像復号化方法。
  10. 前記(a)段階は、ビットストリームに対してエントロピー復号化された結果を、所定大きさのブロック単位で逆量子化及び逆変換することにより、前記映像成分それぞれの残差を復元し、
    前記(b)段階は、前記復元された映像成分それぞれの残差に、同じ符号化モードを適用して生成された予測映像を加えることにより映像を復元する、
    ことを特徴とする請求項8記載の映像復号化方法。
  11. コンピュータに、
    ビットストリームから少なくとも2種以上の映像成分からなる現在映像と予測映像との残差を復元する段階と、
    前記復元された残差に、同じ符号化モードを適用して生成された予測映像を加えて、前記現在映像を復元する段階と、
    を含む映像復号化方法を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
  12. ビットストリームから少なくとも2種以上の映像成分からなる現在映像と予測映像との残差を復元するデータ復元手段と、
    前記復元された残差に、同じ符号化モードを適用して生成された予測映像を加えることにより、前記現在映像を復元する予測補償手段と、
    を備えることを特徴とする映像復号化装置。
  13. 前記予測補償手段は、
    前記復元された残差がイントラ方式で符号化された場合、前記映像成分それぞれに対して同じ予測方向を適用し、前記現在映像の所定大きさのブロックに空間的に隣接した復元映像の画素から生成された予測映像を前記復元された残差に加えて、前記現在映像を復元する空間上予測補償手段と、
    前記復元された残差がインター方式で符号化された場合、前記映像成分それぞれに対して同じブロック単位で同じ動きベクトル及び同じ動き補間方法を適用し、復元映像と前記現在映像との間の動き推定から生成された予測映像を前記復元された残差に加えて、前記現在映像を復元する時間上予測補償手段と、
    を備えることを特徴とする請求項12記載の映像復号化装置。
  14. 前記データ復元手段は、ビットストリームに対してエントロピー復号化された結果を、所定大きさブロック単位で逆量子化及び逆変換することにより、前記映像成分それぞれの残差を復元し、
    前記予測補償手段は、前記復元された映像成分それぞれの残差に、同じ符号化モードを適用して生成された予測映像を加えることにより、前記現在映像を復元する、
    ことを特徴とする請求項12記載の映像復号化装置。
JP2011087682A 2005-11-14 2011-04-11 単一符号化モードを利用した映像符号化/復号化方法及び装置 Active JP5512587B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US73581405P 2005-11-14 2005-11-14
US60/735,814 2005-11-14
KR10-2006-0049079 2006-05-30
KR20060049079 2006-05-30
KR10-2006-0110225 2006-11-08
KR1020060110225A KR100873636B1 (ko) 2005-11-14 2006-11-08 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2008539940A Division JP5296547B2 (ja) 2005-11-14 2006-11-14 単一符号化モードを利用する映像符号化/復号化方法及び装置

Publications (2)

Publication Number Publication Date
JP2011160469A true JP2011160469A (ja) 2011-08-18
JP5512587B2 JP5512587B2 (ja) 2014-06-04

Family

ID=38023491

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2008539940A Active JP5296547B2 (ja) 2005-11-14 2006-11-14 単一符号化モードを利用する映像符号化/復号化方法及び装置
JP2011087682A Active JP5512587B2 (ja) 2005-11-14 2011-04-11 単一符号化モードを利用した映像符号化/復号化方法及び装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2008539940A Active JP5296547B2 (ja) 2005-11-14 2006-11-14 単一符号化モードを利用する映像符号化/復号化方法及び装置

Country Status (5)

Country Link
US (6) US8934541B2 (ja)
EP (3) EP2293580A1 (ja)
JP (2) JP5296547B2 (ja)
KR (1) KR100873636B1 (ja)
WO (1) WO2007055552A1 (ja)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1538844A3 (en) * 2003-11-26 2006-05-31 Samsung Electronics Co., Ltd. Color image residue transformation and encoding method
KR100647294B1 (ko) * 2004-11-09 2006-11-23 삼성전자주식회사 화상 데이터 부호화 및 복호화 방법 및 장치
KR101261525B1 (ko) * 2005-07-15 2013-05-06 삼성전자주식회사 영상 부호화 및 복호화 방법과 장치
US7903306B2 (en) * 2005-07-22 2011-03-08 Samsung Electronics Co., Ltd. Sensor image encoding and/or decoding system, medium, and method
KR100873636B1 (ko) 2005-11-14 2008-12-12 삼성전자주식회사 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치
CN101529921B (zh) * 2006-10-18 2013-07-03 汤姆森特许公司 无显式信令的局部照明和色彩补偿
US8467449B2 (en) * 2007-01-08 2013-06-18 Qualcomm Incorporated CAVLC enhancements for SVC CGS enhancement layer coding
US8711926B2 (en) * 2007-02-08 2014-04-29 Qualcomm Incorporated Distortion estimation for quantized data
KR101539240B1 (ko) * 2007-06-14 2015-07-30 삼성전자주식회사 영상 데이터의 엔트로피 부호화, 복호화 방법 및 장치
JP2009094828A (ja) 2007-10-10 2009-04-30 Hitachi Ltd 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法
WO2009073415A2 (en) 2007-11-30 2009-06-11 Dolby Laboratories Licensing Corporation Temporal image prediction
KR101361005B1 (ko) 2008-06-24 2014-02-13 에스케이 텔레콤주식회사 인트라 예측 방법 및 장치와 그를 이용한 영상부호화/복호화 방법 및 장치
EP2312856A4 (en) * 2008-07-10 2011-12-28 Mitsubishi Electric Corp IMAGE ENCRYPTION DEVICE, IMAGE KEYING DEVICE, IMAGE ENCRYPTION METHOD AND IMAGE KEYING PROCESS
KR101549823B1 (ko) * 2008-09-02 2015-09-04 삼성전자주식회사 적응적 이진화를 이용한 영상 부호화, 복호화 방법 및 장치
CN102246526B (zh) * 2008-12-10 2014-10-29 株式会社日立制作所 运动图像解码方法以及装置、运动图像编码方法以及装置
JP2010278668A (ja) * 2009-05-27 2010-12-09 Sony Corp 符号化装置及び符号化方法、並びに復号装置及び復号方法
EP2312854A1 (de) * 2009-10-15 2011-04-20 Siemens Aktiengesellschaft Verfahren zur Codierung von Symbolen aus einer Folge digitalisierter Bilder
KR20110112168A (ko) * 2010-04-05 2011-10-12 삼성전자주식회사 내부 비트뎁스 확장에 기반한 비디오 부호화 방법 및 그 장치, 내부 비트뎁스 확장에 기반한 비디오 복호화 방법 및 그 장치
US9369736B2 (en) 2010-04-05 2016-06-14 Samsung Electronics Co., Ltd. Low complexity entropy-encoding/decoding method and apparatus
CN105611304B (zh) * 2010-04-09 2019-06-11 Lg电子株式会社 处理视频数据的方法和装置
KR20110113561A (ko) * 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
CN105120287B (zh) 2010-04-13 2019-05-17 Ge 视频压缩有限责任公司 解码器、编码器以及用于解码和编码的方法
CN106162171B (zh) 2010-04-13 2020-09-11 Ge视频压缩有限责任公司 解码器及方法、编码方法
HUE045579T2 (hu) 2010-04-13 2020-01-28 Ge Video Compression Llc Síkközi predikció
CN113556556A (zh) * 2010-04-13 2021-10-26 Ge视频压缩有限责任公司 显著性图和变换系数块的编码
BR112012026391B1 (pt) 2010-04-13 2020-12-15 Ge Video Compression, Llc Herança em amostra de arranjo em subdivisão multitree
KR20120035096A (ko) * 2010-10-04 2012-04-13 한국전자통신연구원 쿼드 트리 변환 구조에서 부가 정보의 시그널링 방법 및 장치
CN103262534B (zh) * 2010-10-14 2018-05-22 汤姆逊许可公司 改进熵编码和解码的方法及装置
US8378861B2 (en) * 2010-11-29 2013-02-19 Arm Limited Storage of probability values for contexts used in arithmetic coding
JP5592246B2 (ja) * 2010-12-21 2014-09-17 日本電信電話株式会社 コンテクスト適応エントロピー符号化方法,コンテクスト適応エントロピー復号方法,コンテクスト適応エントロピー符号化装置,コンテクスト適応エントロピー復号装置およびそれらのプログラム
US9479784B2 (en) * 2011-01-06 2016-10-25 Samsung Electronics Co., Ltd. Encoding method and device of video using data unit of hierarchical structure, and decoding method and device thereof
BR112013014371B8 (pt) 2011-01-07 2022-05-24 Hfi Innovation Inc Método e aparelho de codificação aperfeiçoada de modo de predição intra crominância
US8755620B2 (en) 2011-01-12 2014-06-17 Panasonic Corporation Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus for performing arithmetic coding and/or arithmetic decoding
CN103404035B (zh) * 2011-01-14 2017-05-10 Ge视频压缩有限责任公司 熵编码及解码方案
US8687904B2 (en) * 2011-01-14 2014-04-01 Panasonic Corporation Image coding method, image coding apparatus, image decoding method, image decoding apparatus, and image coding and decoding apparatus which include arithmetic coding or arithmetic decoding
US9565449B2 (en) 2011-03-10 2017-02-07 Qualcomm Incorporated Coding multiview video plus depth content
US20120236934A1 (en) * 2011-03-18 2012-09-20 Qualcomm Incorporated Signaling of multiview video plus depth content with a block-level 4-component structure
US9154804B2 (en) * 2011-06-04 2015-10-06 Apple Inc. Hint based adaptive encoding
LT3343781T (lt) 2011-06-16 2022-03-10 Ge Video Compression, Llc Konteksto inicijavimas entropinio kodavimo metu
CN105357540B (zh) * 2011-06-28 2019-09-06 三星电子株式会社 对视频进行解码的方法
MY164252A (en) 2011-07-01 2017-11-30 Samsung Electronics Co Ltd Method and apparatus for entropy encoding using hierarchical data unit, and method and apparatus for decoding
UA114674C2 (uk) 2011-07-15 2017-07-10 ДЖ.І. ВІДІЕУ КЕМПРЕШН, ЛЛСі Ініціалізація контексту в ентропійному кодуванні
CN107465934B (zh) * 2011-10-31 2020-06-26 三星电子株式会社 确定上下文模型的方法
US9807401B2 (en) * 2011-11-01 2017-10-31 Qualcomm Incorporated Transform unit partitioning for chroma components in video coding
US8964849B2 (en) 2011-11-01 2015-02-24 Blackberry Limited Multi-level significance maps for encoding and decoding
US9484952B2 (en) 2011-11-03 2016-11-01 Qualcomm Incorporated Context state and probability initialization for context adaptive entropy coding
KR102107643B1 (ko) * 2011-11-07 2020-05-08 타지반 투 엘엘씨 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 및 화상 부호화 복호 장치
CA2773990C (en) * 2011-11-19 2015-06-30 Research In Motion Limited Multi-level significance map scanning
US9253481B2 (en) * 2012-01-13 2016-02-02 Qualcomm Incorporated Determining contexts for coding transform coefficient data in video coding
CN103460701B (zh) 2012-01-20 2017-06-09 索尼公司 有效度图编码的复杂度降低
WO2013152736A1 (en) * 2012-04-12 2013-10-17 Mediatek Singapore Pte. Ltd. Method and apparatus for block partition of chroma subsampling formats
EP2858367B1 (en) * 2012-04-26 2018-12-05 Sony Corporation Predictive video coding with sub-pixel accuracy for different colour sampling formats
KR102167095B1 (ko) 2012-07-02 2020-10-16 엘지전자 주식회사 영상 정보 코딩 방법 및 이를 이용하는 장치
US10333547B2 (en) * 2012-08-13 2019-06-25 Gurologic Microsystems Oy Encoder and method for encoding input data using a plurality of different transformations or combinations of transformations
US9538175B2 (en) * 2012-09-26 2017-01-03 Qualcomm Incorporated Context derivation for context-adaptive, multi-level significance coding
FR2996093A1 (fr) * 2012-09-27 2014-03-28 France Telecom Procede de codage et decodage d'images, dispositifs de codage et decodage et programmes d'ordinateur correspondants
WO2014051080A1 (ja) * 2012-09-28 2014-04-03 三菱電機株式会社 カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法
US9979960B2 (en) 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
CA3050482C (en) * 2013-11-14 2021-02-16 Hfi Innovation Inc. Method of video coding using prediction based on intra picture block copy
JP2017509268A (ja) 2013-12-22 2017-03-30 エルジー エレクトロニクス インコーポレイティド 量子化エラーの追加的な制御を利用したビデオ信号のエンコード、デコード方法及び装置
US9854201B2 (en) 2015-01-16 2017-12-26 Microsoft Technology Licensing, Llc Dynamically updating quality to higher chroma sampling rate
US9749646B2 (en) * 2015-01-16 2017-08-29 Microsoft Technology Licensing, Llc Encoding/decoding of high chroma resolution details
CN104754333B (zh) * 2015-03-09 2016-03-02 湖南国科微电子股份有限公司 一种用于监控场景的运动预估计方法
US10142652B2 (en) * 2016-05-05 2018-11-27 Google Llc Entropy coding motion vector residuals obtained using reference motion vectors
US9712830B1 (en) 2016-09-15 2017-07-18 Dropbox, Inc. Techniques for image recompression
US10368080B2 (en) 2016-10-21 2019-07-30 Microsoft Technology Licensing, Llc Selective upsampling or refresh of chroma sample values
US10194147B2 (en) * 2017-01-19 2019-01-29 Google Llc DC coefficient sign coding scheme
US10791341B2 (en) * 2017-10-10 2020-09-29 Qualcomm Incorporated Binary arithmetic coding with progressive modification of adaptation parameters
JP6693938B2 (ja) * 2017-11-17 2020-05-13 ファナック株式会社 外観検査装置
US11115660B2 (en) * 2018-04-30 2021-09-07 Mediatek Inc. Method and apparatus of syntax interleaving for separate coding tree in video coding
KR20210018254A (ko) * 2018-06-06 2021-02-17 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 삼차원 데이터 부호화 방법, 삼차원 데이터 복호 방법, 삼차원 데이터 부호화 장치, 및 삼차원 데이터 복호 장치
KR20200060282A (ko) 2018-11-21 2020-05-29 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN109996068A (zh) * 2019-04-12 2019-07-09 中国科学技术大学 一种视频运动信息编码方法及装置
US11683514B2 (en) * 2020-12-22 2023-06-20 Tencent America LLC Method and apparatus for video coding for machine

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0385881A (ja) * 1989-08-30 1991-04-11 Hitachi Ltd 帯域分割伝送方式
JPH08336161A (ja) * 1995-06-06 1996-12-17 Sony United Kingdom Ltd ビデオ圧縮方法及び装置
JPH09214976A (ja) * 1996-02-02 1997-08-15 Sony Corp 静止画像データ生成装置および静止画像データ生成方法
JP2005175885A (ja) * 2003-12-11 2005-06-30 Matsushita Electric Ind Co Ltd 映像信号符号化方法、映像信号符号化装置、映像信号復号装置及び映像信号記録媒体
JP2005191706A (ja) * 2003-12-24 2005-07-14 Toshiba Corp 動画像符号化方法及びその装置
WO2005074298A1 (en) * 2004-01-31 2005-08-11 Samsung Electronics Co., Ltd. Method and apparatus for scalable video coding and decoding

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5122873A (en) 1987-10-05 1992-06-16 Intel Corporation Method and apparatus for selectively encoding and decoding a digital motion video signal at multiple resolution levels
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
GB9622725D0 (en) * 1996-10-31 1997-01-08 Sgs Thomson Microelectronics A method and circuitry for compressing and decompressing digital data
JP3732684B2 (ja) * 1999-08-13 2006-01-05 日本電信電話株式会社 カラー画像の符号化装置及び方法、カラー画像の復号化装置及び方法
JP2001095012A (ja) * 1999-09-21 2001-04-06 Sony Corp 撮像装置及びカラー画像信号の処理方法
JP3975629B2 (ja) * 1999-12-16 2007-09-12 ソニー株式会社 画像復号装置及び画像復号方法
US6856701B2 (en) * 2001-09-14 2005-02-15 Nokia Corporation Method and system for context-based adaptive binary arithmetic coding
JP3823813B2 (ja) * 2001-11-27 2006-09-20 ソニー株式会社 画像圧縮符号化装置、輝度信号変換方法、輝度信号変換プログラム、並びに記録媒体
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
KR100454501B1 (ko) 2001-12-26 2004-10-28 브이케이 주식회사 영상신호를 부호화 또는 복호화하기 위한 예측 장치 및 방법
CN100566420C (zh) * 2002-07-15 2009-12-02 株式会社日立制作所 动态图像的编码方法
JP2004222027A (ja) 2003-01-16 2004-08-05 Matsushita Electric Ind Co Ltd 画像符号化装置および方法、ならびに画像復号化装置および方法
EP1478189A3 (en) 2003-05-16 2004-12-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image using image residue prediction
KR100718121B1 (ko) * 2003-05-16 2007-05-15 삼성전자주식회사 영상의 레지듀 예측을 이용한 영상 부호화/복호화 방법 및장치
US7646815B2 (en) * 2003-07-15 2010-01-12 Lsi Corporation Intra estimation chroma mode 0 sub-block dependent prediction
KR100718122B1 (ko) * 2003-07-16 2007-05-15 삼성전자주식회사 컬러 평면 간 예측을 이용한 무손실 영상 부호화/복호화방법 및 장치
EP1507415A3 (en) * 2003-07-16 2005-05-04 Samsung Electronics Co., Ltd. Video encoding/decoding apparatus and method for color image
US7333544B2 (en) 2003-07-16 2008-02-19 Samsung Electronics Co., Ltd. Lossless image encoding/decoding method and apparatus using inter-color plane prediction
JP4617644B2 (ja) 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
EP1515561B1 (en) * 2003-09-09 2007-11-21 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for 3-D sub-band video coding
KR100987765B1 (ko) * 2003-09-30 2010-10-13 삼성전자주식회사 동영상 부호화기에서의 예측 수행 방법 및 장치
KR100647297B1 (ko) * 2003-11-26 2006-11-23 삼성전자주식회사 컬러영상의 레지듀변환/역변환 방법 및 장치, 그를 이용한컬러영상 부호화/ 복호화 방법 및 장치
EP1538844A3 (en) 2003-11-26 2006-05-31 Samsung Electronics Co., Ltd. Color image residue transformation and encoding method
US7830959B2 (en) 2003-12-26 2010-11-09 Electronics And Telecommunications Research Institute Apparatus and method for performing intra prediction for image decoder
EP1558039A1 (en) * 2004-01-21 2005-07-27 Deutsche Thomson-Brandt Gmbh Method and apparatus for generating/evaluating prediction information in picture signal encoding/decoding
US8731054B2 (en) * 2004-05-04 2014-05-20 Qualcomm Incorporated Method and apparatus for weighted prediction in predictive frames
KR100627329B1 (ko) 2004-08-19 2006-09-25 전자부품연구원 H.264 비디오 코덱을 위한 적응형 움직임 예측 및 모드결정 장치 및 그 방법
KR100587698B1 (ko) * 2004-10-22 2006-06-08 주식회사 휴맥스 선택적 예측 부호화/복호화 방법 및 장치
KR100723403B1 (ko) 2005-02-28 2007-05-30 삼성전자주식회사 컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 방법 및 장치와, 그를 이용한 영상 및 비디오 부호화/복호화방법 및 장치
JP4050754B2 (ja) * 2005-03-23 2008-02-20 株式会社東芝 ビデオエンコーダ及び動画像信号の符号化方法
US20060227876A1 (en) * 2005-03-29 2006-10-12 Bhaskar Sherigar System, method, and apparatus for AC coefficient prediction
US7684491B2 (en) * 2005-03-31 2010-03-23 Intel Corporation Reference data buffer for intra-prediction of digital video
KR101246915B1 (ko) 2005-04-18 2013-03-25 삼성전자주식회사 동영상 부호화 또는 복호화 방법 및 장치
KR100873636B1 (ko) 2005-11-14 2008-12-12 삼성전자주식회사 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0385881A (ja) * 1989-08-30 1991-04-11 Hitachi Ltd 帯域分割伝送方式
JPH08336161A (ja) * 1995-06-06 1996-12-17 Sony United Kingdom Ltd ビデオ圧縮方法及び装置
JPH09214976A (ja) * 1996-02-02 1997-08-15 Sony Corp 静止画像データ生成装置および静止画像データ生成方法
JP2005175885A (ja) * 2003-12-11 2005-06-30 Matsushita Electric Ind Co Ltd 映像信号符号化方法、映像信号符号化装置、映像信号復号装置及び映像信号記録媒体
JP2005191706A (ja) * 2003-12-24 2005-07-14 Toshiba Corp 動画像符号化方法及びその装置
WO2005074298A1 (en) * 2004-01-31 2005-08-11 Samsung Electronics Co., Ltd. Method and apparatus for scalable video coding and decoding
JP2007520150A (ja) * 2004-01-31 2007-07-19 サムスン エレクトロニクス カンパニー リミテッド スケーラブルビデオコーディング方法およびデコーディング方法とそのための装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JPN6013002388; Haoping Yu(外1名): 'Advanced 4:4:4 Profile for MPEG4-Part10/H.264' JVT-P017.doc , 20050721, p.1-22, Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCE *
JPN6013002390; Thomas Wedi (外2名): 'Intra only 4:4:4 coding for H.264/AVC FRExt' JVT-P088.doc , 20050721, p.1-11, Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCE *
JPN6013002393; Woo-Shik Kim (外2名): 'Color Format Extension' JVT-H018.doc , 20030523, p.1-17, Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCE *

Also Published As

Publication number Publication date
US9674541B2 (en) 2017-06-06
US20150189252A1 (en) 2015-07-02
WO2007055552A1 (en) 2007-05-18
EP1949704A4 (en) 2010-12-29
US20150189251A1 (en) 2015-07-02
US9565445B2 (en) 2017-02-07
KR100873636B1 (ko) 2008-12-12
US9497474B2 (en) 2016-11-15
US20150036925A1 (en) 2015-02-05
JP5296547B2 (ja) 2013-09-25
US20170134705A9 (en) 2017-05-11
US20170180697A9 (en) 2017-06-22
EP2293580A1 (en) 2011-03-09
US10455210B2 (en) 2019-10-22
KR20070051681A (ko) 2007-05-18
US20150249836A1 (en) 2015-09-03
US8934541B2 (en) 2015-01-13
US9877007B2 (en) 2018-01-23
US20070110153A1 (en) 2007-05-17
JP5512587B2 (ja) 2014-06-04
EP1949704A1 (en) 2008-07-30
EP2296383A1 (en) 2011-03-16
JP2009516417A (ja) 2009-04-16
US20180139430A1 (en) 2018-05-17

Similar Documents

Publication Publication Date Title
JP5512587B2 (ja) 単一符号化モードを利用した映像符号化/復号化方法及び装置
JP7129958B2 (ja) 動画像符号化データ
KR100723403B1 (ko) 컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 방법 및 장치와, 그를 이용한 영상 및 비디오 부호화/복호화방법 및 장치
JP2014158305A (ja) 予測映像の生成方法、装置及び記録媒体
JP2017055444A (ja) データ符号化及び復号化
KR101973568B1 (ko) 영상 변환 부호화/복호화 방법 및 장치
KR101362755B1 (ko) 센서영상 부호화 및 복호화장치와 그 방법
KR101681301B1 (ko) 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치
JP7351003B2 (ja) 変換スキップ及びパレットコーディング関連情報のシグナリングベースの映像又はビデオコーディング
JP2023027401A (ja) 復号装置、プログラム、及び復号方法
KR20140004018A (ko) 양자화 행렬의 부호화 방법 및 복호화 방법과 이를 이용하는 장치
KR20200040192A (ko) 양자화된 변환 계수들의 부호화 및 복호화를 위한 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120329

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130122

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130422

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130425

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130522

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130527

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130624

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140326

R150 Certificate of patent or registration of utility model

Ref document number: 5512587

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250