JP2005253088A - グレイアルファチャンネルを含んだ映像の符号化／復号化装置および方法 - Google Patents

グレイアルファチャンネルを含んだ映像の符号化／復号化装置および方法 Download PDF

Info

Publication number
JP2005253088A
JP2005253088A JP2005062158A JP2005062158A JP2005253088A JP 2005253088 A JP2005253088 A JP 2005253088A JP 2005062158 A JP2005062158 A JP 2005062158A JP 2005062158 A JP2005062158 A JP 2005062158A JP 2005253088 A JP2005253088 A JP 2005253088A
Authority
JP
Japan
Prior art keywords
gray
encoding
prediction error
block
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005062158A
Other languages
English (en)
Other versions
JP4955216B2 (ja
Inventor
Daisei Cho
趙　大　星
Hyun-Mun Kim
鉉 文 金
Wooshik Kim
祐 ▼提▲ 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020050010855A external-priority patent/KR100682929B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2005253088A publication Critical patent/JP2005253088A/ja
Application granted granted Critical
Publication of JP4955216B2 publication Critical patent/JP4955216B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/21—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with binary alpha-plane coding for video objects, e.g. context-based arithmetic encoding [CAE]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

【課題】グレイアルファチャンネルを含む映像符号化／復号化装置および方法を提供する。
【解決手段】画像データのブロックに含まれたグレイアルファ成分の値に応じて各ブロックを前景領域と背景領域の何れかに分類するブロックデータ受信部と、前景領域に含まれるブロックのグレイアルファ成分と輝度および色度成分とを順次符号化する前景領域符号化部と、背景領域に含まれるブロックのグレイアルファ成分を符号化する背景領域符号化部とを備えるグレイアルファチャンネルを含む映像の符号化装置。並びに、ビット列をブロック単位で解釈し、解釈結果によって各ブロックを前景領域と背景領域の何れかに分類するビット列解釈部とを備えた、グレイアルファチャンネルを含む映像の復号化装置。
【選択図】 図１Ａ

Description

本発明は、映像の符号化および復号化に関し、より詳細にはグレイアルファチャンネルを含む映像を符号化および復号化するための装置および方法に関する。
グレイアルファチャンネルを含む映像は、一般映像で特定領域を選択できるようにマスクを提供する役割を果たす。ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ビデオ符号化の国際標準（非特許文献１）では、映像を物体単位で符号化できる方法を提供するが、このとき、物体単位で区分するために形状情報を別途符号化する。この形状情報は、グレイアルファチャンネルを含む映像と同様に使用される。しかし、ＭＰＥＧ−４では、一般映像を符号化する方法とは異なる方法で形状情報を符号化するため、グレイアルファチャンネルを含む映像の符号化装置を実現することが容易でなく、その計算量が多く、リアルタイムで処理することが困難である。
近年、標準化が進められつつあるＩＳＯ／ＩＥＣ ＭＰＥＧおよびＩＴＵ−Ｔ ＶＣＥＧのＪＶＴ（Joint Video Team）のＨ．２６４／ＭＰＥＧ−４ ｐｔ．１０ ＡＶＣ標準化技術（非特許文献２）では、多様な方法で空間上および時間上に予測符号化を行って一般的な映像の符号化効率を大きく向上させている。また、整数変換符号化という改善された機能を使用し、エントロピー符号化もＣＡＢＡＣ（Context Adaptive Binary Arithmetic Coding）を使用して効率を向上させている。しかし、グレイアルファチャンネルを含む映像を処理する方法については提供されていない。
Text of ＩＳＯ／ＩＥＣ ＦＤＩＳ 14496-2：Information Technology-Generic coding of audio-visual objects-Part 2：Visual Text of ＩＳＯ／ＩＥＣ ＦＤＩＳ 14496-10：Information Technology-Coding of audio-visual objects-Part 10：Advanced Video Coding、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ ２９／ＷＧ １１、Ｎ５５５５、March 2003
本発明が解決しようとする技術的課題は、グレイアルファチャンネルを含む映像を符号化および／あるいは復号化するための装置および方法を提供することである。
前記課題を解決するための本発明に係るグレイアルファチャンネルを含む映像の符号化装置は、グレイアルファ成分と輝度および色度成分とを含む画像データを一定のブロック単位で符号化するために、現行のブロックの画像データを受信し、前記ブロックに含まれたグレイアルファ成分の値に応じて、各ブロックを前景領域と背景領域の何れかに分類するブロックデータ受信部と、前記前景領域に含まれるブロックのグレイアルファ成分と輝度および色度成分に対して順次符号化を行う前景領域符号化部と、前記背景領域に含まれるブロックのグレイアルファ成分に対して符号化を行う背景領域符号化部と、を備えることを特徴とする。
前記課題を解決するための本発明に係るグレイアルファチャンネルを含む映像の符号化方法は、グレイアルファ成分と輝度および色度成分とを含む画像データを一定のブロック単位で符号化するために、ブロックに含まれたグレイアルファ成分の値に応じて、各ブロックを前景領域と背景領域の何れかに分類する段階と、前記前景領域に含まれるブロックのグレイアルファ成分と輝度および色度成分に対して順次に符号化を行う段階と、前記背景領域に含まれるブロックのグレイアルファ成分に対して符号化を行う段階と、を含むことを特徴とする。
前記課題を解決するための本発明に係るグレイアルファチャンネルを含む映像の復号化装置は、グレイアルファ成分と輝度および色度成分とを含む画像データを符号化したビット列を復号化するために、前記ビット列をブロック単位で解釈し、解釈結果によって各ブロックを前景領域と背景領域の何れかに分類するビット列解釈部と、前記前景領域に含まれるブロックのグレイアルファ成分と輝度および色度成分とに対して順次に復号化を行う、復元されたグレイアルファチャンネル映像と復元された輝度および色度映像とを生成する前景領域復号化部と、前記背景領域に含まれるブロックのグレイアルファ成分を復号化して、復元されたグレイアルファチャンネル映像を生成する背景領域復号化部と、を備えることを特徴とする。
前記課題を解決するための本発明に係るグレイアルファチャンネルを含む映像の復号化方法は、グレイアルファ成分と輝度および色度成分とを含む画像データを符号化したビット列を復号化するために、前記ビット列をブロック単位で解釈する段階と、前記ビット列解釈結果に応じて、各ブロックを前景領域と背景領域の何れかに分類する段階と、前記前景領域に含まれるブロックのグレイアルファ成分と輝度および色度成分とに対して順次復号化を行い、復元されたグレイアルファチャンネル映像と復元された輝度および色度映像とを生成する段階と、前記背景領域に含まれるブロックのグレイアルファ成分を復号化して、復元されたグレイアルファチャンネル映像を生成する段階と、を含むことを特徴とする。
また、本発明では、前記グレイアルファチャンネルを含む映像の符号化／復号化方法をコンピュータで実行させるためのプログラムが記録されたコンピュータ可読記録媒体を提供する。
本発明に係るグレイアルファチャンネルを含む映像の符号化／復号化装置および方法において、グレイアルファ成分は２つの映像の合成のための加重値だけでなく、前景および背景領域を分類するためのマスクとして作用するため、前景および背景領域を分類するために別途２進データに対して符号化および復号化を行う必要がないので、全体の符号化効率を向上させると同時に、装置を単純化することができるという利点がある。
また、グレイアルファ成分を用いて背景領域の輝度および色度成分に対して符号化が行われたか否かを決定することによって、符号化効率の改善を図り、更に、グレイアルファ成分の復号化結果に応じて背景領域の輝度および色度成分に対する復号化が行われたか否かを決定することによって、装置の単純化を図ることができる。
また、グレイアルファ成分の場合、輝度および色度成分とは異なり、マクロブロックスキップフラグを「１」と設定して、イントラ予測モード時に予測付加情報および予測誤差を符号化しないようにすることによって、符号化効率の改善を図ることができる。
また、グレイアルファチャンネルを含む映像に対して、一般的な映像と独立して符号化および復号化を行うことができ、また、グレイアルファチャンネルを含む映像の符号化および復号化装置の全般的な構造が一般的な映像符号化／復号化装置および方法、例えば、Ｈ．２６４標準の構造と互換性を有するため、組み合わせて使用するのが容易であり、加えて、少ない計算量で高い符号化効率を有するという長所がある。
また、本発明に係る符号化／復号化装置および方法は、グレイアルファチャンネルを含む映像だけでなく、２進アルファチャンネルを含む映像にも同様に適用できる。すなわち、２進アルファチャンネルを含む映像を所定のブロック、例えば、マクロブロック単位で符号化および復号化を行う場合、１つのブロックが背景領域に属する場合、輝度および色度成分を符号化および復号化しないことによって符号化効率を高めるだけでなく、計算量を減少させることが可能となる。
以下、添付した図面を参照して、本発明に係るグレイアルファチャンネル含んだ映像の映像符号化／復号化装置および方法について詳細に説明する。
図１Ａは、本発明の１実施形態に係るグレイアルファチャンネルを含む映像の符号化装置の構成を示す図面であって、該装置はブロックデータ受信部１０１と、前景領域符号化部１０３と、背景領域符号化部１０７とから構成される。
図１Ａを参照して説明すると、ブロックデータ受信部１０１は、符号化するために入力された現行のフレームの画像データを一定のブロック単位、例えば、マクロブロック単位で受信し、該ブロックに含まれたグレイアルファ成分の値に応じて各ブロックを前景領域と背景領域の何れか１つに分類する。前景領域符号化部１０３は、前景領域に含まれたブロックについて、グレイアルファ成分と、輝度および色度成分とを順次符号化する。背景領域符号化部１０７は、背景領域に含まれたブロックについて、グレイアルファ成分を符号化する。
図１Ｂは、図１Ａに示した映像符号化装置の詳細な構成を示すブロック図であって、ブロックデータ受信部１１１と、グレイ予測誤差生成部１１３と、グレイ予測誤差符号化部１１５と、輝度および色度予測誤差生成部１１７と、輝度および色度予測誤差符号化部１１９と、ビット列生成部１２１とから構成される。ここで、前景領域符号化部１０３は、グレイ予測誤差生成部１１３と、グレイ予測誤差符号化部１１５と、輝度および色度予測誤差生成部１１７と、輝度および色度予測誤差符号化部１１９と、ビット列生成部１２１とから構成され、背景領域符号化部１０７は、グレイ予測誤差生成部１１３と、グレイ予測誤差符号化部１１５と、ビット列生成部１２１とから構成される。
図１Ｂを参照して説明すると、ブロックデータ受信部１１１は、符号化するために入力された現行のフレームの画像データを一定のブロック単位、例えば、マクロブロック単位で受信し、受信した画像データのうちグレイアルファ成分をグレイ予測誤差生成部１１３に、輝度および色度成分を輝度および色度予測誤差生成部１１７に提供する。１つのブロックに含まれた画像データは、グレイアルファ成分と輝度および色度成分よりなる。グレイアルファ成分は、前景領域に含まれた輝度および色度成分の加重値を表す成分である。例えば、グレイアルファ成分が８ビットで表現される場合、０ないし２５５の値を有する。この値は、第１輝度および色度映像を第２輝度および色度映像に合成する時に加重値の役割を果たすので、第１輝度および色度映像に含まれたグレイアルファ成分が２５５に近いほど、第１輝度および色度映像に大きく加重して２つの映像を合成する。一方、第１輝度および色度映像に含まれたグレイアルファ成分が０である場合には、第１輝度および色度映像は全く考慮されず、第２輝度および色度映像のみを使用して２つの映像を合成する。このとき、前景領域の境界情報は別途、符号化する必要なく、グレイアルファ成分が０であれば背景領域と、０でなければ他の映像との合成に使われる前景領域として判断される。したがって、輝度および色度成分は、背景領域では存在する必要がないので、符号化および復号化が行われなくてもよい。
グレイ予測誤差生成部１１３は、現行のブロックに含まれたグレイアルファ成分がイントラモードである場合、前に復元された空間上の隣接ブロックのグレイアルファ成分を参照して空間予測を行い、一方、インターモードである場合、時間上の前のフレームのグレイアルファ成分を参照して時間予測を行って、時空間予測映像を生成した後、時空間予測映像に対して時空間予測補償を行って、補償された予測映像を生成する。次いで、現行のブロックのグレイアルファ成分から補償された予測映像のグレイアルファ成分を減算してグレイ予測誤差を生成する。現行のブロックを構成する各画素に対するグレイ予測誤差の絶対値の和を、予め設定した臨界値と比較し、その結果、グレイ予測誤差の絶対値の和が臨界値より小さい場合には、現行のブロックのグレイ予測誤差について、変換および量子化過程とエントロピー符号化過程とをスキップし、これについての情報をビット列生成部１２１に提供する。一方、比較の結果、グレイ予測誤差の絶対値の和が臨界値より大きい場合には、現行のブロックのグレイ予測誤差を、グレイ予測誤差符号化部１１５に提供する。グレイ予測誤差の場合、インターモードあるいはイントラモードに関係なく、すべてのブロックについて符号化過程のスキップを考慮できる。ここで、臨界値とは、実験やシミュレーションを通して求められる値であって、本実施形態では各ブロックに含まれたピクセル数を使用する。
グレイ予測誤差符号化部１１５は、グレイ予測誤差に対して変換および量子化を行い、量子化されたグレイ予測誤差に対してエントロピー符号化を行って、その結果をビット列生成部１２１に提供する。
輝度および色度予測誤差生成部１１７は、現行のブロックのグレイアルファ成分のすべてが「０」である場合、すなわち、現行のブロックが透明である場合には、現行のブロックの輝度および色度成分を符号化する必要がないため、現行のブロックの輝度および色度成分の符号化過程をスキップし、これについての情報をビット列生成部１２１に提供する。一方、現行のブロックが透明でない場合には、現行のブロックに含まれた輝度および色度成分がイントラモードである場合は、前に復元した空間上の隣接ブロックの輝度および色度成分を参照して空間予測を行い、インターモードである場合は、時間上の前のフレームの輝度および色度成分を参照して時間予測を行って、時空間予測映像を生成した後、時空間予測映像に対して時空間予測補償を行って、補償した予測映像を生成する。現行のブロックの輝度および色度成分から補償された予測映像の輝度および色度成分を減算して輝度および色度予測誤差を生成する。グレイ予測誤差生成部１１３で現行のブロックのグレイ予測誤差の符号化過程をスキップすると決定した場合には、輝度および色度予測誤差生成部１１７は、現行のブロックの輝度および色度予測誤差に対しても変換および量子化過程とエントロピー符号化過程とをスキップし、これについての情報をビット列生成部１２１に提供する。一方、グレイ予測誤差生成部１１３で現行のブロックのグレイ予測誤差の符号化過程を行うと決定した場合には、輝度および色度予測誤差生成部１１７は、現行のブロックの輝度および色度予測誤差を輝度および色度予測誤差符号化部１１９に提供する。輝度および色度予測誤差において、インターモードのブロックに対する符号化過程はスキップされることが好ましい。
輝度および色度予測誤差符号化部１１９は、輝度および色度予測誤差に対して変換および量子化を行い、量子化された輝度および色度予測誤差に対してエントロピー符号化を行って、その結果をビット列生成部１２１に提供する。ビット列生成部１２１は、各ブロックに対してグレイ予測誤差と輝度および色度予測誤差との符号化スキップについての情報、ブロックタイプ、イントラ／インター予測付加情報、符号化ブロックパターン（Coded Block Pattern：ＣＢＰ）情報、グレイ予測誤差、輝度および色度予測誤差を含むビット列を生成する。このとき、例えば、図４Ａあるいは図４Ｂに示したようなビット列の構造を有する。
図２は、図１Ｂに示したグレイ予測誤差生成部１１３およびグレイ予測誤差符号化部１１５の詳細な構成を示すブロック図であって、グレイ予測誤差生成部１１３は、時空間予測部２０１と、時空間予測補償部２０３と、減算部２０５と、逆量子化および逆変換部２０７と、加算部２０９と、デブロッキングフィルタ２１１とから構成される。一方、グレイ予測誤差符号化部１１５は、変換および量子化部２１３と、エントロピー符号化部２１５とから構成される。
図２を参照して説明すると、時空間予測部２０１は、現行のフレームに対するグレイアルファチャンネル映像Ｆnの現行のブロックがイントラモードである場合、現行のフレームに対する復元されたグレイアルファチャンネル映像Ｆ’nを参照する空間予測を行って空間上の予測映像を生成し、現行のブロックがインターモードである場合、前のフレームの復元されたグレイアルファチャンネル映像Ｆ’n-1を参照する時間予測を行って時間上の予測映像を生成する。
時空間予測補償部２０３は、時空間予測部２０１から提供される時空間上の予測映像に対して時空間上の予測補償を行い、補償された時空間上の予測映像を減算部２０５および加算部２０９に提供する。減算部２０５は、現行のグレイアルファチャンネル映像Ｆnから補償された時空間上の予測映像を減算して現行のブロックに対するグレイ予測誤差を生成する。このとき、現行のブロックを構成する各画素に対するグレイ予測誤差の絶対値の和を予め設定された臨界値と比較し、その比較結果によって前記ブロックのグレイ予測誤差をいずれも「０」と設定した後、その結果をビット列生成部（図１Ｂの１２１）および加算部２０９に提供する。
逆量子化および逆変換部２０７は、変換および量子化部２１３で変換および量子化されたグレイ予測誤差を逆量子化および逆変換して加算部２０９に提供する。加算部２０９は、逆量子化および逆変換されたグレイ予測誤差と、時空間予測補償部２０３から提供される補償された時空間上予測映像とを加算して、現行のブロックについて復元されたグレイアルファチャンネル映像Ｆ’nを生成する。復元されたグレイアルファチャンネル映像Ｆ’nは、時空間予測部２０１、時空間予測補償部２０３およびデブロッキングフィルタ２１１に提供される。
デブロッキングフィルタ２１１は、加算部２０９から提供された、復元されたグレイアルファチャンネル映像Ｆ’nから、ブロック間のブロックキング効果を除去するために使用されるものであるが、必須の構成要素ではない。
変換および量子化部２１３は、減算部２０５から提供されたグレイ予測誤差に変換および量子化を行って、量子化したグレイ予測誤差をエントロピー符号化部２１５に提供する。このとき、離散余弦変換（Discrete Cosine Transformation：ＤＣＴ）あるいは整数変換のような変換技法を利用できるが、これに限定されるものではない。エントロピー符号化部２１５は、量子化されたグレイ予測誤差にエントロピー符号化を行って、その結果をビット列生成部１１１に提供する。任意のブロックを構成する各画素に対するグレイ予測誤差の絶対値の和が臨界値より小さい場合には、予測モードがインターモードであるかイントラモードであるかに関係なく、前記グレイ予測誤差の符号化過程をスキップすることが可能である。
図２に示したグレイ予測誤差生成部１１３およびグレイ予測誤差符号化部１１５の構成は、図１Ｂに示した輝度および色度予測誤差生成部１１７および輝度および色度予測誤差符号化部１１９にそのまま適用できる。しかし、輝度および色度予測誤差の符号化過程は、任意のブロックを構成する各画素に対する輝度および色度予測誤差の絶対値の和が臨界値より小さく、かつ予測モードがインターモードである場合にスキップすることが可能であるという点が輝度および色度予測誤差の符号化過程とは異なる。
グレイ予測誤差、または輝度および色度予測誤差の符号化過程をスキップした場合には、前記ブロックの画素値を符号化せずにスキップするという表示のみが前記ブロックのビット列に含まれる。これによれば、ＣＢＰ情報、運動ベクトル、画素値などすべての情報についての符号化が省略され、スキップされた現行のブロックの予測誤差の代わりに、時空間上で隣接したブロックで補償された予測映像をそのまま使用して復元された映像を得る。例えば、前のフレームのグレイアルファチャンネル映像で、現行のフレームのグレイアルファチャンネル映像と同じ位置にあるブロックの画素値をそのまま使用するか、または現行のブロックの周辺にあるブロックの運動ベクトルを利用して、前のフレームのグレイアルファチャンネル映像の特定位置を計算し、その位置にあるブロックの画素値をそのまま使用する。
図３は、本発明の１実施形態に係る、グレイアルファチャンネルを含む映像の符号化方法を説明するためのフローチャートである。
図３を参照して説明すれば、３０１段階では、符号化しようとする現行のフレームの画像データをブロック単位で受信する。３０３段階では、現行のフレームの画像データ中にグレイアルファ成分の予測誤差を生成する。３０５段階では、グレイ予測誤差の絶対値の和を臨界値と比較し、グレイ予測誤差の絶対値の和が臨界値より小さい場合には（図３の３０５で「はい」）、３０７段階でグレイ予測誤差の符号化過程をスキップする。３０９段階では、３０１段階で受信された現行のブロックの画像データに属するグレイアルファ成分がいずれも「０」であるか、すなわち、現行のブロックが透明であるかを判断し、現行のブロックのすべてが「０」のグレイアルファ成分を含んでいる場合には（図３の３０９で「はい」）、３１１段階で現行のブロックの輝度および色度成分の符号化過程をスキップする。３１３段階では、３０９段階での判断結果が、現行のブロックが「０」のグレイアルファ成分を含んでいる場合、すなわち、現行のブロックが不透明である場合（図３の３０９で「いいえ」）、輝度および色度成分の予測誤差を生成する。３１５段階では、３０７段階で現行のブロックのグレイ予測誤差の符号化過程をスキップしたため、現行のブロックの輝度および色度予測誤差の符号化過程もスキップする。
一方、３０５段階での比較の結果、グレイ予測誤差の絶対値の和が臨界値より大きい場合には（図３の３０５で「いいえ」）、３１７段階でグレイ予測誤差の符号化過程を行う。３１９段階では、３０１段階で受信された現行のブロックの画像データに属するグレイアルファ成分がいずれも「０」であるか、すなわち、現行のブロックが透明であるかを判断し、現行のブロックのすべてが「０」のグレイアルファ成分を含んでいる場合には（図３の３１９で「はい」）、３２１段階で現行のブロックの輝度および色度成分の符号化過程をスキップする。３２３段階では、３１９段階での判断の結果、現行のブロックが「０」ではないグレイアルファ成分を含んでいる場合、すなわち、現行のブロックが不透明である場合、輝度および色度成分の予測誤差を生成する。３２５段階では、３１７段階で現行のブロックのグレイ予測誤差の符号化過程を行ったため、現行のブロックの輝度および色度予測誤差の符号化過程も行う。
図４Ａおよび図４Ｂは、図１Ａおよび図１Ｂに示した符号化装置で生成されるビット列構造の例を示す図面であって、図４Ａに示すビット列構造は、イントラ／インター予測付加情報をグレイアルファ成分、輝度および色度成分にいずれも同一に適用した例であって、ＭＢスキップフラグ４１１と、ＭＢタイプ４１２と、イントラ／インター予測付加情報４１３と、グレイＣＢＰ（ＣＢＰＧ）４１４と、グレイ予測誤差４１５と、輝度および色度ＣＢＰ ４１６と、輝度予測誤差４１７と、色度予測誤差４１８とを含む。一方、図４Ｂに示すビット列構造は、イントラ／インター予測付加情報をグレイアルファ成分とは個別に適用した例であって、ＭＢスキップフラグ４２１と、ＭＢタイプ４２２と、グレイイントラ／インター予測付加情報４２３と、ＣＢＰＧ ４２４と、グレイ予測誤差４２５と、輝度および色度イントラ／インター予測付加情報４２６と、輝度および色度ＣＢＰ ４２７と、輝度予測誤差４２８と、色度予測誤差４２９とを含む。
図４Ａおよび図４Ｂにおいて、ＭＢスキップフラグ４１１および４２１は、グレイアルファ成分と輝度および色度成分との予測誤差についての符号化過程を行ったか否かを表すフィールドである。例えば、グレイアルファ成分と輝度および色度成分との予測誤差についての符号化過程がスキップされた場合、すなわち、ＭＢスキップフラグ４１１および４２１が「１」である場合には、前記ブロックはイントラ／インター予測付加情報および予測誤差が符号化されないため、イントラ／インター予測付加情報を、時空間上に隣接したブロックから予測して獲得して、予測誤差を「０」と設定する。復元されたグレイアルファ情報によって現行のブロックが透明である場合には、ＭＢスキップフラグ４１１および４２１の値に関係なく、輝度および色度予測誤差が存在せず復号化も行う必要がないので、不要な計算量の増加を防止することができる。
ＭＢタイプ４１２および４２２は、予測モードがイントラモードであるかインターモードであるかを示すフィールドである。Ｈ．２６４において、インターモードは、ブロックをどの程度のサイズに分割するかに応じて色々な方式に区分され、一方、イントラモードは空間上に隣接した画素値をどの方向から予測するかに応じて色々な方式に区分される。イントラ／インター予測付加情報４１３、４２３および４２６は、行動ベクトル情報およびイントラ予測方向情報を含むフィールドである。ＣＢＰＧ４１４および４２４は、グレイアルファ成分に対するＣＢＰを表し、輝度および色度成分のＣＢＰ４１６および４２７と同様に、８×８ブロック単位で８×８ブロック内に「０」ではない変換係数が存在するか否かを表す。
図５は、本発明に適用されるグレイアルファ成分のＣＢＰＧを生成する方法を説明する図面であって、１６×１６マクロブロックのグレイアルファ成分を４個の８×８ブロックに分割し、走査方向に各８×８ブロックをそれぞれＡ、Ｂ、Ｃ、Ｄとした場合、Ａ、Ｂ、Ｃ、Ｄに符号化過程がスキップされた場合には「０」、あるいは符号化過程が行われた場合には「１」に割当てることで、予測誤差の符号化の有無を示すことができる。
図６Ａは、本発明の１実施形態に係る、グレイアルファチャンネルを含む映像の復号化装置の構成を示す図面であって、ビット列解釈部６０１と、前景領域復号化部６０３と、背景領域復号化部６０７とから構成される。
図６Ａを参照して説明すると、ビット列解釈部６０１は、ビット列をブロック単位で解釈し、解釈結果に基づいて各ブロックを前景領域と背景領域の何れかに分類する。前景領域復号化部６０３は、前景領域に含まれるブロックについて、グレイアルファ成分と輝度および色度成分とを順次に復号化して、復元したグレイアルファチャンネル映像と復元した輝度および色度映像とを生成する。背景領域復号化部６０７は、背景領域に含まれるブロックについて、グレイアルファ成分を復号化して、復元したグレイアルファチャンネル映像を生成する。
図６Ｂは、図６Ａに示した映像復号化装置の詳細な構成を示すブロック図であって、ビット列解釈部６１１と、グレイ予測誤差復号化部６１３と、グレイ成分復元部６１５と、輝度および色度予測誤差復号化部６１７と、輝度および色度成分復元部６１９とから構成される。図６Ａに示した前景領域復号化部６０３は、グレイ予測誤差復号化部６１３と、グレイ成分復元部６１５と、輝度および色度予測誤差復号化部６１７と、輝度および色度成分復元部６１９とから構成され、図６Ａに示した背景領域復号化部６０７は、グレイ予測誤差復号化部６１３と、グレイ成分復元部６１５とから構成される。
図６Ｂを参照して説明すると、ビット列解釈部６１１は、符号化されて生成されたビット列を解釈する。グレイ予測誤差復号化部６１３は、現行のブロックについてのビット列のＭＢスキップフラグを参照して、グレイ予測誤差に対する符号化が行われた場合、すなわち、ＭＢスキップフラグが「０」である場合にグレイ予測誤差に対する復号化を行う。もし、グレイ予測誤差に対する符号化がスキップされた場合、すなわち、ＭＢスキップフラグが「１」である場合は現行のブロックのグレイ予測誤差の復号化結果を「０」と予測する。グレイ成分復元部６１５は、現行のブロックについてのビット列のＭＢタイプを参照して、予測モードがイントラモードであるかインターモードであるかを判断し、復号化されたグレイ予測誤差に、時空間予測補償を行って獲得した予測映像を加えることにより、復元されたグレイアルファチャンネル映像を生成する。
輝度および色度予測誤差復号化部６１７は、現行のブロックについてのビット列のＭＢスキップフラグを参照して、輝度および色度予測誤差に対すて符号化が行われた場合、すなわち、ＭＢスキップフラグが「０」である場合、輝度および色度予測誤差に対する復号化を行う。同様に、輝度および色度予測誤差に対する符号化がスキップされた場合、すなわち、ＭＢスキップフラグが「１」である場合、現行のブロックの輝度および色度予測誤差の復号化結果を「０」と予測する。輝度および色度成分復元部６１９は、現行のブロックについてのビット列のＭＢタイプを参照して、予測モードがイントラモードであるかインターモードであるかを判断し、復号化された輝度および色度予測誤差に、時空間予測補償を行って獲得した予測映像を加えることによって、復元された輝度および色度映像を生成する。
図７は、図６Ｂに示したグレイ予測誤差復号化部６１３およびグレイ成分復元部６１５の詳細な構成を示すブロック図であって、グレイ予測誤差復号化部６１３は、エントロピー復号化部７０１と、逆量子化および逆変換部７０３とから構成され、グレイ成分復元部６１５は、時空間予測補償部７０７と、デブロッキングフィルタ７０９とから構成される。
図７を参照して説明すると、エントロピー復号化部７０１は、ビット列解釈部６０１のビット列の解釈の結果、ＭＢスキップフラグが「０」である場合、符号化されたグレイ予測誤差に対してエントロピー復号化を行う。一方、ビット列解釈部６０１のビット列解釈の結果、ＭＢスキップフラグが「１」である場合には、前記ブロックのグレイ予測誤差を何れも「０」と設定して、加算部７０５にその結果を提供する。逆量子化および逆変換部７０３は、エントロピー復号化されたグレイ予測誤差に対して逆量子化および逆変換を行い、その結果を逆変換されたグレイ予測誤差を加算部７０５に提供する。加算部７０５は、逆変換されたグレイ予測誤差あるいは「０」値を有する予測誤差に、補償された時空間予測映像を加算することにより、復元されたグレイアルファチャンネル映像Ｆ’nを生成する。
時空間上予測補償部７０７は、予測モードによって現行のフレームの復元されたグレイアルファチャンネル映像Ｆ’nあるいは前のフレームの復元されたグレイアルファチャンネル映像Ｆ’n-1を利用して時空間予測補償を行って、その補償された時空間上の予測映像を加算部２０１に提供する。デブロッキングフィルタ７０９は、加算部７０５から提供された、復元されたグレイアルファチャンネル映像Ｆ’nからブロック間のブロックキング効果を除去するために使われるものであって、必須の構成要素ではない。図７に示されたグレイ予測誤差復号化部６１３およびグレイ成分復元部６１５の構成は、輝度および色度予測誤差復号化部６１７および輝度および色度成分復元部６１９にそのまま適用することができる。
図８は、本発明の１実施形態に係る、グレイアルファチャンネルを含む映像の復号化方法を説明するフローチャートである。
図８を参照して説明すると、８０１段階では、受信されたビット列をブロック単位で解釈する。８０３段階では、ビット列のＭＢスキップフラグを参照して、現行のブロックに対して予測誤差の符号化過程がスキップされたか否かを判断する。８０３段階での判断の結果、現行のブロックに対する予測誤差の符号化過程がスキップされたと判断した場合（図８の８０３で「はい」）、８０５段階では、時空間上で隣接したブロックにおいてイントラ／インター予測付加情報を復元する。８０７段階では、復元されたイントラ／インター予測付加情報を利用してグレイ予測映像を補償し、８０９段階では、補償されたグレイ予測映像を利用してグレイアルファ成分を復元する。８１１段階では、８０９段階で復元された現行のブロックのグレイアルファ成分のすべてが「０」であるか否かを判断し、すべてが「０」である場合（図８の８１１で「はい」）、８１３段階で現行のブロックの輝度および色度成分の復号化過程がスキップされる。一方、８１１段階での判断の結果、現行のブロックのグレイアルファ成分が「０」ではない値を有する場合（図８の８１１で「いいえ」）、８１５段階で輝度および色度成分の予測映像を補償し、８１７段階で、補償された輝度および色度予測映像に復号化された輝度および色度予測誤差を加えて輝度および色度成分を復元する。
一方、８０３段階での判断の結果、現行のブロックに対して予測誤差の符号化過程が行われた場合（図８の８０３で「いいえ」）、８１９段階では、グレイ予測映像を補償し、８２１段階で、補償されたグレイ予測映像に、復号化されたグレイ予測誤差を加えてグレイアルファ成分を復元する。８２３段階では、８２１段階で復元された現行のブロックのグレイアルファ成分のすべてが「０」であるか否かを判断し、すべてが「０」である場合、８２５段階で現行のブロックの輝度および色度成分の復号化過程をスキップする。一方、８２３段階での判断の結果、現行のブロックのグレイアルファ成分が「０」ではない値を有する場合、８２７段階で輝度および色度成分の予測映像を補償し、８２９段階で、補償された予測映像に、輝度および色度予測誤差を加えて輝度および色度成分を復元する。
下記の表１は、本発明の１実施形態に係るグレイアルファチャンネルを含む映像の符号化装置で使用される符号化モード１ないし４による符号化方式を表す。
Figure 2005253088
前記表１を参照して説明すると、符号化するために入力された任意のブロックが「０」ではないグレイアルファ成分を含むか否かによって、前記ブロックを背景領域あるいは前景領域を区分けする。もし、前記ブロックがすべて「０」であるグレイアルファ成分を含む場合には、前記ブロックは背景領域であるため、輝度および色度成分に対しては符号化を行わず、グレイアルファ成分に対して符号化を行う。このとき、前記ブロックに対するグレイアルファ成分の予測誤差が臨界値より小さい場合には、グレイアルファ成分の予測誤差に対する符号化をスキップし、大きい場合には、グレイアルファ成分の予測誤差に対して変換および量子化過程を経た後にエントロピー符号化を行う。
一方、前記ブロックが「０」ではないグレイアルファ成分を含む場合には、前記ブロックは前景領域であるため、グレイアルファ成分だけでなく、輝度および色度成分に対しても符号化を行う。このとき、前記ブロックに対するグレイアルファ成分の予測誤差が臨界値より小さい場合には、グレイアルファ成分の予測誤差と輝度および色度成分の予測誤差とに対する符号化をスキップし、大きい場合には、グレイアルファ成分の予測誤差と輝度および色度成分の予測誤差とに対して変換および量子化過程を経た後にエントロピー符号化を行う。
図９は、映像の時間予測のために映像を一定サイズのブロックに分割する方法の一例を示す図面である。この方法は、ＩＳＯ／ＩＥＣ １４４９６−１０およびＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４標準で使用する方法である。この方法では、基本的に横／縦１６画素サイズのマクロブロックを１６×１６、１６×８、８×１６、８×８の多様なサイズに分け、それぞれ行動ベクトルを求めて時間上に映像値を予測する。特に、８×８サイズのブロックは、再び、８×８、８×４、４×８、４×４サイズに分けることで、細かい動きも正確に検出可能となっている。
また、時間予測を使用する場合、半画素または１／４画素の行動予測方法を使用するために、前のアルファチャンネル映像を２倍あるいは４倍に拡大した後に行動予測を行う。このような映像の拡大のために、ＭＰＥＧ−４では双線型補間を行い、Ｈ．２６４では６タップフィルタを使用した補間を行う。しかし、グレイアルファチャンネルを含む映像では、計算量を簡単にするために、このような行動予測過程を省略でき、このような行動予測過程を適用するためには、前記補間方法だけでなく計算量を簡単にできる別途の補間方法を使用できる。
１０（ａ）は、映像の空間予測のための隣接画素の位置と、予測する現行のブロックの画素の位置とを示す図面である。図９に示した方法と同様に、この方法は、ＩＳＯ／ＩＥＣ １４４９６−１０およびＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４標準で使用する方法である。この方法では、４×４サイズのブロックデータＰa、Ｐb、・・・、Ｐqを予測するために、前に符号化されて復元された空間上の隣接したデータＰ0、Ｐ1、・・・、Ｐ12を利用する。図１０（ｂ）は、空間上に隣接した画素から投影して現行のブロックを予測するための０から８までの９個の予測方向を示す。例えば、０の方向の場合は、隣接した画素値Ｐ1、Ｐ2、Ｐ3、Ｐ4を垂直方向に投影して、Ｐa、Ｐe、Ｐi、ＰmはＰ1値、Ｐb、Ｐf、Ｐj、ＰnはＰ2値、Ｐc、Ｐg、Ｐk、ＰoはＰ3値、Ｐd、Ｐh、Ｐl、Ｐqは、Ｐ4値に予測する。他の方向の場合も同様に投影を通じて予測する。 図９および図１０に示されたような時空間予測方法は、既存の標準技術を１例として説明したものであって、他の方法を使用することも可能である。
図１１は、グレイアルファ映像の１例およびそれをマクロブロックに分けた場合に各マクロブロックが透明であるか不透明であるかを示す図面であって、「１」は透明を、「０」は不透明を表す。ここで、「１」で表示されたマクロブロックは背景領域であるため、そのグレイアルファ成分は符号化および復号化によって復元されるが、輝度および色度成分は存在していないため符号化および復号化は行われない。このとき、グレイアルファ成分は透明か否かに関係なく、マクロブロック単位でイントラ／インター予測補償を行って符号化および復号化を行う。一方、「０」で表示されたマクロブロックは前景領域であって、輝度および色度成分が存在するため、イントラ／インター予測補償を行って符号化および復号化を行う。
図１２は、グレイアルファチャンネルを含む映像を利用した映像合成の例を示す図面であって、１２０１は輝度および色度成分を有する前景領域を表し、１２０２はこの前景領域を表すためのグレイアルファ成分の映像を表す。このようなグレイアルファ成分を利用して、前景領域１２０１は、任意の輝度および色度成分を有する映像１２０３と合成して他の合成された映像１２０４が得られる。このような過程は、放送のためのコンテンツ編集過程で映像の特定領域を他の映像と合成して新たな背景の映像を作る場合に使用できる。もし、前景領域１２０１の輝度および色度成分をＮyuv、該当するグレイ成分をＮα、映像１２０３の輝度および色度成分をＭyuv、２つの映像の合成映像１２０４の輝度および色度成分をＰyuvとする場合、下記数式１の関係が得られる。
Figure 2005253088
 グレイ成分Ｎαはｎビットで表示するが、例えば、８ビットである場合、０から２５５までの値を有する。数式１のように、グレイ成分は、２つの映像の輝度および色度成分間の加重平均のための加重値として使われる。したがって、グレイ成分が「０」である場合には背景領域と見なされ、背景領域の輝度および色度成分は、その値に関係なく合成された映像には影響を及ぼさない。
本発明は、コンピュータ可読記録媒体にコンピュータ可読コードとして実装することが可能である。コンピュータ可読記録媒体には、コンピュータシステムによって読み取り可能なデータが保存される任意の種類の記録装置が含まれる。コンピュータ可読記録媒体の例としては、ＲＯＭ（read only memory）、ＲＡＭ（random access memory）、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光学式データ保存装置があり、また、キャリアウェーブ（例えば、インターネットを通じた伝送）状に実装されるものも含む。また、コンピュータ可読記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータ可読コードが保存され、かつ実行される。そして、本発明を実施するための機能的なプログラム、コードおよびコードセグメントは、本発明の範囲に属する当業者によって容易に推論され得ることに留意されたい。
以上、本発明を図面に示した実施形態を用いて説明したが、これらは例示的なものに過ぎず、本技術分野の当業者ならば、本発明の範囲および趣旨から逸脱しない範囲で多様な変更および変形が可能なことは理解できるであろう。
本発明によるグレイアルファチャンネルを含む映像の符号化／復号化装置および方法は、動映像コンテンツ製作および編集に広く使われるグレイアルファチャンネルを含んだ映像の処理／伝送および保管を容易にする。
本発明の１実施形態に係るグレイアルファチャンネルを含む映像の符号化装置の構成を示すブロック図である。 本発明の１実施形態に係るグレイアルファチャンネルを含む映像の符号化装置の構成を示すブロック図である。 図１Ｂに示した各部の詳細な構成を示すブロック図である。 本発明の１実施形態に係るグレイアルファチャンネルを含む映像の符号化方法の動作を説明するためのフローチャートである。 図１Ａに示した符号化装置で生成されるビット列の構造例を示す図である。 図１Ｂに示した符号化装置で生成されるビット列の構造例を示す図面である。 本発明に適用されるグレイアルファ成分のＣＢＰを生成する方法を説明するための図である。 本発明の１実施形態に係るグレイアルファチャンネルを含む映像の復号化装置の構成を示すブロック図である。 本発明の１実施形態に係るグレイアルファチャンネルを含む映像の復号化装置の構成を示すブロック図である。 図６Ｂに示した各部の詳細な構成を示すブロック図である。 本発明の１実施形態に係るグレイアルファチャンネルを含む映像の復号化方法を説明するためのフローチャートである。 映像の時間上の予測のために映像を一定サイズのブロックに分割する方法の一例を示す図である。 （ａ）は、映像の空間予測のための隣接画素の位置と、予測する現行のブロックの画素の位置とを示す図であり、（ｂ）は、空間上に隣接した画素から投影して現行のブロックを予測するための０から８までの９個の予測方向を示す図である。 グレイアルファチャンネルを含む映像の１例およびそれをマクロブロックで分割した際に、各マクロブロックの透明性を示す図である。 グレイアルファチャンネルを含む映像を利用した映像合成の例を示す図である。
符号の説明
１０１ ブロックデータ受信部
１０３ 前景領域符号化部
１０７ 背景領域符号化部

Claims (26)

  1. グレイアルファ成分と輝度および色度成分とを含む画像データを一定のブロック単位で符号化する、グレイアルファチャンネルを含む映像の符号化装置であって、
    現行のブロックに該当する画像データを受信し、前記ブロックに含まれたグレイアルファ成分の値に応じて、前記ブロックを前景領域と背景領域の何れかに分類するブロックデータ受信部と、
    前記ブロックが前景領域に分類された場合に、前記ブロックの前記グレイアルファ成分と前記輝度および色度成分とに対して順次符号化を行う前景領域符号化部と、
    前記ブロックが背景領域に分類された場合に、前記ブロックの前記グレイアルファ成分に対して符号化を行う背景領域符号化部と、
    を備えることを特徴とするグレイアルファチャンネルを含む映像の符号化装置。
  2. 前記前景領域符号化部は、
    前記ブロックに含まれた前記グレイアルファ成分に対する予測誤差を生成するグレイ予測誤差生成部と、
    前記ブロックに対する前記グレイ予測誤差と所定の臨界値との比較結果に基づき、前記グレイ予測誤差に対して符号化を行うグレイ予測誤差符号化部と、
    前記ブロックに含まれた前記輝度および色度成分に対する予測誤差を生成する輝度および色度予測誤差生成部と、
    前記ブロックに対するグレイ予測誤差と前記臨界値との比較結果に基づき、前記輝度および色度予測誤差に対して符号化を行う輝度および色度予測誤差符号化部と、
    前記グレイ予測誤差の符号化結果と、前記輝度および色度予測誤差の符号化結果とに基づき、ビット列を生成するビット列生成部と、
    を備えることを特徴とする請求項１に記載のグレイアルファチャンネルを含む映像の符号化装置。
  3. 前記背景領域符号化部は、
    前記ブロックに含まれた前記グレイアルファ成分に対する予測誤差を生成するグレイ予測誤差生成部と、
    前記ブロックに対する前記グレイ予測誤差と所定の臨界値の比較結果に基づき、前記グレイ予測誤差に対して符号化を行うグレイ予測誤差符号化部と、
    前記グレイ予測誤差の符号化結果に基づきビット列を生成するビット列生成部と、
    を備えることを特徴とする請求項１に記載のグレイアルファチャンネルを含む映像の符号化装置。
  4. 前記グレイ予測誤差符号化部は、前記ブロックの前記グレイ予測誤差が前記臨界値より小さな場合、予測モードに関係無く前記グレイ予測誤差の符号化過程をスキップすることを特徴とする請求項２に記載のグレイアルファチャンネルを含む映像の符号化装置。
  5. 前記輝度および色度予測誤差生成部は、前記ブロックに含まれたグレイアルファ成分の値のすべてが「０」である場合、前記ブロックの輝度および色度成分の符号化過程をスキップすることを特徴とする請求項２に記載のグレイアルファチャンネルを含む映像の符号化装置。
  6. 前記輝度および色度予測誤差符号化部は、前記ブロックに対するグレイ予測誤差が前記臨界値より小さく、予測モードがインターモードである場合、前記輝度および色度予測誤差の符号化過程をスキップすることを特徴とする請求項２に記載のグレイアルファチャンネルを含む映像の符号化装置。
  7. 前記グレイ予測誤差符号化部は、前記ブロックに対するグレイ予測誤差が前記臨界値より小さな場合、予測モードに関係無く前記グレイ予測誤差の符号化過程をスキップすることを特徴とする請求項３に記載のグレイアルファチャンネルを含む映像の符号化装置。
  8. グレイアルファ成分と輝度および色度成分とを含む画像データを一定のブロック単位で符号化する、グレイアルファチャンネルを含む映像の符号化方法であって、
    現行のブロックに含まれたグレイアルファ成分の値に応じて、前記ブロックを前景領域と背景領域の何れかに分類する段階と、
    前記ブロックが前景領域に分類された場合に、前記ブロックの前記グレイアルファ成分と輝度および色度成分とに対して順次符号化を行う段階と、
    前記ブロックが背景領域に分類された場合に、前記ブロックの前記グレイアルファ成分に対して符号化を行う段階と、
    を含むことを特徴とするグレイアルファチャンネルを含む映像の符号化方法。
  9. 前記分類する段階において、すべてが「０」であるグレイアルファ成分を含む前記ブロックを前記背景領域に、「０」ではないグレイアルファ成分を含む前記ブロックを前記前景領域に分類することを特徴とする請求項８に記載のグレイアルファチャンネルを含む映像の符号化方法。
  10. 前記前景領域に対して符号化を行う段階では、前記ブロックのグレイ予測誤差が臨界値より小さな場合、グレイ予測誤差と輝度および色度予測誤差とに対する符号化過程をスキップすることを特徴とする請求項８に記載のグレイアルファチャンネルを含む映像の符号化方法。
  11. グレイ予測誤差に対して符号化を行う過程は、予測モードに関係なくスキップすることを特徴とする請求項１０に記載のグレイアルファチャンネルを含む映像の符号化方法。
  12. 輝度および色度予測誤差に対して符号化を行う過程は、予測モードがインターモードである場合にスキップすることを特徴とする請求項１０に記載のグレイアルファチャンネルを含む映像の符号化方法。
  13. 前記背景領域に対して符号化を行う段階では、前記ブロックに対するグレイ予測誤差が臨界値より小さな場合、前記グレイ予測誤差に対する符号化過程をスキップすることを特徴とする請求項８に記載のグレイアルファチャンネルを含む映像の符号化方法。
  14. 前記グレイ予測誤差に対して符号化を行う段階は、予測モードに関係なくスキップすることを特徴とする請求項１３に記載のグレイアルファチャンネルを含む映像の符号化方法。
  15. グレイアルファ成分と輝度および色度成分とを含む画像データを符号化したビット列を復号化する、グレイアルファチャンネルを含む映像の復号化方法であって、
    前記ビット列をブロック単位で解釈し、解釈結果に応じて現行のブロックを前景領域と背景領域の何れかに分類するビット列解釈部と、
    前記ブロックが前景領域に分類された場合に、前記ブロックのグレイアルファ成分と輝度および色度成分とに対して順次復号化を行い、復元されたグレイアルファチャンネル映像と復元された輝度および色度映像とを生成する前景領域復号化部と、
    前記ブロックが背景領域に分類された場合に、前記ブロックのグレイアルファ成分に対して復号化を行い、復元されたグレイアルファチャンネル映像を生成する背景領域復号化部と、
    を備える特徴とするグレイアルファチャンネルを含む映像の復号化装置。
  16. 前記前景領域復号化部は、
    符号化されたグレイ予測誤差に対して復号化を行うグレイ予測誤差復号化部と、
    復号化されたグレイ予測誤差からグレイアルファチャンネル映像を復元するグレイ成分復元部と、
    符号化された輝度および色度予測誤差を復号化する、輝度および色度予測誤差復号化部と、
    復号化された輝度および色度予測誤差から輝度および色度映像を復元する輝度および色度成分復元部と、
    を備えることを特徴とする請求項１５に記載のグレイアルファチャンネルを含む映像の復号化装置。
  17. 前記背景領域復号化部は、
    前記符号化されたグレイ予測誤差に対して復号化を行うグレイ予測誤差復号化部と、
    前記復号化されたグレイ予測誤差からグレイアルファチャンネル映像を復元するグレイ成分復元部と、
    を備えることを特徴とする請求項１５に記載のグレイアルファチャンネルを含む映像の復号化装置。
  18. 前記グレイ予測誤差復号化部は、グレイ予測誤差の符号化過程がスキップされたブロックのグレイ予測誤差を「０」に復号化することを特徴とする請求項１６に記載のグレイアルファチャンネルを含む映像の復号化装置。
  19. 前記輝度および色度予測誤差復号化部は、輝度および色度符号化過程がスキップされたブロックに対して復号化過程をスキップすることを特徴とする請求項１６に記載のグレイアルファチャンネルを含む映像の復号化装置。
  20. 前記輝度および色度予測誤差復号化部は、輝度および色度予測誤差の符号化過程がスキップされたブロックの輝度および色度予測誤差を「０」に復号化することを特徴とする請求項１９に記載のグレイアルファチャンネルを含む映像の復号化装置。
  21. 前記グレイ予測誤差復号化部は、グレイ予測誤差の符号化過程がスキップされたブロックのグレイ予測誤差を「０」に復号化することを特徴とする請求項１７に記載のグレイアルファチャンネルを含む映像の復号化装置。
  22. グレイアルファ成分と輝度および色度成分とを含む画像データを符号化したビット列を復号化する、グレイアルファチャンネルを含む映像の復号化方法であって、
    前記ビット列をブロック単位で解釈し、解釈結果に応じて現行のブロックを前景領域と背景領域の何れかに分類する段階と、
    前記前景領域に含まれるブロックのグレイアルファ成分と輝度および色度成分とに対して順次復号化を行い、復元されたグレイアルファチャンネル映像と復元された輝度および色度映像とを生成する段階と、
    前記背景領域に含まれるブロックのグレイアルファ成分に対して復号化を行い、復元されたグレイアルファチャンネル映像を生成する段階と、
    を含むことを特徴とするグレイアルファチャンネルを含む映像の復号化方法。
  23. 前記前景領域に対して復号化を行う段階は、グレイ予測誤差の符号化過程がスキップされたブロックのグレイ予測誤差と輝度および色度予測誤差を「０」に復号化することを特徴とする請求項２２に記載のグレイアルファチャンネルを含む映像の復号化方法。
  24. 前記背景領域復号化段階は、グレイ予測誤差の符号化過程がスキップされたブロックのグレイ予測誤差を「０」に復号化することを特徴とする請求項２２に記載のグレイアルファチャンネルを含む映像の復号化方法。
  25. グレイアルファ成分と輝度および色度成分とを含む画像データを一定のブロック単位で符号化する、グレイアルファチャンネルを含む映像の符号化方法であって、
    現行のブロックに含まれたグレイアルファ成分の値に応じて、前記ブロックを前景領域と背景領域の何れかに分類する段階と、
    前記前景領域に含まれるブロックのグレイアルファ成分と輝度および色度成分とに対して順次符号化する段階と、
    前記背景領域に含まれるブロックのグレイアルファ成分に対して符号化を行う段階と、
    を含む、グレイアルファチャンネルを含む映像の符号化方法を実行させるプログラムが記録されたコンピュータ可読記録媒体。
  26. グレイアルファ成分と輝度および色度成分とを含む画像データを符号化したビット列を復号化する、グレイアルファチャンネルを含む映像の復号化方法であって、
    前記ビット列をブロック単位で解釈し、解釈結果に応じて各ブロックを前景領域と背景領域の何れかに分類する段階と、
    前記前景領域に含まれるブロックのグレイアルファ成分と輝度および色度成分とに対して順次復号化を行い、復元されたグレイアルファチャンネル映像と復元された輝度および色度映像とを生成する段階と、
    前記背景領域に含まれるブロックのグレイアルファ成分に対して復号化を行い、復元されたグレイアルファチャンネル映像を生成する段階を含む、グレイアルファチャンネルを含む映像の復号化方法を実行させるプログラムが記録されたコンピュータ可読記録媒体。
JP2005062158A 2004-03-05 2005-03-07 グレイアルファチャンネルを含んだ映像の符号化／復号化装置および方法 Expired - Fee Related JP4955216B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20040015152 2004-03-05
KR2004-015152 2004-03-05
KR1020050010855A KR100682929B1 (ko) 2004-03-05 2005-02-04 그레이 알파채널을 포함한 영상 부호화/복호화장치 및 방법
KR2005-010855 2005-02-04

Publications (2)

Publication Number Publication Date
JP2005253088A true JP2005253088A (ja) 2005-09-15
JP4955216B2 JP4955216B2 (ja) 2012-06-20

Family

ID=34752270

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005062158A Expired - Fee Related JP4955216B2 (ja) 2004-03-05 2005-03-07 グレイアルファチャンネルを含んだ映像の符号化／復号化装置および方法

Country Status (3)

Country Link
US (1) US8300689B2 (ja)
EP (1) EP1571850A3 (ja)
JP (1) JP4955216B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8761264B2 (en) 2006-03-17 2014-06-24 Fujitsu Limited Apparatus and method for coding moving pictures
JP2015521445A (ja) * 2012-06-01 2015-07-27 アルカテル−ルーセント ビデオストリームを符号化するための方法および装置
JP2016519501A (ja) * 2013-04-05 2016-06-30 ブリティッシュ・ブロードキャスティング・コーポレーションＢｒｉｔｉｓｈ Ｂｒｏａｄｃａｓｔｉｎｇ Ｃｏｒｐｏｒａｔｉｏｎ 合成画像の送信および受信

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100244290B1 (ko) 1997-09-09 2000-02-01 구자홍 저속 전송에서의 동영상을 위한 디블록킹 필터링 방법
US7852353B1 (en) * 2005-03-31 2010-12-14 Apple Inc. Encoding a transparency (alpha) channel in a video bitstream
US8189908B2 (en) * 2005-09-02 2012-05-29 Adobe Systems, Inc. System and method for compressing video data and alpha channel data using a single stream
US8014615B2 (en) * 2005-09-02 2011-09-06 Adobe Systems Incorporated System and method for decompressing video data and alpha channel data using a single stream
WO2007079964A1 (en) * 2006-01-09 2007-07-19 Matthias Narroschke Adaptive coding of a prediction error in hybrid video coding
US8208543B2 (en) * 2008-05-19 2012-06-26 Microsoft Corporation Quantization and differential coding of alpha image data
JP2011029954A (ja) * 2009-07-27 2011-02-10 Sony Corp 画像符号化装置と画像符号化方法
EP2557791A4 (en) * 2010-04-07 2016-09-07 Jvc Kenwood Corp ANIMATED IMAGE ENCODING DEVICE, ANIMATED IMAGE ENCODING METHOD, ANIMATED IMAGE ENCODING PROGRAM, ANIMATED IMAGE DECODING DEVICE, ANIMATED IMAGE DECODING METHOD, AND ANIMATED IMAGE DECODING PROGRAM
US8553763B2 (en) 2010-06-10 2013-10-08 Sony Corporation Iterative computation of adaptive interpolation filter
CN108848379A (zh) 2010-12-07 2018-11-20 韩国电子通信研究院 视频编解码方法、生成比特流的方法和存储比特流的介质
JP6168365B2 (ja) * 2012-06-12 2017-07-26 サン パテント トラスト 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置
EP2952003B1 (en) * 2013-01-30 2019-07-17 Intel Corporation Content adaptive partitioning for prediction and coding for next generation video
JP6345961B2 (ja) * 2014-03-28 2018-06-20 株式会社メガチップス 画像復号化装置および画像復号化方法
CN106020453B (zh) * 2016-05-11 2021-09-10 西北工业大学 一种基于灰色理论的脑-机接口方法
EP3340624B1 (en) * 2016-12-20 2019-07-03 Axis AB Encoding a privacy masked image
CN109348226B (zh) 2017-04-08 2022-11-11 腾讯科技（深圳）有限公司 一种图片文件处理方法及智能终端
CN109005426B (zh) * 2017-04-08 2021-04-30 腾讯科技（深圳）有限公司 一种图片文件处理方法
CN107071515B (zh) * 2017-04-08 2018-12-07 腾讯科技（深圳）有限公司 一种图片文件处理方法及系统
EP4060995A1 (en) * 2019-12-11 2022-09-21 Sony Group Corporation Image processing device, bit stream generation method, coefficient data generation method, and quantization coefficient generation method
US20230106242A1 (en) * 2020-03-12 2023-04-06 Interdigital Vc Holdings France Method and apparatus for video encoding and decoding
EP3937492A1 (en) * 2020-07-07 2022-01-12 Google LLC Alpha channel post processing in image coding
CN112019443B (zh) * 2020-09-02 2023-09-12 首都师范大学 多路径数据传输方法及装置
CN113613008A (zh) * 2021-08-20 2021-11-05 百果园技术(新加坡)有限公司 一种视频编解码的方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH104549A (ja) * 1995-09-29 1998-01-06 Toshiba Corp 画像符号化装置および画像復号化装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6618444B1 (en) * 1997-02-14 2003-09-09 At&T Corp. Scene description nodes to support improved chroma-key shape representation of coded arbitrary images and video objects
US6249613B1 (en) * 1997-03-31 2001-06-19 Sharp Laboratories Of America, Inc. Mosaic generation and sprite-based coding with automatic foreground and background separation
US6738424B1 (en) * 1999-12-27 2004-05-18 Objectvideo, Inc. Scene model generation from video for use in video processing
FR2806570B1 (fr) * 2000-03-15 2002-05-17 Thomson Multimedia Sa Procede et dispositif de codage d'images video
GB2382940A (en) * 2001-11-27 2003-06-11 Nokia Corp Encoding objects and background blocks

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH104549A (ja) * 1995-09-29 1998-01-06 Toshiba Corp 画像符号化装置および画像復号化装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8761264B2 (en) 2006-03-17 2014-06-24 Fujitsu Limited Apparatus and method for coding moving pictures
JP2015521445A (ja) * 2012-06-01 2015-07-27 アルカテル−ルーセント ビデオストリームを符号化するための方法および装置
JP2016519501A (ja) * 2013-04-05 2016-06-30 ブリティッシュ・ブロードキャスティング・コーポレーションＢｒｉｔｉｓｈ Ｂｒｏａｄｃａｓｔｉｎｇ Ｃｏｒｐｏｒａｔｉｏｎ 合成画像の送信および受信

Also Published As

Publication number Publication date
EP1571850A3 (en) 2006-12-13
EP1571850A2 (en) 2005-09-07
JP4955216B2 (ja) 2012-06-20
US8300689B2 (en) 2012-10-30
US20050196062A1 (en) 2005-09-08

Similar Documents

Publication Publication Date Title
JP4955216B2 (ja) グレイアルファチャンネルを含んだ映像の符号化／復号化装置および方法
JP5421408B2 (ja) αチャンネル映像復号化装置、αチャンネル復号化方法及び記録媒体
JP4673758B2 (ja) 画像データの復号化方法およびそのためのプログラムを記録したコンピュータ読み取り可能媒体
JP7012809B2 (ja) 画像符号化装置、動画像復号装置、動画像符号化データ及び記録媒体
JP7436543B2 (ja) 画像符号化システムにおいてアフィンｍｖｐ候補リストを使用するアフィン動き予測に基づいた画像デコード方法及び装置
TWI722842B (zh) 影像預測解碼方法
KR102362840B1 (ko) 영상 코딩 시스템에서 서브 블록 단위의 움직임 예측에 기반한 영상 디코딩 방법 및 장치
US11695955B2 (en) Image encoding device, image decoding device and program
WO2015008417A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
WO2015091360A1 (en) Method for coding a sequence of pictures and method for decoding a bitstream and corresponding devices
JP2016096428A (ja) ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置ならびにピクチャ復号化プログラム
JP2019022129A (ja) 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム
KR100682929B1 (ko) 그레이 알파채널을 포함한 영상 부호화/복호화장치 및 방법
CN114830646A (zh) 图像编码方法和图像解码方法
CN114830642A (zh) 图像编码方法和图像解码方法
JP7219030B2 (ja) 色差イントラ予測候補生成装置、画像符号化装置、画像復号装置、及びプログラム
JP2021129148A (ja) 予測装置、符号化装置、復号装置、及びプログラム
WO2021251398A1 (ja) デブロッキングフィルタ装置、復号装置、及びプログラム
CN114830644A (zh) 图像编码方法和图像解码方法
CN114830647A (zh) 图像编码方法和图像解码方法
CN114830645A (zh) 图像编码方法和图像解码方法
CN114830641A (zh) 图像编码方法和图像解码方法
CN114830643A (zh) 图像编码方法和图像解码方法
CN114830650A (zh) 图像编码方法和图像解码方法
CN114788270A (zh) 图像编码方法和图像解码方法

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20061101

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061114

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120315

R150 Certificate of patent or registration of utility model

Ref document number: 4955216

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150323

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees