JP2012135033A - αチャンネル映像復号化装置、αチャンネル復号化方法及び記録媒体 - Google Patents
αチャンネル映像復号化装置、αチャンネル復号化方法及び記録媒体 Download PDFInfo
- Publication number
- JP2012135033A JP2012135033A JP2012045807A JP2012045807A JP2012135033A JP 2012135033 A JP2012135033 A JP 2012135033A JP 2012045807 A JP2012045807 A JP 2012045807A JP 2012045807 A JP2012045807 A JP 2012045807A JP 2012135033 A JP2012135033 A JP 2012135033A
- Authority
- JP
- Japan
- Prior art keywords
- block
- pixel value
- channel video
- encoded
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/21—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with binary alpha-plane coding for video objects, e.g. context-based arithmetic encoding [CAE]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】αチャンネル映像向けCBP生成装置及び方法、αチャンネル映像向け符号化又は復号化装置及び方法を提供する。
【解決手段】αチャンネル映像復号化装置は、αチャンネル映像を符号化したビット列を解析して、符号化単位である第1ブロック別に復号化するビット列解析部1010、復号化されたデータから第1ブロックに含まれる第2ブロック別に符号化ブロックパターンを抽出して解析する符号化ブロックパターン解析部1030、第2ブロックの符号化ブロックパターンによって、解析された符号化ブロックパターンと復号化された画素値とを利用して、現在αチャンネル映像を復元する映像復元部1050を含む。
【選択図】図10
【解決手段】αチャンネル映像復号化装置は、αチャンネル映像を符号化したビット列を解析して、符号化単位である第1ブロック別に復号化するビット列解析部1010、復号化されたデータから第1ブロックに含まれる第2ブロック別に符号化ブロックパターンを抽出して解析する符号化ブロックパターン解析部1030、第2ブロックの符号化ブロックパターンによって、解析された符号化ブロックパターンと復号化された画素値とを利用して、現在αチャンネル映像を復元する映像復元部1050を含む。
【選択図】図10
Description
本発明は映像符号化及び復号化に係り、特にαチャンネル映像のための符号化ブロックパターン(Coded Block Pattern:CBP)を生成する装置及び方法とそれを利用してαチャンネル映像を符号化または復号化するための装置及び方法に関する。
αチャンネル映像は、一般映像で特定領域を選択するマスクの役割を行う。ISO/IEC
MPEG−4ビデオ符号化国際標準では、映像内のオブジェクト単位で符号化できる方法を提供するが、このとき、オブジェクト単位で区分するために形状情報を別途に符号化する。この形状情報は、αチャンネル映像と同一に使用することができる。しかし、MPEG−4では、一般映像を符号化する方法とは異なる方法で形状情報を符号化するため、αチャンネル映像の符号化装置を具現することが容易ではなく、その計算量が多くなるためリアルタイムでの処理が難しい。
MPEG−4ビデオ符号化国際標準では、映像内のオブジェクト単位で符号化できる方法を提供するが、このとき、オブジェクト単位で区分するために形状情報を別途に符号化する。この形状情報は、αチャンネル映像と同一に使用することができる。しかし、MPEG−4では、一般映像を符号化する方法とは異なる方法で形状情報を符号化するため、αチャンネル映像の符号化装置を具現することが容易ではなく、その計算量が多くなるためリアルタイムでの処理が難しい。
最近、標準化が進められているISO/IEC MPEG及びITU−T VCEGのJVT(Joint Video Team)のH.264/MPEG−4 pt.10 AVC標準化技術(非特許文献1)では、多様な方法で空間及び時間予測符号化を行って、一般的な映像の符号化効率を大きく向上させた。また、整数変換符号化という改善された機能を使用し、エントロピー符号化もCABAC(Context Adaptive Binary Arithmetic Coding)を使用して符号化効率を向上させた。
しかしながら、αチャンネル映像を処理する方法については提供していない。
"Text of ISO/IEC FDIS 14496−10:Information Technology−Coding of audio−visual objects−Part10:Advanced Video Coding"、ISO/IEC JTC1/SC29/WG11,N5555,March,2003
"Text of ISO/IEC FDIS 14496−10:Information Technology−Coding of audio−visual objects−Part10:Advanced Video Coding"、ISO/IEC JTC1/SC29/WG11,N5555,March,2003
本発明が解決しようとする技術的課題は、αチャンネル映像のためのCBPを生成するための装置及び方法を提供することである。
また、本発明が解決しようとする他の技術的課題は、αチャンネル映像を符号化または復号化するための装置及び方法を提供することである。
また、本発明が解決しようとする他の技術的課題は、αチャンネル映像を符号化または復号化するための装置及び方法を提供することである。
前記した課題を達成するためになされた本発明によるαチャンネルのための符号化ブロックパターン生成装置は、αチャンネル映像で符号化単位に当る第1ブロックを複数の第2ブロックに分割するブロック分割部と、前記複数の第2ブロックに対してそれぞれ符号化ブロックパターンを割当て、第2ブロックに対する符号化ブロックパターンを組み合わせて前記第1ブロックに対する符号化ブロックパターンを生成する符号化ブロックパターン割当部と、を含む。
前記した課題を達成するためになされた本発明によるαチャンネルのための符号化ブロックパターン生成方法は、αチャンネル映像で符号化単位に当る第1ブロックを複数の第2ブロックに分割する段階と、前記複数の第2ブロックに対してそれぞれ符号化ブロックパターンを割当て、第2ブロックに対する符号化ブロックパターンを組み合わせて前記第1ブロックに対する符号化ブロックパターンを生成する段階と、を含む。
前記した他の課題を達成するためになされた本発明によるαチャンネル映像符号化装置は、αチャンネル映像で符号化単位に当る第1ブロックを構成する複数の第2ブロックに対してそれぞれ符号化ブロックパターンを割当てて前記第1ブロックに対する符号化ブロックパターンを生成する符号化ブロックパターン生成部と、前記第2ブロックの符号化ブロックパターンによって前記符号化ブロックパターン、または、前記符号化ブロックパターン及び前記第2ブロックの画素値を符号化するエントロピー符号化部と、を含む。
前記した他の課題を達成するためになされた本発明によるαチャンネル映像符号化方法は、αチャンネル映像で符号化単位に当る第1ブロックを構成する複数の第2ブロックに対してそれぞれ符号化ブロックパターンを割当てて前記第1ブロックに対する符号化ブロックパターンを生成する段階と、前記第2ブロックの符号化ブロックパターンによって前記符号化ブロックパターン、または、前記符号化ブロックパターン及び前記第2ブロックの画素値を符号化する段階と、を含む。
前記した他の課題を達成するためになされた本発明によるαチャンネル映像復号化装置は、αチャンネル映像を符号化したビット列を解析して符号化単位である第1ブロック別に復号化するビット列解析部と、前記復号化されたデータから前記第1ブロックに含まれる第2ブロック別に符号化ブロックパターンを抽出して解析する符号化ブロックパターン解析部と、前記第2ブロックの符号化ブロックパターンによって、前記解析された符号化ブロックパターンと復号化された画素値とを利用して現在αチャンネル映像を復元する映像復元部と、を含む。
前記した他の課題を達成するためになされた本発明によるαチャンネル映像復号化方法は、αチャンネル映像を符号化したビット列を解析して符号化単位の第1ブロック別に復号化する段階と、前記復号化されたデータから前記第1ブロックに含まれる第2ブロック別に符号化ブロックパターンを抽出して解析する段階と、前記第2ブロックの符号化ブロックパターンによって、前記解析された符号化ブロックパターンと復号化された画素値とを利用して現在αチャンネル映像を復元する段階と、を含む。
また、本発明では前記αチャンネル映像のための符号化ブロックパターン生成方法と前記αチャンネル映像符号化/復号化方法とをコンピュータに実行させるプログラムを記録したコンピュータ可読記録媒体を提供する。
本発明によるαチャンネル映像符号化/復号化装置及び方法は、一般映像信号とは独立してαチャンネル映像の符号化及び復号化が可能であるだけでなく、その構成が、一般的な映像符号化/復号化装置及び方法、例えば、H.264標準技術の構造と互換性があるため、共に具現して使用することが容易であり、少ない計算量で高い圧縮率を実現できる。
また、各ブロック別符号化ブロックパターンを組み合わせて、符号化単位で符号化ブロックパターンを生成することによって符号化ブロックパターンの符号化効率を向上させ、時空間予測符号化時に排他論理和演算を使用することによって画素値の符号化効率を向上させることができる。
以下、添付した図面を参照して、本発明の実施の形態によるαチャンネル映像符号化/復号化装置及び方法について詳細に説明する。
図1は、本実施の形態によるαチャンネル映像のための符号化ブロックパターン(以下、CBPと省略する)生成装置の構成を示すブロック図である。CBP生成装置は、ブロック分割部110及びCBP割当部130より構成される。
図1は、本実施の形態によるαチャンネル映像のための符号化ブロックパターン(以下、CBPと省略する)生成装置の構成を示すブロック図である。CBP生成装置は、ブロック分割部110及びCBP割当部130より構成される。
ブロック分割部110では、0または1の画素値を有するαチャンネル映像を、符号化単位に当る第1ブロックに分割した後、第1ブロックを所定サイズの第2ブロックに分割する。符号化単位が、例えば16×16マクロブロックである場合、αチャンネル映像をマクロブロックに分割し、各マクロブロックを、例えば、4個の8×8ブロックに分割する。
CBP割当部130では、ブロック分割部110で分割された第1ブロックに含まれる各第2ブロックに対してCBPを割当て、かつ組み合わせて第1ブロックの最終的なCBPを生成する。
図2は、図1に示したCBP割当部130による、元のαチャンネル映像に対してCBPを割当てる動作の例を説明するフローチャートである。
図2を参照すれば、第1ブロックを16×16画素ブロックとし、第1ブロックを4分割して4個の8×8画素ブロックとし、これを第2ブロックとしたときの、第2ブロックのCBP値を割当てる(210段階)。このとき、CBP値は{transparent,opaque,mixed}の値のうち一つを有する。一般的に、transparent(透明)は背景領域を、opaque(不透明)は選択された領域を意味するが、ここでは、第2ブロックの画素値全体がtransparentであるときに、このブロックのCBP値をtransparent(例えば、0)とし、第2ブロックの画素値全体がopaqueである時にこのブロックのCBP値をopaque(例えば、1)とし、第2ブロックの画素値が、一部はtransparent、残りはopaqueの値を有する場合、CBP値をmixed(例えば、2)とする。
図2を参照すれば、第1ブロックを16×16画素ブロックとし、第1ブロックを4分割して4個の8×8画素ブロックとし、これを第2ブロックとしたときの、第2ブロックのCBP値を割当てる(210段階)。このとき、CBP値は{transparent,opaque,mixed}の値のうち一つを有する。一般的に、transparent(透明)は背景領域を、opaque(不透明)は選択された領域を意味するが、ここでは、第2ブロックの画素値全体がtransparentであるときに、このブロックのCBP値をtransparent(例えば、0)とし、第2ブロックの画素値全体がopaqueである時にこのブロックのCBP値をopaque(例えば、1)とし、第2ブロックの画素値が、一部はtransparent、残りはopaqueの値を有する場合、CBP値をmixed(例えば、2)とする。
230段階では、第1ブロックに対するCBP値を決定する。このとき、4個の第2ブロックのCBP値を組み合わせて一つのCBP値を構成する。4個のブロックの有しうる値の数が3個であるので、第1ブロックのCBPの有しうる値の最大数は34=81個になる。このような第2ブロックのCBP値の81個の組み合わせから、第1ブロックのCBP値を決定する。81個の値が発生するので、固定長符号化をする場合、7ビットの符号が必要であるが、一般的に81個の組み合わせが発生する頻度が相異なるので、頻繁に発生する組み合わせの順序によって第1ブロックのCBP値を付与して可変長符号化することが効果的である。
または、81個の組み合わせのうち、発生頻度の低い組み合わせを統合して組み合わせの数を減らして符号化効率を向上させることもできる。例えば、いずれも0の画素値を有する8×8ブロックでマクロブロックが構成されるか、いずれも1の画素値を有する8×8ブロックでマクロブロックが構成されるか、いずれも0の画素値を有する8×8ブロックといずれも1の画素値を有する8×8ブロックとよりなる場合、16×16マクロブロックの構成形態(the configuration form)を‘00’に設定する。いずれも0の画素値を有する8×8ブロック及び0の画素値と1の画素値とが混在した8×8ブロックよりマクロブロックが構成される場合、マクロブロックの構成形態を‘01’に設定する。いずれも1の画素値を有する8×8ブロック及び0の画素値と1の画素値とが混在した8×8ブロックよりマクロブロックが構成される場合、マクロブロックの構成形態を‘10’に設定する。いずれも0の画素値を有する8×8ブロック、いずれも1の画素値を有する8×8ブロック及び0の画素値と1の画素値とが混在した8×8ブロックよりマクロブロックが構成される場合、マクロブロックの構成形態を‘01’に設定する。
次に、マクロブロックに含まれる4個の8×8ブロックのCBP情報をマクロブロックの構成形態によって4ビットに設定する。すなわち、各8×8ブロックのCBP情報は1ビットに設定されうる。例えば、マクロブロックの構成形態が‘10’に設定される場合、いずれも1の画素値を有する8×8ブロックのCBP情報は0、0の画素値と1の画素値とが混在した8×8ブロックのCBP情報は1に設定する。
次に、マクロブロックの構成形態を表す2ビットとマクロブロックに含まれたブロックのCBP情報を表す4ビットとを組み合わせて一つのマクロブロックに対するCBPを生成する。このようにマクロブロックに対するCBPを生成すれば、一つのマクロブロックの有しうるCBPの種類は6ビットで表現できる48個になる。このとき、4個の8×8ブロックの構成によって一つのマクロブロックが有しうる場合の数は、34(=81)個存在するが、符号化実験を通じて81個の場合の数のうち確率的な統計によって確率の高い48個の場合の数を選択したものである。表現しない31個の場合の数は、実験結果、ほぼ0%に近い確率分布を示した。
前記した210段階を図表化すれば、次に示す表1のように表せる。
図3は、図1に示したCBP割当部130による、予測符号化されたαチャンネル映像に対してCBPを割当てる動作の例を説明するフローチャートである。
図3を参照すれば、310段階では、予測符号化されたαチャンネル映像のマクロブロックを構成する各8×8ブロックに含まれる画素値が調べられる。予測符号化されたαチャンネル映像は、現在のαチャンネル映像と、空間予測映像(a spatial prediction image)または時間予測映像(a temporal prediction image)との間の排他論理和演算を行うことによって得られる。このとき、現在のαチャンネル映像と空間予測映像または時間予測映像との2つの画素値が同じであれば0、異なれば1の値が算出される。予測符号化されたα映像で任意のブロックがいずれも0の画素値を有する場合にCBP情報を0、任意のブロックがいずれも1の画素値を有するか、または0の画素値と1の画素値とが混在した場合にCBP情報を1に割当てる。
330段階では、4個の8×8ブロックに対する4個のCBP情報を組み合わせて一つの16×16マクロブロックに対するCBPを生成する。このようにマクロブロックのCBPを生成すれば、一つのマクロブロックの有することができるCBPの種類は、一つの8×8ブロックが{0,1}のうち一つの値を有することができるため、24=16個になる。
図4は、本実施の形態によるαチャンネル映像符号化装置の基本的な構成を示すブロック図である。αチャンネル映像符号化装置は、CBP生成部410及びビット列生成部450を含んで構成される。ここで符号化部(図5ないし図8の430)は、オプションとして含まれる構成要素であり、CBP生成部410の前段側または後段側に配置することができる。
図4を参照すれば、CBP生成部410では、αチャンネル映像の各符号化単位に対してCBPを生成する。元のαチャンネル映像または予測符号化されたαチャンネル映像で各符号化単位別にCBPを生成する方法は、図2または図3に示した方法による。各符号化単位別にCBP情報が生成された元のαチャンネル映像または予測符号化されたαチャンネル映像は、ビット列生成部450に提供される。
ビット列生成部450では、元のαチャンネル映像または予測符号化されたαチャンネル映像の各符号化単位に対してCBP生成部410で生成されたCBPによって符号化を行ってビット列を生成する。ここで、符号化単位に含まれる各ブロックの画素値が符号化されるか否かは、各ブロックに割当てられたCBPによって決定される。望ましくは、ビット列生成部450にエントロピー符号化を適用する。
ビット列生成部450が元のαチャンネル映像を受信した場合は、一部のマクロブロックはCBPのみから、その他のマクロブロックはCBPと画素値とから構成されるビット列が出力される。
また、CBPを生成した後に、予測符号化したαチャンネル映像を受信した場合、ビット列生成部450で生成されるビット列は、一部のマクロブロックはCBPのみから、その他のマクロブロックはCBP、予測モード及び予測符号化された画素値から構成される。
また、CBPを生成した後に、予測符号化、変換及び量子化したαチャンネル映像を受信した場合、ビット列生成部450で生成されるビット列は、一部のマクロブロックはCBPのみ、その他のマクロブロックはCBP、予測モード及び量子化された変換係数値から構成される。
また、CBPを生成した後に、予測符号化、変換及び量子化したαチャンネル映像を受信した場合、ビット列生成部450で生成されるビット列は、一部のマクロブロックはCBPのみ、その他のマクロブロックはCBP、予測モード及び量子化された変換係数値から構成される。
また、CBPを生成する前に、予測符号化されたαチャンネル映像を受信した場合、ビット列生成部450で生成されるビット列は、一部のマクロブロックは予測モードとCBPとから、その他のマクロブロックは予測モード、CBP及び予測符号化された画素値から構成される。
また、CBPを生成する前に、予測符号化、変換および量子化されたαチャンネル映像を受信した場合、ビット列生成部450で生成されるビット列は、一部のマクロブロックは予測モードとCBPとから、その他のマクロブロックは予測モード、CBP及び量子化された変換係数値から構成される。
図2に示した方法によって、各符号化単位のCBPを48個のうちから生成する場合において、各符号化単位のCBPで先頭の2ビットが‘01’または‘10’に設定すると、最後の4ビットに設定されたCBPの1つのマクロブロックである8×8ブロックは、0の画素値と1の画素値とが混在するので、当該8×8ブロックのCBP及びブロック内部の画素値を符号化してビット列に含め、それ以外の場合は、0の画素値と1の画素値とが混在していない場合であるため、各8×8ブロックのCBPのみを符号化してビット列に含める。また、図2に示した方法によって、各符号化単位のCBPを81個のうちから生成する場合において、各符号化単位でCBP情報が0または1である8×8ブロックは、CBP情報のみをエントロピー符号化してビット列に含め、CBP情報が2である8×8ブロックは、CBP情報及びブロック内部の画素値を符号化してビット列に含める。
一方、図3に示した方法によって、各符号化単位のCBPを16個のうちから生成する場合において、各符号化単位でCBP情報が0である8×8ブロック、すなわち、0の画素値のみからなるブロックの場合は、CBP情報のみをエントロピー符号化してビット列に含め、CBP情報が1である8×8ブロック、すなわち、1の画素値のみからなる、または0及び1の画素値が混在して構成される場合は、CBP情報及びブロック内部の画素値を符号化してビット列に含める。
一方、通常のH.264では、CAVLC(Context based Adaptive Variable Length Coding)及びCABACという2つのエントロピー符号化方法をサポートする。図2に示したCBP生成方法を使用する場合、H.264で使用するCAVLC及びCABAC用VLCテーブルを利用することができる。但し、αチャンネル映像の特性によってCBPの確率分布が一般映像のVLCテーブル上の確率分布と異なるので、αチャンネル映像のCBPの確率分布によってVLCテーブルを再構成する必要がある。また、CABACエントロピー符号化を使用する場合には、αチャンネル映像の特性上、イントラモードまたはインターモードに関係なく画素値が0である場合が多いので、CABACのための初期モデルをインターモードで使用するモデルとして適用して使用することによって、エントロピー符号化の効率を向上させることができる。
一方、時空間予測符号化を行った後にCBPを設定する場合、一つのマクロブロックは、16個のうちから一つのCBPを有することができる。この場合、一つのマクロブロックのCBP値によって割当てられるエントロピー符号化値の例は、次に示す表2の通りであり、このテーブルはイントラモード及びインターモードに対して区分せずに同一に適用することができる。
図5は、図4に示したαチャンネル映像符号化装置の第1実施例による構成を示すブロック図であって、符号化部430は、CBP生成部410とビット列生成部450との間に位置し、時空間予測部510及び時空間予測補償部530を含んで構成される。これにより、エントロピー符号化以前に時空間予測符号化を行い、予測符号化されたデータに対してエントロピー符号化を行う。
図5を参照すれば、CBP生成部410は、図2に示した方法に基づいてマクロブロックに対するCBPを生成する。CBPの生成結果、現在αチャンネル映像FnでCBPが‘transparent’または‘opaque’である8×8ブロックは、ビット列生成部450に提供されると同時に、そのまま復元された現在αチャンネル映像F’nとなり、CBPがmixedである8×8ブロックは時空間予測部510に提供される。
時空間予測部510では、イントラモードの場合、復元された現在αチャンネル映像F’nを参照する空間予測を行って空間予測映像を生成し、現在αチャンネル映像Fnと空間予測映像との間の排他論理和演算を行い、その結果値を時空間予測補償部530に提供すると同時に、ビット列生成部450に提供する。一方、時空間予測部510では、インターモードの場合、復元された以前αチャンネル映像F’n−1を参照する時間予測を行って時間予測映像を生成し、現在αチャンネル映像Fnと時間予測映像との間の排他論理和演算による符号化を行い、その結果値を時空間予測補償部530に提供すると同時に、ビット列生成部450に提供する。このように現在のαチャンネル映像と空間予測映像または時間予測映像との間の排他論理和演算による符号化を行えば、現在のαチャンネル映像と空間予測映像または時間予測映像との2つの画素値が同じであれば0、異なれば1の値が出る。すなわち、時空間予測によって{0,1}の2つの画素値のみ出るので、画素値の符号化効率を向上させることができる。復号化時にも同様に排他論理和演算を行って元のαチャンネル映像を復元することができる。
時空間予測補償部530では、時空間予測部510から提供される時間予測符号化されたデータまたは空間予測符号化されたデータを補償して復元された現在αチャンネル映像F’nを生成する。一方、CBP生成部410での生成されたCBPのすべての画素値が‘opaque’である8×8ブロックを表す場合及びすべての画素値が‘transparent’である8×8ブロックを表す場合、各8×8ブロックはCBPに合せて現在αチャンネル映像Fnを復元する。
図6は、図4に示したαチャンネル映像符号化装置の第2実施例による構成を示すブロック図であって、図5に示したαチャンネル映像符号化装置に、変換/量子化部630及び逆量子化/逆変換部650をさらに含んで構成される。これにより、エントロピー符号化以前に時空間予測符号化を行い、時空間予測符号化されたデータに対して変換及び量子化を行い、変換及び量子化されたデータをエントロピー符号化する。
図6に示す時空間予測部610には、現在αチャンネル映像Fnの0の画素値と1の画素値とが混在するブロックが入力される。時空間予測部610では、イントラモードの場合、復元された現在αチャンネル映像F’nを参照する空間予測を行って空間予測映像を生成し、現在のαチャンネル映像と空間予測映像間の排他論理和演算による符号化を行い、その結果値を変換/量子化部630に提供する。そして、時空間予測部610では、インターモードで復元された以前αチャンネル映像F’n−1を参照して時間予測符号化を行って時間予測映像を生成し、現在のαチャンネル映像と空間予測映像間の排他論理和演算による符号化を行い、その結果値を符号化して変換/量子化部630に提供する。
変換/量子化部630では、時空間予測部610から提供される時空間予測符号化されたデータを、例えば、DCT変換のような変換及び量子化を行い、変換及び量子化されたデータをビット列生成部450に提供すると同時に、逆量子化/逆変換部650に提供する。
逆量子化/逆変換部650では、変換/量子化部630で変換及び量子化されたデータを逆量子化及び逆変換し、逆量子化及び逆変換されたデータを時空間予測補償部670に提供する。
時空間予測補償部670では、逆量子化/逆変換部650で逆量子化及び逆変換されたデータを補償して、復元された現在αチャンネル映像F’nを生成する。一方、CBP生成部410での生成されたCBPのすべての画素値が‘opaque’である8×8ブロックを表す場合及びすべての画素値が‘transparent’である8×8ブロックを表す場合、各8×8ブロックはCBPに合せて現在αチャンネル映像F’nを復元する。
図7は、図4に示したαチャンネル映像符号化装置の第3実施例による構成を示すブロック図であって、符号化部430はCBP生成部410の前段側に位置し、時空間予測部710及び時空間予測補償部730を含んで構成される。これにより、復元された以前αチャンネル映像または復元された現在αチャンネル映像を参照して現在αチャンネル映像に対して時空間予測符号化を行い、予測符号化されたデータに対してCBPを生成する。
図7に示した時空間予測部710では、現在αチャンネル映像Fnを入力として、イントラモードの場合、復元された現在αチャンネル映像F’nを参照する空間予測を行って空間予測映像を生成し、現在αチャンネル映像Fnと空間予測映像間の排他論理和演算による符号化を行い、その結果値をCBP生成部410に提供する。一方、インターモードの場合、時空間予測部710では、復元された以前αチャンネル映像F’n−1を参照して時間予測を行って時間予測映像を生成し、現在αチャンネル映像Fnと時間予測映像間の排他論理和演算による符号化を行い、その結果値をCBP生成部410に提供する。
このように現在のαチャンネル映像と空間予測映像または時間予測映像との間の排他論理和演算を行えば、現在のαチャンネル映像と空間予測映像または時間予測映像との2つの画素値が同じであれば0、異なれば1の値が出る。すなわち、時空間予測によって{0,1}の2つの画素値のみ出るので、画素値の符号化効率を向上させることができる。復号化時にも同様に、排他論理和演算を行って元のαチャンネル映像を復元することができる。
CBP生成部410は、図3に示した方法に基づいてマクロブロックに対するCBPを生成する。CBP生成部410では、時空間予測部710で時空間予測符号化されたデータに対してCBPを生成し、時空間予測符号化されたデータは、CBPと共にビット列生成部450及び時空間予測補償部730に提供される。時空間予測符号化されたデータは‘opaque’と‘transparent’に関係なく現在αチャンネル映像と時間予測映像または空間予測映像との2つの画素値が同じである場合は0、異なる場合は1の値を有するので、すべての画素値が0であるブロックのCBP情報は0を、それ以外のブロックのCBP情報は1に設定することができる。これにより、一つのマクロブロックに対するCBPの種類を24(=16)個に減らせるので、CBPの符号化効率を向上させることができる。
ビット列生成部450では、CBP生成部410から提供される各ブロックのCBPを参照して、CBPが0であるブロックは、ブロック内部の画素値をエントロピー符号化せずにCBPのみをエントロピー符号化し、CBPが1であるブロックは、CBP及びブロック内部の画素値をエントロピー符号化してビット列を生成する。
時空間予測補償部730では、CBP生成部410から提供されるCBPに関係なく時空間予測符号化されたデータを補償して復元された現在αチャンネル映像F’nを生成する。
図8は、図4に示したαチャンネル映像符号化装置の第4実施例による構成を示すブロック図であって、図7に示したαチャンネル映像符号化装置に、変換/量子化部830及び逆量子化/逆変換部850をさらに含んで構成される。これにより、復元された以前αチャンネル映像または復元された現在αチャンネル映像を参照して現在αチャンネル映像に対して時空間予測符号化を行い、予測符号化されたデータに対して変換及び量子化を行った後、各ブロックに対してCBPを生成する。
図8に示した時空間予測部810では、イントラモードの場合、復元された現在αチャンネル映像F’nを参照する空間予測を行って空間予測映像を生成し、現在αチャンネル映像Fnと空間予測映像間の排他論理和演算による符号化を行い、その結果値を変換/量子化部830に提供する。一方、時空間予測部810では、インターモードの場合、復元された以前αチャンネル映像F’n−1を参照する時間予測を行って時間予測映像を生成し、現在αチャンネル映像Fnと時間予測映像間の排他論理和演算による符号化を行い、その結果値を変換/量子化部830に提供する。
変換/量子化部830では、時空間予測部810で時空間予測符号化されたデータに対して変換及び量子化し、変換及び量子化されたデータをCBP生成部410に提供する。時空間予測符号化されたデータで画素値がいずれも0であるブロックに対しては変換及び量子化を行わずにCBP生成部410に提供される。
CBP生成部410では、変換/量子化部830から提供されるデータに対してCBPを生成し、変換及び量子化されたデータは、CBPと共にビット列生成部450及び逆量子化/逆変換部850に提供され、変換及び量子化されていないデータは、CBPと共にビット列生成部450及び時空間予測補償部870に提供される。
ビット列生成部450では、CBP生成部410から提供される各ブロックのCBP情報を参照して、CBP情報が0であるブロックは、ブロック内部の画素値をエントロピー符号化せずにCBP情報のみをエントロピー符号化し、CBP情報が1であるブロックは、CBP情報をエントロピー符号化した後、ブロック内部の画素値をエントロピー符号化してビット列を生成する。
逆量子化/逆変換部850では、CBP生成部410から提供される変換及び量子化されたデータを逆量子化及び逆変換し、この逆量子化及び逆変換されたデータを時空間予測補償部870に提供する。
時空間予測補償部870では、逆量子化/逆変換部850で逆量子化及び逆変換されたデータまたは時空間予測部810で予測符号化されたデータを補償して復元された現在αチャンネル映像F’nを生成する。一方、CBP生成部410で生成されたCBPのすべての画素値が0である8×8ブロックを表す場合、当該8×8ブロックは時空間予測補償された後に、復元された現在αチャンネル映像F’nを生成する。
図9は、本実施の形態によるαチャンネル映像符号化方法を説明するフローチャートである。図9を参照すれば、910段階では、αチャンネル映像の各符号化単位に対してCBPを生成する。このとき、αチャンネル映像の各ブロック別にCBPを生成する方法は、図2に示した方法による。
930段階では、αチャンネル映像の各ブロック別に生成されたCBPによってエントロピー符号化を行ってビット列を生成する。ここで、910段階以後に時空間予測符号化を行うか、または時空間予測符号化と変換及び量子化とを行うことができる。
一方、910段階以前に時空間予測符号化を行うか、または時空間予測符号化と変換及び量子化とを行うこともできる。この場合、910段階でαチャンネル映像の時空間予測符号化されたデータに対して各ブロック別にCBPを生成する方法は、前記したように図3に示した方法による。これにより、930段階でエントロピー符号化を行う方法も前記したように変更することができる。
図10は、本実施の形態によるαチャンネル映像復号化装置の基本的な構成を示すブロック図である。αチャンネル映像復号化装置は、ビット列解析部1010、CBP解析部1030及び映像復元部1050を含んで構成される。αチャンネル映像符号化装置で時空間予測符号化が行われたか否かによって映像復元部1050の構成が変更される。
図10に示したビット列解析部1010では、入力されるビット列を解析する。望ましくは、エントロピー復号化を適用する。
CBP解析部1030では、ビット列解析部1010で解析されたデータについて、CBP情報を各マクロブロック別に解析する。
CBP解析部1030では、ビット列解析部1010で解析されたデータについて、CBP情報を各マクロブロック別に解析する。
映像復元部1050は、CBP解析部1030で解析されたCBP情報を参照して任意のマクロブロックでいずれも‘opaque’または、いずれも‘transparent’である8×8ブロックの場合に、CBPに合せてαチャンネル映像を復元し、2つの場合が混在する8×8ブロックの場合に、当該ブロックのエントロピー復号化された画素値を利用してαチャンネル映像を復元する。
図11は、図10に示したαチャンネル映像復号化装置の第1実施例による構成を示すブロック図である。αチャンネル映像復号化装置の映像復元部1050は、時空間予測補償部1110を含んで構成される。図11のαチャンネル映像復号化装置は、図5に示したαチャンネル映像符号化装置に対応する装置である。
図11に示した時空間予測補償部1110では、CBP解析部1030で解析されたCBP情報を参照し‘opaque’と‘transparent’とが混在する8×8ブロックの場合、当該ブロックの画素値をエントロピー復号化した後、時空間予測補償を行って現在αチャンネル映像F’nを復元する。このとき、イントラモードの場合、復元された現在αチャンネル映像F’nを参照する空間予測補償を行い、インターモードの場合、復元された以前αチャンネル映像F’n−1を参照する時間予測補償を行う。
一方、CBP解析部1030で解析されたCBP情報を参照していずれも‘opaque’であるブロックと、いずれも‘transparent’である8×8ブロックとは、CBPに合せて現在αチャンネル映像F’nを復元する。
図12は、図10に示したαチャンネル映像復号化装置の第2実施例による構成を示すブロック図であって、映像復元部1050は、図11に示したαチャンネル映像復号化装置に対して、逆量子化/逆変換部1210をさらに含んで構成される。図12のαチャンネル映像復号化装置は、図6のαチャンネル映像符号化装置に対応する装置である。
図12に示した逆量子化/逆変換部1210では、CBP解析部1030で解析されたCBP情報を参照して‘opaque’と‘transparent’とが混在する8×8ブロックの場合、当該ブロックの画素値を逆量子化及び逆変換し、逆量子化及び逆変換されたデータを時空間予測補償部1230に提供する。
時空間予測補償部1230では、逆量子化及び逆変換されたデータに対して時空間予測補償を行って現在αチャンネル映像F’nを復元する。このとき、イントラモードの場合、復元された現在αチャンネル映像F’nを参照する空間予測補償を行い、インターモードの場合、復元された以前αチャンネル映像F’n−1を参照する時間予測補償を行う。
一方、CBP解析部1030で解析されたCBP情報を参照して、いずれも‘opaque’であるブロックといずれも‘transparent’である8×8ブロックとは、CBPに合せて現在αチャンネル映像F’nを復元する。
図13は、図10に示したαチャンネル映像復号化装置の第3実施例による構成を示すブロック図である。αチャンネル映像復号化装置は、時空間予測補償部1310を含んで構成される。図13のαチャンネル映像復号化装置は、図7のαチャンネル映像符号化装置に対応する装置である。
図13に示した、時空間予測補償部1310では、CBP解析部1030で解析されたCBP情報に関係なく、すべての8×8ブロックに対して時空間予測補償を行って現在αチャンネル映像F’nを復元する。このとき、イントラモードの場合、復元された現在αチャンネル映像F’nを参照する空間予測補償を行い、インターモードの場合、復元された以前αチャンネル映像F’n−1を参照する時間予測補償を行う。
図14は、図10に示したαチャンネル映像復号化装置の第4実施例による構成を示すブロック図である。αチャンネル映像復号化装置は、逆量子化/逆変換部1410と時空間予測補償部1430とを含んで構成される。図14のαチャンネル映像復号化装置は、図8のαチャンネル映像符号化装置に対応する装置である。
図14に示した逆量子化/逆変換部1410では、CBP解析部1030で解析されたCBP情報を参照して、CBPが1である8×8ブロックに対して逆量子化及び逆変換を行い、逆量子化及び逆変換されたデータを時空間予測補償部1430に提供する。
時空間予測補償部1430では、CBPが1である8×8ブロックの逆量子化及び逆変換されたデータ及びCBPが0である8×8ブロックのエントロピー復号化されたデータに対して時空間予測補償を行って現在αチャンネル映像F’nを復元する。この時、イントラモードの場合、復元された現在αチャンネル映像F’nを参照する空間予測補償を行い、インターモードの場合、復元された以前αチャンネル映像F’n−1を参照する時間予測補償を行う。
図15は、本実施の形態によるαチャンネル映像復号化方法を説明するフローチャートである。図15を参照すれば、1510段階では、入力されるビット列をエントロピー復号化する。
1530段階では、エントロピー復号化されたデータから各マクロブロック別にCBP情報を抽出し、各マクロブロックに含まれるブロックのCBPを解析する。1550段階では、各ブロックの解析されたCBPを参照して、いずれも‘opaque’または、いずれも‘transparent’であるブロックの場合、これに合せて映像を復元し、2つの場合が混在したブロックの場合、当該ブロックの画素値を復号化してαチャンネル映像を復元する。
図16Aないし図16Dは、本実施の形態によるαチャンネル映像を符号化する過程を説明する図面である。図16Aで、参照符号1610は元映像であり、参照符号1630は原映像でマスキングしようとする部分を示すαチャンネル映像である。αチャンネル映像で、黒い部分は‘transparent’部分であって0の画素値を有し、白い部分は‘opaque’部分であって1の画素値を有する。図16Bは、αチャンネル映像1630を一定サイズのブロック、例えば、8×8ブロック単位で分割した例を示す。図16Cは、8×8ブロックに含まれた画素値がいずれも‘transparent’であれば、CBP情報を‘0’に、いずれも‘opaque’であれば、CBP情報を‘1’に、2つが混在する‘mixed’であれば、CBP情報を‘2’に設定したものを表す。
図16Cにおいて、CBP情報が0または1である場合には、8×8ブロックの画素値を符号化せずにCBP情報のみ符号化しても復号化時にCBP情報のみ復号化してαチャンネル映像を復元することができる。一方、CBP情報が2である場合には、CBP情報だけでなく、8×8ブロックの画素値を符号化しなければならない。各画素値を符号化する方法としては、各ブロックの画素値を一定の順序でスキャニングした後、エントロピー符号化、すなわち、ランレベル符号化を行い、このとき、一般的なMPEG−4及びH.264の方法を適用することができる。MPEG−4では、8×8ブロック単位で(Last,Run,Level)を符号化する3Dランレベル符号化方法を使用する。ここで、‘Last’は、現在ブロックの内部に0ではない符号化する値の有無を表す。H.264では、4×4ブロック単位でランとレベルとを符号化する方法を使用する。それぞれの場合において、各レベルの符号は別々に符号化されるが、αチャンネル映像を符号化する場合には、各レベルの符号を符号化する必要がない。
また、ランレベル符号化以前に時空間予測符号化を行い、予測符号化された値をランレベル符号化することもできる。また、時空間予測符号化以後に変換及び量子化を行い、量子化された値をランレベル符号化することもできる。αチャンネル映像のような2値映像で予測符号化を行う場合には、予測された画素値と現在ブロックの画素値との間の減算演算の代わりに排他的論理和演算を行う。減算演算を行えば、予測された画素値と現在ブロックの画素値とが同じである場合に0、異なる場合に1または−1の値を有する。しかし、本実施の形態のように排他的論理和演算を行えば、予測された画素値と現在ブロックの画素値とが同じである場合に0、異なる場合に1の値を得られるので、ブロックの画素値を符号化する時に各レベルの符号ビットを符号化する必要がなくなる。
図16Dは、予測符号化を行った結果によって各8×8ブロックにCBP情報を割当てた例を示す。予測符号化を行えない場合には、CBP情報は{0,1,2}の3つの値を有する。しかし、予測符号化を行った場合には、排他的論理和演算の結果によって‘tansparent’と‘opaque’との区分なしにいずれも0である場合とそうでない場合との2つに区分することができるので、CBP情報は{0,1}の2つの値を有する。このように予測符号化を行えば、いずれも0の画素値を有するブロックの数が増加するため、CBP情報の符号化効率は向上する一方、各ブロック別に予測方法によってイントラ方式の場合に予測モードを、インター方式の場合に動きベクトルを符号化しなければならないため、全体符号化効率は低下する恐れがある。
図17Aないし図17Cは、ブロックの画素値を符号化するためのスキャニング順序の例を示す図面であって、H.264での方法のように、4×4ブロック単位で画素値を符号化することを仮定したものである。図17Aはジグザグスキャン、図17Bは水平スキャン、図17Cは垂直スキャンをそれぞれ表す。スキャニング順序は、前記の3つの方法のうち特定の方法を固定して使用することもでき、幾つかの方法を混合して使用することもできる。後者の場合、スキャニング順序を決定するために、各ブロック別に符号化されて伝送されスキャニングタイプを利用するか、またはスキャニングタイプの代わりに周辺の情報を使用して決定することができる。例えば、変換符号化を行えない場合、イントラ予測モードによって水平予測を行う場合には水平スキャンを、垂直予測を行う場合には垂直スキャンを使用することができる。また、隣接したブロックの画素値を利用して水平方向に対する勾配及び垂直方向に対する勾配を測定して2つの値が一定範囲内で類似する場合にはジグザグスキャンを使用し、そうでない場合には水平方向に対する勾配が垂直方向に対する勾配より大きければ垂直スキャンを、その逆の場合には水平スキャンを使用する。
図18は、映像の時間予測のために映像を一定サイズのブロックに分割する方法の一例を示す図面である。この方法は、ISO/IEC14496−10及びITU−T
Rec.H.264標準技術で使用する方法である。この方法では、基本的に縦/横16画素サイズのマクロブロックを16×16、16×8、8×16、8×8の多様なサイズに分割し、それぞれ動きベクトルを求めて時間映像値を予測する。特に、8×8サイズのブロックは、8×8、8×4、4×8、4×4サイズに分割して精細な動きも正確に感知可能にする。
Rec.H.264標準技術で使用する方法である。この方法では、基本的に縦/横16画素サイズのマクロブロックを16×16、16×8、8×16、8×8の多様なサイズに分割し、それぞれ動きベクトルを求めて時間映像値を予測する。特に、8×8サイズのブロックは、8×8、8×4、4×8、4×4サイズに分割して精細な動きも正確に感知可能にする。
また、時間予測を使用する場合、マクロブロック(MB:MacroBlock)スキップという方法を適用することも可能である。これは予測された映像と現在映像との間の差映像で任意のマクロブロックに対する画素値の絶対値の和が所定の閾値以下である場合、当該マクロブロックの画素値を符号化せずに、省略するという表示のみを符号化するものである。これにより、CBP情報、動きベクトル、画素値などすべての情報に対する符号化が省略され、現在マクロブロックの画素値は対応する以前映像の画素値をそのまま使用する。例えば、以前映像で現在映像と同じ位置にあるマクロブロックの画素値をそのまま使用するか、または現在マクロブロックの周辺にあるマクロブロックの動きベクトルを利用して以前映像の特定位置を計算し、その位置にあるマクロブロックの画素値をそのまま使用する。
また、時間予測を使用する場合、1/2画素または1/4画素動き予測方法を使用するために、以前映像を2倍または4倍に拡大した後に動き予測を行うこともできる。このような映像の拡大のために、MPEG−4では双線形補間を行い、H.264では6タップフィルターを使用した補間を行う。しかし、αチャンネル映像では計算量を簡単にするためにこのような動き予測過程を省略し、このような動き予測過程を適用するためには前記補間方法だけでなく、計算量を簡単にする別途の補間方法を使用することができる。
図19Aは、空間予測のための隣接画素の位置と予測する現在ブロックの画素の位置とを示す図面である。図18に示した方法と同様に、この方法はISO/IEC14496−10及びITU−T
Rec.H.264標準技術で使用する方法である。この方法では4×4サイズのブロックデータPa,Pb,..,Pqを予測するために以前に符号化されて復元された空間上の隣接したデータP0,P1,...,P12を利用する。
Rec.H.264標準技術で使用する方法である。この方法では4×4サイズのブロックデータPa,Pb,..,Pqを予測するために以前に符号化されて復元された空間上の隣接したデータP0,P1,...,P12を利用する。
図19Bは、空間上隣接した画素から投影して現在ブロックを予測するための0から8までの9つの予測方向を示す。例えば、0の方向の場合は、隣接した画素値P1、P2、P3及びP4を垂直方向に投影してPa、Pe、Pi及びPmはP1の値、Pb、Pf、Pj及びPnはP2の値、Pc、Pg、Pk及びPoはP3の値、Pd、Ph、Pl及びPqはP4の値に予測する。他の方向の場合も同様に、投影を通じて予測する。
図18及び図19に示した時空間予測方法は、既存の標準技術を一例として説明したものであって、他の方法を使用することも可能である。
図18及び図19に示した時空間予測方法は、既存の標準技術を一例として説明したものであって、他の方法を使用することも可能である。
本発明は、コンピュータ可読記録媒体にコンピュータ可読コードとして具現することも可能である。このコンピュータ可読記録媒体には、コンピュータシステムによって読出されるデータが保存されるすべての種類の記録装置を含む。コンピュータ可読記録媒体の例としては、ROM(Read Only Memory)、RAM(Random Access Memory)、CD−ROM(Compact Disc-ROM)、磁気テープ、フロッピー(登録商標)ディスク、光データ保存装置などがあり、またキャリアウェーブ(例えば、インターネットを通じた伝送)の形で具現されるものも含む。また、コンピュータ可読記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータ可読コードが保存されかつ実行することもできる。そして、本発明を具現するための機能的なプログラム、コード及びコードセグメントは、本発明が属する技術分野のプログラマーであれば容易に推論することができる。
本発明を、図面を参照しつつ実施の形態を参考として説明したが、これは例示的なものに過ぎず、当業者ならば、これから多様な変形及び均等な他の実施例を実施可能であると考えられる。したがって、本発明の真の技術的保護範囲は、特許請求の範囲に記載された技術的思想によって決定されなければならない。
本発明によるαチャンネル映像符号化/複合化装置及び方法は、送信側では元のαチャンネル映像、予測符号化されたαチャンネル映像または予測符号化及び変換/量子化されたαチャンネル映像を符号化して伝送し、受信側では受信されたビット列からαチャンネル映像を復元可能にすることによって動映像コンテンツ製作及び編集に広く使用されるαチャンネル映像の処理/伝送及び保管を容易にする。
110:ブロック分割部
130:CBP割当部
410:CBP生成部
450:ビット列生成部
430:符号化部
510,610,710,810:時空間予測部
530,670,730,870,1110,1230,1310,1430:時空間予測補償部
630,830:変換/量子化部
650,850,1210,1410:逆量子化/逆変換部
1010:ビット列解析部
1030:CBP解析部
1050:映像復元部
130:CBP割当部
410:CBP生成部
450:ビット列生成部
430:符号化部
510,610,710,810:時空間予測部
530,670,730,870,1110,1230,1310,1430:時空間予測補償部
630,830:変換/量子化部
650,850,1210,1410:逆量子化/逆変換部
1010:ビット列解析部
1030:CBP解析部
1050:映像復元部
Claims (20)
- αチャンネル映像を符号化したビット列を解析して、符号化単位である第1ブロック別に復号化するビット列解析部と、
前記復号化されたデータから前記第1ブロックに含まれる第2ブロック別に符号化ブロックパターンを抽出して解析する符号化ブロックパターン解析部と、
前記第2ブロックの符号化ブロックパターンによって、前記解析された符号化ブロックパターンと復号化された画素値とを利用して、現在αチャンネル映像を復元する映像復元部と、
を含むことを特徴とするαチャンネル映像復号化装置。 - 前記映像復元部は、
前記第2ブロックの画素値が透明である場合、いずれも不透明である場合、または、透明と不透明とが混在する混合の場合に分けて前記第2ブロックの符号化ブロックパターンが割当れられる場合、
前記復号化された画素値が‘透明’の画素値と‘不透明’の画素値とをいずれも有していることを表す‘混合’符号化ブロックパターンが割当てられた第2ブロックに対して時空間予測補償を行って現在αチャンネル映像を復元すること、
を特徴とする請求項1記載のαチャンネル映像復号化装置。 - 前記映像復元部は、
前記第2ブロックの画素値が透明である場合、いずれも不透明である場合、または、透明と不透明とが混在する混合の場合に分けて前記第2ブロックの符号化ブロックパターンを割当てる場合、
前記エントロピー復号化された画素値が‘透明’の画素値と‘不透明’の画素値とをいずれも有していることを表す‘混合’符号化ブロックパターンが割当てられた第2ブロックに対して時空間予測補償と逆量子化及び逆変換とを行って現在αチャンネル映像を復元すること、
を特徴とする請求項1記載のαチャンネル映像復号化装置。 - 前記映像復元部は、
前記第1ブロックを構成する複数の第2ブロックの構成形態を分類し、分類された構成形態によって前記第2ブロックの符号化ブロックパターンが割当てられる場合、
前記復号化された画素値が‘透明’の画素値と‘不透明’の画素値とをいずれも有していることを表す‘混合’符号化ブロックパターンが割当てられた第2ブロックに対して時空間予測補償を行って現在αチャンネル映像を復元すること、
を特徴とする請求項1記載のαチャンネル映像復号化装置。 - 前記映像復元部は、
前記第1ブロックを構成する複数の第2ブロックの構成形態を分類し、分類された構成形態によって前記第2ブロックの符号化ブロックパターンが割当てられる場合、
前記復号化された画素値が‘透明’の画素値と‘不透明’の画素値とをいずれも有していることを表す‘混合’符号化ブロックパターンが割当てられた第2ブロックに対して時空間予測補償と逆量子化及び逆変換とを行って現在αチャンネル映像を復元すること、
を特徴とする請求項1記載のαチャンネル映像復号化装置。 - 前記映像復元部は、
時空間予測符号化されたαチャンネル映像で、前記第2ブロックの画素値がいずれも0である場合とそうではない場合とに分けて前記第2ブロックの符号化ブロックパターンを割当てる場合、
前記復号化された第2ブロックの符号化ブロックパターンに関係なく、すべての第2ブロックに対して時空間予測補償を行って現在αチャンネル映像を復元すること、
を特徴とする請求項1記載のαチャンネル映像復号化装置。 - 前記映像復元部は、
時空間予測符号化されたαチャンネル映像で前記第2ブロックの画素値がいずれも0である場合とそうではない場合とに分けて前記第2ブロックの符号化ブロックパターンを割当てる場合、
前記復号化された第2ブロックの符号化ブロックパターンに関係なく、すべての第2ブロックに対して時空間予測補償と逆量子化及び逆変換とを行って現在αチャンネル映像を復元すること、
を特徴とする請求項1記載のαチャンネル映像復号化装置。 - 前記映像復元部は、
前記復号化された第2ブロックの画素値と、前記第2ブロックの画素値に対して復元された以前映像または復元された現在映像を参照して、予測された画素値間の排他論理和演算を行って時空間予測補償された第2ブロックを生成すること、
を特徴とする請求項2乃至7の何れか記載のαチャンネル映像復号化装置。 - 前記ビット列解析部では、前記ブロックの画素値を復号化するために使用するスキャニング順序が、隣接ブロックの画素値を使用して計算した垂直方向に対する勾配及び水平方向に対する勾配によって変わること、
を特徴とする請求項1記載のαチャンネル映像復号化装置。 - 前記ビット列解析部では、前記ブロックの画素値を復号化するために使用するスキャニング順序が、隣接ブロックの画素値を使用して計算した垂直方向に対する勾配及び水平方向に対する勾配によって変わること、
を特徴とする請求項2乃至7の何れか記載のαチャンネル映像復号化装置。 - 前記ビット列解析部では、前記ブロックの画素値を復号化するために使用するスキャニング順序が、予測モードによって変わること、
を特徴とする請求項2乃至7の何れか記載のαチャンネル映像復号化装置。 - αチャンネル映像を符号化したビット列を解析して、符号化単位の第1ブロック別に復号化する段階と、
前記復号化されたデータから前記第1ブロックに含まれる第2ブロック別に符号化ブロックパターンを抽出して解析する段階と、
前記第2ブロックの符号化ブロックパターンによって、前記解析された符号化ブロックパターンと復号化された画素値とを利用して現在αチャンネル映像を復元する段階と、
を含むことを特徴とするαチャンネル映像復号化方法。 - 前記映像復元段階は、
前記第2ブロックの画素値がいずれも透明である場合、いずれも不透明である場合、または透明と不透明とが混在する場合に分けて前記第2ブロックの符号化ブロックパターンが割当てられる場合、
前記復号化された画素値が‘透明’の画素値と‘不透明’の画素値とをいずれも有していることを表す‘混合’符号化ブロックパターンが割当てられた第2ブロックに対して時空間予測補償を行って現在αチャンネル映像を復元すること、
を特徴とする請求項12記載のαチャンネル映像復号化方法。 - 前記映像復元段階は、
前記第2ブロックの画素値がいずれも透明である場合、いずれも不透明である場合、または透明と不透明とが混在する場合に分けて前記第2ブロックの符号化ブロックパターンを割当てる場合、
前記復号化された画素値が‘透明’の画素値と‘不透明’の画素値とをいずれも有していることを表す‘混合’符号化ブロックパターンが割当てられた第2ブロックに対して時空間予測補償と逆量子化及び逆変換とを行って現在αチャンネル映像を復元すること、
を特徴とする請求項12記載のαチャンネル映像復号化方法。 - 前記映像復元段階は、
前記第1ブロックを構成する複数の第2ブロックの構成形態を分類し、分類された構成形態によって前記第2ブロックの符号化ブロックパターンが割当てられる場合、
前記復号化された画素値が‘透明’の画素値と‘不透明’の画素値とをいずれも有していることを表す‘混合’符号化ブロックパターンが割当てられた第2ブロックに対して時空間予測補償を行って現在αチャンネル映像を復元すること、
を特徴とする請求項12記載のαチャンネル映像復号化方法。 - 前記映像復元段階は、
前記第1ブロックを構成する複数の第2ブロックの構成形態を分類し、分類された構成形態によって前記第2ブロックの符号化ブロックパターンが割当てられる場合、
前記復号化された画素値が‘透明’の画素値と‘不透明’の画素値とをいずれも有していることを表す‘混合’符号化ブロックパターンが割当てられた第2ブロックに対して時空間予測補償と逆量子化及び逆変換とを行って現在αチャンネル映像を復元すること、
を特徴とする請求項12記載のαチャンネル映像復号化方法。 - 前記映像復元段階は、
時空間予測符号化されたαチャンネル映像で前記第2ブロックの画素値がいずれも0である場合とそうではない場合とに分けて前記第2ブロックの符号化ブロックパターンを割当てる場合、
前記復号化された第2ブロックの符号化ブロックパターンに関係なく、すべての第2ブロックに対して時空間予測補償を行って現在αチャンネル映像を復元すること、
を特徴とする請求項12記載のαチャンネル映像復号化方法。 - 前記映像復元段階は、
時空間予測符号化されたαチャンネル映像で前記第2ブロックの画素値がいずれも0である場合とそうではない場合とに分けて前記第2ブロックの符号化ブロックパターンを割当てる場合、
前記復号化された第2ブロックの符号化ブロックパターンに関係なく、すべての第2ブロックに対して時空間予測補償と逆量子化及び逆変換とを行って現在αチャンネル映像を復元すること、
を特徴とする請求項12記載のαチャンネル映像復号化方法。 - 前記復号化された第2ブロックの画素値と、前記第2ブロックの画素値に対して復元された以前映像または復元された現在映像を参照して予測された画素値との間の排他論理和演算を行って時空間予測補償された第2ブロックを生成すること、
を特徴とする請求項13乃至18の何れか記載のαチャンネル映像復号化方法。 - コンピュータに、
αチャンネル映像を符号化したビット列を解析して符号化単位の第1ブロック別に復号化する段階と、
前記復号化されたデータから前記第1ブロックに含まれる第2ブロック別に符号化ブロックパターンを抽出して解析する段階と、
前記第2ブロックの符号化ブロックパターンによって、前記解析された符号化ブロックパターンと復号化された画素値とを利用して現在αチャンネル映像を復元する段階と、
を含むαチャンネル映像復号化方法を実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR2003-083054 | 2003-11-21 | ||
KR20030083054 | 2003-11-21 | ||
KR20040015153 | 2004-03-05 | ||
KR2004-015153 | 2004-03-05 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004337845A Division JP4995417B2 (ja) | 2003-11-21 | 2004-11-22 | αチャンネル映像のための符号化ブロックパターン生成装置及び方法とそれを利用したαチャンネル映像符号化/復号化装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012135033A true JP2012135033A (ja) | 2012-07-12 |
JP5421408B2 JP5421408B2 (ja) | 2014-02-19 |
Family
ID=34437037
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004337845A Expired - Fee Related JP4995417B2 (ja) | 2003-11-21 | 2004-11-22 | αチャンネル映像のための符号化ブロックパターン生成装置及び方法とそれを利用したαチャンネル映像符号化/復号化装置及び方法 |
JP2012045807A Expired - Fee Related JP5421408B2 (ja) | 2003-11-21 | 2012-03-01 | αチャンネル映像復号化装置、αチャンネル復号化方法及び記録媒体 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004337845A Expired - Fee Related JP4995417B2 (ja) | 2003-11-21 | 2004-11-22 | αチャンネル映像のための符号化ブロックパターン生成装置及び方法とそれを利用したαチャンネル映像符号化/復号化装置及び方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US7711196B2 (ja) |
EP (1) | EP1534018B1 (ja) |
JP (2) | JP4995417B2 (ja) |
KR (1) | KR100695133B1 (ja) |
DE (1) | DE602004017689D1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11218705B2 (en) | 2018-01-30 | 2022-01-04 | Fujitsu Limited | Information processing device and video encoding method |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080267286A1 (en) * | 2004-07-27 | 2008-10-30 | Matsushita Electric Industrial Co., Ltd. | Image Encoding Device and Method |
KR100694058B1 (ko) * | 2004-09-30 | 2007-03-12 | 삼성전자주식회사 | 멀티 타임 스캔 방식에 기초한 인트라 모드 인코딩 및디코딩 방법 및 장치 |
KR100694059B1 (ko) * | 2004-09-30 | 2007-03-12 | 삼성전자주식회사 | 멀티 타임 스캔 방식에 기초한 인터 모드 인코딩 및디코딩 방법 및 장치 |
KR101261525B1 (ko) * | 2005-07-15 | 2013-05-06 | 삼성전자주식회사 | 영상 부호화 및 복호화 방법과 장치 |
WO2007046644A1 (en) | 2005-10-21 | 2007-04-26 | Electronics And Telecommunications Research Institute | Apparatus and method for encoding and decoding moving picture using adaptive scanning |
US8072472B2 (en) * | 2006-06-26 | 2011-12-06 | Agfa Healthcare Inc. | System and method for scaling overlay images |
KR100882949B1 (ko) * | 2006-08-17 | 2009-02-10 | 한국전자통신연구원 | 화소 유사성에 따라 적응적인 이산 코사인 변환 계수스캐닝을 이용한 부호화/복호화 장치 및 그 방법 |
US8260070B1 (en) * | 2006-10-03 | 2012-09-04 | Adobe Systems Incorporated | Method and system to generate a compressed image utilizing custom probability tables |
JP5082548B2 (ja) * | 2007-03-30 | 2012-11-28 | 富士通株式会社 | 画像処理方法、符号化器および復号化器 |
CN101478672B (zh) * | 2008-01-04 | 2012-12-19 | 华为技术有限公司 | 视频编码、解码方法及装置和视频处理系统 |
US8964851B2 (en) * | 2009-06-09 | 2015-02-24 | Sony Corporation | Dual-mode compression of images and videos for reliable real-time transmission |
US8457425B2 (en) * | 2009-06-09 | 2013-06-04 | Sony Corporation | Embedded graphics coding for images with sparse histograms |
US8285062B2 (en) * | 2009-08-05 | 2012-10-09 | Sony Corporation | Method for improving the performance of embedded graphics coding |
WO2011089798A1 (ja) * | 2010-01-19 | 2011-07-28 | ルネサスエレクトロニクス株式会社 | 動画像符号化方法、動画像復号化方法、動画像符号化装置および動画像復号化装置 |
ES2659189T3 (es) | 2010-04-13 | 2018-03-14 | Ge Video Compression, Llc | Herencia en subdivisión de árbol múltiple de matriz de muestras |
HUE030688T2 (en) | 2010-04-13 | 2017-05-29 | Ge Video Compression Llc | Sample area merging |
KR102205041B1 (ko) | 2010-04-13 | 2021-01-19 | 지이 비디오 컴프레션, 엘엘씨 | 평면 간 예측 |
CN105120287B (zh) | 2010-04-13 | 2019-05-17 | Ge 视频压缩有限责任公司 | 解码器、编码器以及用于解码和编码的方法 |
US9215470B2 (en) | 2010-07-09 | 2015-12-15 | Qualcomm Incorporated | Signaling selected directional transform for video coding |
US9288496B2 (en) * | 2010-12-03 | 2016-03-15 | Qualcomm Incorporated | Video coding using function-based scan order for transform coefficients |
US10992958B2 (en) * | 2010-12-29 | 2021-04-27 | Qualcomm Incorporated | Video coding using mapped transforms and scanning modes |
EP2670139A1 (en) | 2012-06-01 | 2013-12-04 | Alcatel Lucent | Method and apparatus for encoding a video stream having a transparency information channel |
GB2512658B (en) * | 2013-04-05 | 2020-04-01 | British Broadcasting Corp | Transmitting and receiving a composite image |
US9955173B2 (en) | 2014-01-06 | 2018-04-24 | Cisco Technology Inc. | Transparency information retention |
US10542267B2 (en) | 2016-01-21 | 2020-01-21 | Samsung Display Co., Ltd. | Classification preserving image transform compression |
US10523244B2 (en) * | 2016-08-11 | 2019-12-31 | Zebware Ab | Device and associated methodoloy for encoding and decoding of data for an erasure code |
KR20180076720A (ko) | 2016-12-28 | 2018-07-06 | 주식회사 케이티 | 동영상 전송 장치 및 동영상 재생 장치 |
TW202143721A (zh) * | 2020-05-06 | 2021-11-16 | 法商內數位Ce專利控股公司 | 具有阿爾法層的3d場景傳輸 |
KR20220155823A (ko) | 2021-05-17 | 2022-11-24 | 주식회사 케이티 | 영상을 제공하는 장치, 방법 및 미디어 재생 장치 |
CN113613008A (zh) * | 2021-08-20 | 2021-11-05 | 百果园技术(新加坡)有限公司 | 一种视频编解码的方法、装置、电子设备及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10224804A (ja) * | 1996-09-20 | 1998-08-21 | At & T Corp | ビデオの画像コーディング及びイントラコーディングのための暗黙の係数予測及び走査適合化を提供するビデオコーダー |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5852470A (en) * | 1995-05-31 | 1998-12-22 | Sony Corporation | Signal converting apparatus and signal converting method |
US5748789A (en) * | 1996-10-31 | 1998-05-05 | Microsoft Corporation | Transparent block skipping in object-based video coding systems |
JP4034380B2 (ja) * | 1996-10-31 | 2008-01-16 | 株式会社東芝 | 画像符号化/復号化方法及び装置 |
US6198508B1 (en) * | 1996-11-01 | 2001-03-06 | Samsung Electronics Co., Ltd. | Method of encoding picture data and apparatus therefor |
US5995672A (en) | 1996-11-08 | 1999-11-30 | Hughes Electronics Corporation | Method for reducing alpha plane bit mask size |
US6618444B1 (en) * | 1997-02-14 | 2003-09-09 | At&T Corp. | Scene description nodes to support improved chroma-key shape representation of coded arbitrary images and video objects |
KR100259471B1 (ko) * | 1997-06-25 | 2000-06-15 | 전주범 | 개선된형태부호화장치및방법 |
US6049390A (en) * | 1997-11-05 | 2000-04-11 | Barco Graphics Nv | Compressed merging of raster images for high speed digital printing |
KR100281329B1 (ko) * | 1998-01-31 | 2001-02-01 | 전주범 | 이진 형상 신호의 모드 신호 부호화 방법 및 그 복원 방법 |
KR100285592B1 (ko) * | 1998-06-30 | 2001-04-02 | 전주범 | 영상 신호 부호화 방법 및 장치 |
US6459814B1 (en) * | 1998-09-08 | 2002-10-01 | Sarnoff Corporation | Method and apparatus for generic scalable shape coding by deriving shape information for chrominance components from luminance component |
KR100382516B1 (ko) * | 1999-01-15 | 2003-05-01 | 주식회사 팬택앤큐리텔 | 물체 단위 영상신호 부호화/복호화 장치 및 방법 |
JP3956081B2 (ja) * | 1999-12-27 | 2007-08-08 | 株式会社ハイニックスセミコンダクター | グレー形状情報を含むデジタル動映像の符号化方法 |
JP2001268569A (ja) * | 2000-03-17 | 2001-09-28 | Matsushita Electric Ind Co Ltd | 任意形状オブジェクトの残余係数を符号化するための方法および装置 |
US20030026338A1 (en) | 2001-08-03 | 2003-02-06 | Koninklijke Philips Electronics N.V. | Automated mask selection in object-based video encoding |
EP1466657B1 (en) | 2003-04-11 | 2012-10-03 | Gambro Lundia AB | Filter device having more than one filtration compartment |
US20080267286A1 (en) * | 2004-07-27 | 2008-10-30 | Matsushita Electric Industrial Co., Ltd. | Image Encoding Device and Method |
-
2004
- 2004-11-19 EP EP20040257198 patent/EP1534018B1/en not_active Not-in-force
- 2004-11-19 DE DE200460017689 patent/DE602004017689D1/de active Active
- 2004-11-20 KR KR20040095544A patent/KR100695133B1/ko not_active IP Right Cessation
- 2004-11-22 US US10/992,741 patent/US7711196B2/en not_active Expired - Fee Related
- 2004-11-22 JP JP2004337845A patent/JP4995417B2/ja not_active Expired - Fee Related
-
2010
- 2010-03-17 US US12/659,698 patent/US8170357B2/en not_active Expired - Fee Related
-
2012
- 2012-03-01 JP JP2012045807A patent/JP5421408B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10224804A (ja) * | 1996-09-20 | 1998-08-21 | At & T Corp | ビデオの画像コーディング及びイントラコーディングのための暗黙の係数予測及び走査適合化を提供するビデオコーダー |
Non-Patent Citations (3)
Title |
---|
CSNG199801223004; 栄藤稔: '「6.MPEG4の標準化動向」' 画像電子学会誌 第25巻,第3号, 19960625, 第223〜228頁, 画像電子学会 * |
JPN6013028010; 三木弼一編著: 「MPEG-4のすべて」 初版, 19980930, 第37〜93,313,314頁, (株)工業調査会 * |
JPN6013028011; 栄藤稔: '「6.MPEG4の標準化動向」' 画像電子学会誌 第25巻,第3号, 19960625, 第223〜228頁, 画像電子学会 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11218705B2 (en) | 2018-01-30 | 2022-01-04 | Fujitsu Limited | Information processing device and video encoding method |
Also Published As
Publication number | Publication date |
---|---|
KR100695133B1 (ko) | 2007-03-14 |
US20100177975A1 (en) | 2010-07-15 |
KR20050049419A (ko) | 2005-05-25 |
US8170357B2 (en) | 2012-05-01 |
DE602004017689D1 (de) | 2008-12-24 |
EP1534018A3 (en) | 2007-03-14 |
JP4995417B2 (ja) | 2012-08-08 |
EP1534018B1 (en) | 2008-11-12 |
US20050117789A1 (en) | 2005-06-02 |
JP5421408B2 (ja) | 2014-02-19 |
EP1534018A2 (en) | 2005-05-25 |
US7711196B2 (en) | 2010-05-04 |
JP2005160089A (ja) | 2005-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5421408B2 (ja) | αチャンネル映像復号化装置、αチャンネル復号化方法及び記録媒体 | |
JP4955216B2 (ja) | グレイアルファチャンネルを含んだ映像の符号化/復号化装置および方法 | |
JP4625411B2 (ja) | 画像データの符号化方法およびそのためのプログラムを記録したコンピュータ読み取り可能媒体 | |
KR101479141B1 (ko) | 트리 구조를 이용한 부호화/복호화 방법 및 장치 | |
KR101717510B1 (ko) | 화상 예측 부호화 장치, 방법 및 프로그램, 화상 예측 복호 장치, 방법 및 프로그램, 및 부호화·복호 시스템 및 방법 | |
WO2019069602A1 (ja) | 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、プログラムおよび映像システム | |
WO2019069601A1 (ja) | 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法およびプログラム | |
KR100682929B1 (ko) | 그레이 알파채널을 포함한 영상 부호화/복호화장치 및 방법 | |
CN114830646A (zh) | 图像编码方法和图像解码方法 | |
JP2017073598A (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム | |
CN114830647A (zh) | 图像编码方法和图像解码方法 | |
CN114830642A (zh) | 图像编码方法和图像解码方法 | |
KR100667815B1 (ko) | 영상 부호화 및 복호화 장치와, 그 방법, 및 이를 수행하기위한 프로그램이 기록된 기록 매체 | |
CN115442608A (zh) | 图像编码/解码方法及发送数据的方法 | |
CN109672889A (zh) | 约束的序列数据头的方法及装置 | |
WO2022209032A1 (ja) | 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法および映像システム | |
JP2005184525A (ja) | 画像処理装置 | |
CN114830645A (zh) | 图像编码方法和图像解码方法 | |
KR20130070618A (ko) | 트리 구조를 이용한 부호화/복호화 방법 및 장치 | |
CN114830644A (zh) | 图像编码方法和图像解码方法 | |
JP2022548685A (ja) | 画像データの符号化及び復号化 | |
CN114830641A (zh) | 图像编码方法和图像解码方法 | |
CN114830643A (zh) | 图像编码方法和图像解码方法 | |
CN114830650A (zh) | 图像编码方法和图像解码方法 | |
KR20040028318A (ko) | 공간상 예측 부호화를 이용한 영상 부호화 및 복호화 방법및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130618 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130918 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131022 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131121 |
|
LAPS | Cancellation because of no payment of annual fees |