JP2008131643A - Mpeg2規格からmpeg4規格にデータをトランスコードする方法 - Google Patents

Mpeg2規格からmpeg4規格にデータをトランスコードする方法 Download PDF

Info

Publication number
JP2008131643A
JP2008131643A JP2007291441A JP2007291441A JP2008131643A JP 2008131643 A JP2008131643 A JP 2008131643A JP 2007291441 A JP2007291441 A JP 2007291441A JP 2007291441 A JP2007291441 A JP 2007291441A JP 2008131643 A JP2008131643 A JP 2008131643A
Authority
JP
Japan
Prior art keywords
macroblock
field
mpeg2
motion vector
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2007291441A
Other languages
English (en)
Inventor
Dominique Thoreau
トロー ドミニク
Michel Cosmao
コスマオ ミシェル
Christophe Chevance
シュヴァンス クリストフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2008131643A publication Critical patent/JP2008131643A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/112Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

【課題】MBAFFモードを含むMPEG4タイプの規格にMPEG2規格からデータをトランスコードする。
【解決手段】本方法は、第一のマクロブロックに関連するデータがフレーム予測及びフィールドDCTモードで符号化されたことを示す場合に、以下のステップを含むことを特徴とする。第一のマクロブロック3,4と共に、スーパーマクロブロックを形成する画像における第二のマクロブロック3,4を決定するステップ。それぞれのマクロブロックは、関連するMPEG2インターフレーム動きベクトルV0及びV1を有する。フィールドモード5,6におけるマクロブロック3,4を構造化し、MPEG2動きベクトルV0及びV1に従ってスーパーマクロブロックの区分18,19,20,21,22,23を計算するステップ。MPEG動きベクトルV0及びV1に従って区分のそれぞれについて動きベクトルを計算するステップ。
【選択図】 図2

Description

本発明は、MPEG2規格からMPEG4規格に画像の系列をトランスコードする方法及び装置に関する。
当該技術分野は、オーディオ及びビデオデータを記憶又は送信するためのビデオ圧縮の分野である。特に、MPEG2からMPEG4へのトランスコード処理の環境で、インタレースされた画像に適用されるブロック圧縮スキームに関心が向けられる。
インタレースビデオは、テレビジョン向けに一般に使用されるフォーマットである。フレームは、画像の奇数と偶数ラインをそれぞれ表す、トップフィールドとボトムフィールドとも呼ばれる偶数フィールドと奇数フィールドの2つのフィールドから構成される。トップフィールドとボトムフィールドは2つの異なる瞬間で取得されるので、ある系列の所定の画像は、2つの取得の間でのある動きによりインタレースアーチファクトを与える。
このフォーマットを良好にサポートするため、3つの異なるモードである「フレーム」、「フィールド」、「MBAFF」(MacroBlock Adaptive Field Frameの略記)に従って画像を符号化するため、MPEG4又はH.264規格を使用することができる。フレームモードでは、インタレース画像は、現在のように符号化され、フィールドモードでは、2つのフィールドは個別に符号化される。MBAFFモードは、フレーム+MBAFFと呼ばれる、このモードで画像のフィールドをローカルに分離するのを可能にし、フィールドモードでフレームのマクロブロックのグループを符号化するのを可能にすることで、フレームモードに加えて、このモードをエンハンスするために使用することができる。
以下、単一のフィールドのラインから構成されるブロックは、フィールドブロックと呼ばれ、偶数フィールドラインと奇数フィールドラインから交互に構成されるブロックは、フレームブロックと呼ばれる。フィールドのブロックの離散コサイン変換により計算される係数のブロック、それぞれのフレーム、残差は、フィールドDCT符号化、それぞれフレームDCT符号化により得られる、フィールドDCTブロック、それぞれフレームDCTブロックと呼ばれる。
図1は、MPEG2規格に従って符号化されるフレームのマクロブロックを表す。この規格では、これらのマクロブロックに関する予測は、動き予測を行うためにフレームマクロブロックを使用し、これらの同じマクロブロックのDCT符号化は、このマクロブロックを構成するフィールド又はフレームブロックに実行される。
したがって、Macroblocと題される、文献ISO/IEC13818−2:1996のMPEG2規格の節6.1.3に記載されるように、2フィールド及び1フィールドの両者による画像を形成するためにDCT符号化を使用することができるフレームにおいて、マクロブロックの内部の編成は、画像のタイプに従って異なる。
2フィールドの画像のDCT符号化のケースでは、それぞれ8×8DCTブロックは、図1において参照符号1で表されるように、一方のフィールドから他のフィールドに交互に得られるラインから構成される。
1フィールドの画像のDCT符号化のケースでは、それぞれブロックは、図1における参照符号2で表されるように、2フィールドのうちの1つから得られるラインから構成される。
1フィールドの画像のケースでは、それぞれは、2フィールドのうちの1つから得られるラインのみを含む。このケースでは、それぞれのブロックのマクロブロックは、画像のラインの連続から抽出されるラインから構成される。
図では、影付けされたラインは、最初のフィールド又はトップフィールドに対応し、影付けされていないラインは、第二のフィールド又はボトムフィールドに対応する。
図2は、MPEG4規格に従って符号化された画像のマクロブロックを表す。この規格は、MBAFFと呼ばれる更なる符号化モードを有し、この場合、フレームは、マクロブロックの垂直のペアでスキャンされる。マクロブロックのそれぞれのペアについて、フィールド又はフレーム符号化の判定が計算される。これら2つの垂直方向のマクロブロックMBは、スーパーマクロブロックSMBを構成する。フレームモードにおけるスーパーマクロブロックの符号化は、参照符号3及び4で引用される、2つのマクロブロックにおけるそれらの予測とDCT符号化のためのアレンジメントを形成し、それぞれは第一のフィールドと第二のフィールドからの交互のラインを含んでいる。フィールドモードにおけるスーパーマクロブロックの符号化は、参照符号5及び6で引用される2つのマクロブロックにおけるアレンジメントを形成し、それぞれは第一のフィールド及び第二のフィールドにそれぞれ属する連続するラインを含む。
DCT変換は、これらマクロブロック又はこのスーパーマクロブロックを構成する4×4画素のマクロブロックで実行される。
MPEG2規格は、同じパリティのフィールド間の予測、又は反対のパリティのフィールド間の予測、若しくはフレーム間の予測を可能にし、フレーム間の予測について、マクロブロックの再アレンジメントの後に、8×8フレームの残差のブロックのDCT符号化又は8×8フィールドの残差のブロックのDCT符号化が可能である。マクロブロックの残差のブロックのDCT符号化について、MPEG4規格は、このマクロブロックの予測のために使用されるように、同じモードであるフィールド又はフレームを指示する。
MPEG4ストリームにトランスコードされるMPEG2ストリームは、部分的にデコードされる。たとえば、マクロブロックに関連するヘッダはデコードされ、使用される符号化モード、動きベクトル、DCTタイプ、フィールド又はフレーム等が抽出される。MPEG4モードでのトランスコードは、この情報を使用し、一般に、符号化モードは、互換性のあるモードのために保持される。DCT係数はデコードされない。このトランスコードは、とりわけ、費用のかかる動き予測動作を節約する。
問題は、MPEG2ストリームのフレームのサイズ16×16のマクロブロックがフィールドDCT符号化モードに従って符号化されるときに生じ、16×16マクロブロックは、DCT変換について2つの8×8フィールドのブロックにそれら自身がアレンジされる、2つの16×8フィールドブロックでアレンジされる。このケースでは、従来技術からの1つのソリューションによれば、MPEG4トランスコードは、DCTブロックがフレームマクロブロックへの動き予測又は推定に対応するフレームブロックであることを想定することで実行される。実際に、前に示されたように、MPEG4規格は、DCT符号化について、その構造、フィールド又はフレームが、動き予測が実行されたものに対応するブロックのみを使用する。このソリューションは、したがって、MPEG4トランスコードに関して、フレームDCTブロックにMPEG2ストリームの符号化フレームのフィールドDCTブロックをなぞらえることからなり、デコーディングエラーを生成する。実際に、これは、MPEG2のDCT係数をフレームブロック係数になぞらえることと同等であり、計算はフィールドブロックに実行され、これらのブックのデコーディングは、アーチファクトを形成する。
別のソリューションは、逆離散コサイン変換によりフィールドDCTブロックのデコードを実行して、フィールド残差のブロックを取得すること、マクロブロックにおいて、これらのフィールドブロックを再アレンジしてフレームブロックを取得し、これらフレーム画素ブロックのDCT変換を実行してフレームブロックのDCT係数を取得することを含む。この手順は、高い処理コストを招き、図5における例に表されるように、高い垂直周波数のため、相対的な動きにおけるオブジェクトの境界領域について特に、符号化コストは高い。
したがって、これらのソリューションは、処理時間又は画質の観点から最適なものではない。
ZHI ZHOU ET AL: "Motion Information and Coding Mode Reuse for MPEG-2 to H.264 Transcoding" CIRCUITS AND SYSTEMS, 2005. ISCAS 2005. IEEE INTERNATIONAL SYMPOSIUM ON KOBE, JAPAN 23-26 MAY 2005, PISCATAWAY, NJ, USA, IEEE, 23 may 2005 (2005-05-23), page1230-1233.
本発明の目的は、上述された問題点を克服することにある。本発明の主題は、MBAFF(MacroBlock Adaptive Field Frame)モードを含むMPEG4タイプの規格にMPEG2規格からデータをトランスコードする方法に関し、第一のマクロブロックに関連するデータがフレーム予測及びフィールドDCTモードで符号化されたことを示す場合、以下のステップを含むことを特徴とする。
第一のマクロブロックと共にスーパーマクロブロックを形成する画像における第二のマクロブロックを決定するステップ。それぞれのマクロブロックは、関連するMPEG2インターフレーム動きベクトルV0及びV1を有する。フレームモードでマクロブロックを構築し、MPEG2の動きベクトルV0及びV1に従ってスーパーマクロブロックの区分を計算するステップ。MPEG2動きベクトルV0及びV1に従う区分のそれぞれについて動きベクトルを計算する。
1つの特定の実施の形態によれば、スーパーマクロブロックは、16×32のサイズからなり、MPEG2動きベクトルV0及びV1が等しい場合に2つの16×16フィールドマクロブロックに区分され、さもなければ4つの8×16フィールドのサブマクロブロックに区分される。
1つの特定の実施の形態によれば、スーパーマクロブロックの区分に関連する動きベクトルは、フレームリファレンスベースの代わりに、フィールドリファレンスベースを使用することで計算される。
1つの特定の実施の形態によれば、スーパーマクロブロックの区分の動きベクトルの計算のステップは、以下の式に従って動きベクトルの垂直成分を計算することからなる。
ベクトルV0,V1のそれぞれの垂直成分dyの絶対値のモジュロ2が0に等しい場合、区分の垂直成分Dyの絶対値は、|dy|/2に等しく、Dyはdyと同じ符号を有する。
ベクトルV0,V1のそれぞれの垂直成分dyの絶対値のモジュロ2が1に等しい場合、区分の垂直成分Dyの絶対値は、(|dy|−1)/2に等しく、Dyはdyと同じ符号を有する。
1つの特定の実施の形態によれば、マクロブロックに関連するヘッダは、区分、フィールド予測及びフィールドDCT符号化に対応する新たに計算された符号化モードを定義するための情報を挿入するために変更され、動きベクトルのフィールドは、動きベクトルの計算された値を定義するために情報を挿入するために変更される。
また、本発明は、上述された方法に係るトランスコーディング装置に関し、当該装置は以下を有することを特徴とする。MPEG2データストリームを受信する回路。データストリームからマクロブロックの符号化モード及び動きベクトルを抽出し、記憶する回路。フレーム予測モード+フィールドDCTモードで符号化されたマクロブロックを検出し、それらをトップ又はボトムマクロブロックと関連付けして、スーパーマクロブロックを形成し、スーパーマクロブロックの区分、抽出されたデータからの区分の動きベクトルを計算し、区分及びスーパーマクロブロックのそれぞれの区分のそれぞれの動きベクトルに関連するデータを供給する抽出回路にリンクされる処理回路。MPEG2データストリームに、処理回路から発生するデータを挿入又は置換して、MPEG4データストリームを供給する回路。
MBAFFモードにより得られる、符号化されるマクロブロックのデインタレースにより、初期のMPEG2フレーム予測及びフィールドDCTの環境で、動きベクトルの調節を含めて、予測とDCTフィールドの制約が設けられたスーパーマクロブロック構造に最良に適合することができる。MPEG2データストリームは、フレームモードで予測されたマクロブロックについてフィールドDCT係数のブロックを供給することができる。フィールドモードでフレームのスーパーマクロブロックのマクロブロックのMPEG4符号化の可能性を利用することで、フレームマクロブロックのブロックがMPEG2符号化におけるフィールドDCTモードで決定されたことを使用することができる。MBAFFモードにより、2つのマクロブロック又はフィールドマクロブロックの区分として、あるフレームのスーパーマクロブロックを再構成することが可能である。フレームマクロブロック構造は、フィールド構造に変換され、MPEG4規格のDCTの計算は、MPEG2規格に関して残余の予測誤差に関して、フィールド構造モードで暗黙的に機能するが、使用されるプロファイルの性質に依存して4×4DCT又は8×8DCTモードで、すなわち、メインプロファイルについて4×4DCTで、ハイプロファイルについて4×4DCT又は8×8DCTで機能する。正しく保持されたフィールドモードは、残余のブロックのデインタレースのため、DCT変換において、少ない高周波係数又は少なくとも低い振幅の係数を取得するのを可能にするモードである。
MPEG2符号化におけるフレーム予測は、この予測が最良の相関を与えることを前提とする。ここで、本発明の方法に係るトランスコーディングは、DCT符号化がフィールドブロックに実行されるときにフィールド予測を指示することを提案する。実際に、DCT符号化への節約は、平均して、予測の変化から得られる損失よりも非常に大きく、すなわちフレーム間ではなくフィールド間の低い良好な予測又は相関から得られる損失よりも非常に大きい。言い換えれば、予測で失われる可能性があるのは、DCTで得られるものよりも非常に少ない。また、フレーム予測モードの選択は、良好な相関を必ずしも示さず、フィールド予測モードにおけるベクトルの符号化は、フレーム予測モードにおけるよりも費用がかかる。
したがって、本方法は、現在のマクロブロックに関連するトランスコーディングについて、現在のマクロブロックと共にスーパーマクロブロックを形成する第二のマクロブロックを選択し、次いで、MPEG2動きベクトルから、フレームのスーパーマクロブロックのフィールドマクロブロックのそれぞれの予測ベクトルを判定することからなる。フレーム予測のために使用されるMPEG2動きベクトルは、参照フィールドにおける予測されたフィールドブロックを計算するため、MPEG4デコーディングで使用されるために補正され、動きベクトルの符号化は、もはやフレーム、ラインではなく、フィールドラインのナンバリングを考慮して、異なるリファレンスベースを使用する。
本発明の他の特徴及び利点は、添付図面に照らして、排他するものではない例により、以下に与えられる説明から明らかとなるであろう。
図3は、偶数ライン7及び奇数ライン8のインタレースを含む、あるフレームのサイズ16×16のマクロブロックについて、MPEG2規格における画像モード予測の原理を示す。予測マクロブロックは、偶数ライン9及び奇数ライン10のインタレースから構成され、したがって、インタレースされた参照画像から発生する。予測マクロブロックは、図1における参照符号1が付されるマクロブロックのアレンジメントに従い、離散コサイン変換が実行されるフィールド残差のブロックは、フィールド選択がDCTの計算について決定されるケースにおいて、4つのブロックからなる図1において参照符号2が付されるマクロブロックのアレンジメントに従う。マクロブロックに関連する動きベクトルは、参照符号11が付される。
図4は、フィールドモードで符号化されるフレームのスーパーマクロブロックについて、MPEG4規格におけるフィールド予測の原理を示す。画像から抽出されたスーパーマクロブロックは、図2において参照符号3及び4が付されたマクロブロックに対応する。このスーパーマクロブロックは、図2におけるスーパーマクロブロックの区分5及び6に対応する、参照符号12及び13が付された、2つのフィールドマクロブロックで構成される。予測のマクロブロックは、最良に相関されたものを選択するため、第一のフィールドに対応するトップの区分12について、マクロブロック14及び15として、予測画像の2つのフィールドのそれぞれで計算される。選択されたマクロブロック16又は17に対応する第一の動きベクトルは、スーパーマクロブロックに関連付けされ、第二の動きベクトルは、スーパーマクロブロックのボトムの区分13に関連する。
フレーム予測モードにおけるマクロブロックについて、フィールドDCT符号化モードは、動きにおけるオブジェクトにフレームモードで予測が行われたとき、特に、オブジェクトの境界に予測が行われたときに生じる。この現象は、図5により例示されており、図5は、これらの境界を含むフレームの2つのマクロブロックを表しており、明らかに強くチョップされ、垂直の高周波を発生するが、規則的であり、この理由は、このチョップされた構造から、予測がフレームモードで行われるためである。あるラインから別のラインへのオフセットは、迅速に移動するオブジェクトの境界についてフィールド間の時間的な距離に対応する。これらのシェーディングは、MPEG2における8×8画素の残差ブロックのDCT領域において超高周波を発生する。そのようなケースの場合、コーディングデシジョンアルゴリズムは、通常、フィールドDCTと呼ばれるフィールドブロックへのDCT計算を実行するため、マクロブロックをデインタレースする。図6は、それら自身が2つの8×8ブロックに区分される、2フィールドのブロックとしてそれぞれアレンジされるフレームの2つのマクロブロックの構造を表し、DCT計算は、マクロブロックのそれぞれの8×8残差の4つのフィールドブロックに実行される。
フレームモードにおいて、マクロブロックについてMPEG2規格における予測が実行され、DCT符号化がフィールドモードで実行されたとき、本発明の方法は、MPEG2符号化における動き予測から取得された動きベクトルの補正を計算し、スーパーマクロブロックの適切な区分を定義し、この情報は、MPEG2符号化から発生したデータの代わりに又は該データに加えて、データストリームに挿入される。
あるフレームのMPEG2符号化から発生したベクトルのフィールドモードで符号化されたマクロブロックに関連するベクトルへの変換、及び小区分の決定が以下に説明される。
MPEG2ストリームデータは、少なくとも画像のレベルで、マクロブロックのペアにおける画像のマクロブロックに関連するために記憶される。MB0及びMB1をMPEG2から「取得された」2つのマクロブロックであるとし、MPEG4のスーパーマクロブロックSMBのトップマクロブロック(MBtop)とボトムマクロブロック(MBbot)の片割れのそれぞれは、ベクトルV0(dx0,dy0),V1(dx1,dy1)が設けられ、dx及びdyは、ベクトルの水平及び垂直成分である。
動きベクトルdyの垂直成分は、フレーム予測からフィールド予測に変化するとき、すなわちフレームリファレンスベースからフィールドリファレンスベースに変化するとき、変更されてDyとなり、水平成分は保持されている。
[ケース1:V0=V1]
フレームマクロブロックに関連するMPEG2動きベクトルについてV0=V1である場合、MPEG4の予測は、これらのベクトルにより、図7における参照符号18及び19が付されるスーパーマクロブロックの2つの16×16フィールドの小区分のそれぞれに実行されると想定される。
スーパーマクロブロックを構成する、これら2つのマクロブロック又は小区分のベクトルは、トップの小区分18についてVtop(dx0,Dy0)、ボトムの小区分19についてVbot(dx1,Dy1)のようにネーミングされる。サイズ16×16の小区分について予測が実行される。
[ケース2:V0≠V1]
フレームマクロブロックに関連するMPEG2動きベクトルについてV0がV1に等しくない場合、フレームマクロブロックのそれぞれからのラインを含むフィールドマクロブロックについて、同一のベクトル、すなわち同一のMPEG4予測を使用しないことが賢明である。したがって、図8において参照符号20乃至23が付される16画素の8ラインである、スーパーマクロブロックの8×16の小区分のそれぞれについて、予測が実行されることが想定される。これらの小区分のベクトルは、以下のように呼ばれる。フィールドモードにおけるスーパーマクロブロックの16×16のトップブロックの参照符号20が付されるトップの小区分についてV0top(dx0,Dy0)、フィールドモードにおけるスーパーマクロブロックの16×16のトップブロックのボトムの小区分21についてV1top(dx1,Dy1)、フィールドモードにおけるスーパーマクロブロックの16×16ボトムブロックの参照符号22が付されるトップの小区分についてV0bot(dx0,Dy0)、フィールドモードにおけるスーパーマクロブロックの16×16ボトムブロックのボトムの小区分23についてV1bot(dx1,Dy1)。
[垂直方向の動きベクトルDyの決定]
一方で、MPEG符号化から発生するベクトルは、ある画素の半分の精度であり、他方で、フレームリファレンスベースで表現される。図9は、左部分において、かかるリファレンスのフィールドを表し、連続するラインは、偶数フィールドに対応し、破線のラインは、奇数フィールドに対応する。これらのベクトルを、図9の右手部分で表されるフィールドリファレンスベースを使用して予測ベクトルフィールドに変換するため、現在のフィールドのベクトルが示すためにフォーカスされるフィールドのパリティを考慮することが賢明である。
偶数フィールド又は奇数フィールドへの小区分の付属に依存して、フレームリファレンスベースで表現される垂直方向の動きベクトルdyの値は、リファレンスフィールドの選択を指示する。
提案される手順は以下のようである。
ベクトルdyの絶対値のモジュロ2(|dy|%2で示される)が1に等しい場合、フィールドモードにおける小区分のベクトルDyは反対のパリティのフィールドを示す。図4において参照符号17が付される動きは、かかるベクトルに対応する。
ベクトルの絶対値|Dy|=(|dy|−1)/2
Dyはdyと同じ符号を有する。
さもなければ、((|dy|%2≠1)である。
フィールドモードにおける小区分のベクトルDyは、同じパリティのフィールドを示す。図4において参照符号16が付された動きは、係るベクトルに対応する。
ベクトルの絶対値|Dy|=|dy|/2
Dyはdyと同じ符号を有する。
値Dy(Dy0又はDy1)は、フィールドリファレンスベース、すなわちあるフィールドのラインのナンバリングを考慮し、dyはフレームリファレンスベースに関連する。
代替的に、スーパーマクロブロックの8×16の小区分のベクトルについて、2の倍数である値dy(関連する区分に依存してdy0又はdy1)は、同じパリティの参照フィールドの選択に対応し、2の倍数ではない動きは、反対のパリティのフィールドの選択に対応する。反対のパリティフィールドは、フレーム予測モード(MPEG2)において動きがフィールドの変化に対応するときに選択される。一度ベクトルが変換されると、同じパリティの、2分の1画素又は4分の1画素のフィールド間で非整数の動きのケースにおいて、補間が好まれ、整数の動きは問題を提起しない。同様に、一度ベクトルが変換されると、反対のパリティの、2分の1画素又は4分の1画素のフィールド間の非整数の動きのケースで、補間が使用される。
また、本発明は、先に記載された方法を実現するトランスコーディング装置に関する。この装置は、MPEG2タイプのデータストリームを受信する回路を含む。このストリームから、とりわけ、先行する受信回路にリンクされる抽出及び記憶回路を介して、符号化画像のマクロブロックの符号化モード及び動きベクトルが抽出される。抽出された情報は、たとえば完全な画像のレベルで記憶される。処理回路は、マクロブロックに関連する抽出されたデータを検索し、フレーム予測+フィールドDCTモードで符号化されたマクロブロックを検出し、それらを画像におけるトップ又はボトムマクロブロックと関連付け又はペアにし、MPEG4タイプのスーパーマクロブロックを形成する。次いで、この回路は、ペアにされたマクロブロック又はスーパーマクロブロックについて動きベクトルの区分及び補正を実行する。したがって、この回路は、スーパーマクロブロックの区分、区分に割り当てられた動きベクトルを計算する。次いで、このデータは、データ挿入又は置換回路を介して、MPEG4データストリームを提供するため、MPEG2ストリームに挿入されるか、MPEGデータストリームからのデータと置換されるように構造化される。
本発明は、MBAFF符号化モードを使用する、特にMPEG4パート10又はH.264規格といった、MPEG2及びMPEG4規格に適用される。応用は、とりわけ、ブロードキャスティング及びデータストレージのようなデータ伝送に関する。
フレーム予測モードにおけるフレームのマクロブロックを示す図である。 フレームマクロブロックから構成され、フィールドマクロブロックから構成されるフレームのスーパーマクロブロックを示す図である。 フレームの動きベクトルを示す図である。 フィールドの2つの動きベクトルを示す図である。 フレームモードにおける2つのマクロブロックを示す図である。 フィールドモードにおけるブロックから構成される2つのマクロブロックを示す図である。 フィールドモードにおけるマクロブロックから構成されるスーパーマクロブロックを示す図である。 フィールドモードにおける2つのマクロブロックから構成されるスーパーマクロブロックを示す図である。 フレームリファレンスベースとフィールドリファレンスベースを示す図である。

Claims (6)

  1. MBAFF(MacroBlock Adaptive Field Frame)モードを含むMPEG4タイプの規格にMPEG2からデータをトランスコードする方法であって、
    第一のマクロブロックに関連するデータがフレーム予測及びフィールドDCTモードで符号化されたことを示す場合に、当該方法は、
    第一のマクロブロックと共にスーパーマクロブロックを形成する画像における第二のマクロブロックを決定するステップと、それぞれのマクロブロックは、関連するMPEG2インターフレーム動きベクトルを有し、
    フィールドモードでマクロブロックを構造化し、MPEG2の動きベクトルに従ってこのスーパーマクロブロックの区分を計算するステップと、
    MPEG2の動きベクトルに従って区分のそれぞれについて動きベクトルを計算するステップと、
    を含むことを特徴とする方法。
  2. 前記スーパーマクロブロックは、16×32のサイズからなり、MPEG2の動きベクトルが等しい場合に2つの16×16のフィールドのマクロブロックに区分され、MPEG2の動きベクトルが等しくない場合に4つの8×16のフィールドのサブマクロブロックに区分される、
    ことを特徴とする請求項1記載の方法。
  3. 前記スーパーマクロブロックの区分に関連される動きベクトルは、フレームリファレンスベースの代わりにフィールドリファレンスベースを使用して計算される、
    ことを特徴とする請求項1記載の方法。
  4. 前記スーパーマクロブロックの区分の動きベクトルを計算するステップは、
    ベクトルの垂直成分dyの絶対値のモジュロ2が0に等しい場合、区分の垂直成分Dyの絶対値は、|dy|/2に等しく、Dyはdyと同じ符号を有し、
    ベクトルの垂直成分dyの絶対値のモジュロ2が1に等しい場合、区分の垂直成分Dyの絶対値は、(|dy|−1)/2に等しく、Dyはdyと同じ符号を有する、
    ことに従って、動きベクトルの垂直成分を計算するステップを含む、
    ことを特徴とする請求項1記載の方法。
  5. 前記マクロブロックに関連するヘッダは、前記区分、フィールド予測及びフィールドDCT符号化に対応する新たに計算された符号化モードを定義するための情報を挿入するために変更され、前記動きベクトルのフィールドは、動きベクトルの計算された値を定義するための情報を挿入するために変更される、
    ことを特徴とする請求項1記載の方法。
  6. 請求項1記載の方法に係るトランスコーディング装置であって、
    当該装置は、
    MPEG2のデータストリームを受信する回路と、
    前記データストリームから、前記マクロブロックの符号化モードと動きベクトルを抽出して記憶する回路と、
    フレーム予測モード+フィールドDCTモードで符号化されたマクロブロックを検出し、それらをトップ又はボトムのマクロブロックと関連付けしてスーパーマクロブロックを形成し、前記スーパーマクロブロックの区分と抽出されたデータから前記区分の動きベクトルを計算して、前記区分と前記スーパーマクロブロックのそれぞれの区分の動きベクトルに関連するデータとを供給する抽出回路にリンクされる処理回路と、
    MPEG2データストリームに、前記処理回路から発生するデータを挿入又は置換して、MPEG4データストリームを提供する回路と、
    を有することを特徴とするトランスコーディング装置。
JP2007291441A 2006-11-16 2007-11-09 Mpeg2規格からmpeg4規格にデータをトランスコードする方法 Withdrawn JP2008131643A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0654937A FR2908949A1 (fr) 2006-11-16 2006-11-16 Procede de transcodage de donnees du standard mpeg2 a un standard mpeg4.

Publications (1)

Publication Number Publication Date
JP2008131643A true JP2008131643A (ja) 2008-06-05

Family

ID=38312289

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007291441A Withdrawn JP2008131643A (ja) 2006-11-16 2007-11-09 Mpeg2規格からmpeg4規格にデータをトランスコードする方法

Country Status (5)

Country Link
US (1) US20080137740A1 (ja)
EP (1) EP1924100A3 (ja)
JP (1) JP2008131643A (ja)
CN (1) CN101184237B (ja)
FR (1) FR2908949A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013502807A (ja) * 2009-08-17 2013-01-24 サムスン エレクトロニクス カンパニー リミテッド 映像の符号化方法及びその装置、映像復号化方法及びその装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9398346B2 (en) 2007-05-04 2016-07-19 Time Warner Cable Enterprises Llc Methods and apparatus for predictive capacity allocation
US9060208B2 (en) 2008-01-30 2015-06-16 Time Warner Cable Enterprises Llc Methods and apparatus for predictive delivery of content over a network
US9215423B2 (en) 2009-03-30 2015-12-15 Time Warner Cable Enterprises Llc Recommendation engine apparatus and methods
US11076189B2 (en) 2009-03-30 2021-07-27 Time Warner Cable Enterprises Llc Personal media channel apparatus and methods
JP2011061273A (ja) * 2009-09-07 2011-03-24 Sony Corp 動きベクトル算出装置、動きベクトル算出方法およびプログラム
US8396055B2 (en) 2009-10-20 2013-03-12 Time Warner Cable Inc. Methods and apparatus for enabling media functionality in a content-based network
US9027062B2 (en) * 2009-10-20 2015-05-05 Time Warner Cable Enterprises Llc Gateway apparatus and methods for digital content delivery in a network
US8997136B2 (en) 2010-07-22 2015-03-31 Time Warner Cable Enterprises Llc Apparatus and methods for packetized content delivery over a bandwidth-efficient network
ES2773774T3 (es) * 2010-10-06 2020-07-14 Ntt Docomo Inc Dispositivo, método y programa de codificación bipredictiva de imágenes, y dispositivo, método y programa de decodificación bipredictiva de imágenes
US9602414B2 (en) 2011-02-09 2017-03-21 Time Warner Cable Enterprises Llc Apparatus and methods for controlled bandwidth reclamation
US8978079B2 (en) 2012-03-23 2015-03-10 Time Warner Cable Enterprises Llc Apparatus and methods for managing delivery of content in a network with limited bandwidth using pre-caching
US9467723B2 (en) 2012-04-04 2016-10-11 Time Warner Cable Enterprises Llc Apparatus and methods for automated highlight reel creation in a content delivery network
US20140082645A1 (en) 2012-09-14 2014-03-20 Peter Stern Apparatus and methods for providing enhanced or interactive features
CN106688238B (zh) * 2013-10-17 2019-12-17 华为技术有限公司 改进后的深度图帧内编码的参考像素点选择和滤波
US10116676B2 (en) 2015-02-13 2018-10-30 Time Warner Cable Enterprises Llc Apparatus and methods for data collection, analysis and service modification based on online activity

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001041451A1 (en) * 1999-11-29 2001-06-07 Sony Corporation Video/audio signal processing method and video/audio signal processing apparatus
AU2003274547A1 (en) * 2002-11-27 2004-06-18 Koninklijke Philips Electronics N.V. I-picture insertion on request
US7327784B2 (en) * 2003-02-24 2008-02-05 Vixs Systems, Inc. Method and system for transcoding video data
JP4403737B2 (ja) * 2003-08-12 2010-01-27 株式会社日立製作所 信号処理装置及びこれを用いた撮像装置
CN2634757Y (zh) * 2003-09-09 2004-08-18 北京华通为尔广视科技有限公司 数字视频录像装置
US20060153299A1 (en) * 2005-01-07 2006-07-13 Kabushiki Kaisha Toshiba Coded video sequence conversion apparatus, method and program product for coded video sequence conversion

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013502807A (ja) * 2009-08-17 2013-01-24 サムスン エレクトロニクス カンパニー リミテッド 映像の符号化方法及びその装置、映像復号化方法及びその装置
US9277224B2 (en) 2009-08-17 2016-03-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
US9313503B2 (en) 2009-08-17 2016-04-12 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
US9313502B2 (en) 2009-08-17 2016-04-12 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
US9319686B2 (en) 2009-08-17 2016-04-19 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
US9369715B2 (en) 2009-08-17 2016-06-14 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
US9392283B2 (en) 2009-08-17 2016-07-12 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video

Also Published As

Publication number Publication date
FR2908949A1 (fr) 2008-05-23
EP1924100A3 (en) 2011-08-31
CN101184237B (zh) 2011-05-25
CN101184237A (zh) 2008-05-21
US20080137740A1 (en) 2008-06-12
EP1924100A2 (en) 2008-05-21

Similar Documents

Publication Publication Date Title
JP2008131643A (ja) Mpeg2規格からmpeg4規格にデータをトランスコードする方法
KR101037816B1 (ko) 인터레이스된 비디오의 코딩 및 디코딩을 위한 방법 및장치
JP5320254B2 (ja) デジタルビデオコンテンツのマクロブロックレベルにおける適応フレーム/フィールド符号化
US8411750B2 (en) Global motion parameter estimation using block-based motion vectors
US8218638B2 (en) Method and system for optical flow based motion vector estimation for picture rate up-conversion
JP3778721B2 (ja) 動画像符号化方法および装置
KR20160106617A (ko) 비디오 코딩을 위한 적응 모션 벡터 해상도 시그널링
KR970064212A (ko) 에이치디티브이(hdtv) 비데오 디코더 회로
JP2005510985A5 (ja)
US20160323599A1 (en) Reference picture selection for inter-prediction in video coding
KR101380460B1 (ko) 화상 처리 장치 및 화상 처리 방법
US8767831B2 (en) Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
KR101038794B1 (ko) 인터레이스형 비디오의 코딩 및 디코딩
JP4130197B2 (ja) 動画像符号化方法および装置
JP5003534B2 (ja) トランスコード装置、トランスコード方法およびトランスコードプログラム
JP4779207B2 (ja) 動きベクトル変換装置及び動きベクトル変換方法
JP4556286B2 (ja) 動きベクトル変換装置及び方法
KR100928272B1 (ko) 동영상 부호화를 위한 움직임 추정 방법 및 장치
JPH11252561A (ja) 動画像復号化方法
JP2006270181A (ja) 動き補償型時間方向フィルタ処理における残差成分の復号化および格納方法ならびに装置
JP2000350214A (ja) 動き補償予測符号化方法及びその装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101105

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20110801