JP2006517369A - ビデオデータストリームを符号化するための装置 - Google Patents

ビデオデータストリームを符号化するための装置 Download PDF

Info

Publication number
JP2006517369A
JP2006517369A JP2006502000A JP2006502000A JP2006517369A JP 2006517369 A JP2006517369 A JP 2006517369A JP 2006502000 A JP2006502000 A JP 2006502000A JP 2006502000 A JP2006502000 A JP 2006502000A JP 2006517369 A JP2006517369 A JP 2006517369A
Authority
JP
Japan
Prior art keywords
encoding
pass
image
type
cost
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006502000A
Other languages
English (en)
Other versions
JP4570098B2 (ja
Inventor
デュクルゥクス グザヴィエ
ソリン アラン
ローランド テリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nextream SA
Original Assignee
Nextream France SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nextream France SA filed Critical Nextream France SA
Publication of JP2006517369A publication Critical patent/JP2006517369A/ja
Application granted granted Critical
Publication of JP4570098B2 publication Critical patent/JP4570098B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation

Abstract

本発明は、第1の符号化パスを実行する第1のタイプの符号化手段(5,6)と、符号化パスを実行する第2のタイプの符号化手段(2,4)を有するビデオデータストリームのダブルパス符号化のための装置に関する。本発明によれば、第2のタイプの符号化手段(2,4)は第1のタイプの符号化手段(5,6)とは異なるものであり、第2のタイプの符号化手段(2,4)は第1の符号化パスから発する符号化情報を使用する。

Description

本発明はビデオデータストリームのダブルパス符号化のための装置及び方法に関する。
圧縮の新規格が登場してきており、符号化の品質が著しく改善される一方で、符号化コストと複雑さの増大が生じている。マルチメディアアプリケーションの開発とデータネットワークの多様性がデータ符号化システムを益々複雑にしている。
ソース画像に関しては、第1の符号化パスが符号化すべき画像の複雑さに関する正確な情報を提供し、第2パスがこの複雑さに基づいて画像を符号化する形式の多数のダブルパス符号化技法が開発されてきている。
このようなダブルパス符号化技法は極めて強力であるが、特に、ITU−T推奨規格H.264|ISO/IEC 14496−10 AVCに規定されたH26L規格(H.264としても知られる)に準拠したエンコーダの場合には、コストがかさむ。
本発明は、第1の符号化パスを実行する第1のタイプの符号化手段と、第2の符号化パスを実行する第2のタイプの符号化手段とを有するビデオデータストリームのダブルパス符号化のための装置を提供する。本発明によれば、第2のタイプの符号化手段は第1のタイプの符号化手段とは異なるものであり、第2のタイプの符号化手段は第1の符号化パスから発する符号化情報を使用する。
このように、同種の符号化を実行する2つの符号化パス又はシングルパス符号器を使用する代わりに、2つの符号化パスが異なるタイプの符号化を使用するダブルパス符号器が使用される。異なるタイプの2つの符号化パスを使用することができることで、必要ならば、実施コストを節約するとともに、ダブルパスエンコーダにより提供される符号化品質を維持し、またシングルパス符号化に比べて複雑さ予測を改善することができる。
1つの好適な実施形態によれば、
第1のタイプの符号化手段は、
符号化すべきビデオストリームの各画像の第1パスの符号化コストを測定する手段と、
基準期間を定める複数画像の第1の符号化パスの符号化コストを記憶する手段を有し、
第2のタイプの符号化手段は、
符号化すべきビデオストリームの各画像の第2パスの符号化コストを測定する手段と、
基準期間を定める複数画像の第2の符号化パスの符号化コストを記憶する手段を有する。
第1の符号化パスは画像の符号化の複雑さと基準期間とに関する正確な情報を提供する。基準期間の使用は第2の符号化パスの安定性を保証する。
1つの好適な実施形態によれば、装置は第2パス符号化手段から発するデータストリームのビットレートを制御する手段を有する。
1つの好適な実施形態によれば、ビットレートを制御する手段は、
基準期間内に符号化すべき画像の相対的重みを計算する予測手段と、
第2のタイプの符号化手段により符号化されるべき画像の目標コストを計算する制御手段と、
第2のタイプの符号化手段により符号化されるべき各画像に適用すべき量子化ステップを画像の目標コストに基づいて計算する第2のタイプの符号化の量子化手段を有し、
ただし、前記制御手段は
第2のタイプの符号化手段から受け取った目標ビットレート、及び
基準期間内に符号化すべき画像の相対的重み
に基づいて目標コストを計算する。
1つの好適な実施形態によれば、
第1パス及び第2パスの符号化コストは、少なくとも符号化すべき各画像と各基準期間とに関して、
削減可能コスト、
削減不能コスト
を含んでおり、
第1パス及び第2パスの符号化手段は、符号化すべき各画像に関して、削減可能コストと量子化ステップとの積である符号化複雑さを計算する。
1つの好適な実施形態によれば、予測手段は、
符号化すべき各画像に関して、削減不能コスト比として知られる、第1パスの削減不能な符号化コストの第2パスの削減不能な符号化コストに対する比を計算する手段と、
符号化すべき各画像に関して、複雑さ比として知られる、第1パス符号化の複雑さの第2パス符号化の複雑さに対する比を計算する手段と、
最後に符号化された画像の複雑さ比に基づいて平均複雑さ比を更新する手段と、
最後に符号化された画像の削減不能コストに基づいて平均削減不能コストを更新する手段と、
第2のタイプの符号化手段により符号化されるべき現在画像の複雑さを平均複雑さ比と前記画像の第2のタイプの符号化の複雑さとに基づいて推定する手段と、
第2のタイプの符号化手段により符号化されるべき現在画像の削減不能コストを平均削減不能コストと前記画像の第1のタイプの符号化の削減不能コストとに基づいて推定する手段と、
現在画像の属している基準期間の削減不能コストを計算する手段と、
現在画像の属している基準期間の複雑さを計算する手段と、
現在画像の相対的重みを現在画像の複雑さと現在画像の属する基準期間の総複雑さとの間の比として計算する手段とを有する。
1つの好適な実施形態によれば、第1パス符号化手段から発するデータストリームの平均ビットレートは第2パス符号化手段から受け取った目標ビットレートよりも30%〜50%大きい。
1つの好適な実施形態によれば、装置は第2パス符号化手段から受け取った目標ビットレートに基づいて量子化ステップを計算する第1パス符号化の量子化手段を有する。
1つの好適な実施形態によれば、第1パス符号化手段はMPEG−2に従って画像を符号化し、第2パス符号化手段はH.264規格に従って画像を符号化する。
H.264符号化チャート上での画像から画像への削減可能コストと構文コストの分析は、MPEG−2の場合と同じように、
あるイントラ(I)画像又は予測(P)画像から他のイントラ(I)画像又は予測(P)画像への削減可能コストは極めて不安定であり得ること、
あるP画像又は双方向(B)画像から他のP画像又は双方向(B)画像への構文コストはしばしば極めて不安定であることを示している。
したがって、直近に符号化された同タイプの画像に基づいた複雑さ予測は信頼性があると見なすことはできない。
他方で、MPEG−2及びH.264における画像から画像への削減可能コストと構文コストとの比の分析は、それぞれの画像タイプに関してこれらの比が適度に顕著な安定性を示すことを示している。それゆえ、複雑さ予測の品質を改善するために第1のMPEG−2符号化パスをH.264符号化に付加するという考えは完全に道理に適っている。
使用される原理は、一方は第1のMPEG−2符号化パスにあり、他方は第2のH.264符号化パスにある2つの画像複雑さ測定ユニットを結合することである。最適な相対予測を可能にするには、2つの符号化パスの間の測定の深さはGOPでなければならない。
本発明はまた、
第1の符号化パスを実行する第1のタイプの符号化ステップと、
第2の符号化パスを実行する第2のタイプの符号化ステップと
を有する様式のものにおいて、
第2のタイプの符号化は第1のタイプの符号化とは異なるものであり、
第2のタイプの符号化ステップは第1の符号化パスから発する符号化情報を使用する、ビデオデータストリームのダブルパス符号化方法にも関している。
本発明は、コンピュータ上でプログラムを実行した際に、本発明による方法のステップを実行するプログラムコード命令を含んでいることを特徴とする、コンピュータプログラム製品にも関している。「コンピュータプログラム製品」とは、ディスケットやカセットのようなプログラムを収容した記憶スペースからだけでなく、電気信号や光信号のような信号からも構成されうるコンピュータプログラム媒体を意味している。
添付図面を参照すれば、本発明は非限定的な実施例と有利な実施形態とによってより良く理解され、図解される。
図1は、本発明の1つの実施形態による符号化装置を示しており、
図2は、本発明の1つの実施形態によるビットレート制御モジュールを示しており、
図3は、図1において使用されるMPEG−2符号化装置を示しており、
図4は、図1において使用されるH.264符号化装置を示している。
符号化装置は第1パス符号化手段5を有している。1つの好適な実施形態によれば、これらの符号化手段はMPEG−2規格に従って符号化を実行する。
これらの符号化手段5はMPEG−2測定手段6と結合されている。
符号化装置はまた第2パス符号化手段2から入来するビデオデータストリームに遅延を発生させる手段1も有している。
以下で説明する1つの好適な実施形態によれば、第2パス符号化手段2はH.264規格に従って符号化を実行する。
第2パス符号化手段2の出力側は第2パス符号化情報測定手段4の入力側に結合されている。
H.264測定手段4の出力側はビットレート制御ユニット3の入力側に結合されている。
ビットレート制御ユニット3はまた入力側において出力目標ビットレート信号とMPEG−2測定手段6からの測定信号も受信する。手段6からの測定信号は量子化手段7の入力側にも伝送される。この量子化手段7も入力側において出力目標ビットレート信号を受信する。この量子化手段7は第1パス符号化手段5の出力側におけるビットレートの疑似制御を実行し、QMPEG−2量子化ステップを第1パス符号化手段5に伝送する。
符号化手段5は開ループで符号化を行う。この符号化手段により生成されるストリームは画像ごとの正確な目標ビットレートのどれにも従っていない。
1つの好適な実施形態によれば、第1パス符号化手段5により使用される量子化ステップは第2パス符号化手段2向けに固定された目標ビットレートに基づいて補正される。
有利には、符号器の最適な動作を得るために、第1パス符号化手段5の出力側における平均ビットレートはH.264符号化手段4向けに固定された目標ビットレートよりも30%〜50%大きい。
ビットレート制御ユニット3は図2に示されている。ビットレート制御ユニット3は、
符号化複雑さ及びコスト予測ユニット10と、
仮想デコーダバッファの状態を考慮した画像レベル制御ユニット9と、
量子化ユニット8と
に分解することができる。
ビデオデータストリームは第1の符号化パスを実行する符号化手段5の入力側において受信される。
MPEG−2又はMPEG−4 ASP符号化の場合には、削減可能コストは主に離散コサイン変換DCTの係数による。H.264符号化の場合には、削減可能コストはDCT変換を近似する完全変換による。
第1の符号化パスがMPEG−2規格に準拠した符号化手段によって実行されるここに説明する好適な実施形態においては、画像はイントラ(I)モード、双方向(B)モード、又は予測(P)モードの3つのモードで符号化することができる。
MPEG−2タイプの符号化の場合、量子化の粒度は時には画像タイプの粒度よりも細かく、マクロブロックレベルであることもある。この場合には、画像の各マクロブロックはそれ自身の量子化ステップで符号化される。
符号化手段5はMPEG−2規格に準拠した符号化を行う。符号化手段5は画像の各マクロブロックについて以下のパラメータを手段6に供給する:
削減可能コスト、EncCostMPEG2で表す;
構文コストとも呼ばれる削減不能コスト、OverheadMPEG2で表す。
ビデオストリームの画像の各マクロブロックに関して、手段6は削減可能コストと量子化ステップとの積として表される複雑さXMPEG2を計算する。
つぎに、手段6は、削減可能コストと各画像の複雑さを計算するために、それぞれ削減可能コストと各マクロブロックの複雑さを合計する。
時を通じて画像の符号化の品質を保証するために、符号化は基準期間にわたって経時的に制御される。
MPEG−2又はH.264タイプの符号化では、GOP(“Group Of Pictures”)が適切な基準期間を構成する。
したがって、手段6はまた基準期間にわたって下記のものを合計することにより計算する:
画像タイプごとの、基準期間にわたる全画像セットの削減不能コスト、I,B,及びP画像に対してそれぞれIGOPOverheadMPEG2,BGOPOverheadMPEG2,IPOPOverheadMPEG2で表す;
画像タイプごとの、基準期間にわたる全画像セットの複雑さ、IGOPXMPEG2,BGOPXMPEG2,PGOPXMPEG2で表す;
画像タイプごとの、基準期間にわたる全画像セットの削減可能コストと削減不能コストとを含めた総コスト。
第2パス符号化手段2はH.264規格に準拠した符号化を行う。第2パス符号化手段2は画像の各マクロブロックについて以下のパラメータを測定手段4に供給する:
削減可能コスト、EncCostH264で表す;
量子化ステップ。
測定手段4は、削減可能コストと量子化ステップとの積を計算することにより、XH264マクロブロック複雑さを計算する。
各マクロブロックに関して、測定手段4は削減可能コストと複雑さとの総和を計算する。測定手段4はこれからOverheadH264で表される削減不能コストを導出する。
図2には、ビットレート制御ユニット3が示されている。
ビットレート制御ユニット3は
符号化すべき現在画像の相対コストと複雑さを予測するためのユニット10と、
画像レベル制御ユニット9と、
量子化ユニット8を有している。
符号化すべき現在画像の相対コストと複雑さを予測するためのユニット10は、画像レベル制御ユニット9に符号化すべき画像の相対的重みを供給するために、現在画像と以前に定義された基準期間とに関して同時に、削減不能コストと複雑さの推定値を計算する。
予測ユニット10により実行される演算のシーケンスは次の通りである:
−最後に符号化された画像に対して第1パス符号化手段5により実行される符号化の削減不能コストと第2パス符号化手段2により実行される符号化の削減不能コストとの間の比の計算:
Figure 2006517369
−最後に符号化された画像に対して第1パス符号化手段5により実行される符号化の複雑さと第2パス符号化手段2により実行される符号化の複雑さとの間の比の計算:
Figure 2006517369
モジュール10は、このように格納された最新の比に基づいて、平均複雑さ比SmoothedRatioと平均削減不能コスト比SmoothedRatiooverheadを更新する。使用される比RatioとRatiooverheadは基準期間とは異なる期間にわたって評価される。これらの比は、種々の符号化モードに対して、符号化の各タイプごとに1つ計算される。
イントラ(I)タイプの画像に対しては:
SmoothedRatiooverhead=Ratiooverhead
SmoothedRatio=Ratio
双方向(B)又は予測(P)タイプの画像に対しては:
Figure 2006517369
SmoothedRatiooverheadとSmoothedRatioはそれぞれ値RatiooverheadとRatioに初期化されている。
つづいて、モジュール10は、測定ユニット6の測定に基づいて、符号化すべき現在画像の削減不能コストと複雑さを計算する。
符号化すべき現在画像の削減不能コスト:
OverheadH.264=SmoothedRatiooverhead[mod e]×OverheadMPEG−2
符号化すべき現在画像の複雑さ:
H.264=SmoothedRatio[mod e]×XMPEG−2
モジュール10はまた現在の基準期間に関して削減不能コストと符号化複雑さを計算する:
削減不能コスト:
GOPOverheadH.264=SmoothedRatioOverhead[I]×IGOPOverheadMPEG−2
SmoothedRatioOverhead[B]×BGOPOverheadMPEG−2
SmoothedRatioOverhead[P]×BGOPOverheadMPEG−2
複雑さ:
GOPXH.264=Z×SmootedRatio[I]×IGOPXMPEG−2
Z×SmootedRatio[P]×PGOPXMPEG−2
Z×SmootedRatio[B]×BGOPXMPEG−2
,Z,及びZは重み定数である。
これらの定数は、符号化品質が一定であるという印象を得るには、I,B,及びP画像がそれぞれ異なって量子化されなければならないという事実を伝えている。B画像は比較的に強く量子化される。
画像レベルにおける制御ユニット9は、監視ユニット(図示せず)により供給された出力目標ビットレートと問題となっている基準期間内に符号化されるべき画像の相対的重みとに基づいて、画像目標コストを計算する。
Figure 2006517369
ただし:
GOPTargetCost=(MeanBppH.264×Nbimages)−GOPOverheadH.264
ここで、
TargetCost:画像目標コスト
GlobalTargetCost:基準期間の全体的コスト
MeanBppH.264:目標ビットレートに応じた画像ごとの平均コスト
Nbimages:基準期間内の画像の数
制御ユニットは、必要ならば、制御ユニット自身が管理している仮想デコーダバッファの状態に基づいて、以前の画像目標コストを補正する。
量子化ユニット8は、画像レベル制御ユニットにより供給される画像目標コストに基づいて、第2パス符号化の最中に画像内で適用すべき量子化を計算する。量子化の粒度は、実施者の任意選択により、画像レベル又はマクロブロック列もしくは個々のマクロブロックのレベルとすることができる。
図3及び4は本発明による符号器の変種を実施したものである。図3及び4では、MPEG−2符号器はH.264符号器に対して図1及び2に示されているような情報だけでなく、GOP、画像タイプ、場面の変化、及びベクトル場構造の情報をも提供する。これにより、事前分析なしの、また必要ならば動き推定もなしの簡略化されたH.264符号化装置を使用することができるようになる。
符号器5は画像事前分析モジュール16を有している。モジュール16の出力側はグループオブピクチャ(GOP)再編成モジュール17の入力側に接続されている。モジュール17の出力側は決定モジュール18の入力側に接続されており、決定モジュール18の出力側は符号化ループ19の入力側に接続されている。符号化ループの出力側はエントロピー符号化モジュール20の入力側に接続されている。
モジュール17の出力側は動き推定モジュール21の入力側にも接続されている。
モジュール16,17,18,19,20,及び21はMPEG−2タイプの符号器内に周知のように装備されている素子の一部である。
図3の実施形態では、MPEG−2タイプの符号器は、図1に示されているような量子化パラメータの他に、以下のパラメータ(図1には図示されていない)を提供する:
GOPの構造
画像タイプ(プログレッシブ、インタレース)
場面の変化
MPEG−2タイプのベクトル場。
図4は、本発明による装置において使用されるシングルパスH.264符号器2の実施形態を示している。
符号器2は画像再編成モジュール11を有しており、この画像再編成モジュール11はモジュール1において遅延された符号化すべきビデオ画像を入力側で受け取る。
モジュール11の出力側は決定モジュール12の入力側と動き推定モジュール15の入力側とに結合されている。モジュール15はまた図3に示されている符号器2から発する信号、すなわち、16*8又は16*16マクロブロックのためのMPEG−2タイプのベクトル場を入力側で受信する。動き推定モジュール15は、ベクトル場を第2パス符号器の規格のベクトル精度、すなわち、好適な実施形態ではH.264のベクトル精度(半ピクセル又は4分の1ピクセル)に適合させるためにベクトル場の精度を変更する。MPEG−2では、動きベクトルは半ピクセルの精度を有し、H.264では、4分の1ピクセルの精度を有する。
動き推定モジュール15は欠落していることもあり得る動きベクトルを計算するのにも使用される。実際、H.264規格は7つのブロックサイズ、すなわち、16*16,16*8,8*16,8*8,4*8,8*4,4*4を許可し、MPEG−2規格は2つのブロックサイズ、すなわち、16*16と16*8しか許可しない。さらに、MPEG−2では、マクロブロックは、フレーム予測(マクロブロックごとに2つのベクトル、16*8ピクセルのサブブロックごとに1つのベクトル)が使用されているのか又は画像予測(16*16ピクセルブロックに1つのベクトルが対応する)が使用されているのかに応じて、1つ又は2つの動きベクトルを有する。
したがって、動き推定モジュール15は欠落ベクトルを再計算しなければならない場合がある。これは動き推定モジュールにおいて評価される複雑さにも依存する。
モジュール12は入力側で動き推定モジュール15から情報を受け取る。
決定モジュール12の出力側は符号化ループの入力側13に結合されている。決定モジュール12は、規格により提供される種々の可能性に従って為された選択(インター/イントラモードでの符号化、量子化ステップなど)を符号化ループに伝送する。
符号化ループの出力側はエントロピー符号化モジュール14の入力側に結合されている。エントロピー符号化モジュール14は、残差(例えば、量子化ステップ適用後の係数)とそのタイプのマクロブロックヘッダに挿入すべき一連のマクロブロックレベル情報とを符号化ループに伝送する。エントロピー符号化モジュール14は出力側で図1に示されている測定ユニット4に信号SH264を供給する。
画像再編成モジュール11は入力側で第1パス符号化から発する情報、すなわち、
GOPの構造、
画像タイプ(インタレース又はプログレッシブ)、
場面の変化
を受信する。
決定モジュール12と符号化ループ13はQH264信号も受信する。
モジュール11,12,13,14,及び15はH.264タイプの符号器内に周知のように装備されている素子の一部である。
符号器2によって実行される符号化は最適化されており、H.264ダブルパス符号器に比べてコストが著しく低減される。
MPEG−2規格による第1パス符号化とH.264規格による第2パス符号化の文脈で上に説明したダブルパス符号化装置はもちろん他のタイプの符号化にも拡張することができる。とりわけ、
固定サイズ又は適応サイズのブロック上での変換による、空間的冗長性を除去するための符号化と、
時間に関係した冗長性を除去するための動き推定型の予測
とを組み合わせた、同じタイプの画像を有するハイブリッドタイプの符号化に拡張することができる。同じタイプの画像とは、すなわち、
上記の2つの符号化のうちの第1のもの(空間的符号化)を使用したイントラ(I)画像、
空間的符号化と時間に関係した符号化の2つの符号化を使用した、専ら過去に位置する基準画像に対しての予測(P)画像、
空間的符号化と時間に関係した符号化の2つの符号化を使用した、過去及び未来に位置する基準画像に対しての双方向(B)画像
である。
本発明の1つの実施形態による符号化装置を示す。 本発明の1つの実施形態によるビットレート制御モジュールを示す。 図1において使用されるMPEG−2符号化装置を示す。 図1において使用されるH.264符号化装置を示す。

Claims (12)

  1. ビデオデータストリームのダブルパス符号化のための装置であって、
    第1の符号化パスを実行する第1のタイプの符号化手段(5,6)と、
    第2の符号化パスを実行する第2のタイプの符号化手段(2,4)と
    を有する形式のものにおいて、
    第2のタイプの符号化手段(2,4)は第1のタイプの符号化手段(5,6)とは異なるものであり、
    第2のタイプの符号化手段(2,4)は第1の符号化パスから発する符号化情報を使用する、ことを特徴とするビデオデータストリームのダブルパス符号化のための装置。
  2. 第1のタイプの符号化手段(5,6)は、
    符号化すべきビデオストリームの各画像の第1パスの符号化コストを測定する手段(6)と、
    基準期間を定める複数画像の第1の符号化パスの符号化コストを記憶する手段(6)と
    を有し、
    第2のタイプの符号化手段(2,4)は、
    符号化すべきビデオストリームの各画像の第2パスの符号化コストを測定する手段(4)と、
    基準期間を定める複数画像の第2の符号化パスの符号化コストを記憶する手段(4)と
    を有する、請求項1記載の符号化装置。
  3. 第2パス符号化手段から発するデータストリームのビットレートを制御する手段(3)を有する、請求項1又は2記載の符号化装置。
  4. ビットレートを制御する手段(3)は、
    基準期間内に符号化すべき画像の相対的重みを計算する予測手段(10)と、
    第2のタイプの符号化手段(2,4)により符号化されるべき画像の目標コストを計算する制御手段(9)と、
    第2のタイプの符号化手段(2,4)により符号化されるべき各画像に適用すべき量子化ステップを画像の目標コストに基づいて計算する第2のタイプの符号化の量子化手段(8)
    を有し、
    ただし、前記制御手段(9)は
    第2のタイプの符号化手段(2,4)から受け取った目標ビットレート、及び
    基準期間内に符号化すべき画像の相対的重み
    に基づいて目標コストを計算する、請求項3記載の装置。
  5. 第1パス及び第2パスの符号化コストは、少なくとも符号化すべき各画像と各基準期間とに関して、
    削減可能コスト、
    削減不能コスト
    を含んでおり、
    第1パス及び第2パスの符号化手段(2,4,5,6)は、符号化すべき各画像に関して、削減可能コストと量子化ステップとの積である符号化複雑さを計算する、請求項1から4のいずれか1項記載の装置。
  6. 前記予測手段(10)は、
    符号化すべき各画像に関して、削減不能コスト比として知られる、第1パスの削減不能な符号化コストの第2パスの削減不能な符号化コストに対する比を計算する手段と、
    符号化すべき各画像に関して、複雑さ比として知られる、第1パス符号化の複雑さの第2パス符号化の複雑さに対する比を計算する手段と、
    最後に符号化された画像の複雑さ比に基づいて平均複雑さ比を更新する手段と、
    最後に符号化された画像の削減不能コストに基づいて平均削減不能コストを更新する手段と、
    第2のタイプの符号化手段により符号化されるべき現在画像の複雑さを平均複雑さ比と前記画像の第2のタイプの符号化の複雑さとに基づいて推定する手段と、
    第2のタイプの符号化手段により符号化されるべき現在画像の削減不能コストを平均削減不能コストと前記画像の第1のタイプの符号化の削減不能コストとに基づいて推定する手段と、
    現在画像の属する基準期間の削減不能コストを計算する手段と、
    現在画像の属する基準期間の複雑さを計算する手段と、
    現在画像の相対的重みを現在画像の複雑さと現在画像の属する基準期間の総複雑さとの間の比として計算する手段
    を有する、請求項4又は5記載の装置。
  7. 第2パス符号化手段(2,4)から受け取った目標ビットレートに基づいて量子化ステップを計算する第1パス符号化の量子化手段(7)を有する、請求項1から6のいずれか1項記載の装置。
  8. 第1のタイプの符号化手段(5)は、第2のタイプの符号化手段に動きベクトルを提供することを目的としたビデオデータの動き推定手段(21)を有する、請求項1から7のいずれか1項記載の装置。
  9. 第1のタイプの符号化手段は、第2のタイプの符号化手段に基準期間の構造に関する情報、ビデオデータを形成する画像のタイプ、場面変化の検出に関する情報を提供することを目的とした事前分析手段(16,17)を有する、請求項1から8のいずれか1項記載の装置。
  10. 第1パス符号化手段(5,6)はMPEG−2に従って画像を符号化し、第2パス符号化手段(2,4)はH.264規格に従って画像を符号化する、請求項1から9のいずれか1項記載の装置。
  11. ビデオデータストリームのダブルパス符号化方法であって、
    第1の符号化パスを実行する第1のタイプの符号化ステップと、
    第2の符号化パスを実行する第2のタイプの符号化ステップと
    を有する様式のものにおいて、
    第2のタイプの符号化は第1のタイプの符号化とは異なるものであり、
    第2のタイプの符号化ステップは第1の符号化パスから発する符号化情報を使用する、ことを特徴とするビデオデータストリームのダブルパス符号化方法。
  12. コンピュータ上でプログラムを実行した際に、請求項9に記載された方法のステップを実行するプログラムコード命令を含んでいることを特徴とする、コンピュータプログラム製品。
JP2006502000A 2003-02-10 2004-02-04 ビデオデータストリームを符号化するための装置 Expired - Fee Related JP4570098B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0301523A FR2851111B1 (fr) 2003-02-10 2003-02-10 Dispositif de codage d'un flux de donnees video
PCT/EP2004/050078 WO2004070950A2 (en) 2003-02-10 2004-02-04 Device for encoding a video data stream

Publications (2)

Publication Number Publication Date
JP2006517369A true JP2006517369A (ja) 2006-07-20
JP4570098B2 JP4570098B2 (ja) 2010-10-27

Family

ID=32731895

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006502000A Expired - Fee Related JP4570098B2 (ja) 2003-02-10 2004-02-04 ビデオデータストリームを符号化するための装置

Country Status (7)

Country Link
US (1) US7991048B2 (ja)
EP (1) EP1593271A2 (ja)
JP (1) JP4570098B2 (ja)
KR (1) KR101048599B1 (ja)
CN (1) CN100521794C (ja)
FR (1) FR2851111B1 (ja)
WO (1) WO2004070950A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015118841A1 (ja) * 2014-02-10 2015-08-13 日本電気株式会社 映像符号化装置、映像符号化方法およびプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2881898A1 (fr) * 2005-02-10 2006-08-11 Thomson Licensing Sa Procede et dispositif de codage d'une image video en mode inter ou intra
WO2006111915A1 (en) * 2005-04-22 2006-10-26 Nxp B.V. Efficient video decoding accelerator
US8107741B2 (en) * 2007-09-28 2012-01-31 Broadcom Corporation Intra motion prediction for response time compensation
JP2009260421A (ja) * 2008-04-11 2009-11-05 Fujitsu Ltd 動画像処理システム、符号化装置、符号化方法、符号化プログラム、復号化装置、復号化方法および復号化プログラム
EP2285111A1 (en) * 2009-08-07 2011-02-16 Canon Kabushiki Kaisha Method for sending compressed data representing a digital image and corresponding device
JPWO2012128241A1 (ja) * 2011-03-18 2014-07-24 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
US20150063469A1 (en) * 2013-08-30 2015-03-05 Arris Enterprises, Inc. Multipass encoder with heterogeneous codecs
US10785485B1 (en) 2016-04-29 2020-09-22 Matrox Graphics Inc. Adaptive bit rate control for image compression

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07203463A (ja) * 1993-11-30 1995-08-04 Philips Electron Nv 画像信号を符号化するためのデバイス
JPH10304376A (ja) * 1997-04-25 1998-11-13 Sony Corp 画像符号化方法及び装置並びに記録媒体並びに画像伝送方法
JPH11275577A (ja) * 1998-01-23 1999-10-08 Victor Co Of Japan Ltd 映像信号符号化方法及び装置
JP2000228770A (ja) * 1999-02-05 2000-08-15 Toshiba Corp 可変レート動画像符号化方法および動画像編集システム
JP2001086512A (ja) * 1999-09-14 2001-03-30 Nec Corp 可変ビットレート符号化装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5287420A (en) * 1992-04-08 1994-02-15 Supermac Technology Method for image compression on a personal computer
AU703049B2 (en) * 1995-02-15 1999-03-11 Koninklijke Philips Electronics N.V. Method and device for transcoding video signals
KR100610520B1 (ko) * 1997-07-08 2006-08-09 소니 가부시끼 가이샤 비디오 데이터 부호화 장치, 비디오 데이터 부호화 방법, 비디오데이터 전송 장치 및 비디오 데이터 기록 매체
US5978029A (en) * 1997-10-10 1999-11-02 International Business Machines Corporation Real-time encoding of video sequence employing two encoders and statistical analysis
US6192154B1 (en) * 1998-01-26 2001-02-20 International Business Machines Corporation Two-pass encoding method of digital motion video sequences for constant-or variable bit rate
EP1082855A1 (en) * 1999-03-26 2001-03-14 Koninklijke Philips Electronics N.V. Video coding method and corresponding video coder
US7110455B2 (en) * 2001-08-14 2006-09-19 General Instrument Corporation Noise reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering
US20030174771A1 (en) * 2002-03-12 2003-09-18 Victor Company Of Japan, Ltd Method, apparatus, and program for variable bit rate encoding
US6961376B2 (en) * 2002-06-25 2005-11-01 General Instrument Corporation Methods and apparatus for rate control during dual pass encoding
US7251275B2 (en) * 2002-06-25 2007-07-31 General Instrument Corporation Methods and apparatus for statistical multiplexing during dual pass encoding
US7099389B1 (en) * 2002-12-10 2006-08-29 Tut Systems, Inc. Rate control with picture-based lookahead window
US7274739B2 (en) * 2003-05-19 2007-09-25 General Instrument Corporation Methods and apparatus for improving video quality in statistical multiplexing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07203463A (ja) * 1993-11-30 1995-08-04 Philips Electron Nv 画像信号を符号化するためのデバイス
JPH10304376A (ja) * 1997-04-25 1998-11-13 Sony Corp 画像符号化方法及び装置並びに記録媒体並びに画像伝送方法
JPH11275577A (ja) * 1998-01-23 1999-10-08 Victor Co Of Japan Ltd 映像信号符号化方法及び装置
JP2000228770A (ja) * 1999-02-05 2000-08-15 Toshiba Corp 可変レート動画像符号化方法および動画像編集システム
JP2001086512A (ja) * 1999-09-14 2001-03-30 Nec Corp 可変ビットレート符号化装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015118841A1 (ja) * 2014-02-10 2015-08-13 日本電気株式会社 映像符号化装置、映像符号化方法およびプログラム
JPWO2015118841A1 (ja) * 2014-02-10 2017-03-23 日本電気株式会社 映像符号化装置、映像符号化方法およびプログラム
US10116944B2 (en) 2014-02-10 2018-10-30 Nec Corporation Video encoding device, video encoding method, and program

Also Published As

Publication number Publication date
WO2004070950A2 (en) 2004-08-19
US7991048B2 (en) 2011-08-02
FR2851111B1 (fr) 2005-07-22
JP4570098B2 (ja) 2010-10-27
US20060274832A1 (en) 2006-12-07
KR101048599B1 (ko) 2011-07-12
KR20050095648A (ko) 2005-09-29
CN1748429A (zh) 2006-03-15
EP1593271A2 (en) 2005-11-09
FR2851111A1 (fr) 2004-08-13
CN100521794C (zh) 2009-07-29
WO2004070950A3 (en) 2005-02-03

Similar Documents

Publication Publication Date Title
US8553768B2 (en) Image encoding/decoding method and apparatus
JP4755095B2 (ja) 映像符号化の符号化側/復号化側に使用される双方向予測方法
US8259805B2 (en) Method and apparatus for generating coded picture data and for decoding coded picture data
US5805222A (en) Video coding apparatus
KR100955396B1 (ko) 양-예측 부호화 방법 및 장치, 양-예측 복호화 방법 및장치 및 기록매체
JP5061179B2 (ja) 照明変化補償動き予測符号化および復号化方法とその装置
US8311095B2 (en) Method and apparatus for transcoding between hybrid video codec bitstreams
US20110286516A1 (en) Apparatus and method for coding/decoding image selectivly using descrete cosine/sine transtorm
US7903732B2 (en) Method and apparatus for encoding a moving-picture signal by calculating the complexity of the moving-picture signal
KR20040047977A (ko) 공간적으로 스케일가능한 압축
US20120008686A1 (en) Motion compensation using vector quantized interpolation filters
US20110150094A1 (en) Rate control for two-pass encoder
US20090016443A1 (en) Inter mode determination method for video encoding
US20060140271A1 (en) Encoding and decoding of video images with delayed reference picture refresh
JP4570098B2 (ja) ビデオデータストリームを符号化するための装置
JP2005513896A (ja) コーディング画像
JPH11196424A (ja) 画像処理装置および方法、並びに提供媒体
KR100978465B1 (ko) 양-예측 부호화 방법 및 장치, 양-예측 복호화 방법 및 장치 및 기록매체
JP4642033B2 (ja) 参照フレームの数を固定する符号化方式で画像の参照ブロックを取得する方法
JP4169767B2 (ja) 符号化方法
JP4243286B2 (ja) 符号化方法
KR101307469B1 (ko) 비디오 인코더, 비디오 디코더, 비디오 인코딩 방법 및 비디오 디코딩 방법
JPH07222165A (ja) ビデオ信号符号化方法
Toivonen et al. Reduced frame quantization in video coding
KR20070029109A (ko) 비디오 인코딩 방법 및 디바이스

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091211

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100408

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100804

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100806

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130820

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees