JP2004140854A - 可変転送レート符号化方法および装置 - Google Patents
可変転送レート符号化方法および装置 Download PDFInfo
- Publication number
- JP2004140854A JP2004140854A JP2003399157A JP2003399157A JP2004140854A JP 2004140854 A JP2004140854 A JP 2004140854A JP 2003399157 A JP2003399157 A JP 2003399157A JP 2003399157 A JP2003399157 A JP 2003399157A JP 2004140854 A JP2004140854 A JP 2004140854A
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- transfer rate
- information
- code amount
- variable transfer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
【課題】 例えば放送や通信などによってリアルタイムで送信されてくる動画像信号に対しても可変転送レートでの符号化を行うことを可能にするとともに、編集も容易にする。
【解決手段】 例えばMPEG符号化等の手法を用いて入力画像信号を符号化し、その符号化データを記憶回路22に記録する。また、この記憶回路22に記録された符号化データの符号化情報を検出して記憶回路22に記録、あるいは、VLC器5からの符号化データの符号化情報を検出して記憶回路22に記録する。復号器40ではこの符号化データを復号し、可変転送レート符号化器50では、符号化情報と目標とする平均可変転送レートもしくは目標符号量に関する情報をもとに、その復号画像データを可変転送レート符号化する。
【選択図】 図1
【解決手段】 例えばMPEG符号化等の手法を用いて入力画像信号を符号化し、その符号化データを記憶回路22に記録する。また、この記憶回路22に記録された符号化データの符号化情報を検出して記憶回路22に記録、あるいは、VLC器5からの符号化データの符号化情報を検出して記憶回路22に記録する。復号器40ではこの符号化データを復号し、可変転送レート符号化器50では、符号化情報と目標とする平均可変転送レートもしくは目標符号量に関する情報をもとに、その復号画像データを可変転送レート符号化する。
【選択図】 図1
Description
本発明は、動画像信号(ビデオ信号)を符号化するビデオ信号符号化方法及びそれに対応するビデオ信号符号化装置、特に直交変換と量子化を使用した符号化を行うビデオ信号符号化方法および装置に適用可能なものであって、特に符号化した符号化データを固定転送レートで一時記録した後に可変レート符号化データへ変換(再符号化)することを特徴とする可変転送レート符号化方法および装置に関する。
従来の可変転送レート符号化技術の一例として特開平7−284097号公報に記載の技術によると、ビデオ信号を第1のパスと第2のパスに分けてそれぞれ符号化し、第1のパスでは第2のパスの符号化に必要な情報を生成して出力するようにしている。なお、このときの符号化方式にはいわゆるMPEGなどの方式が使われる。
MPEGについては、ISO−IEC11172−2、ITU−T H.262/ISO−IEC13818−2に詳細な説明がなされているので、ここでは概略のみ説明する。
MPEGは1988年、ISO/IEC JTC1/SC2(国際標準化機構/国際電気標準化会合同技術委員会1/専門部会2,現在のSC29)に設立された動画像符号化標準を検討する組織の名称(Moving Pictures Expert Group)の略称である。MPEG1(MPEGフェーズ1)は1.5Mbps程度の蓄積メディアを対象とした標準で、静止画符号化を目的としたJPEG(Joint Photographic Coding Experts Group)と、ISDN(Integrated Services Digital Network:統合サービスディジタル通信網)のテレビ会議やテレビ電話の低転送レート用の動画像圧縮を目的としたH.261(CCITT SGXV、現在のITU−T SG15で標準化)の基本的な技術を受け継ぎ、蓄積メディア用に新しい技術を導入したものである。これらは1993年8月、ISO/IEC 11172として成立している。
MPEG1は、幾つかの技術を組み合わせて作成されている。
入力画像信号からは、動き補償器で復号化した画像信号と当該入力画像信号との差分を取ることで時間冗長部分が削減される。
予測の方法は、基本的なモードとして、過去の画像からの予測を行うモードと、未来の画像からの予測を行うモードと、過去と未来の両方の画像からの予測を行うモードとの3モードが存在する。またこれらのモードは、16画素×16画素のマクロブロック(MB:Macro Block)毎に切り替えて使用できる。予測方法は、入力画像に与えられたピクチャタイプ(Picture_Type)によって決定される。過去の画像から予測を行って符号化するモードと予測をしないでそのマクロブロックを独立に符号化するモードとの2つのモードが存在するのが、片方向ピクチャ間予測符号化画像(Pピクチャ:P-picture)である。また、未来の画像からの予測を行うモードと、過去の画像からの予測を行うモードと、過去と未来の両方の画像からの予測を行うモードと、予測をしないで独立に符号化するモードの4つのモードが存在するのが、双方向ピクチャ間予測符号化画像(Bピクチャ:B-Picture)である。そして、全てのマクロブロックを独立に符号化するのが、ピクチャ内独立符号化画像(Iピクチャ:I-picture)である。なお、ピクチャ内独立符号化画像はイントラピクチャと呼ばれ、このため、片方向ピクチャ間予測符号化画像と双方向ピクチャ間予測符号化画像は非イントラピクチャということができる。
動き補償では、動き領域をマクロブロック毎にパターンマッチングを行ってハーフペル精度で動きペクトルを検出し、その検出した動きベクトルの動き分だけシフトしてから予測する。動きペクトルは、水平方向と垂直方向の動きベクトルが存在し、何処からの予測かを示すMC(Motion Compensation)モードとともにマクロブロックの付加情報として伝送される。
図8には、MPEG1が適用されるビデオ信号符号化装置の基本的な構成を示している。
この図8において、入力端子101には入力画像信号が供給され、この入力画像信号は演算器102と後述する動き補償予測器111に送られる。
演算器102では、動き補償予測器111にて復号化した画像信号と入力画像信号との差分が求められ、その差分画像信号がDCT器103に送られる。
DCT器103では、供給された差分画像信号を直交変換する。ここでDCT(Discrete Cosine Transform)とは、余弦関数を積分核とした積分変換を有限空間への離散変換とする直交変換である。MPEGではマクロブロックを4分割した8×8のDCTブロックに対して、2次元DCTを行う。なお、一般に、ビデオ信号は低域成分が多く、高域成分が少ないため、DCTを行うと係数が低域に集中する。
DCT器103でのDCTによって得られたデータ(DCT係数)は、量子化器104で量子化が行われる。この量子化器104における量子化では、量子化マトリックスという8×8の2次元周波数を視覚特性で重み付けした値と、その全体をスカラー倍する量子化スケールという値で乗算した値とを量子化値として、DCT係数をその量子化値で除算する。
なお、当該ビデオ信号符号化装置にて符号化された後の符号化データを、後に図示しないビデオ信号復号装置(デコーダ)で復号して逆量子化するときは、そのビデオ信号符号化装置にて使用した量子化値で乗算を行うことにより、元のDCT係数に近似している値を得ることができる。
量子化器104にて量子化されたデータは、VLC器105で可変長符号化される。このVLC器105では、量子化された値のうち、直流(DC)成分に対しては、予測符号化のひとつであるDPCM(Differencial Pulse Code Modulation)を使用して符号化する。また、交流(AC)成分に対しては、低域から高域に向けていわゆるジグザグスキャン(zigzag scan)を行い、ゼロのラン長および有効係数値を1つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていく、いわゆるハフマン符号化を行う。
VLC器105にて可変長符号化されたデータは、一時、バッファメモリ106に蓄えられた後、このバッファメモリ106から所定の転送レートで読み出され、符号化データ(符号化ビットストリーム)として出力端子107から出力される。
また、その出力される符号化データにおけるマクロブロック毎の発生符号量は、後述するバッファ管理器114を介して符号量制御器113に送信される。この符号量制御器113は、マクロブロック毎の発生符号量と目標符号量との差分を求め、当該差分に応じた符号量制御信号を生成して量子化器104にフィードバックすることにより、発生符号量制御を行う。当該符号量制御のために量子化器104にフィードバックされる符号量制御信号は、量子化器104における量子化スケールを制御するための信号である。具体的な符号量制御の方法については後述の通りである。
一方、量子化された画像データは、逆量子化器108に送られ、ここで逆量子化される。
さらに、この逆量子化により得られたDCT係数データは、逆DCT器109に送られて逆DCTされた後、演算器112にて動き補償予測器111からの予測差分画像が加算されて画像信号が復元される。
この復元された画像信号は、一時、画像メモリ110に蓄えられた後、動き補償予測器111に送られる。画像メモリ110から動き補償予測器111に送られた画像信号は、演算器102にて差分画像を計算するためのリファレンスの復号化画像を生成するために使用される。
また、出力端子107から出力される符号化データである符号化ビットストリームは、ビデオ信号の場合、1ピクチャ毎に可変長の符号量をもっている。これは、MPEGがDCT、量子化、ハフマン符号化という情報変換を用いている理由と同時に、画質向上のためにピクチャごとに配分する符号量を適応的に変更しているあるためである。すなわち、MPEGでは、動き補償予測を行っているので、あるときは入力画像信号そのままを符号化し、あるときは予測画像と入力画像信号との差分である差分画像信号を符号化するなど、符号化画像自体のエントロピィが大きく変化するためである。この場合、多くはその画像エントロピィ比率に配分しつつ、バッファメモリの容量制限を守りながら、符号量制御がなされる。
したがってバッファ管理器114は、符号化により発生した符号量と、使用可能な符号化レートとの関係を監視し、バッファメモリ106において所定のバッファ容量内に収まるように目標符号量を設定する。
この目標符号量に対する実際の発生符号量の差に対応する情報は可変長符号化器105にフィードバックされ、符号量制御器113に入る。符号量制御器113では、量子化器106にセットする量子化スケールの値を大きくして発生符号量を抑えたり、逆に量子化スケールの値を小さくして発生符号量を小さくしたりするための符号量制御信号を生成する。
上述のように、可変長データを固定の転送レートのデータ(固定転送レート符号化データ)として転送する場合、そのデータの受信側となるビデオ信号復号装置側の最大バッファ量が、その送信側のビデオ信号符号化装置における発生符号量の上限値となる。すなわち、一定速度で符号化データが入力されて、所定の値だけ蓄積されたところから、所定の時刻(テレビジョン標準放送方式の一つであるNTSC方式のビデオ信号なら1/29.97sec単位)で復号化を一瞬で行う仮想的な復号器のモデルを使用し、そのモデルの仮想バッファメモリ(いわゆるVBVバッファ)にオーバーフローもアンダーフローも発生しないように、符号化装置側で符号化することがMPEGで規定されている。この規定を守っていればVBVバッファ内でのレートは局部的に変化しているものの、観測時間を長く取れば固定の転送レートとなり、MPEGではこのことを固定レートであると定義している。
ここで、上述したように定義された固定転送レートの場合において、符号化装置側で発生符号量が少ないときには、復号装置側ではバッファ占有量が上限値に張り付いた状態になる。この場合、例えば無効ビットを追加してバッファ(VBVバッファ)がオーバーフローしないように、符号化装置側において符号量を増やさなければならない。
一方、可変転送レートの場合には、この固定転送レートの定義を拡張して、バッファ占有率が上限値になったときに、復号装置における読み出しを中止することにより、原理的にオーバーフローが起きないように定義されている。したがって、可変転送レートの場合において、仮に非常に発生符号量が少なくても、復号装置の読み出しが中止されるので、固定転送レートの時のように無効ビットを入れる必要はない。このため、可変転送レートの場合にはアンダーフローだけが発生しないように符号化する。
このような技術を背景にし、従来の可変転送レート符号化においてビデオ信号を第1のパスと第2のパスに分けて符号化し、第1のパスでは第2のパスの符号化に必要な情報を出力するような技術の説明を行う。
図9には、従来例の第1のパスの符号化を行うための構成を示す。なお、この図9において、図8に示した基本構成の各構成要素と同様に動作する部分にはそれぞれ同じ指示符号を付加してそれらの説明は省略する。
この図9に示す第1のパスの構成では、入力端子101にビデオ信号が再生入力される。その際、符号化情報には、全ビデオシーケンスに対して短区間ごとに発生する発生符号量情報などが付加される。
この発生符号量は、VLC器105でのVLC後に、符号量カウンタ121にて計算され、記憶回路122に送られて記憶される。
記憶回路122は、例えばハードディスクや光ディスクなど、高速のストレージメディアなど何でもよい。
なお、当該第1のパスは、正確な圧縮が行われたか否かをモニタする程度に用いられるので、この図9には図示しているが、バッファメモリ106とその後の符号化データの出力は、符号量をカウントできれば必ずしも必要ない。
ところで、MPEGに代表されるような符号化方式では、可変長符号化を行っているので量子化幅を固定にして第1のパスの符号化を行うと、符号化画像の複雑さや、動き補償の差分(残差成分)量に応じて発生符号量が多くなる。
したがって、この性質を利用して、発生符号量の配分を行うようにすれば、画質をほぼ均一にすることが可能となる。なお、後述する第2のパスの符号化では、その符号量配分比率を保つと同時に、発生符号量を全体の目標符号量に制御しなければならない。
発生符号量は、第1のパスの符号化で発生した短区間単位で検出し、その情報を記憶回路122に記憶する。短区間の例としては、ピクチャ内独立符号化ごとに区切ることができ、約15ピクチャ程度の1GOP(グループオブピクチャ)が考えられる。この場合、各GOP単位にどの位の発生符号量であったかが記憶回路122に記憶される。
第1のパスの符号化では、一般的に量子化幅を小さめで且つ固定にして、第2パスで出力される最終的な符号量より多くの符号量を発生させるのが普通である。このように、第1のパスの符号化において量子化幅を小さくするのは、画像の高周波成分まで細かく情報を分解し、その画像の特性を検出する必要があるからである。
ここで、第1のパスにおいてi番目の短区間内に発生した符号量をPS1B(i)とする。この各短区間内で発生した符号量PS1B(i)の比率を、第2のパスでもほぼ同じなるようにし、最終目標総符号量を第2のパスにおける各短区間内の目標符号量とする。
例えば、短区間を1GOPとすると、以下の様な方法で画質をある程度保ちながら符号を制御することができる。
次に、図10には、従来例の第2のパスの符号化を行うための構成を示す。なお、この図10において、図8に示した基本構成の各構成要素と同様に動作する部分にはそれぞれ同じ指示符号を付加してそれらの説明は省略する。
この図10に示す第2のパスの構成において、発生符号量を増加させるには、量子化スケールを小さくし、一方、発生符号量を減少させるには量子化スケールを大きくする。
この原理を用いて、例えばバッファメモリ106の占有率をもとに、量子化幅を制御する方法が考えられる。ここで注意すべき点は、片方向ピクチャ間予測符号化される画像(Pピクチャ)は一つ前のピクチ内独立符号化画像(Iピクチャ)もしくはPピクチャから予測され、また、双方向ピクチャ間予測符号化画像(Bピクチャ)は、時間的に両側のIピクチャやPピクチャから予測されている関係上、例えばIピクチャが劣化すると、連動して他のピクチャも劣化する。
以下の方式例では、これらのピクチャに対する符号量配分を考慮しながら全体の符号量制御を実現している。
先ず、目標符号量決定回路124では、記憶回路122からの第1のパスで得られた発生符号量PS1B(i)を使用して、以下の式のように各GOPの目標符号量PS2B(i)を求める。
PS2B(i)=最終目標総符号量×PS1B(i)/ΣPS1B(i)
ここで、一つのGOPに与える目標符号量PS2B(i)をRとすると、具体的な符号量制御は、以下の第1、第2のステップのようなアルゴリズムにより、符号量制御器113が行う。
(A)第1のステップ
第1のステップでは、以下の式のように、GOPの各ピクチャに対する割り当て符号量を、GOP内で未だ符号化していないピクチャに対してある重みを付けて配分する。
ここで、一つのGOPに与える目標符号量PS2B(i)をRとすると、具体的な符号量制御は、以下の第1、第2のステップのようなアルゴリズムにより、符号量制御器113が行う。
(A)第1のステップ
第1のステップでは、以下の式のように、GOPの各ピクチャに対する割り当て符号量を、GOP内で未だ符号化していないピクチャに対してある重みを付けて配分する。
Xi=Si×Qi
Xp=Sp×Qp
Xb=Sb×Qb
ここで、Xはグローバルコンプレクシティメジャー(global complexity measure)と呼ばれ、一つ前の同ピクチャタイプの符号化結果の発生符号量Sと平均量子化スケールQとの積で定義するものであり、iはIピクチャを、pはPピクチャを、bはBピクチャを表している。また、理想的な画質を達成する量子化スケールは、Iピクチャを基準とした場合のPピクチャとの比率がKp=1.0で、同じくIピクチャを基準とした場合のBピクチャとの比率がKb=1.4であると仮定する。
Xp=Sp×Qp
Xb=Sb×Qb
ここで、Xはグローバルコンプレクシティメジャー(global complexity measure)と呼ばれ、一つ前の同ピクチャタイプの符号化結果の発生符号量Sと平均量子化スケールQとの積で定義するものであり、iはIピクチャを、pはPピクチャを、bはBピクチャを表している。また、理想的な画質を達成する量子化スケールは、Iピクチャを基準とした場合のPピクチャとの比率がKp=1.0で、同じくIピクチャを基準とした場合のBピクチャとの比率がKb=1.4であると仮定する。
このとき、当該第1のステップで割り当てられる各ピクチャの符号量Ti,Tp,Tbは、以下の各式にて求められる。
Ti=MAX[R/(1+(NpXp/XiKp)+NbXb/XiKb)),br/(8*pr)]
Tp=MAX[R/(Np+(NpKpXb/KbXp)),br/(8*pr)]
Tb=MAX[R/(Nb+(NpKbXp/KbXp)),br/(8*pr)]
なお、各式において、TiはIピクチャの符号量を表し、TpはPピクチャの符号量を、TbはBピクチャの符号量を、MAXは最大を、RはそのGOPに与えられた初期値の符号量を、NpはGOP内のPピクチャの未符号化ピクチャ枚数、NbはGOP内のBピクチャの未符号化ピクチャ枚数、prはピクチャレート、brはビットレートを表している。
Tp=MAX[R/(Np+(NpKpXb/KbXp)),br/(8*pr)]
Tb=MAX[R/(Nb+(NpKbXp/KbXp)),br/(8*pr)]
なお、各式において、TiはIピクチャの符号量を表し、TpはPピクチャの符号量を、TbはBピクチャの符号量を、MAXは最大を、RはそのGOPに与えられた初期値の符号量を、NpはGOP内のPピクチャの未符号化ピクチャ枚数、NbはGOP内のBピクチャの未符号化ピクチャ枚数、prはピクチャレート、brはビットレートを表している。
ここで、初期値の符号量Rは、GOP内で符号化が進むごとに次のように更新する。
R=R−Si,p,b
(B)第2のステップ
第2のステップでは第1のステップで割り当てられた各ピクチャの符号量(Ti,Tp,Tb)と実際の発生符号量を一致させるため、以下の各式に示すように、マクロブロック毎に発生符号量を加算しつつ、目標符号量から途中での予測目標符号量との差を、量子化スケールにマクロブロック単位でフィードバックする。
(B)第2のステップ
第2のステップでは第1のステップで割り当てられた各ピクチャの符号量(Ti,Tp,Tb)と実際の発生符号量を一致させるため、以下の各式に示すように、マクロブロック毎に発生符号量を加算しつつ、目標符号量から途中での予測目標符号量との差を、量子化スケールにマクロブロック単位でフィードバックする。
dji = dOi+Bj-1−(Ti(j-1)/MB_cnt)
djp = dOp+Bj-1−(Tp(j-1)/MB_cnt)
djb = dOp+Bj-1−(Tb(j-1)/MB_cnt)
なお、各式中において、dOiはIピクチャにおける仮想バッファ(VBVバッファ)の初期占有量を、dOpはPピクチャにおける仮想バッファ(VBVバッファ)の初期占有量を、dObはBピクチャにおける仮想バッファ(VBVバッファ)の初期占有量を、jは符号量カウンタ121にてカウントされた各ピクチャの先頭から何番目かを示す番号を、Bjは符号量カウンタ121でカウントされた各ピクチャの先頭からj番目のマクロブロックまでの発生符号量を、MB_cntは1ピクチャ内のマクロブロック数を、djiはIピクチャにおけるフィードバック量を、djpはPピクチャにおけるフィードバック量を、djbはBピクチャにおけるフィードバック量を示している。
djp = dOp+Bj-1−(Tp(j-1)/MB_cnt)
djb = dOp+Bj-1−(Tb(j-1)/MB_cnt)
なお、各式中において、dOiはIピクチャにおける仮想バッファ(VBVバッファ)の初期占有量を、dOpはPピクチャにおける仮想バッファ(VBVバッファ)の初期占有量を、dObはBピクチャにおける仮想バッファ(VBVバッファ)の初期占有量を、jは符号量カウンタ121にてカウントされた各ピクチャの先頭から何番目かを示す番号を、Bjは符号量カウンタ121でカウントされた各ピクチャの先頭からj番目のマクロブロックまでの発生符号量を、MB_cntは1ピクチャ内のマクロブロック数を、djiはIピクチャにおけるフィードバック量を、djpはPピクチャにおけるフィードバック量を、djbはBピクチャにおけるフィードバック量を示している。
さらに、平均量子化スケールQは、以下の式にて求められる。
Q=dj×31/r
R= 2×br/pr
なお、式中のQは量子化スケールを、rはフィードバックの応答速度を決定するパラメータである。
R= 2×br/pr
なお、式中のQは量子化スケールを、rはフィードバックの応答速度を決定するパラメータである。
従来の構成では、上述のような各演算を行うことにより符号量制御を行うことが可能となる。
なお、MPEGについては、ISO−IEC11172−2、ITU−T H.262/ISO−IEC13818−2に詳細な説明がなされているため、ここではこれ以上の説明は省略する。
このように、従来の構成では可変転送レート符号化を実現するために、上述したような2回のパスの符号化を通さなければならない。
すなわち、図9,図10に示したように、ビデオ信号符号化装置に対して、符号化する動画像信号を2度入力させなければならなかった。このため、例えば放送や通信などによってリアルタイムで送信されてくる動画像信号などのように、1度しか送信されてこない画像信号に関しては、可変転送レート符号化を行うことができなかった。
また、例えば符号化されたデータの編集をするような場合には、再度符号化し直さなければならなかったり、符号化データをMPEGに準拠させるために、実際に編集を行いたい部分の他に数フレームを部分的に修正しなければならなくなったりするなど、非常に手間を要する問題があった。
本発明は、上述の課題に鑑みてなされたものであり、例えば放送や通信などによってリアルタイムで送信されてくる動画像信号に対しても可変転送レートでの符号化を行うことが可能であるとともに、編集も容易な、可変転送レート符号化方法および装置の提供を目的とする。
そこで、上記課題を解決するために本発明は、以下の方法及び装置を提供するものである。
(1) ビデオ信号を直交変換と量子化を使用して符号化して、可変転送レートにて出力する可変転送レート符号化方法であって、
入来するビデオ信号を直交変換と量子化を使用して符号化するステップと、
その符号化された符号化データを固定転送レートで記録するステップと、
前記記録された符号化データの発生符号量と量子化幅とを検出し符号化情報を生成するステップと、
前記記録された符号化データを復号するステップと、
前記符号化情報と予め設定されている全体目標符号量とをもとに、各画像単位の新たな目標符号量を設定し、各画像単位毎に発生符号量がその新たな目標符号量となるように、前記符号化データを復号したデータを可変長符号化する可変転送レート符号化ステップと、
を有することを特徴とする可変転送レート符号化方法。
(2) ビデオ信号を直交変換と量子化を使用して符号化し、可変転送レートにて出力する可変転送レート符号化方法であって、
入来するビデオ信号を直交変換と量子化を使用して符号化するステップと、
その符号化された符号化データの発生符号量と量子化幅とを検出し符号化情報を生成するステップと、
前記符号化された符号化データを固定転送レートで記録すると共に、前記符号化情報を記録するステップと、
前記記録された符号化データを復号するステップと、
前記記録された符号化情報と予め設定されている全体目標符号量とをもとに、各画像単位の新たな目標符号量を設定し、各画像単位毎に発生符号量がその新たな目標符号量となるように、前記符号化データを復号したデータを可変長符号化する可変転送レート符号化ステップと、
を有することを特徴とする可変転送レート符号化方法。
(3) 前記記録するステップにおいて、前記符号化するステップでの符号化時の動き補償に関するパラメータを記録するようにし、
前記可変転送レート符号化ステップにおいて、前記記録された符号化データを復号したデータを可変長符号化する際に、動き補償に関するパラメータとして、前記記録された動き補償に関するパラメータを使用することを特徴とする上記(1)または(2)記載の可変転送レート符号化方法。
(4) 編集情報を入力するステップを設け、
前記符号化情報を生成するステップでは、編集情報に基づく必要な区間のみの符号化情報を生成し、
前記復号するステップでは、編集情報に基づく必要な区間のみのデータを復号し、
前記可変転送レート符号化ステップでは、前記符号化情報として編集情報に基づく必要な区間のみの符号化情報を使用すると共に、符号化するデータとして前記編集情報に基づき必要な区間のみ復号されたデータを使用する、
ことを特徴とする上記(1)〜(3)の内のいずれか1項に記載の可変転送レート符号化方法。
(5) ビデオ信号を直交変換と量子化を使用して符号化して、可変転送レートにて出力する可変転送レート符号化装置であって、
入来するビデオ信号を直交変換と量子化を使用して符号化する入来ビデオ信号符号化手段と、
その符号化された符号化データを固定転送レートで記録する記録手段と、
前記記録された符号化データの発生符号量と量子化幅とを検出し符号化情報を生成する符号化情報検出手段と、
前記記録された符号化データを復号する復号手段と、
前記符号化情報と予め設定されている全体目標符号量とをもとに、各画像単位の新たな目標符号量を設定し、各画像単位毎に発生符号量がその新たな目標符号量となるように、前記符号化データを復号したデータを可変長符号化する可変転送レート符号化手段と、
を有することを特徴とする可変転送レート符号化装置。
(6) ビデオ信号を直交変換と量子化を使用して符号化し、可変転送レートにて出力する可変転送レート符号化装置であって、
入来するビデオ信号を直交変換と量子化を使用して符号化する入来ビデオ信号符号化手段と、
その符号化された符号化データの発生符号量と量子化幅とを検出し符号化情報を生成する符号化情報検出手段と、
前記符号化された符号化データを固定転送レートで記録すると共に、前記符号化情報を記録する記録手段と、
前記記録された符号化データを復号する復号手段と、
前記記録された符号化情報と予め設定されている全体目標符号量とをもとに、各画像単位の新たな目標符号量を設定し、各画像単位毎に発生符号量がその新たな目標符号量となるように、前記符号化データを復号したデータを可変長符号化する可変転送レート符号化手段と、
を有することを特徴とする可変転送レート符号化装置。
(7) 前記入来ビデオ信号符号化手段は、符号化時の動き補償に関するパラメータを出力するものであり、
前記記録手段はその動き補償に関するパラメータを記録するものであり、
前記可変転送レート符号化手段は、前記記録された符号化データを復号したデータを可変長符号化する際に、動き補償に関するパラメータとして、前記記録された動き補償に関するパラメータを使用するものである、
ことを特徴とする上記(5)または(6)記載の可変転送レート符号化装置。
(8) 編集情報を入力する編集情報入力手段と、
その編集情報に基づいて前記符号化情報検出手段を制御する検出制御手段と、
前記編集情報に基づいて前記復号手段を制御する復号化制御手段とを設け、
前記符号化情報検出手段では、前記検出制御手段の制御により、前記編集情報に基づく必要な区間のみの符号化情報を生成し、
前記復号手段では、前記復号化制御手段の制御により、前記編集情報に基づく必要な区間のみ符号化データを復号し、
前記可変転送レート符号化手段では、前記符号化情報として前記編集情報に基づく必要な区間のみの符号化情報を使用すると共に、符号化するデータとして前記編集情報に基づき必要な区間のみ復号されたデータを使用する、
ことを特徴とする上記(5)〜(7)の内のいずれか1項に記載の可変転送レート符号化装置。
(1) ビデオ信号を直交変換と量子化を使用して符号化して、可変転送レートにて出力する可変転送レート符号化方法であって、
入来するビデオ信号を直交変換と量子化を使用して符号化するステップと、
その符号化された符号化データを固定転送レートで記録するステップと、
前記記録された符号化データの発生符号量と量子化幅とを検出し符号化情報を生成するステップと、
前記記録された符号化データを復号するステップと、
前記符号化情報と予め設定されている全体目標符号量とをもとに、各画像単位の新たな目標符号量を設定し、各画像単位毎に発生符号量がその新たな目標符号量となるように、前記符号化データを復号したデータを可変長符号化する可変転送レート符号化ステップと、
を有することを特徴とする可変転送レート符号化方法。
(2) ビデオ信号を直交変換と量子化を使用して符号化し、可変転送レートにて出力する可変転送レート符号化方法であって、
入来するビデオ信号を直交変換と量子化を使用して符号化するステップと、
その符号化された符号化データの発生符号量と量子化幅とを検出し符号化情報を生成するステップと、
前記符号化された符号化データを固定転送レートで記録すると共に、前記符号化情報を記録するステップと、
前記記録された符号化データを復号するステップと、
前記記録された符号化情報と予め設定されている全体目標符号量とをもとに、各画像単位の新たな目標符号量を設定し、各画像単位毎に発生符号量がその新たな目標符号量となるように、前記符号化データを復号したデータを可変長符号化する可変転送レート符号化ステップと、
を有することを特徴とする可変転送レート符号化方法。
(3) 前記記録するステップにおいて、前記符号化するステップでの符号化時の動き補償に関するパラメータを記録するようにし、
前記可変転送レート符号化ステップにおいて、前記記録された符号化データを復号したデータを可変長符号化する際に、動き補償に関するパラメータとして、前記記録された動き補償に関するパラメータを使用することを特徴とする上記(1)または(2)記載の可変転送レート符号化方法。
(4) 編集情報を入力するステップを設け、
前記符号化情報を生成するステップでは、編集情報に基づく必要な区間のみの符号化情報を生成し、
前記復号するステップでは、編集情報に基づく必要な区間のみのデータを復号し、
前記可変転送レート符号化ステップでは、前記符号化情報として編集情報に基づく必要な区間のみの符号化情報を使用すると共に、符号化するデータとして前記編集情報に基づき必要な区間のみ復号されたデータを使用する、
ことを特徴とする上記(1)〜(3)の内のいずれか1項に記載の可変転送レート符号化方法。
(5) ビデオ信号を直交変換と量子化を使用して符号化して、可変転送レートにて出力する可変転送レート符号化装置であって、
入来するビデオ信号を直交変換と量子化を使用して符号化する入来ビデオ信号符号化手段と、
その符号化された符号化データを固定転送レートで記録する記録手段と、
前記記録された符号化データの発生符号量と量子化幅とを検出し符号化情報を生成する符号化情報検出手段と、
前記記録された符号化データを復号する復号手段と、
前記符号化情報と予め設定されている全体目標符号量とをもとに、各画像単位の新たな目標符号量を設定し、各画像単位毎に発生符号量がその新たな目標符号量となるように、前記符号化データを復号したデータを可変長符号化する可変転送レート符号化手段と、
を有することを特徴とする可変転送レート符号化装置。
(6) ビデオ信号を直交変換と量子化を使用して符号化し、可変転送レートにて出力する可変転送レート符号化装置であって、
入来するビデオ信号を直交変換と量子化を使用して符号化する入来ビデオ信号符号化手段と、
その符号化された符号化データの発生符号量と量子化幅とを検出し符号化情報を生成する符号化情報検出手段と、
前記符号化された符号化データを固定転送レートで記録すると共に、前記符号化情報を記録する記録手段と、
前記記録された符号化データを復号する復号手段と、
前記記録された符号化情報と予め設定されている全体目標符号量とをもとに、各画像単位の新たな目標符号量を設定し、各画像単位毎に発生符号量がその新たな目標符号量となるように、前記符号化データを復号したデータを可変長符号化する可変転送レート符号化手段と、
を有することを特徴とする可変転送レート符号化装置。
(7) 前記入来ビデオ信号符号化手段は、符号化時の動き補償に関するパラメータを出力するものであり、
前記記録手段はその動き補償に関するパラメータを記録するものであり、
前記可変転送レート符号化手段は、前記記録された符号化データを復号したデータを可変長符号化する際に、動き補償に関するパラメータとして、前記記録された動き補償に関するパラメータを使用するものである、
ことを特徴とする上記(5)または(6)記載の可変転送レート符号化装置。
(8) 編集情報を入力する編集情報入力手段と、
その編集情報に基づいて前記符号化情報検出手段を制御する検出制御手段と、
前記編集情報に基づいて前記復号手段を制御する復号化制御手段とを設け、
前記符号化情報検出手段では、前記検出制御手段の制御により、前記編集情報に基づく必要な区間のみの符号化情報を生成し、
前記復号手段では、前記復号化制御手段の制御により、前記編集情報に基づく必要な区間のみ符号化データを復号し、
前記可変転送レート符号化手段では、前記符号化情報として前記編集情報に基づく必要な区間のみの符号化情報を使用すると共に、符号化するデータとして前記編集情報に基づき必要な区間のみ復号されたデータを使用する、
ことを特徴とする上記(5)〜(7)の内のいずれか1項に記載の可変転送レート符号化装置。
上述したように、本発明に係る可変転送レート符号化方法および装置によれば、従来の可変転送レート符号化装置のように、同じ画像を2回符号化装置に入力する必要がなくなる。すなわち、符号化する動画像信号として、放送や通信などからリアルタイムで送信されてくる動画像信号など1度しか送信されない画像信号に関しても、高レートで符号化を行ってそのデータを、書き込み可能なディスクやテープメディアなどに一時的に記録し、しかる後にそのデータを用いて、高画質な可変転送レート符号化を行い、最終的に必要な可変転送レート符号化データを生成して例えば記録することが可能となる。
また、一時的に記録した符号化データの動き補償に関するパラメータを使用して、可変転送レート符号化を行うようにした場合には、動きベクトルを求める際に、符号化劣化ノイズに乱されることがなくなる。
さらに、一時的に記録した符号化データのうち、編集でカットしたい部分などの編集情報を用いて、可変転送レート符号化を行うようにした場合には、編集情報を反映した可変転送レート符号化を行うことができる。
以下、本発明に係る可変転送レート符号化方法および装置の好ましい実施の形態について図面を参照しながら詳細に説明する。
図1には、本発明に係る可変転送レート符号化方法及び装置が適用される一実施の形態としてのビデオ信号符号化装置の基本構成を示す。なお、本実施の形態では、動画像信号の符号化手法として例えばMPEG1符号化を用いた例を挙げて説明する。
この図1において、本実施の形態のビデオ信号符号化装置の入力端子1に入力される入力画像信号は、輝度信号と色差信号で構成されたビデオ信号であり、ディジタル化された後にピクチャタイプにあわせて画像の並べ替えが行われているものである。当該入力画像信号が符号化データとして記憶回路22に記録され、さらにこの記憶回路22に記録された符号化データを可変転送レート符号化データに変換(再符号化)するまでの概略構成例を、この図1を用いて説明する。
入力端子1に供給された入力画像信号は、演算器2と動き補償予測器11に送られる。
動き補償予測器11では、入力画像信号をその符号化順に動き補償予測し、演算器2では、入力画像信号と動き補償予測器11からの予測画像との差分が計算される。
当該演算器2での演算により得られた差分画像データは、DCT器3においてDCTが行われる。
このDCT器3からのDCT係数は、量子化器4で量子化される。その量子化データは、動き補償予測器11からの動きベクトルや符号化モードと共にVLC器5に送られ、当該VLC器5で可変長符号化(VLC)される。
このVLC器5での可変長符号化によって得られた符号化データは、バッファメモリ6に一時蓄積され、その後、MPEGのビデオストリームとして当該バッファメモリ6から出力される。
また、レート制御器23は、バッファメモリ6の充足度を監視しており、基本的には、バッファメモリ6の充足度が多くなると量子化を粗く、少なくなると量子化を細かくするような符号化制御信号を、量子化器4にフィードバックする。
すなわち、当該量子化器4にフィードバックされる符号化制御信号は、量子化幅を制御するための制御信号である。
すなわち、当該量子化器4にフィードバックされる符号化制御信号は、量子化幅を制御するための制御信号である。
ここで、本実施の形態においても、前述したように、入力画像信号はMPEGで定義される固定転送レートで符号化される。この符号化レートは、記録メディアの容量と、記録する入力画像信号の再生時間に依存するものであるが、その条件内で当該符号化レートは極力高いほうが望ましい。すなわち画質がよいほうが望ましい。なぜならば、当該符号化レートが後述する可変転送レート符号化データ変換において符号化される条件の最大転送レートに等しくなるからである。
このため、本実施の形態では、バッファメモリ6から出力される符号化データを、記憶回路22に記録するようにしている。なお、本実施の形態にて用いる記憶回路22は、記録再生可能なハードディスクや光ディスク、高速のストレージメディアなど何でもよい。
一方、Iピクチャ、Pピクチャは、後に動き補償予測の参照画像として用いる必要があるため、量子化器4から出力される当該IピクチャやPピクチャの量子化データは、逆量子化器8以降にも送られる。
すなわち、この逆量子化器8での逆量子化により得られたDCT係数データは、逆DCT器9に送られて逆DCTされた後、演算器12にて動き補償予測器11からの予測差分画像が加算されて画像信号が復元される。
この復元された画像信号は、一時、画像メモリ10に蓄えられる。当該復元されて画像メモリ10に蓄えられた画像信号は、後のビデオ信号復号装置において再生されるものと同じ画像信号である。
当該画像メモリ10に蓄えられた画像信号は、動き補償予測器11に送られ、次の動き補償予測の参照画像となされる。つまり、画像メモリ10から動き補償予測器11に送られた画像信号は、演算器2にて差分画像を計算するためのリファレンスの復号化画像を生成するために使用される。
次に、本実施の形態のビデオ信号符号化装置では、記憶回路22に記録された符号化データを、符号化情報検出器24に送る。この符号化情報検出器24では、符号化データから各ピクチャの発生符号量や量子化幅を検出し、その発生符号量や量子化幅を再び記憶回路22に送って記録させる。当該記憶回路22に記録される具体的な符号化情報としては、図2に示すようなフォーマットのピクチャ情報を挙げることができる。このピクチャ情報の部分がピクチャの枚数分だけ、符号化の順番で記憶回路22に記録される。
ここで、MPEG符号化による圧縮データは、ピクチャの先頭に4バイトのピクチャスタートコードをつけるように決められている。このピクチャスタートコードは、「0×00000100」といった他のデータと区別できるようバイトアラインされたユニークコードなので、符号化情報検出器24では、先ずこのピクチャスタートコードを検出し、次に当該ピクチャスタートコードが検出されるまでの間の符号量をカウントすることにより、そのピクチャの発生符号量を計算するようにしている。
また、発生符号量は、符号化レートにも依存するが、15Mbps相当で、最大1.75Mビット程度であり、さらに精度も1000ビット程度あれば良い。
したがって、記憶回路22には、11〜12ビット/ピクチャ程度の情報でバイトアラインを考えて、2バイト程度の情報を符号化されたピクチャ順番に記録するようにしている。
したがって、記憶回路22には、11〜12ビット/ピクチャ程度の情報でバイトアラインを考えて、2バイト程度の情報を符号化されたピクチャ順番に記録するようにしている。
さらに、量子化幅情報としては、マクロブロックという16画素×16画素のブロック毎に決められる量子化幅の和、もしくは平均値を求めるのが理想的であるが、いわゆるNTSC放送方式の720×480画素のピクチャの場合には1350個のマクロブロックの平均をとらなければならない。この場合、MPEGレイヤのうち、本来ならばマクロブロック層という比較的深い部分まで圧縮データをVLC(可変調復号化)しなければならないが、高速化のために、マクロブロック1列分のスライス層の先頭にあるスライス量子化幅を量子化幅情報として用いることも可能である。このスライス量子化幅は、NTSC放送方式の720×480画素のピクチャの場合には30個(480/16)存在していて、ピクチャスタートコードと同様にユニークコードであるスライススタートコード「0×00000101〜0×0000011E」の間で検出することが可能である。なお、スライス量子化幅はそのスライススタートコードの直後の5ビットにて示されている。
符号化情報検出器24では、上述した発生符号量や量子化幅の値を30個検出して、それらの和もしくは平均をとるようにしている。なお、量子化幅は、マクロブロック層でもスライス層でも1〜31の5ビットで示されるので、当該量子化幅情報は2バイトあれば表現できる値である。このため、記憶回路22においては、当該量子化幅情報を発生符号量情報の後に付加して記録するようにしている。
図1の構成では、符号化した後の符号化データから発生符号量や量子化幅情報を検出する例を挙げたが、VLC器5での符号化と同時に、発生符号量や量子化幅情報を検出するようにしてもよい。
当該VLC器5での符号化と同時に発生符号量や量子化幅情報を符号化情報検出器24にて検出する場合の基本構成を、図3に示す。なお、この図3において、図1に示した構成の各構成要素と同様に動作する部分にはそれぞれ同じ指示符号を付加してそれらの説明は省略する。
この図3に示す構成の符号化情報検出器24では、例えば、VLC器5で可変長符号化を行っているときの符号化データを用いて、例えばピクチャスタートコード間の符号をカウントすることにより、符号化時のマクロブロック毎の量子化幅の和もしくは平均値を検出するようにしている。もちろん、符号化情報検出器24では、ピクチャスタートコード間で量子化幅を求める代わりに、前述したように、スライススタートコード間でスライス量子化幅を求めることも可能である。当該符号化情報検出器24にて検出された発生符号量や量子化幅情報は、記憶回路22に記録される。
上述した図1及び図3の構成においては、記憶回路22に記録された発生符号量情報と量子化幅情報、符号化データ等を用いて、後述するように、当該符号化データを可変転送レート符号化データに変換(再符号化)するようにしている。
すなわち、図1及び図3の基本構成には、上述した構成に加えて、記憶回路22に記録された符号化データを復号画像データに変換する復号器40と、同じく記憶回路22に記録された発生符号量情報と量子化幅情報、及び、後述する目標とする平均可変転送レートもしくは目標符号量に関する情報に基づいて、その復号画像データを可変転送レート符号化データに変換して出力端子7から出力するための可変転送レート符号化器50とを備えている。この出力端子7から出力された可変転送レート符号化データは、図示しない記録媒体に記録されることになる。
図4には、記憶回路22に記録された発生符号量情報と量子化幅情報、符号化データ等を用いて、当該符号化データを可変転送レート符号化データに変換(再符号化)するための第1の具体例の構成、すなわち、図1及び図3の復号器40と可変転送レート符号化器50、及びその周辺回路(図1,図3では図示を省略)の、より具体的な構成を示す。なお、この図4には、説明の都合上、記憶回路22も同時に示している。
この図4において、記憶回路22から読み出された符号化データは、復号器40にて復号され、復号画像データとして可変転送レート符号化器50に送られる。
この可変転送レート符号化器50に供給された復号画像データは、演算器52と動き補償予測器61に送られる。
動き補償予測器61では、復号画像データを符号化順に動き補償予測し、演算器52では、復号画像データと動き補償予測器61からの予測画像との差分が計算される。
当該演算器52での演算により得られた差分画像データは、DCT器53においてDCTが行われる。
このDCT器53からのDCT係数は、量子化器54で量子化される。その量子化データは、動き補償予測器61からの動きベクトルや符号化モードと共にVLC器55に送られ、当該VLC器55で可変長符号化(VLC)される。
このVLC器55での可変長符号化によって得られた符号化データは、バッファメモリ56に一時蓄積され、その後、可変転送レート符号化データとして出力端子57から出力され、図1または図3の出力端子7に送られる。この出力された可変転送レート符号化データは図示しない記録媒体に記録されることになる。
一方、Iピクチャ、Pピクチャは、後に動き補償予測の参照画像として用いる必要があるため、量子化器54から出力される当該IピクチャやPピクチャの量子化データは、逆量子化器58以降にも送られる。
すなわち、この逆量子化器58での逆量子化により得られたIピクチャやPピクチャのDCT係数データは、逆DCT器59に送られて逆DCTされた後、演算器62にて動き補償予測器61からの予測差分画像が加算されて画像信号が復元される。
この復元された画像信号は、一時、画像メモリ60に蓄えられる。当該復元されて画像メモリ60に蓄えられた画像信号は、後のビデオ信号復号装置において再生されるものと同じ画像信号である。
当該画像メモリ60に蓄えられた画像信号は、動き補償予測器61に送られ、次の動き補償予測の参照画像となされる。つまり、画像メモリ60から動き補償予測器61に送られた画像信号は、演算器52にて差分画像を計算するためのリファレンスの復号化画像を生成するために使用される。
また、符号量カウンタ62は、VLC器55でのVLC後に、発生符号量を計算し、この発生符号量を示すピクチャ符号量情報を符号量制御回路63に供給する。
符号量制御回路63では、当該符号量カウンタ62からのピクチャ符号量情報と後述するピクチャ目標符号量情報とに基づいて、量子化器54における量子化ステップを制御する。
一方、記憶回路22から読み出された発生符号量情報および量子化幅情報等を含む符号化情報は、図1及び図3では図示を省略した目標符号量決定回路26に入力される。
また、当該目標符号量決定回路26には、例えばCPU(中央処理ユニット)25から、可変転送レート符号化データの目標符号量が設定される。なお、CPU25は、外部に設けられるものであるが、内部に設けることも可能である。CPU25にて設定される目標符号量は、これから可変転送レート符号化データに変換しようとする符号化データの再生時間がわかれば、平均可変転送レートを入力するのと等価となる。
ここで、この目標符号量決定回路26における符号化量決定のアルゴリズム例を以下に説明する。
例えば、前述したように符号化情報検出器24が検出したピクチャ毎の発生符号量をBIT(i)、そのときのピクチャ全体の平均量子化幅をQ(i)、符号化データを可変転送レート符号化データに変換(再符号化)した後の全体の目標符号量をTBとする。なお、(i)はピクチャの番号を示す。これらを用いて、可変化転送レート符号化データの各ピクチャに与える目標符号量TG(i)は、以下の式により求めることができる。
EN(i)=BIT(i)0.8×Q(i)
TG(i)=TB×EN(i)/ΣEN(i)
この式により求めた、可変化転送レート符号化データの各ピクチャに与える目標符号量(ピクチャ目標符号量情報)TG(i)は、可変転送レート符号化器50の符号量制御回路63に送られる。なお、式中のENは、その検出したピクチャ複雑さや、動き補償時の誤差量にほぼ比例しており、符号化の難しさを表すものである。このENの値が高いときには符号量を増やし、小さいときには符号量を減らすことで、画質を一定にした符号量割り当てが可能となる。可変転送レート符号化データの各ピクチャに与える目標符号量TG(i)は、この比率で、当該可変転送レート符号化データに変換した後の全体の目標符号量TBを分配していることに他ならない。また、前述した従来例と同様に、発生符号量比率に単純に分配するようにしてもよく、ピクチャ内の符号量制御は前述した第2のステップ以降の方法で実現することが可能である。
TG(i)=TB×EN(i)/ΣEN(i)
この式により求めた、可変化転送レート符号化データの各ピクチャに与える目標符号量(ピクチャ目標符号量情報)TG(i)は、可変転送レート符号化器50の符号量制御回路63に送られる。なお、式中のENは、その検出したピクチャ複雑さや、動き補償時の誤差量にほぼ比例しており、符号化の難しさを表すものである。このENの値が高いときには符号量を増やし、小さいときには符号量を減らすことで、画質を一定にした符号量割り当てが可能となる。可変転送レート符号化データの各ピクチャに与える目標符号量TG(i)は、この比率で、当該可変転送レート符号化データに変換した後の全体の目標符号量TBを分配していることに他ならない。また、前述した従来例と同様に、発生符号量比率に単純に分配するようにしてもよく、ピクチャ内の符号量制御は前述した第2のステップ以降の方法で実現することが可能である。
符号量制御回路27では、上述のようにして求めたピクチャ目標符号量TG(i)と、符号量カウンタ62でカウントされたピクチャ符号量情報とに基づいて、量子化器54における量子化スケールを制御することで、符号量の制御を行う。
本実施の形態のビデオ信号符号化装置によれば、上述のような処理によって符号化データを可変転送レート符号化データに変換(再符号化)することを可能にしている。
また、図1及び図3の構成においては、図4の構成に代えて、図5に示すような構成により、符号化データを可変転送レート符号化データに変換(再符号化)することも可能である。
すなわち、図5には、記憶回路22に記録された発生符号量情報と量子化幅情報、符号化データ等を用いて、当該符号化データを可変転送レート符号化データに変換(再符号化)するための第2の具体例の構成を示している。なお、この図5において、図4に示した各構成要素と同様に動作する部分にはそれぞれ同じ指示符号を付加してそれらの説明は省略する。
この図5の構成では、図1の例のように記憶回路22に記録された符号化データに基づいて符号化情報検出器24で各ピクチャの発生符号量や量子化幅を検出する構成、もしくは、図3の例のように符号化しながら発生符号量や量子化幅情報を符号化情報検出器24で検出する構成における符号化にて使用し、その符号化データに記述されたマクロブロック毎の動き補償に関するパラメータを、記憶回路22に記録しておくようにしており、可変転送レート符号化器50にて復号画像データを可変転送レート符号化するときに、当該記憶回路22に記録された動き補償に関するパラメータを使用するようにしている。
この図5の構成と図4の構成との違いは、記憶回路22から読み出された動き補償に関するパラメータが、動き補償関連情報として可変転送レート符号化器50の符号化情報入力器64に入力され、当該可変転送レート符号化器50の動き補償予測器61ではこの動き補償関係情報を用いて動き補償予測を行うようにしていることである。
ここで、記憶回路22に記録される動き補償に関するパラメータとしては、具体的にはマクロブロック毎の動きベクトルと動き補償のタイプ等を挙げることができる。すなわち、この図5に示す構成例の記憶回路22に記憶される具体的な符号化情報としては、前述の図2に示したようなフォーマットのピクチャ情報に加えて、図6に示すようなマクロブロック情報の部分がマクロブロックの個数分だけ、ピクチャの左上から右下方向へのラスタ順番に記録される。
こうすることで、記憶回路22に記録されている符号化データが例えばある程度の符号化劣化を伴っているような場合であっても、その符号化データを復号器40にて復号した復号画像を用いて動き補償予測器61が動きベクトルを求める際に、符号化劣化ノイズに乱されることがなくなる。また、動きベクトルを求める処理量も削減できる。これ以外にも、例えばいわゆるMPEG2に拡張する場合に、フレームとフィールドで適応的に切り換える類の情報を記録することは、十分効果的である。
さらに、図1及び図3の構成においては、図4や図5の構成に代えて、図7に示すような構成により、符号化データを可変転送レート符号化データに変換(再符号化)することも可能である。
すなわち、図7には、記憶回路22に記録された発生符号量情報と量子化幅情報、符号化データ等を用いて、当該符号化データを可変転送レート符号化データに変換(再符号化)するための第3の具体例の構成を示している。なお、この図7において、図4や図5に示した各構成要素と同様に動作する部分にはそれぞれ同じ指示符号を付加してそれらの説明は省略する。
すなわち、この図7の構成では、図1や図3の符号化により得られた符号化データに対して、例えば編集処理を施すような場合に、可変転送レート符号化器50における可変転送レート符号化の際に、その編集処理に使用した編集情報に従った符号化を行うようにする。なお、具体的な編集情報としては、例えば編集を有効にしたい画像の時間情報を示す、時間:分:秒:フレームからなるフォーマットの情報を挙げることができる。
より具体的に説明すると、この図7では、編集開始点と編集終了点を組み合わせて生成される編集情報が編集情報入力器41から入力され、その編集情報が復号制御器42に送られる。
当該復号制御器42は、その編集情報に記述されている、編集を有効にしたい画像の時間部分だけを復号再生するように、復号器40を制御する。したがって、このときの復号器40では、記憶回路22から供給される符号化データのうち、編集情報にて記述されている編集を有効にしたい画像の時間部分だけを復号再生することになる。
また、この図7の構成の場合、編集情報入力器41からの編集情報は、検出制御器43にも入力される。この検出制御器43は、編集を有効にしたい画像の時間部分だけの、各ピクチャの発生符号量や量子化幅を検出するように、符号化情報検出器24を制御する。このため、このときの記憶回路22には、編集を有効にしたい画像の時間部分だけの、各ピクチャの発生符号量情報や量子化幅情報が符号化情報として記録されることになる。
さらに、この図7の構成の場合の目標符号量決定回路26では、記憶回路22に記憶された、編集を有効にしたい画像の時間部分だけの各ピクチャの発生符号量情報や量子化幅情報からなる符号化情報と、CPU25からの目標符号量もしくは平均可変転送レートとに基づいて、編集を有効にしたい画像の時間部分だけのピクチャ目標符号量が計算されることになる。
このようなことから、可変転送レート符号化器50では、編集を有効にしたい画像の時間部分だけの可変転送レート符号化が可能となる。
なお、このような編集処理において、例えば編集点がPピクチャの画像部分になった場合、その画像はIピクチャとして符号化する必要がある。また、編集点がBピクチャの画像部分になった場合は、その前後の動き補償関係の情報が無効となる必要がある。したがって、このような場合には、関連するピクチャをIピクチャとして符号化するなどの処理が必要である。
本発明の可変転送レート符号化方法及び装置が適用される本実施の形態のビデオ信号符号化装置によれば、上述のような構成を用いることによって符号化データを可変転送レート符号化データに変換(再符号化)することを可能にしている。
また、本実施の形態のビデオ信号符号化装置によって上述したようにして生成された可変転送レート符号化データを不図示の記録媒体に記録することで、記録媒体の容量は有効に活用されることになり、その可変転送レート符号化データを後に復号した場合にも良好な復号データが得られることになる。
本発明は、上述した実施の形態に限定されることはなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論であり、符号化の手法も前述したMPEG1に限らない。
1…入力端子、2,52…演算器、3,53…DCT器、4,54…量子化器、
5,55…VLC器、6,56…バッファメモリ、7,57…出力端子、
8,58…逆量子化器、9,59…逆DCT器、10,60…画像メモリ、
11,61…動き補償予測器、12,62…演算器、62…符号量カウンタ、
63…符号量制御回路、22…記憶回路、24…符号化情報検出器、25…CPU、
26…目標符号量決定回路、40…復号器、41…編集情報入力器、
42…復号化制御器、43…検出制御器、50…可変転送レート符号化器
5,55…VLC器、6,56…バッファメモリ、7,57…出力端子、
8,58…逆量子化器、9,59…逆DCT器、10,60…画像メモリ、
11,61…動き補償予測器、12,62…演算器、62…符号量カウンタ、
63…符号量制御回路、22…記憶回路、24…符号化情報検出器、25…CPU、
26…目標符号量決定回路、40…復号器、41…編集情報入力器、
42…復号化制御器、43…検出制御器、50…可変転送レート符号化器
Claims (8)
- ビデオ信号を直交変換と量子化を使用して符号化して、可変転送レートにて出力する可変転送レート符号化方法であって、
入来するビデオ信号を直交変換と量子化を使用して符号化するステップと、
その符号化された符号化データを固定転送レートで記録するステップと、
前記記録された符号化データの発生符号量と量子化幅とを検出し符号化情報を生成するステップと、
前記記録された符号化データを復号するステップと、
前記符号化情報と予め設定されている全体目標符号量とをもとに、各画像単位の新たな目標符号量を設定し、各画像単位毎に発生符号量がその新たな目標符号量となるように、前記符号化データを復号したデータを可変長符号化する可変転送レート符号化ステップと、
を有することを特徴とする可変転送レート符号化方法。 - ビデオ信号を直交変換と量子化を使用して符号化し、可変転送レートにて出力する可変転送レート符号化方法であって、
入来するビデオ信号を直交変換と量子化を使用して符号化するステップと、
その符号化された符号化データの発生符号量と量子化幅とを検出し符号化情報を生成するステップと、
前記符号化された符号化データを固定転送レートで記録すると共に、前記符号化情報を記録するステップと、
前記記録された符号化データを復号するステップと、
前記記録された符号化情報と予め設定されている全体目標符号量とをもとに、各画像単位の新たな目標符号量を設定し、各画像単位毎に発生符号量がその新たな目標符号量となるように、前記符号化データを復号したデータを可変長符号化する可変転送レート符号化ステップと、
を有することを特徴とする可変転送レート符号化方法。 - 前記記録するステップにおいて、前記符号化するステップでの符号化時の動き補償に関するパラメータを記録するようにし、
前記可変転送レート符号化ステップにおいて、前記記録された符号化データを復号したデータを可変長符号化する際に、動き補償に関するパラメータとして、前記記録された動き補償に関するパラメータを使用することを特徴とする請求項1または請求項2記載の可変転送レート符号化方法。 - 編集情報を入力するステップを設け、
前記符号化情報を生成するステップでは、編集情報に基づく必要な区間のみの符号化情報を生成し、
前記復号するステップでは、編集情報に基づく必要な区間のみのデータを復号し、
前記可変転送レート符号化ステップでは、前記符号化情報として編集情報に基づく必要な区間のみの符号化情報を使用すると共に、符号化するデータとして前記編集情報に基づき必要な区間のみ復号されたデータを使用する、
ことを特徴とする請求項1〜請求項3の内のいずれか1項に記載の可変転送レート符号化方法。 - ビデオ信号を直交変換と量子化を使用して符号化して、可変転送レートにて出力する可変転送レート符号化装置であって、
入来するビデオ信号を直交変換と量子化を使用して符号化する入来ビデオ信号符号化手段と、
その符号化された符号化データを固定転送レートで記録する記録手段と、
前記記録された符号化データの発生符号量と量子化幅とを検出し符号化情報を生成する符号化情報検出手段と、
前記記録された符号化データを復号する復号手段と、
前記符号化情報と予め設定されている全体目標符号量とをもとに、各画像単位の新たな目標符号量を設定し、各画像単位毎に発生符号量がその新たな目標符号量となるように、前記符号化データを復号したデータを可変長符号化する可変転送レート符号化手段と、
を有することを特徴とする可変転送レート符号化装置。 - ビデオ信号を直交変換と量子化を使用して符号化し、可変転送レートにて出力する可変転送レート符号化装置であって、
入来するビデオ信号を直交変換と量子化を使用して符号化する入来ビデオ信号符号化手段と、
その符号化された符号化データの発生符号量と量子化幅とを検出し符号化情報を生成する符号化情報検出手段と、
前記符号化された符号化データを固定転送レートで記録すると共に、前記符号化情報を記録する記録手段と、
前記記録された符号化データを復号する復号手段と、
前記記録された符号化情報と予め設定されている全体目標符号量とをもとに、各画像単位の新たな目標符号量を設定し、各画像単位毎に発生符号量がその新たな目標符号量となるように、前記符号化データを復号したデータを可変長符号化する可変転送レート符号化手段と、
を有することを特徴とする可変転送レート符号化装置。 - 前記入来ビデオ信号符号化手段は、符号化時の動き補償に関するパラメータを出力するものであり、
前記記録手段はその動き補償に関するパラメータを記録するものであり、
前記可変転送レート符号化手段は、前記記録された符号化データを復号したデータを可変長符号化する際に、動き補償に関するパラメータとして、前記記録された動き補償に関するパラメータを使用するものである、
ことを特徴とする請求項5または請求項6記載の可変転送レート符号化装置。 - 編集情報を入力する編集情報入力手段と、
その編集情報に基づいて前記符号化情報検出手段を制御する検出制御手段と、
前記編集情報に基づいて前記復号手段を制御する復号化制御手段とを設け、
前記符号化情報検出手段では、前記検出制御手段の制御により、前記編集情報に基づく必要な区間のみの符号化情報を生成し、
前記復号手段では、前記復号化制御手段の制御により、前記編集情報に基づく必要な区間のみ符号化データを復号し、
前記可変転送レート符号化手段では、前記符号化情報として前記編集情報に基づく必要な区間のみの符号化情報を使用すると共に、符号化するデータとして前記編集情報に基づき必要な区間のみ復号されたデータを使用する、
ことを特徴とする請求項5〜請求項7の内のいずれか1項に記載の可変転送レート符号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003399157A JP2004140854A (ja) | 2003-11-28 | 2003-11-28 | 可変転送レート符号化方法および装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003399157A JP2004140854A (ja) | 2003-11-28 | 2003-11-28 | 可変転送レート符号化方法および装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP03637698A Division JP3934772B2 (ja) | 1998-02-18 | 1998-02-18 | 可変転送レート符号化方法および装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004140854A true JP2004140854A (ja) | 2004-05-13 |
Family
ID=32463935
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003399157A Pending JP2004140854A (ja) | 2003-11-28 | 2003-11-28 | 可変転送レート符号化方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004140854A (ja) |
-
2003
- 2003-11-28 JP JP2003399157A patent/JP2004140854A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7822118B2 (en) | Method and apparatus for control of rate-distortion tradeoff by mode selection in video encoders | |
JP2000278692A (ja) | 圧縮データ処理方法及び処理装置並びに記録再生システム | |
JPH09322176A (ja) | 符号化モード選択方法、動画像符号化装置、符号化方法、記録方法、及び伝送方法 | |
JP4081727B2 (ja) | 画像符号化装置および画像符号化方法、並びに記録装置および記録方法 | |
US20030174771A1 (en) | Method, apparatus, and program for variable bit rate encoding | |
JP3227674B2 (ja) | 動画像符号化装置および方法 | |
JP3934772B2 (ja) | 可変転送レート符号化方法および装置 | |
JP3922581B2 (ja) | 可変転送レート符号化方法および装置 | |
JP3428332B2 (ja) | 画像符号化方法及び装置、並びに画像伝送方法 | |
JPH10108197A (ja) | 画像符号化装置、画像符号化制御方法および画像符号化制御用プログラムを記録した媒体 | |
KR20030000310A (ko) | 영상 변환 부호화 장치 | |
JP2005151344A (ja) | データ処理装置およびその方法と符号化装置 | |
JP3800965B2 (ja) | データレート変換装置 | |
JP2001148852A (ja) | 画像情報変換装置及び画像情報変換方法 | |
JP2004140854A (ja) | 可変転送レート符号化方法および装置 | |
JP2900927B2 (ja) | 符号化方法及び符号化装置 | |
JP4539028B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム | |
JP2007020216A (ja) | 符号化装置、符号化方法、フィルタ処理装置およびフィルタ処理方法 | |
JP4747109B2 (ja) | 演算量調整装置 | |
JP2002218470A (ja) | 画像符号化データのレート変換方法、及び画像符号化レート変換装置 | |
JP3770466B2 (ja) | 画像符号化レート変換装置及び画像符号化レート変換方法 | |
JPH10224786A (ja) | 画像符号化装置および画像符号化方法、画像伝送装置および画像伝送方法、並びに記録媒体 | |
JP2000078529A (ja) | 可変転送レ―ト符号化装置 | |
JPH11234677A (ja) | 可変転送レート符号化方法および装置、記録媒体 | |
JP2006020355A (ja) | 符号化モード選択方法、動画像符号化装置、符号化方法、記録方法、及び伝送方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060404 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061020 |