JP3669281B2 - Encoding apparatus and encoding method - Google Patents

Description

【００３４】
によりＡＣ予測判断指標ＳＢを求め、そのブロックが左隣のブロックから予測を行った場合は、
【００３５】
【数２】

【００３６】
によりＡＣ予測判断指標ＳＢを求め、１マクロブロックを構成する６つのブロックのＡＣ予測判断指標ＳＢの和ＳＢＳ（各ブロックについて求められたＡＣ予測判断指標の和）が、
ＳＢＳ≧０
の場合にはＡＣ成分の予測を行い、そうでなければ、ＡＣ成分の予測を行わない。
【００３７】
なお、ＡＣ成分の予測を行う場合はａｃ＿ｐｒｅｄ＿ｆｌａｇ＝１、ＡＣ成分の予測を行わない場合はａｃ＿ｐｒｅｄ＿ｆｌａｇ＝０として、このａｃ＿ｐｒｅｄ＿ｆｌａｇをマクロブロック毎に付加情報として付加した後、各マクロブロックを可変長符号化手段５によって符号化する。
【００３８】
ａｃ＿ｐｒｅｄ＿ｆｌａｇ＝１のマクロブロックに属するブロックについては、そのブロックが上隣のブロックから予測した場合は、
【００３９】
【数３】

【００４０】
により、Ｏｘ（ｉ，ｊ）を求め、そのブロックが左隣のブロックから予測した場合は、
【００４１】
【数４】

【００４２】
により、Ｏｘ（ｉ，ｊ）を求める。
また、ａｃ＿ｐｒｅｄ＿ｆｌａｇ＝０のマクロブロックに属するブロックについては、
【００４３】
【数５】

【００４４】
により、Ｏｘ（ｉ，ｊ）を求め、このＯｘ（ｉ，ｊ）をＤＣ／ＡＣ予測器４の出力として、可変長符号化手段５へ出力する。
【００４５】
なお、上記予測において、現在のブロックが単位画像の左端（単位画像が１画面である場合には、この１画面の左端）のブロックである場合、現在のブロックの左隣のブロックおよび左上のブロックが存在しないので、上記予測で用いる逆量子化後のＤＣ成分ｆａ（０，０）およびｆｂ（０，０）の値を予め定めた定数βとする。また、この場合、上記予測で用いるＡＣ成分Ｆａ（ｉ，ｊ）、Ｆｂ（ｉ，ｊ）（（ｉ，ｊ）≠（０，０））を０とする。
【００４６】
ここで予め定めた定数βは、例えば、ＤＣＴ手段２から出力されるＤＣＴ係数のうち、ＤＣ成分の値の範囲の中間値とする。すなわち、ＤＣＴ手段２から出力されるＤＣ成分が１１ｂｉｔで０から２０４７の値を取り得る場合、β＝１０２４とする。
【００４７】
同様に、上記予測において、現在のブロックが単位画像の上端（単位画像が１画面である場合には、この１画面の上端）のブロックである場合、現在のブロックの上隣のブロックおよび左上のブロックが存在しないので、上記予測で用いる逆量子化後のＤＣ成分ｆｃ（０，０）およびｆｂ（０，０）の値を上記の定数βとし、ＡＣ成分Ｆｃ（ｉ，ｊ）、Ｆｂ（ｉ，ｊ）（（ｉ，ｊ）≠（０，０））を０とする。
【００４８】
さらに、上記予測において、現在のブロックの左隣のブロックが、現在のブロックとは異なるビデオパケットに属する場合、上記予測で用いる逆量子化後のＤＣ成分ｆａ（０，０）を上記の定数βとし、ＡＣ成分Ｆａ（ｉ，ｊ）（（ｉ，ｊ）≠（０，０））を０とする。
【００４９】
同様に、上記予測において、現在のブロックの上隣のブロックが、現在のブロックとは異なるビデオパケットに属する場合、上記予測で用いる逆量子化後のＤＣ成分ｆｃ（０，０）を上記の定数βとし、ＡＣ成分Ｆｃ（ｉ，ｊ）（（ｉ，ｊ）≠（０，０））を０とする。
【００５０】
また、上記予測において、現在のブロックの左上のブロックが、現在のブロックとは異なるビデオパケットに属する場合、上記予測で用いる逆量子化後のＤＣ成分ｆｂ（０，０）を上記の定数βとし、ＡＣ成分Ｆｂ（ｉ，ｊ）（（ｉ，ｊ）≠（０，０））を０とする。
【００５１】
このように、ＤＣ／ＡＣ予測器４においては、異なるビデオパケットに属するブロック間ではＤＣ成分、ＡＣ成分の係数を参照しないようにすることで、送信したビットストリームにエラーが混入した場合にも、ＤＣ／ＡＣ予測によるエラーの伝播がビデオパケット内で収まるように構成されている。
【００５２】
【発明が解決しようとする課題】
上記のような従来の符号化装置においては、送信バッファのオーバーフローや、受信側の仮想バッファであるＶＢＶバッファのアンダーフローを回避するための処理が十分に考慮されている訳ではなかった。
【００５３】
また、通常は、量子化器３で用いる量子化パラメータを調節して符号量を増減するが、量子化パラメータを最大（最も粗い量子化を行うようにして発生する符号量を抑える）にしても、送信バッファのオーバーフローが起こるような場合についての処理が考慮されていなかった。
【００５４】
また、入力されるＶＯＰのレートがＦ（１／ｓｅｃ）である場合、１ＶＯＰを構成する全てのマクロブロックを１／Ｆ（ｓｅｃ）か、それよりも短い時間で符号化することが要求される。
【００５５】
しかしながら、例えば、動き検出手段１１がＶＯＰ内のオブジェクトの動きに応じて適応的に動きベクトルの探索範囲を変えるよう構成されている場合、動き検出手段１１が各マクロブロックの動きベクトルを検出するのに要する時間は、マクロブロック毎に変化し、そのため、１ＶＯＰの処理時間は一定でなくなる。このような場合における、１ＶＯＰを構成する全てのマクロブロックを所定の時間内に符号化するための制御が、従来は考慮されていなかった。
【００５６】
この発明は、上述のような課題を解消するためになされたもので、送信バッファのオーバーフローおよびＶＢＶバッファのアンダーフローを効果的に回避できる符号化装置および符号化方法を提案するものである。
【００５７】
また、この発明は、１マクロブロックの符号化に要する時間が一定でない場合にも、所定の時間内で１ＶＯＰ分の符号化を終了できる符号化装置および符号化方法を提示するものである。
【００５８】
【課題を解決するための手段】
この発明に係る符号化装置は、単位画像毎に入力される外部入力信号を複数のマクロブロックに分割し、マクロブロック単位で外部入力信号を符号化し、符号化により生成された一以上のマクロブロックの符号から構成されるビデオパケットを出力する符号化装置であって、マクロブロック単位で外部入力信号をインター符号化、又はイントラ符号化し、インター符号化、又はイントラ符号化により生成される符号を出力する符号化手段と、単位画像における符号化がインター符号化の場合、又はイントラ符号化の場合、それぞれの符号化タイプの場合に対応する固定符号を出力する固定符号出力手段と、符号化手段から出力される符号、又は固定符号手段から出力される固定符号を蓄積する蓄積手段と、符号化手段から出力される符号、又は固定符号化出力手段から出力される固定符号のいずれか一方を選択して前記蓄積手段に蓄積させる符号の符号量を制御する符号量制御手段とを備え、符号量制御手段は、現マクロブロックの符号の符号量ｍｂ＿ｂｉｔ、単位画像の先頭のマクロブロックから現マクロブロックの一つ前のマクロブロックまでの符号の符号量Ｓｃ、蓄積手段がオーバーフローしないように、又はＶＢＶバッファがアンダーフローしないように設定される最大符号量Ｔｍａｘ、単位画像において現マクロブロックに続いて処理されるべきマクロブロック数Ｍ、符号化タイプにより決まる、各マクロブロックに対して固定符号出力手段が出力する固定符号の符号長Ｌ、単位画像において現マクロブロック以降で発生する前記ビデオパケット単位の付加的な符号の総符号量αの間の関係が、
Ｓｃ＋ｍｂ＿ｂｉｔ＋Ｍ×Ｌ＋α＞Ｔｍａｘ
（ただし、α≧０）
である場合に、固定符号出力手段が出力する固定符号を選択するよう制御することを特徴とする。
【００８２】
【発明の実施の形態】
以下、この発明をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態１．
図１はこの発明の実施の形態１である符号化装置を示すものである。同図において、１は外部入力信号を第一の入力とする減算器であり、減算器１の出力はＤＣＴ手段２、量子化器３を通して、ＤＣ／ＡＣ予測器４と逆量子化器６に入力される。ＤＣ／ＡＣ予測器４の出力は可変長符号化手段５ａの第一の入力に与えられる。
【００８３】
一方、逆量子化器６の出力は、逆ＤＣＴ手段７を通して、加算器８の第一の入力に与えられる。加算器８の出力はメモリ９の第一の入力に与えられ、メモリ９の出力は予測画像作成手段１０の第一の入力と動き検出手段１１の第一の入力に与えられる。
【００８４】
動き検出手段１１の第二の入力には外部入力信号が与えられ、動き検出手段１１の出力は予測画像作成手段１０の第二の入力と動きベクトル予測器１２に与えられる。予測画像作成手段１０の出力は減算器１の第二の入力と加算器８の第二の入力に与えられる。
【００８５】
また、動きベクトル予測器１２の出力は可変長符号化手段５ａの第二の入力に与えられる。なお、符号化手段は、上述の外部入力信号が入力される減算器１から、この外部入力信号に対応する可変長符号が出力される可変長符号化手段５ａまでを含んで構成される（もちろん、ここに示された構成は一例にしか過ぎず、外部入力信号に対応する符号化を行うことができる既知の構成を用いることができる。）。
【００８６】
可変長符号化手段５ａの第一の出力は一時バッファ１０１の第一の入力に与えられ、可変長符号化手段５ａの第二の出力は符号量制御手段１０２の入力に与えられる。
【００８７】
一時バッファ１０１の第二の入力には固定符号出力手段１０４の出力が与えられ、一時バッファ１０１の第三の入力には符号量制御手段１０２の第一の出力が与えられる。一時バッファ１０１の出力は送信バッファ１０３の第一の入力に与えられる（ここでは、一時バッファ１０１または送信バッファ１０３が蓄積手段に相当する）。
【００８８】
符号量制御手段１０２の第二の出力はメモリ９の第二の入力に与えられる。送信バッファ１０３の出力はビットストリームとして出力（送信）される。
【００８９】
この出力（送信）されたビットストリームは、復号装置側において受信され復号処理が施される。
【００９０】
次に動作について説明する。
まず、映像信号は図１６に示したように基本処理単位であるマクロブロックに分割され、減算器１および動き検出手段１１に入力マクロブロックとして入力される。例えば、入力される映像信号が４：２：０の場合、輝度信号（Ｙ）の１６画素×１６ラインが、２つの色差信号（Ｃｂ、Ｃｒ）の８画素×８ラインと画面上で同じ大きさとなるので、８画素×８ラインのブロックが６つで、１つのマクロブロックが構成される。
【００９１】
イントラ符号化を行う場合、各ブロックはＤＣＴを施してから量子化する。量子化されたＤＣＴ係数はＤＣ／ＡＣ予測器４において係数の予測を行った後、量子化パラメータなどの付加情報とともに可変長符号化手段５ａにより可変長符号化する。量子化されたＤＣＴ係数は、逆量子化器６によって逆量子化され、逆ＤＣＴ手段７によって逆ＤＣＴを行って復号され、この逆ＤＣＴ手段７の出力である復号画像はメモリ９に記憶される。
【００９２】
インター符号化の場合は、動き検出手段１１において、入力されたマクロブロックの動きを示す動きベクトルを検出する。動きベクトルは、メモリ９に記憶された復号画像の中で、入力マクロブロックとの誤差が最も小さくなるような位置を示すものである。
【００９３】
予測画像作成手段１０は、動き検出手段１１によって検出された動きベクトルに基づいて予測画像を作成する。次に、入力マクロブロックとこの予測画像の差分を求め、その差分信号に対してＤＣＴ手段２によりＤＣＴを施し、量子化器３により量子化を行う。
【００９４】
量子化器３の出力である量子化されたＤＣＴ係数は、ＤＣ／ＡＣ予測器４において予測された係数、動きベクトル予測器１２により予測符号化された動きベクトルおよび量子化パラメータなどの付加情報とともに可変長符号化手段５ａにより可変長符号化される。また、量子化されたＤＣＴ係数は、逆量子化器６によって逆量子化、逆ＤＣＴ手段７によって逆ＤＣＴを行った後、予測画像作成手段１０より出力される予測画像と加算されて、メモリ９に記憶される。
【００９５】
次に可変長符号化手段５ａの動作を詳しく説明する。
可変長符号化手段５ａは、マクロブロック毎に、量子化されたＤＣＴ係数と付加情報を符号化して（符号化工程）一時バッファ１０１に書き込み、その符号量を符号量制御手段１０２に出力する。
【００９６】
例えば、ＭＰＥＧ４のＩ−ＶＯＰの場合、まず、ＤＣ／ＡＣ予測器４から出力される各ブロックのＤＣＴ係数のＡＣ成分をジグザグスキャン等の方法で１次元スキャンし、０の個数と非零の係数の組み合わせを符号化するランレングス符号化を行う。このランレングス符号化された各ブロックのＡＣ成分データは一時バッファ１０１に書き込まれる。
【００９７】
図２（ａ）に示すように、各ブロックの係数データの後には、イントラ／インター等を示すマクロブロックタイプ（ＭＴＹＰＥ）と色差の各ブロックに非零のＡＣ係数があったかどうかを示すｃｂｐｃをまとめて符号化したｍｃｂｐｃ、量子化パラメータを示すｄｑｕａｎｔ、各ブロックのＤＣＴ係数のＤＣ成分、ＡＣ予測を行ったかどうかを示すａｃ＿ｐｒｅｄ＿ｆｌａｇ、Ｙの各ブロックに非零のＡＣ係数があったかどうかを示すｃｂｐｙが順に符号化されて一時バッファ１０１に書き込まれる。
【００９８】
なお、マクロブロック毎にこれらの符号量の合計が符号量制御手段１０２に出力される。
【００９９】
同様に、ＭＰＥＧ４のＰ−ＶＯＰの場合は図３（ａ）のような順で符号化したデータが一時バッファ１０１に書き込まれる。
【０１００】
符号量制御手段１０２は、可変長符号化手段５ａから出力される各マクロブロックの符号量に基づいて、各ビデオパケットの長さが予め定められた値以下になるようにマクロブロックをまとめ、一時バッファ１０１から送信バッファへと転送する。
【０１０１】
例えば、ＭＰＥＧ４の場合、図２（ｂ）、図３（ｂ）に示したように、ビデオパケットの先頭にはヘッダを付加し、規定されたビットストリームの順に並べ替えて転送する。
【０１０２】
また、符号量制御手段１０２は、送信バッファ１０３がオーバーフローを起こさないように、あるいは、ＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅｒｉｆｉｅｒ）バッファ（受信側におけるビットストリーム受信に要する仮想的なバッファ（必要とされる容量は、例えば、送信ビットストリーム中のヘッダに記述される）。通常、最低Ｉ−ＶＯＰ分の容量が設定される。）がアンダーフローを起こさないように、ＶＯＰ毎に最大符号量Ｔｍａｘを設定し、当該ＶＯＰの符号量がＴｍａｘより多くならないように、可変長符号化手段５ａの出力または固定符号出力手段１０４の出力のうち、一時バッファ１０１に書きこむ固定符号を選択する。
【０１０３】
なお、ここにおける最大符号量Ｔｍａｘとは、送信バッファ１０３がオーバーフローを起こさず、ＶＢＶバッファがアンダーフローしないための符号量の上限値といえる。
【０１０４】
以下、動作の詳細について述べる。
符号量制御手段１０２は、各ＶＯＰの符号化を始める前に、当該ＶＯＰの最大符号量Ｔｍａｘを求める。例えば、送信バッファ１０３の容量がＢｓ（ｂｉｔｓ）、送信バッファ１０３の現在の残量（すなわち、送信バッファやＶＢＶバッファ等の記憶手段に蓄積され、当該送信バッファやＶＢＶバッファ等の記憶手段より読み出されていない（送信バッファやＶＢＶバッファ等の記憶手段に残留している（保存されている））データの量（残容量）であり、このようなデータの量のことを一般的にはバッファ占有量、あるいは占有量（ｏｃｃｕｐａｎｃｙ）と表現する。以下、単に占有量と称す。）がＢ（ｂｉｔｓ）とすると、送信バッファ１０３がオーバーフローを起こさないためには、当該ＶＯＰの符号量をＢｓ−Ｂ以下とすれば十分である。従って、最大符号量Ｔｍａｘを
Ｔｍａｘ≦Ｂｓ−Ｂ
と設定すればよい。
【０１０５】
また、ＶＢＶバッファの管理をする場合、送信バッファ１０３の読み出しビットレートがＲ（ｂｉｔｓ／ｓｅｃ）、符号化するＶＯＰのレートがＦ（１／ｓｅｃ）とすると、１ＶＯＰ期間に送信バッファ１０３から読み出されるビット数Ｒｐは、
Ｒｐ＝Ｒ／Ｆ
となり、１ＶＯＰ期間にＶＢＶバッファが受信するビット数もＲｐとなる。
【０１０６】
そこで、現在のＶＯＰの１つ前のＶＯＰのデコード時間におけるＶＢＶバッファの占有量をｖｂｖ＿ｂｉｔｓ（ｂｉｔｓ）とすると、ＶＢＶバッファがアンダーフローしないためには、当該ＶＯＰの符号量をｖｂｖ＿ｂｉｔｓ＋Ｒｐ以下とすればよい。すなわち、最大符号量Ｔｍａｘを
Ｔｍａｘ≦ｖｂｖ＿ｂｉｔｓ＋Ｒｐ
と設定すればよい。
【０１０７】
従って、符号量制御手段１０２は、各ＶＯＰの符号化を始める前に、当該ＶＯＰの最大符号量Ｔｍａｘを
Ｔｍａｘ＝ｍｉｎ（ｖｂｖ＿ｂｉｔｓ＋Ｒｐ，Ｂｓ−Ｂ）
と設定する。（ｍｉｎ（ａ，ｂ）は、ａまたはｂのいずれか小さい方をその値とすることを示す）。
【０１０８】
なお、ＶＢＶバッファの占有量ｖｂｖ＿ｂｉｔｓは、受信側における占有量を推定するものであるが、受信側でアンダーフローが起きた場合はデコード時間を遅らせるなどの対処を行う場合は、ＶＢＶバッファのアンダーフローを管理する必要がない。このようにＶＢＶバッファのアンダフローを管理する必要がない場合は、
Ｔｍａｘ＝Ｂｓ−Ｂ
と設定すればよい。
【０１０９】
送信バッファ１０３の占有量Ｂは時間的に変化するため、最大符号量Ｔｍａｘの値も時間的に変化するものとなるが、この最大符号量ＴｍａｘはＶＯＰ毎に計算されるものである。
【０１１０】
次に、符号量制御手段１０２は、マクロブロック毎に現在のＶＯＰの符号量を求め、図４および図５に示すフローチャートに従って、当該マクロブロックに対して、可変長符号化手段５ａから出力される符号または固定符号出力手段１０４から出力される固定符号のうち、一時バッファ１０１に蓄積する符号または固定符号のいずれかを選択して（選択して蓄積するように制御する。符号量制御工程。）、一時バッファ１０１に符号または固定符号のいずれかを蓄積する（蓄積工程。一時バッファ１０１から送信バッファ１０３への送信を含めて蓄積工程としてもよい）。
【０１１１】
なお、図４は現在のＶＯＰがＰ−ＶＯＰ（符号化タイプがインター）の場合のフローチャートを示しており、図５は現在のＶＯＰがＩ−ＶＯＰ（符号化タイプがイントラ）の場合のフローチャートを示している。
【０１１２】
（Ｐ−ＶＯＰの場合の符号量制御について）
まず、Ｐ−ＶＯＰの場合の符号量制御１０２の動作を説明する。
Ｐ−ＶＯＰの場合、可変長符号化手段５ａは図３（ａ）に示したように各ブロックの係数データ、ｎｏｔ＿ｃｏｄｅｄ、ｍｃｂｐｃ、動きベクトル、ｃｂｐｙ、ｄｑｕａｎｔを各マクロブロックに対して出力するが、これらの符号は必ずしも全てが存在するわけではなく、例えば、各ブロックの係数データが全て０であり、かつ、動きベクトルが（０，０）である場合は、ｎｏｔ＿ｃｏｄｅｄ＝１の１ｂｉｔのみが存在する。これが、Ｐ−ＶＯＰのマクロブロックで最小符号量となる符号である。
【０１１３】
そこで、Ｐ−ＶＯＰの場合、固定符号出力手段１０４は、固定符号としてｎｏｔ＿ｃｏｄｅｄ＝１の１ｂｉｔのみを出力する（固定符号出力工程。なお、後述するようにＩ−ＶＯＰに対しても固定符号を出力する場合も固定符号出力工程と称する）。つまり、固定符号出力手段１０４は、現在のＶＯＰの符号化タイプに対して、最小符号量となるマクロブロックの固定符号を出力する。
【０１１４】
例えば、各ブロックの係数データが全て０であり、かつ、動きベクトルが（０，０）である場合は、ｎｏｔ＿ｃｏｄｅｄ＝１の１ｂｉｔのみが存在するので、Ｐ−ＶＯＰの場合、固定符号出力手段１０４が出力する固定符号の符号長ＬはＬ＝１となる。
【０１１５】
符号量制御手段１０２は、マクロブロック毎に現在のＶＯＰの符号量を求め、残りのマクロブロックすべてに対して固定符号出力手段１０４から出力される固定符号を選択したとしても、ＶＯＰを構成するすべてのマクロブロックの符号量が当該ＶＯＰの最大符号量Ｔｍａｘを越える場合に、現在のマクロブロックの符号を固定符号出力手段１０４から出力される固定符号に置き換える。
【０１１６】
すなわち、ＶＯＰを構成するマクロブロックの総数をＡとし、現在のマクロブロックのマクロブロック番号をＫ（ただし、０≦Ｋ≦Ａ−１）とすると、これに続く符号化されるべきマクロブロック数Ｍ（残りのマクロブロック数Ｍ）は
Ｍ＝Ａ−Ｋ−１
と表される。
【０１１７】
現在のＶＯＰを構成するマクロブロック番号０のマクロブロックから、マクロブロック番号Ｋ−１のマクロブロックまでの符号量をＳｃとし、現在のマクロブロック（マクロブロック番号Ｋ）に対して可変長符号化手段５ａが出力する符号の符号量をｍｂ＿ｂｉｔとすると、残りのＭ個のマクロブロックに対して固定符号出力手段１０４の固定符号（符号長がＬ）を選択した場合のＶＯＰ全体の符号量は、
Ｓｃ＋ｍｂ＿ｂｉｔ＋Ｍ×Ｌ＋α
となる。ここでαは、マクロブロック番号Ｋ以降のマクロブロックで発生し得るＲｅｓｙｎｃ Ｍａｒｋｅｒ、ビデオパケットヘッダ、スタッフビット、ｍｏｔｉｏｎ＿ｍａｒｋｅｒ等のビデオパケット単位で発生する付加的な符号の符号量（ここでは、付加符号量と称す）であり、α≧０である。
【０１１８】
そこで、
Ｓｃ＋ｍｂ＿ｂｉｔ＋Ｍ×Ｌ＋α＞Ｔｍａｘ
となる場合は、現在のマクロブロック（マクロブロック番号Ｋ）に対して、固定符号出力手段１０４が出力する固定符号を一時バッファ１０１に書きこみ、そうでない場合は可変長符号化手段５ａが出力する符号を一時バッファ１０１に書きこむよう制御する（図４）。
【０１１９】
なお、付加符号量αの値としては、例えば、Ｐ−ＶＯＰにおけるＲｅｓｙｎｃＭａｒｋｅｒ、ビデオパケットヘッダ、スタッフビット、ｍｏｔｉｏｎ＿ｍａｒｋｅｒの符号量の合計が最大でＣｐ（ｂｉｔ）、予め定められたビデオパケットの長さがＶＰｌｅｎ（ｂｉｔ）とすると、現在のマクロブロック（マクロブロック番号Ｋ）以降のマクロブロックで発生する符号量は、少なくとも
（Ｍ＋１）×Ｌ
であり、
（Ｍ＋１）×Ｌ／ＶＰｌｅｎ＋１
個のビデオパケットが発生し得るので、付加符号量αは、
α＝（（Ｍ＋１）×Ｌ／ＶＰｌｅｎ＋１）×Ｃｐ
とすればよい。
【０１２０】
また、ＶＯＰを構成するマクロブロックの総数Ａを用いれば、
Ｍ＋１≦Ａ
であることから、演算を簡略化するために、付加符号量αは、
α＝（Ａ×Ｌ／ＶＰｌｅｎ＋１）×Ｃｐ
として、Ｐ−ＶＯＰに固定の値としてもよい。
【０１２１】
なお、Ｐ−ＶＯＰについて、固定符号出力手段１０４から出力される固定符号を一時バッファ１０１に記憶した場合は、強制的にｎｏｔ＿ｃｏｄｅｄ（符号化されていない）扱いとするためにメモリ９に記憶された現在のマクロブロックの復号画像を、メモリ９に記憶された一つ前のＶＯＰの同一位置のマクロブロックの復号画像に置き換えておく。
【０１２２】
すなわち、メモリ９内で、一つ前のＶＯＰのマクロブロック番号Ｋのマクロブロックの復号画像を、現在のＶＯＰのマクロブロック番号Ｋのマクロブロックの復号画像エリアにコピーする。Ｐ−ＶＯＰの場合は、固定符号出力手段１０４が出力する固定符号がｎｏｔ＿ｃｏｄｅｄ＝１であるので、このように一つ前のＶＯＰの復号画像をコピーすることにより、固定符号出力手段１０４から出力される固定符号に応じた復号画像が得られる。
【０１２３】
（Ｉ−ＶＯＰの場合の符号量制御について）
次に、Ｉ−ＶＯＰの場合の符号量制御手段１０２の動作を説明する。
Ｉ−ＶＯＰの場合、可変長符号化手段５ａは図２（ａ）に示したように各ブロックのＡＣ成分データ、ｍｃｂｐｃ、ｄｑｕａｎｔ、ＤＣ成分、ａｃ＿ｐｒｅｄ＿ｆｌａｇ、ｃｂｐｙを各マクロブロックに対して出力するが、これらの符号は必ずしも全てが存在するわけではなく、例えば、ｍｃｂｐｃが示すｃｂｐｃの値とｃｂｐｙの値が共に０である場合は、各ブロックの係数データは存在しない。また、ｍｃｂｐｃが示すマクロブロックタイプがｄｑｕａｎｔを持たないことを表している場合は、ｄｑｕａｎｔも存在しない。
【０１２４】
そこで、Ｉ−ＶＯＰの場合、固定符号出力手段１０４は、各ブロックのＤＣ成分およびＡＣ成分がすべて０で、かつ、ｄｑｕａｎｔ＝０、ａｃ＿ｐｒｅｄ＿ｆｌａｇ＝０であるようなマクロブロックに対する符号を、固定符号として出力する。なお、ＭＰＥＧ２、ＭＰＥＧ４など既存のほとんどの符号化方式においては、このような符号が、Ｉ−ＶＯＰのマクロブロックの最小符号量となる。
【０１２５】
Ｐ−ＶＯＰの場合と同様に、符号量制御手段１０２は、マクロブロック毎に現在のＶＯＰの符号量を求め、残りのマクロブロックすべてに対して固定符号出力手段１０４から出力される固定符号を選択したとしても、ＶＯＰを構成するすべてのマクロブロックの符号量が当該ＶＯＰの最大符号量Ｔｍａｘを越える場合に、現在のマクロブロックの符号を、固定符号出力手段１０４から出力される固定符号に置き換える。
【０１２６】
ここでは、ＶＯＰを構成するビデオパケットをくずさない（ビデオパケットを構成するマクロブロックがすべて含まれる）ことが求められるので、残りのマクロブロックに対応する符号化されたデータを生成する必要があるが、ＶＯＰを構成するすべてのマクロブロックの符号量が最大符号量Ｔｍａｘを越える場合には、上述のように固定符号への置き換えを行うことになるため、この固定符号分の裕度を見込んでおく必要がある。
【０１２７】
すなわち、現在のマクロブロック（マクロブロック番号Ｋ）に対して可変長符号化手段５ａが出力する符号の符号量をｍｂ＿ｂｉｔ、固定符号出力手段１０４が出力する固定符号の符号長をＬ、現在のＶＯＰを構成するマクロブロック番号０のマクロブロックからマクロブロック番号Ｋ−１のマクロブロックまでの符号量をＳｃとすると、図５に示すように、
Ｓｃ＋ｍｂ＿ｂｉｔ＋Ｍ×Ｌ＋α＞Ｔｍａｘ
（Ｍ＝Ａ−Ｋ−１）
となる場合は、現在のマクロブロック（マクロブロック番号Ｋ）に対して、固定符号出力手段１０４が出力する固定符号を一時バッファ１０１に書きこみ、そうでない場合は可変長符号化手段５ａが出力する符号を一時バッファ１０１に書きこむよう制御する。
【０１２８】
ここでαは、マクロブロック番号Ｋ以降のマクロブロックで発生し得るＲｅｓｙｎｃ Ｍａｒｋｅｒ、ビデオパケットヘッダ、スタッフビット、ｄｃ＿ｍａｒｋｅｒ等のビデオパケット単位で発生する符号の符号量（付加符号量）であり、α≧０である。
【０１２９】
なお、付加符号量αの値としては、例えば、Ｉ−ＶＯＰにおけるＲｅｓｙｎｃＭａｒｋｅｒ、ビデオパケットヘッダ、スタッフビット、ｄｃ＿ｍａｒｋｅｒの符号量の合計が最大でＣｉ（ｂｉｔ）、予め定められたビデオパケットの長さがＶＰｌｅｎ（ｂｉｔ）とすると、現在のマクロブロック（マクロブロック番号Ｋ）以降のマクロブロックで発生する符号量は、少なくとも
（Ｍ＋１）×Ｌ
であり、
（Ｍ＋１）×Ｌ／ＶＰｌｅｎ＋１
個のビデオパケットが発生し得るので、
α＝（（Ｍ＋１）×Ｌ／ＶＰｌｅｎ＋１）×Ｃｉ
とすればよい。
【０１３０】
また、ＶＯＰを構成するマクロブロックの総数Ａを用いれば、
Ｍ＋１≦Ａ
であることから、演算を簡略化するために、
α＝（Ａ×Ｌ／ＶＰｌｅｎ＋１）×Ｃｉ
として、Ｉ−ＶＯＰに固定の値としてもよい。
【０１３１】
なお、Ｉ−ＶＯＰの場合、現在のマクロブロック（マクロブロック番号Ｋ）に対して固定符号出力手段１０４から出力される固定符号を一時バッファ１０１に記憶した場合で、かつ、一つ前のマクロブロック（マクロブロック番号Ｋ−１）に対しては固定符号出力手段１０４の出力（固定符号）を選択しなかった場合（可変長符号化手段５ａの出力を選択した場合）は、図５に示すように、現在のマクロブロックから新しいビデオパケットを構成する。
【０１３２】
Ｉ−ＶＯＰの場合、ａｃ＿ｐｒｅｄ＿ｆｌａｇ＝０であってもＤＣ予測を行うので、一時バッファ１０１に記憶されたＤＣ成分が０の場合、これはＤＣ／ＡＣ予測器４の出力する予測後のＤＣ成分Ｏｘ（０，０）が０であることを示すものであり、量子化器３が出力するＤＣ成分Ｆｘ（０，０）が０であることを示すものではない。
【０１３３】
このため、固定符号出力手段１０４が各ブロックのＤＣ成分およびＡＣ成分がすべて０でかつ、ｄｑｕａｎｔ＝０、ａｃ＿ｐｒｅｄ＿ｆｌａｇ＝０であるようなマクロブロックに対する固定符号を出力する場合、この固定符号を復号して得られる画像は一般には一定ではない（すなわち、固定符号自体は固定のものであっても画像表現に関わる値は固定の値ではなく任意の値をとり得る）。
【０１３４】
しかしながら、ＤＣ／ＡＣ予測器４においては、異なるビデオパケットに属するブロック間ではＤＣ成分の係数の参照を行わず、ＤＣ成分の値の範囲の中間値である定数βを参照値とするので、上述のように、固定符号出力手段１０４から出力される固定符号を一時バッファ１０１に記憶するよう選択した場合、当該マクロブロックから新しいビデオパケットを構成するように制御すれば、前記固定符号出力手段１０４から出力される固定符号が表す各ブロックの逆量子化後のＤＣ成分ｆｘ（０，０）は
ｆｘ（０，０）＝β
となる。
【０１３５】
従って、Ｉ−ＶＯＰの場合、固定符号出力手段１０４から出力される固定符号を復号すると、マクロブロックの全ての画素が定数γであるような画像（画面全体が同じ色等の、いわゆる、ベタ画像）が得られる。ここで定数γは、入力されるマクロブロックの画素値の範囲の中間値である。例えば、入力されるマクロブロックが８ビットで０から２５５の値を取り得る場合、γ＝１２８である。
【０１３６】
なお、固定符号出力手段１０４から出力される固定符号を一時バッファ１０１に記憶するよう選択した場合、上述のように、当該マクロブロック（マクロブロック番号Ｋ）の各ブロックの逆量子化後のＤＣ成分は定数βに等しくなるので、当該マクロブロックの次のマクロブロック（マクロブロック番号Ｋ＋１）で固定符号出力手段１０４の出力（固定符号）を選択する場合は、新しいビデオパケットを構成しなくても、逆量子化後のＤＣ成分が定数βとなり、復号画像は画素値がすべて定数γの画像（ベタ画像）となる。
【０１３７】
従って、図５に示すように、固定符号出力手段１０４から出力される固定符号を一時バッファ１０１に記憶した場合で、かつ、一つ前のマクロブロックに対しては固定符号出力手段１０４の出力（固定符号）を選択しなかった場合に、現在のマクロブロックから新しいビデオパケットを構成するよう制御すればよい。
【０１３８】
なお、固定符号出力手段１０４から出力される固定符号を一時バッファ１０１に記憶した場合は、メモリ９に記憶された現在のマクロブロックの復号画像を、画素値がすべて定数γの画像に置き換えておく。すなわち、メモリ９の現在のＶＯＰの現在のマクロブロックの復号画像エリアに定数γを書きこむ。
【０１３９】
このように図４および図５のフローチャートに基づいて、可変長符号化手段５ａから出力される符号または固定符号出力手段１０４から出力される固定符号のうち、一時バッファ１０１に記憶する符号を選択することにより、各ＶＯＰの符号量が最大符号量Ｔｍａｘを超えないように制御することができる。
【０１４０】
また、図５のフローチャートに基づいて、現在のマクロブロックから新しいビデオパケットを構成するか否かを決定することにより、Ｉ−ＶＯＰの場合も、固定符号出力手段１０４から出力される固定符号に対応する復号画像を、新たな演算を行うことなく、メモリ９に書きこむので、少ない演算量で単位画像の符号量が必ず最大符号量Ｔｍａｘ以下となるように制御できる。
【０１４１】
実施の形態２．
上記実施の形態１においては、符号量制御手段１０２が図４および図５のフローチャートに基づいて可変長符号化手段５ａまたは固定符号出力手段１０４の出力（固定符号）を選択するよう制御するとしたが、符号量制御手段１０２は、図６および図７に示すフローチャートに基づいて、可変長符号化手段５ａまたは固定符号出力手段１０４の出力（固定符号）を選択するよう構成してもよい。
【０１４２】
なお、図６は現在のＶＯＰがＰ−ＶＯＰ（符号化タイプがインター）の場合のフローチャートを示しており、図７は現在のＶＯＰがＩ−ＶＯＰ（符号化タイプがイントラ）の場合のフローチャートを示している。
【０１４３】
（Ｐ−ＶＯＰの場合の符号量制御について）
まず、Ｐ−ＶＯＰの場合を図６に従って説明する。
符号量制御手段１０２は、実施の形態１の場合と同様に、現在のマクロブロック（マクロブロック番号Ｋ）に対して可変長符号化手段５ａが出力する符号の符号量をｍｂ＿ｂｉｔ、固定符号出力手段１０４が出力する固定符号の符号長をＬ、現在のＶＯＰを構成するマクロブロック番号０のマクロブロックからマクロブロック番号Ｋ−１のマクロブロックまでの符号量をＳｃ、現在のＶＯＰを構成するマクロブロックＫ＋１以降のマクロブロックの数をＭとすると、
Ｓｃ＋ｍｂ＿ｂｉｔ＋Ｍ×Ｌ＋α＞Ｔｍａｘ （１）
となる場合、現在のマクロブロック（マクロブロック番号Ｋ）に対して、固定符号出力手段１０４が出力する固定符号を一時バッファ１０１に書きこむよう制御する。
【０１４４】
ここでαは、マクロブロック番号Ｋ以降のマクロブロックで発生し得るＲｅｓｙｎｃ Ｍａｒｋｅｒ、ビデオパケットヘッダ、スタッフビット、ｍｏｔｉｏｎ＿ｍａｒｋｅｒ等のビデオパケット単位で発生する符号の符号量（付加符号量）であり、α≧０である。実施の形態１で説明したように、αはマクロブロック毎に演算しても、ＶＯＰの符号化タイプ毎に固定値としてもよい。
【０１４５】
ところで、現在のマクロブロックに対して上記（１）式が成り立つ場合、符号量としては累積されていくものであるから、次のマクロブロックに対しても（１）式が成り立つ可能性が非常に高い。
【０１４６】
例えば、マクロブロック番号Ｋに対して（１）式が成り立つとすると、マクロブロック番号０からマクロブロック番号Ｋまでのマクロブロックの符号量Ｓｃ’は、マクロブロック番号Ｋ−１のマクロブロックまでの符号量Ｓｃに固定符号出力手段１０４が出力する固定符号の符号長Ｌを加算した、
Ｓｃ’＝Ｓｃ＋Ｌ
となる。ここで、マクロブロック番号Ｋのマクロブロックに対して可変長符号化手段５ａが出力する符号の符号量ｍｂ＿ｂｉｔと、マクロブロック番号Ｋ＋１のマクロブロックに対して可変長符号化手段５ａが出力する符号の符号量ｍｂ＿ｂｉｔ’が等しく、かつ、上記αの値が両マクロブロックに対して同じであれば、
Ｓｃ’＋ｍｂ＿ｂｉｔ’＋（Ｍ−１）×Ｌ＋α
＝Ｓｃ＋ｍｂ＿ｂｉｔ＋Ｍ×Ｌ＋α
＞Ｔｍａｘ
となり、マクロブロック番号Ｋ＋１に対しても（１）式が成り立つ。
【０１４７】
そこで、マクロブロック番号Ｋに対して（１）式が成立した場合は、マクロブロック番号Ｋ以降のマクロブロックに対しても（１）式が成立するものとして、演算を省略することができる。
【０１４８】
すなわち、図６に示すように、まず現在のマクロブロック（マクロブロック番号Ｋ）の一つ前のマクロブロック（マクロブロック番号Ｋ−１）に対して、固定符号出力手段１０４の出力（固定符号）を選択したかどうかを判断し、一つ前のマクロブロックで固定符号出力手段１０４の出力（固定符号）を選択した場合は、現在のマクロブロックに対しても固定符号出力手段１０４の出力（固定符号）を一時バッファ１０１に記憶する。
【０１４９】
一方、一つ前のマクロブロックで固定符号出力手段１０４の出力（固定符号）を選択しなかった場合は、上記（１）式を判断し、（１）式が成り立つ場合は固定符号出力手段１０４の出力（固定符号）を、成り立たない場合は可変長符号化手段５ａの出力を一時バッファ１０１に記憶する。
【０１５０】
（Ｉ−ＶＯＰの場合の符号量制御について）
Ｉ−ＶＯＰの場合も同様で、図７に示すように、まず現在のマクロブロック（マクロブロック番号Ｋ）の一つ前のマクロブロック（マクロブロック番号Ｋ−１）に対して、固定符号出力手段１０４の出力（固定符号）を選択したかどうかを判断し、一つ前のマクロブロックで固定符号出力手段１０４の出力（固定符号）を選択した場合は、現在のマクロブロックに対しても固定符号出力手段１０４の出力（固定符号）を一時バッファ１０１に記憶する。この場合、実施の形態１で説明したように、現在のマクロブロックから新しいビデオパケットを構成する必要はない。
【０１５１】
一方、一つ前のマクロブロックで固定符号出力手段１０４の出力（固定符号）を選択しなかった場合は、上記（１）式を判断し、（１）式が成り立つ場合は固定符号出力手段１０４の出力（固定符号）を、成り立たない場合は可変長符号化手段５ａの出力を一時バッファ１０１に記憶する。また、上記（１）式が成り立つ場合は、現在のマクロブロックから新しいビデオパケットを構成する。
【０１５２】
なお、実施の形態２においては、１ＶＯＰの中のあるマクロブロックに対して（１）式が成立すると、そのＶＯＰを構成する当該マクロブロック以降のすべてのマクロブロックに対して、固定符号出力手段１０４の出力（固定符号）を一時バッファ１０１に書きこむよう制御するので、当該マクロブロックに続いて符号化されるマクロブロックにおいては、減算器１、ＤＣＴ手段２、量子化器３、ＤＣ／ＡＣ予測器４、可変長符号化手段５ａ、逆量子化器６、逆ＤＣＴ手段７、加算器８、予測画像作成手段１０、動き検出手段１１および動きベクトル予測手段１２からなる符号化手段は動作する必要がない。
【０１５３】
従って、１ＶＯＰの中のあるマクロブロックに対して（１）式が成立する場合は、そのＶＯＰを構成する当該マクロブロックに続いて符号化されるマクロブロックにおいては、減算器１、ＤＣＴ手段２、量子化器３、ＤＣ／ＡＣ予測器４、可変長符号化手段５ａ、逆量子化器６、逆ＤＣＴ手段７、加算器８、予測画像作成手段１０、動き検出手段１１および動きベクトル予測手段１２は動作を止める（符号化されたマクロブロックより後のマクロブロックからＶＯＰの最後迄演算を停止する）ことにより、演算量の減少、消費電力の削減を図ることができる。
【０１５４】
実施の形態３．
実施の形態３においては、符号量制御手段１０２は、図８に示すフローチャートに基づいて、可変長符号化手段５ａまたは固定符号出力手段１０４の出力（固定符号）を選択するよう制御する。なお、図８はＰ−ＶＯＰ（符号化タイプがインター）の場合のフローチャートを示している。
【０１５５】
（Ｐ−ＶＯＰの場合の符号量制御について）
例えば、動き検出手段１１がＶＯＰ内のオブジェクトの動きに応じて適応的に動きベクトルの探索範囲を変えるよう構成されている場合、動き検出手段１１が各マクロブロックの動きベクトルを検出するのに要する時間は、マクロブロック毎に変化し、そのため、１ＶＯＰの処理時間は一定でなくなる。
【０１５６】
このような場合に、１ＶＯＰを構成する全てのマクロブロックを所定の時間内に符号化するために、処理時間が少なくなった場合は、減算器１、ＤＣＴ手段２、量子化器３、ＤＣ／ＡＣ予測器４、可変長符号化手段５ａ、逆量子化器６、逆ＤＣＴ手段７、加算器８、予測画像作成手段１０、動き検出手段１１および動きベクトル予測手段１２の演算を行わず、固定符号出力手段１０４の出力（固定符号）を一時バッファ１０１に記憶する。
【０１５７】
従って、符号量制御手段１０２は、図８に示すように、現在のＶＯＰを構成する先頭のマクロブロック（マクロブロック番号０）が入力されてからの経過時間を計測し、この経過時間があらかじめ定められた処理時間Ｔｐを越えた場合は、常に固定符号出力手段１０４の出力（固定符号）を一時バッファ１０１に記憶するよう制御し、そうでない場合は前記（１）式に基づいて、固定符号出力手段１０４の出力（固定符号）と可変長符号化手段５ａの出力を選択して一時バッファ１０１に記憶する。
【０１５８】
なお、この場合のあらかじめ定められた処理時間Ｔｐは、最大１ＶＯＰ期間に設定される（１ＶＯＰ分の処理は１ＶＯＰ期間に処理しなければならないため）が、この１ＶＯＰ期間に他の処理を含めるような場合には、（１ＶＯＰ期間−他の処理に要する期間）が処理時間Ｔｐに与えられる最大値となる。
【０１５９】
（Ｉ−ＶＯＰの場合の符号制御について）
なお、現在のＶＯＰがＩ−ＶＯＰである場合は、実施の形態１または実施の形態２と同様に、図５または図７のフローチャートに従って、符号量制御手段１０２は一時バッファ１０１に記憶する符号を選択する。
【０１６０】
実施の形態４．
実施の形態４においては、符号量制御手段１０２は、図９に示すフローチャートに基づいて、可変長符号化手段５ａまたは固定符号出力手段１０４の出力（固定符号）を選択するよう制御する。なお、図９はＰ−ＶＯＰ（符号化タイプがインター）の場合のフローチャートを示している。
【０１６１】
（Ｐ−ＶＯＰの場合の符号量制御について）
すなわち、符号量制御手段１０２は、実施の形態２で説明したように、まず現在のマクロブロック（マクロブロック番号Ｋ）の一つ前のマクロブロック（マクロブロック番号Ｋ−１）に対して、固定符号出力手段１０４の出力（固定符号）を選択したかどうかを判断し、一つ前のマクロブロックで固定符号出力手段１０４の出力（固定符号）を選択した場合は、現在のマクロブロックに対しても固定符号出力手段１０４の出力（固定符号）を一時バッファ１０１に記憶する。
【０１６２】
次に、実施の形態３で説明したように、現在のＶＯＰを構成する先頭のマクロブロック（マクロブロック番号０）が入力されてからの経過時間を計測し、この経過時間があらかじめ定められた処理時間Ｔｐを越えた場合は、固定符号出力手段１０４の出力（固定符号）を一時バッファ１０１に記憶するよう制御し、そうでない場合は前記（１）式に基づいて、固定符号出力手段１０４の出力（固定符号）と可変長符号化手段５ａの出力を選択して一時バッファ１０１に記憶する。
【０１６３】
（Ｉ−ＶＯＰの場合の符号量制御について）
なお、現在のＶＯＰがＩ−ＶＯＰである場合は、実施の形態１または実施の形態２と同様に、図５または図７のフローチャートに従って、符号量制御手段１０２は一時バッファ１０１に記憶する符号を選択する。
【０１６４】
実施の形態５．
実施の形態１においては、固定符号出力手段１０４が独立して存在するようなブロック図を示したが、例えば、ソフトウェアによってそれぞれの手段を構成する場合には、固定符号出力手段１０４および可変長符号化手段５ａのそれぞれの動作を行わせるためのＲＯＭテーブルを共有するように構成することもできる。
【０１６５】
すなわち、実施の形態１で説明したように、固定符号出力手段１０４が出力する固定符号は、Ｉ−ＶＯＰ、Ｐ−ＶＯＰそれぞれのマクロブロックの符号のうちの１パターンとなっているので、固定符号出力手段１０４および可変長符号化手段５ａを一体のものとすることにより、ＲＯＭテーブルを共有化することができる。
【０１６６】
図１０はこの発明の実施の形態５である符号化装置を示すものである。同図において、１は外部入力信号を第一の入力とする減算器であり、減算器１の出力はＤＣＴ手段２、量子化器３を通して、ＤＣ／ＡＣ予測器４と逆量子化器６に入力される。ＤＣ／ＡＣ予測器４の出力は可変長符号化手段５ｂの第一の入力に与えられる。
【０１６７】
一方、逆量子化器６の出力は、逆ＤＣＴ手段７を通して、加算器８の第一の入力に与えられる。加算器８の出力はメモリ９の第一の入力に与えられ、メモリ９の出力は予測画像作成手段１０の第一の入力と動き検出手段１１の第一の入力に与えられる。
【０１６８】
動き検出手段１１の第二の入力には外部入力信号が与えられ、動き検出手段１１の出力は予測画像作成手段１０の第二の入力と動きベクトル予測器１２に与えられる。予測画像作成手段１０の出力は減算器１の第二の入力と加算器８の第二の入力に与えられる。
【０１６９】
また、動きベクトル予測器１２の出力は可変長符号化手段５ｂの第二の入力に与えられる。
【０１７０】
可変長符号化手段５ｂの第一の出力は一時バッファ１０１の第一の入力に与えられ、可変長符号化手段５ｂの第二の出力は符号量制御手段１０２の入力に与えられる。
【０１７１】
一時バッファ１０１の第二の入力には符号量制御手段１０２の第一の出力が与えられる。一時バッファ１０１の出力は送信バッファ１０３の第一の入力に与えられる。
【０１７２】
符号量制御手段１０２の第二の出力はメモリ９の第二の入力と可変長符号化手段５ｂの第三の入力に与えられる。送信バッファ１０３の出力はビットストリームとして出力（送信）される。
【０１７３】
この出力（送信）されたビットストリームは、復号装置側において受信され復号処理が施される。
【０１７４】
次に動作について説明する。
実施の形態５は、可変長符号化手段５ｂおよび一時バッファ１０１の動作が実施の形態１と異なる。他の部分については実施の形態１と同様であるので説明を省略する。
【０１７５】
可変長符号化手段５ｂは、まず、実施の形態１と同様に各マクロブロックのデータを符号化して、図１１（ａ）のように一時バッファ１０１に符号を書きこむ。ここで、現在のマクロブロック（マクロブロック番号Ｋ）に対して書きこんだ符号の先頭アドレスＡｋを記憶しておく。また、このとき発生した符号の符号量ｍｂ＿ｂｉｔを符号量制御手段１０２に出力する。
【０１７６】
次に、符号量制御手段１０２は、前記（１）式を判断し、（１）式が成り立つ場合は一時バッファ１０１の書きこみアドレスをＡｋに戻し、固定符号を選択することを示す信号をメモリ９と可変長符号化手段５ｂに出力する。
【０１７７】
可変長符号化手段５ｂは、固定符号を選択することを示す信号を受け取ると、予めＶＯＰの符号化タイプ毎に定められた固定符号を一時バッファ１０１に出力する。このとき、一時バッファ１０１の書きこみアドレスはＡｋに戻されているので、マクロブロック番号Ｋの符号を固定符号で上書きすることになる。従って、図１１（ｂ）に示す一時バッファのデータ構成のように、マクロブロック番号Ｋ−１の符号の次に、固定符号が書き込まれる。
【０１７８】
また、メモリ９は、固定符号を選択することを示すフラグを受け取ると、実施の形態１で説明したように、Ｉ−ＶＯＰの場合はマクロブロック番号Ｋの復号画像エリアに定数γを書きこみ、Ｐ−ＶＯＰの場合はマクロブロック番号Ｋの復号画像エリアに、当該ＶＯＰの一つ前のＶＯＰのマクロブロック番号Ｋのマクロブロックの復号画像をコピーする。
【０１７９】
以上のように構成することにより、実施の形態５では、可変長符号化手段５ｂに、各マクロブロックを符号化する手段とＶＯＰの符号化タイプ毎に用意した固定符号を出力する手段の両者の機能を持たせ、回路の縮小化を図ることができる。
【０１８０】
実施の形態６．
図１２はこの発明の実施の形態６である符号化装置を示すものである。同図において、１は外部入力信号を第一の入力とする減算器であり、減算器１の出力はＤＣＴ手段２、量子化器３を通して、可変長符号化手段５ｃの第一の入力と逆量子化器６に与えられる。
【０１８１】
逆量子化器６の出力は、逆ＤＣＴ手段７を通して、加算器８の第一の入力に与えられる。加算器８の出力はメモリ９の第一の入力に与えられ、メモリ９の出力は予測画像作成手段１０の第一の入力と動き検出手段１１の第一の入力に与えられる。
【０１８２】
動き検出手段１１の第二の入力には外部入力信号が与えられ、動き検出手段１１の出力は予測画像作成手段１０の第二の入力と動きベクトル予測器１２に与えられる。予測画像作成手段１０の出力は減算器１の第二の入力と加算器８の第二の入力に与えられる。
【０１８３】
また、動きベクトル予測器１２の出力は可変長符号化手段５ｃの第二の入力に与えられる。なお、符号化手段は、上述の外部入力信号が入力される減算器１から、この外部入力信号に対応する可変長符号が出力される可変長符号化手段５ｃまでを含んで構成される（もちろん、ここに示された構成は一例にしか過ぎず、外部入力信号に対応する符号化を行うことができる既知の構成を用いることができる）。
【０１８４】
可変長符号化手段５ｃの第一の出力は一時バッファ１０１の第一の入力に与えられ、可変長符号化手段５ｃの第二の出力は符号量制御手段１０２の入力に与えられる。
【０１８５】
一時バッファ１０１の第二の入力には固定符号出力手段１０４の出力（固定符号）が与えられ、一時バッファ１０１の第三の入力には符号量制御手段１０２の第一の出力が与えられる。一時バッファ１０１の出力は送信バッファ１０３の第一の入力に与えられる。
【０１８６】
符号量制御手段１０２の第二の出力はメモリ９の第二の入力に与えられる。送信バッファ１０３の出力はビットストリームとして出力（送信）される。
【０１８７】
この出力（送信）されたビットストリームは、復号装置側において受信され復号処理が施される。
【０１８８】
次に動作について説明する。
実施の形態６は、符号化タイプがイントラの場合もＤＣ／ＡＣ予測を行わない点が実施の形態１と異なる。すなわち、可変長符号化手段５ｃは量子化器３から出力されるＤＣＴ係数を用いて符号化を行う。例えば、Ｈ．２６３に準拠した符号化装置の場合、Ｉ−ＶＯＰの場合はＤＣ成分を常に８ビットで符号化する。
【０１８９】
そこで、固定符号出力手段１０４は、Ｉ−ＶＯＰに対して各ブロックのＤＣ成分が１２８、ＡＣ成分がすべて０、ｄｑｕａｎｔ＝０であるようなマクロブロックの固定符号を出力する。
【０１９０】
この場合、ＤＣ予測がないので、固定符号出力手段１０４の出力（固定符号）を選択した場合も、現在のマクロブロックから新しいビデオパケットを構成する必要はない。そこで、符号量制御手段１０２は、Ｉ−ＶＯＰの場合も、図４、図６、図８、あるいは、図９のフローチャートに従って、固定符号出力手段１０４の出力（固定符号）または可変長符号化手段５ｃの出力を選択して、一時バッファ１０１に記憶する。
【０１９１】
なお、Ｐ−ＶＯＰの場合は、実施の形態１ないし実施の形態４と同様に、図４、図６、図８、あるいは、図９のフローチャートに従って、固定符号出力手段１０４の出力（固定符号）または可変長符号化手段５ｃの出力を選択して、一時バッファ１０１に記憶する。
【０１９２】
実施の形態７．
上記実施の形態６においては、可変長符号化手段５ｃの出力または固定符号出力手段１０４の出力（固定符号）を一時バッファ１０１に記憶し、一時バッファ１０１から送信バッファ１０３に転送する構成としたが、例えば、データ構造がデータパーティションとなっていない場合やデータの再配列を行う必要がない場合には、可変長符号化手段５ｃの出力または固定符号出力手段１０４の出力（固定符号）を直接、送信バッファ１０３に入力する構成としてもよく、一時バッファ１０１を省略することができる（この場合、蓄積手段は送信バッファ１０３に相当する）。
【０１９３】
例えば、Ｈ．２６３に準拠した符号化装置の場合（データパーティションを行わない場合）、送信バッファ１０３から出力するビットストリームの構成は図１３のようになっている。従って、ＭＰＥＧ４のデータパーティションの場合（図２（ｂ）、図３（ｂ））のように、各マクロブロックの符号を例えば、各マクロブロックに関して▲１▼ｍｃｂｐｃ、ｄｑｕａｎｔおよびＤＣ成分、▲２▼ａｃ＿ｐｒｅｄ＿ｆｌａｇおよびｃｂｐｙ、▲３▼各ブロックの係数データのような、▲１▼〜▲３▼のカテゴリーに分割し、複数のマクロブロックの符号をカテゴリー毎にまとめて構成するようなことを行わないので、マクロブロック毎に発生した符号を並び替える必要がない。
【０１９４】
すなわち、可変長符号化手段５ｃが図１３に示したようなフォーマットに従って、マクロブロックの符号を出力すれば、並び替えのための一時バッファ１０１は不要となる。
【０１９５】
図１４はこのような実施の形態７である符号化装置を示すものである。同図において、１は外部入力信号を第一の入力とする減算器であり、減算器１の出力はＤＣＴ手段２、量子化器３を通して、可変長符号化手段５ｃの第一の入力と逆量子化器６に与えられる。
【０１９６】
逆量子化器６の出力は、逆ＤＣＴ手段７を通して、加算器８の第一の入力に与えられる。加算器８の出力はメモリ９の第一の入力に与えられ、メモリ９の出力は予測画像作成手段１０の第一の入力と動き検出手段１１の第一の入力に与えられる。
【０１９７】
動き検出手段１１の第二の入力には外部入力信号が与えられ、動き検出手段１１の出力は予測画像作成手段１０の第二の入力と動きベクトル予測器１２に与えられる。予測画像作成手段１０の出力は減算器１の第二の入力と加算器８の第二の入力に与えられる。
【０１９８】
また、動きベクトル予測器１２の出力は可変長符号化手段５ｃの第二の入力に与えられる。
【０１９９】
可変長符号化手段５ｃの第一の出力は送信バッファ１０３の第一の入力に与えられ、可変長符号化手段５ｃの第二の出力は符号量制御手段１０２の入力に与えられる。
【０２００】
送信バッファ１０３の第二の入力には固定符号出力手段１０４の出力（固定符号）が与えられ、送信バッファ１０３の第三の入力には符号量制御手段１０２の第一の出力が与えられる。また、符号量制御手段１０２の第二の出力はメモリ９の第二の入力に与えられる。
【０２０１】
送信バッファ１０３の出力はビットストリームとして出力（送信）される。
この出力（送信）されたビットストリームは、復号装置側において受信され復号処理が施される。
【０２０２】
次に動作について説明する。
実施の形態７は、可変長符号化手段５ｃおよび固定符号出力手段１０４が送信バッファ１０３に固定符号を出力する点が実施の形態６と異なる。すなわち、符号量制御手段１０２は、実施の形態６と同様に、可変長符号化手段５ｃから出力される符号の符号量に基づいて、可変長符号化手段５ｃの出力または固定符号出力手段１０４の出力（固定符号）のうち、どちらを選択するかをマクロブロック毎に判断し、選択した方が送信バッファ１０３に蓄積されるよう制御を行う。
【０２０３】
なお、上記実施の形態１ないし７においては、ＶＯＰ毎の最大符号量Ｔｍａｘの設定において、送信バッファ１０３の読み出しレートがＲであるとしたが、読み出しレートが固定レートでなく、レートが可変である場合であっても、同様にして、送信バッファ１０３のオーバーフローあるいはＶＢＶバッファのアンダーフローが起こらないようにＴｍａｘを設定することが可能である。
【０２０４】
上述の送信バッファ１０３の読み出しレートが可変である場合とは、例えば、送信する最大のレートが決められており、その最大のレートの中で送信するべき情報の種類（例えば、映像と音声のような種類）によって送信レートが割り振られているような場合に相当する。
【０２０５】
この場合も、図４ないし図９のフローチャートに基づいて、各マクロブロックを符号化する符号化手段の出力と、ＶＯＰの符号化タイプ毎に定められた固定符号とを選択して蓄積することにより、各ＶＯＰの符号量が最大符号量Ｔｍａｘ以下になるように制御することができる。
【０２０６】
また、上記実施の形態１ないし７においては、ＭＰＥＧ４のデータパーティションの場合およびＨ．２６３の場合を例にとって説明したが、データパーティションでない場合や、ＭＰＥＧ２の場合などにおいても、上述と同様の構成で、符号量制御を行うことができる。
【０２０７】
さらに、入力信号が４：２：０でない場合や、ＶＯＰ（単位画像）が矩形でない場合（例えば、画面中におけるオブジェクトが取り得る任意の形状）にも適用できることは言うまでもない。
【０２０８】
【発明の効果】
この発明は、以上説明したように構成されているので、以下に示すような効果を奏する。
【０２０９】
【発明の効果】
この発明に係る符号化装置は、単位画像毎に入力される外部入力信号を複数のマクロブロックに分割し、マクロブロック単位で外部入力信号を符号化し、符号化により生成された一以上のマクロブロックの符号から構成されるビデオパケットを出力する符号化装置であって、マクロブロック単位で外部入力信号をインター符号化、又はイントラ符号化し、インター符号化、又はイントラ符号化により生成される符号を出力する符号化手段と、単位画像における符号化がインター符号化の場合、又はイントラ符号化の場合、それぞれの符号化タイプの場合に対応する固定符号を出力する固定符号出力手段と、符号化手段から出力される符号、又は固定符号手段から出力される固定符号を蓄積する蓄積手段と、符号化手段から出力される符号、又は固定符号化出力手段から出力される固定符号のいずれか一方を選択して前記蓄積手段に蓄積させる符号の符号量を制御する符号量制御手段とを備え、符号量制御手段は、現マクロブロックの符号の符号量ｍｂ＿ｂｉｔ、単位画像の先頭のマクロブロックから現マクロブロックの一つ前のマクロブロックまでの符号の符号量Ｓｃ、蓄積手段がオーバーフローしないように、又はＶＢＶバッファがアンダーフローしないように設定される最大符号量Ｔｍａｘ、単位画像において現マクロブロックに続いて処理されるべきマクロブロック数Ｍ、符号化タイプにより決まる、各マクロブロックに対して固定符号出力手段が出力する固定符号の符号長Ｌ、単位画像において現マクロブロック以降で発生する前記ビデオパケット単位の付加的な符号の総符号量αの間の関係が、
Ｓｃ＋ｍｂ＿ｂｉｔ＋Ｍ×Ｌ＋α＞Ｔｍａｘ
（ただし、α≧０）
である場合に、固定符号出力手段が出力する固定符号を選択するよう制御することとしたので、単位画像の符号量が最大符号量Ｔｍａｘ以下となるように制御できる。
【図面の簡単な説明】
【図１】 この発明の実施の形態１を示すブロック図である。
【図２】 この発明の実施の形態１における一時バッファと送信バッファの状態（Ｉ−ＶＯＰの場合）を示す説明図である。
【図３】 この発明の実施の形態１における一時バッファと送信バッファの状態（Ｐ−ＶＯＰの場合）を示す説明図である。
【図４】 この発明の実施の形態１を示すフローチャート（Ｐ−ＶＯＰの場合）である。
【図５】 この発明の実施の形態１を示すフローチャート（Ｉ−ＶＯＰの場合）である。
【図６】 この発明の実施の形態２を示すフローチャート（Ｐ−ＶＯＰの場合）である。
【図７】 この発明の実施の形態２を示すフローチャート（Ｉ−ＶＯＰの場合）である。
【図８】 この発明の実施の形態３を示すフローチャートである。
【図９】 この発明の実施の形態４を示すフローチャートである。
【図１０】 この発明の実施の形態５を示すブロック図である。
【図１１】 この発明の実施の形態５における一時バッファの状態を示す説明図である。
【図１２】 この発明の実施の形態６を示すブロック図である。
【図１３】 この発明の実施の形態７における送信バッファの状態を示す説明図である。
【図１４】 この発明の実施の形態７を示すブロック図である。
【図１５】 従来の符号化装置を示すブロック図である。
【図１６】 従来の符号化装置への入力信号を示す説明図である。
【図１７】 従来の符号化装置におけるビットストリームの構成を示す説明図である。
【図１８】 従来の符号化装置におけるビデオパケットの画面上の位置を示す説明図である。
【図１９】 従来の符号化装置におけるＤＣ／ＡＣ予測を示す説明図である。
【符号の説明】
５ａ、５ｂ、５ｃ 可変長符号化手段、１０１ 一時バッファ、１０２ 符号量制御手段、１０３ 送信バッファ、１０４ 固定符号出力手段。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an encoding apparatus and an encoding method for encoding a video signal in real time, for example, relating to a mobile phone or a TV phone system.
[0002]
[Prior art]
FIG. 15 shows, for example, “All about MPEG-4” (Industry Research Committee) p. 39-p. 40 is a block diagram of the conventional encoding device shown in FIG. 40, FIG. 16 is an explanatory diagram showing an input signal of this conventional encoding device, FIG. 17 is an explanatory diagram showing the configuration of the bit stream, and FIG. These are the explanatory views showing the position (arrangement) on the screen (displayed state) of the video packet.
[0003]
In FIG. 15, 1 is a subtractor having an external input signal (in the example shown in the figure, a luminance signal and a color difference signal) as a first input, and the output of the subtracter 1 is DCT (discrete cosine transform). (Discrete Cosine Transform) means 2 and quantizer 3 are input to DC / AC predictor 4 and inverse quantizer 6 for predicting the quantized values of direct current (DC) component and alternating current (AC) component. . The output of the DC / AC predictor 4 is given to the first input of the variable length coding means 5, and the variable length coding means 5 outputs a bit stream.
[0004]
On the other hand, the output of the inverse quantizer 6 to which the output of the quantizer 3 is inputted is given to the first input of the adder 8 through the inverse DCT means 7. The output of the adder 8 is given to the memory 9, and the output of the memory 9 is given to the first input of the predicted image creation means 10 and the first input of the motion detection means 11.
[0005]
An external input signal is given to the second input of the motion detecting means 11, and the output of the motion detecting means 11 is given to the second input of the predicted image creating means 10 and the motion vector predictor 12.
[0006]
The output of the motion vector predictor 12 is given to the second input of the variable length encoding means 5. Further, the output of the predicted image creating means 10 is given to the second input of the subtracter 1 and the second input of the adder 8.
[0007]
Next, the operation will be described. First, as shown in FIG. 16, the video signal is divided into macro blocks which are basic processing units and inputted as external input signals (the external input signals here are basically inputted as macro blocks and directly Even if a macroblock is input, a means for generating a macroblock may be provided in the preceding stage so that the macroblock is converted into a macroblock).
[0008]
When the input video signal is 4: 2: 0, 16 pixels × 16 lines of the luminance signal (Y) have the same size on the screen as 8 pixels × 8 lines of the two color difference signals (Cb, Cr). . Therefore, six blocks of 8 pixels × 8 lines (6 blocks including 4 blocks for luminance signals and 2 blocks for color difference signals) constitute one macro block.
[0009]
Here, it is assumed that the Video Object Plane (VOP, unit image) input as an external input has a rectangular shape and is the same as the frame.
[0010]
Each block is subjected to discrete cosine transform (DCT) and then quantized by the quantization means 3. The quantized DCT coefficients are subjected to variable length coding together with additional information such as quantization parameters after the coefficients of the DC and AC components are predicted by the DC / AC predictor 4.
[0011]
This is intra coding (sometimes referred to as intra-frame coding). A VOP to which intra coding is applied to all macroblocks is called an I-VOP (Intra-VOP).
[0012]
On the other hand, the quantized DCT coefficient is decoded by inverse quantization in the inverse quantization means 6 and inverse DCT in the inverse DCT means 7, and the decoded image is stored in the memory 9. The decoded image stored in the memory 9 is used when performing inter coding (sometimes referred to as interframe coding).
[0013]
In the case of inter coding, the motion detector 11 detects a motion vector indicating the motion of the macroblock input as an external input signal. This motion vector indicates a position in the decoded image stored in the memory 9 at which the error from the input macroblock is minimized.
[0014]
The predicted image creating means 10 creates a predicted image based on the motion vector detected by the motion detecting means 11.
[0015]
Subsequently, a difference signal between the input macroblock and the predicted image created by the predicted image creating means 10 is obtained, the DCT means 2 performs DCT on the difference signal, and the quantizing means 3 performs quantization. .
[0016]
The quantized DCT coefficient is subjected to variable length coding together with additional information such as a motion vector subjected to predictive coding and a quantization parameter. The quantized DCT coefficients are subjected to inverse quantization in the inverse quantization means 6 and inverse DCT in the inverse DCT means 7, and then added to the predicted image by the adder 8 and stored in the memory 9.
[0017]
Inter-coding includes unidirectional prediction that predicts only from the VOP that is temporally earlier in the image display order, and bidirectional prediction that predicts from both the temporally previous VOP and the subsequent VOP. A VOP encoded by unidirectional prediction is called a P-VOP (Predictive VOP), and a VOP encoded by bidirectional prediction is called a B-VOP (Bidirectionally Predictive VOP).
[0018]
Next, the configuration of the bit stream output from the variable length encoding means 5 will be described with reference to FIG. As shown in FIG. 17A, a 1 VOP bit stream is composed of one or more video packets.
[0019]
Here, one video packet is composed of encoded data of one or more macroblocks, and the first video packet of the VOP has a VOP header at the beginning and finally a stuff bit for byte alignment. Is attached (FIG. 17B).
[0020]
In the case of the second and subsequent video packets, a Resync Marker for detecting the head of the video packet and a video packet header are attached to the head, and a stuff bit is attached to the end (FIG. 17C).
[0021]
The stuff bit here is added to the end (break) of the video packet in units of 1 to 8 bits in order to adjust the byte alignment to be added at the end of the video packet. The stuffing described below and its meaning are as follows. Differentiated.
[0022]
Further, as shown in FIG. 17D, an arbitrary number of stuffing can be put in the video packet. For example, in the case of MPEG4 Video, this stuffing is called a stuffing macroblock, and can be placed in an arbitrary video packet in the same manner as a macroblock. This stuffing is discarded (substantially not used) on the decoding device side.
[0023]
Stuffing is used as a word such as 9 bits or 10 bits for increasing the code amount, and is used regardless of byte alignment (for example, adjusting the end of the video packet). It is used by being inserted between macroblocks, and the above stuff bits are distinguished from their meanings.
[0024]
The number of macroblocks that can be included in one video packet is arbitrary. However, in consideration of error propagation, it is generally recommended that the code amount of each video packet be substantially constant. In this way, when the code amount of the video packet is substantially constant, the area occupied in one VOP of each video packet is not constant as shown in FIG.
[0025]
Next, details of the operation of the DC / AC predictor 4 will be described with reference to FIG. 19 (here, the Y component of the macroblock will be described).
As described above, the DC / AC predictor 4 performs prediction of the DC component and the AC component of the quantized DCT coefficient output from the quantizer 3 in the case of intra coding. In the case of inter coding, the DC component and the AC component are not predicted, and the quantized DCT coefficient output from the quantizer 3 is output to the variable length encoding means 5 as it is. In this case, DC / AC prediction is separately performed for the luminance signal Y and the color difference signal C.
[0026]
In the following, prediction of DC components and AC components in the case of intra coding will be described.
The quantized DCT coefficient of the currently encoded block is Fx (i, j) (0 ≦ i ≦ 7, 0 ≦ j ≦ 7), and the quantized DCT coefficient of the block on the left side of this block is Fa. (I, j) (0 ≦ i ≦ 7, 0 ≦ j ≦ 7), and the quantized DCT coefficient of the adjacent block is Fc (i, j) (0 ≦ i ≦ 7, 0 ≦ j ≦ 7) If the quantized DCT coefficient of the upper left block is Fb (i, j) (0 ≦ i ≦ 7, 0 ≦ j ≦ 7), first, the DC component Fb of the quantized DCT coefficient of the upper left block From (0, 0), the DC component Fa (0, 0) of the quantized DCT coefficient of the left adjacent block, and the DC component Fc (0, 0) of the quantized DCT coefficient of the upper adjacent block, Determine the prediction direction.
[0027]
For example, if the quantization step width of the DC component of the left adjacent block is Qda, the quantization step width of the DC component of the upper left block is Qdb, and the quantization step width of the DC component of the upper adjacent block is Qdc,
fa (0,0) = Fa (0,0) × Qda
fb (0,0) = Fb (0,0) × Qdb
fc (0,0) = Fc (0,0) × Qdc
To obtain DC components fa (0, 0), fb (0, 0), and fc (0, 0) after inverse quantization,
If the relationship | fa (0,0) −fb (0,0) | <| fb (0,0) −fc (0,0) | is established, it is considered that the correlation in the vertical direction is strong. When the above relationship is not satisfied and the above relation is not established, it is considered that the correlation in the left-right direction is strong. Therefore, the DC component after the inverse quantization of the adjacent block on the left Prediction is performed from fa (0,0).
[0028]
When the DC component is predicted from the upper adjacent block,
Px (0,0) = Fx (0,0) −fc (0,0) / Qdx
When the DC component is predicted from the block on the left,
Px (0,0) = Fx (0,0) −fa (0,0) / Qdx
As a result, the predicted DC component Px (0, 0) is obtained. However, Qdx is the quantization step width of the DC component of the current block, and the above division is calculated by rounding off, for example.
[0029]
Subsequently, the AC component is predicted using the DC component prediction direction. That is, assuming that the quantization parameter of the left adjacent block is Qpa, the quantization parameter of the upper adjacent block is Qpc, and the quantization parameter of the current block is Qpx, the DC component is predicted from the upper adjacent block. , Predicting the AC component
Px (i, 0) = Fx (i, 0) − (Fc (i, 0) × Qpc) / Qpx
(I = 1, 7)
Based on.
[0030]
When the DC component is predicted from the block on the left, the AC component is predicted.
Px (0, j) = Fx (0, j) − (Fa (0, j) × Qpa) / Qpx
(J = 1, ..., 7)
To obtain a predicted AC component Px (i, 0) or Px (0, j). However, the above division is calculated by rounding off, for example.
[0031]
Whether the AC component prediction is performed after the above-described AC component prediction is independently performed on the six blocks constituting one macroblock is determined on a macroblock basis as described below (whichever It is determined for each macro block depending on whether the prediction is performed in relation to the block).
[0032]
Here, the block AC prediction determination index SB is used as an index indicating that it is determined whether the original video signal is good (AC component prediction is not performed) or whether the prediction is preferable. Asking. For example, for each block of six blocks constituting one macroblock, when that block (a block for which the AC prediction determination index SB is obtained) is predicted from the upper adjacent block,
[0033]
[Expression 1]

[0034]
When the AC prediction determination index SB is obtained by the above and the block is predicted from the left adjacent block,
[0035]
[Expression 2]

[0036]
The AC prediction judgment index SB is obtained from the above, the sum SBS of the AC prediction judgment indices SB of the six blocks constituting one macroblock (the sum of the AC prediction judgment indices obtained for each block),
SBS ≧ 0
In the case of (2), the AC component is predicted. Otherwise, the AC component is not predicted.
[0037]
Note that ac_pred_flag = 1 when AC component prediction is performed, and ac_pred_flag = 0 when AC component prediction is not performed. After ac_pred_flag is added as additional information for each macroblock, each macroblock is variable-length encoded. Encoding is performed by means 5.
[0038]
For a block belonging to a macroblock with ac_pred_flag = 1, if the block is predicted from the adjacent block above,
[0039]
[Equation 3]

[0040]
If Ox (i, j) is determined and the block is predicted from the left adjacent block,
[0041]
[Expression 4]

[0042]
To obtain Ox (i, j).
For blocks belonging to the macro block with ac_pred_flag = 0,
[0043]
[Equation 5]

[0044]
Thus, Ox (i, j) is obtained, and this Ox (i, j) is output to the variable length encoding means 5 as the output of the DC / AC predictor 4.
[0045]
In the above prediction, if the current block is the left end block of the unit image (or the left end of the single screen if the unit image is one screen), the block next to the left and the upper left block of the current block Therefore, the values of the DC components fa (0, 0) and fb (0, 0) after inverse quantization used in the prediction are set to a predetermined constant β. In this case, the AC components Fa (i, j) and Fb (i, j) ((i, j) ≠ (0,0)) used in the prediction are set to 0.
[0046]
Here, the predetermined constant β is, for example, an intermediate value in the range of the DC component value among the DCT coefficients output from the DCT means 2. That is, if the DC component output from the DCT means 2 can take a value from 0 to 2047 with 11 bits, β = 1024.
[0047]
Similarly, in the above prediction, if the current block is the block at the upper end of the unit image (the upper end of this one screen if the unit image is one screen), the block adjacent to the current block and the upper left Since there is no block, the values of the DC components fc (0,0) and fb (0,0) after inverse quantization used in the prediction are set as the constant β, and the AC components Fc (i, j) and Fb ( i, j) ((i, j) ≠ (0,0)) is set to 0.
[0048]
Further, in the prediction, when the block on the left of the current block belongs to a video packet different from the current block, the DC component fa (0, 0) after dequantization used in the prediction is changed to the constant β And AC component Fa (i, j) ((i, j) ≠ (0,0)) is set to 0.
[0049]
Similarly, in the prediction, when the block immediately above the current block belongs to a video packet different from the current block, the DC component fc (0, 0) after inverse quantization used in the prediction is changed to the constant described above. Let β be AC component Fc (i, j) ((i, j) ≠ (0,0)).
[0050]
In the prediction, when the upper left block of the current block belongs to a video packet different from the current block, the DC component fb (0, 0) after inverse quantization used in the prediction is set as the constant β. , AC component Fb (i, j) ((i, j) ≠ (0,0)) is set to 0.
[0051]
In this way, in the DC / AC predictor 4, by not referring to the coefficients of the DC component and the AC component between blocks belonging to different video packets, even when an error is mixed in the transmitted bit stream, An error propagation by DC / AC prediction is configured to be contained in a video packet.
[0052]
[Problems to be solved by the invention]
In the conventional coding apparatus as described above, the processing for avoiding the overflow of the transmission buffer and the underflow of the VBV buffer which is the virtual buffer on the reception side is not sufficiently considered.
[0053]
Normally, the amount of code is increased or decreased by adjusting the quantization parameter used in the quantizer 3, but the quantization parameter is maximized (the amount of code generated by suppressing the coarsest quantization is reduced). The processing for the case where the overflow of the transmission buffer occurs was not considered.
[0054]
Further, when the input VOP rate is F (1 / sec), it is required to encode all macroblocks constituting one VOP in 1 / F (sec) or a shorter time. .
[0055]
However, for example, when the motion detection unit 11 is configured to adaptively change the search range of the motion vector according to the motion of the object in the VOP, the motion detection unit 11 detects the motion vector of each macroblock. The time required for the change varies for each macroblock, and therefore the processing time of 1 VOP is not constant. In such a case, control for encoding all macroblocks constituting one VOP within a predetermined time has not been considered conventionally.
[0056]
The present invention has been made to solve the above-described problems, and proposes an encoding apparatus and an encoding method capable of effectively avoiding an overflow of a transmission buffer and an underflow of a VBV buffer.
[0057]
The present invention also provides an encoding apparatus and an encoding method capable of completing encoding for 1 VOP within a predetermined time even when the time required for encoding one macroblock is not constant.
[0058]
[Means for Solving the Problems]
  The encoding device according to the present invention is:An external input signal input for each unit image is divided into a plurality of macro blocks, the external input signal is encoded in units of macro blocks, and a video packet including one or more macro block codes generated by encoding is An encoding device for output, wherein the external input signal is inter-coded or intra-coded in units of macroblocks, encoding means for outputting a code generated by inter-coding or intra-coding, and unit images When the encoding is inter-encoding or intra-encoding, fixed code output means for outputting a fixed code corresponding to each encoding type and code output from the encoding means, or fixed code means Storage means for storing the fixed code output from the code, the code output from the encoding means, or the output from the fixed encoding output means Code amount control means for controlling the code amount of the code to be stored in the storage means by selecting any one of the fixed codes to be stored, and the code amount control means includes the code amount mb_bit of the code of the current macroblock, the unit image Code amount Sc from the first macroblock of the current macroblock to the macroblock immediately before the current macroblock, maximum code amount Tmax set so that the storage means does not overflow or the VBV buffer does not underflow, unit The number M of macroblocks to be processed subsequent to the current macroblock in the image, the code length L of the fixed code output by the fixed code output means for each macroblock, determined by the coding type, and the current macroblock and the subsequent ones in the unit image The relationship between the total code amount α of the additional code in units of video packets generated in
Sc + mb_bit + M × L + α> Tmax
(However, α ≧ 0)
Control to select the fixed code output by the fixed code output meansIt is characterized by.
[0082]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be specifically described with reference to the drawings showing embodiments thereof.
Embodiment 1 FIG.
FIG. 1 shows an encoding apparatus according to Embodiment 1 of the present invention. In the figure, reference numeral 1 denotes a subtractor having an external input signal as a first input, and the output of the subtracter 1 passes through a DCT means 2 and a quantizer 3 to a DC / AC predictor 4 and an inverse quantizer 6. Entered. The output of the DC / AC predictor 4 is given to the first input of the variable length coding means 5a.
[0083]
On the other hand, the output of the inverse quantizer 6 is given to the first input of the adder 8 through the inverse DCT means 7. The output of the adder 8 is given to the first input of the memory 9, and the output of the memory 9 is given to the first input of the predicted image creation means 10 and the first input of the motion detection means 11.
[0084]
An external input signal is given to the second input of the motion detecting means 11, and the output of the motion detecting means 11 is given to the second input of the predicted image creating means 10 and the motion vector predictor 12. The output of the predicted image creating means 10 is given to the second input of the subtracter 1 and the second input of the adder 8.
[0085]
The output of the motion vector predictor 12 is given to the second input of the variable length encoding means 5a. The encoding means includes the subtractor 1 to which the above external input signal is input, and the variable length encoding means 5a from which the variable length code corresponding to the external input signal is output (of course. The configuration shown here is only an example, and a known configuration capable of performing encoding corresponding to an external input signal can be used.
[0086]
The first output of the variable length coding unit 5 a is given to the first input of the temporary buffer 101, and the second output of the variable length coding unit 5 a is given to the input of the code amount control unit 102.
[0087]
The output of the fixed code output means 104 is given to the second input of the temporary buffer 101, and the first output of the code amount control means 102 is given to the third input of the temporary buffer 101. The output of the temporary buffer 101 is given to the first input of the transmission buffer 103 (here, the temporary buffer 101 or the transmission buffer 103 corresponds to the storage means).
[0088]
  The second output of the code amount control means 102 is given to the second input of the memory 9.Be. The output of the transmission buffer 103 is output (transmitted) as a bit stream.
[0089]
The output (transmitted) bit stream is received and decoded by the decoding device.
[0090]
Next, the operation will be described.
First, as shown in FIG. 16, the video signal is divided into macro blocks which are basic processing units, and input to the subtracter 1 and the motion detection means 11 as input macro blocks. For example, when the input video signal is 4: 2: 0, 16 pixels × 16 lines of the luminance signal (Y) are the same size on the screen as 8 pixels × 8 lines of the two color difference signals (Cb, Cr). Therefore, six blocks of 8 pixels × 8 lines constitute one macro block.
[0091]
When intra coding is performed, each block is quantized after being subjected to DCT. The quantized DCT coefficient is predicted by the DC / AC predictor 4 and then variable-length encoded by the variable-length encoding means 5a together with additional information such as a quantization parameter. The quantized DCT coefficients are inversely quantized by the inverse quantizer 6 and decoded by performing inverse DCT by the inverse DCT means 7, and the decoded image that is the output of the inverse DCT means 7 is stored in the memory 9. .
[0092]
In the case of inter coding, the motion detection unit 11 detects a motion vector indicating the motion of the input macroblock. The motion vector indicates a position in the decoded image stored in the memory 9 where the error from the input macroblock is minimized.
[0093]
The predicted image creating unit 10 creates a predicted image based on the motion vector detected by the motion detecting unit 11. Next, the difference between the input macroblock and the predicted image is obtained, DCT is performed on the difference signal by the DCT means 2, and the quantizer 3 performs quantization.
[0094]
The quantized DCT coefficient that is the output of the quantizer 3 is added to the coefficient predicted by the DC / AC predictor 4, the motion vector predicted by the motion vector predictor 12, and additional information such as a quantization parameter. Variable length encoding is performed by the variable length encoding means 5a. Further, the quantized DCT coefficient is subjected to inverse quantization by the inverse quantizer 6 and inverse DCT by the inverse DCT means 7, and then added to the predicted image output from the predicted image creating means 10, and is added to the memory 9. Is remembered.
[0095]
Next, the operation of the variable length coding means 5a will be described in detail.
The variable length encoding unit 5 a encodes the quantized DCT coefficient and additional information for each macroblock (encoding step), writes the code into the temporary buffer 101, and outputs the code amount to the code amount control unit 102.
[0096]
For example, in the case of MPEG4 I-VOP, first, the AC component of the DCT coefficient of each block output from the DC / AC predictor 4 is one-dimensionally scanned by a method such as zigzag scanning, and the number of zeros and non-zero coefficients are calculated. Run-length encoding is performed to encode a combination of The AC component data of each block subjected to the run length coding is written in the temporary buffer 101.
[0097]
As shown in FIG. 2A, after the coefficient data of each block, a macro block type (MTYPE) indicating intra / inter and the like and cbpc indicating whether or not there is a non-zero AC coefficient in each color difference block are summarized. Encoded mcbpc, dquant indicating the quantization parameter, DC component of the DCT coefficient of each block, ac_pred_flag indicating whether AC prediction has been performed, cbpy indicating whether each block of Y has a non-zero AC coefficient It is encoded and written to the temporary buffer 101.
[0098]
Note that the total of these code amounts is output to the code amount control means 102 for each macroblock.
[0099]
Similarly, in the case of MPEG4 P-VOP, data encoded in the order as shown in FIG.
[0100]
Based on the code amount of each macroblock output from the variable length coding unit 5a, the code amount control unit 102 collects macroblocks so that the length of each video packet is equal to or less than a predetermined value. Transfer from the buffer 101 to the transmission buffer.
[0101]
For example, in the case of MPEG4, as shown in FIGS. 2 (b) and 3 (b), a header is added to the head of the video packet, and the packets are rearranged in the order of the specified bit stream and transferred.
[0102]
Also, the code amount control means 102 is configured so that the transmission buffer 103 does not overflow, or a VBV (Video Buffering Verifier) buffer (virtual buffer required for bit stream reception on the receiving side (necessary capacity is For example, the maximum code amount Tmax is set for each VOP so that an underflow does not occur). A fixed code to be written to the temporary buffer 101 is selected from the output of the variable length coding means 5a or the output of the fixed code output means 104 so that the VOP code amount does not exceed Tmax.
[0103]
Here, the maximum code amount Tmax can be said to be the upper limit value of the code amount so that the transmission buffer 103 does not overflow and the VBV buffer does not underflow.
[0104]
Details of the operation will be described below.
The code amount control means 102 obtains the maximum code amount Tmax of the VOP before starting to encode each VOP. For example, the capacity of the transmission buffer 103 is Bs (bits), the current remaining amount of the transmission buffer 103 (that is, accumulated in a storage unit such as a transmission buffer or a VBV buffer, and read from the storage unit such as the transmission buffer or the VBV buffer) This is the amount of data (remaining capacity) that has not been stored (remaining (stored) in storage means such as a transmission buffer or VBV buffer). If the transmission buffer 103 does not overflow, the code amount of the VOP is expressed as Bs−B. If the transmission buffer 103 does not overflow, it is expressed as an amount or an occupancy amount (hereinafter simply referred to as an occupancy amount). The following is sufficient. Therefore, the maximum code amount Tmax is set to
Tmax ≦ Bs−B
Should be set.
[0105]
Further, when managing the VBV buffer, if the read bit rate of the transmission buffer 103 is R (bits / sec) and the VOP rate to be encoded is F (1 / sec), the VBV buffer is read from the transmission buffer 103 in one VOP period. The number of bits Rp is
Rp = R / F
Thus, the number of bits received by the VBV buffer in one VOP period is also Rp.
[0106]
Therefore, if the VBV buffer occupancy in the decoding time of the VOP immediately before the current VOP is vbv_bits (bits), the code amount of the VOP should be less than or equal to vbv_bits + Rp so that the VBV buffer does not underflow. . That is, the maximum code amount Tmax is set to
Tmax ≦ vbv_bits + Rp
Should be set.
[0107]
Therefore, the code amount control means 102 determines the maximum code amount Tmax of the VOP before starting to encode each VOP.
Tmax = min (vbv_bits + Rp, Bs−B)
And set. (Min (a, b) indicates that the smaller one of a and b is used as the value).
[0108]
The VBV buffer occupancy vbv_bits is used to estimate the occupancy on the receiving side. If underflow occurs on the receiving side, the VBV buffer underflow may be used when taking measures such as delaying the decoding time. There is no need to manage. If there is no need to manage underflow of the VBV buffer in this way,
Tmax = Bs−B
Should be set.
[0109]
Since the occupation amount B of the transmission buffer 103 changes with time, the value of the maximum code amount Tmax also changes with time. The maximum code amount Tmax is calculated for each VOP.
[0110]
Next, the code amount control unit 102 obtains the code amount of the current VOP for each macro block, and outputs the macro block from the variable length encoding unit 5a according to the flowcharts shown in FIGS. Of the fixed codes output from the code or fixed code output means 104, either the code stored in the temporary buffer 101 or the fixed code is selected (control to select and store. Code amount control step). Then, either the code or the fixed code is accumulated in the temporary buffer 101 (accumulation step. The accumulation step may include the transmission from the temporary buffer 101 to the transmission buffer 103).
[0111]
4 shows a flowchart when the current VOP is P-VOP (encoding type is inter), and FIG. 5 is a flowchart when the current VOP is I-VOP (encoding type is intra). Show.
[0112]
(Regarding code amount control in the case of P-VOP)
First, the operation of the code amount control 102 in the case of P-VOP will be described.
In the case of P-VOP, the variable length encoding means 5a outputs the coefficient data of each block, not_coded, mcbpc, motion vector, cbpy, dquant to each macro block as shown in FIG. Not all of these codes exist. For example, when the coefficient data of each block is all 0 and the motion vector is (0, 0), only 1 bit of not_coded = 1 exists. . This is the code that is the minimum code amount in the P-VOP macroblock.
[0113]
Therefore, in the case of P-VOP, fixed code output means 104 outputs only 1 bit of not_coded = 1 as a fixed code (fixed code output step. Note that a fixed code is also output to I-VOP as will be described later. This is also referred to as a fixed code output step). That is, the fixed code output means 104 outputs the fixed code of the macroblock that is the minimum code amount for the current VOP encoding type.
[0114]
For example, when all the coefficient data of each block is 0 and the motion vector is (0, 0), there is only 1 bit of not_coded = 1. Therefore, in the case of P-VOP, fixed code output means 104 The code length L of the fixed code output by L is L = 1.
[0115]
The code amount control unit 102 obtains the code amount of the current VOP for each macroblock, and even if the fixed code output from the fixed code output unit 104 is selected for all the remaining macroblocks, all of the VOPs are configured. When the code amount of the macroblock exceeds the maximum code amount Tmax of the VOP, the code of the current macroblock is replaced with the fixed code output from the fixed code output means 104.
[0116]
That is, if the total number of macroblocks constituting the VOP is A and the macroblock number of the current macroblock is K (where 0 ≦ K ≦ A−1), the number M of macroblocks to be encoded following this is M. (Number of remaining macroblocks M) is
M = AK-1
It is expressed.
[0117]
The code amount from the macroblock of macroblock number 0 constituting the current VOP to the macroblock of macroblock number K-1 is Sc, and variable length coding means for the current macroblock (macroblock number K) If the code amount of the code output by 5a is mb_bit, the code amount of the entire VOP when the fixed code (code length is L) of the fixed code output means 104 is selected for the remaining M macroblocks,
Sc + mb_bit + M × L + α
It becomes. Here, α is a code amount of an additional code generated in units of video packets such as a Resync Marker, a video packet header, a stuff bit, and a motion_marker that can be generated in a macro block after the macro block number K (here, an additional code amount) And α ≧ 0.
[0118]
there,
Sc + mb_bit + M × L + α> Tmax
Is written, the fixed code output from the fixed code output means 104 is written in the temporary buffer 101 for the current macroblock (macroblock number K), otherwise the variable length encoding means 5a outputs it. Control is performed to write the code in the temporary buffer 101 (FIG. 4).
[0119]
As the value of the additional code amount α, for example, the sum of the code amounts of ResyncMarker, video packet header, stuff bit, and motion_marker in P-VOP is Cp (bit) at the maximum, and the length of a predetermined video packet is Assuming that VPlen (bit), the code amount generated in the macroblocks after the current macroblock (macroblock number K) is at least
(M + 1) × L
And
(M + 1) × L / VPlen + 1
Since the number of video packets can be generated, the additional code amount α is
α = ((M + 1) × L / VPlen + 1) × Cp
And it is sufficient.
[0120]
If the total number A of macroblocks constituting the VOP is used,
M + 1 ≦ A
Therefore, in order to simplify the calculation, the additional code amount α is
α = (A × L / VPlen + 1) × Cp
Alternatively, the value may be fixed to P-VOP.
[0121]
For the P-VOP, when the fixed code output from the fixed code output unit 104 is stored in the temporary buffer 101, the P-VOP is stored in the memory 9 in order to force it to be treated as not_coded (not encoded). The decoded image of the current macroblock is replaced with the decoded image of the macroblock at the same position in the previous VOP stored in the memory 9.
[0122]
That is, in the memory 9, the decoded image of the macroblock with the macroblock number K of the previous VOP is copied to the decoded image area of the macroblock with the macroblock number K of the current VOP. In the case of P-VOP, the fixed code output from the fixed code output unit 104 is not_coded = 1. Thus, by copying the decoded image of the previous VOP in this way, the fixed code output unit 104 outputs the fixed code. A decoded image corresponding to the fixed code is obtained.
[0123]
(Regarding code amount control in the case of I-VOP)
Next, the operation of the code amount control means 102 in the case of I-VOP will be described.
In the case of I-VOP, the variable length encoding means 5a outputs the AC component data, mcbpc, dquant, DC component, ac_pred_flag, and cbpy of each block to each macro block as shown in FIG. These codes are not necessarily all present. For example, when the values of cbpc and cbpy indicated by mcbpc are both 0, there is no coefficient data for each block. If the macroblock type indicated by mcbpc indicates that it does not have dquant, there is no dquant.
[0124]
Therefore, in the case of I-VOP, the fixed code output means 104 uses, as a fixed code, a code for a macroblock in which the DC component and AC component of each block are all 0, and dquant = 0 and ac_pred_flag = 0. Output. In most existing encoding methods such as MPEG2 and MPEG4, such a code is the minimum code amount of an I-VOP macroblock.
[0125]
As in the case of P-VOP, the code amount control unit 102 obtains the code amount of the current VOP for each macroblock, and selects the fixed code output from the fixed code output unit 104 for all the remaining macroblocks. Even if the code amount of all macroblocks constituting the VOP exceeds the maximum code amount Tmax of the VOP, the code of the current macroblock is replaced with a fixed code output from the fixed code output means 104.
[0126]
Here, since it is required not to destroy the video packets constituting the VOP (all macroblocks constituting the video packet are included), it is necessary to generate encoded data corresponding to the remaining macroblocks. When the code amount of all the macroblocks constituting the VOP exceeds the maximum code amount Tmax, since the replacement with the fixed code is performed as described above, the margin for the fixed code is expected. There is a need.
[0127]
That is, the code amount of the code output by the variable length encoding means 5a for the current macroblock (macroblock number K) is mb_bit, the code length of the fixed code output by the fixed code output means 104 is L, and the current VOP Assuming that the amount of code from the macroblock with macroblock number 0 to the macroblock with macroblock number K-1 is Sc, as shown in FIG.
Sc + mb_bit + M × L + α> Tmax
(M = AK-1)
Is written, the fixed code output from the fixed code output means 104 is written in the temporary buffer 101 for the current macroblock (macroblock number K), otherwise the variable length encoding means 5a outputs it. Control is performed to write the code in the temporary buffer 101.
[0128]
Here, α is the code amount (additional code amount) of codes generated in units of video packets such as Resync Marker, video packet header, stuff bit, dc_marker, etc. that can be generated in macroblocks after the macroblock number K. α ≧ 0.
[0129]
As the value of the additional code amount α, for example, the total of the code amount of ResyncMarker, video packet header, stuff bit, and dc_marker in I-VOP is a maximum of Ci (bit), and a predetermined video packet length is used. Assuming that VPlen (bit), the code amount generated in the macroblocks after the current macroblock (macroblock number K) is at least
(M + 1) × L
And
(M + 1) × L / VPlen + 1
Since video packets can occur,
α = ((M + 1) × L / VPlen + 1) × Ci
And it is sufficient.
[0130]
If the total number A of macroblocks constituting the VOP is used,
M + 1 ≦ A
Therefore, in order to simplify the calculation,
α = (A × L / VPlen + 1) × Ci
Alternatively, a fixed value may be used for I-VOP.
[0131]
In the case of I-VOP, the fixed code output from the fixed code output means 104 for the current macroblock (macroblock number K) is stored in the temporary buffer 101, and the previous macroblock When the output (fixed code) of the fixed code output means 104 is not selected for (macroblock number K-1) (when the output of the variable length encoding means 5a is selected), as shown in FIG. A new video packet is constructed from the current macroblock.
[0132]
In the case of I-VOP, since DC prediction is performed even if ac_pred_flag = 0, when the DC component stored in the temporary buffer 101 is 0, this is a DC component Ox after prediction output from the DC / AC predictor 4 It indicates that (0,0) is 0, and does not indicate that the DC component Fx (0,0) output from the quantizer 3 is 0.
[0133]
Therefore, when the fixed code output means 104 outputs a fixed code for a macroblock in which the DC component and AC component of each block are all 0 and dquant = 0 and ac_pred_flag = 0, the fixed code is decoded. In general, the obtained image is not constant (that is, even if the fixed code itself is fixed, the value related to the image representation is not a fixed value but can be an arbitrary value).
[0134]
However, the DC / AC predictor 4 does not refer to the coefficient of the DC component between blocks belonging to different video packets, and uses the constant β, which is an intermediate value in the DC component value range, as a reference value. As described above, when the fixed code output from the fixed code output unit 104 is selected to be stored in the temporary buffer 101, if the control is performed so as to form a new video packet from the macro block, the fixed code output unit 104 The DC component fx (0, 0) after inverse quantization of each block represented by the output fixed code is
fx (0,0) = β
It becomes.
[0135]
Therefore, in the case of I-VOP, when the fixed code output from the fixed code output unit 104 is decoded, an image in which all the pixels of the macroblock are constant γ (so-called solid image having the same color as the entire screen) ) Is obtained. Here, the constant γ is an intermediate value in the pixel value range of the input macroblock. For example, if the input macroblock can take a value from 0 to 255 with 8 bits, γ = 128.
[0136]
When the fixed code output from the fixed code output unit 104 is selected to be stored in the temporary buffer 101, as described above, the DC component after inverse quantization of each block of the macroblock (macroblock number K) is as described above. Is equal to the constant β. Therefore, when the output (fixed code) of the fixed code output means 104 is selected in the next macroblock (macroblock number K + 1) of the macroblock, even if a new video packet is not formed, The DC component after inverse quantization is a constant β, and the decoded image is an image (solid image) having all the pixel values of the constant γ.
[0137]
Therefore, as shown in FIG. 5, when the fixed code output from the fixed code output unit 104 is stored in the temporary buffer 101, and the output of the fixed code output unit 104 (for the previous macro block) If no (fixed code) is selected, control may be performed so as to construct a new video packet from the current macroblock.
[0138]
When the fixed code output from the fixed code output unit 104 is stored in the temporary buffer 101, the decoded image of the current macroblock stored in the memory 9 is replaced with an image having all constant γ. . That is, the constant γ is written in the decoded image area of the current macroblock of the current VOP in the memory 9.
[0139]
As described above, the code stored in the temporary buffer 101 is selected from the code output from the variable-length encoding means 5a or the fixed code output from the fixed code output means 104 based on the flowcharts of FIGS. Thus, control can be performed so that the code amount of each VOP does not exceed the maximum code amount Tmax.
[0140]
Further, by determining whether or not to construct a new video packet from the current macroblock based on the flowchart of FIG. 5, the I-VOP also supports the fixed code output from the fixed code output unit 104. Since the decoded image to be written is written in the memory 9 without performing a new calculation, the code amount of the unit image can be controlled to be always equal to or less than the maximum code amount Tmax with a small calculation amount.
[0141]
Embodiment 2. FIG.
In the first embodiment, the code amount control unit 102 is controlled to select the output (fixed code) of the variable length encoding unit 5a or the fixed code output unit 104 based on the flowcharts of FIGS. The code amount control means 102 may be configured to select the output (fixed code) of the variable length encoding means 5a or the fixed code output means 104 based on the flowcharts shown in FIGS.
[0142]
6 shows a flowchart when the current VOP is P-VOP (encoding type is inter), and FIG. 7 is a flowchart when the current VOP is I-VOP (encoding type is intra). Show.
[0143]
(Regarding code amount control in the case of P-VOP)
First, the case of P-VOP will be described with reference to FIG.
Similarly to the case of the first embodiment, the code amount control unit 102 uses mb_bit as the code amount of the code output by the variable length encoding unit 5a for the current macroblock (macroblock number K), and fixed code output unit. The code length of the fixed code output from 104 is L, the code amount from the macroblock of macroblock number 0 to the macroblock of macroblock number K-1 constituting the current VOP is Sc, and the macroblock constituting the current VOP If the number of macroblocks after K + 1 is M,
Sc + mb_bit + M × L + α> Tmax (1)
In such a case, control is performed so that the fixed code output from the fixed code output unit 104 is written in the temporary buffer 101 for the current macroblock (macroblock number K).
[0144]
Here, α is the code amount (additional code amount) of codes generated in units of video packets such as Resync Marker, video packet header, stuff bit, motion_marker and the like that can be generated in macroblocks after the macroblock number K. 0. As described in the first embodiment, α may be calculated for each macroblock or may be a fixed value for each VOP coding type.
[0145]
By the way, when the above formula (1) holds for the current macroblock, the code amount is accumulated, so it is highly possible that the formula (1) holds for the next macroblock. high.
[0146]
For example, if the expression (1) is established for the macroblock number K, the code amount Sc ′ of the macroblocks from the macroblock number 0 to the macroblock number K is the code up to the macroblock of the macroblock number K−1. The code length L of the fixed code output from the fixed code output means 104 is added to the amount Sc.
Sc '= Sc + L
It becomes. Here, the code amount mb_bit of the code output by the variable length encoding unit 5a for the macroblock of the macroblock number K and the code output by the variable length encoding unit 5a for the macroblock of the macroblock number K + 1. If the code amount mb_bit ′ is equal and the value of α is the same for both macroblocks,
Sc ′ + mb_bit ′ + (M−1) × L + α
= Sc + mb_bit + M × L + α
> Tmax
Thus, the expression (1) is also established for the macroblock number K + 1.
[0147]
Therefore, when the expression (1) is established for the macroblock number K, the calculation can be omitted assuming that the expression (1) is also established for the macroblocks after the macroblock number K.
[0148]
That is, as shown in FIG. 6, first, the output (fixed code) of the fixed code output means 104 for the macroblock (macroblock number K-1) immediately before the current macroblock (macroblock number K). If the output of the fixed code output means 104 (fixed code) is selected in the previous macro block, the output (fixed) of the fixed code output means 104 is also applied to the current macro block. Code) is stored in the temporary buffer 101.
[0149]
On the other hand, if the output (fixed code) of the fixed code output unit 104 is not selected in the previous macroblock, the above equation (1) is determined. If the equation (1) holds, the fixed code output unit 104 is determined. If the above output (fixed code) does not hold, the output of the variable length encoding means 5a is stored in the temporary buffer 101.
[0150]
(Regarding code amount control in the case of I-VOP)
The same applies to the case of the I-VOP. First, as shown in FIG. 7, the fixed code output means for the macroblock (macroblock number K-1) immediately before the current macroblock (macroblock number K). If it is determined whether the output (fixed code) 104 is selected and the output (fixed code) of the fixed code output means 104 is selected in the previous macroblock, the fixed code is also applied to the current macroblock. The output (fixed code) of the output means 104 is stored in the temporary buffer 101. In this case, as described in Embodiment 1, it is not necessary to construct a new video packet from the current macroblock.
[0151]
On the other hand, if the output (fixed code) of the fixed code output unit 104 is not selected in the previous macroblock, the above equation (1) is determined. If the equation (1) holds, the fixed code output unit 104 is determined. If the above output (fixed code) does not hold, the output of the variable length encoding means 5a is stored in the temporary buffer 101. If the above equation (1) holds, a new video packet is constructed from the current macroblock.
[0152]
In the second embodiment, when the expression (1) is established for a macroblock in one VOP, the fixed code output means 104 is used for all macroblocks subsequent to the macroblock constituting the VOP. Is output to the temporary buffer 101. In the macroblock to be encoded subsequent to the macroblock, the subtracter 1, the DCT means 2, the quantizer 3, and the DC / AC prediction The encoding means comprising the unit 4, the variable length encoding means 5a, the inverse quantizer 6, the inverse DCT means 7, the adder 8, the predicted image creation means 10, the motion detection means 11 and the motion vector prediction means 12 needs to operate. There is no.
[0153]
Therefore, when the expression (1) is established for a certain macroblock in one VOP, the subtractor 1, the DCT means 2, in the macroblock encoded following the macroblock constituting the VOP, Quantizer 3, DC / AC predictor 4, variable length coding means 5 a, inverse quantizer 6, inverse DCT means 7, adder 8, predicted image creation means 10, motion detection means 11, and motion vector prediction means 12 By stopping the operation (stopping the calculation from the macro block after the encoded macro block to the end of the VOP), it is possible to reduce the calculation amount and the power consumption.
[0154]
Embodiment 3 FIG.
In the third embodiment, the code amount control means 102 controls to select the output (fixed code) of the variable length encoding means 5a or the fixed code output means 104 based on the flowchart shown in FIG. FIG. 8 shows a flowchart in the case of P-VOP (encoding type is inter).
[0155]
(Regarding code amount control in the case of P-VOP)
For example, when the motion detection unit 11 is configured to adaptively change the motion vector search range according to the motion of the object in the VOP, the motion detection unit 11 needs to detect the motion vector of each macroblock. The time changes for each macroblock, and therefore the processing time of 1 VOP is not constant.
[0156]
In such a case, in order to encode all the macroblocks constituting one VOP within a predetermined time, when the processing time is reduced, the subtracter 1, the DCT means 2, the quantizer 3, DC / The AC predictor 4, variable length encoding means 5 a, inverse quantizer 6, inverse DCT means 7, adder 8, predicted image creation means 10, motion detection means 11, and motion vector prediction means 12 are not calculated and fixed. The output (fixed code) of the code output means 104 is stored in the temporary buffer 101.
[0157]
Therefore, as shown in FIG. 8, the code amount control means 102 measures the elapsed time since the first macroblock (macroblock number 0) constituting the current VOP is input, and this elapsed time is determined in advance. When the specified processing time Tp is exceeded, control is performed so that the output (fixed code) of the fixed code output means 104 is always stored in the temporary buffer 101. Otherwise, the fixed code output is based on the equation (1). The output of the means 104 (fixed code) and the output of the variable length coding means 5a are selected and stored in the temporary buffer 101.
[0158]
Note that the predetermined processing time Tp in this case is set to a maximum of 1 VOP period (since processing for 1 VOP must be processed in 1 VOP period), other processing is included in this 1 VOP period. In this case, (1 VOP period−period required for other processing) is the maximum value given to the processing time Tp.
[0159]
(Regarding code control in the case of I-VOP)
If the current VOP is an I-VOP, the code amount control means 102 stores the code stored in the temporary buffer 101 according to the flowchart of FIG. 5 or FIG. 7 as in the first or second embodiment. select.
[0160]
Embodiment 4 FIG.
In the fourth embodiment, the code amount control means 102 controls to select the output (fixed code) of the variable length encoding means 5a or the fixed code output means 104 based on the flowchart shown in FIG. FIG. 9 shows a flowchart in the case of P-VOP (encoding type is inter).
[0161]
(Regarding code amount control in the case of P-VOP)
That is, as described in the second embodiment, the code amount control unit 102 first fixes the macroblock (macroblock number K-1) immediately before the current macroblock (macroblock number K). It is determined whether or not the output (fixed code) of the code output means 104 is selected, and when the output (fixed code) of the fixed code output means 104 is selected in the previous macroblock, the current macroblock is Also, the output (fixed code) of the fixed code output means 104 is stored in the temporary buffer 101.
[0162]
Next, as described in the third embodiment, the elapsed time from the input of the first macroblock (macroblock number 0) constituting the current VOP is measured, and this elapsed time is determined in advance. When the time Tp is exceeded, the output (fixed code) of the fixed code output means 104 is controlled to be stored in the temporary buffer 101. Otherwise, the output of the fixed code output means 104 is based on the above equation (1). The (fixed code) and the output of the variable length encoding means 5a are selected and stored in the temporary buffer 101.
[0163]
(Regarding code amount control in the case of I-VOP)
If the current VOP is an I-VOP, the code amount control means 102 stores the code stored in the temporary buffer 101 according to the flowchart of FIG. 5 or FIG. 7 as in the first or second embodiment. select.
[0164]
Embodiment 5. FIG.
In the first embodiment, the block diagram in which the fixed code output unit 104 exists independently is shown. However, for example, when each unit is configured by software, the fixed code output unit 104 and the variable length code are configured. It is also possible to share the ROM table for performing the respective operations of the converting means 5a.
[0165]
That is, as described in the first embodiment, the fixed code output by the fixed code output means 104 is one pattern of the codes of the macroblocks of I-VOP and P-VOP. The ROM table can be shared by integrating the output unit 104 and the variable length encoding unit 5a.
[0166]
FIG. 10 shows an encoding apparatus according to Embodiment 5 of the present invention. In the figure, reference numeral 1 denotes a subtractor having an external input signal as a first input, and the output of the subtracter 1 passes through a DCT means 2 and a quantizer 3 to a DC / AC predictor 4 and an inverse quantizer 6. Entered. The output of the DC / AC predictor 4 is given to the first input of the variable length coding means 5b.
[0167]
On the other hand, the output of the inverse quantizer 6 is given to the first input of the adder 8 through the inverse DCT means 7. The output of the adder 8 is given to the first input of the memory 9, and the output of the memory 9 is given to the first input of the predicted image creation means 10 and the first input of the motion detection means 11.
[0168]
An external input signal is given to the second input of the motion detecting means 11, and the output of the motion detecting means 11 is given to the second input of the predicted image creating means 10 and the motion vector predictor 12. The output of the predicted image creating means 10 is given to the second input of the subtracter 1 and the second input of the adder 8.
[0169]
The output of the motion vector predictor 12 is given to the second input of the variable length coding means 5b.
[0170]
The first output of the variable length coding unit 5 b is given to the first input of the temporary buffer 101, and the second output of the variable length coding unit 5 b is given to the input of the code amount control unit 102.
[0171]
The first output of the code amount control means 102 is given to the second input of the temporary buffer 101. The output of the temporary buffer 101 is given to the first input of the transmission buffer 103.
[0172]
  The second output of the code amount control means 102 is given to the second input of the memory 9 and the third input of the variable length encoding means 5b.Be. The output of the transmission buffer 103 is output (transmitted) as a bit stream.
[0173]
The output (transmitted) bit stream is received and decoded by the decoding device.
[0174]
Next, the operation will be described.
The fifth embodiment is different from the first embodiment in the operations of the variable length coding means 5b and the temporary buffer 101. Since other parts are the same as those in the first embodiment, the description thereof is omitted.
[0175]
The variable length encoding means 5b first encodes the data of each macroblock as in the first embodiment, and writes the code into the temporary buffer 101 as shown in FIG. Here, the head address Ak of the code written for the current macroblock (macroblock number K) is stored. Also, the code amount mb_bit of the code generated at this time is output to the code amount control means 102.
[0176]
Next, the code amount control means 102 judges the expression (1), and if the expression (1) holds, returns the write address of the temporary buffer 101 to Ak, and stores a signal indicating that a fixed code is selected. 9 and variable length encoding means 5b.
[0177]
When the variable length encoding means 5b receives a signal indicating that a fixed code is to be selected, the variable length encoding means 5b outputs to the temporary buffer 101 a fixed code determined in advance for each VOP encoding type. At this time, since the write address of the temporary buffer 101 is returned to Ak, the code of the macroblock number K is overwritten with a fixed code. Accordingly, as in the data configuration of the temporary buffer shown in FIG. 11B, the fixed code is written after the code of the macroblock number K-1.
[0178]
When the memory 9 receives a flag indicating that a fixed code is selected, in the case of I-VOP, the constant γ is written in the decoded image area of the macroblock number K in the case of I-VOP, as described in the first embodiment. In the case of a P-VOP, the decoded image of the macroblock of the macroblock number K of the VOP immediately preceding the VOP is copied to the decoded image area of the macroblock number K.
[0179]
With the configuration as described above, in the fifth embodiment, both the means for encoding each macroblock and the means for outputting a fixed code prepared for each VOP encoding type are provided to the variable length encoding means 5b. A function can be provided and the circuit can be reduced.
[0180]
Embodiment 6 FIG.
FIG. 12 shows an encoding apparatus according to Embodiment 6 of the present invention. In the figure, reference numeral 1 denotes a subtractor having an external input signal as a first input, and the output of the subtracter 1 is reverse to the first input of the variable length encoding means 5c through the DCT means 2 and the quantizer 3. The quantizer 6 is supplied.
[0181]
The output of the inverse quantizer 6 is given to the first input of the adder 8 through the inverse DCT means 7. The output of the adder 8 is given to the first input of the memory 9, and the output of the memory 9 is given to the first input of the predicted image creation means 10 and the first input of the motion detection means 11.
[0182]
An external input signal is given to the second input of the motion detecting means 11, and the output of the motion detecting means 11 is given to the second input of the predicted image creating means 10 and the motion vector predictor 12. The output of the predicted image creating means 10 is given to the second input of the subtracter 1 and the second input of the adder 8.
[0183]
The output of the motion vector predictor 12 is given to the second input of the variable length encoding means 5c. Note that the encoding means includes the subtractor 1 to which the external input signal is input, and the variable length encoding means 5c to which a variable length code corresponding to the external input signal is output (of course, of course). The configuration shown here is only an example, and a known configuration that can perform encoding corresponding to an external input signal can be used.
[0184]
The first output of the variable length coding means 5 c is given to the first input of the temporary buffer 101, and the second output of the variable length coding means 5 c is given to the input of the code amount control means 102.
[0185]
The second input of the temporary buffer 101 is given the output of the fixed code output means 104 (fixed code), and the third input of the temporary buffer 101 is given the first output of the code amount control means 102. The output of the temporary buffer 101 is given to the first input of the transmission buffer 103.
[0186]
  The second output of the code amount control means 102 is given to the second input of the memory 9.Be. The output of the transmission buffer 103 is output (transmitted) as a bit stream.
[0187]
The output (transmitted) bit stream is received and decoded by the decoding device.
[0188]
Next, the operation will be described.
The sixth embodiment is different from the first embodiment in that DC / AC prediction is not performed even when the encoding type is intra. That is, the variable length encoding means 5c performs encoding using the DCT coefficient output from the quantizer 3. For example, H.M. In the case of an encoding device compliant with H.263, in the case of I-VOP, the DC component is always encoded with 8 bits.
[0189]
Therefore, the fixed code output means 104 outputs a fixed code of a macroblock such that the DC component of each block is 128, the AC components are all 0, and dquant = 0 with respect to the I-VOP.
[0190]
In this case, since there is no DC prediction, there is no need to construct a new video packet from the current macroblock even when the output (fixed code) of the fixed code output means 104 is selected. Therefore, even in the case of I-VOP, the code amount control means 102 outputs the fixed code output means 104 (fixed code) or variable length coding means in accordance with the flowchart of FIG. 4, FIG. 6, FIG. 8, or FIG. The output of 5c is selected and stored in the temporary buffer 101.
[0191]
In the case of the P-VOP, the output (fixed code) of the fixed code output means 104 according to the flowchart of FIG. 4, FIG. 6, FIG. 8, or FIG. 9, as in the first to fourth embodiments. Alternatively, the output of the variable length encoding means 5 c is selected and stored in the temporary buffer 101.
[0192]
Embodiment 7 FIG.
In the sixth embodiment, the output of the variable length encoding unit 5c or the output (fixed code) of the fixed code output unit 104 is stored in the temporary buffer 101 and transferred from the temporary buffer 101 to the transmission buffer 103. For example, when the data structure is not a data partition or when it is not necessary to rearrange the data, the output of the variable length encoding means 5c or the output (fixed code) of the fixed code output means 104 is directly The configuration may be such that the data is input to the transmission buffer 103, and the temporary buffer 101 can be omitted (in this case, the storage means corresponds to the transmission buffer 103).
[0193]
For example, H.M. In the case of an encoding device compliant with H.263 (when data partitioning is not performed), the configuration of the bit stream output from the transmission buffer 103 is as shown in FIG. Therefore, as in the case of the MPEG4 data partition (FIG. 2B, FIG. 3B), the code of each macroblock is, for example, (1) mcbpc, dquant and DC components, (2) for each macroblock. Since ac_pred_flag and cbpy, and (3) the coefficient data of each block are not divided into categories (1) to (3) and the codes of a plurality of macroblocks are not organized into categories. There is no need to rearrange the codes generated for each macroblock.
[0194]
That is, if the variable length encoding means 5c outputs the code of the macroblock according to the format as shown in FIG. 13, the temporary buffer 101 for rearrangement becomes unnecessary.
[0195]
FIG. 14 shows an encoding apparatus according to the seventh embodiment. In the figure, reference numeral 1 denotes a subtractor having an external input signal as a first input, and the output of the subtracter 1 is reverse to the first input of the variable length encoding means 5c through the DCT means 2 and the quantizer 3. The quantizer 6 is supplied.
[0196]
The output of the inverse quantizer 6 is given to the first input of the adder 8 through the inverse DCT means 7. The output of the adder 8 is given to the first input of the memory 9, and the output of the memory 9 is given to the first input of the predicted image creation means 10 and the first input of the motion detection means 11.
[0197]
An external input signal is given to the second input of the motion detecting means 11, and the output of the motion detecting means 11 is given to the second input of the predicted image creating means 10 and the motion vector predictor 12. The output of the predicted image creating means 10 is given to the second input of the subtracter 1 and the second input of the adder 8.
[0198]
The output of the motion vector predictor 12 is given to the second input of the variable length encoding means 5c.
[0199]
The first output of the variable length coding means 5 c is given to the first input of the transmission buffer 103, and the second output of the variable length coding means 5 c is given to the input of the code amount control means 102.
[0200]
The output of the fixed code output means 104 (fixed code) is given to the second input of the transmission buffer 103, and the first output of the code amount control means 102 is given to the third input of the transmission buffer 103. The second output of the code amount control means 102 is given to the second input of the memory 9.
[0201]
The output of the transmission buffer 103 is output (transmitted) as a bit stream.
The output (transmitted) bit stream is received and decoded by the decoding device.
[0202]
Next, the operation will be described.
The seventh embodiment is different from the sixth embodiment in that the variable length coding means 5c and the fixed code output means 104 output a fixed code to the transmission buffer 103. That is, the code amount control means 102, as in the sixth embodiment, outputs the variable length coding means 5c or the fixed code output means 104 based on the code amount of the code output from the variable length coding means 5c. Which one of the outputs (fixed codes) is selected is determined for each macroblock, and control is performed so that the selected one is accumulated in the transmission buffer 103.
[0203]
In the first to seventh embodiments, the read rate of the transmission buffer 103 is R when setting the maximum code amount Tmax for each VOP. However, the read rate is not a fixed rate and the rate is variable. Even in this case, it is possible to set Tmax in a similar manner so that overflow of the transmission buffer 103 or underflow of the VBV buffer does not occur.
[0204]
When the reading rate of the transmission buffer 103 is variable, for example, the maximum rate to be transmitted is determined, and the type of information to be transmitted within the maximum rate (for example, video and audio) This corresponds to the case where the transmission rate is assigned depending on the type).
[0205]
In this case as well, by selecting and storing the output of the encoding means for encoding each macroblock and the fixed code determined for each VOP encoding type based on the flowcharts of FIGS. The code amount of each VOP can be controlled to be equal to or less than the maximum code amount Tmax.
[0206]
In the first to seventh embodiments, the MPEG4 data partition and the H.264 format are used. Although the case of H.263 has been described as an example, the code amount control can be performed with the same configuration as described above even in the case of not being a data partition or in the case of MPEG2.
[0207]
Furthermore, it goes without saying that the present invention can also be applied when the input signal is not 4: 2: 0 or when the VOP (unit image) is not rectangular (for example, any shape that the object can take on the screen).
[0208]
【The invention's effect】
Since the present invention is configured as described above, the following effects can be obtained.
[0209]
【The invention's effect】
  The encoding device according to the present invention is:An external input signal input for each unit image is divided into a plurality of macro blocks, the external input signal is encoded in units of macro blocks, and a video packet including one or more macro block codes generated by encoding is An encoding device for output, wherein the external input signal is inter-coded or intra-coded in units of macroblocks, encoding means for outputting a code generated by inter-coding or intra-coding, and unit images When the encoding is inter-encoding or intra-encoding, fixed code output means for outputting a fixed code corresponding to each encoding type and code output from the encoding means, or fixed code means Storage means for storing the fixed code output from the code, the code output from the encoding means, or the output from the fixed encoding output means Code amount control means for controlling the code amount of the code to be stored in the storage means by selecting any one of the fixed codes to be stored, and the code amount control means includes the code amount mb_bit of the code of the current macroblock, the unit image Code amount Sc from the first macroblock of the current macroblock to the macroblock immediately before the current macroblock, maximum code amount Tmax set so that the storage means does not overflow or the VBV buffer does not underflow, unit The number M of macroblocks to be processed subsequent to the current macroblock in the image, the code length L of the fixed code output by the fixed code output means for each macroblock, determined by the coding type, and the current macroblock and the subsequent ones in the unit image The relationship between the total code amount α of the additional code in units of video packets generated in
Sc + mb_bit + M × L + α> Tmax
(However, α ≧ 0)
In this case, since the control is performed so as to select the fixed code output by the fixed code output unit, the code amount of the unit image can be controlled to be equal to or less than the maximum code amount Tmax.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a first embodiment of the present invention.
FIG. 2 is an explanatory diagram showing states of a temporary buffer and a transmission buffer (in the case of I-VOP) in Embodiment 1 of the present invention.
FIG. 3 is an explanatory diagram showing states of a temporary buffer and a transmission buffer (in the case of P-VOP) in Embodiment 1 of the present invention.
FIG. 4 is a flowchart (in the case of P-VOP) showing Embodiment 1 of the present invention.
FIG. 5 is a flowchart (in the case of I-VOP) showing Embodiment 1 of the present invention.
FIG. 6 is a flowchart (in the case of P-VOP) showing a second embodiment of the present invention.
FIG. 7 is a flowchart (in the case of I-VOP) showing a second embodiment of the present invention.
FIG. 8 is a flowchart showing Embodiment 3 of the present invention.
FIG. 9 is a flowchart showing Embodiment 4 of the present invention.
FIG. 10 is a block diagram showing a fifth embodiment of the present invention.
FIG. 11 is an explanatory diagram showing a state of a temporary buffer according to a fifth embodiment of the present invention.
FIG. 12 is a block diagram showing a sixth embodiment of the present invention.
FIG. 13 is an explanatory diagram showing a state of a transmission buffer according to Embodiment 7 of the present invention.
FIG. 14 is a block diagram showing Embodiment 7 of the present invention.
FIG. 15 is a block diagram showing a conventional encoding device.
FIG. 16 is an explanatory diagram showing an input signal to a conventional encoding device.
FIG. 17 is an explanatory diagram illustrating a configuration of a bit stream in a conventional encoding device.
FIG. 18 is an explanatory diagram showing a position of a video packet on a screen in a conventional encoding device.
FIG. 19 is an explanatory diagram showing DC / AC prediction in a conventional encoding device.
[Explanation of symbols]
5a, 5b, 5c Variable length encoding means, 101 Temporary buffer, 102 Code amount control means, 103 Transmission buffer, 104 Fixed code output means

Claims (18)

The external input signal input for each unit image is divided into a plurality of macro blocks, the external input signal is encoded in units of the macro block, and is configured from one or more macro block codes generated by the encoding. An encoding device for outputting a video packet comprising:
The macro-block inter coding said external input signal in, or intra-coding, and coding means for outputting codes generated by the inter coding, or intra-
In the case where the encoding in the unit image is inter encoding or in the case of intra encoding, fixed code output means for outputting a fixed code corresponding to each encoding type;
Means for storing said fixed code output from the code, or the fixed code means output from said encoding means,
Code amount control means for controlling the code amount of the code to be selected and stored in the storage means by selecting either the code output from the encoding means or the fixed code output from the fixed encoding output means When
With
The code amount control means includes the code amount mb_bit of the code of the current macroblock, the code amount Sc of the code from the first macroblock of the unit image to the macroblock immediately before the current macroblock, and the storage means does not overflow Or the maximum code amount Tmax set so that the VBV buffer does not underflow, the number M of macroblocks to be processed subsequent to the current macroblock in the unit image, and each macroblock determined by the coding type On the other hand, the relationship between the code length L of the fixed code output by the fixed code output means, and the total code amount α of the additional code in units of video packets generated after the current macroblock in the unit image,
Sc + mb_bit + M × L + α> Tmax
(However, α ≧ 0)
Control to select the fixed code output by the fixed code output means
An encoding device characterized by the above. The code amount control means
In the macroblock immediately before the current macroblock,
If the fixed code output from the fixed code output means is selected, select the fixed code output from the fixed code output means also in the current macroblock,
When the fixed code output from the fixed code output means is not selected,
Sc + mb_bit + M × L + α> Tmax
Control to determine the relationship
The encoding device according to claim 1. The code amount control means
When the fixed code output from the fixed code output means is selected in the current macroblock, the fixed code output means is also applied to M macroblocks to be processed following the current macroblock in the unit image. Controlling to select the fixed code output from
The encoding apparatus according to claim 1 or 2, wherein The fixed code output from the fixed code output means is
In each encoding type, the code must be the smallest code amount of the macroblock code
The encoding device according to any one of claims 1 to 3, wherein: The code amount control means
Sc + mb_bit + M × L + α> Tmax
And the coding type in the unit image is intra coding. Second, when the code output from the encoding means is selected in the macroblock immediately before the current macroblock, control is performed so as to form a new video packet from the current macroblock.
The encoding device according to any one of claims 1 to 4, wherein: The code amount control means sets a maximum code amount Tmax that satisfies the following expression so that the storage means does not overflow.
The encoding device according to any one of claims 1 to 5, wherein:
Tmax ≦ Bs−B
Where Tmax is the maximum code amount, Bs is the capacity of the storage means, and B is the occupation amount in the storage means. The code amount control means sets the maximum code amount Tmax satisfying the following expression so that the VBV buffer does not underflow.
The encoding device according to any one of claims 1 to 5, wherein:
Tmax ≦ vbv_bits + Rp
Where Rp = R / F
Where Tmax is the maximum code amount, Rp is the number of bits read from the storage means in the unit image, R is the bit rate read from the storage means, F is the encoding rate in the unit image, and vbv_bits is the above-mentioned unit image in the previous unit image. This is the VBV buffer occupation amount. The code amount control means sets a maximum code amount Tmax that satisfies the following expression so that the storage means does not overflow and the VBV buffer does not underflow.
The encoding device according to any one of claims 1 to 5, wherein:
Tmax ≦ min (vbv_bits + Rp, Bs−B)
Where Rp = R / F
Where Tmax is the maximum code amount, Rp is the number of bits read from the storage means in the unit image, R is the bit rate read from the storage means, F is the encoding rate in the unit image, and vbv_bits is in the previous unit image. The occupancy of the VBV buffer, Bs is the capacity of the storage means, B is the occupancy of the storage means, and min (a, b) is set to the smaller one of a and b. Show. The bit rate R read from the storage means is variable.
The encoding device according to claim 7 or 8, characterized in that: The external input signal input for each unit image is divided into a plurality of macroblocks, the external input signal is encoded in units of the macroblock, and is composed of one or more macroblock codes generated by the encoding. An encoding method for outputting a video packet comprising:
An encoding step of inter-coding or intra-coding the external input signal in units of the macroblock, and outputting a code generated by the inter-coding or intra-coding;
When the coding in the unit image is inter coding or intra coding, a fixed code output step for outputting a fixed code corresponding to each coding type; and
An accumulation step of accumulating the code output from the encoding step or the fixed code output from the fixed code step;
By selecting either the code output from the encoding step or the fixed code output from the fixed encoding output step and storing it in the storage step, the code is stored. A code amount control step for controlling the code amount of the video packet output from the storage step;
With
The code amount control step includes the code amount mb_bit of the code of the current macroblock, the code from the first macroblock of the unit image to the macroblock immediately before the current macroblock. Code amount Sc, the maximum code amount Tmax set so that overflow does not occur in the accumulation step, or the VBV buffer does not underflow, and the macro to be processed following the current macroblock constituting the unit image The number M of blocks, the code length L of the fixed code output by the fixed code output step for each macroblock determined by the previous coding type, the unit of video packets generated after the current macroblock in the unit image The relationship between the total code amount α of the additional codes is
Sc + mb_bit + M × L + α> Tmax
(However, α ≧ 0)
Control to select the fixed code output by the fixed code output step
An encoding method characterized by the above. The code amount control step is:
In the macroblock immediately before the current macroblock,
If the fixed code output from the fixed code output step is selected, select the fixed code output from the fixed code output step also in the current macroblock,
When the fixed code output from the fixed code output step is not selected,
Sc + mb_bit + M × L + α> Tmax
Control to determine the relationship
The encoding method according to claim 10. The code amount control step is:
When the fixed code output from the fixed code output step is selected in the current macroblock, the fixed code output step is also performed for M macroblocks to be processed following the current macroblock in the unit image. Controlling to select the fixed code output from
12. The encoding method according to claim 10 or 11, wherein: The fixed code output from the fixed code output step is
In each encoding type, the code must be the smallest code amount of the macroblock code
The encoding method according to any one of claims 10 to 12, wherein: The code amount control step is:
Sc + mb_bit + M × L + α> Tmax
And when the encoding type in the unit image is intra encoding and the code output from the encoding step in the macroblock immediately before the current macroblock is selected, Control to construct a new video packet from the current macroblock
The encoding method according to claim 10, wherein: In the code amount control step, a maximum code amount Tmax satisfying the following expression is set so that an overflow does not occur in the accumulation step.
15. The encoding method according to any one of claims 10 to 14, wherein:
Tmax ≦ Bs−B
However, Tmax is the maximum code amount, Bs is the capacity of the accumulation step, and B is the occupation amount in the accumulation step. The code amount control step sets a maximum code amount Tmax that satisfies the following expression so that the VBV buffer does not underflow.
15. The encoding method according to any one of claims 10 to 14, wherein:
Tmax ≦ vbv_bits + Rp
Where Rp = R / F
Where Tmax is the maximum code amount, Rp is the number of bits read from the storage step in the unit image, R is the bit rate read from the storage step, F is the encoding rate in the unit image, and vbv_bits is the previous unit image in the unit image. VBV buffer fortune-telling It is substantial. The code amount control step sets a minimum code amount Tmin that satisfies the following expression so that an overflow does not occur in the accumulation step and the VBV buffer does not underflow.
Set the maximum code amount Tmax to satisfy the following formula
15. The encoding method according to any one of claims 10 to 14, wherein:
Tmax ≦ min (vbv_bits + Rp, Bs−B)
Where Rp = R / F
Where Tmax is the maximum code amount, Rp is the number of bits read from the storage step in the unit image, R is the bit rate read from the storage step, F is the encoding rate in the unit image, and vbv_bits is in the previous unit image. The occupancy of the VBV buffer, Bs is the capacity of the storage means, B is the occupancy of the storage means, and min (a, b) is set to the smaller one of a and b. Show. The bit rate R read from the accumulation step is variable.
The encoding method according to claim 16 or 17, wherein:

Images