【０００１】
【発明の属する技術分野】
本発明は、テレビ電話、テレビ会議、テレビ放送、テープやディスクなどの媒体へのビデオ記録等で、制限されたビットレートで符号化する、動画像符号化技術に関する。特に、ビットレートを正確に制御できる動画像符号化装置および方法に関する。
【０００２】
【従来の技術】
従来の、動画像符号化技術では、主に量子化特性値を調節することによって、目標ビットレートに合わせた符号化を行っていた。一般に、１枚のフレーム画像を、いくつかのブロックと呼ばれる小矩形に分割し、そのブロックごとにデジタル符号化をしていく（ＭＰＥＧ等ではマクロブロックと呼ばれるが、以下ではブロックとする）。また、以下の説明では、量子化特性値として１から３１までの整数値をとるものとし、量子化特性値が大きいほど、量子化時における符号量は少なくなるものとする。
【０００３】
図２に従来技術によるブロックの符号化処理部の構成図を示す。
【０００４】
「量子化演算部１」は、「符号化モード決定部２」より得られたイントラ／インターモードの情報に応じて、イントラモードまたは、インターモードで符号化する。イントラモードの場合、「量子化演算部１」は、「現フレームブロック情報保持部３」より入力されたブロックの画像情報をもとに「量子化特性決定部４′」より得られた量子化特性値を「量子化特性保持部５」に保持し、この量子化特性値で符号化処理を行う。インターモードの場合、「量子化演算部１」は、「現フレームブロック情報保持部３」、「動きベクトル保持部６」、「再構築部７」、「前フレームブロック情報保持部８」による動作で「動き補償・空間補償演算部９」より得られた誤差データをもとに、「量子化特性決定部４′」より得られた量子化特性値を用いて符号化処理を行う。
【０００５】
「出力ブロックデータ構築部１０′」では、「量子化演算部１」からの入力をもとに、出力ブロックデータ構造を構築し、出力する。これらの処理時、「量子化特性決定部４′」では、ＧＯＢ（Ｇｒｏｕｐ ｏｆ Ｍａｃｒｏ Ｂｌｏｃｋ）の先頭のブロックの符号化開始時などの適当な時期において、「累積符号量保持部１１」で保持された累積符号量と、「目標ビットレート保持部１２」に保持された目標ビットレートをもとに「累積目標符号量演算部１３」で演算された累積目標符号量とを比較し、累積符号量が累積目標符号量を上回っている場合は、量子化特性値を「量子化特性保持部５」において保持している量子化特性値から増加させ、逆に、累積符号量が累積目標符号量を下回っている場合は「量子化特性保持部５」において保持している量子化特性値から減少させる。
【０００６】
以上で述べたものは、ｔｗｍというプログラムで、Ｈ．２６３の画像符号化を行うものであり、非特許文献１などに開示されている。
【０００７】
【非特許文献１】
インターネット ｈｔｔｐ：／／ｗｗｗ．ｎｔａ．ｎｏ／ｂｒｕｋｅｒｅ／ＤＶＣ／ｈ２６３＿ｓｏｆｔｗａｒｅ／ 配布者 Ｔｅｌｅｎｏｒ Ｒ＆Ｄ，Ｋａｒｌ Ｏｌａｖ Ｌｉｌｌｅｖｏｌｄ、ノルウェー、２００２年２月
【０００８】
【発明が解決しようとする課題】
従来技術の説明で述べたように、量子化特性値には３１までなどの上限があり、その上限以上の値を与えるわけにはいかない。この上限の量子化特性値をもって符号化しても一定量の符号量が生じるため、目標ビットレートを大きく上回ってしまうという事態がしばしば起る。目標ビットレートを上回る符号量で符号化された場合、すべての情報を送りきれずにブロックノイズの激しい見にくい画像になったり、フレームレートが低下して不自然な動きになったりするなどの問題が生じる。
【０００９】
本発明は、上記従来の問題点を解決するためのものであり、ビットレートを正確に制御できる動画像符号化装置および方法を提供することが課題である。
【００１０】
【課題を解決するための手段】
本発明における上記の課題を解決するための一手段は、与えられたあるビットレートを目標として動画像を符号化する際、符号化処理中のブロックにおいて、直前ブロックまでの累積符号量が目標とするビットレートを上回る状態が一定フレーム数分以上連続した場合に、そのブロックは直前フレームから変化がなかったことにして、本来符号化すべき画像情報の代わりに、変化なしという情報だけを送る手段を有することによって、強力なビットレート制御を可能とすることを特徴とする動画像符号化装置である。
【００１１】
あるいは、ＭＰＥＧやＨ．２６Ｘなどの動画像符号化において、与えられたあるビットレートを目標として、１画像をブロックに区切って順に符号化する際、直前ブロックまでの累積符号量が多すぎて、目標のビットレートを上回る状態が一定フレーム数分以上連続した場合に、符号化情報の代わりに、直前フレームの当該ブロックと同じ画像であるという情報だけを送るために、ブロックの先頭に配置されたＣＯＤ（Ｃｏｄｅｄ ｍａｃｒｏｂｌｏｃｋ ｉｎｄｉｃａｔｉｏｎ）ビットを１とする手段を有することによって、わずか１ビットで当該ブロックの符号伝達を終了させることにより、強力なビットレート制御を可能とすることを特徴とする動画像符号化装置である。
【００１２】
あるいは、上記の動画像符号化装置において、符号化時に、インターモードによる符号化を行うために保持している、前フレームの当該ブロックの画像の再構築ブロック情報は、ＣＯＤビットを１とした場合には、さらにその前のフレームの当該ブロックの画像の再構築ブロックをそのまま保持する手段を有することを特徴とする動画像符号化装置である。
【００１３】
あるいは、与えられたあるビットレートを目標として動画像を符号化する際、符号化処理中のブロックにおいて、直前ブロックまでの累積符号量が目標とするビットレートを上回る状態が一定フレーム数分以上連続した場合に、そのブロックは直前フレームから変化がなかったことにして、本来符号化すべき画像情報の代わりに、変化なしという情報だけを送る段階を有することによって、強力なビットレート制御を可能とすることを特徴とする動画像符号化方法である。
【００１４】
あるいは、ＭＰＥＧやＨ．２６Ｘなどの動画像符号化において、与えられたあるビットレートを目標として、１画像をブロックに区切って順に符号化する際、直前ブロックまでの累積符号量が多すぎて、目標のビットレートを上回る状態が一定フレーム数分以上連続した場合に、符号化情報の代わりに、直前フレームの当該ブロックと同じ画像であるという情報だけを送るために、ブロックの先頭に配置されたＣＯＤ（Ｃｏｄｅｄ ｍａｃｒｏｂｌｏｃｋ ｉｎｄｉｃａｔｉｏｎ）ビットを１とする段階を有することによって、わずか１ビットで当該ブロックの符号伝達を終了させることにより、強力なビットレート制御を可能とすることを特徴とする動画像符号化方法である。
【００１５】
あるいは、上記の動画像符号化方法において、符号化時に、インターモードによる符号化を行うために保持している、前フレームの当該ブロックの画像の再構築ブロック情報は、ＣＯＤビットを１とした場合には、さらにその前のフレームの当該ブロックの画像の再構築ブロックをそのまま保持する段階を有することを特徴とする動画像符号化方法である。
【００１６】
あるいは、上記の動画像符号化方法における段階を、コンピュータに実行させるためのプログラムとしたことを特徴とする動画像符号化プログラムである。
【００１７】
あるいは、上記の動画像符号化方法における段階を、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする動画像符号化プログラムを記録した記録媒体。
【００１８】
本発明では、本来、一つ前のフレームとの間でそのブロックの画像がまったく変化しなかった場合に使用される、ＣＯＤ（Ｃｏｄｅｄ ｍａｃｒｏｂｌｏｃｋ ｉｎｄｉｃａｔｉｏｎ）ビットを利用して、目標ビットレートを大幅に上回っているのに、量子化特性値も上限まで上昇し、これ以上の情報削減が不可能になった時に、ＣＯＤビットを１とする。これによって、見掛け上、そのブロックではまったく動きや変化がなかったものとなり、わずか１ビットの情報量だけで符号化を終えることができる。このとき、当該ブロックの再構築ブロック情報には、一つ前の時刻のフレームの当該ブロックの画像の再構築ブロックをそのまま保持する。すなわち、実際には変化があったのにもかかわらず、まったく画像の変化がなかったブロックとして処理することによって、情報量を大幅に圧縮するという手法である。
【００１９】
なお、本方法により符号化されたデータは、本来のＭＰＥＧやＨ．２６３等の規格に反していないために、そのまま通常の復号装置で復号できるという特徴がある。
【００２０】
本符号化手法によって、ＣＯＤビットが１となったブロックは前の時刻のブロックと同じ画像が表示されるために、一瞬動きが停止して見えるが、それ以降のフレームで正常な符号化が可能となった時点で、本来の画像に復帰するために、おおきく目立つことはない。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００２２】
図１は本発明を適用した「ビットレートを正確に制御できる画像符号化装置」の一実施の形態を示す、一つのブロック（マクロブロック）の符号化処理部の構成図である。図２に示した従来技術による画像の符号化処理部の構成図との違いは、「量子化特性決定部４′」および「出力ブロックデータ構築部１０′」の代わりに「量子化特性決定部４」と「非符号化決定部１４」および「出力ブロックデータ構築部１０」があるという部分である。以下、その違いのみを説明する。
【００２３】
「量子化特性決定部４」では、通常は、従來技術と同様に「累積符号量保持部１１」および「累積目標符号量演算部１３」からの入力をもとに量子化特性値を計算するが、直前の量子化特性値が上限値（例えば、３１）であり、かつ、累積符号量が目標累積符号量を上回っている場合に、「非符号化決定部１４」が非符号化ブロック処理を行う。
【００２４】
「非符号化決定部１４」において、非符号化ブロック処理が起動すると、「出力ブロックデータ構築部１０」では「量子化演算部１」の出力とは無関係に、当該ブロックを非符号化（Ｎｏｔ Ｃｏｄｅｄ）ブロックとして処理する。ＭＰＥＧやＨ．２６Ｘなどの規格では、この非符号化ブロックを示すデータビットとして、マクロブロックの先頭にＣＯＤ（Ｃｏｄｅｄ ｍａｃｒｏｂｌｏｃｋ ｉｎｄｉｃａｔｉｏｎ）ビットがあり、これが１の場合は非符号化ブロックとなり、この１ビットのみで当該ブロックの符号化が終わる。以降のフレームでは、動き補償などの処理のために、当該ブロックの再構築ブロック情報を残す必要があるが、ＣＯＤビットを１とした場合には、「動きがなかった」とみなしているので、直前のフレームの当該ブロックの画像の再構築ブロックをそのまま保持する。以上の手法によって作成された符号化画像データは、復号時には、前フレームからまったく変化のなかったフレームとして処理される。このため、このようなブロックは動きが停止して見えることとなる。
【００２５】
具体的な実施の形態について以下に説明する。以下では、映像符号化標準方式Ｈ．２６３における実施形態例を示す。
【００２６】
Ｈ．２６３では、１フレームの画像は、マクロブロックと呼ばれる１６×１６画素の並びに分割され、このマクロブロック単位で、動き補償の処理が行われる。マクロブロックがいくつか集まった単位をＧＯＢ（Ｇｒｏｕｐ ｏｆ Ｍａｃｒｏ Ｂｌｏｃｋ）と呼ぶ。Ｈ．２６３では、ＣＩＦサイズ（３５２×２８８ドット）の場合、マクロブロックが横一列に２２個並んだ細長いＧＯＢ（３５２×１６ドット）を縦に１８個重ねて１フレームとなる。ＱＣＩＦサイズ（１７６×１４４ドット）の場合、マクロブロックが横一列に１１個並んだ細長いＧＯＢ（１７６×１６ドット）を縦に９個重ねて１フレームとなる。
【００２７】
符号化装置は、適当な順でマクロブロックごとに符号化処理を進めながら、１つのマクロブロックの符号化処理が終わる度に、その時点までに発生した累積符号量とを比較し以下の式によって量子化特性値（Ｑ値）を計算する。
【００２８】
【数１】
【００２９】
ｅＧ：一つ前のフレームの符号化ビット数の、１フレームあたりの目標ビット数に対する過不足を表す指標（グローバル指標）。目標を上回っていた場合は正値をとり、下回っていた場合は負値をとる。誤差が大きいほど、指標値の絶対値も大きくなる。
【００３０】
ｅＬ：当該フレーム内の一つ前のマクロブロックまでの符号化ビット数と、当該フレーム内の一つ前までのマクロブロックの目標ビット数の差から得られる指標（ローカル指標）。グローバル指標と同じく、目標に対する誤差に応じて正、負の値をとる。
【００３１】
ＱＦ，Ｍ：Ｆ番目のフレームのＭ番目のマクロブロックのＱ値
【００３２】
【数２】
【００３３】
ＭＢ：１フレーム内のマクロブロック数
ＢＦ，Ｍ：Ｆ番目のフレームのＭ番目のマクロブロックの符号化ビツト数
【００３４】
【数３】
【００３５】
ＢＲ：目標ビットレート（ｂｉｔ／秒）
ｃＧ，ｃＬ：グローバル指標とローカル指標がＱ値の計算に及ぼす比重を決める係数。
【００３６】
符号化装置は、［数１］で与えられる量子化特性値（Ｑ値）で符号化するが、この値がＨ．２６３が定める量子化特性値（Ｑ値）の最大値である３１を越える場合、符号化処理をせず、ＣＯＤビットに１をたてる（量子化特性値（Ｑ値）の最小値の１より小さい値が得られた場合は１として符号化する）。
【００３７】
本発明の効果に関する実験について、以下に説明する。以下では、手話を話している人物の動画像をサンブルとして、非符号化ブロックによる情報量削減・画質向上の効果を実験した結果を示す。
【００３８】
入力画像は、ＣＩＦサイズ（３５２×２８８ドット）で、画面の中央に手話者の上半身が位置する。したがって、手話者の頭部より上の部分、および画面の左右の端に近い部分は背景となる。この部分に、多数の人が往来する画像を合成した画像を用意する。長さは６秒で、最初の１秒間静止の後、約５秒間の手話動作を行う。この画像に対して、次の４種類のパラメータ、方式による符号化を行った。
【００３９】
（ａ１）目標ビットレート６４ｋｂｐｓ、目標フレームレート１０ｆｐｓとして、符号化の際には特別な処理をせずに、上の行から順に均等なビット配分で符号化処理を行う。
【００４０】
（ａ２）ａ１と同じで、目標ビットレートのみ９６ｋｂｐｓとする。
【００４１】
（ｂ１）目標ビットレート６４ｋｂｐｓ、目標フレームレート１０ｆｐｓ（ａ１と同じ）で、１８個の各ＧＯＢに対するビット数の配分に傾斜をつけ、上下両端で非符号化処理を行う。人物の顔に該当する部分のＧＯＢに対して、多くのビット数の割り当てをし、そこから上（頭より上の部分に該当）や下（胴体側）に向かって次第に割り当てを小さくし、また同時に、画像の上端の人物が写らないＧＯＢや、一番下で手がほとんど移動しないＧＯＢに対して、非符号化処理を行う。
【００４２】
（ｂ２）ｂ１と同じで、目標ビットレートのみ９６ｋｂｐｓとする。
【００４３】
結果は、以下のとおりである。
【００４４】
ａ１では、すべてのフレームのすべてのマクロブロックでＱ値が上限の３１となった。これは、もうこれ以上の情報削減ができないことを意味する。その結果、フレームレートが５．４ｆｐｓ（第１フレームは全ＭＢでイントラモードとなるため、第２フレーム以降を対象としてフレームレートを計算した。以下同様）で、実際のビットレートが７７ｋｂｐｓとなった。目標の６４ｋｂｐｓを大きく上回り、実用には使えないことがわかる。
【００４５】
ｂ１でも、ほとんどすべてのマクロブロックでＱ＝３１であった（目標ビット数の傾斜処理は無意味）が、非符号化処理の効果により、ビットレートは６５．５ｋｂｐｓとなった。
【００４６】
ａ２では、目標ビットレートを上げたために、余裕が生じ、９．８ｆｐｓが得られた。しかし、ビットレートは１１７ｂｐｓとかなりオーバーしている。
【００４７】
ｂ２では、フレームレートが９．１ｆｐｓ、ビットレートが９８ｋｂｐｓで、Ｑ値も余裕が出て、平均２７．４となっている。顔の周囲など重要な部分で多くのビット数を割り当てた符号化が達成された。
【００４８】
以上の結果から、本エンコーディング方法によって、同じビットレートでも、非符号化処理を加えることによって、無駄な部分の情報量が圧縮でき、効率的な符号化が可能であることが示された。
【００４９】
なお、図１で示した装置における各部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図１で説明した処理の段階をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の段階を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。このように、記録媒体やネットワークにより提供されたプログラムをコンピュータにインストールすることで本発明が実施可能となる。
【００５０】
【発明の効果】
以上述べたとおり、本発明によれば、符号化処理に非符号化処理を加えたので、無駄な部分の情報量が圧縮でき、効率的な符号化が可能となるとともに、ビットレートを正確に制御することが可能となる。
【図面の簡単な説明】
【図１】本発明による符号化処理の一実施形態を説明する構成図
【図２】従来技術による符号化処理を説明する構成図
【符号の説明】
１…量子化演算部
２…符号化モード決定部
３…現フレームブロック情報保持部
４…量子化特性決定部
５…量子化特性保持部
６…動きベクトル保持部
７…再構築部
８…前フレームブロック情報保持部
９…動き補償・空間補償演算部
１０…出力ブロックデータ構築部
１１…累積符号量保持部
１２…目標ビットレート保持部
１３…累積目標符号量演算部
１４…非符号化決定部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving image encoding technique for encoding at a limited bit rate in videophone, video conference, video broadcast, video recording on a medium such as tape or disk, and the like. In particular, the present invention relates to a moving picture coding apparatus and method capable of accurately controlling a bit rate.
[0002]
[Prior art]
In the conventional moving image encoding technique, encoding according to the target bit rate is performed mainly by adjusting the quantization characteristic value. In general, one frame image is divided into small rectangles called several blocks, and each block is digitally encoded (called a macroblock in MPEG or the like, but hereinafter referred to as a block). In the following description, an integer value from 1 to 31 is assumed as the quantization characteristic value, and the larger the quantization characteristic value, the smaller the code amount at the time of quantization.
[0003]
FIG. 2 shows a block diagram of a block coding processing unit according to the prior art.
[0004]
The “quantization operation unit 1” performs the encoding in the intra mode or the inter mode according to the intra / inter mode information obtained from the “encoding mode determination unit 2”. In the case of the intra mode, the “quantization operation unit 1” performs the quantization obtained from the “quantization characteristic determination unit 4 ′” based on the image information of the block input from the “current frame block information holding unit 3”. The characteristic value is held in the “quantization characteristic holding unit 5”, and the encoding process is performed using the quantization characteristic value. In the case of the inter mode, the “quantization calculation unit 1” operates by the “current frame block information holding unit 3”, the “motion vector holding unit 6”, the “reconstruction unit 7”, and the “previous frame block information holding unit 8”. Then, based on the error data obtained from the “motion compensation / spatial compensation calculation unit 9”, encoding processing is performed using the quantization characteristic value obtained from the “quantization characteristic determination unit 4 ′”.
[0005]
The “output block data construction unit 10 ′” constructs and outputs an output block data structure based on the input from the “quantization operation unit 1”. During these processes, the “quantization characteristic determination unit 4 ′” holds the “accumulated code amount holding unit 11” at an appropriate time such as the start of encoding of the first block of GOB (Group of Macro Block). The accumulated code amount is compared with the accumulated target code amount calculated by the “accumulated target code amount calculating unit 13” based on the target bit rate held in the “target bit rate holding unit 12”. Is larger than the cumulative target code amount, the quantization characteristic value is increased from the quantization characteristic value held in the “quantization characteristic holding unit 5”. If it is lower, the quantization characteristic value held in the “quantization characteristic holding unit 5” is decreased.
[0006]
What has been described above is a program called twm. H.263 image encoding is disclosed in Non-Patent Document 1 and the like.
[0007]
[Non-Patent Document 1]
Internet http: // www. nta. no / brukere / DVC / h263_software / Distributor Telenor R & D, Karl Olav Lillevold, Norway, February 2002 [0008]
[Problems to be solved by the invention]
As described in the description of the prior art, the quantization characteristic value has an upper limit such as 31 and cannot exceed the upper limit. Even if the encoding is performed with the upper limit quantization characteristic value, a certain amount of code is generated, so that the target bit rate is often greatly exceeded. If encoding is performed with a code amount that exceeds the target bit rate, problems such as not being able to send all the information and resulting in a hard-to-see image with severe block noise, and unnatural movement due to a decrease in the frame rate. Arise.
[0009]
The present invention is to solve the above-described conventional problems, and it is an object of the present invention to provide a moving picture coding apparatus and method capable of accurately controlling a bit rate.
[0010]
[Means for Solving the Problems]
One means for solving the above-described problems in the present invention is that when a moving image is encoded with a given bit rate as a target, the accumulated code amount up to the immediately preceding block is the target in the block being encoded. When the state exceeding the bit rate is continued for a certain number of frames or more, the block has not changed from the previous frame, and instead of the image information to be originally encoded, means for sending only information indicating no change is provided. It is a moving picture coding apparatus characterized by having powerful bit rate control by having.
[0011]
Alternatively, MPEG or H.264 In moving image encoding such as 26X, when encoding one image in order by dividing a single image into blocks with a given bit rate as a target, the accumulated code amount up to the immediately preceding block is too large and exceeds the target bit rate. When the state continues for a certain number of frames or more, COD (Coded Macroblock Indication) placed at the head of the block is used to send only the information that the image is the same as the block of the previous frame instead of the encoded information. By having means for setting the bit to 1, the moving picture coding apparatus is characterized in that powerful bit rate control can be achieved by terminating code transmission of the block with only 1 bit.
[0012]
Alternatively, in the above moving image encoding device, when the COD bit is set to 1 in the reconstructed block information of the image of the block in the previous frame, which is held for encoding in inter mode at the time of encoding The moving picture coding apparatus further comprises means for retaining the reconstructed block of the image of the block in the previous frame as it is.
[0013]
Alternatively, when a moving image is encoded with a given bit rate as a target, a state where the cumulative code amount up to the immediately preceding block exceeds the target bit rate continues for a certain number of frames or more in the block being encoded. In this case, it is possible to perform powerful bit rate control by having a stage in which the block has not changed from the previous frame and only the information indicating no change is sent instead of the image information to be encoded. This is a moving picture coding method characterized by the above.
[0014]
Alternatively, MPEG or H.264 In moving image encoding such as 26X, when encoding one image in order by dividing a single image into blocks with a given bit rate as a target, the accumulated code amount up to the immediately preceding block is too large and exceeds the target bit rate. When the state continues for a certain number of frames or more, COD (Coded Macroblock Indication) placed at the head of the block is used to send only the information that the image is the same as the block of the previous frame instead of the encoded information. The moving picture coding method is characterized in that by having the step of setting the bit to 1, it is possible to perform powerful bit rate control by terminating the code transmission of the block with only 1 bit.
[0015]
Alternatively, in the above moving image encoding method, when the COD bit is 1 in the reconstructed block information of the image of the block in the previous frame, which is held for encoding in inter mode at the time of encoding Is a moving picture coding method characterized by further comprising the step of retaining the reconstructed block of the image of the block in the previous frame as it is.
[0016]
Alternatively, a moving picture coding program is characterized in that a step in the moving picture coding method is a program for causing a computer to execute.
[0017]
Alternatively, a recording in which a moving image encoding program is recorded, characterized in that the steps in the moving image encoding method are a program for causing a computer to execute the program and the program is recorded on a recording medium readable by the computer. Medium.
[0018]
In the present invention, COD (Coded Macroblock Indication) bits, which are used when the image of the block has not changed at all from the previous frame, are used to significantly exceed the target bit rate. However, the COD bit is set to 1 when the quantization characteristic value also rises to the upper limit and further information reduction becomes impossible. As a result, there appears to be no movement or change in the block, and encoding can be completed with only 1 bit of information. At this time, the reconstructed block information of the block retains the reconstructed block of the image of the block of the previous frame as it is. That is, it is a technique of greatly compressing the amount of information by processing as a block in which there has been no change in the image even though there has actually been a change.
[0019]
Note that the data encoded by this method is the original MPEG or H.264 format. Since it does not violate standards such as H.263, it can be decoded by a normal decoding device as it is.
[0020]
With this encoding method, the block with the COD bit set to 1 displays the same image as the block at the previous time, so the motion appears to stop for a moment, but normal encoding is possible in subsequent frames. At that time, the image is not noticeable in order to return to the original image.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0022]
FIG. 1 is a configuration diagram of an encoding processing unit of one block (macroblock) showing an embodiment of an “image encoding apparatus capable of accurately controlling a bit rate” to which the present invention is applied. The difference from the block diagram of the image coding processing unit according to the prior art shown in FIG. 2 is that a “quantization characteristic determination unit” instead of “quantization characteristic determination unit 4 ′” and “output block data construction unit 10 ′”. 4 ”,“ uncoding determination unit 14 ”, and“ output block data construction unit 10 ”. Only the differences will be described below.
[0023]
In the “quantization characteristic determination unit 4”, normally, the quantization characteristic value is calculated based on the inputs from the “cumulative code amount holding unit 11” and “cumulative target code amount calculation unit 13” as in the conventional technique. However, if the immediately preceding quantization characteristic value is an upper limit value (for example, 31) and the accumulated code amount exceeds the target accumulated code amount, the “unencoding determination unit 14” determines that the unencoded block Process.
[0024]
When the non-encoding block processing is activated in the “non-encoding determination unit 14”, the “output block data construction unit 10” unencodes the block regardless of the output of the “quantization operation unit 1” (Not Coded) Process as a block. MPEG and H.264 In a standard such as 26X, a COD (Coded Macroblock Indication) bit is provided at the head of a macroblock as a data bit indicating the non-encoded block. When this is 1, the block becomes an unencoded block. The encoding of is finished. In subsequent frames, it is necessary to leave the reconstructed block information of the block for processing such as motion compensation. However, when the COD bit is set to 1, it is regarded as “no motion”. The reconstructed block of the image of the block in the immediately preceding frame is held as it is. The encoded image data created by the above method is processed as a frame that has not changed from the previous frame at the time of decoding. For this reason, such a block appears to stop moving.
[0025]
Specific embodiments will be described below. In the following, video encoding standard method H.264 is used. 263 illustrates an example embodiment.
[0026]
H. In H.263, an image of one frame is divided into a sequence of 16 × 16 pixels called a macroblock, and motion compensation processing is performed in units of the macroblock. A unit in which several macroblocks are gathered is called GOB (Group of Macro Block). H. In H.263, in the case of the CIF size (352 × 288 dots), 18 elongated GOBs (352 × 16 dots) in which 22 macroblocks are arranged in a horizontal row are vertically stacked to form one frame. In the case of the QCIF size (176 × 144 dots), nine elongated GOBs (176 × 16 dots) each having 11 macroblocks arranged in a horizontal row are vertically stacked to form one frame.
[0027]
The encoding device advances the encoding process for each macroblock in an appropriate order, and compares the accumulated code amount generated up to that point every time the encoding process of one macroblock is finished by the following formula: A quantization characteristic value (Q value) is calculated.
[0028]
[Expression 1]
[0029]
e G : An index (global index) indicating the excess or deficiency of the number of encoded bits of the previous frame with respect to the target number of bits per frame. It takes a positive value if it exceeds the target and takes a negative value if it falls below the target. The larger the error, the larger the absolute value of the index value.
[0030]
e L : An index (local index) obtained from the difference between the number of encoded bits up to the previous macroblock in the frame and the target number of macroblocks up to the previous macroblock in the frame. Like the global indicator, it takes positive and negative values depending on the error with respect to the target.
[0031]
Q F , M : Q value of the M th macroblock of the F th frame
[Expression 2]
[0033]
MB: number of macroblocks in a frame B F , M : number of encoded bits of the Mth macroblock in the Fth frame
[Equation 3]
[0035]
BR: Target bit rate (bit / second)
c G , c L : Coefficients that determine the specific gravity that the global index and the local index have on the Q value calculation.
[0036]
The encoding apparatus performs encoding with a quantization characteristic value (Q value) given by [Equation 1]. When the quantization characteristic value (Q value) defined by H.263 exceeds 31, which is the maximum value, the encoding process is not performed, and the COD bit is set to 1 (from the minimum value 1 of the quantization characteristic value (Q value)) If a small value is obtained, it is encoded as 1).
[0037]
Experiments relating to the effects of the present invention will be described below. In the following, the results of experiments on the effect of reducing the amount of information and improving the image quality by using non-encoded blocks will be shown using a moving image of a person speaking sign language as a sample.
[0038]
The input image is CIF size (352 × 288 dots), and the upper body of the sign language is located at the center of the screen. Therefore, the part above the head of the signer and the part near the left and right edges of the screen are the background. In this part, an image obtained by synthesizing an image in which many people come and go is prepared. The length is 6 seconds. After the first 1 second of rest, the sign language movement is performed for about 5 seconds. The image was encoded using the following four types of parameters and methods.
[0039]
(A1) With the target bit rate of 64 kbps and the target frame rate of 10 fps, encoding processing is performed with equal bit distribution in order from the top row without performing special processing at the time of encoding.
[0040]
(A2) Same as a1, and only the target bit rate is 96 kbps.
[0041]
(B1) At a target bit rate of 64 kbps and a target frame rate of 10 fps (same as a1), the distribution of the number of bits for each of the 18 GOBs is inclined, and unencoding processing is performed at both the upper and lower ends. Assign a large number of bits to the GOB of the part corresponding to the person's face, then gradually reduce the assignment upward (corresponding to the part above the head) and downward (torso side), and At the same time, non-encoding processing is performed on the GOB in which the person at the upper end of the image is not captured and the GOB in which the hand hardly moves at the bottom.
[0042]
(B2) Same as b1, and only the target bit rate is 96 kbps.
[0043]
The results are as follows.
[0044]
In a1, the Q value reached the upper limit of 31 in all macroblocks of all frames. This means that no further information reduction is possible. As a result, the frame rate was 5.4 fps (the first frame is an intra mode with all MBs, so the frame rate was calculated for the second and subsequent frames. The same applies hereinafter), and the actual bit rate was 77 kbps. . It is far above the target of 64 kbps, and it can be seen that it cannot be used practically.
[0045]
Even in b1, Q = 31 in almost all macroblocks (the gradient processing of the target number of bits is meaningless), but due to the effect of the non-coding processing, the bit rate is 65.5 kbps.
[0046]
In a2, since the target bit rate was raised, a margin was generated, and 9.8 fps was obtained. However, the bit rate is significantly over 117 bps.
[0047]
In b2, the frame rate is 9.1 fps, the bit rate is 98 kbps, the Q value has a margin, and the average is 27.4. Coding was achieved by assigning a large number of bits to important parts such as the periphery of the face.
[0048]
From the above results, it was shown that the amount of useless information can be compressed and efficient encoding can be performed by adding non-encoding processing even at the same bit rate by this encoding method.
[0049]
It should be noted that some or all of the functions of each unit in the apparatus shown in FIG. 1 can be configured by a computer program and the program can be executed using the computer to implement the present invention, or described in FIG. Needless to say, the processing stage can be configured by a computer program, and the program can be executed by the computer. The program for realizing the function by the computer, or for causing the computer to execute the processing stage. The program can be recorded on a computer-readable recording medium such as a flexible disk, MO, ROM, memory card, CD, DVD, removable disk, etc., and can be stored or distributed. . It is also possible to provide the above program through a network such as the Internet or electronic mail. As described above, the present invention can be implemented by installing a program provided by a recording medium or a network in a computer.
[0050]
【The invention's effect】
As described above, according to the present invention, since the non-encoding process is added to the encoding process, the amount of useless information can be compressed, the encoding can be performed efficiently, and the bit rate can be accurately set. It becomes possible to control.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an embodiment of an encoding process according to the present invention. FIG. 2 is a block diagram illustrating an encoding process according to the prior art.
DESCRIPTION OF SYMBOLS 1 ... Quantization calculating part 2 ... Coding mode determination part 3 ... Current frame block information holding part 4 ... Quantization characteristic determination part 5 ... Quantization characteristic holding part 6 ... Motion vector holding part 7 ... Reconstruction part 8 ... Previous frame Block information holding unit 9 ... motion compensation / spatial compensation calculation unit 10 ... output block data construction unit 11 ... cumulative code amount holding unit 12 ... target bit rate holding unit 13 ... cumulative target code amount calculation unit 14 ... non-coding determination unit
