JP2004349855A

JP2004349855A - 符号化装置

Info

Publication number: JP2004349855A
Application number: JP2003142320A
Authority: JP
Inventors: Norimichi Hiwasa; 憲道日和佐; Koichi Tanno; 興一丹野
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2003-05-20
Filing date: 2003-05-20
Publication date: 2004-12-09

Abstract

【課題】動きベクトル情報量に基づき、動き補償予測のモードの優先的な選択を行うことにより、動きベクトルに費やされる情報量を小さくし、画質の劣化を防ぐ符号化装置を得る。
【解決手段】符号化装置はメモリ１、フレーム間の差分を求める差分器２、メモリ１の出力と差分器２の出力を選択するセレクタ３、ＤＣＴ演算器４、量子化処理を行う量子化器５、可変長符号化部６、可変長符号化されたデータを保存するバッファ７、逆量子化処理を行う逆量子化器８、逆ＤＣＴ演算器９、フレーム間の加算を行うフレーム加算器１０、逆ＤＣＴ演算器９の出力とフレーム加算器１０の出力を選択するセレクタ１１、イントラ符号化かインター符号化の判定を行うイントラ／インター判定部１２、動き補償予測を行う動き補償予測部１３、参照画像を保持するフレームメモリ１４、バッファ７のバッファ量に応じて量子化器５を制御する量子化制御部１５、フレームベクトル優先判定部１６を備える。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
この発明は、画像の符号化における動き予測ベクトルに関するものである。
【０００２】
【従来の技術】
近年の情報機器は、膨大な画像情報を扱うことが多くなってきており、これに伴いそれらの画像データを処理する、より高速で大規模な回路や大容量のメモリを必要としている。この膨大な画像情報の処理負担を低減するための手段として符号化技術、画像圧縮技術が活用されており、その代表的なものとして例えばＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）がある。また、それら符号化技術、画像圧縮技術に関する技術的提案、実用化は種々なされているところである（例えば、特許文献１参照）。
【０００３】
さて、ＭＰＥＧのひとつであるＭＰＥＧ−２による符号化においては、動きベクトル情報量とＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）係数情報量が情報量の大部分を占める。ＩピクチャではＤＣＴ係数に関する情報量のみであり、Ｐピクチャ、Ｂピクチャは動きベクトルに関する情報量とＤＣＴ係数に関する情報量の両者が存在する。また、一般的にはＢピクチャは両方向予測を行うためにベクトルの本数が多くなり、Ｐピクチャに比べて動きベクトルに関する情報量は多い。
【０００４】
ＭＰＥＧ−２においてフレーム構造で符号化を行うときは、フレーム動き補償予測、フィールド動き補償予測、デュアルプライム予測の３種類をマクロブロックごとに選択することができる。フレーム動き補償予測においては、伝送されるベクトルの１つの符号化ブロック（ＭＰＥＧ−２では「マクロブロック」と称す）につき予測方向あたり１つである。また、フィールド動き補償予測では、伝送されるベクトルの１つのマクロブロックにつき予測方向あたり２つである。デュアルプライム予測では、伝送されるベクトルは１つのマクロブロックにつき基本ベクトルが１つとビット数の少ないデュアルプライムベクトルが１つである。
【０００５】
また、フィールド構造で符号化を行うとき、フィールド動き補償予測、１６×８動き補償予測、デュアルプライム予測の３種類をマクロブロックごとに選択することができる。フィールド動き補償予測においては、伝送されるベクトルは１つのマクロブロックにつき予測方向あたり１つである。１６×８動き補償予測では、伝送されるベクトルは１つのマクロブロックにつき予測方向あたり２つである。デュアルプライム予測では、伝送されるベクトルは１つのマクロブロックにつき基本ベクトルが１つとビット数の少ないデュアルプライムベクトルが１つである。
【０００６】
【特許文献１】
特開２００２−１０２７０号公報
【０００７】
【発明が解決しようとする課題】
同じ画像を同じピクチャの符号化タイプで符号化した場合、動きベクトル情報量は伝送レートが変わってもそれほど変化はしない。また、一般的な符号化においては、ＤＣＴ係数情報量は、そのフレームに割り当てられる情報量から動きベクトル情報量を差し引いたものになる。従って、動きベクトル情報量とＤＣＴ係数情報量の割合は、伝送レートが低ければ低いほど、動きベクトル情報量は相対的に大きくなる。即ち、低い伝送レートのときには、ＤＣＴ係数に割り当てることのできる情報量は非常に小さくなり、これがＢピクチャの場合にはさらに小さくなる。従って、画像によっては画質の劣化を招くことになるという課題があった。
【０００８】
また、Ｂピクチャを使用することができる符号化において、画像に応じてＰピクチャまたはＩピクチャの間隔を適応的に変更し、Ｂピクチャをあえて使用しないで符号化を行うことは、ＤＣＴ係数に割り当てることのできる情報量を増加させ、一連の画像全体の符号化効率を向上させるという点において有効な方法である。しかしながら、さらに伝送レートが低くなった場合、Ｂピクチャを使用しない符号化、即ち、ＩピクチャとＰピクチャのみの符号化においても、Ｐピクチャの情報量のなかで動きベクトル情報量の占める割合は大きくなる。その結果、ＤＣＴ係数に割り当てることのできる情報量が不足し、やはり画質の劣化を招くことになり、また、ＩピクチャはＰピクチャよりも非常に多くの情報量を必要とするため、Ｉピクチャのみを使用した符号化でもやはり画質の劣化を招くことになるという課題があった。
【０００９】
この発明は上述のような課題を解決するためになされたもので、動きベクトル情報量に基づき、動き補償予測のモードの優先的な選択を行うことにより、動きベクトルに費やされる情報量を小さくし、画質の劣化を防ぐ符号化装置を得ることを目的とする。
【００１０】
【課題を解決するための手段】
この発明に係る符号化装置は、入力された画像の全ての符号化ブロックについて、フレーム内符号化を行うＩピクチャ、入力された画像の各符号化ブロックごとにフレーム内符号化と前方向予測の符号化を選択できるＰピクチャ、入力された画像の各符号化ブロックごとにフレーム内符号化と前方向予測、後方向予測、両方向予測の符号化を選択できるＢピクチャのいずれかにより符号化を行い、またＰピクチャにおける前方向予測、Ｂピクチャにおける前方向予測、後方向予測、両方向予測のいずれの予測においてもフレームベースの予測、フィールドベースの予測、符号化ブロックを分割した小ブロックによる予測を、符号化ブロックごとに選択できるモードを有する符号化方式の符号化装置において、符号化ブロックごとに選択できるモードのなかで、所定のモードを優先して選択することができるモード選択手段を備えたものである。
【００１１】
【発明の実施の形態】
この発明に係る符号化装置の実施の一形態について説明する。
実施の形態１．
実施の形態１に係る符号化装置について図１および図２を参照して説明する。なお、図１は実施の形態１に係る符号化装置の構成を示すブロック図であり、図２はこの符号化装置のフレームベクトル優先／非優先制御についての概要を示す図である。
【００１２】
この符号化装置は、入力された画像に対して１回のみの符号化を行う符号化装置についての例であり、符号化ストラクチャはフレームの場合である。また、バッファと動き補償予測部から動きベクトル情報量とフレーム当たりの総発生情報量が入力されるものとする。
【００１３】
実施の形態１に係る符号化装置は図１に示すように、メモリ１、フレーム間の差分を求める差分器２、メモリ１の出力と差分器２の出力を選択するセレクタ３、離散コサイン変換を行うＤＣＴ演算器４、量子化処理を行う量子化器５、量子化結果などを可変長符号に変換する可変長符号化部６、可変長符号化されたビットストリームデータを一時的に保存するバッファ７、逆量子化処理を行う逆量子化器８、離散コサイン変換を行う逆ＤＣＴ演算器９、フレーム間の加算を行うフレーム加算器１０、逆ＤＣＴ演算器９の出力とフレーム加算器１０の出力を選択するセレクタ１１、イントラ（フレーム内）符号化かインター（フレーム間）符号化の判定を行うイントラ／インター判定部１２、動き補償予測を行う動き補償予測部１３、動き補償予測のための参照画像を保持するフレームメモリ１４、バッファ７のバッファ量に応じて量子化器５を制御する量子化制御部１５、フレームベクトル優先判定部１６を備えて構成される。
【００１４】
イントラ／インター判定部１２において、動き補償予測された結果と、入力符号化ブロックとを比較してイントラ（フレーム内）符号化か、インター（フレーム間）符号化かの判定を行う。符号化対象ピクチャがＩピクチャの場合はイントラ符号化を選択する。イントラ／インター判定部１２による判定結果に基づき、差分器２でフレーム間差分された画像か、メモリ１からの入力符号化ブロックそのものかをセレクタ３で選択する。セレクタ３の出力はＤＣＴ演算器４でＤＣＴ係数に変換され、量子化器５で量子化処理が行われる。
【００１５】
量子化された結果は可変長符号化部６で可変長符号に変換されバッファ７に保持される。バッファ７から外部にはビットストリームを出力する。また、量子化された結果は逆量子化器８で逆量子化処理が行われ、逆ＤＣＴ演算器９で逆ＤＣＴ演算が行われる。セレクタ１１はイントラ／インター判定部１２の結果により、逆ＤＣＴ演算器９の出力およびフレーム加算器１０でフレーム加算された結果出力とから何れか一方の出力を選択する。セレクタ１１により選択された出力はフレームメモリ１４に保持され、つぎの符号化フレームの動き補償予測の参照画像として使用される。
【００１６】
量子化制御部１５はバッファ７に保持されているバッファ量に応じて、量子化器５を制御することにより、バッファ量がオーバーフローやアンダーフローを起こさないようにしている。
【００１７】
フレームベクトル優先判定部１６は入力された動きベクトル情報量とフレーム当たりの総発生情報量との割合からフレームベクトル優先の指示を動き補償予測部１３に対して出力する。動き補償予測部１３はフレームベクトル優先指示が入力された場合、例えば、動き補償予測の各モードの評価値による最適ベクトルの選択を行う場合に、フレームベクトルの評価値から所定値を減算するなどの操作を行い、フレームベクトルが選択されやすくする。動き補償予測の各モードの評価値としては、符号化ブロックと参照ブロックとの画素間の差分絶対値和、差分二乗和などが一般的である。
【００１８】
つぎにフレームごとのフレームベクトル優先／非優先の制御について説明する。図２に示すように、第１フレームから第６のフレームまでがフレームベクトル優先制御を行わなかったときに、動きベクトル情報量が多い期間であり、第７フレームから第１２フレームまでがフレームベクトル優先制御を行わなかったとしても、動きベクトル情報量が少ない期間である。フレーム番号の下はピクチャコーディングタイプを表している。
【００１９】
第２フレームにおける符号化が終了した時点で、第２フレーム全体の発生情報量に対する動きベクトル情報量の占める割合が予め決めた閾値αよりも大きかった場合、フレームベクトル優先判定部１６はフレームベクトル優先の指示を動き補償予測部１３に対して出力する。フレームベクトル優先を行うとフレーム全体の発生情報量に占める動きベクトル情報量の割合は下がる。
【００２０】
フレームベクトル優先制御を継続したままで、動きベクトル情報量の少ない第７フレームの符号化を行ったときには、第７フレーム全体の発生情報量に対する動きベクトル情報量の占める割合はさらに低下することになる。このときの割合が所定の閾値βよりも小さくなったときに、フレームベクトル優先判定部１６はフレームベクトル優先の指示の解除を動き補償予測部１３に対して出力する。その結果、第８フレーム以降は通常の制御に戻ることになる。
【００２１】
このように、動きベクトル情報量のフレーム全体の情報量に占める割合をもとに、フレームベクトル優先制御を行い、伝送するベクトルの数を減らすことで、ベクトルに費やされる情報量を低減することができる。また、低減した情報量を他の部分に割り振ることで、全体として画質の向上が期待できる。また、この実施の形態１における制御はフレーム間予測を行うＰピクチャ、Ｂピクチャの両者に適用することが可能となるものである。
【００２２】
Ｂピクチャの場合には、フレームベクトル優先による動きベクトル情報量の削減以外に、両方向予測の制限、即ち、前方向予測あるいは後方向予測を優先的に選択することで動きベクトル情報量の削減も可能である。
【００２３】
また、この実施の形態１ではフレームストラクチャによる符号化の例を示したが、フィールドストラクチャによる符号化にも適用可能である。その場合には、フィールドベクトルを優先させる制御を行うことにより、同じ効果が得られるものである。
【００２４】
実施の形態２．
実施の形態２に係る符号化装置について図３を参照して説明する。なお、図３は実施の形態２に係る符号化装置の構成を示すブロック図である。
【００２５】
この実施の形態２は入力された画像に対して符号化を２回行う符号化装置についての例であって、１回目の符号化は２回目の符号化を行うときの制御用の情報を得ることを目的としたものである。また、符号化ストラクチャはフレームの場合である。なお、この実施の形態２の符号化装置は１次符号化部２０と２次符号化部２１からなり、各構成要素の符号１から符号１６までは実施の形態１で説明したことと同様であり、これらに関する説明は省略する。
【００２６】
１次符号化部２０におけるバッファ７から外部に対してビットストリームは出力せず、また、１次符号化部２０では動き補償予測においてフレームベクトル優先制御を行わない通常の制御を行う。１次符号化部２０と２次符号化部２１に同一の画像が入力されるが、２次符号化部２１における符号化は１次符号化部２０において符号化が終了した画像に対して行うものである。即ち、２次符号化部２１に同一の画像が入力されるが、２次符号化部２１における符号化は１次符号化部２０において符号化が終了した画像に対して行う。
【００２７】
２次符号化部２１におけるメモリ１の遅延量を１次符号化部２０のメモリ１の遅延量よりも大きくすることにより、同一フレームに対する符号化を２次符号化部２１よりも先に１次符号化部２０で行うことになる。その結果、２次符号化部２１において所定のフレームの符号化を行うときには、そのフレームに対してフレームベクトル優先を行わないで符号化を行ったときの動きベクトル情報量などの情報は１次符号化部２０から得られることになる。
【００２８】
図３では、１次符号化部２０のバッファ７からの出力と、動き補償予測部１３から出力される動きベクトル情報量およびフレーム全体の総情報量が２次符号化部２１のフレームベクトル優先判定部１６に入力される。フレームベクトル優先判定部１６ではフレームベクトル優先を行うか否かを判定する。判定の方法については実施の形態１で説明したことと同様である。実施の形態１においては、フレームベクトル優先が判定されたフレームの次のフレームから適用されるのに対し、実施の形態２においては、判定されたフレーム自体に適用することが可能となる。
【００２９】
上述したことはフレーム間予測を行うＰピクチャとＢピクチャの両方に適用が可能である。また、Ｂピクチャにおいてはフレーム優先以外に予測方向の限定が行え、さらに、実施の形態２の符合化はフィールドストラクチャにも適用できるものである。
【００３０】
【発明の効果】
以上のように、この発明によれば、動きベクトル情報量のフレーム全体の情報量に占める割合に基づき、フレームベクトル優先制御を行い、伝送するベクトルの数を減らすことで、ベクトルに費やされる情報量を低減することができる。また、低減した情報量を他の部分に割り振ることで、全体として画質の向上を図ることが可能となる。また、この実施の形態１における制御はフレーム間予測を行うＰピクチャ、Ｂピクチャの両者に適用することも可能となるものである。
【００３１】
また、Ｂピクチャの場合には、フレームベクトル優先による動きベクトル情報量の削減以外に、両方向予測の制限、即ち、前方向予測あるいは後方向予測を優先的に選択することで動きベクトル情報量の削減も可能となるものである。
【００３２】
さらに、フレームストラクチャによる符号化に限らず、フィールドストラクチャによる符号化にも適用可能である。その場合には、フィールドベクトルを優先させる制御を行うことにより、フレームストラクチャによる符号化と同様の効果が得られるものである。
【図面の簡単な説明】
【図１】この発明の実施の形態１に係る画像符号化装置の構成を示すブロック図である。
【図２】実施の形態１の画像符号化装置のフレームベクトル優先／非優先制御についての概要を示す図である。
【図３】この発明の実施の形態２に係る画像符号化装置の構成を示すブロック図である。
【符号の説明】
１メモリ、２差分器、３，１１セレクタ（モード選択手段）、４ＤＣＴ演算器、５量子化器、６可変長符号化部、７バッファ、８逆量子化器、９逆ＤＣＴ演算器、１０加算器、１２イントラ／インター判定部（モード決定手段）、１３動き補償予測部、１４フレームメモリ、１５量子化制御部、１６フレームベクトル優先判定部、２０１次符号化部、２１２次符号化部。

Claims

入力された画像の全ての符号化ブロックについて、フレーム内符号化を行うＩピクチャ、入力された画像の各符号化ブロックごとにフレーム内符号化と前方向予測の符号化を選択できるＰピクチャ、入力された画像の各符号化ブロックごとにフレーム内符号化と前方向予測、後方向予測、両方向予測の符号化を選択できるＢピクチャのいずれかにより符号化を行い、またＰピクチャにおける前方向予測、Ｂピクチャにおける前方向予測、後方向予測、両方向予測のいずれの予測においてもフレームベースの予測、フィールドベースの予測、符号化ブロックを分割した小ブロックによる予測を、符号化ブロックごとに選択できるモードを有する符号化装置において、
前記符号化ブロックごとに選択できるモードのなかで、所定のモードを優先して選択することができるモード選択手段を備えたことを特徴とする符号化装置。
符号化ブロックごとに所定のモードを優先して選択するためのパラメータを入力するパラメータ入力手段を備えることを特徴とする請求項１記載の符号化装置。
パラメータ入力手段は、符号化を行った結果の動きベクトルに要した情報量に基づく入力手段であることを特徴とする請求項２記載の符号化装置。
入力された画像に対して１回の符号化のみを行う符号化装置であって、既に符号化の終了したピクチャの動きベクトルに要した情報量とピクチャあたりの総情報量とに基づき、動き補償予測におけるモードの優先を決定するモード決定手段を備えることを特徴とする請求項２記載の符号化装置。
フレームストラクチャで符号化を行っている場合に、動き補償予測において優先されるモードはフレームベクトルであることを特徴とする請求項４記載の符号化装置。
フィールドストラクチャで符号化を行っている場合に、動き補償予測において優先されるモードがフィールドベクトルであることを特徴とする請求項４記載の符号化装置。
Ｂピクチャの符号化を行う場合に、動き補償予測において優先されるモードが前方向予測であることを特徴とする請求項４記載の符号化装置。
Ｂピクチャの符号化を行う場合に、動き補償予測において優先されるモードが後方向予測であることを特徴とする請求項４記載の符号化装置。
入力された画像に対して１回目の符号化を行い、所定時間の後に同一画像に対して２回目の符号化を行う符号化装置であって、１回目の符号化によって得られるピクチャ単位の動きベクトルに費やされる情報量と動きベクトルに費やされる情報量を含む全体の情報量に基づき、２回目の符号化における動き補償予測のモードの優先を決定するモード決定手段を備えることを特徴とする請求項２記載の符号化装置。
２回目の符号化は、フレームストラクチャで符号化を行っている場合に、動き補償予測において優先されるモードはフレームベクトルであることを特徴とする請求項９記載の符号化装置。
２回目の符号化は、フィールドストラクチャで符号化を行っている場合に、動き補償予測において優先されるモードはフィールドベクトルであることを特徴とする請求項９記載の符号化装置。
２回目の符号化でＢピクチャの符号化を行う場合に、動き補償予測において優先されるモードは前方向予測であることを特徴とする請求項９記載の符号化装置。
２回目の符号化でＢピクチャの符号化を行う場合に、動き補償予測において優先されるモードは後方向予測であることを特徴とする請求項９記載の符号化装置。