JP2010130558A - 動画像符号化装置および動画像符号化方法 - Google Patents

Abstract

【課題】予測残差が大きくなる可能性が高い領域の画質を改善することができる動画像符号化装置を提供する。
【解決手段】動画像符号化装置１０１に設けられた動き境界判定部１１４は、動きベクトル検出部１０２により検出された画素ブロック毎の動きベクトルを用いて、画像フレーム内の動きの境界を画素ブロック単位で検出する。量子化パラメータ設定部１１５は、検出した動き境界に基づき、動き境界に接する画素ブロックの量子化パラメータの値を、レート制御部１１３により予め設定された値よりも小さく設定し直す。動き境界に接する画素ブロックを量子化するための量子化パラメータを小さく設定することで、当該画素ブロックを細かく量子化し、予測残差が大きくなる可能性が高い領域の画質を改善することができる。
【選択図】 図１

Description

本発明は、動画像データを符号化する動画像符号化装置および動画像符号化方法に関する。

映像信号をより少ないデータ量で伝送・蓄積するための動画像符号化技術は、例えばＭＰＥＧ２ビデオ規格に代表されるように実用化が進んでいる。

ＭＰＥＧ２ビデオ規格では、１枚の画像を複数の８×８画素のブロックに分割し、各ブロックに直交変換の一つであるＤＣＴ（離散コサイン変換）を行い、得られたＤＣＴ係数を量子化して可変長符号化することで圧縮を行う。また、動き補償予測を併用することで、時間軸方向の画像の相関を利用して符号化の効率を高めている。

動き補償予測には、フレーム内予測とフレーム間予測とがある。動画像符号化において、フレーム間予測は、符号化済みのフレームを参照して動きを予測することで、通常、フレーム内予測よりも効率良く動画像データを符号化できる。

また、量子化に用いる量子化パラメータを視覚特性に応じて設定することで、動画像符号化による画質の劣化を低減できる。

特許文献１には、所定数の画素から構成されるマクロブロック（画素ブロック）のアクティビティを算出し、アクティビティが低いほど量子化パラメータを小さく設定する適応量子化手法を用いて、量子化による画質の劣化を低減する動画像符号化装置が開示されている。
特開２００６−１２９０６７号公報

特許文献１の動画像符号化装置は、マクロブロックのアクティビティに基づいて平坦部ほど量子化パラメータを小さくする適応量子化手法である。アクティビティに基づく適応量子化手法では、主観的な画質の劣化が目立ちやすい平坦領域の画質を向上することができる。

フレーム間予測においては、予測残差が大きい領域は主観的な画質の劣化が目立ちやすい。しかし、アクティビティと予測残差との間には相関が無いので、アクティビティに基づく適応量子化手法では、予測残差が大きい領域の画質を向上することは困難である。したがって、予測残差の大きい領域の主観画質の劣化を低減するための新たな技術の実現が必要である。

本発明は上述の事情を考慮してなされたものであり、予測残差が大きくなる可能性が高い領域の画質を改善することができる動画像符号化装置および動画像符号化方法を提供することを目的とする。

上述の課題を解決するため、本発明の一つの観点によれば、動画像データを符号化する動画像符号化装置であって、入力画像内の画素ブロック毎に動きベクトルを算出する前記動画像データの各画像フレームにおいて画素ブロック毎に動きベクトルを算出する動きベクトル算出手段と、前記各画素ブロックの動きベクトルに基づいて、前記入力画像内における動き領域と静止領域との間の動き境界を検出する前記算出した動きベクトルを用いて、前記画像フレームから画素ブロック単位で動きの境界を検出する動き境界検出手段と、前記動き境界の検出結果に応じて、前記検出した動き境界に接する画素ブロックを量子化するための量子化パラメータの値を、前記検出した動き境界に接する画素ブロックが動き境界に接しない場合に設定される値よりも小さく設定する量子化パラメータ設定手段とを具備することを特徴とする動画像符号化装置が提供される。

本発明によれば、予測残差が大きくなる可能性が高い領域の画質を改善することができる。

以下、図面を参照して本発明の実施形態を説明する。

本実施形態に係る動画像符号化装置は、動画像データのビットストリームを入力し、この動画像データのビットストリーム（入力画像信号）を符号化する。動画像データは例えばＭＰＥＧ２方式またはＨ．２６４方式で符号化される。この動画像符号化装置は、例えば、パーソナルコンピュータ、または各種電子機器に内蔵される組み込みシステムとして実現される。

まず、図１を参照して、本発明の一実施形態に係る動画像符号化装置１０１の構成を説明する。動画像符号化装置１０１は、動きベクトル検出部１０２、イントラ予測部１０３、インター予測部１０４、モード判定部１０５、直交変換部１０６、量子化部１０７、逆量子化部１０８、逆直交変換部１０９、予測復号化部１１０、参照フレームメモリ１１１、エントロピー符号化部１１２、レート制御部１１３、及び動き境界判定部１１４を備える。

動きベクトル検出部１０２は、外部から入力画像信号（動画像データ）を受け取る。動きベクトル検出部１０２は、符号化対象の入力画像（入力画像フレーム）内の画素ブロック毎に動きベクトルを算出する。具体的には、動きベクトル検出部１０２は、参照フレームメモリ１１１に格納されている復号画像データを読み出し、入力ビットストリームの画像フレームを所定数の画素毎に分割した画素ブロック毎に、動きベクトルを算出する。そして、動きベクトル検出部１０２は、入力画像及び復号画像データに基づく、最適な動き補償パラメータを決定する。動き補償パラメータとしては、動きベクトル、動き補償予測ブロックの形状、参照フレームの選択方法等がある。

イントラ予測部１０３は、動きベクトル検出部１０２と同様に、外部から入力画像信号（動画像データ）を受け取る。イントラ予測部１０３は、参照フレームメモリ１１１に格納された現フレーム内の符号化済み領域の局所復号画像データを読み出して、フレーム内予測による動き補償処理を行う。

インター予測部１０４は、フレーム間予測動き補償処理を行う。インター予測部１０４は、まず、入力画像信号と動きベクトル検出部１０２により決定された最適な動き補償パラメータとを受け取る。また、インター予測部１０４は、参照フレームメモリ１１１に格納されている復号画像データを読み出す。

インター予測部１０４は、読み出した復号画像データ（参照画像）に対して、動き補償パラメータを用いた重み係数の乗算やオフセットの加算等により、フレーム間の振幅補償処理を行う。そして、インター予測部１０４は、輝度信号及び色差信号のそれぞれについて予測残差信号を生成する。すなわち、インター予測部１０４は、符号化対象画素ブロックに対応する動きベクトルに基づき、符号化対象画素ブロックに対応する予測信号を参照画像から生成する。そして、インター予測部１０４は、符号化対象画素ブロックの画像信号から予測信号を減算することによって予測残差信号を生成する。

モード判定部１０５は、イントラ予測部１０３及びインター予測１０４それぞれによる動き補償処理の結果を受け取り、この結果から算出される符号化コストに基づき、１つ以上の予測モードの候補から最適な符号化モードを決定する。

直交変換部１０６は、モード判定部１０５において決定された符号化モードによる予測残差信号に対して直交変換処理を実行し、直交変換係数を算出する。

動き境界判定部１１４は、動きベクトル検出部１０２により検出された動きベクトルを用いて、動領域との静止領域との間の境界である動き境界を、画素ブロック単位で検出する。動領域は動きを伴う領域であり、静止領域は動きの小さな領域である。例えば、動きベクトルの大きさが所定のしきい値よりも大きい画素ブロックは動領域に属するものと判定される。動きベクトルの大きさがこのしきい値以下の画素ブロックは、動きの小さな静止領域に属するものと判定される。動き境界判定部１１４は、注目する画素ブロックの動きベクトルと周囲の画素ブロックの動きベクトルとの動きの差が第１のしきい値よりも大きく、且つ、注目する画素ブロックの動きベクトルと周囲の画素ブロックの動きベクトルのいずれかの大きさが第２のしきい値よりも小さい場合に、注目画素ブロックを動き境界に接する画素ブロックとして検出する。なお、周囲の画素ブロックをさらに、動き境界に接する画素ブロックとして検出してもよい。

ここで、注目する画素ブロックの動きベクトルと周囲の画素ブロックの動きベクトルとの動きの差は、例えば、各動きベクトルを垂直成分と水平成分とに分けて算出することができる。動き境界判定部１１４は、水平方向に並んだ２つの画素ブロックについて、それぞれの動きベクトルの水平成分の差を算出し、この差が第１のしきい値より大きく、且つ、２つの動きベクトルのいずれかの大きさが第２のしきい値よりも小さい場合に、水平方向に並んだ２つの画素ブロック間の境界が動き境界であると判定する。また、動き境界判定部１１４は、垂直方向に並んだ２つの画素ブロックについて、それぞれの動きベクトルの垂直成分の差を算出し、この差が第１のしきい値より大きく、且つ、２つの動きベクトルのいずれかの大きさが第２のしきい値よりも小さい場合に、垂直方向に並んだ２つの画素ブロック間の境界が動き境界であると判定する。そして、動き境界判定部１１４は、動き境界情報を量子化部１０７へ出力する。

レート制御部１１３は、後述するエントロピー符号化部１１２で算出した符号化データを用いて、画素ブロック毎の符号化データの情報量（発生符号量）を算出する。レート制御部１１３は、算出した画素ブロック毎の符号化データの情報量に基づくフィードバック制御によるレート制御処理を実行する。すなわち、レート制御部１１３は、算出した画素ブロック毎の符号化データの情報量に基づいて、画素ブロック毎に量子化パラメータを設定する。

量子化部１０７は、直交変換部１０６により算出された直交変換係数、レート制御部１１３により決定された量子化パラメータ、及び動き境界判定部１１４により検出された動き境界情報を受け取る。量子化部１０７は、画素ブロック（マクロブロック）に適用する量子化パラメータの値を動き境界情報に応じて適応的に制御する量子化パラメータ設定部１１５を含んでいる。この量子化パラメータ設定部１１５は、まず、動き境界情報に基づき、注目する画素ブロック（例えば、符号化対象の画素ブロック）が動き境界に接する画素ブロックである場合、量子化パラメータをレート制御部１１３により設定されている値よりも小さな値に設定し直す。注目する画素ブロックが動き境界に接する画素ブロックでない場合、量子化パラメータ設定部１１５は、量子化パラメータをレート制御部１１３により設定されている値のままとする。そして、量子化部１０７は、この量子化パラメータを用いて、直交変換部１０６から出力される直交変換係数の量子化処理を実行し、量子化直交変換係数を算出する。

エントロピー符号化部１１２は、量子化直交変換係数に対して、可変長符号化又は算術符号化等によるエントロピー符号化処理を実行する。エントロピー符号化部１１２はさらに、動きベクトル等の符号化モード情報に対してもエントロピー符号化処理を実行する。エントロピー符号化部１１２は、エントロピー符号化処理を施した量子化直交変換係数及び符号化モード情報を併せて、動画像符号化データとして出力する。

逆量子化部１０８、逆直交変換部１０９、及び予測復号化部１１０は、量子化直交変換係数を復号して復号画像信号を算出し、この復号画像信号を参照フレームメモリ１１１へ格納する処理を行う。

逆量子化部１０８は、量子化直交変換係数に対して逆量子化処理を実行し、直交変換係数を算出する。逆直交変換部１０９は、直交変換係数に対する逆直交変換処理を実行し、残差信号を算出する。予測復号化部１１０は、モード判定部１０５からの符号化モードの情報と、残差信号とを受け取り、これらの情報から復号画像信号を生成する。

つまり、逆量子化部１０８、逆直交変換部１０９、及び予測復号化部１１０により、入力ビットストリームから生成された量子化直交変換係数に対する局所復号化処理が実行され、参照フレームメモリ１１１に復号画像信号として格納される。参照フレームメモリ１１１に格納された復号画像信号は、動き補償予測における参照フレームとして使用される。

次に、図２に示すフローチャートを参照して、動き境界判定部１１４における処理の手順について説明する。動き境界判定部１１４における処理は、マクロブロックのような画素ブロック毎に実行される。

まず、動き境界判定部１１４は、動きベクトル検出部１０２から動きベクトル情報を受け取る（ステップＳ１０１）。動き境界判定に使用する動きベクトル情報は、注目する画素ブロック（以下、注目画素ブロックという）の動きベクトルMV_curと、注目画素ブロックの周囲の画素ブロックの動きベクトルである。

次に、動き境界判定部１１４は、注目画素ブロックの動きベクトルMV_curと、周囲の１つ以上の画素ブロック（近傍画素ブロックとも云う）の動きベクトルとの差（動きの差）を算出する（ステップＳ１０２）。注目する画素ブロックの動きベクトルと周囲の画素ブロックの動きベクトルとの動きの差は、上述したように、例えば、各動きベクトルを垂直成分と水平成分とに分けて算出される。動き境界判定部１１４は、水平方向に並んだ２つの画素ブロックについて、それぞれの動きベクトルの水平成分の差を算出する。また、動き境界判定部１１４は、垂直方向に並んだ２つの画素ブロックについて、それぞれの動きベクトルの垂直成分の差を算出する。

動き境界判定部１１４は、ステップＳ１０２で算出した１つ以上の動きベクトルの差の値から最大値を選択し、選択した差の最大値がしきい値MV_DIFF_TH以上であるかどうかを判定する（ステップＳ１０３）。選択した差の最大値がMV_DIFF_TH以上でない場合（ステップＳ１０３のＮＯ）、動き境界判定部１１４は、注目画素ブロックが動き境界でないと判定して処理を終了する。

選択した差の最大値がMV_DIFF_TH以上である場合（ステップＳ１０３のＹＥＳ）、動き境界判定部１１４は、周囲の１つ以上の画素ブロックそれぞれの動きベクトルの大きさ、及び注目画素ブロックの動きベクトルの大きさ|MV_cur|から最小値を選択し、この最小値があらかじめ設定されたしきい値MV_SIZE_TH以下であるかどうかを判定する（ステップＳ１０４）。選択した最小値がしきい値MV_SIZE_TH以下でない場合（ステップＳ１０４のＮＯ）、動き境界判定部１１４は、注目画素ブロックが動き境界でないと判定して処理を終了する。

選択した最小値がしきい値MV_SIZE_TH以下である場合（ステップＳ１０４のＹＥＳ）、動き境界判定部１１４は、注目画素ブロックが動き境界に接する画素ブロックであると判定し、注目画素ブロックが動き境界であるという情報を示す動き境界情報を量子化部１０７へ出力する（ステップＳ１０５）。

以上の処理により、注目画素ブロックが動き境界に接する画素ブロックであるかどうかが判定され、この情報を示す動き境界情報が量子化部１０７へ出力される。

なお、周囲の画素ブロックには、注目画素ブロックの４近傍の画素ブロックや８近傍の画素ブロックを用いる等、処理に適当な画素ブロックを設定することができる。また、ステップＳ１０３において用いる動きベクトルの差の最大値、及びステップＳ１０４において用いる動きベクトルの大きさの最小値は、適宜、それぞれの平均値又は中央値等としてもよい。

図３は、動画像データの各画像フレームに対して、画素ブロック毎の符号化処理を行う場合の符号化順序の例を示したものである。

各画像フレームは所定数の画素からなる画素ブロックに分割され、図中に矢印で示すように、ラスタ走査による走査順と同様の順序で、各画素ブロックに対する符号化が行われる。したがって、図中太枠で示された現在の注目画素ブロックよりも前に符号化された画素ブロック群（図中ハッチング領域）では、既に動きベクトルが算出されている。

この場合、現在の注目画素ブロック（符号化対象画素ブロック）の左側に接する画素ブロックと上側に接する画素ブロック、すなわち、現在の注目画素ブロックに接する画素ブロックのうち、既に動きベクトルが算出されている符号化済み画素ブロックを用いて、注目画素ブロックと、左側又は上側に接する符号化済み画素ブロックとの境界が動き境界であるかどうかを判定する。

なお、画像フレーム内のすべての画素ブロックについてそれぞれ動きベクトルを算出した後に、注目画素ブロックに接するすべての画素ブロックについて、注目画素ブロックと注目画素ブロックに接する各画素ブロックとの境界が動き境界であるかどうかを判定してもよい。

図４乃至図６は、注目画素ブロックの動きベクトルと、注目画素ブロックの上側及び左側に接する画素ブロックそれぞれの動きベクトルとに基づき、動き境界を検出する例を示している。二つの画素ブロック間の境界は、画素ブロックそれぞれの動きベクトルの動きの差が大きい、すなわち、二つの動きベクトルそれぞれが指す方向、及びそれぞれの大きさに差がある場合に、動き境界として検出される。

図４では、注目画素ブロック２０１に対して、左側に画素ブロック２００が接し、上側に画素ブロック２０２が接している。注目画素ブロック２０１、左側画素ブロック２００、及び上側画素ブロック２０２の動きベクトルはそれぞれ、ｍｖ_１，ｍｖ_０，ｍｖ_２である。

まず、注目画素ブロック２０１と左側画素ブロック２００との境界が動き境界であるかどうかを判定する場合、注目画素ブロック２０１の動きベクトルの水平方向成分ｍｖ_ｘ１と左側画素ブロック２００の動きベクトルの水平方向成分ｍｖ_ｘ０とを用いる。ｍｖ_ｘ１とｍｖ_ｘ０との差が第１のしきい値以上であり、且つ、ｍｖ_ｘ１の大きさとｍｖ_ｘ０の大きさのいずれかが第２のしきい値以下である場合、注目画素ブロック２０１と左側画素ブロック２００との間の境界は動き境界として検出される。

図４においては、ｍｖ_ｘ１とｍｖ_ｘ０との差が第１のしきい値以上であり、且つ、ｍｖ_ｘ０の大きさが第２のしきい値以下であるので、注目画素ブロック２０１と左側画素ブロック２００との間の境界は動き境界として検出される。また、注目画素ブロック２０１及び左側画素ブロック２００は、動き境界に接する画素ブロックとして検出される。

一方、注目画素ブロック２０１と上側画素ブロック２０２との境界が動き境界であるかどうかを判定する場合、注目画素ブロック２０１の動きベクトルの垂直方向成分ｍｖ_ｙ１と上側画素ブロック２０２の動きベクトルの垂直方向成分ｍｖ_ｙ２とを用いる。ｍｖ_ｙ１とｍｖ_ｙ２との差が第１のしきい値以上であり、且つ、ｍｖ_ｙ１の大きさとｍｖ_ｙ２の大きさのいずれかが第２のしきい値以下である場合、注目画素ブロック２０１と上側画素ブロック２０２との間の境界は動き境界として検出される。

図４においては、ｍｖ_ｙ１とｍｖ_ｙ２との差が第１のしきい値以上でなく、また、ｍｖ_ｙ１の大きさとｍｖ_ｙ２の大きさはいずれも第２のしきい値以下でないので、注目画素ブロック２０１と上側画素ブロック２０２との境界は動き境界として検出されない。

次に、図５では、注目画素ブロック３０１に対して、左側に画素ブロック３００が接し、上側に画素ブロック３０２が接している。注目画素ブロック３０１、左側画素ブロック３００、及び上側画素ブロック３０２の動きベクトルはそれぞれ、ｍｖ_１，ｍｖ_０，ｍｖ_２である。図５においても、上述の動き境界判定方法により、画素ブロック間の境界が動き境界であるかどうかを判定する。

注目画素ブロック３０１と左側画素ブロック３００との境界が動き境界であるかどうかを判定すると、ｍｖ_ｘ１とｍｖ_ｘ０との差が第１のしきい値以上でなく、また、ｍｖ_ｘ１の大きさとｍｖ_ｘ０の大きさはいずれも第２のしきい値以下でないので、注目画素ブロック３０１と左側画素ブロック３００との間の境界は動き境界として検出されない。

また、注目画素ブロック３０１と上側画素ブロック３０２との境界が動き境界であるかどうかを判定すると、ｍｖ_ｙ１とｍｖ_ｙ２との差が第１のしきい値以上であり、且つ、ｍｖ_ｙ２の大きさが第２のしきい値以下であるので、注目画素ブロック３０１と上側画素ブロック３０２との間の境界は動き境界として検出される。また、注目画素ブロック３０１及び上側画素ブロック３０２は、動き境界に接する画素ブロックとして検出される。

図６では、注目画素ブロック４０１に対して、左側に画素ブロック４００が接し、上側に画素ブロック４０２が接している。注目画素ブロック４０１、左側画素ブロック４００、及び上側画素ブロック４０２の動きベクトルはそれぞれ、ｍｖ_１，ｍｖ_０，ｍｖ_２である。これらの動きベクトルｍｖ_１，ｍｖ_０，ｍｖ_２はすべて、同一の方向を指し、同一の大きさを持つ動きベクトルである。つまり、いずれの画素ブロックも、前の参照フレームにおいて対応する画素ブロックからの動きが同一であり、例えば、これら３つの画素ブロックが同一の物体上にあることが推定される。したがって、これらの動きベクトルを用いて、上述の動き境界判定方法により画素ブロック間の境界が動き境界であるかどうかを判定した場合、画素ブロック間の境界はいずれも動き境界として検出されない。

図７は、注目画素ブロックと注目画素ブロックの左側及び上側の画素ブロックとを対象とした、動き境界判定部１１４による動き境界判定処理の手順を示したフローチャートである。

まず、動き境界判定部１１４は、注目画素ブロックの動きベクトルｍｖ_１、注目画素ブロックの左側に接する画素ブロックの動きベクトルｍｖ_０、及び注目画素ブロックの上側に接する画素ブロックの動きベクトルｍｖ_２の情報を動きベクトル検出部１０２から受け取る（ステップＳ２０１）。

次に、動き境界判定部１１４は、水平方向に並んだ画素ブロック間の境界が動き境界であるかどうかを判定するための処理（ステップＳ２０２〜Ｓ２０７）と、垂直方向に並んだ画素ブロック間の境界が動き境界であるかどうかを判定するための処理（ステップＳ２０８〜Ｓ２１３）とを行う。つまり、動き境界判定部１１４は、注目画素ブロックと注目画素ブロックの左側に接する画素ブロックとの間の境界が動き境界であるかどうかと、注目画素ブロックと注目画素ブロックの上側に接する画素ブロックとの間の境界が動き境界であるかどうかとを判定する。

まず、動き境界判定部１１４は、注目画素ブロックのベクトルの水平成分ｍｖ_ｘ１と注目画素ブロックの左側に接する画素ブロックのベクトルの水平成分ｍｖ_ｘ０との差である水平方向の動きベクトル差ｄ_ｘを算出する（ステップＳ２０２）。すなわち、水平方向の動きベクトル差ｄ_ｘは、次式により算出される。

ｄ_ｘ ＝ ｍｖ_ｘ０ − ｍｖ_ｘ１
次に、算出した水平方向の動きベクトル差ｄ_ｘがしきい値ｔｈ_１以上であるかどうかを判定する（ステップＳ２０３）。水平方向の動きベクトル差ｄ_ｘがしきい値ｔｈ_１以上である場合（ステップＳ２０３のＹＥＳ）、すなわち、
ｄ_ｘ ≧ ｔｈ_{１
である場合、}動き境界判定部１１４は、注目画素ブロックのベクトルの水平成分ｍｖ_ｘ１と注目画素ブロックの左側に接する画素ブロックのベクトルの水平成分ｍｖ_ｘ０のいずれか一方の大きさがしきい値ｔｈ_２以下であるかどうかを判定する（ステップＳ２０４〜Ｓ２０６）。

注目画素ブロックの左側に接する画素ブロックのベクトルの水平成分ｍｖ_ｘ０の大きさがしきい値ｔｈ_２以下であって（ステップＳ２０４のＹＥＳ）、注目画素ブロックのベクトルの水平成分ｍｖ_ｘ１の大きさがしきい値ｔｈ_２以下でない場合（ステップＳ２０５のＮＯ）、すなわち、
｜ｍｖ_ｘ０｜ ≦ ｔｈ_２
であり、且つ、
｜ｍｖ_ｘ１｜ ＞ ｔｈ_２
である場合、又は、注目画素ブロックの左側に接する画素ブロックのベクトルの水平成分ｍｖ_ｘ０の大きさがしきい値ｔｈ_２以下でなく（ステップＳ２０４のＮＯ）、注目画素ブロックのベクトルの水平成分ｍｖ_ｘ１の大きさがしきい値ｔｈ_２以下である場合（ステップＳ２０６のＹＥＳ）、すなわち、
｜ｍｖ_ｘ０｜ ＞ ｔｈ_２
であり、且つ、
｜ｍｖ_ｘ１｜ ≦ ｔｈ_２
である場合、動き境界判定部１１４は、水平方向に並んだ画素ブロックである注目画素ブロックと注目画素ブロックの左側に接する画素ブロックとの間の境界を動き境界と判定する（ステップＳ２０７）。

次に、動き境界判定部１１４は、注目画素ブロックのベクトルの垂直成分ｍｖ_ｙ１と注目画素ブロックの上側に接する画素ブロックのベクトルの垂直成分ｍｖ_ｙ２との差である垂直方向の動きベクトル差ｄ_ｙを算出する（ステップＳ２０８）。すなわち、垂直方向の動きベクトル差ｄ_ｙは、次式により算出される。

ｄ_ｙ ＝ ｍｖ_ｙ２ − ｍｖ_ｙ１
次に、算出した垂直方向の動きベクトル差ｄ_ｙがしきい値ｔｈ_１以上であるかどうかを判定する（ステップＳ２０９）。垂直方向の動きベクトル差ｄ_ｙがしきい値ｔｈ_１以上である場合（ステップＳ２０９のＹＥＳ）、すなわち、
ｄ_ｙ ≧ ｔｈ_{１
である場合、}動き境界判定部１１４は、注目画素ブロックのベクトルの垂直成分ｍｖ_ｙ１と注目画素ブロックの上側に接する画素ブロックのベクトルの垂直成分ｍｖ_ｙ２のいずれか一方の大きさがしきい値ｔｈ_２以下であるかどうかを判定する（ステップＳ２１０〜Ｓ２１２）。

注目画素ブロックの上側に接する画素ブロックのベクトルの垂直成分ｍｖ_ｙ２の大きさがしきい値ｔｈ_２以下であり（ステップＳ２１０のＹＥＳ）、且つ、注目画素ブロックのベクトルの垂直成分ｍｖ_ｙ１の大きさがしきい値ｔｈ_２以下でない場合（ステップＳ２１１のＮＯ）、すなわち、
｜ｍｖ_ｙ２｜ ≦ ｔｈ_２
であり、且つ、
｜ｍｖ_ｙ１｜ ＞ ｔｈ_２
である場合、又は、注目画素ブロックの上側に接する画素ブロックのベクトルの垂直成分ｍｖ_ｙ２の大きさがしきい値ｔｈ_２以下でなく（ステップＳ２１０のＮＯ）、且つ、注目画素ブロックのベクトルの垂直成分ｍｖ_ｙ１の大きさがしきい値ｔｈ_２以下である場合（ステップＳ２１２のＹＥＳ）、すなわち、
｜ｍｖ_ｙ２｜ ＞ ｔｈ_２
であり、且つ、
｜ｍｖ_ｙ１｜ ≦ ｔｈ_２
である場合、動き境界判定部１１４は、垂直方向に並んだ画素ブロックである注目画素ブロックと注目画素ブロックの上側に接する画素ブロックとの間の境界を動き境界と判定する（ステップＳ２１３）。

以上の処理により、画素ブロック間の境界が動き境界であるかどうかを判定し、動き境界に接する画素ブロック群を検出することができる。

量子化部１０７は、動き境界に接する画素ブロックの量子化に用いられる量子化パラメータの値を、レート制御部１１３によって当該画素ブロックに予め設定された値よりも小さく再設定する。図８は、直交変換部１０６により算出された直交変換係数を、量子化パラメータを用いて量子化する処理の手順を示したフローチャートである。

まず、量子化部１０７は、直交変換部１０６から直交変換係数を受け取る（ステップＳ３０１）。次に、量子化部１０７は、レート制御部１１３により設定された量子化パラメータを受け取る（ステップＳ３０２）。また、量子化部１０７は、動き境界判定部１１４から動き境界情報を受け取る（ステップＳ３０３）。

次に、量子化部１０７は、動き境界情報に基づき、符号化対象の画素ブロックが動き境界に接している画素ブロックであるかどうかを判定する（ステップＳ３０４）。

符号化対象の画素ブロックが動き境界に接している場合（ステップＳ３０４のＹＥＳ）、量子化部１０７は、レート制御部１１３から受け取った符号化対象の画素ブロックに適用すべき量子化パラメータの値を、当該値よりも小さな値に設定し直す（ステップＳ３０５）。つまり、符号化対象の画素ブロックが動き境界に接している場合、量子化部１０７は、レート制御部１１３から受け取った量子化パラメータの値よりも小さな値を符号化対象の画素ブロックの量子化処理に用いる。

一方、符号化対象の画素ブロックが動き境界に接していない場合（ステップＳ３０４のＮＯ）、量子化部１０７は、レート制御部１１３から受け取った量子化パラメータの値をそのまま符号化対象の画素ブロックの量子化処理に用いる。

量子化部１０７は、上述の処理によって設定された量子化パラメータを用いて、直交変換係数に対する量子化処理を実行する（ステップＳ３０６）。したがって、動き境界に接する符号化対象の画素ブロックに対応する直行変換係数それぞれは、比較的小さい量子化ステップ幅で量子化される。

以上の処理により、量子化部１０７は、符号化対象の画素ブロックが動き境界に接しているかどうかに応じて設定した量子化パラメータを用い、直交変換係数に対する量子化処理を実行し、量子化直交変換係数を算出する。特に、対象の画素ブロックが動き境界に接している場合には、量子化パラメータの値を予め設定されている値よりも小さく設定し直すことで、対象の画素ブロックの直交変換係数を細かく量子化する。つまり、動物体が通過した直後など、フレーム間予測による動き補償において予測残差が大きくなる可能性が高い領域に対応する画素ブロックについて、量子化パラメータを制御することで、画質の劣化を低減することができる。

図９は、通常の動画像符号化により画像劣化が生じる画像フレームの例を示している。

図９に示す画像フレームは、静止物体である建物等の前を、動物体である電車が通過している動画像データ内の１フレームである。電車のような動物体を撮影した動画像データをフレーム間予測により符号化すると、予測残差が大きくなるために復号画像に符号化歪みが残り、画質の劣化を生じる可能性がある。例えば、図９に破線で囲んで示した、画像フレーム内で電車が通過した直後の領域は、符号化の際に参照する画像フレームでは捉えられていないために、符号化対象の画像フレームと参照画像フレームとの間における動き予測が当たらない可能性が高い。したがって、予測残差として設定される値は大きくなる。

また、図９において実線で囲まれた領域付近は、動画像データの画像フレーム群で電車が通過した領域を示し、通常の符号化では符号化歪みが生じやすい。そこで、本実施形態の動画像符号化装置１０１は、画像フレーム内の画素ブロック毎に算出される動きベクトルを用いて、電車が通過した直後の領域のように予測残差が大きくなる領域、すなわち、動領域と静止領域との間の境界である動き境界を画素ブロック単位で検出し、通常の符号化による符号化歪みを低減するための処理を行う。

図１０は、動き境界判定部１１４により検出される動き境界の例を示している。画像フレーム内で建物や道路等の静止物体を捉えた領域は、動きベクトルの大きさが小さく、すなわち、動きのない（小さい）領域といえる。一方、画像フレーム内で電車等の動物体を捉えた領域（図１０実線で囲まれた領域）は、動きベクトルの大きさが大きく、すなわち、動きのある（大きい）領域といえる。動き境界判定部１１４は、これら二つの領域の境界（図１０破線で囲まれた領域）を動き境界として検出する。

動画像符号化装置１０１の量子化部１０７は、上述したように、検出した動き境界に接する画素ブロックを量子化するための量子化パラメータの値を、レート制御部１１３により予め設定された値よりも小さく設定し直すことで、当該画素ブロックの直交変換係数を細かく量子化する。

上述したように、本実施形態では、垂直方向に並んだ画素ブロック間の動きの差はそれらブロックの動きベクトルの水平方向成分の差のみを考慮して算出され、また垂直方向に並んだ画素ブロック間の動きの差はそれらブロックの動きベクトルの垂直方向成分の差のみを考慮して算出される。したがって、図１０のように電車等の動物体が水平方向に移動する場合には、動物体とその上側の領域との間の境界は動き境界として検出されず、動物体の移動直後に出現する領域（電車の後方の領域）のみを動き境界として検出することができる。よって、予測残差が大きくなる可能性が高い領域の画質を効率よく改善することができる。

動き境界に接する各画素ブロック、たとえば、動き境界を挟んで並んだ２つの画素ブロックは、量子化パラメータの値を小さく設定することで、細かく量子化される。これにより、符号化された動画像データを復号して再生した際に、視聴者が知覚する主観画質を向上させることができる。もちろん、必ずしも、動き境界を挟んで並んだ２つの画素ブロックに適用する量子化パラメータそれぞれの値を小さく設定する必要はなく、例えば、動き境界に接し且つ動きの少ない画素ブロックに適用する量子化パラメータの値のみを小さく設定してもよい。

図１１は、本実施形態の動画像符号化処理をプログラムとして備えた情報処理装置の構成を示すブロック図である。この情報処理装置５０は、例えば、パーソナルコンピュータ、又は各種電子機器に内蔵される組み込みシステムとして実現される。

情報処理装置５０は、ＣＰＵ５１、メモリ５２、ＩＯデバイス５３、及び外部記憶装置５４を備える。

ＣＰＵ５１は各種プログラムを実行するプロセッサである。ＣＰＵ５１は、各種演算処理を実行すると共に、情報処理装置内の各部を制御する。

メモリ５２は、ＣＰＵ５１によって実行される、オペレーティングシステム、アプリケーションプログラム、及び各種データを格納するためのメインメモリである。メモリ５２には、動画像データを符号化する動画像符号化プログラム５２１がロードされている。

ＩＯデバイス５３は、情報処理装置５０に対するデータの入出力を実行するための各種入出力デバイスである。また、外部記憶装置５４は、各種プログラムやデータを格納するための不揮発性の記憶装置である。外部記憶装置５４に格納された各種プログラムやデータは、情報処理装置５０内の各部からの要求に応じて、メモリ５２へロードされる。

メモリ５２にロードされている動画像符号化プログラム５２１は、上述したように、動画像データを符号化するための処理を行うプログラムである。動画像符号化プログラム５２１において、図１１に破線で囲んだ枠内の各処理部は、通常の動画像符号化プログラムによって実現することができる。

図１１に破線で囲んだ枠外にある動き境界判定部１１４は、上述したように、動きベクトル検出部１０２により検出された動きベクトルを用いて、動きの大きな領域と動きの小さな領域との境界である動き境界を、画素ブロック単位で検出する。動き境界判定部１１４は、注目する画素ブロックの動きベクトルと周囲の画素ブロックの動きベクトルとの動きの差が第１のしきい値よりも大きく、且つ、注目する画素ブロックの動きベクトルと周囲の画素ブロックの動きベクトルのいずれかの大きさが第２のしきい値よりも小さい場合に、注目画素ブロックを動き境界に接する画素ブロックとして検出する。

また、同様に図１１に破線で囲んだ枠外にある量子化パラメータ設定部１１５は、まず、動き境界判定部１１４からの動き境界情報と、レート制御部１１３からの量子化パラメータの情報とを受け取る。次に、量子化パラメータ設定部１１５は、動き境界情報に基づき、動き境界に接する画素ブロックを量子化する量子化パラメータの値を、レート制御部１１３により設定された値よりも小さく設定する。そして、この量子化パラメータを量子化部１０７へ出力する。

本実施形態の動画像符号化処理の手順を実行するプログラムは、上述の動き境界判定部１１４及び量子化パラメータ設定部１１５にそれぞれ対応する処理の手順を実行するためのプログラムを、通常の動画像符号化プログラムに追加することで実現され得る。

以上説明したように、本実施形態によれば、動画像符号化において予測残差が大きくなる可能性が高い領域の画質を改善することができる。本実施形態では、動画像データの画像フレーム内で、動きの大きな領域と動きの小さな領域との境界である動き境界を検出し、検出した動き境界に接する画素ブロックを量子化するための量子化パラメータの値を予め設定された値よりも小さく設定する。動き境界の周囲の画素ブロックを細かく量子化することで、視聴者が知覚する主観画質を向上させることができる。

また、本実施形態の動画像符号化処理の手順は全てソフトウェアによって実行することができる。このため、動画像符号化処理の手順を実行するプログラムをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。また本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の一実施形態に係る動画像符号化装置の構成を示すブロック図。 同実施形態の動画像符号化装置によって実行される動き境界検出処理の手順を示すフローチャート。 同実施形態の動画像符号化装置により符号化される画像フレームの画素ブロック説明する図。 同実施形態の動画像符号化装置において水平方向に並んだ画素ブロック間の境界を動き境界として検出する例を示す図。 同実施形態の動画像符号化装置において垂直方向に並んだ画素ブロック間の境界を動き境界として検出する例を示す図。 同実施形態の動画像符号化装置において画素ブロック間の境界が動き境界として検出されない例を示す図。 同実施形態の動画像符号化装置によって実行される動き境界検出処理の別の手順を示すフローチャート。 同実施形態の動画像符号化装置によって実行される量子化処理の手順を示すフローチャート。 通常の動画像符号化により画像劣化が生じる画像フレームの例を示す図。 同実施形態の動画像符号化装置により検出される動き境界の例を示す図。 本発明の一実施形態に係る情報処理装置の構成を示すブロック図。

符号の説明

１０１…動画像符号化装置、１０２…動きベクトル検出部、１０３…イントラ予測部、１０４…インター予測部、１０５…モード判定部、１０６…直交変換部、１０７…量子化部、１０８…逆量子化部、１０９…逆直交変換部、１１０…予測符号化部、１１１…参照フレームメモリ、１１２…エントロピー符号化部、１１３…レート制御部、１１４…動き境界判定部、１１５…量子化パラメータ設定部。

Claims (9)

1. 動画像データを符号化する動画像符号化装置であって、
   入力画像内の画素ブロック毎に動きベクトルを算出する動きベクトル算出手段と、
   前記各画素ブロックの動きベクトルに基づいて、前記入力画像内における動き領域と静止領域との間の動き境界を検出する動き境界検出手段と、
   前記動き境界の検出結果に応じて、前記検出した動き境界に接する画素ブロックを量子化するための量子化パラメータの値を、前記検出した動き境界に接する画素ブロックが動き境界に接しない場合に設定される値よりも小さく設定する量子化パラメータ設定手段とを具備することを特徴とする動画像符号化装置。
2. 前記動き境界検出手段は、前記入力画像内の注目する画素ブロックの動きベクトルと前記注目画素ブロックに接する画素ブロックである近傍画素ブロックの動きベクトルとの動きの差が第１のしきい値以上であり、且つ前記注目画素ブロックの動きベクトルと前記近傍画素ブロックの動きベクトルのいずれかの大きさが第２のしきい値以下である場合に、前記注目画素ブロックと前記近傍画素ブロックとの境界を前記動き境界として検出することを特徴とする請求項１記載の動画像符号化装置。
3. 前記動き境界検出手段は、前記入力画像内の注目する画素ブロックの動きベクトルの垂直成分と、前記注目画素ブロックの上側又は下側に接する画素ブロックの動きベクトルの垂直成分との差が第１のしきい値以上であり、且つ前記注目画素ブロックの動きベクトルの垂直成分の大きさと、前記上側又は下側に接する画素ブロックの動きベクトルの垂直成分の大きさのいずれかの大きさが第２のしきい値以下である場合に、前記注目画素ブロックと前記上側又は下側に接する画素ブロックとの境界を前記動き境界として検出し、前記注目画素ブロックの動きベクトルの水平成分と、前記注目画素ブロックの左側又は右側に接する画素ブロックの動きベクトルの水平成分との差が前記第１のしきい値以上であり、且つ前記注目画素ブロックの動きベクトルの水平成分の大きさと、前記左側又は右側に接する画素ブロックの動きベクトルの水平成分の大きさのいずれかの大きさが前記第２のしきい値以下である場合に、前記注目画素ブロックと前記左側又は右側に接する画素ブロックとの境界を前記動き境界として検出することを特徴とする請求項１記載の動画像符号化装置。
4. 前記動き境界検出手段は、前記入力画像内の符号化対象画素ブロックの動きベクトルの垂直成分と、前記符号化対象画素ブロックの上側に接する符号化済みの第１の画素ブロックの動きベクトルの垂直成分とに基づいて、前記符号化対象画素ブロックの動きベクトルと前記第１の画素ブロックとの間の境界が前記動き境界であるか否かを判定する処理と、前記符号化対象画素ブロックの動きベクトルの水平成分と、前記符号化対象画素ブロックの左側に接する符号化済みの第２の画素ブロックの動きベクトルの水平成分とに基づいて、前記符号化対象画素ブロックの動きベクトルと前記第２の画素ブロックとの間の境界が前記動き境界であるか否かを判定する処理とを実行し、
   前記量子化パラメータ設定手段は、前記符号化対象画素ブロックと前記第１の画素ブロックとの間の境界または前記符号化対象画素ブロックと前記第２の画素ブロックとの間の境界の少なくとも一方が前記動き境界である場合、前記符号化対象画素ブロックに適用する量子化パラメータの値を、符号化データのレート制御によって決定される量子化パラメータの値よりも小さい値に設定することを特徴とする請求項１記載の動画像符号化装置。
5. 前記動き境界検出手段は、前記符号化対象画素ブロックの動きベクトルの垂直成分と前記第１の画素ブロックの動きベクトルの垂直成分との差が第１のしきい値以上であり、且つ前記符号化対象画素ブロックの動きベクトルの垂直成分の大きさと、前記第１の画素ブロックの動きベクトルの垂直成分の大きさのいずれかの大きさが第２のしきい値以下である場合に、前記符号化対象画素ブロックと前記第１の画素ブロックとの境界を前記動き境界として検出し、前記符号化対象画素ブロックの動きベクトルの水平成分と前記第２の画素ブロックの動きベクトルの水平成分との差が前記第１のしきい値以上であり、且つ前記符号化対象画素ブロックの動きベクトルの水平成分の大きさと、前記第２の画素ブロックの動きベクトルの水平成分の大きさのいずれかの大きさが前記第２のしきい値以下である場合に、前記符号化対象画素ブロックと前記第２の画素ブロックとの境界を前記動き境界として検出することを特徴とする請求項４記載の動画像符号化装置。
6. 動画像データを符号化する動画像符号化方法であって、
   入力画像内の画素ブロック毎に動きベクトルを算出する動きベクトル算出ステップと、
   前記各画素ブロックの動きベクトルに基づいて、前記入力画像内における動き領域と静止領域との間の動き境界を検出する動き境界検出ステップと、
   前記動き境界の検出結果に応じて、前記検出した動き境界に接する画素ブロックを量子化するための量子化パラメータの値を、前記検出した動き境界に接する画素ブロックが動き境界に接しない場合に設定される値よりも小さく設定する量子化パラメータ設定ステップとを具備することを特徴とする動画像符号化方法。
7. 前記動き境界検出ステップは、前記入力画像内の注目する画素ブロックの動きベクトルの垂直成分と、前記注目画素ブロックの上側又は下側に接する画素ブロックの動きベクトルの垂直成分との差が第１のしきい値以上であり、且つ前記注目画素ブロックの動きベクトルの垂直成分の大きさと、前記上側又は下側に接する画素ブロックの動きベクトルの垂直成分の大きさのいずれかの大きさが第２のしきい値以下である場合に、前記注目画素ブロックと前記上側又は下側に接する画素ブロックとの境界を前記動き境界として検出し、前記注目画素ブロックの動きベクトルの水平成分と、前記注目画素ブロックの左側又は右側に接する画素ブロックの動きベクトルの水平成分との差が前記第１のしきい値以上であり、且つ前記注目画素ブロックの動きベクトルの水平成分の大きさと、前記左側又は右側に接する画素ブロックの動きベクトルの水平成分の大きさのいずれかの大きさが前記第２のしきい値以下である場合に、前記注目画素ブロックと前記左側又は右側に接する画素ブロックとの境界を前記動き境界として検出することを特徴とする請求項６記載の動画像符号化方法。
8. 動画像データを符号化する処理をコンピュータに実行させるプログラムであって、
   入力画像内の画素ブロック毎に動きベクトルを算出する動きベクトル算出手順と、
   前記各画素ブロックの動きベクトルに基づいて、前記入力画像内における動き領域と静止領域との間の動き境界を検出する動き境界検出手順と、
   前記動き境界の検出結果に応じて、前記検出した動き境界に接する画素ブロックを量子化するための量子化パラメータの値を、前記検出した動き境界に接する画素ブロックが動き境界に接しない場合に設定される値よりも小さく設定する量子化パラメータ設定手順とを前記コンピュータに実行させることを特徴とするプログラム。
9. 前記動き境界検出手順は、前記入力画像内の注目する画素ブロックの動きベクトルの垂直成分と、前記注目画素ブロックの上側又は下側に接する画素ブロックの動きベクトルの垂直成分との差が第１のしきい値以上であり、且つ前記注目画素ブロックの動きベクトルの垂直成分の大きさと、前記上側又は下側に接する画素ブロックの動きベクトルの垂直成分の大きさのいずれかの大きさが第２のしきい値以下である場合に、前記注目画素ブロックと前記上側又は下側に接する画素ブロックとの境界を前記動き境界として検出し、前記注目画素ブロックの動きベクトルの水平成分と、前記注目画素ブロックの左側又は右側に接する画素ブロックの動きベクトルの水平成分との差が前記第１のしきい値以上であり、且つ前記注目画素ブロックの動きベクトルの水平成分の大きさと、前記左側又は右側に接する画素ブロックの動きベクトルの水平成分の大きさのいずれかの大きさが前記第２のしきい値以下である場合に、前記注目画素ブロックと前記左側又は右側に接する画素ブロックとの境界を前記動き境界として検出する手順を含むことを特徴とする請求項８記載のプログラム。

Images