JP2006319547A - 動画像符号化装置 - Google Patents

Abstract

【課題】画像の動きの頻度が低いブロックにおいて画質が劣化した状態が長時間にわたり続かないようにして画質の向上を図り、かつ不必要なリフレッシュが頻繁に行われないようにして符号化効率の向上を図る。
【解決手段】マクロブロックごとにＤＣＴ係数の数が連続して“０”と判定されている時間長、つまり画像が連続して静止していると見なすことができる時間長をウオッチドックタイマを使用して計時し、当該計時された時間長が予め定められた時間に達した時点で、ピクチャ符号化タイプによらず該当するマクロブロックを強制的にイントラ符号化するようにしたものである。
【選択図】 図２

Description

この発明は、動画像を符号化する装置に係わり、特に伝送誤りにより発生した画質劣化をイントラ符号化を用いて回復する動画像符号化装置に関する。

動画像の帯域圧縮符号化の基本的な方式として、予測符号化方式と変換符号化方式がある。映像信号には統計的な性質があること、すなわちピクチャ内の画素間及びピクチャ間の画素間に相関性があることが知られており、この性質を利用して高能率の符号化が行われる。予測符号化方式は時間領域における相関性を利用した方式であり、変換符号化方式は周波数領域における相関性を利用した方式である。

予測符号化方式は、動き補償予測により得られる予測画像との差分信号を符号化するものである。変換符号化方式は、画面を画素ごとにブロック化したものを離散コサイン変換（Discrete Cosine transform：ＤＣＴ）により周波数領域に変換し、得られた各周波数成分の変換係数（これを以後ＤＣＴ係数と呼称する）を量子化し伝送するものである。そして、近年ではこの両者を組み合わせた方式が一般的に採用されている。例えば、国際電気通信連合電気通信標準化部門：ＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication Standardization Sector）勧告のＨ．２６１やＨ．２６３、また国際標準化機構：ＩＳＯ（International Organization for Standardization）の下に設立された画像圧縮の標準化作業グループによるＭＰＥＧ（Moving Picture Experts Group）においては例えば１６×１６の画素ブロック（以後マクロブロックと呼称する）単位で符号化が行われる。

ところで、送信側の動画像符号化装置では動き補償予測を用いて符号化を行っていることから、フレームメモリには原画像とは多少異なる画像が保存される。したがって、一定時間が経過すると原画像との差が大きくなり、最終的に原画像とは大きく異なる画像データが保存されることになる。この異なった画像のマクロブロックのデータを周辺のブロックの動き補償に用いると、誤ったデータが周辺に拡散されることになる。

また予測符号化方式は、予測誤差信号のみを伝送し、これを送信先の動画像復号化装置側で蓄積することにより画像信号を再生するものである。このため、伝送路において符号誤りが発生すると、受信側の動画像復号化装置では誤りを含む画像データがフレームメモリに入力される。そしてこの結果、フレームメモリに保存されている原画像データが破壊されてしまう。またそればかりでなく、可変長データの同期が外れることにより、その後の画像データがすべて破壊されてしまうことになる。したがって、動画像復号化装置では、その後誤りのない画像データが送信されてきても、誤りの影響がリセットされるまで正しい画像データの復号再生が不可能になる。

そこで従来では、マクロブロックごとに予測画像と現行画像との差分値を求める。そして、この差分値がある基準値以上になったマクロブロックをイントラ符号化によりリフレッシュし、差分値が基準値に満たないマクロブロックについてはインター符号化する方式が提案されている。このような方式であれば、画像の動きに基準値以上の変化が発生するごとにそのマクロブロックがリフレッシュされる。このため、比較的早く画質劣化を改善できる（例えば特許文献１を参照。）。
特開２００１−１６９２８６公報、［００１２］及び［００１３］段落。

ところが、このような従来のリフレッシュ方式では、例えばあるマクロブロックにおいてそのイントラ符号化時に伝送誤りが混入すると、以後当該マクロブロックにおいて画像に基準値以上の動きが発生しなければ、当該マクロブロックに対しては長期間にわたりリフレッシュが行われない。このため、伝送誤りによる画質劣化が長期間にわたり残留することになる。

一方、この不具合を低減するために、すべてのマクロブロックに対し一定の周期で無条件にリフレッシュを行う方式も提案されている。しかし、イントラ符号化は符号化データ量が多い。このため、上記したようにすべてのマクロブロックに対し無条件にリフレッシュを行うと符号化効率が著しく低下する。

この発明は上記事情に着目してなされたもので、その目的とするところは、画像の動きの頻度が低いブロックにおいて画質が劣化した状態が長時間にわたり続かないようにして画質の向上を図り、かつ不必要なリフレッシュが頻繁に行われないようにして符号化効率の向上を図った動画像符号化装置を提供することにある。

上記目的を達成するためにこの発明は、時系列的に入力される複数のピクチャをそれぞれ複数のブロックに分割し、この分割されたブロックごとに画像の動き量を表すパラメータ値を算出して、当該算出されたパラメータ値が第１のしきい値以下であるか否かを判定する。また、上記分割されたブロックごとに上記パラメータ値が第１のしきい値以下と判定されている時間長計時して、当該計時された時間長が予め定められた第１の判定値に達したか否かを判定する。そして、上記計時された時間長が上記第１の判定値に達したと判定されると、該当するブロックをイントラ符号化するようにしたものである。

したがってこの発明によれば、あるブロックにおいて伝送誤りが混入しても、当該ブロックにおいて画像が動かない状態が第１の判定値に相当する期間以上続くと、該当するブロックがイントラ符号化される。このため、伝送誤りによる画質劣化が長期間にわたり残留する不具合は解消される。また、周期的なリフレッシュを短い周期で行う必要がなくなるので、不必要なリフレッシュの回数が低減され、これにより符号化効率を高く維持することができる。

したがってこの発明によれば、画像の動きの頻度が低いブロックにおいて画質が劣化した状態が長時間にわたって続かないようにして画質の向上を図り、かつ不必要なリフレッシュが頻繁に行われないようにして符号化効率の向上を図った動画像符号化装置を提供することができる。

以下、図面を参照してこの発明の実施形態を説明する。
図１は、この発明に係わる動画像符号化装置の一実施形態を示すブロック図である。
この実施形態に係わる動画像符号化装置は、ブロック切り出し部１と、動き予測部２と、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）係数計算部３と、量子化部４と、ローカルデコーダ部５と、参照画像記憶部６と、符号化モード判定部７と、タイマ制御部８と、第１のタイマ部（ＴＩＭＥＲ１）９と、第２のタイマ部（ＴＩＭＥＲ２）１０とを備えている。

ブロック切り出し部１は、カメラＣＭから出力される１ピクチャの画像信号を複数のマクロブロックに分割する。例えば、図３（ａ）に示すように４×４＝１６個のマクロブロックに分割する。各マクロブロックは、１６×１６画素の輝度情報と８×８画素の２つの色差情報を持つ。

動き予測部２は、インター符号化モードの場合において、参照画像記憶部６に記憶されている過去のピクチャの画像データＲＶＤを参照し、上記カメラＣＭにより周期的に撮像された画像データＶＤに対しマクロブロックごとに動き予測ベクトルＭＶを算出する。そして、この算出された動き予測ベクトルＭＶをＤＣＴ係数計算部３に入力する。

ＤＣＴ係数計算部３は、後述する符号化モード判定部７により決定される符号化モードＭＢＴに基づき、上記カメラＣＭから出力された撮像画像データＶＤ、上記動き予測部２により求められた動き予測ベクトルＭＶ、及び参照画像記憶部６に記憶されている参照画像データＲＶＤを選択的に使用してＤＣＴ係数ＤＰを算出する。
量子化部４は、上記ＤＣＴ係数計算部３により算出されたＤＣＴ係数ＤＰに対し量子化を行う。そして、この量子化されたＤＣＴ係数を符号化データＥＶＤとして図示しない可変長符号化部へ出力すると共に、ローカルデコーダ部５に入力する。

ローカルデコーダ部５は、上記量子化されたＤＣＴ係数に対し、逆量子化及び逆離散コサイン変換（Inverse Discrete Cosine Transform：ＩＤＣＴ）処理を行う。そして、これにより生成された復号データに基づいて得られた参照画像データを参照画像記憶部６に記憶させる。

第１のタイマ部９は、１ピクチャを構成する複数のマクロブロックの各々に対応する複数のウオッチドッグタイマにより構成される。これらのウオッチドッグタイマは互いに独立して計時動作を行い、カウント値が“０”になった時点でタイムアウトする。第２のタイマ部１０は、１ピクチャを構成する複数のマクロブロックの各々に対応する複数の累積タイマにより構成される。これらの累積タイマも互いに独立して計時動作を行い、カウント値が“０”になった時点でタイムアウトする。なお、第１のタイマ部９の各ウオッチドッグタイマのカウント値は例えば“２０”に設定され、また第２のタイマ部１０の各累積タイマのカウント値は“３”に設定される。

タイマ制御部８は、マクロブロックごとに上記ＤＣＴ係数計算部３により算出されたＤＣＴ係数ＤＰの数を第１のしきい値（例えば“０”）と比較し、ＤＣＴ係数ＤＰの数が第１のしきい値以下であるか否かを判定する。そして、ＤＣＴ係数ＤＰの数が第１のしきい値以下であれば、上記第１のタイマ部９の該当するウオッチドッグタイマをカウントダウンする。これに対しＤＣＴ係数ＤＰの数が第１のしきい値を超えている場合には、上記該当するウオッチドッグタイマを初期化する。

またタイマ制御部８は、マクロブロックごとに上記ＤＣＴ係数計算部３により算出されたＤＣＴ係数ＤＰの数を上記第１のしきい値より高く設定された第２のしきい値（例えば“１０”）と比較し、ＤＣＴ係数ＤＰの数が第２のしきい値より高いか否かを判定する。そして、ＤＣＴ係数ＤＰの数が第２のしきい値より高い場合に、上記第２のタイマ部１０の該当する累積タイマをカウントダウンする。これに対しＤＣＴ係数ＤＰの数が第２のしきい値以下の場合には、上記累積タイマをカウントダウンせずにそのカウント値を保持する。

符号化モード判定部７は、マクロブロックごとに、カメラＣＭや図示しない操作部から指定される符号化タイプと、上記ＤＣＴ係数計算部３により算出されたＤＣＴ係数ＤＰの数と、上記第１タイマ部９及び第２のタイマ部１０を構成する各タイマの動作状態とに基づいて、マクロブロックの符号化モードをインター符号化とするかイントラ符号化とするかを決定する。そして、この決定された符号化モードＭＢＴを上記ＤＣＴ係数計算部３に与える。

次に、以上のように構成された動画像符号化装置の動作を説明する。図２はその動作手順と動作内容を示すフローチャートである。
符号化処理が開始されると、先ずステップ２ａにおいて第１及び第２のタイマ部９，１０を構成する各タイマのカウント値が初期化される。続いてステップ２ｂにより、カメラＣＭにより撮像された１ピクチャの画像データが取得される。この取得された１ピクチャの画像データはブロック切り出し部１により複数のマクロブロックに分割される。マクロブロック数はＭＢ＿ＮＵＭで表される。

次に、ステップ２ｃによりマクロブロック番号ｎがリセット（ｎ＝０）される。すなわち、符号化対象マクロブロックとして先ず０番目のマクロブロックが選択される。そして、ステップ２ｄにより上記マクロブロック番号ｎとマクロブロック数ＭＢ＿ＮＵＭとが比較される。この比較の結果、マクロブロック番号ｎがマクロブロック数ＭＢ＿ＮＵＭより小さければ、符号化モード判定処理が行われる。この符号化モード判定処理は符号化モード判定部７により以下のように行われる。

すなわち、先ずステップ２ｅにおいて、第１のタイマ部９の上記選択された０番目のマクロブロックに対応するウオッチドックタイマのカウント値が“０”より大きいか否かが判定される。この判定の結果、ウオッチドックタイマのカウント値が“０”より大きければ、つまりタイムアウトしていなければステップ２ｈに移行する。このステップ２ｈでは、第２のタイマ部１０の０番目のマクロブロックに対応する累積タイマのカウント値が“０”より大きいか否かが判定される。この判定の結果、累積タイマのカウント値が“０”より大きければ、つまりタイムアウトしていなければステップ２ｆに移行する。

ステップ２ｆでは、ピクチャ符号化タイプがＰピクチャであるかＩピクチャであるかが判定される。なお、上記ピクチャ符号化タイプは、シーンチェンジのタイミングやユーザの操作、図示しないピクチャカウンタのカウント値に応じて図示しない主制御部により指定される。ユーザ操作とは、ピクチャの早送りや一時停止、巻き戻し再生、編集等を再生（復号）時に行えるように、符号化時にＩピクチャーを挿入する操作である。またシーンチェンジとは、例えば複数台のカメラを切り替えることにより発生する撮像画像の変化のことである。このシーンチェンジは、スイッチャ等の外部装置から発生されるカメラの切替信号を受け取ることにより認識してもよく、また動画像符号化装置においてカメラから入力された画像の変化を監視することにより検出するようにしてもよい。ピクチャカウンタは、ピクチャを周期的に強制的にリフレッシュする際のリフレッシュ周期を設定するためのもので、１周期は例えば１３２個のピクチャ期間に設定される。

上記ステップ２ｆにおいてピクチャ符号化タイプがＰピクチャと判定されると、ステップ２ｇに移行して該当する０番目のマクロブロックの符号化モードをインター符号化に決定する。これに対し上記ステップ２ｆにおいてピクチャ符号化タイプがＩピクチャと判定されると、ステップ２ｉに移行して該当する０番目のマクロブロックの符号化モードをイントラ符号化に決定する。すなわち、外部から指定されたピクチャ符号化タイプがＩピクチャである場合には、当該マクロブロックの符号化モードはイントラ符号化に設定される。

一方、第１のタイマ部９の該当するウオッチドッグタイマがタイムアウトしたとする。この場合には、ステップ２ｅからステップ２ｉに移行して該当する０番目のマクロブロックの符号化モードをイントラ符号化に決定する。すなわち、マクロブロックにおいて例えば２０ピクチャの期間にわたり連続して画像の動きが検出されなかった場合には、上記外部から指定されたピクチャ符号化タイプに関係なく強制的にイントラ符号化が選択される。

また、ステップ２ｈにおいて第２のタイマ部１０の該当する累積タイマがタイムアウトしたとする。この場合にもステップ２ｉに移行して該当する０番目のマクロブロックの符号化モードをイントラ符号化に決定する。すなわち、該当する０番目のマクロブロックにおいて画像が大きく変化する状態が例えば３ピクチャの期間にわたり連続的又は断続的に発生した場合にも、上記外部から指定されたピクチャ符号化タイプに関係なく強制的にイントラ符号化が選択される。

さて、以上のように０番目のマクロブロックに対する符号化モードが決定されると、決定された符号化モードがインター符号化であればステップ２ｊからステップ２ｋに移行し、ここで該当する０番目のマクロブロックに対しインター符号化が行われる。これに対し、決定された符号化モードがイントラ符号化であればステップ２ｊからステップ２ｍに移行し、ここで該当する０番目のマクロブロックに対しイントラ符号化が行われる。

インター符号化は、例えば次のように行われる。すなわち、インター符号化は動き補償予測を伴う。このため、先ず動き予測部２において、参照画像記憶部６に記憶された動き補償された予測画像データと、現行ピクチャにおけるマクロブロックの画像データとから動きベクトルが算出される。そして、この算出された動きベクトルと上記参照画像記憶部６に記憶された１ピクチャ前の対応するマクロブロックの参照画像データとから、１ピクチャ前の画像データに対する予測画像データが生成される。続いて、現行ピクチャにおけるマクロブロックの画像データと、上記生成された予測画像データとの差分画像データが生成される。

次に、ＤＣＴ係数計算部３において、上記差分画像データに対して離散コサイン変換が行われ、これにより得られたＤＣＴ係数ＤＰが量子化部４で量子化されて、符号化データＥＶＤとして出力される。また、上記量子化されたＤＣＴ係数ＤＰは、ローカルデコーダ部５で逆量子化及び逆離散コサイン変換が行われる。そして、これにより生成された復号データＤＶＤが参照画像データとして参照画像記憶部６に記憶される。この記憶された参照画像データは後続ピクチャの動き補償予測に用いられる。

一方、イントラ符号化は例えば次のように行われる。すなわち、イントラ符号化は動き補償予測を伴わない。このため、ブロック切り出し部１により切り出されたマクロブロックの画像データがそのままＤＣＴ係数計算部３に入力される。ＤＣＴ係数計算部３では、上記入力された現行ピクチャの画像データに対し離散コサイン変換が行われ、これにより得られたＤＣＴ係数が量子化部４により量子化される。

上記インター符号化又はイントラ符号化が終了すると、タイマ制御部８において次のようにタイマ制御処理が行われる。すなわち、先ずステップ２ｒにおいて、上記ＤＣＴ係数計算部３により算出されたＤＣＴ係数ＤＰの数が第２のしきい値と比較される。例えば、第２のしきい値は“１０”に設定され、上記算出されたＤＣＴ係数ＤＰの数がこの設定された“１０”と比較される。この判定の結果、ＤＣＴ係数ＤＰの数が“１０”未満であれば、該当する０番目のマクロブロックは画像の動きが無いか又はあっても少ないものと判断される。

次にステップ２ｎにおいて、上記ＤＣＴ係数計算部３により算出されたＤＣＴ係数ＤＰの数が第１のしきい値と比較される。このとき第１のしきい値は“０”に設定され、上記算出されたＤＣＴ係数ＤＰの数がこの設定された“０”と比較される。この判定の結果、ＤＣＴ係数ＤＰの数が“０”であれば、該当する０番目のマクロブロックは画像の動きが全く無いものと判断され、ステップ２ｏにおいて対応するウオッチドッグタイマのカウント値をカウントダウンする処理が行われる。

これに対し上記ステップ２ｒにおいてＤＣＴ係数ＤＰの数が“１０”未満と判定され、かつ上記ステップ２ｎにおいてＤＣＴ係数ＤＰの数が“０”より大きいと判定されたとする。この場合には、該当する０番目のマクロブロックにおいて画像に小さな動きが発生したものと判断され、ステップ２ｐにおいて対応するウオッチドッグタイマのカウント値を初期化する処理が行われる。

一方、上記ステップ２ｒにおいてＤＣＴ係数ＤＰの数が“１０”未満以外、つまり“１０”以上と判定されたとする。この場合には、該当する０番目のマクロブロックにおいて画像に大きな動きが発生したものと判断され、ステップ２ｓにおいて対応する累積タイマのカウント値がカウントダウンされる。すなわち、累積タイマにおいて画像に大きな動きが発生した回数がカウントされる。また、このとき同じマクロブロックに対応したウオッチドッグタイマのカウント値はステップ２ｐにおいて初期化される。
なお、上記ステップ２ｍにおいてイントラ符号化が行われた場合には、ステップ２ｔにおいて第１のタイマ部９のウオッチドッグタイマ及び第２のタイマ部１０の累積タイマは共に初期化される。

そうしてウオッチドッグタイマ及び累積タイマの制御が終了すると、ステップ２ｑによりマクロブロック番号ｎがインクリメント（ｎ＝ｎ＋１）され、これにより次のマクロブロックが選択される。そしてステップ２ｄに戻り、以後ステップ２ｄから２ｐにより上記新たに選択されたマクロブロック（ｎ＝１番目のマクロブロック）に対する符号化処理が実行される。以後同様に、選択された１個のマクロブロックに対する符号化処理が終了するごとに、ステップ２ｄに戻って次に選択されたマクロブロックに対する符号化処理が繰り返し実行される。

そして、１ピクチャを構成するすべてのマクロブロックに対する符号化処理が終了すると、ステップ２ｄからステップ２ｂに戻って次のピクチャ画像が取得される。そして、今度はこの新たなピクチャ画像に対し、マクロブロックごとに先に述べた手順に従い符号化処理が繰り返し実行される。

以上のようにこの実施形態に係わる動画像符号化装置では、通常の動作状態においては、ピクチャ周期で外部から指定されるピクチャ符号化タイプに応じて、マクロブロックごとに符号化モードがインター符号化であるかイントラ符号化であるかが決定される。そして、この決定結果に応じて、該当するマクロブロックの画像データに対しインター符号化又はイントラ符号化が行われる。

一方、上記通常の動作状態において、第１のタイマ部９のウオッチドッグタイマがあるピクチャにおいてタイムアウトしたとする。この場合、符号化モード判定部７はステップ２ｅからステップ２ｉに移行する。そして、このステップ２ｉにおいて該当するマクロブロックに対する符号化モードをイントラ符号化に決定する。そして、当該マクロブロックに対しイントラ符号化が行われる。すなわち、このとき外部から指定されたピクチャ符号化タイプがＰピクチャだったとしても、当該マクロブロックに対しては強制的にイントラ符号化が行われる。

例えば、図３（ｂ），（ｃ）に示すようにピクチャ内の被写体が移動し、これによりあるマクロブロックの画像が動きの無い背景画像に変化したとする。この場合には、この状態が例えば２０ピクチャ期間にわたり連続するとウオッチドッグタイマがタイムアウトし、当該マクロブロックは強制的にイントラ符号化される。このため、例えば図４に示すようにあるピクチャにおいてイントラ符号化した画像データＩに誤りが発生し、その後複数ピクチャ期間にわたってインター符号化が続いたとしても、２０ピクチャ期間Ｔ０が経過するとウオッチドッグタイマがタイムアウトして、当該マクロブロックに対し強制的にイントラ符号化が行われる。
したがって、イントラ符号化時又はその後のインター符号化時に発生した画像誤りの影響が長期に亘って残留する不具合は解消され、これにより画質の劣化を防止することができる。

また、上記ウオッチドッグタイマの計時期間中に、第２のタイマ部１０の累積タイマがタイムアウトしたとする。この場合、符号化モード判定部７はステップ２ｆからステップ２ｉに移行して、該当するマクロブロックに対する符号化モードをイントラ符号化に決定する。そして、当該マクロブロックに対しイントラ符号化が行われる。すなわち、画像が大きく変化する状態が例えば３ピクチャ期間にわたり連続的又は断続的に発生すると、上記外部から指定されるピクチャ符号化タイプに関係なく、また上記ウオッチドッグタイマのタイムアウトを待つことなく強制的にイントラ符号化が行われる。

したがって、画像の動きに応じてイントラ符号化が行われることになり、これにより誤りの影響を含むマクロブロックの画像をいち早くリフレッシュすることができる。また、このイントラ符号化は、上記したように画像が大きく変化する状態が３ピクチャ期間にわたり連続的又は断続的に発生した場合に行われる。このため、例えば画像の変化の大小に関係なく画像が変化した時点で即時イントラ符号化を行う場合や、画像が大きく変化した時点で即時イントラ符号化を行う場合に比べ、イントラ符号化の頻度を低減することができ、これにより符号化効率を高く維持することができる。

さらにこの実施形態では、図４に示すように、ピクチャカウンタを用意して、このピクチャカウンタにより符号化対象となるピクチャ数をカウントしている。そして、そのカウント値が予め定めた値（例えば１３２ピクチャ）に達した時点で、ピクチャ符号化タイプをＩピクチャとし、これにより当該ピクチャのすべてのマクロブロックを強制的にリフレッシュしている。

したがって、例えばＰピクチャが連続している状態で時折画像に小さな動きが発生するような場合、つまり第１及び第２のタイマ部９，１０がいずれも長時間にわたってタイムアウトしないような場合でも、上記１３２ピクチャの周期で当該マクロブロックは強制的にイントラ符号化される。このため、ピクチャが連続することで発生する過去からの誤差の累積は１３２ピクチャ周期で確実に解消され、これにより高画質を維持することができる。

なお、この発明は上記実施形態に限定されるものではない。例えば、前記実施形態ではウオッチドッグタイマを使用し、ＤＣＴ係数の数が“０”以外の値になるごとに、つまり画像に動きが検出されるごとに、ウオッチドッグタイマのカウント値を初期化するようにしている。しかしこれに限らず、ＤＣＴ係数の数が“０”以外の値になった場合にはタイマのカウント値を初期化せずそのまま保持し、次にＤＣＴ係数の数が“０”になるとカウントダウンを再開するようにしてもよい。すなわち、画像に動きが検出されない状態の累積時間をタイマにより計時し、上記累積時間が予め定めた一定時間に達した時点でタイマをタイムアウトさせてイントラ符号化を行う。

また前記実施形態では、ＤＣＴ係数の数が“０”であるとき、つまり対象となるマクロブロック画像が静止画であるときに第１のタイマ部９のタイマをカウントダウンさせるようにした。しかし、量子化誤差などの影響を考慮して、上記ＤＣＴ係数の数の判定しきい値を“１”以上の任意の値に設定し、多少差分符号化されていても対象マクロブロックを静止画と見なして、第１のタイマ部９のウオッチドッグタイマをカウントダウンさせるようにしてもよい。

このようにすると、リフレッシュのためのイントラ符号化の回数が増加するため、以下のような効果が奏せられる。すなわち、過去の量子化誤差等により差分が符号化されているだけの場合や、視覚的に微小な画素値の変化しかないマクロブロックにおいて画素誤りが発生した場合には、画素値がほとんど更新されずに誤りが残留する可能性がある。しかし、差分符号化されたマクロブロックであっても画素変化が小さい場合にはこれを静止画と見なしてタイマをカウントダウンするようにしたことにより、画素誤りの残留を早期に解消して画質を改善することができる。

さらに前記実施形態では、第１及び第２のタイマ部９，１０をピクチャ周期でカウントダウンする場合を例にとって説明した。しかし、上記ピクチャ周期とは別の周期でクロックを生成するクロック生成器を設け、第１及び第２のタイマ部９，１０を上記クロック生成器から生成されるクロックによりカウントダウンするようにしてもよい。

さらに前記実施形態では、１ピクチャのすべてのマクロブロックを対象にタイムアウトに基づく強制的なイントラ符号化を行うようにした。しかし、１ピクチャ中の注目するマクロブロックを選択し、この選択されたマクロブロックに対してのみタイムアウトに基づく強制的なイントラ符号化を行うようにしてもよい。具体的には、各マクロブロックの輝度成分に注目し、この輝度成分がしきい値以上のマクロブロックを選択するとよい。このようにすると、視聴者にとって目につきやすいマクロブロックに対してのみタイムアウトに基づく強制的なイントラ符号化が行われる。このようにすると、実用上の画質を維持しつつ符号量を低減して符号化効率を高めることが可能となる。

また、画像の動きの有無を判定する手段としては、ＤＣＴ係数の数をしきい値と比較する以外に、ＤＣＴ係数の値をしきい値と比較するものでもよい。また、画像の動きを表すパラメータであれば、ＤＣＴ係数以外のパラメータを使用することも可能である。
さらに前記実施形態では、動画像符号化装置を構成する各部をハードウエア又はＤＳＰ（Digital Signal Processor）により構成する場合を例にとって説明したが、上記各部のすべて又は一部をソフトウエアにより実現することも勿論可能である。

さらに、第１のタイマ部９を構成する各ウオッチドッグタイマのカウント値、及び第２のタイマ部１０を構成する各累積タイマのカウント値は、それぞれ“２０”、“３”に限定されるものではなく、その他の任意の値に設定することが可能である。また、第１のタイマ部９のカウント値と第２のタイマ部１０のカウント値の大小関係についても、任意に設定できる。

その他、画像の動きの有無を検出する手段や、符号化制御手順とその内容、動画像符号化装置の構成等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

この発明に係わる動画像符号化装置の一実施形態を示すブロック図。 図１に示した動画像符号化装置における符号化処理手順と処理内容を示すフローチャート。 図１に示した動画像符号化装置の動作説明に使用するためのピクチャ画像の一例を示す図。 図１に示した動画像符号化装置の動作説明に使用するためのタイミング図。

符号の説明

ＣＭ…カメラ、１…ブロック切り出し部、２…動き予測部、３…ＤＣＴ係数計算部、４…量子化部、５…ローカルデコーダ、６…参照画像記憶部、７…符号化モード判定部、８…タイマ制御部、９…タイマ部。

Claims (10)

1. 時系列的に入力される複数のピクチャをそれぞれ複数のブロックに分割する分割手段と、
   前記分割されたブロックごとに、画像の動き量を表すパラメータ値を算出するパラメータ算出手段と、
   前記パラメータ算出手段により算出されたパラメータ値が第１のしきい値以下であるか否かを判定する第１の判定手段と、
   前記分割されたブロックごとに、前記第１の判定手段の判定結果をもとに前記パラメータ値が第１のしきい値以下と判定されている時間長を計時する第１の計時手段と、
   前記第１の計時手段により計時された時間長が、予め定められた第１の判定値に達したか否かを判定する第２の判定手段と、
   前記第２の判定手段により、前記第１の計時手段により計時された時間長が前記第１の判定値に達したと判定されると、該当するブロックをイントラ符号化する第１の符号化制御手段と
   を具備することを特徴とする動画像符号化装置。
2. 第１の計時手段は、複数のピクチャ期間に渡って前記パラメータ値が予め定められた期間以上連続して第１のしきい値以下を維持している時間長を計時することを特徴とする請求項１記載の動画像符号化装置。
3. 前記第１の計時手段は、前記第１の判定手段の判定結果をもとに、前記パラメータ値が第１のしきい値以下と判定されるごとに計時値を更新し、前記算出されたパラメータ値が第１のしきい値を超えていると判定されるごとに前記計時値を初期化し、当該計時値が予め定めた計時値に達した時点でタイムアウトするウオッチドッグタイマを備え、
   前記第２の判定手段は、ウオッチドッグタイマがタイムアウトすると、前記計時時間が第１の判定値に達したと判定することを特徴とする請求項２記載の動画像符号化装置。
4. 第１の計時手段は、複数のピクチャ期間に渡り、前記パラメータ値が第１のしきい値未満となる期間の累積値を計時することを特徴とする請求項１記載の動画像符号化装置。
5. 前記第１の計時手段は、前記第１の判定手段の判定結果をもとに、前記パラメータ値が第１のしきい値以下と判定されるごとに計時値を更新し、前記算出されたパラメータ値が第１のしきい値を超えていると判定された場合に計時値の更新を停止し、当該計時値が予め定めた計時値に達した時点でタイムアウトする累積タイマを備え、
   前記第２の判定手段は、前記累積タイマがタイムアウトすると、前記計時時間長が第１の判定値に達したと判定することを特徴とする請求項４記載の動画像符号化装置。
6. 前記第１の符号化制御手段は、
   ピクチャを構成する複数のブロックの中から注目ブロックを選択する手段と、
   前記選択された注目ブロックにおいて、前記第２の判定手段により、前記第１の計時手段により計時された時間長が第１の判定値に達したと判定されると、当該注目ブロックをイントラ符号化する手段と
   を備えることを特徴とする請求項１記載の動画像符号化装置。
7. 前記分割されたブロックごとに、前記パラメータ算出手段により算出されたパラメータ値が前記第１のしきい値より高く設定された第２のしきい値を超えているか否かを判定する第３の判定手段と、
   前記分割されたブロックごとに、前記第３の判定手段の判定結果をもとに前記パラメータ値が第２のしきい値を超えていると判定されている時間長を計時する第２の計時手段と、
   前記第２の計時手段により計時された時間長が予め定められた第２の判定値に達したか否かを判定する第４の判定手段と、
   前記第４の判定手段により、前記第２の計時手段により計時された時間長が前記第２の判定値に達したと判定されると、該当するブロックをイントラ符号化する第２の符号化制御手段と
   を、さらに具備することを特徴とする請求項１記載の動画像符号化装置。
8. 前記入力されたピクチャの数をカウントするカウント手段と、
   前記カウント手段のカウント値が、前記第１の判定値より長く設定された時間長に相当する値に達した場合に、該当するブロックを強制的にイントラ符号化する第３の符号化制御手段と
   を、さらに具備することを特徴とする請求項１又は２記載の動画像符号化装置。
9. 時系列的に入力される複数のピクチャをそれぞれ複数のブロックに分割する分割手段と、
   前記分割されたブロックごとに、画像の動き量を表すパラメータ値を算出するパラメータ算出手段と、
   前記パラメータ算出手段により算出されたパラメータ値が第１のしきい値以下であるか否かを判定する第１の判定手段と、
   前記分割されたブロックごとに、前記第１の判定手段の判定結果をもとに前記パラメータ値が第１のしきい値以下と判定された回数をカウントする第１のカウント手段と、
   前記第１のカウント手段によりカウントされた値が、予め定められた第１の判定値に達したか否かを判定する第２の判定手段と、
   前記第２の判定手段により、前記第１のカウント手段によりカウントされた値が前記第１の判定値に達したと判定されると、該当するブロックをイントラ符号化する第１の符号化制御手段と
   を具備することを特徴とする動画像符号化装置。
10. 前記分割されたブロックごとに、前記パラメータ算出手段により算出されたパラメータ値が前記第１のしきい値より高く設定された第２のしきい値を超えているか否かを判定する第３の判定手段と、
    前記分割されたブロックごとに、前記第３の判定手段の判定結果をもとに前記パラメータ値が第２のしきい値を超えたと判定された回数をカウントする第２のカウント手段と、
    前記第２のカウント手段によりカウントされた値が予め定められた第２の判定値に達したか否かを判定する第４の判定手段と、
    前記第４の判定手段により、前記第２のカウント手段によりカウントされた値が前記第２の判定値に達したと判定されると、該当するブロックをイントラ符号化する第２の符号化制御手段と
    を、さらに具備することを特徴とする請求項９記載の動画像符号化装置。

Images