JP2011035444A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】本発明は、エラーから復帰に要する時間を短縮し得る。
【解決手段】本発明は、隣接画素を用いたフィルタ処理によって整数精度未満の画素を生成し、参照符号化単位の整数精度未満の画素を参照して実行される整数精度未満での動き予測処理の際、復号されるときにエラーから復帰していない未復帰のマクロブロックを参照して生成される整数精度未満の画素を含有しないよう、参照ブロックに対する探索範囲を設定する。また、画像符号化部４は、復号されるときにエラーから復帰していない未復帰のマクロブロックを参照しないよう、デブロックフィルタ処理を制限する。
【選択図】図５

Description

本発明は画像処理装置及び画像処理方法に関し、例えば地上デジタル放送によって配信される画像データを符号化する符号化装置に適用して好適なものである。

従来、壁掛けテレビなど、離隔した位置に載置された表示装置に対して無線でＨＤ（High Definition）動画像データを伝送する無線伝送技術が開発されている。この無線伝送技術に用いられる伝送方式としては、６０［ＧＨｚ］帯を使用するミリ波、５［ＧＨｚ］帯を使用するＩＥＥＥ ８０２．１１ｎ(無線ＬＡＮ（Local Area Network）)、ＵＷＢ（Ultra Wide Band）などが考えられる。

無線伝送技術では、ＨＤ動画像データを符号化により圧縮して伝送するようになされている。この無線伝送技術では、ＨＤ動画像データを伝送してから表示装置に表示されるまでの遅延ができる限り小さいことが望ましい。地上デジタル放送などの放送番組のリアルタイム表示を可能にするためである。

例えばピクチャごとにＩピクチャ、Ｐピクチャ及びＢピクチャを変更する符号化方式では、Ｉピクチャの符号量が他のピクチャと比して大きい。このため、この符号化方式を無線伝送技術に適用した場合、符号量が均一となるＧＯＰ（Group Of Picture）単位でのバッファリングが必要となり、遅延も大きくなる。

そこで、図１に示すように、ＭＰＥＧ（Moving Picture Experts Group）−２を用いたイントラスライス方式により、ＨＤ動画像データを符号化して伝送するようになされた画像処理装置が提案されている（例えば特許文献１参照）。

このＭＰＥＧ−２を用いたイントラスライス方式では、ピクチャが、イントラ符号化されるＩピクチャ領域Ｉ＿ＭＢと、前方向予測符号化されるＰピクチャ領域Ｐ＿ＭＢとから構成される。イントラスライス方式では、１ピクチャごとに所定のＭＢライン数でなるＩピクチャ領域（以下、これをリフレッシュラインと呼ぶ）ＲＬを出現させる。このリフレッシュラインＲＬは、順次ずれて出現することにより、周期Ｔでピクチャの全てにおいて出現する。

これにより、イントラスライス方式では、ピクチャごとの符号量を均一にすることができるため、ＨＤ動画像データを伝送してから表示装置に表示されるまでの遅延を小さくするようになされている。

特開平１１−２０５８０３号公報

ところで近年、ＩＥＥＥ ８０２．１１ｎによる伝送方式が普及していることから、ＩＥＥＥ ８０２．１１ｎを用いてＨＤ動画像データの無線伝送を行う方式が注目されている。

しかしながら、ＩＥＥＥ ８０２．１１ｎを用いる場合、伝送帯域としては１００［Ｍｂｐｓ］以下が主流となる。上述したＭＰＥＧ−２を用いたイントラスライス方式は、圧縮効率が低く、ビットレートを１００［Ｍｂｐｓ］以下にすることが困難である。

そこで、イントラスライス方式をより圧縮効率の高いＨ．２６４／ＡＶＣ（Advanced Video Coding）に適用することが望ましい。しかしながら、Ｈ．２６４／ＡＶＣでは、動き予測に１／４画素を生成すること、デブロックフィルタの使用が想定されていることなど、ＭＰＥＧ−２とはその構成が相違する。このため、イントラスライス方式をそのまま適用した場合、Ｈ．２６４／ＡＶＣとＭＰＥＧ−２との相違により、エラーの伝搬を防止することができず、エラーからの復帰に時間を要してしまうという問題があった。

本発明は以上の点を考慮してなされたもので、復号時にエラーから復帰するまでの時間を短縮し得る画像処理装置及び画像処理方法を提案しようとするものである。

かかる課題を解決するため本発明の画像処理装置においては、強制イントラブロックに対するイントラ符号化を実行するイントラ符号化部と、参照対象となる参照ピクチャにおける参照符号化単位に対し、隣接画素を用いたフィルタ処理によって隣接画素に対応する対応画素を生成し、強制イントラブロック及び他ブロックの境界となる境界ラインから、隣接画素の数に対応する対応画素を含有しないよう、参照符号化単位に対する探索範囲を設定する探索範囲設定部と、探索範囲設定部において設定された探索範囲で動きベクトルを検出し、動き予測処理を実行する動き予測部と、デブロックフィルタ処理を適用するか、又は、デブロックフィルタ処理を境界ラインで適用するかを示すデブロックフィルタ設定情報を変更することにより、デブロックフィルタ処理に対する制限を設定するデブロックフィルタ制限部と、イントラ符号化部及び動き予測部によって符号化された符号化単位のローカルデコード画像に対し、デブロックフィルタ制限部によって変更されたデブロックフィルタ設定情報に従って、デブロックフィルタ処理を実行するデブロックフィルタとを設けるようにした。

これにより、画像処理装置では、動き予測処理及びデブロックフィルタ処理に起因する復号時のエラー伝搬を防止することができる。

本発明の画像処理方法では、強制イントラブロックに対するイントラ符号化を実行するイントラ符号化ステップと、参照対象となる参照ピクチャにおける参照符号化単位に対し、隣接画素を用いたフィルタ処理によって隣接画素に対応する対応画素を生成し、強制イントラブロック及び他ブロックの境界となる境界ラインから、隣接画素の数に対応する対応画素を含有しないよう、参照符号化単位に対する探索範囲を設定する探索範囲設定ステップと、探索範囲設定ステップにおいて設定された探索範囲で動きベクトルを検出し、動き予測処理を実行する動き予測ステップと、デブロックフィルタ処理を適用するか、又は、デブロックフィルタ処理を境界ラインで適用するかを示すデブロックフィルタ設定情報を変更することにより、デブロックフィルタ処理に対する制限を設定するデブロックフィルタ制限ステップと、イントラ符号化ステップ及び動き予測ステップにおいて符号化された符号化単位のローカルデコード画像に対し、デブロックフィルタ制限部によって変更されたデブロックフィルタ設定情報に従って、デブロックフィルタ処理を実行するデブロックフィルタとを設けるようにした。

これにより、画像処理方法では、動き予測処理及びデブロックフィルタ処理に起因する復号時のエラー伝搬を防止することができる。

本発明によれば、動き予測処理及びデブロックフィルタ処理に起因する復号時のエラー伝搬を防止することができる。かくして本発明は、復号時にエラーから復帰するまでの時間を短縮し得る画像処理装置及び画像処理方法を実現できる。

イントラスライス方式の説明に供する略線図である。 画像処理装置及び表示装置の構成を示す略線図である。 符号化装置の構成を示す略線図である。 動き予測によるエラーの伝搬の説明に供する略線図である。 エラーからの復帰の説明に供する略線図である。 ＡＶＣの動き予測におけるエラーの伝搬の説明に供する略線図である。 ＡＶＣのイントラ予測によるエラーの伝搬の説明に供する略線図である。 ＡＶＣのデブロックフィルタにおけるエラーの伝搬ｍｐ説明に供する略線図である。 ＭＶｙ＝０の場合の参照対象ブロックの説明に供する略線図である。 ＭＶｙ≠０の場合の参照対象ブロックの説明に供する略線図である。 符号化処理手順の説明に供するフローチャートである。 マクロブロック判定処理手順の説明に供するフローチャートである。 第１の実施の形態によるスライス分割判定処理手順の説明に供するフローチャートである。 第１の実施の形態による探索範囲決定処理手順の説明に供するフローチャートである。 第２の実施の形態によるイントラスライス方式の説明に供する略線図である。 スライス境界の移動とエラーの伝搬の説明に供する略線図である。 スライス境界の固定におるエラー伝搬の防止の説明に供する略線図である。 デブロックフィルタの影響の説明に供する略線図である。 第２の実施の形態による探索範囲の説明に供する略線図である。 第２の実施の形態によるスライス分割判定処理手順の説明に供するフローチャートである。 第２の実施の形態による探索範囲決定処理手順の説明に供するフローチャートである。 ランダムリフレッシュ方式の原理の説明に供する略線図である。 １マクロブロックごとのリフレッシュブロックの出現の説明に供する略線図である。 第３の実施の形態によるスライス分割判定処理手順の説明に供するフローチャートである。 複数マクロブロックごとのリフレッシュブロックの出現の説明に供する略線図である。 第５の実施の形態による第３のエラー伝搬要因の回避の説明に供する略線図である。

以下、図面について、本発明の一実施の形態を詳述する。なお、説明は以下の順序で行う。
１．第１の実施の形態（デブロックフィルタを用いないＡＶＣイントラスライス方式）
２．第２の実施の形態（デブロックフィルタを用いたＡＶＣイントラスライス方式）
３．第３の実施の形態（１マクロブロックごとにリフレッシュブロックが出現するランダムリフレッシュ方式）
４．第４の実施の形態（複数マクロブロックごとにリフレッシュブロックが出現するランダムリフレッシュ方式）
５．第５の実施の形態（ランダムリフレッシュ方式におけるデブロックフィルタの使用）
６．他の実施の形態

＜１．第１の実施の形態＞
[１−１．画像処理装置の構成]
図２おいて１００は、全体として無線画像データ伝送システムを示している。この無線画像データ伝送システム１００は、例えば地上デジタル放送などの放送信号を受信して表示する壁掛テレビでなり、画像処理装置１及び表示装置３０を有している。

画像処理装置１は、放送信号Ｓ１を受信し、得られる画像データをＨ．２６４／ＡＶＣに従って符号化し、ビットストリームＳ６を生成する。そして画像処理装置１は、ビットストリームＳ６及び音声データが符号化された符号化音声データＳ７を表示装置３０に無線伝送する。表示装置３０は、ビットストリームＳ６及び符号化音声データＳ７を復号して出力する。この結果、表示装置３０は、地上デジタル放送などに基づく放送番組コンテンツをユーザに視聴させることができる。

デジタル放送受信部２は、例えばアンテナやインターネットなどのネットワークに接続されており、地上デジタル放送などの放送信号Ｓ１を受信する外部インターフェースでなる。この放送信号Ｓ１は、例えばＭＰＥＧ（Moving Picture Experts Group）−２規格に従って符号化されている。

デジタル放送受信部２は、放送番組コンテンツを表す放送信号Ｓ１を受信すると、これを放送信号Ｓ２としてデジタルチューナ部３へ供給する。デジタルチューナ部３は、放送信号Ｓ２を復号し、画像データＳ４及び音声データＳ５をそれぞれ生成する。

デジタルチューナ部３は、画像データＳ４を画像符号化部４に供給し、音声データＳ５を音声符号化部５に供給する。画像符号化部４は、後述する画像符号化処理によりＨ．２６４／ＡＶＣ（Advanced Video Coding）方式に従って画像データＳ４を符号化してビットストリームＳ６を生成し、これを送信部６に供給する。

音声符号化部５は、所定の符号化方式に従って音声データＳ５を符号化して音声符号データＳ７を生成し、これを送信部６に供給する。送信部６は、例えばＩＥＥＥ ８０２．１１ｎなどの無線伝送方式により、ビットストリームＳ６及び音声符号データＳ７を送信する。

この結果、表示装置３０には、ビットストリームＳ６及び音声符号データＳ７が供給される。表示装置３０は、無線受信部３０によってビットストリームＳ６及び音声符号データＳ７を受信すると、これを復号部３２に供給する。

復号部３２は、ビットストリームＳ６及び音声符号データＳ７を復号し、画像データＳ４及び音声データＳ５に対応する画像データＳ１４及び音声データＳ１５を生成し、表示部３３及びスピーカ３４にそれぞれ供給する。この結果、表示部３３には、画像データＳ１４に基づく画像が表示される。また、スピーカ３４からは、音声データＳ１５に基づく音声が出力される。

このように、画像処理装置１及び表示装置３０は、符号化された放送信号を無線で送受するようになされている。

[１−２．画像符号化部の構成]
図３に示すように、画像符号化部４は、デジタルチューナ部３から画像データＳ４が供給されると、画像データＳ４をバッファ８へ供給する。

バッファ８は、画像データＳ４をピクチャヘッダ生成部９に供給する。ピクチャヘッダ生成部９は、ピクチャヘッダを生成して画像データＳ４に付加し、イントラマクロブロック判定部１０、並びに動き予測・補償部１４又はイントラ予測部１５にそれぞれ供給する。このときピクチャヘッダ生成部９は、ｃｏｎｓｔｒａｉｎｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ（詳しくは後述する）などのフラグを付加する。

イントラマクロブロック判定部１０は、マクロブロックごとに、Ｉマクロブロックとしてイントラ符号化するか又はＰマクロブロックとしてインター符号化するかを決定する。イントラマクロブロック判定部１０は、決定結果をスライス分割判定部１１、スライスヘッダ生成部１２及びスイッチ２８に供給すると共に、画像データＳ４を演算器１３に供給する。

スライス分割判定部１１は、イントラマクロブロック判定部１０の決定結果などに基づいて、スライスを分割するか否かを判定し、判定結果をスライスヘッダ生成部１２に供給する。

スライスヘッダ生成部１２は、スライスヘッダを生成して画像データＳ４に付加し、これを演算器１３に供給する。

演算器１３は、画像データＳ４をインター符号化すべき場合には、動き予測・補償部１４から供給される予測値Ｌ５を画像データＳ４から減算し、これを差分データＤ１として直交変換部１７に供給する。演算器１３は、画像データＳ４をイントラ符号化すべき場合には、イントラ予測部１５から供給される予測値Ｌ５を画像データＳ４から減算し、これを差分データＤ１として直交変換部１７に供給する。

直交変換部１７は、ＤＣＴ（Discrete Cosine Transform）変換及びカルーネン・レーベ変換などの直交変換処理により、差分データＤ１を直交変換し、直交変換係数Ｄ２を量子化部１８に供給する。

量子化部１８は、レート制御部１９の制御により決定された量子化パラメータＱＰを用いて直交変換係数Ｄ２を量子化し、量子化係数Ｄ３を逆量子化部２３及び可逆符号化部２０に供給する。可逆符号化部２０は、ＣＡＶＬＣ（Context-based Adaptive Variable Length Code）及びＣＡＢＡＣ（Context Adaptive Binary Arithmetic Coding）などのエントロピー符号化方式に従って量子化係数Ｄ３を可逆符号化し、可逆符号化データＤ５を蓄積バッファ２１に供給する。

また、可逆符号化部２０は、イントラ符号化及びインター符号化に関する情報を動き予測・補償部１４及びイントラ予測部１５から取得しこれらの情報を可逆符号化データＤ５のヘッダ情報に設定する。

蓄積バッファ２１は、可逆符号化データＤ５を蓄積すると共に、当該可逆符号化データＤ５を所定の伝送速度でビットストリームＳ６として出力する。レート制御部１９は、蓄積バッファ２１を監視し、可逆符号化データＤ５の発生符号量が所定の制御単位（例えばフレームやＧＯＰなど）ごとに一定の符号量に近づくよう、量子化パラメータＱＰを決定する。

逆量子化部２３は、量子化係数Ｄ３を逆量子化して再生直交変換係数Ｌ１を生成し、これを逆直交変換部２４に供給する。逆直交変換部２４は、再生直交変換係数Ｌ１を逆直交変換して再生差分データＬ２を生成する。逆直交変換部２４は、同時に供給される参照対象ブロックの画像データと再生差分データＬ２とを加算してローカルデコード画像Ｌ３を生成し、これをデブロックフィルタ２６に供給する。

デブロックフィルタ２６は、処理対象ブロックに対してデブロックフィルタ処理を実行し、これをフレームメモリ２７に供給する。この結果、フレームメモリ２７には、デブロックフィルタ処理されたローカルデコード画像Ｌ４が記憶される。

フレームメモリ２７は、デブロックフィルタ処理されたローカルデコード画像Ｌ４のうち、参照対象ブロックに対応するローカルデコード画像Ｌ４を、動き予測・補償部１４又はイントラ予測部１５に対して供給する。このとき、イントラマクロブロック判定部１０の判定結果に応じてスイッチ２８が切換えられる。

動き予測・補償部１４は、ローカルデコード画像Ｌ４を参照して画像データＳ４に対する動き予測により処理対象ブロックの予測値Ｌ５を生成し、演算器１３に供給する。イントラ予測部１５は、ローカルデコード画像Ｌ４を参照して画像データＳ４に対するイントラ予測により処理対象ブロックの予測値Ｌ５を生成し、演算器１３に供給する。

このように、画像符号化部４は、画像データＳ４を符号化してビットストリームＳ６を生成するようになされている。

［１−３．ＡＶＣ特有のエラーの伝搬要因］
以下、ＡＶＣ特有のエラー伝搬要因として、第１〜第３の伝搬要因について順次説明する。第１の伝搬要因は、動きベクトルの検出時における探索範囲である。

図４に示すように、ＭＰＥＧ−２によるイントラスライス方式では、ピクチャごとにリフレッシュラインＲＬが１ライン分ずつ変動するように、符号化しておく。このリフレッシュラインＲＬは、１マクロブロックごとのラインでも良く、また複数のマクロブロックごとのラインであっても良い。以下、リフレッシュラインＲＬの出現するライン単位を、符号化ライン単位と呼ぶ。また、マクロブロックがｘ方向（水平方向）に並ぶラインをマクロブロックラインと呼ぶ。１マクロブロックラインとは、１つのマクロブロックが並ぶラインのことである。

これにより、仮に復号時において１枚のピクチャにエラーが生じた場合、図４（Ａ）に示すように、次にピクチャにおいてリフレッシュラインＲＬのみが復帰し、残りのインター符号化領域は未復帰ラインＵＲとなる。

イントラスライス方式では、直前のピクチャにおけるリフレッシュラインＲＬを探索範囲として動きベクトルを検出することにより符号化を実行している。復号時において、図４（Ｂ）に示すように次のピクチャは、リフレッシュラインＲＬのみを参照して復号化することができ、未復帰ラインＵＲを参照せずに済むため、参照する直前のピクチャのリフレッシュラインＲＬに対応する部分を復帰済ラインＡＲとして復帰させることが可能となる。

ＭＰＥＧ−２のイントラスライス方式に従って画像データを復号化する従来の符号化装置は、エラーが生じたか否かを認識することができない。従って、ＭＰＥＧ−２のイントラ符号化方式に従って符号化を行う従来の符号化装置は、動きベクトルの探索範囲を常に符号化ライン単位の範囲内になるように設定している。この結果、従来の復号化装置は、動きベクトルの探索範囲を常に符号化ライン単位の範囲内にすることができる。

図５に示すように、復帰済ラインＡＲは、リフレッシュラインＲＬの出現に伴って徐々に増大していく。周期Ｔのピクチャだけ復号が終了すると、全ての位置においてリフレッシュラインＲＬが出現し終えるため、ピクチャ内の全ての位置において画像を復帰させることができる。

ところで、ＭＰＥＧ−２では、１／２画素精度で動きベクトルの検出をしている。このため、従来の符号化装置は、１／２画素を生成するために、２ＴＡＰのＦＩＲ（Finite Impulse Response Filter）フィルタを用いる。この２ＴＡＰのＦＩＲフィルタは、隣接画素を参照しないため、リフレッシュラインＲＬ及び未復帰ラインＵＲ間でのエラーの伝搬が生じない。

これに対して、Ｈ．２６４／ＡＶＣでは、１／４画素精度で動きベクトルの検出をしている。このため、Ｈ．２６４／ＡＶＣに従って符号化処理を行う符号化装置は、１／２画素及び１／４画素を生成するために、６ＴＡＰのＦＩＲフィルタを用いる。この６ＴＡＰのＦＩＲフィルタは、隣接する６画素を参照する。

このため、図６に示すように、リフレッシュラインＲＬ及び未復帰ラインＵＲの境界（以下、これをリフレッシュ境界ＢＤと呼ぶ）から３画素より外側（未復帰ラインＵＲ側）に位置する１／２画素及び１／４画素（縦線で示す）は、未復帰ラインＵＲを参照することになる。このリフレッシュ境界ＢＤは、リフレッシュラインＲＬ及び未復帰ラインＵＲの境界となり得る境界（すなわち符号化ライン単位の境界）を指す。なお図６では、画素間においてｙ方向にのみ１／２画素及び１／４画素が生成されているが、実際にはｘ方向にも１／２画素及び１／４画素が生成される。

この結果、リフレッシュラインＲＬの内部であっても、リフレッシュ境界ＢＤから３画素より外側に位置する１／２画素及び１／４画素には、エラーが伝搬してしまう。以下、リフレッシュラインＲＬにおいてエラーが伝搬してしまうこれらの画素を、エラー伝搬画素と呼ぶ。従って、符号化時に符号化ライン単位で動きベクトルの探索範囲を設定すると、復号時にエラー伝搬画素を参照してしまう可能性があり、復帰済ラインＡＲにおいてエラーを伝搬させることになる。これが第１のエラー伝搬要因である。

Ｈ．２６４／ＡＶＣでは、イントラ符号化に、画面内予測符号化を用いる。第２のエラー伝搬要因は、画面内予測符号化に起因するものである。

図７に示すように、この画面内予測符号化では、符号化対象となるＩマクロブロックに隣接し、上又は左隣若しくはその両方の画素を参照する。Ｉマクロブロックがその上又は左をリフレッシュ境界ＢＤに隣接させて位置する場合、未復帰ラインＵＲを参照することになり、エラーを伝搬させることになる。これが第２のエラー伝搬要因である。

Ｈ．２６４／ＡＶＣでは、ブロックノイズを抑制するため、デブロックフィルタを使用する。第３のエラー伝搬要因は、デブロックフィルタに起因するものである。

デブロックフィルタは、隣接する２画素ずつ（４画素）を参照することにより、デブロックフィルタ処理を実行する。従って、図８に示すように、リフレッシュラインＲＬにおけるリフレッシュ境界ＢＤから２画素では、エラーを伝搬させてしまう。これが、第３のエラー伝搬要因である。

本発明では、これら第１〜第３のエラー伝搬要因を回避し、エラーの伝搬を防止し得るようになされている。

［１−４．エラー伝搬の回避］
［１−４−１．第１のエラー伝搬要因の回避］
図６を用いて上述したように、画像符号化部４は、仮に符号化ライン単位で動きベクトルの探索範囲を設定すると、エラーの伝搬を生じてしまう。そこで画像符号化部４は、エラーの伝搬が生じないよう探索範囲を設定する。

符号化ライン単位が１マクロブロックラインであった場合、１６×１６画素の検索ブロックがｙ方向に１／４画素でも移動すると、リフレッシュラインＲＬからはみ出ることになるため、未復帰ラインＵＲを参照することになる。この場合、探索範囲設定部１６は、動きベクトルの探索範囲をｘ方向にのみ設定する。

具体的に、探索範囲設定部１６は、ピクチャヘッダから符号化単位ラインにおけるマクロブロックライン数を確認する。探索範囲設定部１６は、符号化ライン単位が１マクロブロックラインであった場合、ｙ方向の動きベクトルＭＶｙ＝０とし、ｘ方向の探索範囲を制限無し（ｘ方向に規格上許容される最大値）に設定し、この探索範囲に該当する参照対象ブロックを動き予測・補償部１４に供給する。動き予測・補償部１４は、この探索範囲内において整数精度で動きベクトルを検出し、当該動きベクトルを探索範囲設定部１６に供給する。

次に、探索範囲設定部１６は、整数精度で検出された動きベクトルの周辺画素について、６ＴＡＰのＦＩＲフィルタを用いて例えば図９に示すように、ｘ方向にのみ１／２画素及び１／４画素を生成し、これを動き予測・補償部１４に供給する。動き予測・補償部１４は、ｘ方向について１／４精度で動きベクトルを検出する。

これにより、画像符号化部４は、探索範囲にｙ方向の１／２画素及び１／４画素を含有させないため、リフレッシュ境界ＢＤに隣接する２画素分の１／２画素及び１／４画素を含有させずに済む。この結果、画像符号化部４は、復号時においてエラー伝搬画素を参照させずに済むため、復帰ラインＡＲにおけるエラーの伝搬を防止することができ、第１のエラー伝搬要因を回避することができる。

また、探索範囲設定部１６は、符号化ライン単位が２マクロブロックライン以上であった場合、復号時においてエラー伝搬画素を参照しないように動きベクトルの探索範囲を設定する。

ここで、画像符号化部４は、ピクチャ間においてリフレッシュラインＲＬを下側にずらすように変動させてエラーから復帰させる。このため、エラー伝搬画素画が発生するのは、未復帰ラインＵＲと隣接するリフレッシュラインＲＬの下側のみとなる。そこで、画像符号化部４は、リフレッシュラインＲＬの下側について、エラー伝搬画素を参照しないように探索範囲を設定する。

具体的に、探索範囲設定部１６は、探索範囲を符号化単位ラインの範囲内に設定し、この探索範囲に該当する画像を動き予測・補償部１４に供給する。動き予測・補償部１４は、この探索範囲内において整数精度で動きベクトルを検出し、当該動きベクトルを探索範囲設定部１６に供給する。

探索範囲設定部１６は、整数精度で検出された動きベクトルの周辺画素について、６ＴＡＰのＦＩＲフィルタを用いて例えば図１０に示すように、１／２画素及び１／４画素を生成する。このとき、探索範囲設定部１６は、リフレッシュ境界ＢＤから３画素よりも外側の領域について、ｙ方向に１／２画素及び１／４画素を生成しないようにして参照対象ブロックを生成し、これを動き予測・補償部１４に供給する。

動き予測・補償部１４は、ｘ及びｙ方向について原則的に１／４精度で動きベクトルを検出する。動き予測・補償部１４は、リフレッシュ境界ＢＤから３画素よりも外側については、ｙ方向において１／２画素及び１／４画素が存在しないため、整数精度で動きベクトルを検出することになる。

これにより、画像符号化部４は、復号時にリフレッシュ境界ＢＤから３画素よりも外側についての１／２画素及び１／４画素を参照させないようにでき、エラー伝搬画素の参照によるエラーの伝搬を防止することができる。

このように、画像符号化部４は、動きベクトルの検出時において、エラー伝搬画素に対応する画素（リフレッシュ境界ＢＤから３画素よりも外側についての１／２画素及び１／４画素）を参照しないようにした。これにより、復号部３２は、インター符号化により符号化された復帰済ラインＡＲを復号する際に、エラー伝搬画素を参照せずに復号できるため、エラー伝搬を防止することができ、第１のエラー伝搬要因を回避できる。

［１−４−２．第２のエラー伝搬要因の回避］
画像符号化部４は、リフレッシュラインＲＬにおける画面内予測符号化において、当該リフレッシュラインＲＬ以外の画素を参照しないようにすれば、未復帰ラインＵＲからのエラーの伝搬を防止することができる。

ところで、Ｈ．２６４／ＡＶＣでは、画面内予測符号化する際、スライスを跨ぐ画素を参照しない。言い換えると、リフレッシュラインＲＬをスライスの先頭にすることにより、未復帰ラインＵＲを参照せずに画面内符号化が実行される。これにより、復号部３２は、リフレッシュラインＲＬを復号する際に、未復帰ラインＵＲを参照せずに復号できるため、エラー伝搬を防止することができる。

具体的に、ピクチャヘッダ生成部９（図３）は、ピクチャヘッダにおいてリフレッシュラインＲＬの先頭をスライス先頭にするか否かを表すフラグを「ｔｒｕｅ」に設定する。イントラマクロブロック判定部１０は、処理対象となるマクロブロックがイントラ符号化すべきＩマクロブロックか、インター符号化すべきＰマクロブロックかを判別する。

イントラマクロブロック判定部１０は、１ライン分ずつ変動するリフレッシュラインＲＬに該当するマクロブロックを強制的にイントラ符号化される強制イントラマクロブロックとし、イントラ符号化することを決定する。なお以下、リフレッシュラインＲＬに属するマクロブロックを、リフレッシュマクロブロックと呼ぶ。また、リフレッシュラインＲＬ以外のマクロブロックが構成するラインをインターマクロブロックラインと呼び、インターマクロブロックラインに属するマクロブロックを、他マクロブロックと呼ぶ。

一方、イントラマクロブロック判定部１０は、リフレッシュラインＲＬ以外のマクロブロック（すなわちイントラマクロブロックラインに属するマクロブロック）について、Ｉマクロブロックとしてイントラ符号化するか又はＰマクロブロックとして前方向インター符号化するかを決定する。

イントラマクロブロック判定部１０は、Ｉマクロブロック及びＰマクロブロックの発生符号量を予測し、符号化効率の良い符号化方式を判定する。この判定結果は、スライス分割判定部１１に供給される。

スライス分割判定部１１は、リフレッシュラインＲＬの先頭をスライス先頭にするフラグが「ｔｒｕｅ」であり、かつ現在のマクロブロックが強制イントラマクロブロックであり、さらにリフレッシュラインＲＬの先頭である場合、スライス分割を実行すべきと判定する。

また、スライス分割判定部１１は、ピクチャを複数のスライスに分割することが予め定められている場合、処理対象のマクロブロックの位置に応じて、スライス分割を実行すべきか否かを判定する。これらの判定結果は、スライスヘッダ生成部１２に供給される。

スライスヘッダ生成部１２は、スライスヘッダを生成し、現在のマクロブロックの先頭に当該スライスヘッダを付加することにより、新規スライスを生成する。イントラ予測部１５は、スライス先頭のマクロブロックについて、例えば中間の画素値（「０〜２５５」の画素値であれば、「１２８」）を参照することにより、インターマクロブロックラインを参照することなくイントラ符号化を実行する。

これにより、画像符号化部４は、リフレッシュラインＲＬの先頭をスライス先頭にすることができる。これにより、復号部３２は、リフレッシュラインＲＬの復号時に未復帰ラインＵＲを参照せずに済むため、エラーの伝搬を防止することができる。

このように、画像符号化部４は、リフレッシュラインＲＬをスライスの先頭にすることにより、リフレッシュラインＲＬにおいてインターマクロブロックラインを参照しない。このため、復号部３２は、リフレッシュラインＲＬを復号する際に、未復帰ラインＵＲを参照せずに済むため、エラーの伝搬を防止することができ、第２のエラー伝搬要因を回避できる。

また、Ｈ．２６４／ＡＶＣでは、ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇというフラグが用意されている。このフラグを「１」にすることにより、イントラ符号においてインター符号化された画素を参照しないことを規定することができる。ただし、このフラグが「１」に設定されていると、強制イントラマクロブロック以外のＩマクロブロックでもインター符号化された画素を参照しないため、符号化効率が低下するという欠点を有する。

具体的に、画像符号化部４のピクチャヘッダ生成部９は、ピクチャヘッダにおけるＰＰＳ（Picture Parameter set）におけるｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ＝１とする。このフラグが「１」であることは、イントラ符号においてインター符号化された画素を参照しないことを表している。

イントラ予測部１５は、ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ＝１であることを確認すると、イントラ符号化された画素のみを参照して画面内予測処理を実行する。この結果、復号部３２は、イントラ符号化された画素のみを参照して画像データＳ４を復号することができるため、未復帰ラインＵＲからのエラーの伝搬を防止できる。

このように、画像符号化部４は、ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ＝１とすることにより、未復帰ラインＵＲからのエラーの伝搬を防止し、第２のエラー伝搬要因を回避し得るようになされている。

［１−４−３．第３のエラー伝搬要因の回避］
上述したように、デブロックフィルタを用いると、リフレッシュラインＲＬを復号する際、リフレッシュ境界ＢＤから２画素（以下、これを境界画素と呼ぶ）に未復帰ラインＵＲの画素が影響を与えるため、当該境界画素が壊れてしまう。従って、画像符号化部４は、デブロックフィルタを使用しないようにする。

具体的に、画像符号化部４のスライスヘッダ生成部１２は、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ＝１とする。デブロックフィルタ２６は、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃを確認し、このフラグが「１」となっている場合には、当該スライスについて、デブロックフィルタ処理を実行しない。

このため、復号部３２は、リフレッシュラインＲＬを復号する際に、リフレッシュラインＲＬにデブロックフィルタ処理を実行せずに済むため、エラーの伝搬を防止することができる。

このように、画像符号化部４は、デブロックフィルタを用いないことにより、未復帰ラインＵＲの画素の影響によってリフレッシュラインＲＬの境界画素が壊れることを防止でき、第３のエラー伝搬要因を回避できる。

［１−５．処理手順］
画像符号化部４は、符号化処理を開始すると、ステップＳＰ１へ移り、処理対象となるマクロブロックがピクチャの先頭か否かを判別し、肯定結果が得られるとステップＳＰ２へ移る一方、否定結果が得られた場合、ステップＳＰ３へ移る。

ステップＳＰ２において、画像符号化部４は、マクロブロックの先頭にピクチャヘッダを付加すると、次のステップＳＰ３へ移る。このとき画像符号化部４は、ｃｏｎｓｔｒａｉｎｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇを付加する。

ステップＳＰ３において、画像符号化部４は、サブルーチンＳＲＴ１１へ移り、マクロブロック判定処理を実行する。画像符号化部４は、マクロブロック判定処理として、処理対象となるマクロブロックをインター符号化すべきかイントラ符号化すべきかを判定すると、次のステップＳＰ４へ移る。

ステップＳＰ４において、画像符号化部４は、サブルーチンＳＲＴ１２又はＳＲＴ２２へ移り、スライス分割判定処理を実行する。画像符号化部４は、スライス分割判定処理として、スライス分割を実行するか否かを判定すると、次のステップＳＰ５へ移る。

ステップＳＰ５において、画像符号化部４は、処理対象となるマクロブロックがイントラ符号化すべきＩマクロブロック（強制イントラマクロブロック及びイントラマクロブロック）であるか否かについて判別する。

ここで肯定結果が得られると、画像符号化部４は、画面内予測処理を実行すべきであるため、次のステップＳＰ６へ移る。ステップＳＰ６において、画像符号化部４は、リフレッシュマクロブロックにおいて、インター符号化されたＰマクロブロックを参照しないように画面内予測処理を実行し、差分データＤ１を生成すると、次のステップＳＰ９へ移る。

これに対してステップＳＰ５において否定結果が得られると、画像符号化部４は、動き予測処理を実行すべきであるため、次のステップＳＰ７へ移る。

ステップＳＰ７において、画像符号化部４は、サブルーチンＳＲＴ１３又は２３へ移り、探索範囲判定処理を実行する。画像符号化部４は、探索範囲判定処理として、リフレッシュラインＲＬの下側について、エラー伝搬画素（当該リフレッシュラインＲＬにおけるリフレッシュ境界ＢＤから３画素よりも外側の１／２画素及び１／４画素）を参照しないよう探索範囲を設定すると、次のステップＳＰ８へ移る。

ステップＳＰ８において、画像符号化部４は、ステップＳＰ７において設定された探索範囲において動きベクトルを検出し、動き予測処理を実行し、差分データＤ１を生成すると、次のステップＳＰ９へ移る。

ステップＳＰ９において、画像符号化部４は、差分データＤ１に対し、直交変換処理及び量子化処理を実行し、量子化係数Ｄ３を生成すると、次のステップＳＰ１０及びＳＰ１１へ移り、同時並行して当該ステップＳＰ１０及びＳＰ１１を実行する。ステップＳＰ１０において、画像符号化部４は、量子化係数Ｄ３に対し、可逆符号化処理を実行し、可逆符号化データＤ５を生成すると、これをビットストリームＳ６として送信部６に供給し、符号化処理手順ＲＴ１を終了する。

ステップＳＰ１１において、画像符号化部４は、逆量子化処理、逆直交変換処理を実行し、ローカルデコード画像Ｌ３を生成すると、次のステップＳＰ１２へ移る。

ステップＳＰ１２において、画像符号化部４は、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃを確認し、デブロックフィルタ処理を実行すべきか否かを判別する。

ここで肯定結果が得られた場合、画像符号化部４は、ステップＳＰ１３へ移り、デブロックフィルタ処理を実行すると、終了ステップへ移って符号化処理手順ＲＴ１を終了する。

これに対してステップＳＰ１２において否定結果が得られた場合、画像符号化部４は、終了ステップへ移って符号化処理手順ＲＴ１を終了する。

画像符号化部４は、符号化処理手順ＲＴ１のステップＳＰ３からサブルーチンＳＲＴ１１（図１２）のステップＳＰ２１へ移る。

ステップＳＰ２１において、画像符号化部４は、マクロブロックが供給されると、ピクチャごとにマクロブロックの数をカウントするＭＢカウンタ及びスライスごとにマクロブロックの数をカウントするＳＭＢカウンタを「＋１」し、次のステップＳＰ２２へ移る。ステップＳＰ２２において、画像符号化部４は、処理対象となる現在のマクロブロックがリフレッシュマクロブロックか否かを判別する。

ここで肯定結果が得られた場合、このことは、処理対象のマクロブロックがリフレッシュラインＲＬに属していることを表している。このとき、画像符号化部４は、ステップＳＰ２３へ移り、処理対象のマクロブロックを強制イントラマクロブロックとしてイントラ符号化することを選択し、次のステップＳＰ２５へ移る。

これに対してステップＳＰ２２において否定結果が得られた場合、このことは処理対象のマクロブロックがインターマクロブロックラインに属していることを表している。このとき、画像符号化部４は、次のステップＳＰ２４へ移る。

ステップＳＰ２４において、画像符号化部４は、処理対象のマクロブロックのインター符号化及びイントラ符号化による発生符号量を予測する。画像符号化部４は、符号化効率の良い方の符号化方式を実際に処理対象のマクロブロックを符号化する符号化方式として選択すると、次のステップＳＰ２５へ移る。

ステップＳＰ２５において、画像符号化部４は、処理対象のマクロブロックがピクチャにおける最後のマクロブロックか否かについて判別する。ここで否定結果が得られた場合、画像符号化部４は、ステップＳＰ２１へ戻り、ピクチャ内の全てのマクロブロックに対する処理が終了するまで、ステップＳＰ２１〜ＳＰ２５までの処理を継続する。

これに対して、ステップＳＰ２５において肯定結果が得られた場合、画像符号化部４は、次のステップＳＰ２６へ移る。ステップＳＰ２６において、画像符号化部４は、ＭＢカウンタを「０」にリセットし、次のステップＳＰ２７へ移る。

ステップＳＰ２７において、画像符号化部４は、ピクチャの数をカウントするピクチャカウンタを「＋１」すると、次のステップＳＰ２８へ移る。

ステップＳＰ２８において、画像符号化部４は、全てのピクチャに対する処理を終了したか否かについて判別し、否定結果が得られると、ステップＳＰ２１へもどり、全てのピクチャに対する処理を終了するまで、ステップＳＰ２１〜ＳＰ２８の処理を継続する。

これに対して、ステップＳＰ２８において肯定結果が得られると、画像符号化部４は、符号化処理手順ＲＴ１（図１１）のステップＳＰ４へ移る。

符号化処理手順ＲＴ１のステップＳＰ４において、画像符号化部４は、スライス分割判定処理を表すサブルーチンＳＲＴ１２（図１３）のステップＳＰ４１へ移る。

ステップＳＰ４１において、画像符号化部４は、処理対象のマクロブロックに関し、以下の３つの条件を全て満たすか否かについて判別する。
１）リフレッシュラインＲＬの先頭をスライス先頭にするフラグが「ｔｒｕｅ」である ２）処理対象のマクロブロックが強制イントラマクロブロックである
３）リフレッシュラインＲＬの先頭である

ここで肯定結果が得られた場合、このことは、リフレッシュラインＲＬの先頭をスライス先頭にすべきであり、かつ現在のマクロブロックがリフレッシュラインＲＬの先頭であることを表している。このとき、画像符号化部４は、次のステップＳＰ４２へ移る。

これに対して、ステップＳＰ４１において否定結果が得られた場合、このことはリフレッシュラインＲＬの先頭をスライス先頭にすべきでないか、又は処理対象のマクロブロックがリフレッシュラインＲＬの先頭でないことを表している。このとき、画像符号化部４は、次のステップＳＰ４３へ移る。

ステップＳＰ４３において、画像符号化部４は、処理対象のマクロブロックに関し、以下の２つの条件を全て満たすか否かについて判別する。
１）スライス分割をするか否かを決定するフラグが「ｔｒｕｅ」である
２）スライスごとのＭＢの数をカウントするＳＭＢカウンタがスライス分割閾値以上である

ここで肯定結果が得られた場合、このことは、ピクチャを複数のスライスに分割することが予め定められており、現在のＭＢカウンタの値（すなわちマクロブロックの位置）から、スライス分割すべきであることを表している。このとき、画像符号化部４は、次のステップＳＰ４２へ移る。

ステップＳＰ４２において、画像符号化部４は、処理対象のマクロブロックから新規スライスとなるようスライス分割を実行すると共に、ＳＭＢカウンタをリセットする。このとき、画像符号化部４は、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃを設定する。そして、画像符号化部４は、符号化処理手順ＲＴ１（図１１）のステップＳＰ５へ移る。

これに対して、ステップＳＰ４３において、否定結果が得られた場合、このことは、ピクチャを複数のスライスに分割する必要がない、又は現在のＳＭＢカウンタの値（すなわちマクロブロックの位置）から、スライス分割すべきでないことを表している。このとき、画像符号化部４は、次のステップＳＰ４４へ移る。

ステップＳＰ４４において、画像符号化部４は、スライス分割をすることなく、符号化処理手順ＲＴ１（図１１）のステップＳＰ５へ移る。

符号化処理手順ＲＴ１（図１１）のステップＳＰ７において、画像符号化部４は、サブルーチンＳＲＴ１３（図１４）のステップＳＰ５１へ移り、リフレッシュラインＲＬのマクロブロックライン数が２以上であるか否かについて判別する。

ここで肯定結果が得られた場合、画像符号化部４は、次のステップＳＰ５２へ移る。ステップＳＰ５２において、画像符号化部４は、復号時にエラー伝搬画素を参照しないように、リフレッシュラインＲＬの上側について、リフレッシュ境界ＢＤから３画素より外側の１／２画素及び１／４画素を除く符号化ライン単位をｙ方向の動きベクトルＭＶｙの探索範囲に設定し、符号化処理手順ＲＴ１（図１１）のステップＳＰ８へ戻る。

これに対して、ステップＳＰ５１において、否定結果が得られた場合、次のステップＳＰ５３へ移る。ステップＳＰ５３において、画像符号化部４は、復号時にエラー伝搬画素を参照しないように、ｙ方向の動きベクトルＭＶｙの探索範囲を「０」（すなわち動きベクトルＭＶｙ＝「０」）に設定し、符号化処理手順ＲＴ１（図１１）のステップＳＰ８へ戻る。

［１−６．動作及び効果］
以上の構成において、画像処理装置１の画像符号化部４は、強制イントラマクロブロックに対するイントラ符号化を実行する。画像符号化部４は、参照対象となる参照ピクチャにおける参照符号化単位（参照対象ブロック）に対し、隣接画素を用いたフィルタ処理によって整数精度未満となる１／２画素及び１／４画素の画素を生成する。

画像符号化部４は、参照対象ブロックの１／２画素及び１／４画素の画素を参照して実行される整数精度未満での動き予測処理の際、参照ブロックに対する探索範囲を設定する。画像符号化部４は、探索範囲として、強制イントラマクロブロック及び他マクロブロックの境界であるリフレッシュ境界ＢＤから、隣接画素の数に対応する１／２画素及び１／４画素の画素（すなわちリフレッシュ境界ＢＤから３画素より外に存在する１／２画素及び１／４画素）を含有しない範囲を設定する。画像符号化部４は、設定された探索範囲で動きベクトルを検出し、動き予測処理を実行する。

これにより、画像符号化部４は、復号時にエラーが伝搬する可能性のあるエラー伝搬画素を参照せずに処理対象となるマクロブロックを符号化できる。このため、復号部３２は、エラーが生じた場合でも、エラー伝搬画素を参照せずに復号化できるため、動きベクトルの検出時に生じるエラーの伝搬を防止することができる。

画像符号化部４は、イントラ符号化及び前方向のインター符号化により複数のピクチャによって構成される画像データＳ４を符号化する。このとき、画像符号化部４は、一定の周期でピクチャにおける全ての符号化単位であるマクロブロックが、イントラ符号化される強制イントラブロックとなるように、強制イントラマクロブロック又は当該強制イントラマクロブロック以外の他ブロックとしての他マクロブロックにマクロブロックを割り当てる。これにより、画像符号化部４は、一定の周期で強制マクロブロックを出現させることができる。

画像符号化部４は、フィルタ設定情報としてのｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃを設定することにより、デブロックフィルタ処理に対する制限を設定する。画像符号化部４は、画面内予測部１４及び動き予測部としての動き予測・補償部１４によって符号化されたマクロブロックのローカルデコード画像Ｌ３に対し、設定されたｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃに従って、デブロックフィルタ処理を実行する。

これにより、画像符号化部４は、エラー伝搬の原因となるデブロックフィルタの処理を制限することができ、復号時におけるエラーの伝搬を防止できる。

このように、画像符号化部４は、復号時におけるエラーの伝搬を防止するよう、符号化を実行する。これにより、復号部３２は、復号時にエラーが生じた場合であっても、エラーの伝搬を防止することができるため、エラーから復帰するまでに要する時間を短縮することができる。

画像符号化部４は、インター符号化されるインターブロックでなるマクロブロックを参照しないよう、強制イントラマクロブロックに対する参照対象を制限し、当該制限に従って、画面内予測処理を実行する。

これにより、画像符号化部４は、リフレッシュ境界ＢＤの上側が未復帰であった場合であっても、インターブロックを参照せずに済むため、リフレッシュラインＲＬにエラーを伝搬させずにすむ。このため、画像符号化部４は、無線伝送によるエラーが生じた際に、エラーから復帰するまでに要する時間を短縮させることができる。

画像符号化部４は、単数のマクロブロックが水平方向に並ぶ（すなわち１マクロブロックライン）ことによりリフレッシュラインＲＬが構成されていた場合には、垂直方向の探索範囲を「０」に設定する。

これにより、画像符号化部４は、リフレッシュ境界ＲＬから３画素より外側に位置する１／２画素及び１／４画素を参照せずに済む。これにより、復号部３２は、エラー伝搬画素を参照せずに済むため、インターマクロブロックについてエラーの伝搬を防止することができる。

画像符号化部４は、ピクチャ間において、変動方向であるｙ方向下側へ向けて、強制イントラマクロブロックで構成されるリフレッシュラインＲＬが当該リフレッシュラインＲＬの垂直方向（ｙ方向）のマクロブロックの数と同一数だけ変動するように強制イントラマクロブロックを割り当てる。そして画像符号化部４は、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃを「１」に設定する。

これにより、画像符号化部４は、リフレッシュラインＲＬをピクチャ間において連続的に変動させることができるため、復帰済ラインＡＲの下側を、常にリフレッシュラインＲＬ又は復帰済ラインＡＲに隣接させることができる。このため、復号部３２は、インターブロックでなる復帰済ラインＡＲの下側において、エラー伝搬画素を発生させない。

この結果、画像符号化部４は、ｙ方向下側の動きベクトルの探索範囲をリフレッシュ境界ＢＤまでに設定することができ、探索範囲を拡大することができる。

画像符号化部４は、強制イントラマクロブロックの先頭をスライス先頭にすることを表すフラグを「ｔｒｕｅ」に設定し、強制イントラマクロブロックの先頭の直前（すなわちリフレッシュラインの先頭）でスライスを分割する。

これにより、画像符号化部４は、リフレッシュラインＲＬの１マクロブロックライン目において、上側のインター符号化ラインを参照せずに済む。このため、復号部３２は、リフレッシュラインＲＬを復号する際、未復帰ラインＵＲを参照せずに済むため、リフレッシュラインＲＬを確実に復帰させることができる。

画像符号化部４は、ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇを「１」に設定する。画像符号化部４は、当該ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇに従って、インターマクロブロックを参照することなく強制イントラマクロブロックに対する画面内予測処理を実行する。

これにより画像符号化部４は、インターマクロブロックを参照せずに画面内予測処理を実行することができる。このため、復号部３２は、画面内予測処理において、未復帰ラインＵＲを参照することがないため、リフレッシュラインＲＬを確実に復帰させることができる。

画像符号化部４は、他マクロブロックに割り当てたマクロブロックを、インター符号化されるインターリフレッシュブロックと、イントラ符号化されるイントラリフレッシュブロックとに割り当てる。上記強制イントラマクロブロックの先頭をスライス先頭にすることを表すフラグを「ｔｒｕｅ」に設定することにより、参照ブロックを制限する。

これにより、画像符号化部４は、強制イントラマクロブロックでないイントラ符号化の際、インターブロックを参照できる。一方、ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇが「１」に設定されると、全てのＩマクロブロック（強制イントラマクロブロック及びイントラマクロブロック）に対してＰマクロブロックが参照されない。このため、画像符号化部４は、ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇを用いる場合と比較して、符号化効率を向上させることができる。

画像符号化部４は、Ｈ．２６４／ＡＶＣに準じて処理を実行する。

１／４精度で動きベクトルの検出を実行し、デブロックフィルタを用いるＨ．２６４／ＡＶＣに本発明を適用することにより、エラーの伝搬を適切に防止でき、エラーの復帰に要する時間を短縮できる。

以上の構成によれば、画像符号化部４は、復号されるときにエラーから復帰していない未復帰のマクロブロックを参照して生成される整数精度未満の画素を含有しないよう、参照ブロックに対する探索範囲を設定する。また、画像符号化部４は、復号されるときにエラーから復帰していない未復帰のマクロブロックを参照しないよう、デブロックフィルタ処理を制限する。

これにより、画像符号化部４は、復号されるときのエラーの伝搬を適切に防止できるため、エラーから復帰するまでに要する時間を短縮できる。

＜２．第２の実施の形態＞
図１５〜２２に示す第２の実施の形態においては、図２〜図１４に示した第１の実施の形態と対応する箇所に同一符号を附して示し、同一部分についての説明を省略する。第２の実施の形態では、画像符号化部４に対応する画像符号化部１０４において、デブロックフィルタ２６によるデブロックフィルタ処理を実行する点が、第１の実施の形態と異なっている。

［２−１．第３のエラー伝搬要因の回避］
［２−１−１．リフレッシュラインの重複出現］
図８を用いて上述したように、デブロックフィルタ処理を実行すると、リフレッシュ境界ＢＤから２画素でなる境界画素が未復帰ラインＵＲの影響を受け、壊れてしまう。そこで本実施の形態では、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ＝２とする。このフラグが「２」であることは、スライス境界に対してデブロックフィルタ処理を実行しないことを表す。すなわち、画像符号化部１０４は、このフラグを「２」にすることにより、スライス境界以外ではデブロックフィルタ処理を実行することができ、デブロックノイズを低減することができる。

画像符号化部４は、全ての符号化ライン単位ごとにスライスに分割することにより、各符号化ライン単位間の影響を与えないようにすることができる。しかしながら、符号化効率の観点から、全ての符号化ライン単位をスライスに分割することは現実的でない。

そこで、図１５（Ａ）に示すように、第２の実施の形態の画像符号化部１０４は、リフレッシュラインＲＬを複数のマクロブロックラインで構成すると共に、当該リフレッシュラインＲＬの先頭をスライス分割する。この場合、リフレッシュラインＲＬの最下に位置するリフレッシュ境界ＢＤのマクロブロックライン（以下、これを境界ＭＢラインＲＬｂと呼ぶ）は、デブロックフィルタ処理により、未復帰ラインＵＲの影響を受けてしまう。

しかし、境界ＭＢラインＲＬｂ以外のマクロブロックラインは、未復帰ラインＵＲの影響を受けることはなく、正常に復帰することが可能である。なお図では、未復帰ラインＵＲの影響を受けて壊れた画素を囲って示している。

そして画像符号化部１０４は、図１５（Ｂ）及び（Ｃ）に示すように、前のピクチャにおける境界ＭＢラインＲＬｂが再度次のピクチャにおけるリフレッシュラインＲＬとなるように、リフレッシュラインＲＬの位置を少なくとも１マクロブロックラインずつ重複されながらリフレッシュラインＲＬを変動させる。これにより、画像符号化部１０４は、前のピクチャにおいてデブロックフィルタ処理によって境界ＭＢラインＲＬｂを破壊させるものの、次のピクチャにおいて当該境界ＭＢラインＲＬｂを復帰させることができる。

具体的に、画像符号化部１０４のイントラマクロブロック判定部１０は、例えば符号化ライン単位が２マクロブロックラインである場合、リフレッシュラインＲＬに該当するマクロブロックを強制イントラマクロブロックに決定する。イントラマクロブロック判定部１０は、処理対象のマクロブロックが強制イントラマクロブロックでない場合には、処理対象のマクロブロックを符号化効率の観点からＩマクロブロック又はＰマクロブロックに決定する。

イントラマクロブロック判定部１０は、次のピクチャにおいて、前のピクチャにおける境界ＭＢラインＲＬｂが再度次のピクチャにおけるリフレッシュラインＲＬとなるように、強制イントラマクロブロックを決定する。すなわち、イントラマクロブロック判定部１０は、リフレッシュラインＲＬを１マクロブロックラインだけ下にずらして出現させる。

この結果、復号部３２は、デブロックフィルタ処理によりリフレッシュラインＲＬのうち境界ＭＢラインＲＬｂの下側の画素を破壊させてしまうものの、次のピクチャにおいて当該境界ＭＢラインＲＬｂ復帰させることができる。

このように、画像符号化部１０４は、リフレッシュラインＲＬのうち、未復帰ラインＵＲとの下側境界となる境界ＭＢラインＲＬｂを次のピクチャにおいて再度リフレッシュラインＲＬとして出現させる。これにより、復号部３２は、デブロックフィルタ処理によって破壊される画素を次のピクチャにおいて担保し、適切に復帰させることができる。

［２−１−２．スライスの分割］
第１の実施の形態において、画像符号化部４は、リフレッシュラインＲＬの先頭をスライス先頭とした。すなわち、第１の実施の形態においてスライス境界ＢＬは、リフレッシュラインＲＬの位置変動に伴って移動した。以下、このように位置変動するスライス境界をスライス境界ＢＬｍｏｖｅと表す。

スライス境界ＢＬｍｏｖｅ以外においてデブロックフィルタ処理を実行する場合について着目する。図１６に示すように、デブロックフィルタ処理の影響を考慮しない場合におけるエラーからの復帰の成否を左側に、デブロックフィルタ処理の影響を考慮した場合における復号の成否（エラーからの復帰の成否）を右側に○又は×で示している。

図１６（Ａ）に示すように、リフレッシュラインＲＬは、画面内予測処理により問題なく復号される。しかしながら、境界ＭＢラインＲＬｂは、デブロックフィルタ処理により隣接画素が破壊される。

図１６（Ｂ）に示すように、復帰済ラインＡＲ１は、境界ＭＢラインＲＬｂのうちエラーの伝搬しない範囲及びリフレッシュラインＲＬを参照するため、問題なく復号される。しかしながら、復帰済ラインＡＲは、その上部が未復帰ラインＵＲを用いてデブロックフィルタ処理されるため、隣接画素が破壊される。

図１６（Ｃ）に示すように、復帰済ラインＡＲ２は、境界ＭＢラインＲＬｂのうちエラーの伝搬しない範囲及びリフレッシュラインＲＬを参照するため、問題なく復号される。しかしながら、復帰済ラインＡＲ３は、隣接画素の壊れた復帰済ラインＡＲ１を参照するため、エラーが伝搬する。復帰済ラインＡＲ２は、エラーの伝搬した復帰済ラインＡＲ３を用いてデブロックフィルタ処理がなされるため、エラーが伝搬する。

このように、スライス境界ＢＬｍｏｖｅが変動する場合、インター復号化される復帰済ラインＡＲは、デブロックフィルタ処理の影響により、エラーを伝搬させてしまい、エラーからの復帰が困難となる。

そこで第２の実施の形態における画像符号化部１０４は、スライス境界をスライス境界ＢＬｆｉｘとして固定する。

図１７（Ａ）に示すように、リフレッシュラインＲＬは、画面内予測処理により問題なく復号される。しかしながら、境界ＭＢラインＲＬｂは、デブロックフィルタ処理により境界画素が破壊される。

図１７（Ｂ）に示すように、スライス境界ＢＬｆｉｘが移動しないため、スライス先頭は復帰済ラインＡＲ１となる。復帰済ラインＡＲ１は、境界ＭＢラインＲＬｂのうちエラーの伝搬しない範囲及びリフレッシュラインＲＬを参照し、問題なく復号される。この復帰済ラインＡＲ１は、スライス境界ＢＬｆｉｘに位置するため、未復帰ラインＵＲとの境界においてデブロックフィルタ処理が実行されない。このため復帰済ラインＡＲ１は、境界画素が破壊されることなくエラー復帰することができる。

図１７（Ｃ）に示すように、復帰済ラインＡＲ２及びＡＲ３は、動き予測処理により問題なく復号される。このとき、復帰済ラインＡＲ３は、スライス先頭となるため、デブロックフィルタ処理が実行されず、エラーの伝搬がない。復帰済ラインＡＲ２は、エラーの伝搬がない復帰済ラインＡＲ３を用いてデブロックフィルタ処理が実行されるため、エラーが伝搬されない。

このように、スライス境界ＢＬｆｉｘを固定することにより、デブロックフィルタ処理に起因するエラーの伝搬を防止することができる。なお、この第２の実施の形態では、リフレッシュラインＲＬがスライス先頭となってからエラーの復帰が開始されるため、エラー復帰に２Ｔ−１だけ要することになり、第１の実施の形態よりも若干時間を要することになる。

具体的に、画像符号化部１０４におけるピクチャヘッダ生成部９は、スライス分割をするか否かを表すフラグを「ｔｒｕｅ」に設定すると共に、スライス分割閾値を設定する。スライス分割閾値は、ピクチャの先頭からスライス分割を実施すべきマクロブロックの数を表すものであり、スライス境界ＢＬｆｉｘの位置を表している。

スライス分割判定部１１は、第１の実施の形態と同様、ＭＢカウンタによりピクチャ先頭からのマクロブロックの数をカウントする。スライス分割判定部１１は、ピクチャヘッダを確認し、スライス分割をするか否かを表すフラグが「ｔｒｕｅ」であることを確認すると、処理対象となるマクロブロックがスライス分割閾値以上であるか否かを判別する。

スライス分割判定部１１は、現在のＭＢカウンタの値がスライス分割閾値以上である場合、スライス分割を実行すべきと判定し、当該判定結果をスライスヘッダ生成部１２に供給する。スライスヘッダ生成部１２は、スライスヘッダを生成し、画像データＳ４に付加することにより、スライス分割を実行する。

このように、予め定められた位置でスライス分割を実行することにより、デブロックフィルタ処理によるエラーの伝搬を防止することができる。

［２−２．第２のエラー伝搬要因の回避］
上述したように、第２の実施の形態による画像符号化部１０４は、リフレッシュラインＲＬの先頭をスライス先頭にしない。しかしながら、図１７に示したように、スライス境界ＢＬｆｉｘを固定したことにより、スライス境界ＢＬｆｉｘ及びリフレッシュラインＲＬ間のインター符号化ラインが復帰する。

すなわち、リフレッシュラインＲＬが参照する可能性のあるインター符号化ラインは既に復帰しており、当該インター符号化ラインを参照対象ブロックとしても特に問題は生じない。

［２−３．第１のエラー伝搬要因の回避］
ここで、境界ＭＢラインＲＬｂにおいて、デブロックフィルタ処理により破壊されるのは、画像符号化部１０４は、未復帰ラインＵＲと隣接する２画素の境界画素のみである。そこで、画像符号化部１０４は、前のピクチャの符号化ライン単位に加え、境界ＭＢラインＲＬｂにおいて未復帰ラインＵＲの影響を受けない画素を動きベクトルの探索範囲に設定する。

図１８に示すように、境界ＭＢラインＲＬｂでは、境界画素が当該未復帰ラインＵＲの影響を受けて壊れてしまう。このため、境界画素を参照して生成された１／２画素及び１／４画素は、未復帰ラインＵＲの影響を受けて、エラーを伝搬するエラー伝搬画素となってしまう。このため、画像符号化部１０４は、境界画素及びエラー伝搬画素を除く範囲を動きベクトルの探索範囲に設定する。

すなわち、図１９（Ａ）に示すように、画像符号化部１０４の探索範囲設定部１６は、処理対象となる次のピクチャの符号化ライン単位（図１９（Ｂ））に対し、前のピクチャの対応する符号化ライン単位（上側のエラー伝搬画素を除く）をｙ方向の探索範囲に設定する。さらに探索範囲設定部１６は、前のピクチャの対応する符号化ライン単位の直下の符号化ライン単位の一部を動きベクトルのｙ方向の探索範囲に設定する。この符号化ライン単位の一部は、上側のエラー伝搬画素及び下側の境界画素及びエラー伝搬画素を除いた範囲である。

具体的に、探索範囲設定部１６は、整数精度で動きベクトルを検出する際、ｙ方向の探索範囲として、前のピクチャの対応する符号化ライン単位に加え、直下の符号化ライン単位における境界画素を除く１４画素をｙ方向の探索範囲として設定する。なおｘ方向の探索範囲は制限なしとする。

探索範囲設定部１６は、１／４精度で動きベクトルを検出する際、ｙ方向の探索範囲として、前のピクチャの対応する符号化ライン単位（エラー伝搬画素を除く）に加え、直下の符号化ライン単位における境界画素及びエラー伝搬画素を除く画素（白抜き及び三角で示す）をｙ方向の探索範囲として設定する。

これにより、画像符号化部１０４は、動きベクトルの探索範囲をｙ方向に大きく設定することができるため、符号化効率を向上させ得る。

このように、画像符号化部１０４は、エラーの伝搬しない範囲を動きベクトルの探索範囲に設定することにより、エラーの伝搬を防止しつつ符号化効率を向上させるようになされている。

以上説明したように、第２の実施の形態では、デブロックフィルタ処理を実行して画質を向上させつつ、復号時のエラーの伝搬を防止し得るようになされている。

［２−４．処理手順］
次に、第２の実施の形態における処理手順について、図２０〜図２１のフローチャートを用いて説明する。第２の実施の形態では、第１の実施の形態と同様に符号化処理手順ＲＴ１（図１１）を実行するものの、ステップＳＰ４においてサブルーチンＳＲＴ２２を実行し、ステップＳＰ７においサブルーチンＳＲＴ２３を実行する。ここでは、サブルーチンＳＲＴ２２及び２３についてのみ説明する。

画像符号化部１０４は、符号化処理手順ＲＴ１（図１１）のステップＳＰ４からサブルーチンＳＲＴ２２（図２０）のステップＳＰ７１へ移り、スライス分割判別処理を実行する。

ステップＳＰ７１において、画像符号化部１０４は、処理対象のマクロブロックに関し、以下の２つの条件を全て満たすか否かについて判別する。
１）スライス分割をするか否かを決定するフラグが「ｔｒｕｅ」である
２）現在のＳＭＢカウンタがスライス分割閾値以上である

ここで肯定結果が得られた場合、このことは、ピクチャを複数のスライスに分割することが予め定められており、現在のＳＭＢカウンタの値（すなわちマクロブロックの位置）から、スライス分割すべきであることを表している。このとき、画像符号化部１０４は、次のステップＳＰ７２へ移る。

ステップＳＰ７３において、画像符号化部１０４は、処理対象のマクロブロックから新規スライスとなるようスライス分割を実行すると共に、ＳＭＢカウンタの値をリセットする。このとき、画像符号化部１０４は、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃを設定する。そして、画像符号化部１０４は、符号化処理手順ＲＴ１（図１１）のステップＳＰ５へ移る。

これに対して、ステップＳＰ７２において、否定結果が得られた場合、このことは、ピクチャを複数のスライスに分割する必要がない、又は現在のＳＭＢカウンタの値（すなわちマクロブロックの位置）から、スライス分割すべきでないことを表している。このとき、画像符号化部１０４は、次のステップＳＰ７３へ移る。

ステップＳＰ７２において、画像符号化部１０４は、スライス分割をすることなく、符号化処理手順ＲＴ１（図１１）のステップＳＰ５へ移る。

符号化処理手順ＲＴ１のステップＳＰ７において、画像符号化部１０４は、探索範囲設定処理手順を表すサブルーチンＳＲＴ２３のステップＳＰ８１へ移る。

ステップＳＰ８１において、画像符号化部１０４は、エラーの伝搬しない範囲を設定すると、符号化処理手順ＲＴ１（図１１）のステップＳＰ８へ移る。なお、第２の実施の形態において、エラーの伝搬しない探索範囲とは、ｘ方向に規格上許容される最大値、ｙ方向に、前のピクチャの対応する符号化ライン単位（上側のエラー伝搬画素を除く）、及び前のピクチャの対応する符号化ライン単位の直下の符号化ライン単位の一部である。この符号化ライン単位の一部は、上側のエラー伝搬画素及び下側の境界画素及びエラー伝搬画素を除いた範囲である。

［２−５．動作及び効果］
以上の構成によれば、画像符号化部１０４は、ピクチャ間において、リフレッシュラインＲＬが変動方向であるｙ方向下側へ向けて、リフレッシュラインＲＬのｙ方向のマクロブロックの数よりも少なくとも１以上少ない変動数だけ変動するように強制イントラマクロブロックを割り当てる。画像符号化部１０４は、ピクチャにおける固定位置でスライスを分割すると共に、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃを「１」に設定する。画像符号化部１０４は、ピクチャ間において一定となる固定位置（スライス境界ＢＬｆｉｘ）でスライスを分割する。

復号部３２は、ピクチャ間においてリフレッシュラインＲＬにおけるｙ方向下側のリフレッシュ境界ＢＤにおいて未復帰ラインＵＲを参照してデブロックフィルタ処理を実行する。しかし復号部３２は、当該リフレッシュ境界のリフレッシュラインＲＬを次のピクチャにおいて重複して出現させるため、デブロックフィルタ処理によって破壊されたマクロブロックラインを次のピクチャでエラーから復帰させることができる。

また復号部３２は、スライス境界ＢＬｆｉｘを固定することにより、スライス境界ＢＬｆｉｘからリフレッシュラインＲＬまでの間を復帰済ラインＡＲのみにすることができるため、デブロックフィルタ処理を実行してもエラーの伝搬が生じない。このため、画像符号化部１０４は、デブロックフィルタ処理によるエラーの伝搬を防止することができる。

また、画面内予測処理についても同様であり、スライス境界ＢＬｆｉｘからリフレッシュラインＲＬまでの間を復帰済ラインＡＲのみにすることができるため、リフレッシュラインＲＬが上側のインターマクロブロックを参照しても、エラーの伝搬が生じない。このため、画像符号化部１０４は、画面内予測処理によるエラーの伝搬を防止することができる。

画像符号化部１０４は、以下の範囲を動きベクトルのｙ方向の探索範囲に設定する。
１）処理対象となるリフレッシュラインＲＬに対応する参照ピクチャの水平ラインとしてのマクロブロックライン（ｙ方向下側とは逆方向側から、フィルタ処理において参照される隣接画素の数に対応する整数精度未満の画素（すなわちエラー伝搬画素）を除く）
２）参照ピクチャのリフレッシュラインＲＬに対応する参照ピクチャのマクロブロックラインから変動数でなるマクロブロックライン（ｙ方向下側方向から、デブロックフィルタ処理において参照される隣接画素の数に対応する整数精度未満の画素（２画素の境界画素）、並びに動き予測処理におけるフィルタ処理において参照される隣接画素の数（２画素）及びデブロックフィルタ処理において参照される画素の数（２画素）を加算した加算数の画素に対応する整数精度未満の画素（リフレッシュ境界ＢＤから５画素目よりも外側に位置する画素）を除く）。

これにより、画像符号化部１０４は、復号時にエラーが伝搬しない範囲として最大限の範囲に動きベクトルの探索範囲を設定することができる。すなわち、画像符号化部１０４は、リフレッシュブロックＲＬよりも大きい範囲に動きベクトルの探索範囲を拡大することができるため、符号化効率を向上させることができる。

以上の構成によれば、画像符号化部１０４は、スライス境界ＢＬｆｉｘ以外においてデブロックフィルタ処理を実行すると共に、リフレッシュラインＲＬを少なくとも１マクロブロックラインずつずらして変動させる。画像符号化部１０４は、スライス境界ＢＬｆｉｘを固定すると共に、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃを用いてスライス境界ＢＬｆｉｘ以外におけるデブロックフィルタ処理を実行する。

これにより、画像符号化部１０４は、スライス境界ＢＬｆｉｘ以外においてデブロックフィルタ処理を実行して画質を向上させつつ、エラーの伝搬を防止してエラーから復帰するまでに要する時間を短縮できる。

＜３．第３の実施の形態＞
図２２〜２５に示す第３の実施の形態においては、図２〜図１４に示した第１の実施の形態と対応する箇所に同一符号を附して示し、同一部分についての説明を省略する。第３の実施の形態では、リフレッシュラインＲＬではなく、リフレッシュブロックＲＬ−Ｂごとにエラー復帰させる点が第１の実施の形態と異なっている。

［３−１．本発明の原理］
図２２に示すように、本実施の形態では、ピクチャが複数の符号化ブロック単位に分割され、当該符号化ブロック単位ごとに強制イントラマクロブロックが決定される。すなわち、本実施の形態では、リフレッシュラインＲＬではなく、リフレッシュブロックＲＬ−Ｂごとにエラーから復帰することになる。

このリフレッシュブロックＲＬ―Ｂは、任意の構成数でなるマクロブロックで構成される。リフレッシュブロックＲＬ−Ｂは、例えば４×４マクロブロックや８×８マクロブロックのように、複数のマクロブロックで構成されても良く、１マクロブロックで構成されても良い。

本実施の形態では、符号化ブロック単位が並ぶ列ごとにスライスが形成される。このスライスにおいて、リフレッシュブロックＲＬ−Ｂは、所定の出現数だけ出現する。従って、本実施の形態では、スライスごとの符号量を一定にすることができる。以下、このスライスを定符号量スライスＬＴと呼ぶ。

このため、本実施の形態では、無線伝送時のバッファリングによって生じる遅延量を定符号量スライスＬＴにまで減少させることができる。

また、本実施の形態では、符号化ブロック単位ごとにリフレッシュブロックＲＬ−Ｂを出現させる。各定符号量スライスにおいてリフレッシュブロックＲＬ−Ｂは、周期Ｔごとに定期的に出現するものの、各定符号量スライス間におけるリフレッシュブロックＲＬ−Ｂの位置関係に一定のルールはない。すなわち、リフレッシュブロックＲＬ−Ｂは、見た目上、あたかもランダムであるかのように出現する。

一般的に、イントラ符号化されたＩマクロブロックはインター符号化されたＰマクロブロックよりも画質が良い。第１及び第２の実施の形態では、リフレッシュラインＲＬごとに強制イントラマクロブロックが出現するため、強制イントラマクロブロック及びＰマクロブロック間での画質の差異が目立ってしまっていた。

本実施の形態では、比較的小さな符号化ブロック単位で強制イントラマクロブロックを出現させることにより、Ｉマクロブロック及びＰマクロブロック間における画質の差異を目立ちにくくでき、ピクチャとしての画質を向上させることができる。なお以下、第３〜第５の実施の形態の符号化方式をランダムリフレッシュ方式と呼び、リフレッシュラインＲＬごとに強制イントラマクロブロックを出現させる第１及び第２の実施の形態と区別する。

［３−２．マクロブロックごとのリフレッシュ］
本実施の形態では、リフレッシュブロックＲＬ−Ｂが１マクロブロックで構成される場合について説明する。

図２３に示すように、画像符号化部２０４は、１マクロブロックラインごとに定符号量スライスを形成し、１マクロブロックごとにリフレッシュブロックＲＬ−Ｂを出現させる。

［３−２−１．第１のエラー伝搬要因の回避］
画像符号化部２０４の探索範囲設定部１６は、ｘ方向及びｙ方向共に、探索範囲を「０」に設定する。すなわち、動き予測・補償部１４は、動きベクトルの検出を実行せず、動きベクトルは常に「０」となる。

従って、動き予測・補償部１４は、前のピクチャの対応するマクロブロックの画素値をそのまま演算器１３に供給する。演算器１３は、処理対象となるマクロブロックと前のピクチャの対応するマクロブロックの画素値との差分値を差分データＬ１として出力する。

これにより、画像符号化部２０４は、動き予測処理による未復帰のマクロブロック（以下、これを未復帰マクロブロックＵＭと呼ぶ）からのエラーの伝搬を防止することができる。

［３−２−２．第２のエラー伝搬要因の回避］
画像符号化部２０４は、第１の実施の形態と同様、リフレッシュマクロブロックＲＬ−Ｂをスライス先頭にすることにより、画面内予測処理における未復帰マクロブロックＵＭからのエラーの伝搬を防止する。

具体的に、画像符号化部２０４のピクチャヘッダ生成部９は、ピクチャヘッダにリフレッシュブロックＲＬ−Ｂの先頭をスライス先頭にすることを表すフラグを「ｔｒｕｅ」に設定する。

スライス分割判定部１１は、リフレッシュブロックＲＬ−Ｂの先頭をスライス先頭にすることを表すフラグを確認すると、リフレッシュマクロブロックＲＬ−Ｂの前でスライスを分割する。また、スライス分割判定部１１は、処理対象のマクロブロックがピクチャの左端であると、スライスを分割する。すなわち、図２３では、リフレッシュブロックＲＬ−Ｂを含有するスライスとリフレッシュブロックＲＬ−Ｂを含有しないスライスの２つで定符号量スライスＬＴを構成する。

なお、スライス分割判定部１１は、リフレッシュブロックＲＬ−Ｂがピクチャの左端に位置する場合、同一のマクロブロックラインの途中で（例えばリフレッシュブロックＲＬ−Ｂの直後に）スライス分割を行う。これにより、スライス分割判定部１１は、定符号量スライスＬＴを常に２つのスライスで構成することができる。

イントラ予測部１５は、スライスを跨ぐ画素を参照しないため、リフレッシュブロックＲＬ−Ｂの上及び左の画素を参照せずに画面内予測符号化を実行する。

これにより、復号部３２は、未復帰マクロブロックＵＭを参照することなく処理対象のマクロブロックを復号し、リフレッシュブロックＲＬ−Ｂをエラーから復帰させることができる。

［３−２−３．第３のエラー伝搬要因の回避］
スライスヘッダ生成部１２は、スライスヘッダを生成する際、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ＝１に設定する。デブロックフィルタ２６は、このフラグを確認すると、デブロックフィルタ処理を実行しない。

これにより、画像符号化部２０４は、デブロックフィルタ処理による未復帰マクロブロックＵＭからリフレッシュラインＲＬへのエラーの伝搬を防止でき、リフレッシュブロックＲＬ−Ｂをエラーから復帰させることができる。

［３−２−４．処理手順］
次に、第３の実施の形態における処理手順について、図２４のフローチャートを用いて説明する。第３の実施の形態では、第１の実施の形態と同様に符号化処理手順ＲＴ１（図１１）を実行するものの、ステップＳＰ４においてサブルーチンＳＲＴ３１を実行し、ステップＳＰ７においサブルーチンＳＲＴ２３を実行する。ここでは、サブルーチンＳＲＴ３１及びＳＲＴ２３についてのみ説明する。

画像符号化部２０４は、符号化処理手順ＲＴ１（図１１）のステップＳＰ４からサブルーチンＳＲＴ２４（図２４）のステップＳＰ１０１へ移り、スライス分割判別処理を実行する。

ステップＳＰ１０１において、画像符号化部２０４は、処理対象のマクロブロックに関し、以下の２つの条件を全て満たすか否かについて判別する。
１）リフレッシュブロックＲＬ−Ｂの先頭をスライス先頭にするか否かを決めるフラグが「ｔｒｕｅ」である
２）処理対象のマクロブロックが強制イントラマクロブロックである

ここで肯定結果が得られた場合、このことは、処理対象のマクロブロックがリフレッシュブロックＲＬ―Ｂであることを表しており、当該処理対象のマクロブロックの直前でスライス分割すべきであることを表している。このとき、画像符号化部２０４は、次のステップＳＰ１０２へ移る。

ステップＳＰ１０２において、画像符号化部２０４は、処理対象のマクロブロックがピクチャの左端であるか否かについて判別し、肯定結果が得られた場合、ステップＳＰ１０３へ移る一方、否定結果が得られた場合には、ステップＳＰ１０４へ移る。

ステップＳＰ１０３において、画像符号化部２０４は、処理対象のマクロブロックから新規スライスとなるようスライス分割を実行する。このとき、画像符号化部２０４は、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃを設定する。そして、画像符号化部２０４は、符号化処理手順ＲＴ１（図１１）のステップＳＰ５へ移る。

ステップＳＰ１０５において、画像符号化部２０４は、スライス分割をすることなく、符号化処理手順ＲＴ１（図１１）のステップＳＰ５へ移る。

ステップＳＰ７において、画像符号化部２０４は、探索範囲設定処理手順を表すサブルーチンＳＲＴ２３のステップＳＰ８１へ移る。

ステップＳＰ８１において、画像符号化部２０４は、エラーの伝搬しない範囲を設定すると、符号化処理手順ＲＴ１（図１１）のステップＳＰ８へ移る。なお、第３の実施の形態において、エラーの伝搬しない範囲とは、ｘ方向及びｙ方向の探索範囲＝「０」である。

ステップＳＰ８において、画像符号化部２０４は、動きベクトルを「０」として動き予測（すなわち、前のピクチャからの差分値の算出）を実行する。

［３−２−５．動作及び効果］
以上の構成において、画像符号化部２０４は、定数のマクロブロックラインにからなる定符号量スライスＬＴごとにスライス分割する。画像符号化部２０４は、構成数のマクロブロックで構成されたリフレッシュブロックＲＬ−Ｂごとに、かつ定符号量スライスＬＴにおいて出現数だけ強制イントラマクロブロックが出現するように、強制イントラマクロブロックを割り当る。

これにより、画像符号化部２０４は、定符号量スライスＬＴごとの符号量を一定にすることができるため、バッファリングのために要する遅延量を定符号量スライスＬＴのサイズまで減少させることができる。

画像符号化部２０４は、単数のマクロブロックがｘ方向に並ぶことにより定符号量スライスＬＴを構成し、単数のマクロブロックによりリフレッシュブロックＲＬを構成する。

これにより、画像符号化部２０４は、定符号量スライスＬＴを１マクロブロックラインにすることができるため、遅延量を１マクロブロックラインにすることができる。

画像符号化部２０４は、ピクチャ内においてランダムに強制イントラマクロブロックを割り当てる。

これにより、画像符号化部２０４は、イントラ符号化されるＩマクロブロックとインター符号化されるＰマクロブロックをランダムに出現させるため、イントラ符号化による画質の高さを目立たせないようにできる。

画像符号化部２０４は、強制イントラマクロブロックの先頭をスライス先頭にし、ｘ方向及びｙ方向における動きベクトルの探索範囲を「０」とする。

これにより、画像符号化部２０４は、動き予測処理による復号時のエラーの伝搬を防止することができる。

以上の構成によれば、画像符号化部２０４は、定符号量スライスＬＴごとにリフレッシュブロックＲＬ−Ｂを出現させる。これにより、画像符号化部２０４は、エラーの伝搬を防止してエラーからの復帰に要する時間を短縮しながら、遅延量を小さくすることができる。

＜４．第４の実施の形態＞
図２５に示す第４の実施の形態においては、図２２〜図２４に示した第３の実施の形態と対応する箇所に同一符号を附して示し、同一部分についての説明を省略する。第４の実施の形態では、リフレッシュブロックＲＬ−Ｂが１マクロブロックではなく、複数のマクロブロックで構成される点が第３の実施の形態と異なっている。

［４−１．第１のエラー伝搬要因の回避］
第１の実施の形態では、マクロブロックラインごとにリフレッシュラインＲＬが出現したため、ｘ方向の動きベクトルの探索範囲に制限を加える必要がなかった。本実施の形態では、未復帰マクロブロックＵＭを参照させないために、ｘ方向についてもｙ方向と同様の制限を加える必要がある。

画像符号化部２０４の探索範囲設定部１６は、ｘ方向及びｙ方向の動きベクトルＭＶｘ及びＭＶｙの探索範囲を符号化ブロック単位内であり、かつ符号化ブロック単位において外側の３画素よりリフレッシュ境界ＢＤ側に存在する１／２画素及び１／４画素を除く範囲に設定する。

なお、マクロブロック判定部１１は、ピクチャ間において右側にずれるようにリフレッシュマクロブロックＲＬ−Ｂを出現させる。このため、復号部３２は、リフレッシュマクロブロックＲＬ―Ｂが出現した後に、インター符号化された符号化ブロック単位の右側について、既に復帰した復帰済ブロックを参照することができる。

このため、探索範囲設定部１６は、符号化ブロック単位の右側については、リフレッシュ境界ＢＤまでを探索範囲として設定することができる。

これにより、画像符号化部３０４は、未復帰マクロブロックＵＭからのエラーの伝搬を防止することができる。また、画像符号化部３０４は、動きベクトルを検出できるため、１マクロブロックごとにリフレッシュブロックＲＬ−Ｂが出現する第３の実施の形態と比較して、符号化効率を向上させることができる。

［４−２．第２のエラー伝搬要因の回避］
リフレッシュブロックＲＬ−Ｂが複数のマクロブロックラインにまたがっているため、第３の実施の形態と同様にして当該リフレッシュブロックＲＬ−Ｂをスライス先頭にするためには、各マクロブロックラインごとにスライス分割を行う必要がある。本実施の形態では、スライス分割の数を減少させるため、ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇを用いて第２のエラー伝搬要因を回避する。

画像符号化部３０４のピクチャヘッダ生成部９は、ピクチャヘッダにおけるＰＰＳ（Picture Parameter set）におけるｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ＝１とする。このフラグが「１」であることは、イントラ符号においてインター符号化された画素を参照しないことを表している。

イントラ予測部１５は、ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ＝１であることを確認すると、イントラ符号化された画素のみを参照して画面内予測処理を実行する。この結果、復号部３２は、イントラ符号化された画素のみを参照して画像データＳ４を復号することができるため、未復帰ラインＵＲからのエラーの伝搬を防止できる。

このように、画像符号化部３０４は、ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ＝１とすることにより、未復帰ラインＵＲからのエラーの伝搬を防止し得るようになされている。また、画像符号化部３０４は、リフレッシュブロックＲＬ−Ｂの２行目及び２列目以降のマクロブロックにおいて隣接するマクロブロックを参照できる。このため、画像符号化部３０４は、１マクロブロックごとにリフレッシュブロックＲＬ−Ｂが出現する第３の実施の形態と比較して、符号化効率を向上させることができる。

これにより、復号部３２は、未復帰マクロブロックＵＭを参照することなく処理対象のマクロブロックを復号し、リフレッシュブロックＲＬ−Ｂをエラーから復帰させることができる。

［４−３．第３のエラー伝搬要因の回避］
スライスヘッダ生成部１２は、スライスヘッダを生成する際、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ＝１に設定する。デブロックフィルタ２６は、このフラグを確認すると、当該スライスの全てに対し、デブロックフィルタ処理を実行しない。

これにより、画像符号化部３０４は、デブロックフィルタ処理による未復帰マクロブロックＵＭへのエラーの伝搬を防止でき、リフレッシュブロックＲＬ−Ｂをエラーから復帰させることができる。

なお定符号量スライスＬＴにおけるリフレッシュブロックＲＬ−Ｂの出現数は、１であっても良く、複数であっても良い。出現数を多くすることにより、周期Ｔを小さくしてエラーからの復帰を早めることが可能である。一方、出現数を小さくすることにより、インターマクロブロックの割合を高め、符号化効率を向上させることができる。

同様に、符号化ブロック単位のサイズを大きくすることにより、動きベクトルの探索範囲を大きく設定して符号化効率を向上させ得る。一方、符号化ブロック単位のサイズを小さくすることにより、定符号量スライスＬＴを小さくして遅延量を小さくし得ると共に、イントラブロック及びインターブロック間での画質の差異を目立ちにくくすることができる。

符号化ブロック単位の大きさ及びリフレッシュブロックＲＬ−Ｂの出現数は、上記を踏まえた上で、適宜選択されることが好ましい。

このように、画像符号化部３０４は、複数のマクロブロック単位でリフレッシュブロックＲＬ−Ｂを出現させることにより、動き予測及び画面内予測符号化処理における参照対象を拡大し、符号化効率を向上させることができる。

［４−４．動作及び効果］
以上の構成において、画像符号化部３０４は、ｙ方向に複数のマクロブロックでなる定符号量スライスＬＴを構成し、リフレッシュブロックＲＬ−Ｂは、複数のマクロブロックにより構成する。画像符号化部３０４は、ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇを「１」に設定する。

これにより、画像符号化部３０４は、復号時のエラーの伝搬を防止しつつ、スライス分割の数を減少させると共に、画面内予測処理及び動き予測処理における参照対象ブロックの範囲を拡大して符号化効率を向上させることができる。

画像符号化部３０４は、ピクチャ間において、リフレッシュブロックＲＬ−Ｂが水平右方向（ｘ方向右側）に移動するように、強制イントラブロックを割り当てる。

これにより、画像符号化部３０４は、ピクチャ間においてリフレッシュブロックＲＬ−Ｂを隣接させることができるため、リフレッシュブロックＲＬ−Ｂのｘ方向右側について、探索範囲をリフレッシュ境界ＢＤまで設定することができる。これにより、画像符号化部３０４は、探索範囲を拡大して符号化効率を向上させることができる。

画像符号化部３０４は、参照ピクチャにおけるリフレッシュブロック（ｘ方向右側以外のリフレッシュブロックの境界からフィルタ処理において参照される隣接画素の数に対応する整数精度未満の画素を除く）を探索範囲とする。

これにより、画像符号化部３０４は、復号時の動き予測処理におけるエラーの伝搬を防止できる。

以上の構成によれば、画像符号化部３０４は、複数のマクロブロックでリフレッシュブロックＲＬ−Ｂを構成することにより、遅延量を抑制しつつ、参照対象ブロックを拡大及びスライス数を減少させ、符号化効率を向上させることができる。

＜５．第５の実施の形態＞
図２６に示す第５の実施の形態においては、図２５に示した第４の実施の形態と対応する箇所に同一符号を附して示し、同一部分についての説明を省略する。第５の実施の形態では、１マクロブロックラインを定符号量スライスＬＴとする点、及びデブロックフィルタ処理を実行する点が第４の実施の形態と異なっている。

［５−１．本発明の利点］
本実施の形態において、画像符号化部４０４は、１マクロブロックラインごとにスライス分割を実行すると共に、リフレッシュブロックＲＬ−Ｂの先頭でスライス分割を実行する。すなわち、画像符号化部４０４は、第３の実施の形態と同様、１マクロブロックラインを定符号量スライスＬＴとすることができ、遅延量を低減できる。

図２６に示すように、本実施の形態において、リフレッシュブロックＲＬ−Ｂは、例えば４×３マクロブロックごとに出現する。

これにより、画像符号化部４０４は、第４の実施の形態と同様、動き予測及び画面内予測における参照範囲を拡大し、符号化効率を向上させることができる。

［５−２．第３のエラー伝搬要因の回避］
画像符号化部４０４のスライスヘッダ生成部１２は、スライスヘッダを生成する際、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ＝２に設定する。デブロックフィルタ２６は、このフラグを確認すると、スライス境界ＢＬに対してデブロックフィルタ処理を実行しない。

画像符号化部４０４のスライス分割部１１は、各マクロブロックライン内（定符号量スライスＬＴ内）において、常に固定された位置でスライス分割を実行する。同一のリフレッシュブロックＲＬ−Ｂを出現させる定符号量スライスＬＴでは、ｘ方向に同一位置でスライス分割が実行される。この結果、スライス境界ＢＬｆｉｘは、ある１枚のピクチャにおいて、リフレッシュブロックＲＬ−Ｂの左端に沿うように生成される。

このとき、デブロックフィルタ処理の影響により、リフレッシュブロックＲＬ−Ｂにおいてスライス境界とならない右側部分の２画素が破壊される（囲んで示す）。このため、イントラマクロブロック判定部１０は、図２６（Ｂ）に示すように、次のピクチャにおいて、破壊される画素を有するマクロブロックが重複するように、リフレッシュブロックＲＬ−Ｂを２マクロブロックだけ右側にずらした位置に出現させる。

これにより、復号部３２は、エラー時において、未復帰ブロックＵＲ−Ｂを用いたデブロックフィルタ処理により破壊されるマクロブロックを、次のピクチャにおいて適切に復帰させることができる。

このように、画像符号化部４０４は、１マクロブロックラインごとに定符号量スライスを形成しつつ、複数ブロック単位でリフレッシュブロックＲＬ−Ｂを出現させる。これにより、画像符号化部４０４は、動き予測及び画面内予測符号化による参照対象ブロックを増大させて符号化効率を向上させつつ、遅延量を低減させることができる。

［５−３．動作及び効果］
以上の構成において、画像符号化部４０４は、単数の符号化単位が水平方向に並ぶことにより定符号量スライスＬＴを構成する。画像符号化部４０４は、複数の定符号量スライスＬＴにおけるｘ方向の同一位置に、強制イントラマクロブロックが連なることによりリフレッシュブロックＲＬ−Ｂを構成する。

これにより、画像符号化部４０４は、１マクロブロックラインごとに形成された定符号量スライスＬＴを跨いでリフレッシュブロックＲＬ−Ｂを形成することができる。すなわち、画像符号化部４０４は、定符号量スライスＬＴを小さくして遅延量を抑制しつつ、リフレッシュブロックＲＬ−Ｂを大きくして参照対象ブロックを拡大し、符号化効率を向上させることができる。

画像符号化部４０４は、ピクチャ間において、リフレッシュブロックＲＬ−Ｂにおける少なくとも１以上のマクロブロックが重複するように強制イントラマクロブロックを割り当てる。画像符号化部４０４は、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃを「２」に設定する。

これにより、画像符号化部４０４は、第２の実施の形態と同様、デブロックフィルタ処理によって破壊されるマクロブロックを次のピクチャにおいて復帰させつつ、スライス境界ＢＬ以外の部分についてデブロックフィルタ処理を実行できるため、画質を向上させ得る。

画像符号化部４０４は、各定符号量スライスＬＴにおけるリフレッシュブロックＲＬ−Ｂの先頭をスライスの先頭にする。

これにより、画像符号化部４０４は、第２の実施の形態と同様、復号時の画面内予測処理及びデブロックフィルタ処理によるエラーの伝搬を防止できる。

以上の構成によれば、画像符号化部４０４は、定符号量スライスＬＴを跨いで当該定符号量スライスＬＴよりもｙ方向に多くのマクロブロックからなるリフレッシュブロックＲＬ−Ｂを構成する。

これにより、画像符号化部４０４は、バッファリングによる遅延量を小さくしつつ、参照対象ブロックを拡大し、符号化効率を向上させることができる。

＜６．他の実施の形態＞
なお上述した第１の実施の形態においては、ｘ方向にのみ１／２画素及び１／４画素を生成するようにした場合について述べた。本発明はこれに限らず、ｙ方向にも１／２画素及び１／４画素を生成するものの、ｘ方向にのみ検索するようにしても良い。また、ｙ方向にも１／２画素及び１／４画素を生成し、後から当該ｙ方向の１／２画素及び１／４画素を削除するようにしても良い。

また上述した実施の形態においては、符号化ライン単位＝１の場合、動きベクトルＭＶｙ＝０とするようにした場合について述べた。本発明はこれに限らず、検索する動き検索ブロックのサイズが１６×８、８×８、８×４、４×８、４×４の場合には、符号化ライン単位＝２以上のときと同様の処理によりｙ方向の動きベクトルを検出するようにしても良い。

さらに上述した第１及び第２の実施の形態においては、１ピクチャに１つのリフレッシュラインＲＬが出現するようにした場合について述べた。本発明はこれに限らず、１ピクチャに複数のリフレッシュラインＲＬが出現するようにしても良い。本発明は、このリフレッシュラインＲＬの出現する頻度により、符号化効率を調整することができる。

さらに上述した第３〜第５実施の形態においては、１つの定符号量ラインに１つのリフレッシュブロックＲＬ−Ｂが出現するようにした場合について述べた。本発明はこれに限らず、１つの定符号量ラインに複数のリフレッシュブロックＲＬ−Ｂが出現するようにしても良い。本発明は、このリフレッシュブロックＲＬ−Ｂの出現する頻度により、符号化効率を調整することができる。

さらに上述した実施の形態においては、符号化単位として１６×１６画素でなるマクロブロックごとに符号化方式が判定されるようにした場合について述べた。本発明はこれに限らず、符号化単位のサイズに制限はない。

さらに上述した実施の形態においては、他ブロックをインターブロック及びイントラブロックに割り当てるようにした場合について述べた。本発明はこれに限らず、例えば全ての他ブロックをインターブロックに割り当てるようにしても良い。

さらに上述した実施の形態においては、強制イントラブロックに対して画面内予測処理を実行するようにした場合について述べた。本発明はこれに限らず、例えば画素値がそのまま符号化されても良く、必ずしも画面内予測処理が実行される必要はない。

さらに上述した実施の形態においては、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃを用いてデブロックフィルタ処理を制限するようにした場合について述べた。本発明はこれに限らず、その制限方法に制限はない。

さらに上述した実施の形態においては、リフレッシュラインＲＬが変動方向としてｘ方向下側に変動するようにした場合について述べた。本発明はこれに限らず、ｘ方向上側に変動するようにしても良い。この場合、本発明は、リフレッシュ境界ＢＤにおける隣接画素に対応する１／２画素及び１／４画素を含有しないように、変動方向とは逆方向のｘ方向下側についてのｙ方向の動きベクトルに対する探索範囲を設定する。これにより、本発明は、上述した実施の形態と同様の効果を奏することができる。

さらに上述した実施の形態においては、Ｈ．２６４／ＡＶＣ方式に従って符号化処理を実行するようにした場合について述べた。本発明はこれに限らず、少なくとも隣接画素を参照した整数精度未満での動き予測処理及びデブロックフィルタ処理が実行される全ての符号化方式に従って符号化処理を実行するようにしても良い。

さらに上述した第１の実施の形態においては、リフレッシュラインＲＬがピクチャ間において順次変動するようにした場合について述べた。本発明はこれに限らず、ランダムに出現するようにしても良い。

さらに上述した第３〜第５の実施の形態においては、リフレッシュブロックＲＬがピクチャ内においてランダムに出現するようにした場合について述べた。本発明はこれに限らず、一定の規則をもって出現するようにしても良い。

さらに上述した実施の形態においては、ピクチャ間においてリフレッシュブロックＲＬ−Ｂが水平右方向であるｘ方向右側に移動するようにした場合について述べた。本発明はこれに限らず、ｘ方向左側に移動するようにしても良い。また、ピクチャ間において必ずしも規則的に移動する必要はなく、ランダムに移動しても良い。

さらに上述した第１の実施の形態においては、１マクロブロックラインを定符号量ラインＬＴとするようにした場合について述べた。本発明はこれに限らず、例えば１／２ラインを定符号量ラインＬＴとするようにしても良い。これにより、遅延量をさらに小さくできる。

さらに上述した第２の実施の形態においては、ピクチャ間において１符号化ライン単位だけ重複しながらリフレッシュラインＲＬが変動するようにした場合について述べた。本発明はこれに限らず、少なくとも１マクロブロックラインが重複すれば良く、例えば２以上の符号化ライン単位が重複するようにしても良い。また、符号化ライン単位ごとに重複させる必要はなく、符号化ライン単位に１マクロブロック加算してリフレッシュラインＲＬを出現させても良い。

さらに上述した第５の実施の形態においては、ピクチャ間において１マクロブロックだけ重複しながらリフレッシュブロックＲＬ−Ｂが変動するようにした場合について述べた。本発明はこれに限らず、少なくとも１マクロブロックだけリフレッシュブロックＲＬ−Ｂがすれば良く、２マクロブロック以上変動するようにしても良い。

さらに上述した実施の形態においては、インター符号化の際、直前のピクチャのみを参照するようにした場合について述べた。本発明はこれに限らず、前方向のピクチャを参照すれば良く、例えば２つ前のピクチャを参照しても良い。

さらに上述した実施の形態においては、インター符号化の際、６ＴＡＰのＦＩＲフィルタにより、隣接画素として２画素を参照するようにした場合について述べた。本発明はこれに限らず、フィルタのタップ数に制限はなく、例えば１画素又は３画素以上の隣接画素を参照しても良い。

さらに上述した実施の形態においては、デブロックフィルタ処理において２画素の隣接画素を参照するようにした場合について述べた。本発明はこれに限らず、参照する画素数に制限はない。

さらに上述した実施の形態においては、無線画像データ伝送システムとして、本発明を壁掛けテレビに適用するようにした場合について述べた。本発明はこれに限らず、無線で画像データを送受してリアルタイムで表示する全てのシステムにおいて本発明を適用することができる。

さらに上述した実施の形態においては、無線伝送方式として、ＩＥＥＥ ８０２．１１ｎ方式を適用するようにした場合について述べた。本発明はこれに限らず、無線伝送方式に制限はない。

さらに上述した第３〜第５の実施の形態においては、Ｈ．２６４／ＡＶＣ方式に適用するようにした場合について述べた。本発明はこれに限らず、例えばＭＰＥＧ−２方式などの各種符号化方式に適用することも可能である。要は、複数のピクチャによって構成される画像データを受け取る受取部と、受取部によって受け取られた画像データをイントラ符号化及び前方向のインター符号化により符号化する際、一定の周期でピクチャにおける全ての符号化単位が、イントラ符号化される強制イントラブロックとなるように、強制イントラブロック又は当該強制イントラブロック以外の他ブロックに符号化単位を割り当てる強制イントラブロック割当部と、一定の符号量ごとにスライス分割し定符号量スライスを形成するスライス分割部と、上記強制イントラブロック割当部によって割り当てられた上記強制イントラブロックをイントラ符号化するイントラ符号化部と、インター符号化すべきインターブロックをインター符号化するインター符号化部とを有していれば良い。これにより、本発明は、ＭＰＥＧ−２方式にランダムリフレッシュ方式を適用し、遅延量を低減することができる。

さらに、上述した実施の形態においては、符号化プログラム等をＲＯＭ又はハードディスクドライブなどに予め格納するようにした場合について述べた。本発明はこれに限らず、メモリースティック（ソニー株式会社の登録商標）などの外部記憶媒体からフラッシュメモリなどにインストールするようにしても良い。また、符号化プログラムなどをＵＳＢ（Universal Serial Bus）やＥｔｈｅｒｎｅｔ（登録商標）（Institute of Electrical and Electronics Engineers）８０２．１１ａ／ｂ／ｇなどの無線ＬＡＮ（Local Area Network）を介して外部から取得し、さらに、は地上ディジタルテレビジョン放送やＢＳディジタルテレビジョン放送により配信されるようにしても良い。

さらに上述した実施の形態においては、受取部としてのバッファ８と、強制イントラブロック割当部としてのイントラマクロブロック判定部と、探索範囲設定部としての探索範囲設定部１６と、動き予測部としての動き予測・補償部と、デブロックフィルタ制限部としてのスライスヘッダ生成部１２と、デブロックフィルタとしてのデブロックフィルタ２６とによって画像処理装置としての画像処理装置１を構成するようにした場合について述べた。本発明の画像処理装置は、受取部と、強制イントラブロック割当部と、探索範囲設定部と、動き予測部と、デブロックフィルタ制限部と、デブロックフィルタとを少なくとも有していればよく、例えば画像符号化部４のみから構成されていても良い。さらに本発明は、その他種々の構成による受取部と、強制イントラブロック割当部と、探索範囲設定部と、動き予測部と、デブロックフィルタ制限部と、デブロックフィルタとによって本発明の画像処理装置を構成するようにしても良い。

本発明の符号化装置は、例えば公に配信されるコンテンツを録画する機能を有する各種電子機器に利用することができる。

１……画像処理装置、４……画像符号化部、８……バッファ、９……ピクチャヘッダ生成部、１０……イントラマクロブロック判定部、１１……スライス分割判定部、１２……スライスヘッダ生成部、１４……動き予測・補償部、１５……イントラ予測部、１７……直交変換部、１８……量子化部、１９……レート制御部、２０……可逆符号化部、２１……蓄積バッファ、２３……逆量子化部、２４……逆直交変換部、２６……デブロックフィルタ、２７……フレームメモリ、Ｓ４……画像データ、Ｓ６……ビットストリーム、Ｌ３……ローカルデコード画像。

Claims (20)

1. 強制イントラブロックに対するイントラ符号化を実行するイントラ符号化部と、
   参照対象となる参照ピクチャにおける参照符号化単位に対し、隣接画素を用いたフィルタ処理によって上記隣接画素に対応する対応画素を生成し、上記強制イントラブロック及び上記他ブロックの境界となる境界ラインから、上記隣接画素の数に対応する上記対応画素を含有しないよう、上記参照符号化単位に対する探索範囲を設定する探索範囲設定部と、
   上記探索範囲設定部において設定された探索範囲で動きベクトルを検出し、動き予測処理を実行する動き予測部と、
   デブロックフィルタ処理を適用するか、又は、デブロックフィルタ処理を上記境界ラインで適用するかを示すデブロックフィルタ設定情報を変更することにより、デブロックフィルタ処理に対する制限を設定するデブロックフィルタ制限部と、
   上記イントラ符号化部及び上記動き予測部によって符号化された符号化単位のローカルデコード画像に対し、上記デブロックフィルタ制限部によって変更されたデブロックフィルタ設定情報に従って、デブロックフィルタ処理を実行するデブロックフィルタと
   を有する画像処理装置。
2. 複数のピクチャによって構成される画像データを受け取る受取部と、
   上記受取部によって受け取られた画像データをイントラ符号化及び前方向のインター符号化により符号化する際、一定の周期で上記ピクチャにおける全ての符号化単位が、イントラ符号化される強制イントラブロックとなるように、強制イントラブロック又は当該強制イントラブロック以外の他ブロックに上記符号化単位を割り当てる強制イントラブロック割当部と
   をさらに有する請求項１に記載の画像処理装置。
3. インター符号化されるインターブロックでなる符号化処理単位を参照しないよう、上記強制イントラブロックに対する参照対象を制限する参照対象制限部
   をさらに有し、
   上記イントラ符号化部は、
   上記参照対象制限部による制限に従って、画面内予測処理を実行する
   請求項２に記載の画像処理装置。
4. 上記強制イントラブロック割当部は、
   上記ピクチャにおける水平方向に上記符号化単位が並ぶ水平ラインごとに、リフレッシュラインとして上記強制イントラブロックを割り当てると共に、ピクチャ間において上記リフレッシュラインが変動方向へ向けて変動するように上記強制イントラブロックを割り当て、
   上記探索範囲設定部は、
   上記参照ピクチャにおけるリフレッシュラインにおいて、上記変動方向とは逆方向側から上記フィルタ処理において参照する隣接画素の数に対応する上記対応画素を除く範囲を上記探索範囲として設定する
   請求項３に記載の画像処理装置。
5. 上記探索範囲設定部は、
   単数の上記符号化単位が水平方向に並ぶことにより上記リフレッシュラインが構成されていた場合には、垂直方向の上記探索範囲を「０」に設定する
   請求項３に記載の画像処理装置。
6. 上記強制イントラブロック割当部は、
   ピクチャ間において、変動方向へ向けて、上記強制イントラブロックで構成されるリフレッシュラインが当該リフレッシュラインの垂直方向の符号化単位の数と同一数だけ変動するように上記強制イントラブロックを割り当て、
   上記デブロックフィルタ制限部は、
   ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃを「１」に設定する
   請求項４に記載の画像処理装置。
7. 上記参照対象制限部は、
   上記強制イントラブロックの先頭をスライス先頭にすることを表すフラグを「ｔｒｕｅ」に設定し、
   上記画像処理装置は、
   上記強制イントラブロックの先頭の直前でスライスを分割するスライス分割部
   をさらに有する
   請求項６に記載の画像処理装置。
8. 上記参照対象制限部は、
   ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇを「１」に設定し、
   上記画面内予測処理部は、
   上記ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇに従って、インターマクロブロックを参照することなく上記強制イントラブロックに対する画面内予測処理を実行する
   請求項６に記載の画像処理装置。
9. 上記強制イントラブロック割当部は、
   上記他ブロックに割り当てた上記符号化単位を、
   インター符号化されるインターリフレッシュブロックと、イントラ符号化されるイントラリフレッシュブロックとに割り当て、
   上記参照対象制限部は、
   上記強制イントラブロックの先頭をスライス先頭にすることを表すフラグを「ｔｒｕｅ」に設定することにより、上記参照対象を制限する
   請求項６に記載の画像処理装置。
10. 上記フィルタ設定情報は、
    ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃである
    請求項６に記載の画像処理装置。
11. 上記強制イントラブロック割当部は、
    ピクチャ間において、上記リフレッシュラインが変動方向へ向けて、上記リフレッシュラインの垂直方向の符号化単位の数よりも少なくとも１以上少ない変動数だけ変動するように上記強制イントラブロックを割り当て、
    上記デブロックフィルタ制限部は、
    ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃを「２」に設定し、
    上記スライス分割部は、
    上記ピクチャ間において一定となる固定位置で上記スライスを分割する
    請求項４に記載の画像処理装置。
12. 上記探索範囲制限部は、
    上記ピクチャの上記リフレッシュラインに対応する参照ピクチャの上記水平ライン（上記変動方向とは逆方向側から、上記フィルタ処理において参照される上記隣接画素の数に対応する上記対応画素を除く）に加え、
    上記参照ピクチャの上記リフレッシュラインに対応する参照ピクチャの上記水平ラインから上記変動数でなる水平ライン（上記変動方向から、上記デブロックフィルタ処理において参照される隣接画素の数に対応する上記じょうｋ対応画素、並びに動き予測処理におけるフィルタ処理において参照される隣接画素の数及び上記デブロックフィルタ処理において参照される画素の数を加算した加算数の画素に対応する上記対応画素を除く）を上記探索範囲に設定する
    請求項１１に記載の画像処理装置。
13. 上記スライス分割部は、
    定数の上記水平ラインにからなる定符号量スライスごとにスライス分割し、
    上記強制イントラブロック割当部は、
    構成数の上記符号化単位で構成されたリフレッシュブロックごとに、かつ上記定符号量スライスにおいて出現数だけ上記強制イントラブロックが出現するように、上記強制イントラブロックを割り当る
    請求項１に記載の画像処理装置。
14. 上記強制イントラブロック割当部は、
    ピクチャ内においてランダムに上記強制イントラブロックを割り当てる
    請求項１３に記載の画像処理装置。
15. 上記参照対象制限部は、
    上記強制イントラブロックの先頭をスライス先頭にし、
    上記探索範囲制限部は、
    上記水平方向及び上記垂直方向における探索範囲を「０」とする
    請求項１４に記載の画像処理装置。
16. 上記定符号量スライスは、
    上記垂直方向に複数の上記符号化単位を有し、
    上記リフレッシュブロックは、
    複数の上記符号化単位により構成され、
    上記参照対象制限部は、
    ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇを「１」に設定する
    請求項１４に記載の画像処理装置。
17. 上記強制イントラブロック割当部は、
    上記ピクチャ間において、上記リフレッシュブロックが上記水平右方向に移動するように、上記強制イントラブロックを割り当てる
    請求項１３に記載の画像処理装置。
18. 上記探索範囲制限部は、
    上記参照ピクチャにおける上記リフレッシュブロック（上記水平右方向を除く上記リフレッシュブロックの境界から上記フィルタ処理において参照される上記隣接画素の数に対応する上記対応画素を除く）を上記探索範囲とする
    請求項１７に記載の画像処理装置。
19. 上記定符号量スライスは、
    単数の上記符号化単位が上記水平方向に並ぶことにより構成され、
    上記リフレッシュブロックは、
    複数の上記定符号量スライスにおける上記水平方向の同一位置に、上記強制イントラブロックが連なることにより構成される
    請求項１７に記載の画像処理装置。
20. 強制イントラブロックに対するイントラ符号化を実行するイントラ符号化ステップと、
    参照対象となる参照ピクチャにおける参照符号化単位に対し、隣接画素を用いたフィルタ処理によって上記隣接画素に対応する対応画素を生成し、上記強制イントラブロック及び上記他ブロックの境界となる境界ラインから、上記隣接画素の数に対応する上記対応画素を含有しないよう、上記参照符号化単位に対する探索範囲を設定する探索範囲設定ステップと、
    上記探索範囲設定ステップにおいて設定された探索範囲で動きベクトルを検出し、動き予測処理を実行する動き予測ステップと、
    デブロックフィルタ処理を適用するか、又は、デブロックフィルタ処理を上記境界ラインで適用するかを示すデブロックフィルタ設定情報を変更することにより、デブロックフィルタ処理に対する制限を設定するデブロックフィルタ制限ステップと、
    上記イントラ符号化ステップ及び上記動き予測ステップにおいて符号化された符号化単位のローカルデコード画像に対し、上記デブロックフィルタ制限部によって変更されたデブロックフィルタ設定情報に従って、デブロックフィルタ処理を実行するデブロックフィルタと
    を有する画像処理方法。

Images