JP2011055219A - 画像送信装置、画像受信装置、画像送信方法及び画像受信方法 - Google Patents

Abstract

【課題】本発明は、エラーから復帰に要する時間を短縮し得る。
【解決手段】本発明は、隣接画素を用いたフィルタ処理によって整数精度未満の画素を生成し、参照符号化単位の整数精度未満の画素を参照して実行される整数精度未満での動き予測処理の際、復号されるときにエラーから復帰していない未復帰のマクロブロックを参照して生成される整数精度未満の画素を含有しないよう、参照ブロックに対する探索範囲を設定する。また、画像符号化部４は、復号されるときにエラーから復帰していない未復帰のマクロブロックを参照しないよう、デブロックフィルタ処理を制限する。
【選択図】図５

Description

本発明は画像送信装置、画像受信装置、画像送信方法及び画像受信方法に関し、例えば地上デジタル放送によって配信される画像データを符号化する符号化装置に適用して好適なものである。

従来、壁掛けテレビなど、離隔した位置に載置された表示装置に対して無線でＨＤ（High Definition）動画像データを伝送する無線伝送技術が開発されている。この無線伝送技術に用いられる伝送方式としては、６０［ＧＨｚ］帯を使用するミリ波、５［ＧＨｚ］帯を使用するＩＥＥＥ ８０２．１１ｎ(無線ＬＡＮ（Local Area Network）)、ＵＷＢ（Ultra Wide Band）などが考えられる。

無線伝送技術では、ＨＤ動画像データを符号化により圧縮して伝送するようになされている。この無線伝送技術では、ＨＤ動画像データを伝送してから表示装置に表示されるまでの遅延ができる限り小さいことが望ましい。地上デジタル放送などの放送番組のリアルタイム表示を可能にするためである。

例えばピクチャごとにＩピクチャ、Ｐピクチャ及びＢピクチャを変更する符号化方式では、Ｉピクチャの符号量が他のピクチャと比して大きい。このため、この符号化方式を無線伝送技術に適用した場合、符号量が均一となるＧＯＰ（Group Of Picture）単位でのバッファリングが必要となり、遅延も大きくなる。

そこで、図１に示すように、ＭＰＥＧ（Moving Picture Experts Group）−２を用いたイントラスライス方式により、ＨＤ動画像データを符号化して伝送するようになされた画像処理装置が提案されている（例えば特許文献１参照）。

このＭＰＥＧ−２を用いたイントラスライス方式では、ピクチャが、イントラ符号化されるＩピクチャ領域Ｉ＿ＭＢと、前方向予測符号化されるＰピクチャ領域Ｐ＿ＭＢとから構成される。イントラスライス方式では、１ピクチャごとに所定のＭＢライン数でなるＩピクチャ領域（以下、これをリフレッシュラインと呼ぶ）ＲＬを出現させる。このリフレッシュラインＲＬは、順次ずれて出現することにより、周期Ｔでピクチャの全てにおいて出現する。

これにより、イントラスライス方式では、ピクチャごとの符号量を均一にすることができるため、ＨＤ動画像データを伝送してから表示装置に表示されるまでの遅延を小さくするようになされている。

特開平１１−２０５８０３号公報

ところで、かかる構成の符号化装置では、１周期内で全ての領域においてＩピクチャ領域Ｉ＿ＭＢを出現させる。このＩピクチャ領域Ｉ＿ＭＢは、多くの符号量を割り当てる必要があるため、Ｐピクチャ領域Ｐ＿ＭＢに割り当てる符号量が少なくなってしまい、画質が低下してしまうという問題があった。

本発明は以上の点を考慮してなされたもので、画質を向上させ得る画像送信装置、画像受信装置、画像送信方法及び画像受信方法を提案しようとするものである。

かかる課題を解決するため本発明の画像送信装置においては、複数のピクチャから構成される画像データが符号化されてなるビットストリームを受信する画像受信装置から、エラーが検出されたことを表すエラー情報を受け取るエラー受取部と、エラー受取部によってエラー情報を受け取った場合に、強制イントラブロックに対するイントラ符号化を実行し、強制イントラブロック及び当該強制イントラブロック以外の他ブロックの境界となる境界ラインから、隣接画素の数に対応する対応画素を含有しないよう、参照符号化単位に対する探索範囲を設定し、デブロックフィルタ設定情報を変更することにより、デブロックフィルタ処理に対する制限を設定する伝搬防止符号化モードを、符号化モードとして選択する符号化モード選択部と、符号化モード選択部により選択された符号化モードに従って、画像データを符号化する符号化部とを設けるようにした。

これにより、本発明の画像送信装置は、エラーが生じたときのみ画質が低下し易い伝搬防止符号化モードへ移行すれば良いため、エラーが生じていないときの画質を向上させることができる。

また、本発明の画像送信方法は、複数のピクチャから構成される画像データが符号化されてなるビットストリームを受信する画像受信装置から、エラーが検出されたことを表すエラー情報を受け取るエラー受取ステップと、エラー受取ステップにおいてエラー情報を受け取った場合に、強制イントラブロックに対するイントラ符号化を実行し、強制イントラブロック及び当該強制イントラブロック以外の他ブロックの境界となる境界ラインから、隣接画素の数に対応する対応画素を含有しないよう、参照符号化単位に対する探索範囲を設定し、デブロックフィルタ設定情報を変更することにより、デブロックフィルタ処理に対する制限を設定する伝搬防止符号化モードを、符号化モードとして選択する符号化モード選択ステップと、符号化モード選択ステップにおいて選択された符号化モードに従って、画像データを符号化する符号化ステップとを設けるようにした。

これにより、本発明の画像送信方法は、エラーが生じたときのみ画質が低下し易い伝搬防止符号化モードへ移行すれば良いため、エラーが生じていないときの画質を向上させることができる。

また、本発明の画像受信装置は、複数のピクチャから構成される画像データが符号化されてなるビットストリームを受け取るビットストリーム受取部と、ビットストリームを可逆復号する可逆復号部と、画像送信装置との間で予め定められたルールに反する値が検出されたときにエラーと認識することにより、可逆復号部によって可逆復号されたビットストリームにおける符号化単位のデータからエラーを検出するエラー検出部と、エラー検出部によってエラーが検出されると、エラーが検出されたことを表すエラー情報に対し、エラーが検出された位置を表す位置情報、又はエラーが伝搬する可能性のあるエラー伝搬範囲を表すエラー伝搬情報を付加して画像送信装置に送出するエラー送出部とを設けるようにした。

これにより、本発明の画像受信装置及び画像受信方法は、エラーが検出されたことを適切に画像送信装置に認識させることができるため、画像送信装置に対しエラーが生じたときのみ画質が低下し易い伝搬防止符号化モードへ移行させ、エラーが生じていないときの画質を向上させることができる。

また、本発明の画像受信方法は、複数のピクチャから構成される画像データが符号化されてなるビットストリームを受け取り、ビットストリームを可逆復号し、画像送信装置との間で予め定められたルールに反する値が検出されたときにエラーと認識することにより、可逆復号ステップにおいて可逆復号されたビットストリームにおける符号化単位のデータからエラーを検出し、エラー検出ステップにおいてエラーが検出されると、エラーが検出されたことを表すエラー情報に対し、エラーが検出された位置を表す位置情報、又はエラーが伝搬する可能性のあるエラー伝搬範囲を表すエラー伝搬情報を付加して画像送信装置に送出するようにした。

これにより、本発明の画像受信方法は、エラーが検出されたことを適切に画像送信装置に認識させることができるため、画像送信装置に対しエラーが生じたときのみ画質が低下し易い伝搬防止符号化モードへ移行させ、エラーが生じていないときの画質を向上させることができる。

本発明によれば、エラーが生じたときのみ画質が低下し易い伝搬防止符号化モードへ移行すれば良いため、エラーが生じていないときの画質を向上させることができる。かくして本発明は、画質を向上させ得る画像送信装置、画像受信装置、画像送信方法及び画像受信方法を実現できる。

イントラスライス方式の説明に供する略線図である。 画像処理システムの構成を示す略線図である。 画像符号化部の構成を示す略線図である。 画像復号部の構成を示す略線図である。 動き予測によるエラーの伝搬の説明に供する略線図である。 エラーからの復帰の説明に供する略線図である。 ＡＶＣの動き予測におけるエラーの伝搬の説明に供する略線図である。 第２の伝搬防止方式によるエラー伝搬の防止の説明に供する略線図である。 スライス境界の移動とエラーの伝搬の説明に供する略線図である。 スライス境界の固定におるエラー伝搬の防止の説明に供する略線図である。 デブロックフィルタの影響の説明に供する略線図である。 第２の伝播防止方式による探索範囲の説明に供する略線図である。 第３の伝搬防止方式の説明に供する略線図である。 １マクロブロックごとのリフレッシュブロックの出現の説明に供する略線図である。 パケットロスの検出によるアップリンク情報の供給の説明に供する略線図である。 データからのエラー検出によるアップリンク情報の供給の説明に供する略線図である。 伝搬範囲の特定と符号化モードの切り換えの説明に供する略線図である。 符号化モードの切り換えの説明に供する略線図である。 符号化処理手順の説明に供するフローチャートである。 部分領域伝搬防止モード処理手順の説明に供するフローチャートである。

以下、図面について、本発明の一実施の形態を詳述する。なお、説明は以下の順序で行う。
１．実施の形態（ＡＶＣイントラスライス方式におけるモードの切換え）
２．他の実施の形態

＜１．第１の実施の形態＞
[１−１．画像処理システムの構成]
図２おいて１００は、全体として無線画像データ伝送システムなどに代表される画像処理システムを示している。この画像処理システム１００は、例えば地上デジタル放送などの放送信号を受信して表示する壁掛テレビでなり、画像処理装置１及び表示装置３０を有している。

画像処理装置１は、放送信号Ｓ１を受信し、得られる画像データをＨ．２６４／ＡＶＣに従って符号化し、ビットストリームＳ６を生成する。そして画像処理装置１は、ビットストリームＳ６及び音声データが符号化された符号化音声データＳ７を表示装置３０に無線伝送する。表示装置３０は、ビットストリームＳ６及び符号化音声データＳ７を復号して出力する。この結果、表示装置３０は、地上デジタル放送などに基づく放送番組コンテンツをユーザに視聴させることができる。

デジタル放送受信部２は、例えばアンテナやインターネットなどのネットワークに接続されており、地上デジタル放送などの放送信号Ｓ１を受信する外部インターフェースでなる。この放送信号Ｓ１は、例えばＭＰＥＧ（Moving Picture Experts Group）−２規格に従って符号化されている。

デジタル放送受信部２は、放送番組コンテンツを表す放送信号Ｓ１を受信すると、これを放送信号Ｓ２としてデジタルチューナ部３へ供給する。デジタルチューナ部３は、放送信号Ｓ２を復号し、画像データＳ４及び音声データＳ５をそれぞれ生成する。

デジタルチューナ部３は、画像データＳ４を画像符号化部４に供給し、音声データＳ５を音声符号化部５に供給する。画像符号化部４は、後述する画像符号化処理によりＨ．２６４／ＡＶＣ（Advanced Video Coding）方式に従って画像データＳ４を符号化してビットストリームＳ６を生成し、これを送受信部６に供給する。

音声符号化部５は、所定の符号化方式に従って音声データＳ５を符号化して音声符号データＳ７を生成し、これを送受信部６に供給する。送受信部６は、例えばＩＥＥＥ ８０２．１１ｎなどの無線伝送方式により、ビットストリームＳ６及び音声符号データＳ７を送信する。

この結果、表示装置３０には、ビットストリームＳ６及び音声符号データＳ７が供給される。表示装置３０は、送受信部３１によってビットストリームＳ６及び音声符号データＳ７を受信すると、これを画像復号部３２及び音声復号部３４にそれぞれ供給する。

画像復号部３２は、ビットストリームＳ６を復号し、画像データＳ４に対応する画像データＳ１４を生成し、表示部３３に供給する。この結果、表示部３３には、画像データＳ１４に基づく画像が表示される。

音声復号部３４は、音声符号データＳ７を復号し、音声データＳ５に対応する音声データＳ１５を生成し、スピーカ３４に供給する。この結果、スピーカ３４からは、音声データＳ１５に基づく音声が出力される。

このように、画像処理システム１００では、画像処理装置１及び表示装置３０間において、符号化された放送信号を無線で送受するようになされている。

[１−２．画像符号化部の構成]
図３に示すように、画像符号化部４は、デジタルチューナ部３から画像データＳ４が供給されると、画像データＳ４をバッファ８へ供給する。

バッファ８は、画像データＳ４をピクチャヘッダ生成部９に供給する。ピクチャヘッダ生成部９は、ピクチャヘッダを生成して画像データＳ４に付加し、イントラマクロブロック判定部１０、並びに動き予測・補償部１４又はイントラ予測部１５にそれぞれ供給する。このときピクチャヘッダ生成部９は、ｃｏｎｓｔｒａｉｎｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ（詳しくは後述する）などのフラグを付加する。

イントラマクロブロック判定部１０は、マクロブロックごとに、Ｉマクロブロックとしてイントラ符号化するか又はＰマクロブロックとしてインター符号化するかを決定する。イントラマクロブロック判定部１０は、決定結果をスライス分割判定部１１、スライスヘッダ生成部１２及びスイッチ２８に供給すると共に、画像データＳ４を演算器１３に供給する。

スライス分割判定部１１は、イントラマクロブロック判定部１０の決定結果などに基づいて、スライスを分割するか否かを判定し、判定結果をスライスヘッダ生成部１２に供給する。

スライスヘッダ生成部１２は、スライスヘッダを生成して画像データＳ４に付加し、これを演算器１３に供給する。

演算器１３は、画像データＳ４をインター符号化すべき場合には、動き予測・補償部１４から供給される予測値Ｌ５を画像データＳ４から減算し、これを差分データＤ１として直交変換部１７に供給する。演算器１３は、画像データＳ４をイントラ符号化すべき場合には、イントラ予測部１５から供給される予測値Ｌ５を画像データＳ４から減算し、これを差分データＤ１として直交変換部１７に供給する。

直交変換部１７は、ＤＣＴ（Discrete Cosine Transform）変換及びカルーネン・レーベ変換などの直交変換処理により、差分データＤ１を直交変換し、直交変換係数Ｄ２を量子化部１８に供給する。

量子化部１８は、レート制御部１９の制御により決定された量子化パラメータＱＰを用いて直交変換係数Ｄ２を量子化し、量子化係数Ｄ３を逆量子化部２３及び可逆符号化部２０に供給する。可逆符号化部２０は、ＣＡＶＬＣ（Context-based Adaptive Variable Length Code）又はＣＡＢＡＣ（Context Adaptive Binary Arithmetic Coding）に従って量子化係数Ｄ３を可逆符号化し、可逆符号化データＤ５を蓄積バッファ２１に供給する。

また、可逆符号化部２０は、イントラ符号化及びインター符号化に関する情報を動き予測・補償部１４及びイントラ予測部１５から取得しこれらの情報を可逆符号化データＤ５のヘッダ情報に設定する。

蓄積バッファ２１は、可逆符号化データＤ５を蓄積すると共に、当該可逆符号化データＤ５を所定の伝送速度でビットストリームＳ６として出力する。レート制御部１９は、蓄積バッファ２１を監視し、可逆符号化データＤ５の発生符号量が所定の制御単位（例えばフレームやＧＯＰなど）ごとに一定の符号量に近づくよう、量子化パラメータＱＰを決定する。

逆量子化部２３は、量子化係数Ｄ３を逆量子化して再生直交変換係数Ｌ１を生成し、これを逆直交変換部２４に供給する。逆直交変換部２４は、再生直交変換係数Ｌ１を逆直交変換して再生差分データＬ２を生成する。逆直交変換部２４は、同時に供給される参照対象ブロックの画像データと再生差分データＬ２とを加算してローカルデコード画像Ｌ３を生成し、これをデブロックフィルタ２６に供給する。

デブロックフィルタ２６は、処理対象ブロックに対してデブロックフィルタ処理を実行し、これをフレームメモリ２７に供給する。この結果、フレームメモリ２７には、デブロックフィルタ処理されたローカルデコード画像Ｌ４が記憶される。

フレームメモリ２７は、デブロックフィルタ処理されたローカルデコード画像Ｌ４のうち、参照対象ブロックに対応するローカルデコード画像Ｌ４を、動き予測・補償部１４又はイントラ予測部１５に対して供給する。このとき、イントラマクロブロック判定部１０の判定結果に応じてスイッチ２８が切換えられる。

動き予測・補償部１４は、ローカルデコード画像Ｌ４を参照して画像データＳ４に対する動き予測により処理対象ブロックの予測値Ｌ５を生成し、演算器１３に供給する。イントラ予測部１５は、ローカルデコード画像Ｌ４を参照して画像データＳ４に対するイントラ予測により処理対象ブロックの予測値Ｌ５を生成し、演算器１３に供給する。このように、画像符号化部４は、画像データＳ４を符号化してビットストリームＳ６を生成するようになされている。

[１−３．画像復号部の構成]
図４に示すように、画像復号部３２は、送受信部３１からビットストリームＳ６が供給されると、ビットストリームＳ６をバッファ４１へ供給する。

バッファ４１は、ビットストリームＳ６を可逆復号部４２に供給する。可逆復号部４２は、ＣＡＶＬＣ又はＣＡＢＡＣに従ってビットストリームＳ６を可逆復号して逆量子化係数Ｄ３を生成し、エラー検出器４３を介して逆量子化部４４に供給する。また、可逆復号部４２は、可逆復号されたヘッダ部分から、ビットストリームＳ６がイントラ符号化されているかインター符号化されているかを判定し、判定信号をスイッチ４９に供給する。

逆量子化部４４は、量子化係数Ｄ３を逆量子化して直交変換係数Ｄ２を生成し、逆直交変換部４５に供給する。逆直交変換部４５は、直交変換係数Ｄ２を逆直交変換して差分データＤ１を生成し、演算器４６へ供給する。

演算器４６は、差分データＤ１がインター符号化されている場合には、動き予測・補償部４７から供給される予測値Ｒ１を差分データＤ１に加算し、画像データＤ０としてデブロックフィルタ５１に供給する。演算器４６は、差分データＤ１がイントラ符号化されている場合には、イントラ予測部４８から供給される予測値Ｒ１を差分データＤ１に加算し、これを画像データＤ０としてデブロックフィルタ５１に供給する。

デブロックフィルタ５１は、画像データＤ０に対し、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃに応じてデブロックフィルタ処理を実行し、画像データＳ１４としてフレームメモリ５０及びバッファ５２に対して供給する。

フレームメモリ５０は、参照対象ブロックに対応する画像データＳ１４を、動き予測・補償部４７又はイントラ予測部４８に対して供給する。このとき、可逆復号部４２の判定結果に応じてスイッチ４８が切換えられる。

動き予測・補償部４７は、画像データＳ１４を参照する動き予測により処理対象ブロックの予測値Ｒ１を生成し、演算器４６に供給する。イントラ予測部４８は、画像データＳ１４を参照するイントラ予測により処理対象ブロックの予測値Ｒ１を生成し、演算器４６に供給する。

バッファ５２は、所定の速度で画像データＳ１４をＤ／Ａ（デジタル／アナログ）変換部５３に供給する。Ｄ／Ａ変換部５３に変換部は、画像データＳ１４をアナログ化してし、これを表示部３３に供給する。この結果、表示部３３には、画像データＳ１４に基づく画像が表示される。

このように、画像復号部３２は、ビットストリームＳ６を復号して画像データＳ１４を生成するようになされている。

［１−４．通常符号化モードと伝搬防止符号化モード］
本実施の形態の画像処理装置１は、エラーなくビットストリームＳ６が伝送されている通常時には、ビットストリームＳ６として前方向符号化されるＰピクチャのみでなる通常符号化ビットストリーム６Ｓａを生成し、表示装置３０に供給する。しかしながら、通常符号化ビットストリーム６Ｓａは、前のピクチャを参照して復号されるため、伝送時にエラーが生じると、エラーを伝搬させてしまう。

画像処理装置１は、符号化モードとして通常符号化モードと、エラーの伝搬が生じない伝搬防止符号化モードとを有している。画像処理装置１は、表示装置３０においてエラーが検出されると、伝搬防止符号化モードへ移行し、エラーから復帰すると、通常符号化モードへ再び移行するようになされている。

さらに、画像処理装置１は、伝搬防止符号化モードとして、３つの伝搬防止方式を有しており、通信レートに応じた伝搬防止方式を選択するようになされている。

具体的に、画像処理装置１は、通信を開始する際、表示装置３０との間でデータを送受することにより、通信レートを決定する。画像処理装置１は、通信レートが小さい場合には、第１の伝搬防止方式を選択する。画像処理装置１は、通信レートが中程度である場合には、第１の伝搬防止方式よりも画質を向上し得る第２の伝搬防止方式を選択する。画像処理装置１は、通信レートが大きい場合には、第１及び第２の伝搬防止方式と比較してさらに画像の良好な第３の伝搬防止方式を選択する。

第１〜第３の伝搬防止方式は、いずれもイントラスライス方式をＨ．２６４／ＡＶＣに適応させたものである。ここで、ＭＰＥＧ（Moving Picture Experts Group）−２によるイントラスライス方式は、エラーを伝搬させないよう、動きベクトルの探索範囲に制限を設けている。Ｈ．２６４／ＡＶＣでは、ＭＰＥＧ−２との差異により、さらにＡＶＣ特有のエラー伝搬要因を有している。

以下、ＡＶＣ特有のエラー伝搬要因として、第１〜第３の伝搬要因について順次説明する。第１の伝搬要因は、動きベクトルの検出時における探索範囲である。

図５に示すように、イントラスライス方式では、ピクチャごとにリフレッシュラインＲＬが１ライン分ずつ変動するように、符号化しておく。このリフレッシュラインＲＬは、１マクロブロックごとのラインでも良く、また複数のマクロブロックごとのラインであっても良い。以下、リフレッシュラインＲＬの出現するライン単位を、符号化ライン単位と呼ぶ。また、マクロブロックがｘ方向（水平方向）に並ぶラインをマクロブロックラインと呼ぶ。１マクロブロックラインとは、１つのマクロブロックが並ぶラインのことである。

これにより、仮に復号時において１枚のピクチャにエラーが生じた場合、図５（Ａ）に示すように、次にピクチャにおいてリフレッシュラインＲＬのみが復帰し、残りのインター符号化領域は未復帰ラインＵＲとなる。

イントラスライス方式では、直前のピクチャにおけるリフレッシュラインＲＬを探索範囲として動きベクトルを検出することにより符号化を実行する。復号時において、図５（Ｂ）に示すように次のピクチャは、リフレッシュラインＲＬのみを参照して復号化することができ、未復帰ラインＵＲを参照せずに済むため、参照する直前のピクチャのリフレッシュラインＲＬに対応する部分を復帰済ラインＡＲとして復帰させることが可能となる。

図６に示すように、復帰済ラインＡＲは、リフレッシュラインＲＬの出現に伴って徐々に増大していく。周期Ｔのピクチャだけ復号が終了すると、全ての位置においてリフレッシュラインＲＬが出現し終えるため、ピクチャ内の全ての位置において画像を復帰させることができる。

Ｈ．２６４／ＡＶＣでは、１／４画素精度で動きベクトルの検出をしている。このため、Ｈ．２６４／ＡＶＣに従って符号化処理を行う符号化装置は、１／２画素及び１／４画素を生成するために、６ＴＡＰのＦＩＲフィルタを用いる。この６ＴＡＰのＦＩＲフィルタは、隣接する６画素を参照する。

このため、図７に示すように、リフレッシュラインＲＬ及び未復帰ラインＵＲの境界（以下、これをリフレッシュ境界ＢＤと呼ぶ）から３画素より外側（未復帰ラインＵＲ側）に位置する１／２画素及び１／４画素（縦線で示す）は、未復帰ラインＵＲを参照することになる。このリフレッシュ境界ＢＤは、リフレッシュラインＲＬ及び未復帰ラインＵＲの境界となり得る境界（すなわち符号化ライン単位の境界）を指す。なお図７では、画素間においてｙ方向にのみ１／２画素及び１／４画素が生成されているが、実際にはｘ方向にも１／２画素及び１／４画素が生成される。

この結果、リフレッシュラインＲＬの内部であっても、リフレッシュ境界ＢＤから３画素より外側に位置する１／２画素及び１／４画素には、エラーが伝搬してしまう。以下、リフレッシュラインＲＬにおいてエラーが伝搬してしまうこれらの画素を、エラー伝搬画素と呼ぶ。従って、符号化時に符号化ライン単位で動きベクトルの探索範囲を設定すると、復号時にエラー伝搬画素を参照してしまう可能性があり、復帰済ラインＡＲにおいてエラーを伝搬させることになる。これが第１のエラー伝搬要因である。

Ｈ．２６４／ＡＶＣでは、イントラ符号化に、画面内予測符号化を用いる。第２のエラー伝搬要因は、画面内予測符号化に起因するものである。

この画面内予測符号化では、符号化対象となるＩマクロブロックに隣接し、上又は左隣若しくはその両方の画素を参照する。Ｉマクロブロックがその上又は左をリフレッシュ境界ＢＤに隣接させて位置する場合、未復帰ラインＵＲを参照することになり、エラーを伝搬させることになる。これが第２のエラー伝搬要因である。

Ｈ．２６４／ＡＶＣでは、ブロックノイズを抑制するため、デブロックフィルタを使用する。第３のエラー伝搬要因は、デブロックフィルタに起因するものである。

デブロックフィルタは、隣接する２画素ずつ（４画素）を参照することにより、デブロックフィルタ処理を実行する。従って、図８に示すように、リフレッシュラインＲＬにおけるリフレッシュ境界ＢＤから２画素では、エラーを伝搬させてしまう。これが、第３のエラー伝搬要因である。

第１〜第３の伝搬防止方式では、これら第１〜第３のエラー伝搬要因を回避し、エラーの伝搬を防止し得るようになされている。

［１−５．第１の伝搬防止方式］
［１−５−１．第１のエラー伝搬要因の回避］
画像符号化部４は、エラーの伝搬が生じないよう探索範囲を設定することにより、第１のエラー伝搬要因を回避する。

符号化ライン単位が１マクロブロックラインであった場合、１６×１６画素の検索ブロックがｙ方向に１／４画素でも移動すると、リフレッシュラインＲＬからはみ出ることになるため、未復帰ラインＵＲを参照することになる。この場合、探索範囲設定部１６は、動きベクトルの探索範囲をｘ方向にのみ設定する。

具体的に、探索範囲設定部１６は、ピクチャヘッダから符号化単位ラインにおけるマクロブロックライン数を確認する。探索範囲設定部１６は、符号化ライン単位が１マクロブロックラインであった場合、ｙ方向の動きベクトルＭＶｙ＝０とし、ｘ方向の探索範囲を制限無し（ｘ方向に規格上許容される最大値）に設定し、この探索範囲に該当する参照対象ブロックを動き予測・補償部１４に供給する。動き予測・補償部１４は、この探索範囲内において整数精度で動きベクトルを検出し、当該動きベクトルを探索範囲設定部１６に供給する。

次に、探索範囲設定部１６は、整数精度で検出された動きベクトルの周辺画素について、例えば６ＴＡＰのＦＩＲフィルタを用いてｘ方向にのみ１／２画素及び１／４画素を生成し、これを動き予測・補償部１４に供給する。動き予測・補償部１４は、ｘ方向について１／４精度で動きベクトルを検出する。

これにより、画像符号化部４は、探索範囲にｙ方向の１／２画素及び１／４画素を含有させないため、リフレッシュ境界ＢＤに隣接する２画素分の１／２画素及び１／４画素を含有させずに済む。この結果、画像符号化部４は、復号時においてエラー伝搬画素を参照させずに済むため、復帰ラインＡＲにおけるエラーの伝搬を防止することができ、第１のエラー伝搬要因を回避することができる。

また、探索範囲設定部１６は、符号化ライン単位が２マクロブロックライン以上であった場合、復号時においてエラー伝搬画素を参照しないように動きベクトルの探索範囲を設定する。

ここで、画像符号化部４は、ピクチャ間においてリフレッシュラインＲＬを下側にずらすように変動させてエラーから復帰させる。このため、エラー伝搬画素画が発生するのは、未復帰ラインＵＲと隣接するリフレッシュラインＲＬの下側のみとなる。そこで、画像符号化部４は、リフレッシュラインＲＬの下側について、エラー伝搬画素を参照しないように探索範囲を設定する。

具体的に、探索範囲設定部１６は、探索範囲を符号化単位ラインの範囲内に設定し、この探索範囲に該当する画像を動き予測・補償部１４に供給する。動き予測・補償部１４は、この探索範囲内において整数精度で動きベクトルを検出し、当該動きベクトルを探索範囲設定部１６に供給する。

探索範囲設定部１６は、整数精度で検出された動きベクトルの周辺画素について、例えば６ＴＡＰのＦＩＲフィルタを用いて１／２画素及び１／４画素を生成する。このとき、探索範囲設定部１６は、リフレッシュ境界ＢＤから３画素よりも外側の領域について、ｙ方向に１／２画素及び１／４画素を生成しないようにして参照対象ブロックを生成し、これを動き予測・補償部１４に供給する。

動き予測・補償部１４は、ｘ及びｙ方向について原則的に１／４精度で動きベクトルを検出する。動き予測・補償部１４は、リフレッシュ境界ＢＤから３画素よりも外側については、ｙ方向において１／２画素及び１／４画素が存在しないため、整数精度で動きベクトルを検出することになる。

これにより、画像符号化部４は、復号時にリフレッシュ境界ＢＤから３画素よりも外側についての１／２画素及び１／４画素を参照させないようにでき、エラー伝搬画素の参照によるエラーの伝搬を防止することができる。

このように、画像符号化部４は、動きベクトルの検出時において、エラー伝搬画素に対応する画素（リフレッシュ境界ＢＤから３画素よりも外側についての１／２画素及び１／４画素）を参照しないようにした。これにより、画像画像復号部３２は、インター符号化により符号化された復帰済ラインＡＲを復号する際に、エラー伝搬画素を参照せずに復号できるため、エラー伝搬を防止することができ、第１のエラー伝搬要因を回避できる。

［１−５−２．第２のエラー伝搬要因の回避］
画像符号化部４は、リフレッシュラインＲＬにおける画面内予測符号化において、当該リフレッシュラインＲＬ以外の画素を参照しないようにすれば、未復帰ラインＵＲからのエラーの伝搬を防止することができる。

ところで、Ｈ．２６４／ＡＶＣでは、画面内予測符号化する際、スライスを跨ぐ画素を参照しない。言い換えると、リフレッシュラインＲＬをスライスの先頭にすることにより、未復帰ラインＵＲを参照せずに画面内符号化が実行される。これにより、画像画像復号部３２は、リフレッシュラインＲＬを復号する際に、未復帰ラインＵＲを参照せずに復号できるため、エラー伝搬を防止することができる。

具体的に、ピクチャヘッダ生成部９（図３）は、ピクチャヘッダにおいてリフレッシュラインＲＬの先頭をスライス先頭にするか否かを表すフラグを「ｔｒｕｅ」に設定する。イントラマクロブロック判定部１０は、処理対象となるマクロブロックがイントラ符号化すべきＩマクロブロックか、インター符号化すべきＰマクロブロックかを判別する。

イントラマクロブロック判定部１０は、１ライン分ずつ変動するリフレッシュラインＲＬに該当するマクロブロックを強制的にイントラ符号化される強制イントラマクロブロックとし、イントラ符号化することを決定する。なお以下、リフレッシュラインＲＬに属するマクロブロックを、リフレッシュマクロブロックと呼ぶ。また、リフレッシュラインＲＬ以外のマクロブロックが構成するラインをインターマクロブロックラインと呼び、インターマクロブロックラインに属するマクロブロックを、他マクロブロックと呼ぶ。

一方、イントラマクロブロック判定部１０は、リフレッシュラインＲＬ以外のマクロブロック（すなわちイントラマクロブロックラインに属するマクロブロック）について、Ｉマクロブロックとしてイントラ符号化するか又はＰマクロブロックとして前方向インター符号化するかを決定する。

イントラマクロブロック判定部１０は、Ｉマクロブロック及びＰマクロブロックの発生符号量を予測し、符号化効率の良い符号化方式を判定する。この判定結果は、スライス分割判定部１１に供給される。

スライス分割判定部１１は、リフレッシュラインＲＬの先頭をスライス先頭にするフラグが「ｔｒｕｅ」であり、かつ現在のマクロブロックが強制イントラマクロブロックであり、さらにリフレッシュラインＲＬの先頭である場合、スライス分割を実行すべきと判定する。

また、スライス分割判定部１１は、ピクチャを複数のスライスに分割することが予め定められている場合、処理対象のマクロブロックの位置に応じて、スライス分割を実行すべきか否かを判定する。これらの判定結果は、スライスヘッダ生成部１２に供給される。

スライスヘッダ生成部１２は、スライスヘッダを生成し、現在のマクロブロックの先頭に当該スライスヘッダを付加することにより、新規スライスを生成する。イントラ予測部１５は、スライス先頭のマクロブロックについて、例えば中間の画素値（「０〜２５５」の画素値であれば、「１２８」）を参照することにより、インターマクロブロックラインを参照することなくイントラ符号化を実行する。

これにより、画像符号化部４は、リフレッシュラインＲＬの先頭をスライス先頭にすることができる。これにより、画像復号部３２は、リフレッシュラインＲＬの復号時に未復帰ラインＵＲを参照せずに済むため、エラーの伝搬を防止することができる。

このように、画像符号化部４は、リフレッシュラインＲＬをスライスの先頭にすることにより、リフレッシュラインＲＬにおいてインターマクロブロックラインを参照しない。このため、画像復号部３２は、リフレッシュラインＲＬを復号する際に、未復帰ラインＵＲを参照せずに済むため、エラーの伝搬を防止することができ、第２のエラー伝搬要因を回避できる。

また、Ｈ．２６４／ＡＶＣでは、ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇというフラグが用意されている。このフラグを「１」にすることにより、イントラ符号においてインター符号化された画素を参照しないことを規定することができる。ただし、このフラグが「１」に設定されていると、強制イントラマクロブロック以外のＩマクロブロックでもインター符号化された画素を参照しないため、符号化効率が低下するという欠点を有する。

具体的に、画像符号化部４のピクチャヘッダ生成部９は、ピクチャヘッダにおけるＰＰＳ（Picture Parameter set）におけるｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ＝１とする。このフラグが「１」であることは、イントラ符号においてインター符号化された画素を参照しないことを表している。

イントラ予測部１５は、ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ＝１であることを確認すると、イントラ符号化された画素のみを参照して画面内予測処理を実行する。この結果、画像復号部３２は、イントラ符号化された画素のみを参照して画像データＳ４を復号することができるため、未復帰ラインＵＲからのエラーの伝搬を防止できる。

このように、画像符号化部４は、ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ＝１とすることにより、未復帰ラインＵＲからのエラーの伝搬を防止し、第２のエラー伝搬要因を回避し得るようになされている。

［１−５−３．第３のエラー伝搬要因の回避］
上述したように、デブロックフィルタを用いると、リフレッシュラインＲＬを復号する際、リフレッシュ境界ＢＤから２画素（以下、これを境界画素と呼ぶ）に未復帰ラインＵＲの画素が影響を与えるため、当該境界画素が壊れてしまう。従って、画像符号化部４は、デブロックフィルタを使用しないようにする。

具体的に、画像符号化部４のスライスヘッダ生成部１２は、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ＝１とする。デブロックフィルタ２６は、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃを確認し、このフラグが「１」となっている場合には、当該スライスについて、デブロックフィルタ処理を実行しない。

このため、画像復号部３２は、リフレッシュラインＲＬを復号する際に、リフレッシュラインＲＬにデブロックフィルタ処理を実行せずに済むため、エラーの伝搬を防止することができる。

このように、画像符号化部４は、デブロックフィルタを用いないことにより、未復帰ラインＵＲの画素の影響によってリフレッシュラインＲＬの境界画素が壊れることを防止でき、第３のエラー伝搬要因を回避できる。

［１−６．第２の伝搬防止方式］
第２の伝搬防止方式では、デブロックフィルタ処理を実行することにより、伝搬防止ビットストリームＳ６ｂの画質を向上させ得るようになされている。

［１−６−１．第３のエラー伝搬要因の回避］
［１−６−１−１．リフレッシュラインの重複出現］
上述したように、デブロックフィルタ処理を実行すると、リフレッシュ境界ＢＤから２画素でなる境界画素が未復帰ラインＵＲの影響を受け、壊れてしまう。そこで本実施の形態では、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ＝２とする。このフラグが「２」であることは、スライス境界に対してデブロックフィルタ処理を実行しないことを表す。すなわち、画像符号化部１０４は、このフラグを「２」にすることにより、スライス境界以外ではデブロックフィルタ処理を実行することができ、デブロックノイズを低減することができる。

図９（Ａ）に示すように、第２の伝搬防止方式において、画像符号化部１０４は、リフレッシュラインＲＬを複数のマクロブロックラインで構成すると共に、当該リフレッシュラインＲＬの先頭をスライス分割する。この場合、リフレッシュラインＲＬの最下に位置するリフレッシュ境界ＢＤのマクロブロックライン（以下、これを境界ＭＢラインＲＬｂと呼ぶ）は、デブロックフィルタ処理により、未復帰ラインＵＲの影響を受けてしまう。

しかし、境界ＭＢラインＲＬｂ以外のマクロブロックラインは、未復帰ラインＵＲの影響を受けることはなく、正常に復帰することが可能である。なお図では、未復帰ラインＵＲの影響を受けて壊れた画素を囲って示している。

そして画像符号化部１０４は、図９（Ｂ）及び（Ｃ）に示すように、前のピクチャにおける境界ＭＢラインＲＬｂが再度次のピクチャにおけるリフレッシュラインＲＬとなるように、リフレッシュラインＲＬの位置を少なくとも１マクロブロックラインずつ重複されながらリフレッシュラインＲＬを変動させる。すなわち、イントラマクロブロック判定部１０は、２ブロックライン以上でなるリフレッシュラインＲＬをピクチャごとに１マクロブロックラインだけ下にずらして出現させる。

これにより、画像符号化部１０４は、前のピクチャにおいてデブロックフィルタ処理によって境界ＭＢラインＲＬｂを破壊させるものの、次のピクチャにおいて当該境界ＭＢラインＲＬｂを復帰させることができる。

［１−６−２．スライスの分割］
第１の伝搬防止方式のように、位置変動するスライス境界をスライス境界ＢＬｍｏｖｅと表す。ここで、スライス境界ＢＬｍｏｖｅ以外においてデブロックフィルタ処理を実行する場合について着目する。図９に示すように、デブロックフィルタ処理の影響を考慮しない場合におけるエラーからの復帰の成否を左側に、デブロックフィルタ処理の影響を考慮した場合における復号の成否（エラーからの復帰の成否）を右側に○又は×で示している。

図９（Ａ）に示すように、リフレッシュラインＲＬは、画面内予測処理により問題なく復号される。しかしながら、境界ＭＢラインＲＬｂは、デブロックフィルタ処理により隣接画素が破壊される。図９（Ａ）及び（Ｂ）に示すように、デブロックフィルタ処理を実行すると、破壊された隣接画素を参照するため、エラーが伝搬してしまい、エラーからの復帰が困難となる。

そこで第２の伝搬防止方式における画像符号化部１０４は、スライス境界をスライス境界ＢＬｆｉｘとして固定する。

図１０（Ａ）に示すように、リフレッシュラインＲＬは、画面内予測処理により問題なく復号される。しかしながら、境界ＭＢラインＲＬｂは、デブロックフィルタ処理により境界画素が破壊される。

図１０（Ｂ）に示すように、スライス境界ＢＬｆｉｘが移動しないため、スライス先頭は復帰済ラインＡＲ１となる。復帰済ラインＡＲ１は、境界ＭＢラインＲＬｂのうちエラーの伝搬しない範囲及びリフレッシュラインＲＬを参照し、問題なく復号される。この復帰済ラインＡＲ１は、スライス境界ＢＬｆｉｘに位置するため、未復帰ラインＵＲとの境界においてデブロックフィルタ処理が実行されない。このため復帰済ラインＡＲ１は、境界画素が破壊されることなくエラー復帰することができる。図１０（Ｃ）に示すように、次のピクチャにおいても同様であり、エラーが伝搬しない。

なお、この第２の実施の形態では、リフレッシュラインＲＬがスライス先頭となってからエラーの復帰が開始されるため、エラー復帰に２Ｔ−１だけ要することになり、第１の実施の形態よりも若干時間を要することになる。

［１−６−３．第２のエラー伝搬要因の回避］
上述したように、第２の実施の形態による画像符号化部１０４は、リフレッシュラインＲＬの先頭をスライス先頭にしない。しかしながら、図１０に示したように、スライス境界ＢＬｆｉｘを固定したことにより、スライス境界ＢＬｆｉｘ及びリフレッシュラインＲＬ間のインター符号化ラインが復帰する。

すなわち、リフレッシュラインＲＬが参照する可能性のあるインター符号化ラインは既に復帰しており、当該インター符号化ラインを参照対象ブロックとしても特に問題は生じない。

［１−６−４．第１のエラー伝搬要因の回避］
ここで、境界ＭＢラインＲＬｂにおいて、デブロックフィルタ処理により破壊されるのは、画像符号化部１０４は、未復帰ラインＵＲと隣接する２画素の境界画素のみである。そこで、画像符号化部１０４は、前のピクチャの符号化ライン単位に加え、境界ＭＢラインＲＬｂにおいて未復帰ラインＵＲの影響を受けない画素を動きベクトルの探索範囲に設定する。

図１１に示すように、境界ＭＢラインＲＬｂでは、境界画素が当該未復帰ラインＵＲの影響を受けて壊れてしまう。このため、境界画素を参照して生成された１／２画素及び１／４画素は、未復帰ラインＵＲの影響を受けて、エラーを伝搬するエラー伝搬画素となってしまう。このため、画像符号化部１０４は、境界画素及びエラー伝搬画素を除く範囲を動きベクトルの探索範囲に設定する。

すなわち、図１２（Ａ）に示すように、画像符号化部１０４の探索範囲設定部１６は、処理対象となる次のピクチャの符号化ライン単位（図１２（Ｂ））に対し、前のピクチャの対応する符号化ライン単位（上側のエラー伝搬画素を除く）をｙ方向の探索範囲に設定する。さらに探索範囲設定部１６は、前のピクチャの対応する符号化ライン単位の直下の符号化ライン単位の一部を動きベクトルのｙ方向の探索範囲に設定する。この符号化ライン単位の一部は、上側のエラー伝搬画素及び下側の境界画素及びエラー伝搬画素を除いた範囲である。

以上説明したように、第２の伝搬防止方式では、デブロックフィルタ処理を実行して画質を向上させつつ、復号時のエラーの伝搬を防止し得るようになされている。

［１−７．第３の伝搬防止方式］
図１３に示すように、第３の伝搬防止方式では、ピクチャが複数の符号化ブロック単位に分割され、当該符号化ブロック単位ごとに強制イントラマクロブロックが決定される。すなわち、本実施の形態では、リフレッシュラインＲＬではなく、リフレッシュブロックＲＬ−Ｂごとにエラーから復帰することになる。

このリフレッシュブロックＲＬ―Ｂは、任意の構成数でなるマクロブロックで構成される。リフレッシュブロックＲＬ−Ｂは、例えば４×４マクロブロックや８×８マクロブロックのように、複数のマクロブロックで構成されても良く、１マクロブロックで構成されても良い。

第３の伝搬防止方式では、符号化ブロック単位が並ぶ列ごとにスライスが形成される。このスライスにおいて、リフレッシュブロックＲＬ−Ｂは、所定の出現数だけ出現する。従って、本実施の形態では、スライスごとの符号量を一定にすることができる。以下、このスライスを定符号量スライスＬＴと呼ぶ。

このため、第３の伝搬防止方式では、無線伝送時のバッファリングによって生じる遅延量を定符号量スライスＬＴにまで減少させることができる。

また、第３の伝搬防止方式では、符号化ブロック単位ごとにリフレッシュブロックＲＬ−Ｂを出現させる。各定符号量スライスにおいてリフレッシュブロックＲＬ−Ｂは、周期Ｔごとに定期的に出現するものの、各定符号量スライス間におけるリフレッシュブロックＲＬ−Ｂの位置関係に一定のルールはない。すなわち、リフレッシュブロックＲＬ−Ｂは、見た目上、あたかもランダムであるかのように出現する。

一般的に、イントラ符号化されたＩマクロブロックはインター符号化されたＰマクロブロックよりも画質が良い。第１及び第２の実施の形態では、リフレッシュラインＲＬごとに強制イントラマクロブロックが出現するため、強制イントラマクロブロック及びＰマクロブロック間での画質の差異が目立ってしまっていた。

第３の伝搬防止方式では、比較的小さな符号化ブロック単位で強制イントラマクロブロックを出現させることにより、Ｉマクロブロック及びＰマクロブロック間における画質の差異を目立ちにくくでき、ピクチャとしての画質を向上させることができる。

［１−７−１．マクロブロックごとのリフレッシュ］
本実施の形態では、リフレッシュブロックＲＬ−Ｂが１マクロブロックで構成される場合について説明する。

図１４に示すように、画像符号化部２０４は、１マクロブロックラインごとに定符号量スライスを形成し、１マクロブロックごとにリフレッシュブロックＲＬ−Ｂを出現させる。

［1−７−２．第１のエラー伝搬要因の回避］
画像符号化部２０４の探索範囲設定部１６は、ｘ方向及びｙ方向共に、探索範囲を「０」に設定する。すなわち、動き予測・補償部１４は、動きベクトルの検出を実行せず、動きベクトルは常に「０」となる。

［１−７−３．第２のエラー伝搬要因の回避］
画像符号化部２０４は、第１の実施の形態と同様、リフレッシュマクロブロックＲＬ−Ｂをスライス先頭にすることにより、画面内予測処理における未復帰マクロブロックＵＭからのエラーの伝搬を防止する。

なお、スライス分割判定部１１は、リフレッシュブロックＲＬ−Ｂがピクチャの左端に位置する場合、同一のマクロブロックラインの途中で（例えばリフレッシュブロックＲＬ−Ｂの直後に）スライス分割を行う。これにより、スライス分割判定部１１は、定符号量スライスＬＴを常に２つのスライスで構成することができる。

［１−７−４．第３のエラー伝搬要因の回避］
スライスヘッダ生成部１２は、スライスヘッダを生成する際、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ＝１に設定する。デブロックフィルタ２６は、このフラグを確認すると、デブロックフィルタ処理を実行しない。

以上説明したように、第３の伝搬防止方式では、１マクロブロック単位で強制イントラマクロブロックを出現させることにより画質を向上させつつ、復号時のエラーの伝搬を防止し得るようになされている。

［１−８．エラーの検出］
［１−８−１．パケットロスによるモードの切換］
画像処理装置１の送受信部６は、ビットストリームＳ６をパケットとして表示装置３０の送受信部３１に送信する。送受信部３１は、パケットを受信すると、パケットに付加されているＩＤから、受信できていない未受信パケットを認識する。送受信部３１は、未受信パケットを送受信部６に対して再要求し、所定の再要求回数に亘って再要求を繰り返しても、未受信パケットを受信できない場合には、図１５に示すように、送受信部６に対してエラーを表すアップリンク情報ＵＬを送信する。

また、送受信部３１は、パケットを受信すると、当該パケットの正当性を検証する。パケットが正当性を有しない場合、送受信部３１は、送受信部６に対してエラーを表すアップリンク情報ＵＬを送信する。

この場合、送受信部３１は、ビットストリームＳ６におけるエラーの位置を特定することができない。従って、送受信部３１は、エラーを表すエラーフラグをｔｒｕｅに設定したアップリンク情報ＵＬを送受信部６に対して供給する。

送受信部６は、アップリンク情報ＵＬを画像符号化部４の符号化モード切換部２９に供給する。符号化モード切換部２９は、アップリンク情報ＵＬにより、パケットロスによるエラーが検出されたことを認識すると、符号化モードを通常符号化モードから伝搬防止符号化モードに切換える。このとき、符号化モード切換部２９は、ピクチャの全域において伝搬防止符号化モードを実行する。以下、ピクチャの全域において実行される伝搬防止符号化モードを、全領域伝搬防止モードと呼ぶ。

符号化モード切換部２９は、ピクチャにおける全ての領域においてイントラＭＢが出現する復帰期間ＴＡに亘って符号化が実行されると、エラーからの復帰が完了したと認識し、符号化モードを通常符号化モードに切換える。

このように、画像処理システム１００では、パケットロスによりエラーを検出すると、エラーから復帰するまでの復帰期間ＴＡに亘って全領域伝搬防止モードに移行するようになされている。なお、第１及び第３のエラー伝搬防止方式では、復帰期間ＴＡは周期Ｔであり、第２のエラー伝搬防止方式では、復帰期間は２×周期Ｔ−１である。

［１−８−２．データの一部エラーによるモードの切換］
ところで、上述した送受信部３１によるパケットロスの検出では、検出できないエラーが存在する。そこで、表示装置３０では、送受信部３１によって検出しきれなかったエラーをエラー検出器４３（図４）によって検出する。

上述したように、可逆復号部３２は、ＣＡＶＬＣ方式又はＣＡＢＡＣ方式に準じてビットストリームＳ６を復号する。ＣＡＶＬＣ方式では、テーブルを用いてデータを照合することにより復号が行われるため、解無しあるいはあり得ない組み合わせを検出（シンタックスエラーを検出）することにより、エラーの検出が可能である。

しかしながら、ＣＡＢＡＣ方式では、算術符号化を用いるため、エラーを検出せずにそのまま進行してしまう場合が生じる。そこで、画像処理システム１００は、画像符号化部４及び画像復号部３２間において予めルールを定めておき、当該ルールから外れた値を検出したときに、エラーが発生したと認識するようになされている。

具体的に、画像符号化部４は、符号化の際に、Ｈ．２６４／ＡＶＣ規格において定められている値のうち、あまり使用されないような値の使用を制限し、使用しないで符号化を実行する。エラー検出器４３は、制限されている値を検出すると、エラーであると認識する。

例えば、画像符号化部４は、動きベクトルの最大値を制限する、動き補償のブロックサイズの最小値を制限する、マクロブロック間における量子化パラメータＱＰの差分値の最大値（Δクオント）を制限する、マクロブロックモード（Ｉピクチャ、Ｐピクチャなど）の取り得る範囲を制限する、又は、画面内予測における方向の取り得る範囲を制限する。これらの制限は、少なくとも一つ以上実行され、いかなる組み合わせで用いられても良い。

すなわち、エラー検出器４３は、エラー検出プログラムに従ってエラー検出処理を実行する。エラー検出器４３は、可逆復号部４２を監視し、シンタックスに矛盾がある場合、又は制限により使用されないはずの値を検出したときに、エラーが発生したと認識する。

このとき、図１６に示すように、エラー検出器４３は、位置情報ＵＰを送受信部３１に送出する。送受信部３１は、エラーを表すエラーフラグをｔｒｕｅに設定し、位置情報ＵＰを付加した上で、アップリンク情報ＵＬを送受信部６に対して供給する。

送受信部６は、アップリンク情報ＵＬを画像符号化部４の符号化モード切換部２９に供給する。符号化モード切換部２９は、アップリンク情報ＵＬに位置情報ＵＰが付加されていることより、データの一部エラーによるエラーが検出されたことを認識する。

符号化モード切換部２９は、位置情報ＵＰから、エラーの伝搬する可能性のあるエラー伝搬範囲を特定する。例えば、図１７に示すように、１つのピクチャを常に４つのスライスに分割する場合について説明する。

上述したように、画面内予測処理では、スライスを跨ぐ画素は参照されない。従って、スライスの範囲内であって、時間的に処理が後になるマクロブロックの全域において、画面内予測処理によるエラーが伝搬する可能性がある。

通常符号化モードでは、動き補償・予測処理において、動きベクトルの参照範囲が予め定められている。このため、エラーが出現した次のピクチャにおいては、当該動きベクトルの参照範囲にエラーが伝搬する可能性がある。さらに、エラーが出現した２つ後のピクチャにおいては、エラーが出現した次のピクチャの参照範囲についての参照範囲にエラーが伝搬する可能性がある。すなわち、ピクチャが後にいくにつれて、エラーが伝搬するエラー伝搬範囲ＡＩが拡大する。

符号化モード切換部２９は、これまでに供給したパケットの状況から、これから符号化する画像データＳ４のピクチャの位置を割り出し、当該ピクチャにおけるエラーの伝搬範囲（図１７（Ｂ））を特定する。

そして符号化モード切換部２９は、エラー伝搬範囲ＡＩを含むスライス（図では２つのスライス）をエラー伝搬スライスＳＥとして特定し、当該エラー伝搬スライスＳＥについて、伝搬防止符号化モードでの符号化を実行する。エラー伝搬スライスＳＥ以外のスライスについては、通常符号化モードによる符号化が実行される。以下、ピクチャの一部において実行される伝搬防止符号化モードを、部分領域伝搬防止モードと呼ぶ。

符号化モード切換部２９は、エラー伝搬スライスＳＥにおいてエラーが復帰するエラースライス復帰期間ＴＥＮに亘って、部分領域伝搬防止モードでの符号化を実行する。なお、ピクチャが４つのスライスに分割される場合、エラー伝搬スライスＳＥの１スライス当たりのスライス復帰期間ＴＥは、以下のようになる。第１及び第３のエラー伝搬防止方式では、復帰期間は周期Ｔ×１／４であり、第２のエラー伝搬防止方式では、スライス復帰期間は（２×周期Ｔ−１）×１／４である。

符号化モード切換部２９は、スライス復帰期間ＴＥ×エラー伝搬スライスＳＥの数Ｎでなるエラースライス復帰期間ＴＥＮに亘って、部分領域伝搬防止モードでの符号化を実行する。これにより、部分領域伝搬防止モードにおいて、符号化モード切換部２９は、全領域伝搬防止モードと比較して、エラーから復帰するまでの期間を短縮することができる。

すなわち、図１８に示すように、画像符号化部４は、通常時において、通常符号化モードで符号化を実行し、送受信部６及び３１を介して通常符号化ビットストリーム６ａを画像復号部３２に供給する。画像復号部３２は、データからエラーが検出されると、位置情報ＵＰを送受信部３１に供給する。

送受信部３１は、位置情報ＵＰを含むアップリンク情報ＵＬを生成し、これを送受信部６を介して画像符号化部４に供給する。画像符号化部４は、これから符号化する処理対象ブロックまでにエラーの伝搬するエラー伝搬範囲ＡＩを特定する。画像符号化部４は、当該エラー伝搬範囲ＡＩを含む範囲に対して、伝搬防止符号化モードに切換える一方、当該エラー伝搬範囲ＡＩを含まない範囲に対して通常の通常符号化モードに切換える部分領域伝搬防止モードに遷移する。

そして、符号化モード切換部２９は、エラースライス復帰期間ＴＥＮに亘って部分領域伝搬防止モードを実行し、伝搬防止符号化ストリームＳ６ｂを生成し、送受信部６及び３１を介して画像復号部３２に供給する。そして画像符号化部４は、通常符号化モードに遷移し、通常の符号化処理に戻り、送受信部６及び３１を介して通常符号化ビットストリーム６ａを画像復号部３２に供給する。

これにより、画像符号化部４は、部分的に伝搬防止符号化モードを実行すれば良いため、ピクチャにおいてリフレッシュされなければならない範囲を小さくすることができ、エラーからの復帰に要する時間を短縮することができる。

［１−９．処理手順］
次に、符号化プログラムに従って実行される符号化処理手順ＲＴ１について、図１９のフローチャートを用いて説明する。

画像符号化部４は、符号化処理を開始すると、ステップＳＰ１へ移り、アップリンク情報ＵＬが存在するか否かを判別する。

ここで否定結果が得られると、このことは、エラーが検出されておらず、通常符号化モードを維持すべきことを表しており、このとき、画像符号化部４は、次のステップＳＰ５へ移る。

これに対して、ステップＳＰ１において肯定結果が得られると、画像符号化部４は、エラーが検出された可能性があるため、ステップＳＰ２に移る。ステップＳＰ２において、画像符号化部４は、エラーフラグが［ｔｒｕｅ」であるか否かについて判別する。

ここで否定結果が得られると、このことは、エラーが検出されておらず、通常符号化モードを維持すべきことを表しており、このとき、画像符号化部４は、次のステップＳＰ５へ移る。

ステップＳＰ５において、画像符号化部４は、通常符号化モードを維持、又は通常符号化モードへ遷移し、通常符号化モードによる符号化処理を実行すると、次のステップＳＰ９へ移る。

これに対して、ステップＳＰ２において肯定結果が得られた場合、このことは、エラーが検出されたことを表しており、このとき、画像符号化部４は、ステップＳＰ３に移る。ステップＳＰ３において、画像符号化部４は、位置情報ＵＰが存在するか否かについて判別する。

ここで、否定結果が得られた場合、このことは、検出されたエラーがパケットロスによるものであり、エラーの発生した位置が特定できないことを表している。このとき、画像符号化部４は、次のステップＳＰ７へ移る。

ステップＳＰ７において、画像符号化部４は、符号化モードを切り換え、全領域伝搬防止モードに遷移し、伝搬防止符号化モードによる符号化処理を実行すると、次のステップＳＰ８へ移る。

ステップＳＰ８において、画像符号化部４は、復帰期間ＴＡが終了したか否かについて判別する。ここで、否定結果が得られた場合、画像符号化部４は、ステップＳＰ７へ戻り、復帰期間ＴＡが終了するまで、伝搬防止符号化モードによる符号化処理を継続する。

これに対して、ステップＳＰ８において肯定結果が得られた場合、画像符号化部４は、次のステップＳＰ９へ移る。

また、ステップＳＰ３において肯定結果が得られた場合、このことは、検出されたエラーがデータから検出されたものであり、エラーの発生した位置が特定できることを表している。このとき、画像符号化部４は、次のステップＳＰ６へ移る。

ステップＳＰ６において、画像符号化部４は、部分領域伝搬防止モードの処理手順を表すサブルーチンＳＲＴ１１のステップＳＰ１１へ移る。ステップＳＰ１１において、画像符号化部４は、処理対象ブロックが伝搬防止スライスＳＥに属するか否かについて判別する。

ここで、肯定結果が得られた場合、画像符号化部４は、ステップＳＰ１２へ移り、伝搬防止符号化モードによる符号化処理を実行し、次のステップＳＰＳＰ１４へ移る。

これに対して、ステップＳＰ１１において否定結果が得られた場合、画像符号化部４は、ステップＳＰ１３へ移り、通常符号化モードによる符号化処理を実行すると、次のステップＳＰ１４へ移る。

ステップＳＰ１４において、画像符号化部４は、エラースライス復帰期間ＴＥＮが終了したか否かについて判別する。ここで、否定結果が得られた場合、画像符号化部４は、ステップＳＰ１１へ戻り、部分領域伝搬防止モードの処理を継続する。

これに対して、ステップＳＰ１４において、肯定結果が得られた場合、画像符号化部４は、符号化処理手順ＲＴ１（図１９）のステップＳＰ９へ移る。

ステップＳＰ９において、画像符号化部４は、画像データＳ４に対する符号化処理を終了したか否かについて判別し、否定結果が得られると、ステップＳＰ１へ戻り、符号化処理手順ＲＴ１を継続する。一方、ステップＳＰ９において肯定結果が得られると、画像符号化部４は、終了ステップへ移って符号化処理手順ＲＴ１を終了する。

なお、上述した符号化処理は、ハードウェア構成により実行されても良く、ソフトウェアによって実行されても良い。ソフトウェアによって実行される場合には、ＣＰＵ（Central Processing Unit）などの演算器に仮想的に画像符号化部４が形成される。また、上述した画像復号部３２が実行するエラー検出処理についても同様である。

［１−１０．動作及び効果］
以上の構成において、画像送信装置としての画像処理装置１は、参照対象となる参照ピクチャにおける参照符号化単位である参照対象ブロックに対し、隣接画素を用いたフィルタ処理によって隣接画素に対応する対応画素（整数精度未満の画素）を生成する。画像処理装置１は、参照対象ブロックに対する探索範囲を設定し、設定された探索範囲でデブロックフィルタ２６を通過後のローカルデコード画像Ｌ４に対する動きベクトルを検出し、動き予測処理を実行する。

画像処理装置１は、デブロックフィルタ処理を適用するか、又は、デブロックフィルタ処理を境界ラインであるリフレッシュ境界ＢＤで適用するかを示すデブロックフィルタ設定情報を設定する。画像処理装置１は、符号化された符号化単位である処理対象ブロックのローカルデコード画像Ｌ３に対し、デブロックフィルタ設定情報に従って、デブロックフィルタ処理を実行する。

画像処理装置１は、動き予測処理されたビットストリームＳ６を画像受信装置である表示装置３０に対して送出する。画像処理装置１は、表示装置３０からエラーが検出されたことを表すエラー情報として、エラーフラグが立った（すなわちｔｒｕｅである）アップリンク情報ＵＬを受け取る。

画像処理装置１は、通常時において、符号化モードとして通常符号化モードを選択する一方、エラーフラグが立ったアップリンク情報ＵＬを受け取ると、強制イントラブロックに対するイントラ符号化を実行する。このとき、画像処理装置１は、伝搬防止符号化モードを符号化モードとして選択する。この伝搬防止符号化モードにおいて、画像処理装置１は、強制イントラブロック及び他ブロックの境界となるリフレッシュ境界ＢＤから、隣接画素の数に対応する整数精度未満の対応画素を含有しないよう、参照対象ブロックに対する探索範囲を設定する。画像処理装置１は、デブロックフィルタ設定情報を変更することにより、デブロックフィルタ処理に対する制限を設定する。

これにより、画像処理装置１は、エラーが検出されない通常時には、通常符号化モードで符号化処理を実行できるため、ビットストリームの符号化効率を向上させて、同一の通信速度におけるビットストリームの画質を向上させ得る。

画像処理装置１は、エラーから復帰するまでに要するエラー復帰期間である復帰期間ＴＡ又はエラースライス復帰期間ＴＥＮが終了すると、符号化モードを通常符号化モードに切り換える。

これにより、画像処理装置１は、エラーから復帰した後すぐに画質の良好な通常符号化モードに移行できるため、エラー伝搬防止モードへの移行期間を極力短縮することができ、再生された画像データＳ１４の画質を極力向上させ得る。

画像処理装置１は、通常符号化モードにおいて、前方向予測符号化（Ｐマクロブロック）のみによる符号化を実行する。

これにより、画像処理装置１は、通常符号化モードにおける符号化効率を向上させてビットストリームＳ６の画質を向上させ得る。

画像処理装置１は、ビットストリームＳ６におけるエラー位置を特定できる場合には、エラーの伝搬する可能性のあるエラー伝搬範囲ＡＩを含むエラー伝搬防止領域（エラー伝搬スライスＳＥ）に対して伝搬防止符号化モードを適用する。

これにより、画像処理装置１は、伝搬防止符号化モードを適用する範囲を小さくすることができ、エラー復帰までに要する時間を短縮させ得る。

画像処理装置１は、アップリンク情報ＵＬに付加された、エラー位置を表す位置情報ＵＰに基づいて、エラー伝搬スライスＳＥを特定する。これにより、画像処理装置１は、エラー位置に基づいて、自身にとって都合の良いエラー伝搬防止領域に対して伝搬防止符号化モードを適用することができる。

画像処理装置１は、予め定められたスライスごとに、符号化モードを切り換える。これにより、画像処理装置１は、、予め定められたスライスでのみスライスを分割するため、不要にスライスを分割することがなく、スライス分割による不意な符号化効率の低下を引き起こさずに済む。

画像処理装置１は、ビットストリームＳ６におけるエラー位置を特定できない場合には、全領域伝搬防止モードへ移行し、ピクチャの全領域に対して伝搬防止符号化モードを適用する。

これにより、画像処理装置１は、位置情報ＵＰが存在せず、エラー位置を特定できない場合であっても、伝搬防止符号化モードへ移行してエラーから復帰することができる。

画像処理装置１は、複数の伝搬防止方式である第１〜第３の伝搬防止方式のうち、画像処理装置１及び画像受信装置としての表示装置３０間の通信速度に応じて選択された伝搬防止方式を伝搬防止符号化モードとして選択する。

これにより、画像処理装置１は、通信速度に合わせた適切な伝搬防止方式を選択することができるため、伝搬防止モードへ移行した場合であっても、再生される画像データＳ１４の画質を極力低下させずに済む。

画像処理装置１の画像符号化部４は、画像データＳ４を受け取り、画像データをイントラ符号化及び前方向のインター符号化により符号化する。このとき、画像符号化部４は、一定の周期Ｔでピクチャにおける全ての符号化単位であるマクロブロックが、イントラ符号化される強制イントラブロックとなるように、強制イントラブロック又は当該強制イントラブロック以外の他ブロック（インターブロック）にマクロブロックを割り当てる。

これにより、画像符号化部４は、周期Ｔに応じた復帰期間ＴＡ又はエラースライス復帰期間ＴＥＮで、画像データＳ４を確実にエラーから復帰させることができる。

表示装置３０は、画像処理装置１から送出され、複数のピクチャから構成される画像データＳ４が符号化されてなるビットストリームＳ６を受け取り、ビットストリームＳ６を可逆復号する。

表示装置３０は、画像処理装置１との間で予め定められたルールに反する値が検出されたときにエラーと認識することにより、可逆復号されたビットストリームＳ６（すなわち量子化係数Ｄ３におけるマクロブロックのデータからエラーを検出する。表示装置３０は、エラーが検出されると、エラーが検出されたことを表すアップリンク情報ＵＰに対し、エラーが検出された位置を表す位置情報ＵＰを画像処理装置１に対して送出する。

予め定められたルールに反する値は、使用頻度の低い値でなる。これにより、画像処理システム１００では、規格に反せず、かつ画質の影響が小さい値の使用を制限することになる。このため、画像処理システム１００は、規格に反しない範囲でルールを設けたことによる画質への提供を最小限に抑制することができる。

表示装置３０は、ＣＡＢＡＣ方式に従って、ビットストリームＳ６を可逆復号する。これにより、表示装置３０は、予め定められたルールに反する値をエラーとして認識することにより、可逆復号時において検出できなかったエラーをも適切に検出することができる。

表示装置３０は、ビットストリームＳ６のパケットロスを検出し、パケットロスに応じて、エラーが検出されたことを表すアップリンク情報ＵＬを画像処理装置１に送出する。これにより、表示装置３０は、パケットロスを検出した段階で画像処理装置１に対して迅速にアップリンク情報ＵＬを供給することができる。この結果、画像処理装置１は、迅速に伝搬防止符号化モードに移行できるため、画像データＳ１４のエラーからの復帰を早めることができる。

画像処理装置１は、通信を開始する際、表示装置３０との間でデータを送受することにより、通信レートを決定する。画像処理装置１は、通信レートが小さい場合には、第１の伝搬防止方式を選択する。画像処理装置１は、通信レートが中程度である場合には、第１の伝搬防止方式よりも画質を向上し得る第２の伝搬防止方式を選択する。画像処理装置１は、通信レートが大きい場合には、第１及び第２の伝搬防止方式と比較してさらに画像の良好な第３の伝搬防止方式を選択する。

これにより、画像処理装置１は、許容される通信レートの中で最も画質の良好な伝搬防止方式を選択することができるため、伝搬防止符号化モードに遷移中における画像データＳ１４の画質を向上させることができる。

以上の構成によれば、画像処理装置１は、エラーの有無を認識するエラー認識ステップと、エラー検出ステップにおいてエラーが生じていないと認識した場合には、通常符号化モードに遷移する一方、エラー検出ステップにおいてエラーが生じたと認識した場合には、エラー伝搬モードに遷移する。

画像処理装置１は、通常符号化モードに遷移した場合には、参照ピクチャにおける参照対象ブロックに対し、隣接画素を用いたフィルタ処理によって隣接画素に対応する整数精度未満の画素を生成し、参照対象ブロックに対する探索範囲を設定する。画像処理装置１は、設定された探索範囲でデブロックフィルタ通過後のローカルデコード画像に対する動きベクトルを検出して動き予測処理を実行する。画像処理装置１は、デブロックフィルタ処理を適用するか、又は、デブロックフィルタ処理を境界ラインで適用するかを示すデブロックフィルタ設定情報を設定する。画像処理装置１は、動き予測処理によって符号化された処理対象ブロックのローカルデコード画像Ｌ３に対し、デブロックフィルタ設定情報に従って、デブロックフィルタ処理を実行する。

画像処理装置１は、エラー伝搬モードに遷移した場合には、強制イントラブロックに対するイントラ符号化を実行し、参照ピクチャにおける参照対象ブロックに対し、隣接画素を用いたフィルタ処理によって隣接画素に対応する整数精度未満の画素を生成する。画像処理装置１は、強制イントラブロック及び他ブロックの境界となる境界ラインＢＬから、隣接画素の数に対応する対応画素を含有しないよう、参照対象ブロックに対する探索範囲を設定し、設定された探索範囲で動きベクトルを検出して動き予測処理を実行する。画像処理装置１は、デブロックフィルタ設定情報を変更することにより、デブロックフィルタ処理に対する制限を設定し、動き予測処理において符号化された処理対象ブロックのローカルデコード画像Ｌ３に対し、変更されたデブロックフィルタ設定情報に従って、デブロックフィルタ処理を実行する。

そして、画像処理装置１は、動き予測処理されたビットストリームを画像受信装置に対して送出する。

これにより、画像処理システム１００は、エラーの伝搬要因が多いＨ．２６４／ＡＶＣのような符号化方式であってもエラーの伝搬を防止することができ、画像データＳ１４をエラーから迅速に復帰させることができる。さらに、画像処理システム１００は、エラーが検出されたときのみエラー伝搬符号化モードに移行する。このため、画像処理システム１００は、符号量の大きいイントラ符号化を必要とするため、画質が低下し易いエラー伝搬符号化モードの使用頻度を極力低くすることができ、画像データＳ１４の画質を向上させ得る。かくして本発明は、画質を向上できる画像送信装置、画像送信方法、画像受信装置及び画像処理システムを実現できる。

＜２．他の実施の形態＞
なお、上述した第１の実施の形態においては、表示装置３０から供給された位置情報ＵＰに基づいて画像処理装置１がエラー伝搬範囲ＡＩを特定するようにした場合について述べた。本発明はこれに限らず、表示装置３０がエラー伝搬範囲ＡＩを表すエラー伝搬情報を付加して画像処理装置１に送出し、当該画像処理装置１が、エラー情報に付加されたエラー伝搬範囲ＡＩを表すエラー伝搬情報に従って、エラー伝搬防止領域を特定するようにしても良い。

また、上述した実施の形態においては、伝搬防止符号化モードとして、第１〜第３の伝搬防止方式から選択された伝搬防止方式によって符号化を実行するようにした場合について述べた。本発明はこれに限らず、伝搬防止符号化モードとして一の伝搬防止方式を常に実行したり、２又は４以上の伝搬防止方式から選択しても良い。また、通信速度以外の要因に応じて伝搬防止符号化方式を決定しても良い。

さらに、上述した実施の形態においては、エラー復帰期間（復帰期間ＴＡ又はエラースライス復帰期間ＴＥＮ）が終了すると、通常符号化モードに切り換えるようにした場合について述べた。本発明はこれに限らず、任意のタイミングで通常符号化モードに切り換えることができる。

さらに、上述した実施の形態においては、通常符号化モードにおいて、インター符号化のみを実行するようにした場合について述べた。本発明はこれに限らず、イントラ符号化を混合させても良い。例えば、通常符号化モードにおいて、動きベクトルの探索範囲及びデブロックフィルタ処理の制限のないイントラ符号化方式を実行し、伝搬防止符号化モードにおいて、動きベクトルの探索範囲及びデブロックフィルタ処理に実施の形態と同様の制限を設けるようにしても良い。

さらに、上述した実施の形態においては、スライスごとに通常符号化モードと伝搬防止符号化モードとを切り換えるようにした場合について述べた。本発明はこれに限らず、切り換えるタイミングに制限はない。例えば、エラー伝搬範囲ＡＩに沿って、マクロブロックごとに切り換えても良い。

さらに、上述した実施の形態においては、予め定められたルールに反する値を検出したときにエラーを検出するようにした場合について述べた。本発明はこれに限らず、例えばパケットロス又はＣＡＣＬＶによるエラー検出のときのみに本発明を適用することが可能である。

伝搬符号化方式としては、種々の改変が可能である。例えば、動き予測処理において、整数精度未満の画素の生成方法（エラー伝搬画素の排除方法）を変更したり、検索する動き検索ブロックのサイズが１６×８、８×８、８×４、４×８、４×４の場合には、符号化ライン単位＝２以上のときと同様の処理によりｙ方向の動きベクトルを検出することができる。また、フィルタのタップ数に制限はなく、例えば１画素又は３画素以上の隣接画素を参照しても良い。デブロックフィルタについても同様であり、参照する画素数に制限はない。

また、デブロックフィルタ処理の際、必ずしもｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃを用いる必要はなく、その制限方法に制限はない。

さらに、１ピクチャに複数のリフレッシュラインＲＬが出現するようにしても良い。リフレッシュブロックＲＭＢについても同様であり、１スライスに複数のリフレッシュブロックＲＭＢが出現しても良い。また、複数×複数のマクロブロックでなるリフレッシュブロックＲＭＢが複数のマクロブロックラインでなる定符号量ラインごとに出現しても良い。また、遅延量低減のため、定符号量ラインを１未満（例えば１／２）ラインに設定しても良い。

リフレッシュラインＲＬの変動方向は、ｘ方向上側でも良い。ランダムに出現するようにしても良い。また、リフレッシュブロックＲＬがピクチャ内において一定の規則をもって出現するようにしても良い。さらに、第２の伝搬防止方式において重複して出現するのは、２以上のマクロブロックラインでも良い。

さらに、符号化単位のサイズに制限はない。また、全ての他ブロックをインターブロックに割り当てるようにしても良い。また、例えば画素値がそのまま符号化されても良く、必ずしも強制イントラマクロブロックに対して画面内予測処理が実行される必要はない。

さらに、上述した実施の形態においては、Ｈ．２６４／ＡＶＣ方式に従って符号化処理を実行するようにした場合について述べた。本発明はこれに限らず、少なくとも隣接画素を参照した整数精度未満での動き予測処理及びデブロックフィルタ処理が実行される全ての符号化方式に従って符号化処理を実行するようにしても良い。

さらに、上述した実施の形態においては、インター符号化の際、直前のピクチャのみを参照するようにした場合について述べた。本発明はこれに限らず、前方向のピクチャを参照すれば良く、例えば２つ前のピクチャを参照しても良い。

さらに、上述した実施の形態においては、無線画像データ伝送システムとして、本発明を壁掛けテレビに適用するようにした場合について述べた。本発明はこれに限らず、画像データを送受してリアルタイムで表示する全てのシステムに本発明を適用することができる。例えば、テレビ会議やインターネットなど、光ケーブルや電話線などを介する有線のシステムにも本発明を適用することができる。

さらに、上述した実施の形態においては、無線伝送方式として、ＩＥＥＥ ８０２．１１ｎ方式を適用するようにした場合について述べた。本発明はこれに限らず、無線伝送方式に制限はない。

さらに、上述した実施の形態においては、符号化プログラム等をＲＯＭ又はハードディスクドライブなどに予め格納するようにした場合について述べた。本発明はこれに限らず、メモリースティック（ソニー株式会社の登録商標）などの外部記憶媒体からフラッシュメモリなどにインストールするようにしても良い。また、符号化プログラムなどをＵＳＢ（Universal Serial Bus）やＥｔｈｅｒｎｅｔ（登録商標）（Institute of Electrical and Electronics Engineers）８０２．１１ａ／ｂ／ｇなどの無線ＬＡＮ（Local Area Network）を介して外部から取得し、さらに、は地上ディジタルテレビジョン放送やＢＳディジタルテレビジョン放送により配信されるようにしても良い。

さらに上述した実施の形態においては、対応画素生成部及び探索範囲設定部としての探索範囲設定１６と、動き予測部としての動き予測・補償部１４と、設定部としてのスライスヘッダ生成部１２と、デブロックフィルタとしてのデブロックフィルタ２６と、ビットストリーム送出部及びエラー受取部としての送受信部６と、符号化モード切換部としての符号化モード切換部２９とによって画像送信装置としての画像処理装置１を構成するようにした場合について述べた。本発明はこれに限らず、その他種々の構成でなる対応画素生成部と、探索範囲設定部と、設定部と、デブロックフィルタと、ビットストリーム送出部と、エラー受取部と、符号化モード切換部とによって本発明の画像送信装置を構成しても良い。なお、画像送信装置として、デジタル放送受信部２、デジタルチューナ部３、音声符号化部５は必ずしも必要ではない。

さらに上述した実施の形態においては、ビットストリーム受取部及びエラー送出部としての送受信部３１と、可逆復号部としての可逆復号部４２と、エラー検出部としてのエラー検出部４３とによって画像受信装置としての表示装置３０を構成するようにした場合について述べた。本発明はこれに限らず、その他種々の構成によるビットストリーム受取部と、可逆復号部と、エラー検出部と、エラー送出部とによって本発明の画像受信装置を構成しても良い。なお、画像受信装置として、音声復号部３４、スピーカ３５、表示部３３は必ずしも必要ではない。

本発明の符号化装置は、例えば公に配信されるコンテンツを録画する機能を有する各種電子機器に利用することができる。

１……画像処理装置、４……画像符号化部、８……バッファ、９……ピクチャヘッダ生成部、１０……イントラマクロブロック判定部、１１……スライス分割判定部、１２……スライスヘッダ生成部、１４……動き予測・補償部、１５……イントラ予測部、１７……直交変換部、１８……量子化部、１９……レート制御部、２０……可逆符号化部、２１……蓄積バッファ、２３……逆量子化部、２４……逆直交変換部、２６……デブロックフィルタ、２７……フレームメモリ、３０……表示装置、３１……送受信部、３２……画像復号部、４２……可逆復号部、Ｓ４……画像データ、Ｓ６……ビットストリーム、Ｌ３……ローカルデコード画像、ＡＩ……エラー伝搬範囲、ＳＥ……エラー伝搬スライス、ＵＬ……アップリンク情報、ＵＰ……位置情報。

Claims (18)

1. 複数のピクチャから構成される画像データが符号化されてなるビットストリームを受信する画像受信装置から、エラーが検出されたことを表すエラー情報を受け取るエラー受取部と、
   上記エラー受取部によってエラー情報を受け取った場合に、強制イントラブロックに対するイントラ符号化を実行し、上記強制イントラブロック及び当該強制イントラブロック以外の他ブロックの境界となる境界ラインから、隣接画素の数に対応する対応画素を含有しないよう、参照符号化単位に対する探索範囲を設定し、デブロックフィルタ設定情報を変更することにより、デブロックフィルタ処理に対する制限を設定する伝搬防止符号化モードを、符号化モードとして選択する符号化モード選択部と、
   上記符号化モード選択部により選択された符号化モードに従って、上記画像データを符号化する符号化部と
   を有する画像送信装置。
2. 上記符号化モード選択部は、
   上記エラー受取部によってエラー情報を受け取らない場合に、通常符号化モードを上記符号化モードとして選択する
   請求項１に記載の画像送信装置。
3. 上記符号化モード選択部は、
   上記エラーから復帰するまでに要するエラー復帰期間が終了すると、上記符号化モードを通常符号化モードに切り換える
   請求項１に記載の画像送信装置。
4. 上記通常符号化モードでは、
   前方向予測符号化のみによる符号化が実行される
   請求項３に記載の画像送信装置。
5. 上記符号化モード選択部は、
   上記ビットストリームにおけるエラー位置を特定できる場合には、エラーの伝搬する可能性のあるエラー伝搬範囲を含むエラー伝搬防止領域に対して上記伝搬防止符号化モードを適用する
   請求項４に記載の画像送信装置。
6. 上記符号化モード選択部は、
   上記エラー情報に付加された、上記エラー位置を表すエラー位置情報に基づいて、上記エラー伝搬防止領域を特定する
   請求項５に記載の画像送信装置。
7. 上記符号化モード選択部は、
   上記エラー情報に付加された、上記エラー伝搬範囲を表すエラー伝搬情報に従って、上記エラー伝搬防止領域を特定する
   請求項５に記載の画像送信装置。
8. 上記符号化モード選択部は、
   予め定められたスライスごとに、上記符号化モードを切り換える
   請求項６に記載の画像送信装置。
9. 上記符号化モード選択部は、
   上記ビットストリームにおける上記エラー位置を特定できない場合には、ピクチャの全領域に対して上記伝搬防止符号化モードを適用する
   請求項８に記載の画像送信装置。
10. 上記符号化モード選択部は、
    複数の伝搬防止方式のうち、画像送信装置及び上記画像データを受信する画像受信装置間における通信速度に応じて選択された伝搬防止方式を上記伝搬防止符号化モードとして選択する
    請求項９に記載の画像送信装置。
11. 上記画像データを受け取る画像データ受取部と、
    受取部によって受け取られた画像データをイントラ符号化及び前方向のインター符号化により符号化する際、一定の周期でピクチャにおける全ての符号化単位が、イントラ符号化される強制イントラブロックとなるように、強制イントラブロック又は他ブロックに符号化単位を割り当てる強制イントラブロック割当部と
    をさらに有する請求項１０に記載の画像送信装置。
12. 上記画像送信装置は、
    Ｈ．２６４／ＡＶＣ方式に従って、上記ビットストリームを生成する
    請求項１１に記載の画像送信装置。
13. 複数のピクチャから構成される画像データが符号化されてなるビットストリームを受け取るビットストリーム受取部と、
    ビットストリームを可逆復号する可逆復号部と、
    画像送信装置との間で予め定められたルールに反する値が検出されたときにエラーと認識することにより、可逆復号部によって可逆復号されたビットストリームにおける符号化単位のデータからエラーを検出するエラー検出部と、
    エラー検出部によってエラーが検出されると、エラーが検出されたことを表すエラー情報に対し、エラーが検出された位置を表す位置情報、又はエラーが伝搬する可能性のあるエラー伝搬範囲を表すエラー伝搬情報を付加して上記画像データを送信する画像送信装置に送出するエラー送出部と
    を有する画像受信装置。
14. 上記予め定められたルールに反する値は、
    使用頻度の低い値でなる
    請求項１３に記載の画像受信装置。
15. 上記予め定められたルールは、
    動きベクトルの最大値を制限する、動き補償のブロックサイズの最小値を制限する、マクロブロック間における量子化パラメータの差分値の最大値を制限する、マクロブロックモードの取り得る範囲を制限する、又は、画面内予測における方向の取り得る範囲を制限することである
    請求項１４に記載の画像受信装置。
16. 上記ビットストリーム受取部は、
    上記ビットストリームのパケットロスを検出し、
    上記エラー送出部は、
    上記パケットロスに応じて、エラーが検出されたことを表すエラー情報を上記画像送信装置に送出する
    請求項１５に記載の画像受信装置。
17. 複数のピクチャから構成される画像データが符号化されてなるビットストリームを受信する画像受信装置から、エラーが検出されたことを表すエラー情報を受け取るエラー受取ステップと、
    上記エラー受取ステップにおいてエラー情報を受け取った場合に、強制イントラブロックに対するイントラ符号化を実行し、上記強制イントラブロック及び当該強制イントラブロック以外の他ブロックの境界となる境界ラインから、隣接画素の数に対応する対応画素を含有しないよう、参照符号化単位に対する探索範囲を設定し、デブロックフィルタ設定情報を変更することにより、デブロックフィルタ処理に対する制限を設定する伝搬防止符号化モードを、符号化モードとして選択する符号化モード選択ステップと、
    上記符号化モード選択ステップにおいて選択された符号化モードに従って、画像データを符号化する符号化ステップと
    を有する画像送信方法。
18. 複数のピクチャから構成される画像データが符号化されてなるビットストリームを受け取るビットストリーム受取ステップと、
    上記ビットストリームを可逆復号する可逆復号ステップと、
    画像送信装置との間で予め定められたルールに反する値が検出されたときにエラーと認識することにより、可逆復号ステップにおいて可逆復号されたビットストリームにおける符号化単位のデータからエラーを検出するエラー検出ステップと、
    上記エラー検出ステップにおいてエラーが検出されると、エラーが検出されたことを表すエラー情報に対し、上記エラーが検出された位置を表す位置情報、又は上記エラーが伝搬する可能性のあるエラー伝搬範囲を表すエラー伝搬情報を付加して画像送信装置に送出するエラー送出ステップと
    を有する画像受信方法。

Images