JP2013090022A

JP2013090022A - 符号化装置および符号化方法、復号装置および復号方法、プログラム、並びに画像処理システム

Info

Publication number: JP2013090022A
Application number: JP2011226413A
Authority: JP
Inventors: Nobusada Miyahara; 信禎宮原; Yuji Ando; 裕司安藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-10-14
Filing date: 2011-10-14
Publication date: 2013-05-13

Abstract

【課題】符号化された画像データを送信する場合において、受信エラーが発生した後の復号画像の画質を向上させることができるようにする。
【解決手段】イントラマクロ決定部は、符号化対象の画像データの所定のマクロブロックの予測モードをイントラ予測モードに決定する。予測方式切替部は、符号化対象の画像データの全マクロブロックの予測モードをイントラ予測モードに決定する。演算部は、復号装置からのエラー情報に基づいて、予測モードがイントラ予測モードに決定された、所定のマクロブロックをイントラ予測モードで符号化するか、または、全マクロブロックをイントラ予測モードで符号化する。本技術は、例えば、符号化装置に適用することができる。
【選択図】図２

Description

本技術は、符号化装置および符号化方法、復号装置および復号方法、プログラム、並びに画像処理システムに関し、特に、符号化された画像データを送信する場合において、受信エラーが発生した後の復号画像の画質を向上させることができるようにした符号化装置および符号化方法、復号装置および復号方法、プログラム、並びに画像処理システムに関する。

画像の符号化方式としては、AVC（Advanced Video Coding），HEVC（High Efficiency Video Coding）等がある。このような符号化方式の符号化方法としては、イントラ符号化またはインター符号化がある。イントラ符号化とは、同一画面内の画素を用いて行う符号化であり、イントラ符号化の符号量は、通常多くなる。一方、インター符号化とは、近隣の画面の画素を用いて画面間で行う符号化であり、インター符号化の符号量は、通常、イントラ符号化に比べて少なくなる。

符号化装置は、各符号化方法で画像が符号化されたときのコスト関数値に基づいて、フレーム単位やマクロブロック単位で符号化方法を選択する。選択された符号化方法を示す情報は、フレームタイプ（ピクチャタイプ）やマクロブロックタイプとして、符号化された画像データとともにビットストリームに含められる。

一方、ビットストリームが符号化装置から伝送路を介して送信される場合、伝送路上でパケットロス等が発生し、受信側で受信エラーが発生することがある。フレーム単位で符号化が行われる場合、あるフレームに受信エラーが発生すると、受信側で、そのフレームの正常な画像データを得ることができない。そのため、以降のフレームにおいても、そのフレームの符号化方法がインター符号化である限り、正常な画像データを復号することができない。フレーム単位ではなく、スライス単位で符号化が行われる場合、受信エラーの発生単位はスライス単位となるが、フレーム単位で符号化が行われる場合と同様に、受信エラーが発生したフレーム以降のフレームのスライスにおいても、そのスライスの符号化方法がインター符号化である限り、正常な画像データを復号することができない。

そこで、受信エラーが発生した場合に素早く正常な画像データを復号し、正常な画面を復帰させる方法として、以下の２つの方法が考えられている。

第１の方法は、受信エラーが発生した場合、符号化方法をイントラ符号化に変更する方法である（例えば、特許文献１参照）。また、第２の方法は、各画面の所定のスライスまたはマクロブロックの符号化方法を、イントラ符号化にする方法である（例えば、特許文献２参照）。

特開２０１１−５５２１９号公報特開２０１１−３５４４４号公報

しかしながら、第１の方法では、受信エラーが発生してから、符号化方法をイントラ符号化に変更するまでの間、正常な復号画像を得ることができない。従って、特に、送信側と受信側との間の伝送時間が長く、受信エラーが発生してから送信側が受信エラーの発生を認知するまでに長い時間を要する場合、復号側において正常な画面が長い間表示されなくなる。

一方、第２の方法では、受信エラーが発生すると、イントラ符号化されたスライスまたはマクロブロック単位で正常な復号画像が復帰し始めるが、画面全体を復帰させるまでには時間がかかる。

従って、受信エラーが発生した後の復号画像の画質を向上させることが求められている。

本技術は、このような状況に鑑みてなされたものであり、符号化された画像データを送信する場合において、受信エラーが発生した後の復号画像の画質を向上させることができるようにするものである。

本技術の第１の側面は、符号化対象の画像の所定のブロックの予測モードをイントラ予測モードに決定するイントラブロック決定部と、前記符号化対象の画像の全ブロックの予測モードをイントラ予測モードに決定する予測モード決定部と、前記符号化対象の画像の符号化結果を受信する受信装置からの情報に基づいて、前記イントラブロック決定部により前記予測モードがイントラ予測モードに決定されたブロックをイントラ予測モードで符号化するか、または、前記予測モード決定部により前記予測モードがイントラ予測モードに決定された前記符号化対象の画像の全ブロックをイントラ予測モードで符号化し、前記符号化対象の画像の符号化結果を得る符号化部と、前記符号化部により得られた前記符号化対象の画像の符号化結果と、その画像の前記予測モードとを送信する送信部とを備える符号化装置である。

本技術の第１の側面の符号化方法およびプログラムは、本技術の第１の側面の符号化装置に対応する。

本技術の第１の側面においては、符号化対象の画像の所定のブロックの予測モードがイントラ予測モードに決定され、前記符号化対象の画像の全ブロックの予測モードがイントラ予測モードに決定され、前記符号化対象の画像の符号化結果を受信する受信装置からの情報に基づいて、前記予測モードがイントラ予測モードに決定されたブロックがイントラ予測モードで符号化されるか、または、前記予測モードがイントラ予測モードに決定された前記符号化対象の画像の全ブロックがイントラ予測モードで符号化され、前記符号化対象の画像の符号化結果が得られ、前記符号化対象の画像の符号化結果と、その画像の前記予測モードとが送信される。

本技術の第２の側面は、符号化装置により符号化された画像と、その画像の符号化時の予測モードを受信する受信部と、前記符号化装置において、前記画像の所定のブロックの予測モードをイントラ予測モードとするか、または、前記画像の全ブロックの予測モードをイントラ予測モードとするかを示す情報を生成する生成部と、前記生成部により生成された前記情報を、前記符号化装置に送信する送信部と、前記受信部により受信された前記予測モードで、前記受信部により受信された前記符号化された画像を復号する復号部とを備える復号装置である。

本技術の第２の側面の復号方法およびプログラムは、本技術の第２の側面の復号装置に対応する。

本技術の第２の側面においては、符号化装置により符号化された画像と、その画像の符号化時の予測モードが受信され、前記符号化装置において、前記画像の所定のブロックの予測モードをイントラ予測モードとするか、または、前記画像の全ブロックの予測モードをイントラ予測モードとするかを示す情報が生成され、前記情報が、前記符号化装置に送信され、前記予測モードで、前記符号化された画像が復号される。

本技術の第３の側面は、符号化対象の画像の所定のブロックの予測モードをイントラ予測モードに決定するイントラブロック決定部と、前記符号化対象の画像の全ブロックの予測モードをイントラ予測モードに決定する予測モード決定部と、前記符号化対象の画像の符号化結果を受信する復号装置からの情報に基づいて、前記イントラブロック決定部により前記予測モードがイントラ予測モードに決定されたブロックをイントラ予測モードで符号化するか、または、前記予測モード決定部により前記予測モードがイントラ予測モードに決定された前記符号化対象の画像の全ブロックをイントラ予測モードで符号化し、前記符号化対象の画像の符号化結果を得る符号化部と、前記符号化部により得られた前記符号化対象の画像の符号化結果と、その画像の前記予測モードとを送信する送信部とを有する符号化装置と、前記送信部により送信されてくる前記符号化対象の画像の符号化結果と、その画像の前記予測モードを受信する受信部と、前記情報を生成する生成部と、前記生成部により生成された前記情報を、前記符号装置に送信する送信部と、前記受信部により受信された前記予測モードで、前記受信部により受信された前記符号化対象の画像の符号化結果を復号する復号部とを有する前記復号装置とを備える画像処理システムである。

本技術の第３の側面においては、符号化装置により、符号化対象の画像の所定のブロックの予測モードがイントラ予測モードに決定され、前記符号化対象の画像の全ブロックの予測モードがイントラ予測モードに決定され、前記符号化対象の画像の符号化結果を受信する復号装置からの情報に基づいて、前記予測モードがイントラ予測モードに決定されたブロックがイントラ予測モードで符号化されるか、または、前記予測モードがイントラ予測モードに決定された前記符号化対象の画像の全ブロックがイントラ予測モードで符号化され、前記符号化対象の画像の符号化結果が得られ、前記符号化対象の画像の符号化結果と、その画像の前記予測モードとが送信される。また、復号装置により、前記符号化装置から送信されてくる前記符号化対象の画像の符号化結果と、その画像の前記予測モードが受信され、前記情報が生成され、前記情報が前記符号装置に送信され、前記予測モードで、前記符号化対象の画像の符号化結果が復号される。

本技術の第１乃至第３の側面によれば、符号化された画像データを送信する場合において、受信エラーが発生した後の復号画像の画質を向上させることができる。

本技術を適用した画像処理システムの第１実施の形態の構成例を示すブロック図である。図１の符号化部の構成例を示す図である。強制イントラマクロブロックによる復号画像の復帰を説明する図である。図２の符号化部の符号化処理を説明するフローチャートである。図２の符号化部の符号化処理を説明するフローチャートである。図２のイントラマクロ決定部の強制イントラマクロブロック決定処理を説明するフローチャートである。図１の符号化部の他の構成例を示す図である。図７の符号化部の符号化処理を説明するフローチャートである。図７の符号化部の符号化処理を説明するフローチャートである。図１の復号部の構成例を示すブロック図である。図１０の復号部の復号処理を説明するフローチャートである。本技術を適用した画像処理システムの第２実施の形態の構成例を示すブロック図である。図１２の復号部の構成例を示すブロック図である。図１３の復号部の復号処理を説明するフローチャートである。本技術を適用した画像処理システムの第３実施の形態の構成例を示すブロック図である。図１５の符号化部の構成例を示す図である。本技術を適用した画像処理システムの第４実施の形態の構成例を示すブロック図である。図１７の符号化部の構成例を示すブロック図である。図１７の符号化装置の送信処理を説明するフローチャートである。本技術を適用した画像処理システムの第５実施の形態の構成例を示すブロック図である。図２０の符号化部の構成例を示すブロック図である。図２０の符号化装置の送信処理を説明するフローチャートである。 HEVC方式のイントラ予測モードの例を示す図である。 HEVC方式のイントラ予測モードの例を示す図である。コンピュータのハードウエアの構成例を示すブロック図である。

＜第１実施の形態＞
［画像処理システムの第１実施の形態の構成例］
図１は、本技術を適用した画像処理システムの第１実施の形態の構成例を示すブロック図である。

図１の画像処理システム１０は、符号化装置１１と復号装置１２により構成され、符号化装置１１により符号化された画像データを復号装置１２により復号する。

具体的には、画像処理システム１０の符号化装置１１は、符号化部２１、送信部２２、および受信部２３により構成される。

符号化部２１は、受信部２３から供給される、復号装置１２において受信エラーが発生したかどうかを表すエラー情報等に基づいて、AVC方式における予測モードを決定する。符号化部２１は、決定された予測モードで、符号化対象として入力される画像データを符号化し、その結果得られるビットストリームを送信部２２に供給する。

送信部２２は、符号化部２１から供給されるビットストリームを復号装置１２に送信する。受信部２３は、復号装置１２から送信されてくるエラー情報を受信し、符号化部２１に供給する。

復号装置１２は、受信部３１、復号部３２、および送信部３３により構成される。受信部３１は、符号化装置１１の送信部２２から送信されてくるビットストリームを受信し、復号部３２に供給する。また、受信部３１は、生成部として機能し、パケットロス等の受信エラーを検出し、検出結果に対応するエラー情報を生成して、送信部３３に供給する。

復号部３２は、符号化部２１における予測モードで、受信部３１から供給されるビットストリームを復号し、その結果得られる画像データを出力する。送信部３３は、受信部３１から供給されるエラー情報を符号化装置１１に送信する。

［符号化部の構成例］
図２は、図１の符号化部２１の構成例を示す図である。

図２の符号化部２１は、A/D変換部１２１、画面並べ替えバッファ１２２、演算部１２３、直交変換部１２４、量子化部１２５、可逆符号化部１２６、蓄積バッファ１２７、逆量子化部１２８、逆直交変換部１２９、加算部１３０、デブロックフィルタ１３１、フレームメモリ１３２、スイッチ１３３、イントラ予測部１３４、動き予測・補償部１３５、選択部１３６、予測方式切替部１３７、イントラマクロ決定部１３８、およびレート制御部１３９により構成される。

符号化部２１のA/D変換部１２１は、符号化対象のフレーム単位の画像データをA/D変換し、画面並べ替えバッファ１２２に出力して記憶させる。画面並べ替えバッファ１２２は、記憶した表示の順番のフレーム単位の画像データを、GOP（Group of Picture）構造に応じて、符号化のための順番に並べ替え、演算部１２３と動き予測・補償部１３５に出力する。

演算部１２３は、符号化部として機能し、選択部１３６から供給される予測画像データと、画面並べ替えバッファ１２２から出力された符号化対象の画像データの差分を演算することにより、符号化対象の画像データを符号化する。具体的には、演算部１２３は、画面並べ替えバッファ１２２から出力された符号化対象の画像データから、選択部１３６から供給される予測画像データを減算する。演算部１２３は、減算の結果得られる画像データを、残差情報として直交変換部１２４に出力する。なお、選択部１３６から予測画像データが供給されない場合、演算部１２３は、画面並べ替えバッファ１２２から読み出された画像データをそのまま残差情報として直交変換部１２４に出力する。

直交変換部１２４は、演算部１２３からの残差情報に対して離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その結果得られる係数を量子化部１２５に供給する。

量子化部１２５は、直交変換部１２４から供給される係数を量子化する。量子化された係数は、可逆符号化部１２６に入力される。

可逆符号化部１２６は、量子化部１２５から供給される量子化された係数に対して、可変長符号化（例えば、CAVLC（Context-Adaptive Variable Length Coding）など）、算術符号化（例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行い、符号化データを得る。また、可逆符号化部１２６は、イントラ予測部１３４から供給されるイントラ予測モード情報、または、動き予測・補償部１３５から供給されるインター予測モード情報を可逆符号化し、その結果得られる情報を符号化データに付加されるヘッダ情報とする。可逆符号化部１２６は、可逆符号化の結果得られるヘッダ情報が付加された符号化データをビットストリームとして蓄積バッファ１２７に供給し、蓄積させる。

蓄積バッファ１２７は、可逆符号化部１２６から供給されるビットストリームを、一時的に記憶し、図１の送信部２２に供給する。

また、量子化部１２５より出力された、量子化された係数は、逆量子化部１２８にも入力され、逆量子化された後、逆直交変換部１２９に供給される。

逆直交変換部１２９は、逆量子化部１２８から供給される係数に対して、逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換を施し、その結果得られる残差情報を加算部１３０に供給する。

加算部１３０は、逆直交変換部１２９から供給される復号対象の符号化データとしての残差情報と、選択部１３６から供給される予測画像データを加算して、局部的に復号された画像データを得る。なお、選択部１３６から予測画像データが供給されない場合、加算部１３０は、逆直交変換部１２９から供給される残差情報を局部的に復号された画像データとする。加算部１３０は、局部的に復号された画像データをデブロックフィルタ１３１に供給する。

デブロックフィルタ１３１は、加算部１３０から供給される局部的に復号された画像データをフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ１３１は、その結果得られる画像データをフレームメモリ１３２に供給し、蓄積させる。フレームメモリ１３２に蓄積された画像データは、参照画像データとしてスイッチ１３３を介して、イントラ予測部１３４または動き予測・補償部１３５に出力される。

イントラ予測部１３４は、フレームメモリ１３２からスイッチ１３３を介して供給された参照画像データを用いて、候補となる全てのイントラ予測モードのイントラ予測を行い、予測画像データを生成する。但し、このイントラ予測では、予測対象のマクロブロック以外の画素を参照しない。例えば、マクロブロックの境界のイントラ予測ブロックでは、所定値を参照画像の画素値として用いてイントラ予測を行う。

また、イントラ予測部１３４は、候補となる全てのイントラ予測モードに対してコスト関数値（詳細は後述する）を算出する。そして、イントラ予測部１３４は、コスト関数値が最小となるイントラ予測モードを最適イントラ予測モードに決定する。イントラ予測部１３４は、最適イントラ予測モードで生成された予測画像データ、および、対応するコスト関数値を、選択部１３６に供給する。イントラ予測部１３４は、選択部１３６から最適イントラ予測モードで生成された予測画像データの選択が通知された場合、最適イントラ予測モード等を示すイントラ予測情報を可逆符号化部１２６に供給する。

なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H．264/AVC方式における参照ソフトウエアであるJM(Joint Model)で定められているような、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて算出される。

具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全ての予測モードに対して、仮に可逆符号化までが行われ、次の式（１）で表わされるコスト関数値が各予測モードに対して算出される。

Cost(Mode)=D＋λ・R ・・・（１）

Dは、原画像と復号画像の差分（歪）、Rは、直交変換の係数まで含んだ発生符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ乗数である。

一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全ての予測モードに対して、復号画像の生成、および、予測モードを示す情報などのヘッダビットの算出が行われ、次の式（２）で表わされるコスト関数が各予測モードに対して算出される。

Cost(Mode)=D＋QPtoQuant(QP)・Header_Bit ・・・（２）

Dは、原画像と復号画像の差分（歪）、Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータQPの関数として与えられる関数である。

Low Complexity モードにおいては、全ての予測モードに対して、復号画像を生成するだけでよく、可逆符号化を行う必要がないため、演算量が少なくて済む。なお、ここでは、コスト関数値の算出手法としてHigh Complexity モードが採用されるものとする。

動き予測・補償部１３５は、画面並べ替えバッファ１２２から供給される画像データと、フレームメモリ１３２からスイッチ１３３を介して供給される参照画像データとに基づいて、候補となる全てのインター予測モードの動き予測・補償処理を行い、予測画像データを生成する。但し、この動き予測・補償処理では、直前のフレームの同一位置のマクロブロックが参照画像データとされる。

なお、インター予測モードとは、インター予測の対象とするブロックのサイズ、予測方向、および参照インデックスを表す情報である。予測方向には、インター予測の対象とする画像よりも表示時刻が早い参照画像を用いた前方向の予測（L0予測）、インター予測の対象とする画像よりも表示時刻が遅い参照画像を用いた後方向の予測（L1予測）、およびインター予測の対象とする画像よりも表示時刻が早い参照画像と遅い参照画像を用いた両方向の予測（Bi-prediction）がある。また、参照インデックスとは、参照画像を特定するための番号であり、例えば、インター予測の対象とする画像に近い画像の参照インデックスほど番号が小さい。

また、動き予測・補償部１３５は、候補となる全てのインター予測モードに対してコスト関数値を算出する。そして、動き予測・補償部１３５は、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。動き予測・補償部１３５は、最適インター予測モードで生成された予測画像データ、および、対応するコスト関数値を、選択部１３６に供給する。動き予測・補償部１３５は、選択部１３６から最適インター予測モードで生成された予測画像データの選択が通知された場合、最適インター予測モード、その最適インター予測モードに対応する動きベクトル等を示すインター予測情報を可逆符号化部１２６に供給する。

選択部１３６は、予測方式切替部１３７からの強制イントラ予測モード情報、イントラマクロ決定部１３８からの強制イントラマクロ情報、並びにイントラ予測部１３４および動き予測・補償部１３５からのコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのいずれかを、最適予測モードに決定する。なお、強制イントラ予測モード情報は、符号化対象の画像データの全マクロブロックの予測モードを強制的にイントラ予測モードにするかどうかを示す情報である。また、強制イントラマクロ情報は、強制的に予測モードがイントラ予測モードにされるマクロブロック（以下、強制イントラマクロブロックという）の位置を示す情報である。

選択部１３６は、最適予測モードの予測画像データを、演算部１２３および加算部１３０に供給する。また、選択部１３６は、最適予測モードの予測画像データの選択をイントラ予測部１３４または動き予測・補償部１３５に通知する。

予測方式切替部１３７は、図１の受信部２３から供給されるエラー情報に基づいて、符号化対象の画像データの全マクロブロックの予測モードを強制的にイントラ予測モードにするかどうかを判定する。即ち、予測方式切替部１３７は、予測モード決定部として機能し、エラー情報に基づいて、符号化対象の画像データの全マクロブロックの予測モードをイントラ予測モードに決定する。予測方式切替部１３７は、判定結果を示す強制イントラ予測モード情報を選択部１３６に供給する。

イントラマクロ決定部１３８は、符号化対象の画像データのフレーム番号に基づいて、所定の位置のマクロブロックを強制イントラマクロブロックに決定する。即ち、イントラマクロ決定部１３８は、イントラブロック決定部として機能し、符号化対象の画像データのフレーム番号に基づく所定の位置のマクロブロックの予測モードをイントラ予測モードに決定する。イントラマクロ決定部１３８は、強制イントラマクロ情報を選択部１３６に供給する。

レート制御部１３９は、蓄積バッファ１２７に蓄積されたビデオストリームに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１２５の量子化動作のレートを制御する。

［強制イントラマクロブロックによる復号画像の復帰の説明］
図３は、強制イントラマクロブロックによる復号画像の復帰を説明する図である。

図３の例では、時刻ｔのフレームにおいて、図中斜線が付された正方形で表されるマクロブロックが、強制イントラマクロブロックとされている。この場合、時刻ｔ−１のフレームにおいて受信エラーが発生しても、イントラ符号化では自分のマクロブロック以外の画素が参照されないので、時刻ｔのフレームの強制イントラマクロブロックの復号画像は、正常な画像となる。

そして、時刻ｔ＋１のフレームにおいて、新たな位置のマクロブロックが強制イントラマクロブロックとされると、時刻ｔのフレームと同様に、その強制イントラマクロブロックの復号画像が正常な画像となる。また、時刻ｔのフレームの強制イントラマクロブロックは、イントラ符号化される場合、自分のマクロブロックのみが参照され、インター符号化される場合、時刻ｔ＋１より前のフレームの強制イントラマクロブロックのみが参照される。従って、時刻ｔ＋１のフレームでは、時刻ｔと時刻ｔ＋１のフレームにおいて強制イントラマクロブロックとされたマクロブロックの復号画像が正常な画像となる。

さらに、時刻ｔ＋２のフレームにおいて、新たな位置のマクロブロックが強制イントラマクロブロックとされると、時刻ｔ＋１のフレームと同様に、時刻ｔ、時刻ｔ＋１、および時刻ｔ＋２において強制イントラマクロブロックとされたマクロブロックの復号画像が正常な画像となる。

以降も同様にして、フレームごとに、新たな位置のマクロブロックが強制イントラマクロブロックとされることにより、正常な復号画像のマクロブロックが増加していき、最終的には正常な画面が復帰する。

［符号化部の処理の説明］
図４および図５は、図２の符号化部２１の符号化処理を説明するフローチャートである。

図４のステップＳ１６０において、符号化部２１のA/D変換部１２１は、符号化対象として入力されたフレーム単位の画像データをA/D変換し、画面並べ替えバッファ１２２に出力して記憶させる。

ステップＳ１６１において、画面並べ替えバッファ１２２は、記憶した表示の順番のフレームの画像データを、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ１２２は、並べ替え後のフレーム単位の画像データを、演算部１２３と動き予測・補償部１３５に供給する。以降のステップＳ１６２乃至Ｓ１８１の処理は、例えば、マクロブロック単位で行われる。

ステップＳ１６２において、イントラ予測部１３４は、フレームメモリ１３２からスイッチ１３３を介して供給される参照画像データを用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。このとき、イントラ予測部１３４は、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部１３４は、コスト関数値が最小となるイントラ予測モードを最適イントラ予測モードに決定する。イントラ予測部１３４は、最適イントラ予測モードで生成された予測画像データ、および、対応するコスト関数値を、選択部１３６に供給する。

ステップＳ１６３において、動き予測・補償部１３５は、画面並べ替えバッファ１２２から供給される画像データと、フレームメモリ１３２からスイッチ１３３を介して供給される参照画像データとに基づいて、動き予測・補償処理を行う。このとき、動き予測・補償部１３５は、候補となる全てのインター予測モードに対してコスト関数値を算出する。そして、動き予測・補償部１３５は、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。動き予測・補償部１３５は、最適インター予測モードで生成された予測画像データ、および、対応するコスト関数値を、選択部１３６に供給する。

ステップＳ１６４において、予測方式切替部１３７は、受信部２３から供給されるエラー情報が、受信エラーが発生したことを表しているかどうかを判定する。ステップＳ１６４で、エラー情報が、受信エラーが発生したことを表していないと判定された場合、予測方式切替部１３７は、符号化対象の画像データの全マクロブロックの予測モードを強制的にイントラ予測モードにしないと判定する。そして、予測方式切替部１３７は、その判定結果を示す強制イントラ予測モード情報を選択部１３６に供給し、処理をステップＳ１６５に進める。

ステップＳ１６５において、選択部１３６は、イントラマクロ決定部１３８から供給される強制イントラマクロ情報に基づいて、現在の処理対象であるマクロブロックが強制イントラマクロブロックであるかどうかを判定する。

ステップＳ１６５で、現在の処理対象であるマクロブロックが強制イントラマクロブロックではないと判定された場合、処理はステップＳ１６６に進む。ステップＳ１６６において、選択部１３６は、イントラ予測部１３４および動き予測・補償部１３５から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、選択部１３６は、最適予測モードの予測画像データを、演算部１２３および加算部１３０に供給し、処理をステップＳ１６８に進める。

一方、ステップＳ１６４で、エラー情報が、受信エラーが発生したことを表していると判定された場合、予測方式切替部１３７は、符号化対象の画像データの全マクロブロックの予測モードを強制的にイントラ予測モードにすると判定する。そして、予測方式切替部１３７は、その判定結果を示す強制イントラ予測モード情報を選択部１３６に供給し、処理をステップＳ１６７に進める。

また、ステップＳ１６５で、現在の処理対象であるマクロブロックが強制イントラマクロブロックであると判定された場合、処理はステップＳ１６７に進む。

ステップＳ１６７において、選択部１３６は、最適イントラ予測モードを最適予測モードとし、処理をステップＳ１６８に進める。

ステップＳ１６８において、選択部１３６は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップＳ１６８で最適予測モードが最適インター予測モードであると判定された場合、選択部１３６は、最適インター予測モードで生成された予測画像データの選択を動き予測・補償部１３５に通知する。

そして、ステップＳ１６９において、動き予測・補償部１３５は、インター予測情報を可逆符号化部１２６に出力し、処理をステップＳ１７１に進める。

一方、ステップＳ１６８で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、選択部１３６は、最適イントラ予測モードで生成された予測画像データの選択をイントラ予測部１３４に通知する。

そして、ステップＳ１７０において、イントラ予測部１３４は、イントラ予測情報を可逆符号化部１２６に出力し、処理をステップＳ１７１に進める。

ステップＳ１７１において、演算部１２３は、画面並べ替えバッファ１２２から供給される画像データから、選択部１３６から供給される予測画像データを減算する。演算部１２３は、減算の結果得られる画像データを、残差情報として直交変換部１２４に出力する。

ステップＳ１７２において、直交変換部１２４は、演算部１２３からの残差情報に対して直交変換を施し、その結果得られる係数を量子化部１２５に供給する。

ステップＳ１７３において、量子化部１２５は、直交変換部１２４から供給される係数を量子化する。量子化された係数は、可逆符号化部１２６と逆量子化部１２８に入力される。

ステップＳ１７４において、可逆符号化部１２６は、量子化部１２５から供給される量子化された係数と、インター予測情報またはイントラ予測情報を可逆符号化する。そして、可逆符号化部１２６は、可逆符号化されたインター予測情報またはイントラ予測情報をヘッダ情報として、可逆符号化された係数である符号化データに付加し、ビットストリームを生成する。

図５のステップＳ１７５において、可逆符号化部１２６は、ビットストリームを蓄積バッファ１２７に供給し、蓄積させる。

ステップＳ１７６において、蓄積バッファ１２７は、蓄積されているビットストリームを図１の送信部２２に出力する。

ステップＳ１７７において、逆量子化部１２８は、量子化部１２５から供給される量子化された係数を逆量子化する。

ステップＳ１７８において、逆直交変換部１２９は、逆量子化部１２８から供給される係数に対して逆直交変換を施し、その結果得られる残差情報を加算部１３０に供給する。

ステップＳ１７９において、加算部１３０は、逆直交変換部１２９から供給される残差情報と、選択部１３６から供給される予測画像データを加算し、局部的に復号された画像データを得る。加算部１３０は、得られた画像データをデブロックフィルタ１３１に供給する。

ステップＳ１８０において、デブロックフィルタ１３１は、加算部１３０から供給される局部的に復号された画像データに対してフィルタリングを行うことにより、ブロック歪を除去する。

ステップＳ１８１において、デブロックフィルタ１３１は、フィルタリング後の画像データをフレームメモリ１３２に供給し、蓄積させる。フレームメモリ１３２に蓄積された画像データは、参照画像データとしてスイッチ１３３を介してイントラ予測部１３４または動き予測・補償部１３５に出力される。そして、処理は終了する。

なお、図４および図５の符号化処理では、説明を簡単化するため、常に、イントラ予測処理と動き補償処理が行われるようにしたが、実際には、ピクチャタイプ等によっていずれか一方のみが行われる場合もある。

図６は、図２のイントラマクロ決定部１３８の強制イントラマクロブロック決定処理を説明するフローチャートである。この強制イントラマクロブロック決定処理は、例えば、符号化対象のフレーム単位の画像データが符号化部２１に入力されごとに行われる。

ステップＳ２０１において、イントラマクロ決定部１３８は、フレームカウントＮを１だけインクリメントする。なお、フレームカウントＮの初期値は０である。

ステップＳ２０２において、イントラマクロ決定部１３８は、フレームカウントＮに基づいて、強制イントラマクロブロックの位置を求める。具体的には、イントラマクロ決定部１３８は、１フレームを構成する全マクロブロックを所定数Ｎfixのマクロブロックごとのグループに分割する。そして、イントラマクロ決定部１３８は、各グループの先頭から、フレームカウントＮ-1から所定数Ｎfixを除算した余り番目のマクロブロックの位置を、強制イントラマクロブロックの位置とする。これにより、所定数Ｎfixのフレームごとに、全マクロブロックが強制イントラマクロブロックとされる。イントラマクロ決定部１３８は、その位置を示す強制イントラマクロ情報を選択部１３６に供給する。そして、処理は終了する。

以上のように、図２の符号化部２１は、エラー情報に基づいて、強制イントラマクロブロックをイントラ予測モードで符号化するか、または、全マクロブロックをイントラ予測モードで符号化する。具体的には、符号化部２１は、エラー情報が、受信エラーが発生したことを表す場合、フレーム全体の強制的なイントラ符号化を行い、受信エラーが発生していないことを表す場合、フレームのうちの強制イントラマクロブロックの強制的なイントラ符号化を行う。

これにより、受信エラーが発生してから受信エラーが発生したことを表すエラー情報が受信部２３により受信されるまでの間、復号装置１２は、強制イントラマクロブロックの正常な復号画像を復帰させることができる。そして、受信エラーが発生したことを表すエラー情報が受信部２３により受信されると、フレーム全体の強制的なイントラ符号化が行われるので、復号装置１２は、全マクロブロックが強制イントラマクロブロックとされるまで待たずに、正常な復号画像を完全に復帰させることができる。その結果、受信エラーが発生した後の復号画像の画質を向上させることができる。

［符号化部の他の構成例］
図７は、図１の符号化部２１の他の構成例を示す図である。

図７に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図７の符号化部２１の構成は、主に、頻度計算部１５１が新たに設けられている点、および、予測方式切替部１３７の代わりに予測方式切替部１５２が設けられている点が、図２の構成と異なる。図７の符号化部２１は、受信エラーの発生頻度に基づいて、フレーム全体の強制的なイントラ符号化、または、フレームのうちの強制イントラマクロブロックの強制的なイントラ符号化を選択して行う。

具体的には、符号化部２１の頻度計算部１５１は、図１の受信部２３から供給されるエラー情報に基づいて、受信エラーの発生頻度を計算する。頻度計算部１５１は、計算された受信エラーの発生頻度の高低を表す頻度情報を予測方式切替部１５２に供給する。

予測方式切替部１５２は、頻度計算部１５１から供給される頻度情報と、受信部２３から供給されるエラー情報とに基づいて、符号化対象の画像データの全マクロブロックの予測モードを強制的にイントラ予測モードにするかどうかを判定する。予測方式切替部１５２は、判定結果を示す強制イントラ予測モード情報を選択部１３６に供給する。

［他の符号化部の処理の説明］
図８および図９は、図７の符号化部２１の符号化処理を説明するフローチャートである。

図８のステップＳ２２０乃至Ｓ２２３の処理は、図４のステップＳ１６０乃至Ｓ１６３の処理と同様であるので、説明は省略する。

ステップＳ２２３の処理後、ステップＳ２２４において、頻度計算部１５１は、受信部２３から供給されるエラー情報に基づいて、受信エラーの発生頻度を計算し、その発生頻度が高いかどうかを判定する。

具体的には、例えば、3フレームに1回の頻度で受信エラーが発生している場合、受信エラー発生時にフレーム全体の強制的なイントラ符号化が行われると、平均的に3フレームごとにフレーム全体のイントラ符号化が行われる。ここで、AVC方式では、フレーム周波数が30Hzである場合、30フレーム（1秒間）に1回フレーム全体のイントラ符号化を行う運用がある。この運用と比較すると、3フレームごとのフレーム全体のイントラ符号化は、10倍の頻度のフレーム全体のイントラ符号化となり、符号量の増加および画質の劣化を招く。そこで、例えば、頻度計算部１５１は、受信エラーの発生頻度が3フレームに1回以上の頻度である場合、受信エラーの発生頻度が高いと判定し、3フレームに1回より少ない頻度である場合、受信エラーの発生頻度が低いと判定する。

なお、ここでは、発生頻度の閾値を3フレームに1回の頻度とするが、実際には、発生頻度の閾値は、符号化装置１１と復号装置１２の間の伝送路上で平均的に伝送できる情報量と瞬間的に伝送できる情報量とを考慮した伝送可能情報量と、フレーム全体の強制的なイントラ符号化時の想定符号量とを比較することにより求められる。

ステップＳ２２４で、受信エラーの発生頻度が高くはないと判定された場合、頻度計算部１５１は、受信エラーの発生頻度の低を表す頻度情報を予測方式切替部１５２に供給し、処理をステップＳ２２５に進める。

一方、ステップＳ２２４で、受信エラーの発生頻度が高いと判定された場合、頻度計算部１５１は、受信エラーの発生頻度の高を表す頻度情報を予測方式切替部１５２に供給し、処理をステップＳ２２６に進める。

ステップＳ２２５乃至Ｓ２４２の処理は、図４のステップＳ１６４乃至Ｓ１８１の処理と同様であるので、説明は省略する。

以上のように、図７の符号化部２１は、エラー情報と頻度情報に基づいて、エラー情報が、受信エラーが発生したことを表しており、かつ、頻度情報が受信エラーの発生頻度の低を表す場合、フレーム全体の強制的なイントラ符号化を行う。また、エラー情報が、受信エラーが発生したことを表しており、かつ、頻度情報が受信エラーの発生頻度の高を表す場合、フレームのうちの強制イントラマクロブロックの強制的なイントラ符号化を行う。

これにより、受信エラーが発生している場合であっても、受信エラーの発生頻度が高く、フレーム全体の強制的なイントラ符号化が行われる頻度が高くなる場合には、フレーム全体の強制的なイントラ符号化が行われない。従って、符号量の増加および画質の劣化を抑制しつつ、受信エラーが発生した後の復号画像の画質を向上させることができる。

［復号部の構成例］
図１０は、図１の復号部３２の構成例を示すブロック図である。

図１０の復号部３２は、蓄積バッファ２５１、可逆復号部２５２、逆量子化部２５３、逆直交変換部２５４、加算部２５５、デブロックフィルタ２５６、画面並べ替えバッファ２５７、D/A変換部２５８、フレームメモリ２５９、イントラ予測部２６０、動き補償部２６１、およびスイッチ２６２により構成される。

復号部３２の蓄積バッファ２５１は、図１の受信部３１から供給されるビットストリームを受け取り、蓄積する。蓄積バッファ２５１は、蓄積されているビットストリームを可逆復号部２５２に供給する。

可逆復号部２５２は、蓄積バッファ２５１からのビットストリームに対して、可変長復号や、算術復号等の可逆復号を施すことで、量子化された係数とインター予測情報またはイントラ予測情報を得る。可逆復号部２５２は、量子化された係数を逆量子化部２５３に供給し、イントラ予測情報をイントラ予測部２６０に供給する。また、可逆復号部２５２は、インター予測情報を動き補償部２６１に供給する。

逆量子化部２５３、逆直交変換部２５４、加算部２５５、デブロックフィルタ２５６、フレームメモリ２５９、イントラ予測部２６０、動き補償部２６１は、図２や図７の逆量子化部１２８、逆直交変換部１２９、加算部１３０、デブロックフィルタ１３１、フレームメモリ１３２、イントラ予測部１３４、動き予測・補償部１３５の一部とそれぞれ同様の処理を行い、これにより、画像データが復号される。

具体的には、逆量子化部２５３は、可逆復号部２５２からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部２５４に供給する。

逆直交変換部２５４は、逆量子化部２５３からの係数に対して、逆離散コサイン変換、逆カルーネン・レーベ変換等の逆直交変換を施し、その結果得られる残差情報を加算部２５５に供給する。

加算部２５５は、逆直交変換部２５４から供給される復号対象の画像データとしての残差情報と、スイッチ２６２から供給される予測画像データを加算することにより、復号対象の画像データを復号する。加算部２５５は、その結果得られる画像データをデブロックフィルタ２５６に供給する。なお、スイッチ２６２から予測画像データが供給されない場合、加算部２５５は、逆直交変換部２５４から供給される残差情報である画像データをデブロックフィルタ２５６に供給する。

デブロックフィルタ２５６は、加算部２５５から供給される画像データをフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ２５６は、その結果得られる画像データをフレームメモリ２５９に供給し、蓄積させるとともに、画面並べ替えバッファ２５７に供給する。フレームメモリ２５９に蓄積された画像データは、参照画像データとしてイントラ予測部２６０または動き補償部２６１に供給される。

画面並べ替えバッファ２５７は、デブロックフィルタ２５６から供給される画像データをフレーム単位で記憶する。画面並べ替えバッファ２５７は、記憶した符号化のための順番のフレーム単位の画像データを、元の表示の順番に並び替え、D/A変換部２５８に供給する。

D/A変換部２５８は、画面並べ替えバッファ２５７から供給されるフレーム単位の画像データをD/A変換し、出力する。

イントラ予測部２６０は、フレームメモリ２５９から供給される参照画像データを用いて、可逆復号部２５２から供給されるイントラ予測情報が表す最適イントラ予測モードのイントラ予測を行い、予測画像データを生成する。そして、イントラ予測部２６０は、予測画像データを、スイッチ２６２に供給する。

動き補償部２６１は、可逆復号部２５２から供給されるインター予測情報が表す動きベクトルと最適インター予測モードに基づいて、フレームメモリ２５９から参照画像データを読み出すことにより、動き補償処理を行う。動き補償部２６１は、その結果生成される予測画像データをスイッチ２６２に供給する。

スイッチ２６２は、イントラ予測部２６０から予測画像が供給された場合、その予測画像を加算部２５５に供給し、動き補償部２６１から予測画像が供給された場合、その予測画像を加算部２５５に供給する。

［復号部の処理の説明］
図１１は、図１０の復号部３２の復号処理を説明するフローチャートである。

図１１のステップＳ２６１において、復号部３２の蓄積バッファ２５１は、図１の受信部３１から供給されるビットストリームを受け取り、蓄積する。蓄積バッファ２５１は、蓄積されているビットストリームを可逆復号部２５２に供給する。

ステップＳ２６２において、可逆復号部２５２は、蓄積バッファ２５１から供給されるビットストリームを可逆復号し、量子化された係数とインター予測情報またはイントラ予測情報を得る。可逆復号部２５２は、量子化された係数を逆量子化部２５３に供給し、イントラ予測情報をイントラ予測部２６０に供給する。また、可逆復号部２５２は、インター予測情報を動き補償部２６１に供給する。

ステップＳ２６３において、逆量子化部２５３は、可逆復号部２５２からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部２５４に供給する。

ステップＳ２６４において、逆直交変換部２５４は、逆量子化部２５３からの係数に対して逆直交変換を施し、その結果得られる残差情報を加算部２５５に供給する。

ステップＳ２６５において、動き補償部２６１は、可逆復号部２５２からインター予測情報が供給されたかどうかを判定する。ステップＳ２６５でインター予測情報が供給されたと判定された場合、処理はステップＳ２６６に進む。

ステップＳ２６６において、動き補償部２６１は、インター予測情報が表す動きベクトルと最適インター予測モードに基づいて、フレームメモリ２５９から参照画像データを読み出すことにより動き補償処理を行う。動き補償部２６１は、動き補償処理の結果生成される予測画像データを、スイッチ２６２を介して加算部２５５に供給し、処理をステップＳ２６８に進める。

ステップＳ２６５でインター予測情報が供給されていないと判定された場合、即ち、イントラ予測部２６０にイントラ予測モードが供給される場合、処理はステップＳ２６７に進む。

ステップＳ２６７において、イントラ予測部２６０は、フレームメモリ２５９から供給される参照画像データを用いて、可逆復号部２５２から供給されるイントラ予測情報が示す最適イントラ予測モードのイントラ予測処理を行う。イントラ予測部２６０は、その結果生成される予測画像データを、スイッチ２６２を介して加算部２５５に供給し、処理をステップＳ２６８に進める。

ステップＳ２６８において、加算部２５５は、逆直交変換部２５４から供給される残差情報と、スイッチ２６２から供給される予測画像データを加算する。加算部２５５は、その結果得られる画像データをデブロックフィルタ２５６に供給する。

ステップＳ２６９において、デブロックフィルタ２５６は、加算部２５５から供給される画像データに対してフィルタリングを行い、ブロック歪を除去する。

ステップＳ２７０において、デブロックフィルタ２５６は、フィルタリング後の画像データをフレームメモリ２５９に供給し、蓄積させるとともに、画面並べ替えバッファ２５７に供給する。フレームメモリ２５９に蓄積された画像データは、参照画像データとしてイントラ予測部２６０または動き補償部２６１に供給される。

ステップＳ２７１において、画面並べ替えバッファ２５７は、デブロックフィルタ２５６から供給される画像データをフレーム単位で記憶し、記憶した符号化のための順番のフレーム単位の画像データを、元の表示の順番に並び替え、D/A変換部２５８に供給する。

ステップＳ２７２において、D/A変換部２５８は、画面並べ替えバッファ２５７から供給されるフレーム単位の画像データをD/A変換し、出力する。そして、処理は終了する。

＜第２実施の形態＞
［画像処理システムの第２実施の形態の構成例］
図１２は、本技術を適用した画像処理システムの第２実施の形態の構成例を示すブロック図である。

図１２に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１２の画像処理システム２８０の構成は、主に、復号装置１２の代わりに復号装置２８１が設けられている点が、図１の構成と異なる。画像処理システム２８０では、復号装置２８１が復号時にビットストリームのエラー値等を受信エラーとして検出する。

具体的には、画像処理システム２８０の復号装置２８１は、受信部２９１、復号部２９２、および送信部３３により構成される。受信部２９１は、符号化装置１１の送信部２２から送信されてくるビットストリームを受信し、復号部２９２に供給する。

復号部２９２は、符号化部２１における予測モードで、受信部２９１から供給されるビットストリームを復号し、その結果得られる画像データを出力する。このとき、復号部２９２は、ビットストリームのエラー値等を受信エラーとして検出し、検出結果に対応するエラー情報を生成して、送信部３３に供給する。

［復号部の構成例］
図１３は、図１２の復号部２９２の構成例を示すブロック図である。

図１３に示す構成のうち、図１０の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１３の復号部２９２の構成は、主に、エラー検出部３１１が新たに設けられている点が、図１０の構成と異なる。

復号部２９２のエラー検出部３１１は、可逆復号部２５２による可逆復号の結果得られる量子化された係数とイントラ予測情報またはインター予測情報のエラー値を受信エラーとして検出する。エラー値としては、符号化時に使用が制限されている値、矛盾のあるシンタックス等がある。

エラー検出部３１１は、生成部として機能し、検出結果を表すエラー情報を生成し、送信部３３に供給する。また、エラー検出部３１１は、受信エラーが検出されない場合、量子化された係数を逆量子化部２５３に供給し、イントラ予測情報をイントラ予測部２６０に供給し、インター予測情報を動き補償部２６１に供給する。

［復号部の処理の説明］
図１４は、図１３の復号部２９２の復号処理を説明するフローチャートである。

図１４のステップＳ２９１およびＳ２９２の処理は、図１１のステップＳ２６１およびＳ２６２の処理と同様であるので、説明は省略する。

ステップＳ２９２の処理後、ステップＳ２９３において、復号部２９２のエラー検出部３１１は、可逆復号部２５２による可逆復号の結果得られる量子化された係数とイントラ予測情報またはインター予測情報に基づいて、受信エラーが発生したかどうかを判定する。量子化された係数とイントラ予測情報またはインター予測情報にエラー値がない場合、ステップＳ２９３で受信エラーが発生していないと判定され、処理はステップＳ２９４に進む。

ステップＳ２９４において、エラー検出部３１１は、受信エラーが発生していないことを表すエラー情報を生成し、図１２の送信部３３に供給する。また、エラー検出部３１１は、量子化された係数を逆量子化部２５３に供給し、イントラ予測情報をイントラ予測部２６０に供給し、インター予測情報を動き補償部２６１に供給する。そして、処理はステップＳ２９６に進む。

ステップＳ２９６乃至Ｓ３０５の処理は、図１１のステップＳ２６３乃至Ｓ２７２の処理と同様であるので、説明は省略する。

一方、量子化された係数、もしくは、イントラ予測情報またはインター予測情報にエラー値がある場合、ステップＳ２９３で受信エラーが発生したと判定され、処理はステップＳ２９５に進む。

ステップＳ２９５において、エラー検出部３１１は、受信エラーが発生したことを表すエラー情報を生成し、送信部３３に供給する。そして、処理は終了する。

＜第３実施の形態＞
［画像処理システムの第３実施の形態の構成例］
図１５は、本技術を適用した画像処理システムの第３実施の形態の構成例を示すブロック図である。

図１５に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１５の画像処理システム３３０の構成は、符号化装置１１の代わりに符号化装置３３１が設けられ、復号装置３３２が新たに設けられている点が、図１の構成と異なる。画像処理システム３３０では、符号化装置３３１により生成されたビットストリームが、２つの復号装置１２と復号装置３３２に送信され、復号される。

具体的には、画像処理システム３３０の符号化装置３３１は、符号化部３４１、送信部３４２、および受信部３４３により構成される。

符号化部３４１は、受信部３４３から供給される、復号装置１２と復号装置３３２のエラー情報等に基づいて、AVC方式における予測モードを決定する。符号化部３４１は、決定された予測モードで、符号化対象として入力される画像データを符号化し、その結果得られるビットストリームを送信部３４２に供給する。

送信部３４２は、符号化部３４１から供給されるビットストリームを復号装置１２と復号装置３３２に送信する。受信部３４３は、復号装置１２と復号装置３３２から送信されてくるエラー情報を受信し、符号化部３４１に供給する。

復号装置３３２は、復号装置１２と同様に構成される。即ち、復号装置３３２の受信部３５１、復号部３５２、送信部３５３は、それぞれ、受信部３１、復号部３２、送信部３３と同様により構成される。

［符号化部の構成例］
図１６は、図１５の符号化部３４１の構成例を示す図である。

図１６に示す構成のうち、図７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１６の符号化部３４１の構成は、頻度計算部１５１の代わりに頻度計算部３７１が設けられている点が、図７の構成と異なる。

符号化部３４１の頻度計算部３７１は、図１５の受信部３４３から供給される復号装置１２と復号装置３３２のエラー情報に基づいて、復号装置１２と復号装置３３２のうちの少なくとも１つで発生する受信エラーの発生頻度を計算する。

通常、ビットストリームの受信先が増加するにしたがって、少なくとも１つの受信先で受信エラーが発生する頻度は高くなる。例えば、３つの受信先の受信エラーの発生頻度がそれぞれ10％である場合、３つの受信先のうちの少なくとも１つで受信エラーが発生する頻度は、以下の式（３）により計算される。

1-(1-1/10)^３=1-0.729=0.271
・・・（３）

即ち、この場合、３つの受信先のうちの少なくとも１つで受信エラーが発生する頻度は、27%であり、受信先の数が１つである場合の発生頻度10％の3倍に近い値になる。

頻度計算部１５１は、復号装置１２と復号装置３３２のうちの少なくとも１つで発生する受信エラーの頻度情報を予測方式切替部１５２に供給する。

なお、図１６の符号化部３４１の符号化処理は、ステップＳ２２４の判定対象が、復号装置１２と復号装置３３２のうちの少なくとも１つで発生する受信エラーの発生頻度である点を除いて、図８および図９の符号化処理と同様であるので、説明は省略する。

以上のように、符号化部３４１は、復号装置１２と復号装置３３２のエラー情報に基づいて、復号装置１２と復号装置３３２のうちの少なくとも１つで発生する受信エラーの発生頻度を計算する。そして、符号化部３４１は、計算された発生頻度の頻度情報とエラー情報に基づいて、強制イントラマクロブロックをイントラ予測モードで符号化するか、または、全マクロブロックをイントラ予測モードで符号化する。従って、ビットストリームの受信先が複数ある場合であっても、符号量の増加および画質の劣化を抑制しつつ、受信エラーが発生した後の復号画像の画質を向上させることができる。

なお、図１５の画像処理システム３３０では、復号装置の数は２つであったが、復号装置の数は、２以上であればよい。

また、図１６の符号化部３４１は、頻度情報とエラー情報ではなく、エラー情報に対応する復号装置の数とエラー情報に基づいて、強制イントラマクロブロックのイントラ予測モードでの符号化と、全マクロブロックのイントラ予測モードでの符号化を選択するようにしてもよい。例えば、符号化部３４１は、受信先としての復号装置の数が１つである場合、全マクロブロックのイントラ予測モードでの符号化を選択し、受信先としての復号装置の数が２以上である場合、強制イントラマクロブロックのイントラ予測モードでの符号化を選択するようにしてもよい。

＜第４実施の形態＞
［画像処理システムの第４実施の形態の構成例］
図１７は、本技術を適用した画像処理システムの第４実施の形態の構成例を示すブロック図である。

図１７に示す構成のうち、図１５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１７の画像処理システム３９０は、符号化装置３９１、復号装置３９２、および復号装置３９３により構成される。画像処理システム３９０では、復号装置３９２と復号装置３９３が、エラー情報だけでなく、ビットストリームの受信を開始する際にビットストリームの受信の開始を示す開始情報をアップリンク情報として符号化装置３９１に送信する。

具体的には、画像処理システム３９０の符号化装置３９１は、符号化部３４１、切替部４１１、符号化部４１２、送信部４１３、および受信部４１４により構成される。

符号化装置３９１の切替部４１１には、符号化対象の画像データが供給される。切替部４１１は、受信部４１４から供給される復号装置３９２と復号装置３９３の少なくとも一方のアップリンク情報が開始情報である場合、符号化対象の画像データを符号化部４１２に供給する。

一方、切替部４１１は、復号装置３９２と復号装置３９３の少なくとも一方のアップリンク情報がエラー情報である場合、符号化対象の画像データとエラー情報を符号化部３４１に供給する。

符号化部４１２は、切替部４１１から供給される画像データをイントラ予測モードで符号化し、その結果得られるビットストリームを送信部４１３に供給する。

送信部４１３は、符号化部４１２から供給されるビットストリームを、アップリンク情報として開始情報を送信してきた復号装置３９２または復号装置３９３に送信する。また、送信部４１３は、符号化部３４１から供給されるビットストリームを、アップリンク情報としてエラー情報を送信してきた復号装置３９２または復号装置３９３に送信する。

復号装置３９２の構成は、送信部３３の代わりに送信部４２１が設けられている点が、図１５の復号装置１２の構成と異なる。

復号装置３９２の送信部４２１は、送信部３３と同様に、受信部３１から供給されるエラー情報をアップリンク情報として符号化装置３９１に送信する。また、送信部４２１は、ユーザが図示せぬ入力部等を操作することによりビットストリームの受信の開始を指示したとき、開始情報をアップリンク情報として符号化装置３９１に送信する。

復号装置３９３の構成は、送信部３５３の代わりに送信部４３１が設けられている点が、図１５の復号装置３３２の構成と異なる。

復号装置３９３の送信部４３１の構成は、復号装置３９２の送信部４２１の構成と同様であるので、説明は省略する。

［符号化部の構成例］
図１８は、図１７の符号化部４１２の構成例を示すブロック図である。

図１８の符号化部４１２の構成は、スイッチ１３３、動き予測・補償部１３５、選択部１３６、予測方式切替部１３７、およびイントラマクロ決定部１３８が設けられず、可逆符号化部１２６、イントラ予測部１３４の代わりに可逆符号化部４５１、イントラ予測部４５２が設けられている点が、図２の符号化部２１の構成と異なる。

符号化部４１２の可逆符号化部４５１は、可逆符号化部１２６と同様に、量子化部１２５から供給される量子化された係数に対して可逆符号化を行い、符号化データを得る。また、可逆符号化部４５１は、イントラ予測部４５２から供給されるイントラ予測モード情報を可逆符号化し、その結果得られる情報を符号化データに付加されるヘッダ情報とする。可逆符号化部４５１は、可逆符号化の結果得られるヘッダ情報が付加された符号化データをビットストリームとして蓄積バッファ１２７に供給し、蓄積させる。

イントラ予測部４５２は、フレームメモリ１３２から供給された参照画像データを用いて、候補となる全てのイントラ予測モードのイントラ予測を行い、予測画像データを生成する。但し、このイントラ予測では、予測対象のマクロブロック以外の画素を参照しない。例えば、マクロブロックの境界の予測ブロックでは、所定値を参照画像の画素値として用いてイントラ予測を行う。

また、イントラ予測部４５２は、候補となる全てのイントラ予測モードに対してコスト関数値を算出する。そして、イントラ予測部４５２は、コスト関数値が最小となるイントラ予測モードを最適イントラ予測モードに決定する。イントラ予測部４５２は、最適イントラ予測モードで生成された予測画像データを、演算部１２３と加算部１３０に供給する。また、イントラ予測部４５２は、イントラ予測情報を可逆符号化部４５１に供給する。

［符号化装置の処理の説明］
図１９は、図１７の符号化装置３９１の送信処理を説明するフローチャートである。この送信処理は、例えば、符号化対象のフレーム単位の画像データが符号化装置３９１に供給されるごとに、行われる。

図１９のステップＳ３１１において、切替部４１１は、受信部４１４から供給される復号装置３９２と復号装置３９３のアップリンク情報に基づいて、全ての復号装置のアップリンク情報が開始情報であるかどうかを判定する。ステップＳ３１１で、少なくとも１つの復号装置のアップリンク情報が開始情報ではないと判定された場合、処理はステップＳ３１２に進む。

ステップＳ３１２において、切替部４１１は、復号装置３９２と復号装置３９３のアップリンク情報に基づいて、全ての復号装置のアップリンク情報がエラー情報であるかどうかを判定する。ステップＳ３１２で少なくとも１つのアップリンク情報がエラー情報ではないと判定された場合、即ち、復号装置３９２と復号装置３９３の一方から開始情報が受信され、他方からエラー情報が受信された場合、処理はステップＳ３１３に進む。

ステップＳ３１３において、切替部４１１は、符号化部３４１と符号化部４１２に、符号化対象のフレーム単位の画像データを供給し、符号化部３４１にエラー情報を供給する。

ステップＳ３１４において、符号化部３４１と符号化部４１２は、符号化処理を行う。具体的には、符号化部３４１は、エラー情報に基づいて、符号化対象のフレーム単位の画像データに対して図８および図９の符号化処理を行い、その結果得られるビットストリームを送信部４１３に供給する。また、符号化部４１２は、符号化対象のフレーム単位の画像データに対してイントラ予測モードの符号化を行い、その結果得られるビットストリームを送信部４１３に供給する。

ステップＳ３１５において、送信部４１３は、アップリンク情報として開始情報を送信してきた復号装置３９２または復号装置３９３に、符号化部４１２により生成されたビットストリームを送信する。

ステップＳ３１６において、送信部４１３は、アップリンク情報としてエラー情報を送信してきた復号装置３９２または復号装置３９３に、符号化部３４１により生成されたビットストリームを送信し、処理を終了する。

一方、ステップＳ３１１で、全ての復号装置のアップリンク情報が開始情報であると判定された場合、ステップＳ３１７において、切替部４１１は、符号化部４１２に符号化対象のフレーム単位の画像データを供給する。

ステップＳ３１８において、符号化部４１２は、符号化対象のフレーム単位の画像データに対してイントラ予測モードの符号化処理を行い、その結果得られるビットストリームを送信部４１３に供給する。

ステップＳ３１９において、送信部４１３は、復号装置３９２と復号装置３９３に、符号化部４１２により生成されたビットストリームを送信し、処理を終了する。

一方、ステップＳ３１２で、全ての復号装置のアップリンク情報がエラー情報であると判定された場合、ステップＳ３２０において、切替部４１１は、符号化部３４１に符号化対象のフレーム単位の画像データとエラー情報を供給する。

ステップＳ３２１において、符号化部３４１は、切替部４１１から供給されるエラー情報に基づいて、符号化対象のフレーム単位の画像データに対して、図１６の符号化部３４１の符号化処理と同様の符号化処理を行う。そして、符号化部３４１は、その結果得られるビットストリームを送信部４１３に供給する。

ステップＳ３２２において、送信部４１３は、復号装置３９２と復号装置３９３に、符号化部３４１により生成されたビットストリームを送信し、処理を終了する。

なお、図１９の送信処理では、アップリンク情報が開始情報からエラー情報に切り替わるタイミングで、符号化部４１２から符号化部３４１への切り替えが行われるようにしたが、切り替わるタイミングは任意である。例えば、アップリンク情報が開始情報である場合、１フレーム分の画像データの符号化だけ符号化部４１２で行われ、以降のフレームの画像データの符号化は符号化部３４１で行われるようにしてもよい。

以上のように、符号化装置３９１は、開始情報に基づいて、全マクロブロックをイントラ予測モードで符号化する。従って、復号装置３９２（３９３）は、ビットストリームの受信を開始する際、全マクロブロックがイントラ予測モードで符号化されたフレームのビットストリームを待つ必要がなく、即座に復号を開始することができる。

また、符号化装置３９１は、開始情報が送信されない場合、エラー情報と頻度情報に基づいて、強制イントラマクロブロックをイントラ予測モードで符号化するか、または、全マクロブロックをイントラ予測モードで符号化する。従って、符号量の増加および画質の劣化を抑制しつつ、受信エラーが発生した後の復号画像の画質を向上させることができる。

＜第５実施の形態＞
［画像処理システムの第５実施の形態の構成例］
図２０は、本技術を適用した画像処理システムの第５実施の形態の構成例を示すブロック図である。

図２０に示す構成のうち、図１７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２０の画像処理システム４７０の構成は、符号化装置３９１の代わりに符号化装置４７１が設けられている点が、図１７の構成と異なる。画像処理システム４７０では、符号化装置４７１が、強制イントラマクロブロックをイントラ予測モードで符号化する符号化部４８２と、全マクロブロックをイントラ予測モードで符号化する符号化部４１２を切り替える。

具体的には、符号化装置３９１は、切替部４８１、符号化部４８２、符号化部４１２、送信部４８３、および受信部４１４により構成される。符号化装置３９１の切替部４８１には、符号化対象の画像データが供給される。切替部４８１は、図１７の切替部４１１と同様に、受信部４１４から供給される復号装置３９２と復号装置３９３の少なくとも一方のアップリンク情報が開始情報である場合、符号化対象の画像データを符号化部４１２に供給する。

一方、切替部４８１は、復号装置３９２または復号装置３９３の少なくとも一方のアップリンク情報がエラー情報である場合、そのエラー情報に基づいて、受信エラーの発生頻度を計算し、受信エラーの発生頻度の高低を判定する。切替部４８１は、受信エラーの発生頻度が高い場合、符号化対象の画像データのフレーム番号に応じて所定の位置のマクロブロックを強制イントラマクロブロックに決定し、符号化対象の画像データと強制イントラマクロ情報を符号化部４８２に供給する。また、受信エラーの発生頻度が低く、復号装置３９２と復号装置３９３のアップリンク情報がエラー情報である場合、符号化対象の画像データを符号化部４１２に供給する。

符号化部４８２は、切替部４８１から供給される符号化対象の画像データを、強制イントラマクロ情報に基づいて符号化し、その結果得られるビットストリームを送信部４８３に供給する。

送信部４８３は、符号化部４８２と符号化部４１２の両方からビットストリームが供給される場合、符号化部４１２から供給されるビットストリームを、アップリンク情報として開始情報を送信してきた復号装置３９２または復号装置３９３に送信する。また、送信部４８３は、符号化部４８２から供給されるビットストリームを、アップリンク情報としてエラー情報を送信してきた復号装置３９２または復号装置３９３に送信する。

一方、送信部４８３は、符号化部４１２または符号化部４８２のみからビットストリームが供給される場合、そのビットストリームを復号装置３９２と復号装置３９３に送信する。

［符号化部の構成例］
図２１は、図２０の符号化部４８２の構成例を示すブロック図である。

図２１に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２１の符号化部４８２の構成は、予測方式切替部１３７とイントラマクロ決定部１３８が設けられず、選択部１３６の代わりに選択部４９１が設けられている点が、図２の構成と異なる。

符号化部４８２の選択部４９１は、切替部４８１からの強制イントラマクロ情報、並びにイントラ予測部１３４および動き予測・補償部１３５からのコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのいずれかを、最適予測モードに決定する。

［符号化装置の処理の説明］
図２２は、図２０の符号化装置４７１の送信処理を説明するフローチャートである。この送信処理は、例えば、符号化対象のフレーム単位の画像データが符号化装置４７１に供給されるごとに、行われる。

図２２のステップＳ３４１において、切替部４８１は、受信部４１４から供給される復号装置３９２と復号装置３９３のアップリンク情報に基づいて、全ての復号装置のアップリンク情報が開始情報であるかどうかを判定する。ステップＳ３４１で、少なくとも１つの復号装置のアップリンク情報が開始情報ではないと判定された場合、処理はステップＳ３４２に進む。

ステップＳ３４２において、切替部４８１は、受信部４１４から供給されるエラー情報に基づいて、受信エラーの発生頻度を計算し、その発生頻度が高いかどうかを判定する。ステップＳ３４２で発生頻度が高くはないと判定された場合、ステップＳ３４３において、切替部４８１は、エラー情報が、受信エラーが発生したことを表しているかどうかを判定する。

ステップＳ３４３で、エラー情報が、受信エラーが発生したことを表してないと判定された場合、処理はステップＳ３４４に進む。

一方、ステップＳ３４２で受信エラーの発生頻度が高いと判定された場合、処理はステップＳ３４４に進む。

ステップＳ３４４において、切替部４８１は、符号化部４８２に符号化対象のフレーム単位の画像データと強制イントラマクロブロック情報を供給する。なお、強制イントラマクロブロック情報は、切替部４８１が図６の強制イントラマクロブロック決定処理と同様の処理を行うことにより生成されたものである。

ステップＳ３４５において、符号化部４８２は、切替部４８１から供給される強制イントラマクロブロック情報に基づいて、符号化対象のフレーム単位の画像データに対して符号化処理を行い、その結果得られるビットストリームを送信部４８３に供給する。

ステップＳ３４６において、切替部４８１は、復号装置３９２と復号装置３９３のアップリンク情報に基づいて、全ての復号装置のアップリンク情報がエラー情報であるかどうかを判定する。ステップＳ３４６で少なくとも１つのアップリンク情報がエラー情報ではないと判定された場合、即ち、復号装置３９２と復号装置３９３の一方から開始情報が受信され、他方からエラー情報が受信された場合、処理はステップＳ３４７に進む。

ステップＳ３４７において、切替部４８１は、符号化部４１２に符号化対象のフレーム単位の画像データを供給する。ステップＳ３４８において、符号化部４１２は、符号化対象のフレーム単位の画像データに対してイントラ予測モードの符号化処理を行い、その結果得られるビットストリームを送信部４８３に供給する。

ステップＳ３４９において、送信部４８３は、アップリンク情報として開始情報を送信してきた復号装置３９２または復号装置３９３に、符号化部４１２により生成されたビットストリームを送信する。

ステップＳ３５０において、送信部４８３は、アップリンク情報としてエラー情報を送信してきた復号装置３９２または復号装置３９３に、符号化部４８２により生成されたビットストリームを送信し、処理を終了する。

一方、ステップＳ３４１で全ての復号装置のアップリンク情報が開始情報であると判定された場合、または、ステップＳ３４３で、エラー情報が、受信エラーが発生していることを表していると判定された場合、処理はステップＳ３５１に進む。

ステップＳ３５１において、切替部４８１は、符号化部４１２に符号化対象のフレーム単位の画像データを供給する。ステップＳ３５２において、符号化部４１２は、符号化対象のフレーム単位の画像データに対してイントラ予測モードの符号化処理を行い、その結果得られるビットストリームを送信部４８３に供給する。

ステップＳ３５３において、送信部４８３は、復号装置３９２と復号装置３９３に符号化部４１２により生成されたビットストリームを送信し、処理を終了する。

また、ステップＳ３４６で全ての復号装置のアップリンク情報がエラー情報であると判定された場合、ステップＳ３５４において、送信部４８３は、復号装置３９２と復号装置３９３に符号化部４８２により生成されたビットストリームを送信し、処理を終了する。

なお、図２２の送信処理では、アップリンク情報が開始情報からエラー情報に切り替わるタイミングで、符号化部が切り替わるようにしたが、切り替わるタイミングは任意である。例えば、フレーム周波数が30Hzである場合、30フレーム分（1秒間）の画像データの符号化だけが、開始情報に対応して符号化部４１２で行われ、以降のフレームの画像データの符号化は、エラー情報に基づく符号化部４８２または符号化部４１２で行われるようにしてもよい。

また、符号化部４１２を常に動作させ、送信部４１３（４８３）が、アップリンク情報に基づき、必要に応じて、符号化部４１２により生成されたビットストリームを送信するようにしてもよい。この場合、符号化部４１２の起動時間が長い場合であっても、符号化部４１２で生成されたビットストリームを復号装置に素早く送信することができる。

さらに、上述した説明では、イントラマクロ決定部１３８は常に動作するようにしたが、フレームのうちの強制イントラマクロブロックの強制的なイントラ符号化を行う場合にのみ、動作するようにしてもよい。

また、上述した説明では、符号化対象の画像データのうちの所定のマクロブロックの予測モードが強制的にイントラ予測モードにされたが、予測モードが強制的にイントラ予測モードにされる単位は、マクロブロックではなく、スライスであってもよい。

また、本技術の符号化方式は、AVC方式のほか、MPEG（Moving Picture Experts Group phase）方式，AVC方式に比べて符号化効率が良いHEVC方式等であってもよい。

符号化方式がHEVC方式である場合、例えば、予測ブロックのサイズが8×8画素である輝度信号のイントラ予測モードは、図２３に示した33方向のイントラ予測モードとDC Predictionを示すイントラ予測モードの34個のイントラ予測モードである。また、予測ブロックのサイズが16×16画素、32×32画素、64×64画素である輝度信号のイントラ予測モードは、図２４に示すように、座標（dxIntra,dyIntra）に対応し、モード数は33である。なお、座標（dxIntra,dyIntra）は、予測ブロックに隣接する隣接ブロックのうちの予測画素として用いられる画素が交わる線の、所定の座標（x,y）の基点画素以外の端点の基点画素に対する位置を表している。即ち、隣接ブロックのうちの予測画素として用いられる画素は、基点画素と座標（x＋dxIntra,y＋dyIntra）の位置を結んだ線と交わる。

また、上述した実施の形態では、図３に示したように、１度復帰したマクロブロックの復号画像が正常であり続けるように、参照画像データが制約されたが、参照画像データの制約は、これに限定されない。また、制約なく、従来の符号化方式における参照画像データが用いられるようにしてもよい。

＜第６実施の形態＞
[本技術を適用したコンピュータの説明]
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）６０１，ROM（Read Only Memory）６０２，RAM（Random Access Memory）６０３は、バス６０４により相互に接続されている。

バス６０４には、さらに、入出力インタフェース６０５が接続されている。入出力インタフェース６０５には、入力部６０６、出力部６０７、記憶部６０８、通信部６０９、及びドライブ６１０が接続されている。

入力部６０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部６０７は、ディスプレイ、スピーカなどよりなる。記憶部６０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部６０９は、ネットワークインタフェースなどよりなる。ドライブ６１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア６１１を駆動する。

以上のように構成されるコンピュータでは、CPU６０１が、例えば、記憶部６０８に記憶されているプログラムを、入出力インタフェース６０５及びバス６０４を介して、RAM６０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU６０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア６１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア６１１をドライブ６１０に装着することにより、入出力インタフェース６０５を介して、記憶部６０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６０９で受信し、記憶部６０８にインストールすることができる。その他、プログラムは、ROM６０２や記憶部６０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本技術は、以下のような構成もとることができる。

（１）
符号化対象の画像の所定のブロックの予測モードをイントラ予測モードに決定するイントラブロック決定部と、
前記符号化対象の画像の全ブロックの予測モードをイントラ予測モードに決定する予測モード決定部と、
前記符号化対象の画像の符号化結果を受信する受信装置からの情報に基づいて、前記イントラブロック決定部により前記予測モードがイントラ予測モードに決定されたブロックをイントラ予測モードで符号化するか、または、前記予測モード決定部により前記予測モードがイントラ予測モードに決定された前記符号化対象の画像の全ブロックをイントラ予測モードで符号化し、前記符号化対象の画像の符号化結果を得る符号化部と、
前記符号化部により得られた前記符号化対象の画像の符号化結果と、その画像の前記予測モードとを送信する送信部と
を備える符号化装置。
（２）
前記受信装置からの情報は、前記受信装置において前記符号化対象の画像の符号化結果の受信エラーが発生したかどうかを表す情報である
前記（１）に記載の符号化装置。
（３）
前記受信装置からの情報に基づいて、前記符号化対象の画像の符号化結果の受信エラーの発生頻度を計算する頻度計算部
をさらに備え、
前記符号化部は、前記頻度計算部により計算された前記発生頻度と、前記受信装置からの情報とに基づいて、前記予測モードがイントラ予測モードに決定されたブロックをイントラ予測モードで符号化するか、または、前記予測モードがイントラ予測モードに決定された前記符号化対象の画像の全ブロックをイントラ予測モードで符号化する
前記（２）に記載の符号化装置。
（４）
前記頻度計算部は、複数の前記受信装置からの情報に基づいて前記発生頻度を計算する
前記（３）に記載の符号化装置。
（５）
前記符号化部は、前記受信装置からの情報に対応する前記受信装置の数と、前記受信装置からの情報とに基づいて、前記予測モードがイントラ予測モードに決定されたブロックをイントラ予測モードで符号化するか、または、前記予測モードがイントラ予測モードに決定された前記符号化対象の画像の全ブロックをイントラ予測モードで符号化する
前記（１）または（２）に記載の符号化装置。
（６）
前記受信装置からの情報は、前記符号化対象の画像の符号化結果の受信の開始を示す情報であり、
前記符号化部は、前記受信装置からの情報に基づいて、前記予測モードがイントラ予測モードに決定された前記符号化対象の画像の全ブロックをイントラ予測モードで符号化する
前記（１）乃至（５）のいずれかに記載の符号化装置。
（７）
符号化装置の符号化方法において、
前記符号化装置が、
符号化対象の画像の所定のブロックの予測モードをイントラ予測モードに決定するイントラブロック決定ステップと、
前記符号化対象の画像の全ブロックの予測モードをイントラ予測モードに決定する予測モード決定ステップと、
前記符号化対象の画像の符号化結果を受信する受信装置からの情報に基づいて、前記イントラブロック決定ステップの処理により前記予測モードがイントラ予測モードに決定されたブロックをイントラ予測モードで符号化するか、または、前記予測モード決定ステップの処理により前記予測モードがイントラ予測モードに決定された前記符号化対象の画像の全ブロックをイントラ予測モードで符号化し、前記符号化対象の画像の符号化結果を得る符号化ステップと、
前記符号化ステップの処理により得られた前記符号化対象の画像の符号化結果と、その画像の前記予測モードとを送信する送信ステップと
を備える符号化方法。
（８）
コンピュータを、
符号化対象の画像の所定のブロックの予測モードをイントラ予測モードに決定するイントラブロック決定部と、
前記符号化対象の画像の全ブロックの予測モードをイントラ予測モードに決定する予測モード決定部と、
前記符号化対象の画像の符号化結果を受信する受信装置からの情報に基づいて、前記イントラブロック決定部により前記予測モードがイントラ予測モードに決定されたブロックをイントラ予測モードで符号化するか、または、前記予測モード決定部により前記予測モードがイントラ予測モードに決定された前記符号化対象の画像の全ブロックをイントラ予測モードで符号化し、前記符号化対象の画像の符号化結果を得る符号化部と、
前記符号化部により得られた前記符号化対象の画像の符号化結果と、その画像の前記予測モードの送信を制御する送信制御部と
して機能させるためのプログラム。
（９）
符号化装置により符号化された画像と、その画像の符号化時の予測モードを受信する受信部と、
前記符号化装置において、前記画像の所定のブロックの予測モードをイントラ予測モードとするか、または、前記画像の全ブロックの予測モードをイントラ予測モードとするかを示す情報を生成する生成部と、
前記生成部により生成された前記情報を、前記符号化装置に送信する送信部と、
前記受信部により受信された前記予測モードで、前記受信部により受信された前記符号化された画像を復号する復号部と
を備える復号装置。
（１０）
前記生成部は、前記符号化された画像の受信エラーを検出し、検出結果を示す情報を前記情報として生成する
前記（９）に記載の復号装置。
（１１）
前記生成部は、前記符号化された画像の受信の開始を示す情報を前記情報として生成する
前記（９）または（１０）に記載の復号装置。
（１２）
復号装置の復号方法において、
前記復号装置が、
符号化装置により符号化された画像と、その画像の符号化時の予測モードを受信する受信ステップと、
前記符号化装置において、前記画像の所定のブロックの予測モードをイントラ予測モードとするか、または、前記画像の全ブロックの予測モードをイントラ予測モードとするかを示す情報を生成する生成ステップと、
前記生成ステップの処理により生成された前記情報を、前記符号化装置に送信する送信ステップと、
前記受信ステップの処理により受信された前記予測モードで、前記受信ステップの処理により受信された前記符号化された画像を復号する復号ステップと
を備える復号方法。
（１３）
コンピュータを、
符号化装置により符号化された画像と、その画像の符号化時の予測モードの受信を制御する受信制御部と、
前記符号化装置において、前記画像の所定のブロックの予測モードをイントラ予測モードとするか、または、前記画像の全ブロックの予測モードをイントラ予測モードとするかを示す情報を生成する生成部と、
前記生成部により生成された前記情報の、前記符号化装置への送信を制御する送信制御部と、
前記受信制御部の制御により受信された前記予測モードで、前記受信制御部の制御により受信された前記符号化された画像を復号する復号部と
して機能させるためのプログラム。
（１４）
符号化対象の画像の所定のブロックの予測モードをイントラ予測モードに決定するイントラブロック決定部と、
前記符号化対象の画像の全ブロックの予測モードをイントラ予測モードに決定する予測モード決定部と、
前記符号化対象の画像の符号化結果を受信する復号装置からの情報に基づいて、前記イントラブロック決定部により前記予測モードがイントラ予測モードに決定されたブロックをイントラ予測モードで符号化するか、または、前記予測モード決定部により前記予測モードがイントラ予測モードに決定された前記符号化対象の画像の全ブロックをイントラ予測モードで符号化し、前記符号化対象の画像の符号化結果を得る符号化部と、
前記符号化部により得られた前記符号化対象の画像の符号化結果と、その画像の前記予測モードとを送信する送信部と
を有する符号化装置と、
前記送信部により送信されてくる前記符号化対象の画像の符号化結果と、その画像の前記予測モードを受信する受信部と、
前記情報を生成する生成部と、
前記生成部により生成された前記情報を、前記符号装置に送信する送信部と、
前記受信部により受信された前記予測モードで、前記受信部により受信された前記符号化対象の画像の符号化結果を復号する復号部と
を有する前記復号装置と
を備える画像処理システム。

１１符号化装置，１２復号装置，２２送信部，３１受信部，３２復号部，１２３演算部，１３７予測方式切替部，１３８イントラマクロ決定部，１５１頻度計算部，１５２予測方式切替部，２８１復号装置，２９１受信部，２９２復号部，３１１エラー検出部，３３１符号化装置，３３２復号装置，３４２送信部，３５１受信部，３５２復号部，３７１頻度計算部，３９１符号化装置，３９３復号装置，４１３送信部

Claims

符号化対象の画像の所定のブロックの予測モードをイントラ予測モードに決定するイントラブロック決定部と、
前記符号化対象の画像の全ブロックの予測モードをイントラ予測モードに決定する予測モード決定部と、
前記符号化対象の画像の符号化結果を受信する受信装置からの情報に基づいて、前記イントラブロック決定部により前記予測モードがイントラ予測モードに決定されたブロックをイントラ予測モードで符号化するか、または、前記予測モード決定部により前記予測モードがイントラ予測モードに決定された前記符号化対象の画像の全ブロックをイントラ予測モードで符号化し、前記符号化対象の画像の符号化結果を得る符号化部と、
前記符号化部により得られた前記符号化対象の画像の符号化結果と、その画像の前記予測モードとを送信する送信部と
を備える符号化装置。
前記受信装置からの情報は、前記受信装置において前記符号化対象の画像の符号化結果の受信エラーが発生したかどうかを表す情報である
請求項１に記載の符号化装置。
前記受信装置からの情報に基づいて、前記符号化対象の画像の符号化結果の受信エラーの発生頻度を計算する頻度計算部
をさらに備え、
前記符号化部は、前記頻度計算部により計算された前記発生頻度と、前記受信装置からの情報とに基づいて、前記予測モードがイントラ予測モードに決定されたブロックをイントラ予測モードで符号化するか、または、前記予測モードがイントラ予測モードに決定された前記符号化対象の画像の全ブロックをイントラ予測モードで符号化する
請求項２に記載の符号化装置。
前記頻度計算部は、複数の前記受信装置からの情報に基づいて前記発生頻度を計算する
請求項３に記載の符号化装置。
前記符号化部は、前記受信装置からの情報に対応する前記受信装置の数と、前記受信装置からの情報とに基づいて、前記予測モードがイントラ予測モードに決定されたブロックをイントラ予測モードで符号化するか、または、前記予測モードがイントラ予測モードに決定された前記符号化対象の画像の全ブロックをイントラ予測モードで符号化する
請求項１に記載の符号化装置。
前記受信装置からの情報は、前記符号化対象の画像の符号化結果の受信の開始を示す情報であり、
前記符号化部は、前記受信装置からの情報に基づいて、前記予測モードがイントラ予測モードに決定された前記符号化対象の画像の全ブロックをイントラ予測モードで符号化する
請求項１に記載の符号化装置。
符号化装置の符号化方法において、
前記符号化装置が、
符号化対象の画像の所定のブロックの予測モードをイントラ予測モードに決定するイントラブロック決定ステップと、
前記符号化対象の画像の全ブロックの予測モードをイントラ予測モードに決定する予測モード決定ステップと、
前記符号化対象の画像の符号化結果を受信する受信装置からの情報に基づいて、前記イントラブロック決定ステップの処理により前記予測モードがイントラ予測モードに決定されたブロックをイントラ予測モードで符号化するか、または、前記予測モード決定ステップの処理により前記予測モードがイントラ予測モードに決定された前記符号化対象の画像の全ブロックをイントラ予測モードで符号化し、前記符号化対象の画像の符号化結果を得る符号化ステップと、
前記符号化ステップの処理により得られた前記符号化対象の画像の符号化結果と、その画像の前記予測モードとを送信する送信ステップと
を備える符号化方法。
コンピュータを、
符号化対象の画像の所定のブロックの予測モードをイントラ予測モードに決定するイントラブロック決定部と、
前記符号化対象の画像の全ブロックの予測モードをイントラ予測モードに決定する予測モード決定部と、
前記符号化対象の画像の符号化結果を受信する受信装置からの情報に基づいて、前記イントラブロック決定部により前記予測モードがイントラ予測モードに決定されたブロックをイントラ予測モードで符号化するか、または、前記予測モード決定部により前記予測モードがイントラ予測モードに決定された前記符号化対象の画像の全ブロックをイントラ予測モードで符号化し、前記符号化対象の画像の符号化結果を得る符号化部と、
前記符号化部により得られた前記符号化対象の画像の符号化結果と、その画像の前記予測モードの送信を制御する送信制御部と
して機能させるためのプログラム。
符号化装置により符号化された画像と、その画像の符号化時の予測モードを受信する受信部と、
前記符号化装置において、前記画像の所定のブロックの予測モードをイントラ予測モードとするか、または、前記画像の全ブロックの予測モードをイントラ予測モードとするかを示す情報を生成する生成部と、
前記生成部により生成された前記情報を、前記符号化装置に送信する送信部と、
前記受信部により受信された前記予測モードで、前記受信部により受信された前記符号化された画像を復号する復号部と
を備える復号装置。
前記生成部は、前記符号化された画像の受信エラーを検出し、検出結果を示す情報を前記情報として生成する
請求項９に記載の復号装置。
前記生成部は、前記符号化された画像の受信の開始を示す情報を前記情報として生成する
請求項９に記載の復号装置。
復号装置の復号方法において、
前記復号装置が、
符号化装置により符号化された画像と、その画像の符号化時の予測モードを受信する受信ステップと、
前記符号化装置において、前記画像の所定のブロックの予測モードをイントラ予測モードとするか、または、前記画像の全ブロックの予測モードをイントラ予測モードとするかを示す情報を生成する生成ステップと、
前記生成ステップの処理により生成された前記情報を、前記符号化装置に送信する送信ステップと、
前記受信ステップの処理により受信された前記予測モードで、前記受信ステップの処理により受信された前記符号化された画像を復号する復号ステップと
を備える復号方法。
コンピュータを、
符号化装置により符号化された画像と、その画像の符号化時の予測モードの受信を制御する受信制御部と、
前記符号化装置において、前記画像の所定のブロックの予測モードをイントラ予測モードとするか、または、前記画像の全ブロックの予測モードをイントラ予測モードとするかを示す情報を生成する生成部と、
前記生成部により生成された前記情報の、前記符号化装置への送信を制御する送信制御部と、
前記受信制御部の制御により受信された前記予測モードで、前記受信制御部の制御により受信された前記符号化された画像を復号する復号部と
して機能させるためのプログラム。
符号化対象の画像の所定のブロックの予測モードをイントラ予測モードに決定するイントラブロック決定部と、
前記符号化対象の画像の全ブロックの予測モードをイントラ予測モードに決定する予測モード決定部と、
前記符号化対象の画像の符号化結果を受信する復号装置からの情報に基づいて、前記イントラブロック決定部により前記予測モードがイントラ予測モードに決定されたブロックをイントラ予測モードで符号化するか、または、前記予測モード決定部により前記予測モードがイントラ予測モードに決定された前記符号化対象の画像の全ブロックをイントラ予測モードで符号化し、前記符号化対象の画像の符号化結果を得る符号化部と、
前記符号化部により得られた前記符号化対象の画像の符号化結果と、その画像の前記予測モードとを送信する送信部と
を有する符号化装置と、
前記送信部により送信されてくる前記符号化対象の画像の符号化結果と、その画像の前記予測モードを受信する受信部と、
前記情報を生成する生成部と、
前記生成部により生成された前記情報を、前記符号装置に送信する送信部と、
前記受信部により受信された前記予測モードで、前記受信部により受信された前記符号化対象の画像の符号化結果を復号する復号部と
を有する前記復号装置と
を備える画像処理システム。