JP2016086287A - 画像処理装置 - Google Patents

Abstract

【課題】エラー発生からエラー復帰までの遅延時間を短縮することが可能な画像処理装置を得る。
【解決手段】参照画像決定部１４は、符号化画像データの送信再開後の最初の垂直同期期間Ｔ１４において、ＤＲＡＭ１１に記憶されている複数のローカルデコード画像の中から、エラーが発生した垂直同期期間Ｔ１２の直前の垂直同期期間Ｔ１１で生成されたローカルデコード画像（画像データＤ１１）を参照画像として決定する。また、参照画像決定部３５は、復号部３４のリセット完了後の最初の垂直同期期間Ｔ１４において、ＤＲＡＭ３３に記憶されている複数のデコード画像の中から、エラーが発生した垂直同期期間Ｔ１２の直前の垂直同期期間Ｔ１１で生成されたデコード画像（画像データＤ１１）を参照画像として決定する。
【選択図】図８

Description

本発明は画像処理装置に関し、特に、低遅延コーデックに関する。

通信レートを一定に保つため、先頭のピクチャのみにＩピクチャ（Intra-Picture）を使用し、２番目以降の全てのピクチャにＰピクチャ（Predictive-Picture）を使用する、低遅延コーデックが実用化されている。

このような低遅延コーデックにおいて、通信エラー等によってデコーダでエラーが発生した場合には、デコーダは、エラー通知をエンコーダに送信する。エラー通知を受信したエンコーダは、エラー通知受信後の先頭のピクチャとしてＩピクチャの符号化データを生成し、２番目以降のピクチャとしてＰピクチャの符号化データを生成する。そして、これらの符号化データをデコーダに送信する（例えば下記特許文献１の第１の従来例参照）。

特許第３１５７１２３号公報

上述した背景技術に係る低遅延コーデックによると、エンコーダは、エラー通知受信後の先頭のピクチャとしてＩピクチャの符号化データを生成し、当該符号化データをデコーダに送信する。しかし、Ｉピクチャの符号化データはＰピクチャの符号化データよりもデータ量が大きいため、データ送信の所要時間が長くなる。しかも、エンコーダは、エラー通知を受信してから、次のピクチャをＩピクチャとして生成するための設定を開始するため、Ｉピクチャの符号化データの生成処理が開始されるまでの所要時間も長くなる。その結果、エラー発生からエラー復帰までの遅延時間が増大する。

本発明はかかる問題を解決するために成されたものであり、エラー発生からエラー復帰までの遅延時間を短縮することが可能な画像処理装置を得ることを目的とするものである。

本発明の第１の態様に係る画像処理装置は、画像データを符号化することによって符号化画像データを生成するエンコーダと、前記エンコーダから受信した符号化画像データを復号するデコーダと、を備え、前記エンコーダは、第１の記憶部と、符号化部と、エラー通知受信部と、第１の参照画像決定部と、を有し、前記デコーダは、第２の記憶部と、復号部と、エラー通知送信部と、第２の参照画像決定部と、を有し、前記第１の記憶部は、直近の所定数の垂直同期期間に相当する複数のローカルデコード画像を記憶し、前記第２の記憶部は、直近の所定数の垂直同期期間に相当する複数のデコード画像を記憶し、前記復号部においてエラーが発生していない通常状態では、前記第１の参照画像決定部は、直前の垂直同期期間で生成されたローカルデコード画像を参照画像として決定し、前記符号化部は、当該参照画像を用いて符号化処理を行い、前記第２の参照画像決定部は、直前の垂直同期期間で生成されたデコード画像を参照画像として決定し、前記復号部は、当該参照画像を用いて復号処理を行い、前記復号部においてある垂直同期期間でエラーが発生した場合には、前記エラー通知送信部は、エラーが発生した画像であるエラー画像の識別情報を含むエラー通知を送信し、前記エラー通知受信部は、当該エラー通知を受信し、前記第１の参照画像決定部は、符号化画像データの送信再開後の最初の垂直同期期間において、前記第１の記憶部に記憶されている複数のローカルデコード画像の中から、エラーが発生した垂直同期期間の直前の垂直同期期間で生成されたローカルデコード画像を参照画像として決定し、前記符号化部は、当該参照画像を用いて符号化処理を行い、前記第２の参照画像決定部は、前記復号部の復帰完了後の最初の垂直同期期間において、前記第２の記憶部に記憶されている複数のデコード画像の中から、エラーが発生した垂直同期期間の直前の垂直同期期間で生成されたデコード画像を参照画像として決定し、前記復号部は、当該参照画像を用いて復号処理を行うことを特徴とするものである。

第１の態様に係る画像処理装置によれば、復号部においてある垂直同期期間でエラーが発生した場合には、第１の参照画像決定部は、符号化画像データの送信再開後の最初の垂直同期期間において、第１の記憶部に記憶されている複数のローカルデコード画像の中から、エラーが発生した垂直同期期間の直前の垂直同期期間で生成されたローカルデコード画像を参照画像として決定し、符号化部は、当該参照画像を用いて符号化処理を行う。また、第２の参照画像決定部は、復号部の復帰完了後の最初の垂直同期期間において、第２の記憶部に記憶されている複数のデコード画像の中から、エラーが発生した垂直同期期間の直前の垂直同期期間で生成されたデコード画像を参照画像として決定し、復号部は、当該参照画像を用いて復号処理を行う。従って、エラーが発生した場合であっても、エンコーダ及びデコーダにおいてＰピクチャの参照画像を変更するだけでよく、エンコーダからデコーダにＩピクチャを送信する必要がないため、Ｉピクチャの送信に伴うデータ送信時間の増大を回避できる。その結果、エラー発生からエラー復帰までの遅延時間を短縮することが可能となる。

本発明の第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置において特に、前記第１の参照画像決定部は、符号化画像データの送信再開後の最初の垂直同期期間の次の垂直同期期間において、直前の垂直同期期間で生成されたローカルデコード画像を参照画像として決定し、前記第２の参照画像決定部は、前記復号部の復帰完了後の最初の垂直同期期間の次の垂直同期期間において、直前の垂直同期期間で生成されたデコード画像を参照画像として決定することを特徴とするものである。

第２の態様に係る画像処理装置によれば、第１の参照画像決定部は、符号化画像データの送信再開後の最初の垂直同期期間の次の垂直同期期間において、直前の垂直同期期間で生成されたローカルデコード画像を参照画像として決定する。また、第２の参照画像決定部は、復号部の復帰完了後の最初の垂直同期期間の次の垂直同期期間において、直前の垂直同期期間で生成されたデコード画像を参照画像として決定する。従って、参照画像が早期に直前のローカルデコード画像又はデコード画像に戻されるため、画質の劣化を最小限に抑制することが可能となる。

本発明の第３の態様に係る画像処理装置は、第２の態様に係る画像処理装置において特に、前記デコーダは、画像表示制御部をさらに有し、前記画像表示制御部は、エラーが発生した垂直同期期間、及び、前記復号部の復帰処理を実行する垂直同期期間において、所定のコンシール画像を表示させることを特徴とするものである。

第３の態様に係る画像処理装置によれば、画像表示制御部は、エラーが発生した垂直同期期間、及び、復号部の復帰処理を実行する垂直同期期間において、所定のコンシール画像を表示させる。従って、コンシール画像が表示される期間が最小限に抑制されるため、映像視認者の違和感を軽減することが可能となる。

本発明によれば、エラー発生からエラー復帰までの遅延時間を短縮することが可能となる。

実施の形態１に係る画像処理装置の構成を示す図である。 実施の形態１に係るエンコーダの構成を示す図である。 実施の形態１に係るデコーダの構成を示す図である。 符号化部の構成を簡略化して示す図である。 復号部においてエラーが発生した際の処理内容を説明するための図である。 実施の形態２に係るエンコーダの構成を示す図である。 実施の形態２に係るデコーダの構成を示す図である。 復号部においてエラーが発生した際の処理内容を説明するための図である。 復号部においてエラーが発生した際の処理内容を説明するための図である。 実施の形態４に係るエンコーダの構成を示す図である。 実施の形態４に係るデコーダの構成を示す図である。 復号部においてエラーが発生した際の処理内容を説明するための図である。 連続する複数の画像間の参照関係を示す図である。 連続する複数の画像間の参照関係を示す図である。 連続する複数の画像間の参照関係を示す図である。 連続する複数の画像間の参照関係を示す図である。 連続する複数の画像間の参照関係を示す図である。 連続する複数の画像間の参照関係を示す図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、異なる図面において同一の符号を付した要素は、同一又は相応する要素を示すものとする。

＜実施の形態１＞
図１は、本発明の実施の形態１に係る画像処理装置１の構成を示す図である。図１に示すように画像処理装置１は、エンコーダ２とデコーダ３とを備えている。エンコーダ２には、カメラ４によって撮影された動画像の画像データが入力される。エンコーダ２は、カメラ４から入力された画像データを符号化することによって符号化画像データを生成し、当該符号化画像データを有線通信又は無線通信によってデコーダ３に送信する。デコーダ３は、エンコーダ２から受信した符号化画像データを復号する。モニタ５には、デコーダ３によって復号された画像データが入力され、これによってモニタ５に画像が表示される。

画像処理装置１は、いわゆる低遅延コーデックとして構成されており、通常の動作においてエンコーダ２は、カメラ４から入力される先頭のピクチャに関してはＩピクチャ（Intra-Picture）の符号化画像データを生成し、２番目以降のピクチャに関してはＰピクチャ（Predictive-Picture）の符号化画像データを生成する。

図２は、実施の形態１に係るエンコーダ２の構成を示す図である。図２に示すようにエンコーダ２は、ＤＲＡＭ１１、符号化部１２、データ送信部１３、及びＣＰＵ１５を備えている。ＣＰＵ１５は、所定のプログラムを実行することにより、エラー通知受信部２１として機能する。

図３は、実施の形態１に係るデコーダ３の構成を示す図である。図３に示すようにデコーダ３は、表示制御部３１、データ受信部３２、ＤＲＡＭ３３、復号部３４、制御部３６、及びＣＰＵ３７を備えている。ＣＰＵ３７は、所定のプログラムを実行することにより、エラー通知送信部４１として機能する。

図４は、符号化部１２の構成を簡略化して示す図である。図４に示すように符号化部１２は、コントローラ５１、ＳＲＡＭ５２、動き探索部５３、Ｐピクチャ符号化部５４、Ｉピクチャ符号化部５５、及び選択部５６を備えている。図示は省略するが、Ｐピクチャ符号化部５４及びＩピクチャ符号化部５５はそれぞれ、ＤＣＴ変換回路、量子化回路、エントロピ符号化回路、逆量子化回路、逆ＤＣＴ変換回路、デブロッキングフィルタ、及びＮＡＬユニット生成回路等を備えて構成されている。

図５は、復号部３４においてエラーが発生した際の処理内容を説明するための図である。（Ａ）は符号化部１２が符号化する画像データを示しており、（Ｂ）はデータ送信部１３からデータ受信部３２に送信される画像データを示しており、（Ｃ）は復号部３４が復号する画像データを示しており、（Ｄ）は表示制御部３１がモニタ５に表示させる画像データを示している。各垂直同期期間Ｔ１１〜Ｔ１７としては、一つの垂直同期期間内に一つのＰピクチャを処理するのに必要な所定の時間が設定されている。図５に示した例では、垂直同期期間Ｔ１２において復号部３４が画像データＤ１２を復号している最中にエラーが発生した状況を想定している。

復号部３４においてエラーが発生していない通常状態では、Ｐピクチャ符号化部５４は、直前に生成したローカルデコード画像を参照画像として用いた画面間予測符号化によって、Ｐピクチャの符号化画像データを生成する。また、Ｉピクチャ符号化部５５は、参照画像を使用しない画面内符号化によって、Ｉピクチャの符号化画像データを生成する。そして、コントローラ５１が選択部５６にＰピクチャ符号化部５４を選択させることにより、データ送信部１３からデータ受信部３２にＰピクチャの符号化画像データが送信される。また、Ｐピクチャ符号化部５４は、参照画像として使用するためのローカルデコード画像を符号化画像データとともに生成し、当該ローカルデコード画像は一定期間ＤＲＡＭ１１に格納される。

復号部３４は、データ受信部３２が受信した符号化画像データを復号し、表示制御部３１は、復号された画像データをモニタ５に表示させる。図５を参照して、エラー発生前の例えば垂直同期期間Ｔ１１において、（Ａ）符号化部１２はＰピクチャ及びＩピクチャの符号化画像データＤ１１を生成し、（Ｂ）データ送信部１３はＰピクチャの符号化画像データＤ１１を送信し、（Ｃ）復号部３４はＰピクチャの符号化画像データＤ１１を復号し、（Ｄ）表示制御部３１は復号された画像データＤ１１をモニタ５に表示させる。なお、復号部３４が生成したデコード画像は、参照画像として使用するために一定期間ＤＲＡＭ３３に格納される。

デコードすべき符号化画像データがＤＲＡＭ３３内のバッファから枯渇する等のエラーが発生した場合には、復号部３４は、エラーが発生した旨、及び、エラーが発生した画像データの識別情報（ピクチャＩＤ）を、エラー通知送信部４１に入力する。エラー通知送信部４１は、これらの情報を含むエラー通知をエンコーダ２に送信し、エラー通知受信部２１は当該エラー通知を受信する。上記と同様に、Ｐピクチャ符号化部５４はＰピクチャの符号化画像データを生成しており、Ｉピクチャ符号化部５５はＩピクチャの符号化画像データを生成している。コントローラ５１は、エラー通知受信部２１からエラー通知が入力されると、選択部５６にＩピクチャ符号化部５５を選択させる。これにより、データ送信部１３からデータ受信部３２にＩピクチャの符号化画像データが送信される。

図５を参照して、垂直同期期間Ｔ１２において復号部３４が画像データＤ１２を復号している最中にエラーが発生すると、エラー通知送信部４１からエラー通知受信部２１にエラー通知が送信される。この場合、表示制御部３１は、復号された画像データＤ１２に基づいてコンシール画像を作成し、垂直同期期間Ｔ１２においてモニタ５に当該コンシール画像を表示させる。表示制御部３１は、例えば、垂直同期期間Ｔ１２でエラー発生前に復号が完了している画像領域については画像データＤ１２を使用し、垂直同期期間Ｔ１２で復号が完了していない残余の画像領域については直前の画像データＤ１１を使用することにより、コンシール画像を作成する。

また、ＣＰＵ３７は、エラーが発生した垂直同期期間Ｔ１２の次の垂直同期期間Ｔ１３において、エラー復帰のために復号部３４をリセットする。表示制御部３１は、復号部３４のリセット期間中（垂直同期期間Ｔ１３）においても、垂直同期期間Ｔ１２と同様のコンシール画像をモニタ５に表示させる。

図５に示した例によると、エラー通知受信部２１がエラー通知を受信した時点では、エンコーダ２において次の垂直同期期間Ｔ１３の処理が開始されている。垂直同期期間Ｔ１３において、エラー通知を受信するまでは、データ送信部１３はＰピクチャの符号化画像データＤ１３を送信している。エラー通知を受信すると、データ送信部１３はＰピクチャの符号化画像データＤ１３の送信を停止し、その後、コントローラ５１が選択部５６にＩピクチャ符号化部５５を選択させることにより、データ送信部１３はＩピクチャの符号化画像データＤ１３の送信を開始する。Ｉピクチャの符号化画像データはデータ量が大きく、一つの垂直同期期間内ではデータ送信を完了できない。従って、Ｉピクチャの符号化画像データＤ１３は、二つの垂直同期期間内Ｔ１３，Ｔ１４を使用してデータ送信部１３からデータ受信部３２に送信される。また、エンコーダ２において垂直同期期間Ｔ１４は画像データＤ１３の送信に使用されるため、符号化部１２による画像データＤ１４の符号化は省略される。

デコーダ３において、リセット完了後の垂直同期期間Ｔ１４では、復号部３４はＩピクチャの符号化画像データＤ１３を復号し、表示制御部３１は復号された画像データＤ１３をモニタ５に表示させる。

次の垂直同期期間Ｔ１５ではエンコーダ２及びデコーダ３は通常状態に戻り、（Ａ）符号化部１２はＰピクチャ及びＩピクチャの符号化画像データＤ１５を生成し、（Ｂ）データ送信部１３はＰピクチャの符号化画像データＤ１５を送信し、（Ｃ）復号部３４はＰピクチャの符号化画像データＤ１５を復号し、（Ｄ）表示制御部３１は復号された画像データＤ１５をモニタ５に表示させる。なお、Ｐピクチャ符号化部５４がＰピクチャの符号化画像データＤ１５を生成する際には、直前に生成したローカルデコード画像（この場合は画像データＤ１３）が参照画像として使用される。

このように本実施の形態１に係る画像処理装置１によれば、符号化部１２は、並列に動作するＰピクチャ符号化部５４及びＩピクチャ符号化部５５を備えており、エラーが発生していない通常状態においても、Ｐピクチャの符号化画像データとは別にＩピクチャの符号化画像データが生成される。そして、エラー通知受信部２１がエラー通知送信部４１からエラー通知を受信すると、選択部５６による選択を切り替えることによって、Ｉピクチャの符号化画像データがデータ送信部１３からデータ受信部３２に直ちに送信される。このように、エンコーダ２は、エラー通知を受信してから次のピクチャをＩピクチャとして生成するための設定を開始するのではなく、通常状態でＰピクチャと並行してＩピクチャの符号化画像データを予め生成しておく。従って、Ｉピクチャの符号化データの生成処理が開始されるまでの待機時間が不要となるため、エラー発生からエラー復帰までの遅延時間を短縮することが可能となる。

＜実施の形態２＞
図６は、本発明の実施の形態２に係るエンコーダ２の構成を示す図である。図６に示すようにエンコーダ２は、ＤＲＡＭ１１、符号化部１２、データ送信部１３、参照画像決定部１４、及びＣＰＵ１５を備えている。ＣＰＵ１５は、所定のプログラムを実行することにより、エラー通知受信部２１として機能する。ＤＲＡＭ１１には、直近の所定数（少なくとも三つ）の垂直同期期間において符号化部１２が生成した複数のローカルデコード画像が記憶されている。

図７は、実施の形態２に係るデコーダ３の構成を示す図である。図７に示すようにデコーダ３は、表示制御部３１、データ受信部３２、ＤＲＡＭ３３、復号部３４、参照画像決定部３５、制御部３６、及びＣＰＵ３７を備えている。ＣＰＵ３７は、所定のプログラムを実行することにより、エラー通知送信部４１として機能する。ＤＲＡＭ３３には、直近の所定数（少なくとも三つ）の垂直同期期間において復号部３４が生成した複数のデコード画像が記憶されている。

図８は、復号部３４においてエラーが発生した際の処理内容を説明するための図である。（Ａ）は符号化部１２が符号化する画像データを示しており、（Ｂ）はデータ送信部１３からデータ受信部３２に送信される画像データを示しており、（Ｃ）は復号部３４が復号する画像データを示しており、（Ｄ）は表示制御部３１がモニタ５に表示させる画像データを示している。図８に示した例では、垂直同期期間Ｔ１２において復号部３４が画像データＤ１２を復号している最中にエラーが発生した状況を想定している。

復号部３４においてエラーが発生していない通常状態では、エンコーダ２において、参照画像決定部１４は、直前の垂直同期期間で生成されたローカルデコード画像を参照画像として決定する。また、符号化部１２は、当該参照画像を用いた画面間予測符号化によって、Ｐピクチャの符号化画像データを生成する。そして、データ送信部１３からデータ受信部３２にＰピクチャの符号化画像データが送信される。なお、図８には示さないが、カメラ４から入力される先頭のピクチャに関してはＩピクチャの符号化画像データが生成される。また、符号化部１２は、参照画像として使用するためのローカルデコード画像を符号化画像データとともに生成し、当該ローカルデコード画像は一定期間ＤＲＡＭ１１に格納される。

同様に、復号部３４においてエラーが発生していない通常状態では、デコーダ３において、参照画像決定部３５は、直前の垂直同期期間で生成されたデコード画像を参照画像として決定する。また、復号部３４は、当該参照画像を用いた復号処理によって、Ｐピクチャの符号化画像データを復号する。そして、表示制御部３１は、復号された画像データをモニタ５に表示させる。なお、復号部３４が生成したデコード画像は、参照画像として使用するために一定期間ＤＲＡＭ３３に格納される。

図８を参照して、エラー発生前の例えば垂直同期期間Ｔ１１において、（Ａ）符号化部１２はＤＲＡＭ１１から読み出した直前の画像データＤ１０を参照画像として用いてＰピクチャの符号化画像データＤ１１を生成し、（Ｂ）データ送信部１３はＰピクチャの符号化画像データＤ１１を送信し、（Ｃ）復号部３４はＤＲＡＭ３３から読み出した直前の画像データＤ１０を参照画像として用いてＰピクチャの符号化画像データＤ１１を復号し、（Ｄ）表示制御部３１は復号された画像データＤ１１をモニタ５に表示させる。

復号部３４においてエラーが発生した場合には、復号部３４は、エラーが発生した旨、及び、エラーが発生した画像データの識別情報（ピクチャＩＤ）を、エラー通知送信部４１に入力する。エラー通知送信部４１は、これらの情報を含むエラー通知をエンコーダ２に送信し、エラー通知受信部２１は当該エラー通知を受信する。エラー通知受信部２１は、受信したエラー通知を参照画像決定部１４に入力する。

デコーダ３においては、エラーが発生した垂直同期期間の次の垂直同期期間は、エラー復帰のために復号部３４をリセットするリセット期間となる。従って、エンコーダ２においても、リセット期間に対応する垂直同期期間では符号化画像データの送信が停止され、リセット期間の次の垂直同期期間から符号化画像データの送信が再開される。

参照画像決定部１４は、符号化画像データの送信再開後の最初の垂直同期期間において、ＤＲＡＭ１１に記憶されている複数のローカルデコード画像の中から、エラーが発生した垂直同期期間の直前の垂直同期期間で生成されたローカルデコード画像を参照画像として決定する。そして、符号化部１２は、当該参照画像を用いて符号化処理を行う。

また、参照画像決定部３５は、復号部３４のリセット完了後の最初の垂直同期期間において、ＤＲＡＭ３３に記憶されている複数のデコード画像の中から、エラーが発生した垂直同期期間の直前の垂直同期期間で生成されたデコード画像を参照画像として決定する。そして、復号部３４は、当該参照画像を用いて復号処理を行う。

図８を参照して、垂直同期期間Ｔ１２において復号部３４が画像データＤ１２を復号している最中にエラーが発生すると、エラー通知送信部４１からエラー通知受信部２１にエラー通知が送信される。この場合、表示制御部３１は、復号された画像データＤ１２に基づいてコンシール画像を作成し、垂直同期期間Ｔ１２においてモニタ５に当該コンシール画像を表示させる。表示制御部３１は、例えば、垂直同期期間Ｔ１２で復号が完了している画像領域については画像データＤ１２を使用し、垂直同期期間Ｔ１２で復号が完了していない残余の画像領域については直前の画像データＤ１１を使用することにより、コンシール画像を作成する。

また、ＣＰＵ３７は、エラーが発生した垂直同期期間Ｔ１２の次の垂直同期期間Ｔ１３において、エラー復帰のために復号部３４をリセットする。表示制御部３１は、復号部３４のリセット期間中（垂直同期期間Ｔ１３）においても、垂直同期期間Ｔ１２と同様のコンシール画像をモニタ５に表示させる。

図８に示した例によると、エラー通知受信部２１がエラー通知を受信した時点では、エンコーダ２において次の垂直同期期間Ｔ１３の処理が開始されている。垂直同期期間Ｔ１３において、エラー通知を受信するまでは、データ送信部１３はＰピクチャの符号化画像データＤ１３を送信している。エラー通知を受信すると、データ送信部１３はＰピクチャの符号化画像データＤ１３の送信を停止する。

符号化画像データの送信再開後の最初の垂直同期期間Ｔ１４において、参照画像決定部１４は、エラーが発生した垂直同期期間Ｔ１２の直前の垂直同期期間Ｔ１１で生成された画像データＤ１１を、参照画像として決定する。そして、符号化部１２は、ＤＲＡＭ１１から読み出した画像データＤ１１を参照画像として用いて、Ｐピクチャの符号化画像データＤ１４を生成する。また、データ送信部１３は、Ｐピクチャの符号化画像データＤ１４を送信する。

また、復号部３４のリセット完了後の最初の垂直同期期間Ｔ１４において、参照画像決定部３５は、エラーが発生した垂直同期期間Ｔ１２の直前の垂直同期期間Ｔ１１で生成された画像データＤ１１を、参照画像として決定する。そして、復号部３４は、ＤＲＡＭ３３から読み出した画像データＤ１１を参照画像として用いて、符号化画像データＤ１４の復号処理を行う。また、表示制御部３１は、復号された画像データＤ１４をモニタ５に表示させる。

次の垂直同期期間Ｔ１５ではエンコーダ２及びデコーダ３は通常状態に戻り、（Ａ）符号化部１２はＤＲＡＭ１１から読み出した直前の画像データＤ１４を参照画像として用いてＰピクチャの符号化画像データＤ１５を生成し、（Ｂ）データ送信部１３はＰピクチャの符号化画像データＤ１５を送信し、（Ｃ）復号部３４はＤＲＡＭ３３から読み出した直前の画像データＤ１４を参照画像として用いてＰピクチャの符号化画像データＤ１５を復号し、（Ｄ）表示制御部３１は復号された画像データＤ１５をモニタ５に表示させる。

このように本実施の形態２に係る画像処理装置１によれば、復号部３４においてある垂直同期期間Ｔ１２でエラーが発生した場合には、参照画像決定部１４は、符号化画像データの送信再開後の最初の垂直同期期間Ｔ１４において、ＤＲＡＭ１１に記憶されている複数のローカルデコード画像の中から、エラーが発生した垂直同期期間Ｔ１２の直前の垂直同期期間Ｔ１１で生成されたローカルデコード画像（画像データＤ１１）を参照画像として決定し、符号化部１２は、当該参照画像を用いて符号化処理を行う。また、参照画像決定部３５は、復号部３４のリセット完了後の最初の垂直同期期間Ｔ１４において、ＤＲＡＭ３３に記憶されている複数のデコード画像の中から、エラーが発生した垂直同期期間Ｔ１２の直前の垂直同期期間Ｔ１１で生成されたデコード画像（画像データＤ１１）を参照画像として決定し、復号部３４は、当該参照画像を用いて復号処理を行う。従って、エラーが発生した場合であっても、エンコーダ２及びデコーダ３においてＰピクチャの参照画像を変更するだけでよく、エンコーダ２からデコーダ３にＩピクチャを送信する必要がないため、Ｉピクチャの送信に伴うデータ送信時間の増大を回避できる。その結果、エラー発生からエラー復帰までの遅延時間を短縮することが可能となる。

また、参照画像決定部１４は、符号化画像データの送信再開後の最初の垂直同期期間Ｔ１４の次の垂直同期期間Ｔ１５において通常状態に戻り、直前の垂直同期期間Ｔ１４で生成されたローカルデコード画像（画像データＤ１４）を参照画像として決定する。また、参照画像決定部３５は、復号部３４のリセット完了後の最初の垂直同期期間Ｔ１４の次の垂直同期期間Ｔ１５において通常状態に戻り、直前の垂直同期期間Ｔ１４で生成されたデコード画像（画像データＤ１４）を参照画像として決定する。従って、参照画像が早期に直前のローカルデコード画像又はデコード画像に戻されるため、画質の劣化を最小限に抑制することが可能となる。

また、表示制御部３１は、エラーが発生した垂直同期期間Ｔ１２、及び、復号部３４のリセット処理を実行する垂直同期期間Ｔ１３において、所定のコンシール画像をモニタ５に表示させる。従って、コンシール画像が表示される期間が最小限に抑制されるため、映像視認者の違和感を軽減することが可能となる。

＜実施の形態３＞
本発明の実施の形態３に係るエンコーダ２及びデコーダ３の構成は、図６，７に示した構成と同様である。

図９は、復号部３４においてエラーが発生した際の処理内容を説明するための図である。（Ａ）は符号化部１２が符号化する画像データを示しており、（Ｂ）はデータ送信部１３からデータ受信部３２に送信される画像データを示しており、（Ｃ）は復号部３４が復号する画像データを示しており、（Ｄ）は表示制御部３１がモニタ５に表示させる画像データを示している。図９に示した例では、垂直同期期間Ｔ１２において復号部３４が画像データＤ１２を復号している最中にエラーが発生した状況を想定している。

復号部３４においてエラーが発生していない通常状態では、エンコーダ２において、参照画像決定部１４は、二つ前の垂直同期期間で生成されたローカルデコード画像を参照画像として決定する。また、符号化部１２は、当該参照画像を用いた画面間予測符号化によって、Ｐピクチャの符号化画像データを生成する。そして、データ送信部１３からデータ受信部３２にＰピクチャの符号化画像データが送信される。なお、図９には示さないが、カメラ４から入力される先頭のピクチャに関してはＩピクチャの符号化画像データが生成される。また、符号化部１２は、参照画像として使用するためのローカルデコード画像を符号化画像データとともに生成し、当該ローカルデコード画像は一定期間ＤＲＡＭ１１に格納される。

同様に、復号部３４においてエラーが発生していない通常状態では、デコーダ３において、参照画像決定部３５は、二つ前の垂直同期期間で生成されたデコード画像を参照画像として決定する。また、復号部３４は、当該参照画像を用いた復号処理によって、Ｐピクチャの符号化画像データを復号する。そして、表示制御部３１は、復号された画像データをモニタ５に表示させる。なお、復号部３４が生成したデコード画像は、参照画像として使用するために一定期間ＤＲＡＭ３３に格納される。

図９を参照して、エラー発生前の例えば垂直同期期間Ｔ１１において、（Ａ）符号化部１２はＤＲＡＭ１１から読み出した二つ前の画像データＤ０９を参照画像として用いてＰピクチャの符号化画像データＤ１１を生成し、（Ｂ）データ送信部１３はＰピクチャの符号化画像データＤ１１を送信し、（Ｃ）復号部３４はＤＲＡＭ３３から読み出した二つ前の画像データＤ０９を参照画像として用いてＰピクチャの符号化画像データＤ１１を復号し、（Ｄ）表示制御部３１は復号された画像データＤ１１をモニタ５に表示させる。

復号部３４においてエラーが発生した場合には、復号部３４は、エラーが発生した旨、及び、エラーが発生した画像データの識別情報（ピクチャＩＤ）を、エラー通知送信部４１に入力する。エラー通知送信部４１は、これらの情報を含むエラー通知をエンコーダ２に送信し、エラー通知受信部２１は当該エラー通知を受信する。エラー通知受信部２１は、受信したエラー通知を参照画像決定部１４に入力する。

参照画像決定部１４は、エラーが発生した垂直同期期間の次の垂直同期期間、及び、エラーが発生した垂直同期期間の二つ後の垂直同期期間において、エラーが発生した垂直同期期間の直前の垂直同期期間で生成されたローカルデコード画像を参照画像として決定する。そして、符号化部１２は、当該参照画像を用いて符号化処理を行う。

また、参照画像決定部３５は、エラーが発生した垂直同期期間の次の垂直同期期間、及び、エラーが発生した垂直同期期間の二つ後の垂直同期期間において、エラーが発生した垂直同期期間の直前の垂直同期期間で生成されたデコード画像を参照画像として決定する。そして、復号部３４は、当該参照画像を用いて復号処理を行う。

図９を参照して、垂直同期期間Ｔ１２において復号部３４が画像データＤ１２を復号している最中にエラーが発生すると、エラー通知送信部４１からエラー通知受信部２１にエラー通知が送信される。この場合、表示制御部３１は、復号された画像データＤ１２に基づいてコンシール画像を作成し、垂直同期期間Ｔ１２においてモニタ５に当該コンシール画像を表示させる。表示制御部３１は、例えば、垂直同期期間Ｔ１２で復号が完了している画像領域については画像データＤ１２を使用し、垂直同期期間Ｔ１２で復号が完了していない残余の画像領域については直前の画像データＤ１１を使用することにより、コンシール画像を作成する。

また、コンシール画像の作成が完了した後、制御部３６は、エラーが発生した垂直同期期間Ｔ１２において、エラー復帰のために復号部３４をリセットする。ＣＰＵ３７によるソフトウェア処理によってリセットを行う時間的余裕が無いため、リセット用のレジスタを制御部３６が自動的に設定するというハードウェア処理によって、早期に復号部３４のリセットが行われる。

図９に示した例によると、エラー通知受信部２１がエラー通知を受信した時点では、エンコーダ２において垂直同期期間Ｔ１３の処理が開始されている。エラーが発生した垂直同期期間Ｔ１２の次の垂直同期期間Ｔ１３において、参照画像決定部１４は、エラーが発生した垂直同期期間Ｔ１２の直前の垂直同期期間Ｔ１１で生成された画像データＤ１１を、参照画像として決定する。そして、符号化部１２は、ＤＲＡＭ１１から読み出した画像データＤ１１を参照画像として用いて、Ｐピクチャの符号化画像データＤ１３を生成する。また、データ送信部１３は、Ｐピクチャの符号化画像データＤ１３を送信する。

また、垂直同期期間Ｔ１３において、参照画像決定部３５は、エラーが発生した垂直同期期間Ｔ１２の直前の垂直同期期間Ｔ１１で生成された画像データＤ１１を、参照画像として決定する。そして、復号部３４は、ＤＲＡＭ３３から読み出した画像データＤ１１を参照画像として用いて、符号化画像データＤ１３の復号処理を行う。また、表示制御部３１は、復号された画像データＤ１３をモニタ５に表示させる。

また、エラーが発生した垂直同期期間Ｔ１２の二つ後の垂直同期期間Ｔ１４において、参照画像決定部１４は、エラーが発生した垂直同期期間Ｔ１２の直前の垂直同期期間Ｔ１１で生成された画像データＤ１１を、参照画像として決定する。そして、符号化部１２は、ＤＲＡＭ１１から読み出した画像データＤ１１を参照画像として用いて、Ｐピクチャの符号化画像データＤ１４を生成する。また、データ送信部１３は、Ｐピクチャの符号化画像データＤ１４を送信する。

また、垂直同期期間Ｔ１４において、参照画像決定部３５は、エラーが発生した垂直同期期間Ｔ１２の直前の垂直同期期間Ｔ１１で生成された画像データＤ１１を、参照画像として決定する。そして、復号部３４は、ＤＲＡＭ３３から読み出した画像データＤ１１を参照画像として用いて、符号化画像データＤ１４の復号処理を行う。また、表示制御部３１は、復号された画像データＤ１４をモニタ５に表示させる。

次の垂直同期期間Ｔ１５ではエンコーダ２及びデコーダ３は通常状態に戻り、（Ａ）符号化部１２はＤＲＡＭ１１から読み出した二つ前の画像データＤ１３を参照画像として用いてＰピクチャの符号化画像データＤ１５を生成し、（Ｂ）データ送信部１３はＰピクチャの符号化画像データＤ１５を送信し、（Ｃ）復号部３４はＤＲＡＭ３３から読み出した二つ前の画像データＤ１３を参照画像として用いてＰピクチャの符号化画像データＤ１５を復号し、（Ｄ）表示制御部３１は復号された画像データＤ１５をモニタ５に表示させる。

このように本実施の形態３に係る画像処理装置１によれば、復号部３４においてある垂直同期期間Ｔ１２でエラーが発生した場合には、参照画像決定部１４は、エラーが発生した垂直同期期間Ｔ１２の次の垂直同期期間Ｔ１３、及び、エラーが発生した垂直同期期間Ｔ１２の二つ後の垂直同期期間Ｔ１４において、エラーが発生した垂直同期期間Ｔ１２の直前の垂直同期期間Ｔ１１で生成されたローカルデコード画像（画像データＤ１１）を参照画像として決定し、符号化部１２は、当該参照画像を用いて符号化処理を行う。また、参照画像決定部３５は、エラーが発生した垂直同期期間Ｔ１２の次の垂直同期期間Ｔ１３、及び、エラーが発生した垂直同期期間Ｔ１２の二つ後の垂直同期期間Ｔ１４において、エラーが発生した垂直同期期間Ｔ１２の直前の垂直同期期間Ｔ１１で生成されたデコード画像（画像データＤ１１）を参照画像として決定し、復号部３４は、当該参照画像を用いて復号処理を行う。従って、エラーが発生した場合であっても、エンコーダ２及びデコーダ３においてＰピクチャの参照画像を変更するだけでよく、エンコーダ２からデコーダ３にＩピクチャを送信する必要がないため、Ｉピクチャの送信に伴うデータ送信時間の増大を回避できる。また、エラーが発生した垂直同期期間Ｔ１２の次の垂直同期期間Ｔ１３においても、エンコーダ２は参照画像を用いて適切に符号化処理を実行でき、また、デコーダ３は参照画像を用いて適切に復号処理を実行できる。その結果、エラー発生からエラー復帰までの遅延時間を短縮することが可能となる。

また、参照画像決定部１４は、エラーが発生した垂直同期期間Ｔ１２の二つ後の垂直同期期間Ｔ１４の次の垂直同期期間Ｔ１５において通常状態に戻り、二つ前の垂直同期期間Ｔ１３で生成されたローカルデコード画像（画像データＤ１３）を参照画像として決定する。また、参照画像決定部３５は、エラーが発生した垂直同期期間Ｔ１２の二つ後の垂直同期期間Ｔ１４の次の垂直同期期間Ｔ１５において通常状態に戻り、二つ前の垂直同期期間Ｔ１３で生成されたデコード画像（画像データＤ１３）を参照画像として決定する。従って、参照画像が早期に二つ前のローカルデコード画像又はデコード画像に戻されるため、画質の劣化を最小限に抑制することが可能となる。

また、表示制御部３１は、エラーが発生した垂直同期期間Ｔ１２において、所定のコンシール画像をモニタ５に表示させる。従って、コンシール画像が表示される期間が最小限に抑制されるため、映像視認者の違和感を軽減することが可能となる。

＜実施の形態４＞
本実施の形態４では、上記実施の形態３において、連続する複数の垂直同期期間でエラーが発生した場合の対策について説明する。

図１０は、本発明の実施の形態４に係るエンコーダ２の構成を示す図である。図１０に示すようにエンコーダ２は、ＤＲＡＭ１１、符号化部１２、データ送信部１３、参照画像決定部１４、及びＣＰＵ１５を備えている。ＣＰＵ１５は、所定のプログラムを実行することにより、エラー通知受信部２１及び復帰通知受信部２２として機能する。ＤＲＡＭ１１には、直近の所定数の垂直同期期間において符号化部１２が生成した複数のローカルデコード画像が記憶されている。

図１１は、実施の形態４に係るデコーダ３の構成を示す図である。図１１に示すようにデコーダ３は、表示制御部３１、データ受信部３２、ＤＲＡＭ３３、復号部３４、参照画像決定部３５、制御部３６、及びＣＰＵ３７を備えている。ＣＰＵ３７は、所定のプログラムを実行することにより、エラー通知送信部４１及び復帰通知送信部４２として機能する。ＤＲＡＭ３３には、直近の所定数の垂直同期期間において復号部３４が生成した複数のデコード画像が記憶されている。

図１２は、復号部３４においてエラーが発生した際の処理内容を説明するための図である。（Ａ）は符号化部１２が符号化する画像データを示しており、（Ｂ）はデータ送信部１３からデータ受信部３２に送信される画像データを示しており、（Ｃ）は復号部３４が復号する画像データを示しており、（Ｄ）は表示制御部３１がモニタ５に表示させる画像データを示している。図１２に示した例では、連続する複数の垂直同期期間Ｔ１２，Ｔ１３においてエラーが発生し、垂直同期期間Ｔ１２，Ｔ１３ではエラー復帰に失敗し、垂直同期期間Ｔ１４でエラー復帰に成功した状況を想定している。

復号部３４においてエラーが発生していない通常状態では、上記実施の形態３と同様に、参照画像決定部１４は、二つ前の垂直同期期間で生成されたローカルデコード画像を参照画像として決定する。そして、データ送信部１３からデータ受信部３２にＰピクチャの符号化画像データが送信される。また、参照画像決定部３５は、二つ前の垂直同期期間で生成されたデコード画像を参照画像として決定する。そして、表示制御部３１は、復号された画像データをモニタ５に表示させる。

図１２を参照して、エラー発生前の例えば垂直同期期間Ｔ１１において、（Ａ）符号化部１２はＤＲＡＭ１１から読み出した二つ前の画像データＤ０９を参照画像として用いてＰピクチャの符号化画像データＤ１１を生成し、（Ｂ）データ送信部１３はＰピクチャの符号化画像データＤ１１を送信し、（Ｃ）復号部３４はＤＲＡＭ３３から読み出した二つ前の画像データＤ０９を参照画像として用いてＰピクチャの符号化画像データＤ１１を復号し、（Ｄ）表示制御部３１は復号された画像データＤ１１をモニタ５に表示させる。

復号部３４においてエラーが発生した場合には、復号部３４は、エラーが発生した旨、及び、エラーが発生した画像データの識別情報（ピクチャＩＤ）を、エラー通知送信部４１に入力する。エラー通知送信部４１は、これらの情報を含むエラー通知をエンコーダ２に送信し、エラー通知受信部２１は当該エラー通知を受信する。エラー通知受信部２１は、受信したエラー通知を参照画像決定部１４に入力する。

また、復号部３４においてエラー復帰のためのリセットがされ、１ピクチャのデコードがエラーなく完了した場合には、制御部３６は、復帰通知を復帰通知送信部４２に入力する。復帰通知送信部４２は復帰通知をエンコーダ２に送信し、復帰通知受信部２２は当該復帰通知を受信する。復帰通知受信部２２は、受信した復帰通知を参照画像決定部１４に入力する。

参照画像決定部１４は、エラーが発生した垂直同期期間の次の垂直同期期間から、復帰通知を受信するまでの、複数の垂直同期期間においては、ＤＲＡＭ１１に記憶されている複数のローカルデコード画像の中から、エラーが発生した垂直同期期間の直前の垂直同期期間で生成されたローカルデコード画像を参照画像として決定する。そして、これら複数の垂直同期期間において、符号化部１２は、当該参照画像を用いて符号化処理を行う。

また、参照画像決定部３５は、エラーが発生した垂直同期期間の次の垂直同期期間から、復帰通知を送信した垂直同期期間の次の垂直同期期間までの、複数の垂直同期期間においては、ＤＲＡＭ３３に記憶されている複数のデコード画像の中から、エラーが発生した垂直同期期間の直前の垂直同期期間で生成されたデコード画像を参照画像として決定する。そして、復号部３４は、当該参照画像を用いて復号処理を行う。

図１２を参照して、復号部３４において垂直同期期間Ｔ１２でエラーが発生すると、エラー通知送信部４１からエラー通知受信部２１にエラー通知が送信される。この場合、表示制御部３１は、垂直同期期間Ｔ１２において復号された画像データＤ１２に基づいてコンシール画像を作成し、垂直同期期間Ｔ１２においてモニタ５に当該コンシール画像を表示させる。表示制御部３１は、例えば、垂直同期期間Ｔ１２で復号が完了している画像領域については画像データＤ１２を使用し、垂直同期期間Ｔ１２で復号が完了していない残余の画像領域については直前の画像データＤ１１を使用することにより、コンシール画像を作成する。

また、コンシール画像の作成が完了した後、制御部３６は、垂直同期期間Ｔ１２において、エラー復帰のために復号部３４のリセットを試みる。但し、図１２に示した例では、制御部３６は垂直同期期間Ｔ１２でのエラー復帰に失敗し、復帰通知送信部４２は復帰通知を送信しない。

図１２に示した例によると、エラー通知受信部２１がエラー通知を受信した時点では、エンコーダ２において垂直同期期間Ｔ１３の処理が開始されている。垂直同期期間Ｔ１３において、参照画像決定部１４は、エラーが発生した垂直同期期間Ｔ１２の直前の垂直同期期間Ｔ１１で生成された画像データＤ１１を、参照画像として決定する。そして、符号化部１２は、当該参照画像を用いて符号化処理を行うことにより、符号化画像データＤ１３を生成する。また、垂直同期期間Ｔ１３において、データ送信部１３は符号化画像データＤ１３を送信する。

垂直同期期間Ｔ１３において、参照画像決定部３５は、エラーが発生した垂直同期期間Ｔ１２の直前の垂直同期期間Ｔ１１で生成された画像データＤ１１を、参照画像として決定する。そして、復号部３４は、当該参照画像を用いて画像データＤ１３の復号処理を開始する。但し、図１２に示した例では、垂直同期期間Ｔ１３においても復号部３４でエラーが発生する。この場合、表示制御部３１は、垂直同期期間Ｔ１３において、垂直同期期間Ｔ１２で作成したコンシール画像をモニタ５に表示させる。また、制御部３６は、垂直同期期間Ｔ１３においても、エラー復帰のために復号部３４のリセットを試みるが、図１２に示した例では、制御部３６は垂直同期期間Ｔ１３でのエラー復帰に失敗し、復帰通知送信部４２は復帰通知を送信しない。

次の垂直同期期間Ｔ１４において、参照画像決定部１４は、垂直同期期間Ｔ１３と同様に画像データＤ１１を参照画像として決定する。また、符号化部１２は、当該参照画像を用いて符号化処理を行うことにより、符号化画像データＤ１４を生成する。また、垂直同期期間Ｔ１４において、データ送信部１３は符号化画像データＤ１４を送信する。

制御部３６は、垂直同期期間Ｔ１４においても、エラー復帰のために復号部３４のリセットを試みる。図１２に示した例では、制御部３６は垂直同期期間Ｔ１４においてエラー復帰に成功する。また、垂直同期期間Ｔ１４において、参照画像決定部３５は、垂直同期期間Ｔ１３と同様に画像データＤ１１を参照画像として決定する。そして、復号部３４は、当該参照画像を用いて画像データＤ１４の復号処理を開始する。エラー復帰のためのリセットがされ、１ピクチャ（画像データＤ１４）のデコードがエラーなく完了したことにより、復帰通知送信部４２は復帰通知受信部２２に復帰通知を送信する。

図１２に示した例によると、復帰通知受信部２２が復帰通知を受信した時点では、エンコーダ２において垂直同期期間Ｔ１５の処理が開始されている。垂直同期期間Ｔ１５において、参照画像決定部１４は、垂直同期期間Ｔ１３と同様に画像データＤ１１を参照画像として決定する。また、符号化部１２は、当該参照画像を用いて符号化処理を行うことにより、符号化画像データＤ１５を生成する。そして、データ送信部１３はデータ受信部３２に符号化画像データＤ１５を送信する。

また、復帰通知を送信した垂直同期期間Ｔ１４の次の垂直同期期間Ｔ１５において、参照画像決定部３５は、垂直同期期間Ｔ１３と同様に画像データＤ１１を参照画像として決定する。そして、復号部３４は、ＤＲＡＭ３３から読み出した画像データＤ１１を参照画像として用いて、符号化画像データＤ１５の復号処理を行う。また、表示制御部３１は、復号された画像データＤ１５をモニタ５に表示させる。

次の垂直同期期間Ｔ１６ではエンコーダ２及びデコーダ３は通常状態に戻り、（Ａ）符号化部１２はＤＲＡＭ１１から読み出した二つ前の画像データＤ１４を参照画像として用いてＰピクチャの符号化画像データＤ１６を生成し、（Ｂ）データ送信部１３はＰピクチャの符号化画像データＤ１６を送信し、（Ｃ）復号部３４はＤＲＡＭ３３から読み出した二つ前の画像データＤ１４を参照画像として用いてＰピクチャの符号化画像データＤ１６を復号し、（Ｄ）表示制御部３１は復号された画像データＤ１６をモニタ５に表示させる。

このように本実施の形態４に係る画像処理装置１によれば、参照画像決定部１４は、エラーが発生した垂直同期期間Ｔ１２の次の垂直同期期間Ｔ１３から、復帰通知を受信した垂直同期期間Ｔ１５までの、複数の垂直同期期間Ｔ１３〜Ｔ１５において、エラーが発生した垂直同期期間Ｔ１２の直前の垂直同期期間Ｔ１１で生成されたローカルデコード画像（画像データＤ１１）を参照画像として決定する。また、参照画像決定部３５は、エラーが発生した垂直同期期間Ｔ１２の次の垂直同期期間Ｔ１３から、復帰通知を送信した垂直同期期間Ｔ１４の次の垂直同期期間Ｔ１５までの、複数の垂直同期期間Ｔ１３〜Ｔ１５において、エラーが発生した垂直同期期間Ｔ１２の直前の垂直同期期間Ｔ１１で生成されたデコード画像（画像データＤ１１）を参照画像として決定する。従って、連続する複数の垂直同期期間Ｔ１２，Ｔ１３でエラーが発生した場合であっても、エンコーダ２において適切に符号化処理を実行することが可能となり、また、デコーダ３において適切に復号処理を実行することが可能となる。

また、参照画像決定部１４は、復帰通知を受信した垂直同期期間Ｔ１５の次の垂直同期期間Ｔ１６において通常状態に戻り、二つ前の垂直同期期間Ｔ１４で生成されたローカルデコード画像（画像データＤ１４）を参照画像として決定する。また、参照画像決定部３５は、復帰通知を送信した垂直同期期間Ｔ１４の二つ後の垂直同期期間Ｔ１６において通常状態に戻り、二つ前の垂直同期期間Ｔ１４で生成されたデコード画像（画像データＤ１４）を参照画像として決定する。従って、参照画像が早期に二つ前のローカルデコード画像又はデコード画像に戻されるため、画質の劣化を最小限に抑制することが可能となる。

また、表示制御部３１は、エラーが発生した垂直同期期間Ｔ１２，Ｔ１３において、所定のコンシール画像を表示させる。従って、コンシール画像が表示される期間が最小限に抑制されるため、映像視認者の違和感を軽減することが可能となる。

＜実施の形態５＞
本実施の形態５では、上記実施の形態３，４において、フリッカの発生を回避する対策について説明する。

図１３〜１６は、連続する複数の画像間の参照関係を示す図である。図１３に示すように、上記実施の形態３，４では、エラーが発生していない通常状態において、参照画像決定部１４，３５は、二つ前の垂直同期期間で生成された画像を参照画像として決定する。例えば、画像データＤ１２を生成する際には二つ前の画像データＤ１０が参照画像として用いられ、画像データＤ１３を生成する際には二つ前の画像データＤ１１が参照画像として用いられる。従って、全ての画像データは、偶数番目の画像系列に属する画像データＤ１０，Ｄ１２，Ｄ１４，Ｄ１６と、奇数番目の画像系列に属する画像データＤ１１，Ｄ１３，Ｄ１５，Ｄ１７とに分類される。

ここで、例えば奇数番目の画像系列に属する一つの画像データＤ１３にノイズが発生した場合を考える。この場合、画像データＤ１５は画像データＤ１３を参照し、画像データＤ１７は画像データＤ１５を参照するため、画像データＤ１３に発生したノイズが画像データＤ１５，Ｄ１７に伝搬する。一方、画像データＤ１４，Ｄ１６は画像データＤ１３を参照しないため、画像データＤ１３に発生したノイズは画像データＤ１４，Ｄ１６には伝搬しない。従って、画像データＤ１３，Ｄ１５，Ｄ１７の画質と画像データＤ１４，Ｄ１６の画質との差が大きい場合には、フリッカが発生する可能性がある。

そこで本実施の形態５では、図１４に示すように、エラーが発生していない通常状態において、参照画像決定部１４，３５は、偶数番目の画像系列に関しては二つ前の垂直同期期間で生成された画像を参照画像として決定し、奇数番目の画像系列に関しては三つ前の垂直同期期間で生成された画像を参照画像として決定する。例えば、画像データＤ１２を生成する際には二つ前の画像データＤ１０が参照画像として用いられ、画像データＤ１３を生成する際には三つ前の画像データＤ１０が参照画像として用いられる。

このように本実施の形態５に係る画像処理装置１によれば、復号部３４においてエラーが発生していない通常状態では、偶数番目の画像系列に関しては、参照画像決定部１４は、二つ前の垂直同期期間で生成されたローカルデコード画像を参照画像として決定し、参照画像決定部３５は、二つ前の垂直同期期間で生成されたデコード画像を参照画像として決定する。また、奇数番目の画像系列に関しては、参照画像決定部１４は、三つ前の垂直同期期間で生成されたローカルデコード画像を参照画像として決定し、参照画像決定部３５は、三つ前の垂直同期期間で生成されたデコード画像を参照画像として決定する。従って、図１５に示すように、偶数番目の画像系列に属する特定の画像データＤ１２にノイズが発生した場合には、それ以降の偶数番目の画像系列及び奇数番目の画像系列の双方にノイズが伝搬する。また、図１６に示すように、奇数番目の画像系列に属する特定の画像データＤ１３にノイズが発生した場合には、それ以降の偶数番目の画像系列及び奇数番目の画像系列の双方にノイズは伝搬しない。いずれの場合であっても、偶数番目の画像系列及び奇数番目の画像系列の一方のみにノイズが伝搬することはない。従って、フリッカの発生を回避することが可能となる。

なお、偶数番目の画像系列及び奇数番目の画像系列の双方に関して三つ前の画像を参照画像として用いる場合や、二つ前の画像を参照する期間と三つ前の画像を参照する期間とを定期的に混在させる場合であっても、フリッカの発生を回避できる。また、上記実施の形態１，２では直前の画像データが参照されるため、フリッカは発生しない。

＜実施の形態６＞
本実施の形態６では、上記実施の形態５において、復号部３４でエラーが発生した場合の第１の対策について説明する。

図１７は、連続する複数の画像間の参照関係を示す図である。エラーが発生していない通常状態では、図１４に示したように、参照画像決定部１４，３５は、偶数番目の画像系列に関しては二つ前の垂直同期期間で生成された画像を参照画像として決定し、奇数番目の画像系列に関しては三つ前の垂直同期期間で生成された画像を参照画像として決定する。

ここで、偶数番目の画像系列に属する特定の画像（図１７の例では画像データＤ１２）でエラーが発生した場合には、エラーが発生した垂直同期期間の二つ後の垂直同期期間以降において、偶数番目の画像系列及び奇数番目の画像系列の参照関係を入れ替える。つまり、図１７に示すように、エラーが発生した画像データＤ１２の二つ後の画像データＤ１４以降においては、参照画像決定部１４，３５は、奇数番目の画像系列（Ｄ１５，Ｄ１７）に関しては二つ前の垂直同期期間で生成された画像を参照画像として決定し、偶数番目の画像系列（Ｄ１４，Ｄ１６）に関しては三つ前の垂直同期期間で生成された画像を参照画像として決定する。

なお、図１４に示したエラー発生前の通常状態において、奇数番目の画像系列に属する画像は参照画像として用いられないため、奇数番目の画像系列に属する画像でエラーが発生した場合には、特にエラー処理を行う必要はなく、デコーダ３からエンコーダ２へのエラー通知の送信さえも省略することができる。また、図１７に示したエラー発生後の通常状態において、その後に奇数番目の画像系列に属する画像でエラーが発生した場合には、上記と同様に偶数番目の画像系列及び奇数番目の画像系列の参照関係を入れ替えればよい。

このように本実施の形態６に係る画像処理装置１によれば、偶数番目の画像系列に属するある垂直同期期間でエラーが発生した場合には、エラーが発生した垂直同期期間の二つ後の垂直同期期間以降において、奇数番目の画像系列に関しては、参照画像決定部１４は、二つ前の垂直同期期間で生成されたローカルデコード画像を参照画像として決定し、参照画像決定部３５は、二つ前の垂直同期期間で生成されたデコード画像を参照画像として決定する。また、偶数番目の画像系列に関しては、参照画像決定部１４は、三つ前の垂直同期期間で生成されたローカルデコード画像を参照画像として決定し、参照画像決定部３５は、三つ前の垂直同期期間で生成されたデコード画像を参照画像として決定する。従って、エラーが発生した画像がそれ以降に参照画像として使用されることがないため、画質の劣化を回避することが可能となる。しかも、エンコーダ２及びデコーダ３においてＰピクチャの参照画像を変更するだけでよく、エンコーダ２からデコーダ３にＩピクチャを送信する必要がないため、Ｉピクチャの送信に伴うデータ送信時間の増大を回避できる。その結果、エラー発生からエラー復帰までの遅延時間を短縮することが可能となる。

＜実施の形態７＞
本実施の形態７では、上記実施の形態５において、復号部３４でエラーが発生した場合の第２の対策について説明する。

図１８は、連続する複数の画像間の参照関係を示す図である。エラーが発生していない通常状態では、図１４に示したように、参照画像決定部１４，３５は、偶数番目の画像系列に関しては二つ前の垂直同期期間で生成された画像を参照画像として決定し、奇数番目の画像系列に関しては三つ前の垂直同期期間で生成された画像を参照画像として決定する。

ここで、偶数番目の画像系列に属する特定の画像（図１８の例では画像データＤ１２）でエラーが発生した場合には、参照画像決定部１４，３５は、エラーが発生した画像が参照画像として使用されないように参照関係を変更する。つまり、図１４に示したように画像データＤ１２は画像データＤ１４，Ｄ１５によって参照されるため、図１８に示したように画像データＤ１４，Ｄ１５の参照先を画像データＤ１２から画像データＤ１０に変更する。

なお、図１４に示したエラー発生前の通常状態において、奇数番目の画像系列に属する画像は参照画像として用いられないため、奇数番目の画像系列に属する画像でエラーが発生した場合には、特にエラー処理を行う必要はなく、デコーダ３からエンコーダ２へのエラー通知の送信さえも省略することができる。

また、上記実施の形態４で説明した復帰通知を本実施の形態７に適用してもよく、この場合は、エンコーダ２がデコーダ３から復帰通知を受信するまで、画像データＤ１３以降の全ての画像データＤ１３〜Ｄ１７の参照先は画像データＤ１２となる。そして、復帰通知を受信することによって、通常状態の参照関係に戻ることとなる。

このように本実施の形態７に係る画像処理装置１によれば、偶数番目の画像系列に属するある垂直同期期間でエラーが発生した場合には、参照画像決定部１４は、エラーが発生した垂直同期期間の二つ後の垂直同期期間、及び、エラーが発生した垂直同期期間の三つ後の垂直同期期間において、エラーが発生した垂直同期期間の二つ前の垂直同期期間で生成されたローカルデコード画像を参照画像として決定する。また、参照画像決定部３５は、エラーが発生した垂直同期期間の二つ後の垂直同期期間、及び、エラーが発生した垂直同期期間の三つ後の垂直同期期間において、エラーが発生した垂直同期期間の二つ前の垂直同期期間で生成されたデコード画像を参照画像として決定する。従って、エラーが発生した画像データＤ１２が参照画像として使用されることがないため、画質の劣化を回避することが可能となる。しかも、エンコーダ２及びデコーダ３においてＰピクチャの参照画像を変更するだけでよく、エンコーダ２からデコーダ３にＩピクチャを送信する必要がないため、Ｉピクチャの送信に伴うデータ送信時間の増大を回避できる。その結果、エラー発生からエラー復帰までの遅延時間を短縮することが可能となる。

＜変形例＞
上記実施の形態１では、Ｉピクチャ符号化部５５を実装する代わりに、エンコーダ２の動作周波数を通常の２倍程度に設定するとともに時分割処理を行うことにより、一つの垂直同期期間の前半でＰピクチャを生成し、後半でＩピクチャを生成する構成としてもよい。Ｉピクチャ符号化部５５の実装を省略できるため、回路規模を削減することができる。

上記実施の形態３では、エラー発生前の通常状態では直前の画像を参照し、エラー発生時に二つ前の画像を参照する構成としてもよい。この場合、直前の画像を参照画像として用いる符号化回路と、二つ前の画像を参照画像として用いる符号化回路とを別個に実装し、エラー発生の有無に応じて両回路を切り替える構成としてもよい。あるいは、動作周波数を通常の２倍程度に設定するとともに時分割処理を行うことにより、一つの垂直同期期間の前半では、直前の画像を参照画像として用いる符号化処理を行い、後半では、二つ前の画像を参照画像として用いる符号化処理を行う構成としてもよい。

１ 画像処理装置
２ エンコーダ
３ デコーダ
１１ ＤＲＡＭ
１２ 符号化部
１３ データ送信部
１４ 参照画像決定部
１５ ＣＰＵ
２１ エラー通知受信部
２２ 復帰通知受信部
３１ 表示制御部
３２ データ受信部
３３ ＤＲＡＭ
３４ 復号部
３５ 参照画像決定部
３６ 制御部
３７ ＣＰＵ
４１ エラー通知送信部
４２ 復帰通知送信部

Claims (3)

1. 画像データを符号化することによって符号化画像データを生成するエンコーダと、
   前記エンコーダから受信した符号化画像データを復号するデコーダと、
   を備え、
   前記エンコーダは、第１の記憶部と、符号化部と、エラー通知受信部と、第１の参照画像決定部と、を有し、
   前記デコーダは、第２の記憶部と、復号部と、エラー通知送信部と、第２の参照画像決定部と、を有し、
   前記第１の記憶部は、直近の所定数の垂直同期期間に相当する複数のローカルデコード画像を記憶し、
   前記第２の記憶部は、直近の所定数の垂直同期期間に相当する複数のデコード画像を記憶し、
   前記復号部においてエラーが発生していない通常状態では、
   前記第１の参照画像決定部は、直前の垂直同期期間で生成されたローカルデコード画像を参照画像として決定し、前記符号化部は、当該参照画像を用いて符号化処理を行い、
   前記第２の参照画像決定部は、直前の垂直同期期間で生成されたデコード画像を参照画像として決定し、前記復号部は、当該参照画像を用いて復号処理を行い、
   前記復号部においてある垂直同期期間でエラーが発生した場合には、
   前記エラー通知送信部は、エラーが発生した画像であるエラー画像の識別情報を含むエラー通知を送信し、前記エラー通知受信部は、当該エラー通知を受信し、
   前記第１の参照画像決定部は、符号化画像データの送信再開後の最初の垂直同期期間において、前記第１の記憶部に記憶されている複数のローカルデコード画像の中から、エラーが発生した垂直同期期間の直前の垂直同期期間で生成されたローカルデコード画像を参照画像として決定し、前記符号化部は、当該参照画像を用いて符号化処理を行い、
   前記第２の参照画像決定部は、前記復号部の復帰完了後の最初の垂直同期期間において、前記第２の記憶部に記憶されている複数のデコード画像の中から、エラーが発生した垂直同期期間の直前の垂直同期期間で生成されたデコード画像を参照画像として決定し、前記復号部は、当該参照画像を用いて復号処理を行う、画像処理装置。
2. 前記第１の参照画像決定部は、符号化画像データの送信再開後の最初の垂直同期期間の次の垂直同期期間において、直前の垂直同期期間で生成されたローカルデコード画像を参照画像として決定し、
   前記第２の参照画像決定部は、前記復号部の復帰完了後の最初の垂直同期期間の次の垂直同期期間において、直前の垂直同期期間で生成されたデコード画像を参照画像として決定する、請求項１に記載の画像処理装置。
3. 前記デコーダは、画像表示制御部をさらに有し、
   前記画像表示制御部は、エラーが発生した垂直同期期間、及び、前記復号部の復帰処理を実行する垂直同期期間において、所定のコンシール画像を表示させる、請求項２に記載の画像処理装置。
   

Images