JP2014155084A

JP2014155084A - 画像符号化装置

Info

Publication number: JP2014155084A
Application number: JP2013024104A
Authority: JP
Inventors: Ayako Nemoto; 亞矢子根本
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2013-02-12
Filing date: 2013-02-12
Publication date: 2014-08-25
Anticipated expiration: 2033-02-12
Also published as: JP6182888B2

Abstract

【課題】伝送路の遮断期間の動画像が欠落しないようにする。
【解決手段】この発明に係る画像符号化装置は、画像データを入力順から符号化順に並び替えるフレーム蓄積部と、画像データを符号化してビデオデータを生成し、情報発生量を算出する画像符号化部と、ビデオデータを一旦蓄積し、送信バッファ使用情報を算出する送信バッファ部と、ストリーム遮断時間を算出し、廃棄ピクチャを決定してストリーム廃棄情報を生成し、タイムスタンプ補正時間を算出するストリーム遮断時間算出部と、出力ビデオデータに対してビットレートとストリーム遮断時間とに基づく送信バッファ遅延時間を算出する符号化制御部と、ビデオデータに送信バッファ遅延時間に基づくタイムスタンプ情報を付加したビデオデータを生成するとともに、タイムスタンプ補正時間に基づきタイムスタンプ情報を変更して、ビデオストリームを伝送路に送出するタイムスタンプ付加部とを備えた。
【選択図】図１

Description

この発明は、伝送路の遮断期間の動画像が欠落しないように伝送制御を行う画像符号化装置に関するものである。

動画像データを高能率に圧縮する符号化技術として、例えば国際標準規格であるＭＰＥＧ−２やＨ．２６４／ＡＶＣ等が知られている。これらの符号化技術は、動き補償予測符号化、離散コサイン変換符号化、可変長符号化等を組み合わせたハイブリッド符号化方式で実現されている。動き補償予測には、フレーム内予測（イントラ予測）とフレーム間予測（インター予測）があり、動き補償予測の方式に応じて符号化するピクチャを３つのピクチャタイプに分類している。第１のピクチャタイプは、フレーム内予測による符号化のみを行うイントラ符号化ピクチャ（以下、Ｉピクチャと称する）である。また、第２のピクチャタイプは、時間的に前方向のフレームとの間で動き予測を行い、その差分値と動き予測の情報を送ることによってデータを圧縮する前方向予測符号化ピクチャ（以下、Ｐピクチャと称する）である。さらに、第３のピクチャタイプは、時間的に前方向、後方向、もしくは双方向のいずれかのフレーム間で動き予測を行い、データを圧縮する双方向予測符号化ピクチャ（以下、Ｂピクチャと称する）である。これらの動き補償予測符号化を用いた画像符号化装置は、Ｉピクチャを先頭とするＧＯＰ（ＧｒｏｕｐＯｆＰｉｃｔｕｒｅｓ）というピクチャ群を周期的に繰り返して符号化を行うのが一般的である。

送信側の画像符号化装置は、画像データを符号化した符号化データを有線や無線のネットワーク等の伝送路を介して送信し、受信側の画像復号装置は、受信した符号化データを復号して画像データを得ることができる。このとき、無線通信のようにエラー率の高い伝送路にてリアルタイムに符号化データの送信を行う場合には、伝送エラーの発生や伝送路の遮断によって、所定の時間内に符号化データの送信を完了できないとき、画像復号装置で復号エラーが発生し、復号画像が乱れるという問題が発生する。

従来の画像符号化装置は、符号化データを伝送路に送出する前に蓄積する送信バッファの蓄積量を検出し、伝送路の乱れによって符号化データを送出できず、送信バッファが所定の蓄積量を超えた場合には符号化データをフレーム単位で廃棄する。その後の１フレームの画像信号をフレーム内符号化（イントラ予測符号化）して送信バッファに蓄積し伝送することによって、復号画像の乱れをなくすとともに伝送遅延を少なくしていた（例えば、特許文献１）。

特開平１０−７９９３６号公報

従来の画像符号化装置では、伝送路が遮断され符号化データを送信できない場合には、その期間の符号化データがすべて廃棄されてしまい、画像復号装置側では遮断された期間の動画像全体が欠落して見ることができないという問題点があった。

この発明は上記のような問題点を解決するためになされたもので、符号化データをリアルタイムに伝送する画像符号化装置において、伝送路が遮断された場合でも、遮断期間の動画像全体が欠落しないように伝送制御を行い、受信した画像復号装置側でその期間の復号画像データを見ることを可能とする画像符号化装置を提供することを目的とする。

この発明に係る画像符号化装置は、ピクチャ単位で、画像データを入力順にメモリに蓄積し、符号化順に並び替えて出力するフレーム蓄積部と、前記フレーム蓄積部が出力した前記画像データをピクチャタイプと符号化モードとを含む符号化パラメータに基づいてピクチャごとに符号化し、ビデオデータを生成するとともに、前記ビデオデータの情報発生量を算出する画像符号化部と、前記画像符号化部が生成した前記ビデオデータを送信バッファに一旦蓄積して出力するとともに、前記送信バッファにおける送信バッファ使用情報を算出する送信バッファ部と、ビットレートの変動によるビデオストリームの送出が遮断されたストリーム遮断時間を算出し、前記符号化パラメータと前記情報発生量と前記送信バッファ使用情報とから廃棄するピクチャを決定してストリーム廃棄情報を生成し、前記送信バッファ部から送出させるピクチャの前記ビデオデータ出力を指示し、当該ビデオデータにおけるピクチャ廃棄状況に対して調整すべきタイムスタンプ補正時間を算出してタイムスタンプ補正を指示するストリーム遮断時間算出部と、前記フレーム蓄積部への画像データ入出力および前記送信バッファ部へのビデオデータ入力を指示するとともに、前記ビットレートと前記送信バッファ使用情報とに基づいて決定した前記符号化パラメータを前記画像符号化部に指定して符号化させ、前記符号化パラメータと前記情報発生量とを前記ストリーム遮断時間算出部に出力して得た前記ストリーム廃棄情報に基づいて出力する前記ビデオデータに対して、前記ビットレートと前記ストリーム遮断時間とに基づく送信バッファ遅延時間を算出する符号化制御部と、前記送信バッファ部から出力された前記ビデオデータに前記送信バッファ遅延時間に基づくタイムスタンプ情報を付加したビデオデータを生成するとともに、前記タイムスタンプ補正を指示された場合には、前記タイムスタンプ補正時間に基づいて前記ビデオデータの前記タイムスタンプ情報を変更して、ビデオストリームを伝送路に送出するタイムスタンプ付加部とを備える。

本発明によれば、符号化データをリアルタイムに伝送する画像符号化装置において、伝送路が遮断された場合でも、遮断期間の動画像全体が欠落しないように伝送制御を行い、受信した画像復号装置側でその期間の復号画像データを見ることができる。

この発明の実施の形態１における画像符号化装置の全体構成の一例を示すブロック図である。この発明の実施の形態１におけるフレーム蓄積部の画像入力順、画像符号化順に基づくＧＯＰ構造の一例を示す説明図である。この発明の実施の形態１における画像符号化装置に伝送路の遮断期間が発生した場合のビデオＥＳデータ送出の一例を示す説明図である。この発明の実施の形態２における画像符号化装置の全体構成の一例を示すブロック図である。この発明の実施の形態４における画像符号化装置の全体構成の一例を示すブロック図である。この発明の実施の形態５における画像符号化装置の全体構成の一例を示すブロック図である。

実施の形態１．
図１は、この発明の実施の形態１における画像符号化装置の全体構成の一例を示すブロック図である。図において、フレーム蓄積部１１は、フレームメモリを有し、画像信号１０１をピクチャ（フレーム）単位で入力順にフレームメモリに蓄積し、画像信号１０２をピクチャ（フレーム）単位で符号化順に並び替えて出力する。画像符号化部１２は、フレーム蓄積部１１が出力した画像信号１０２をピクチャタイプ２０１および符号化モード２０２を含む符号化パラメータに基づいてピクチャごとに符号化し、ビデオＥＳ（ＥｌｅｍｅｎｔａｒｙＳｔｒｅａｍ）データ１０３を生成するとともに、ピクチャごとにビデオＥＳデータ１０３の情報発生量２０３を算出する。送信バッファ部１３は、送信バッファを有し、画像符号化部１２が生成したビデオＥＳデータ１０３を送信バッファに一旦蓄積し、ビデオＥＳデータ１０４を出力するとともに、送信バッファにおける送信バッファ使用情報２０４を算出する。ストリーム遮断時間算出部１４は、ビットレート２０７の変動によるビデオストリームの送出が遮断されたストリーム遮断時間２１０を算出し、符号化パラメータと情報発生量２０９、送信バッファ使用情報２０４とから廃棄するピクチャを決定してストリーム廃棄情報２１１を生成し、送信バッファ部１３から送出させるビデオＥＳデータ１０４のビデオデータ出力を指示し、ピクチャ廃棄状況に対して当該ビデオＥＳデータ１０４における調整すべきタイムスタンプ補正時間を算出してタイムスタンプ補正を指示する。符号化制御部１５は、フレーム蓄積部１１への画像データ入出力および送信バッファ部１３へのビデオデータ入力を指示するとともに、ビットレート２０７と送信バッファ使用情報２０４とに基づいて決定した符号化パラメータを画像符号化部１２に指定して符号化させ、符号化パラメータと情報発生量２０９とをストリーム遮断時間算出部１４に出力して得たストリーム廃棄情報２１１に基づいて出力するビデオＥＳデータ１０４に対して、ビットレート２０７とストリーム遮断時間２１０とに基づく送信バッファ遅延時間２０５を算出する。タイムスタンプ付加部１６は、送信バッファ部から出力されたビデオＥＳデータ１０４に送信バッファ遅延時間２０５に基づくタイムスタンプ情報を付加するとともに、タイムスタンプ補正を指示された場合には、タイムスタンプ補正時間２０６に基づいてタイムスタンプ情報を変更して、ビデオＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）データ１０５をビデオストリームとして伝送路に送出する。

ここで、符号化制御部１５からフレーム蓄積部１１への画像データ入出力指示および送信バッファ部１３へのビデオデータ入力指示は、フレームメモリ書き込み制御信号３０１、フレームメモリ読み出し制御信号３０２、送信バッファ書き込み制御信号３０３として指示される。また、ストリーム遮断時間算出部１４から送信バッファ部１３へのビデオデータ出力指示およびタイムスタンプ付加部１６へのタイムスタンプ補正指示は、送信バッファ読み出し制御信号３０４、タイムスタンプ変更指示信号３０５として指示される。

なお、送信バッファにおける送信バッファ使用情報２０４は、送信バッファの使用状態を示す情報であって、例えば送信バッファのデータ残量とすればよい。また、画像信号は画像データであり、ビデオＥＳデータ、ビデオＴＳデータは、画像データを符号化した符号化データであって、ビデオＥＳデータはタイムスタンプ情報が付加される前の符号化データ、ビデオＴＳデータはタイムスタンプ情報が付加された符号化データである。画像信号、ビデオＥＳデータ、ビデオＴＳデータともにピクチャ単位で処理され、伝送路にビデオストリームとして送出される。また、符号化制御部１６から画像符号化部１２に指定される符号化パラメータは、ピクチャタイプ２０１、符号化モード２０２以外にも、量子化ステップ、動きベクトル情報、直交変換係数など、適宜含むものとするが、ストリーム遮断時間算出部１４には例えばピクチャタイプ２０１または符号化モード２０２のように必要最小限の符号化パラメータのみ送ればよい。

次に動作について説明する。

図１において、フレーム蓄積部１１は、フレームメモリを有し、画像信号１０１をフレームメモリ書き込み制御信号３０１による指示に従ってピクチャ（フレーム）単位で入力順にフレームメモリに蓄積し、画像信号１０２をフレームメモリ読み出し制御信号３０２による指示に従ってピクチャ（フレーム）単位で符号化順に並び替えて出力する。なお、フレームメモリ書き込み制御信号３０１、フレームメモリ読み出し制御信号３０２は、符号化制御部１５から指示される。

ここで、図２は、この発明の実施の形態１におけるフレーム蓄積部の画像入力順、画像符号化順に基づくＧＯＰ構造の一例を示す説明図である。ＧＯＰ構造は、ＩピクチャまたはＰピクチャの間隔（Ｍ値）、Ｉピクチャの間隔（Ｎ値）によって定義できる。ここでは、一例として、Ｍ値＝３、Ｎ値＝１５の場合におけるフレーム蓄積部１１に対する書き込みピクチャおよび読み出しピクチャのＧＯＰ構造を示している。図中、Ｉ、Ｐ、Ｂは、Ｉピクチャ、Ｐピクチャ、Ｂピクチャを示すピクチャタイプ、数字はＧＯＰの第１ピクチャから第１５ピクチャを示す画像入力順を示す番号である。

図において、ＧＯＰを構成するピクチャは、フレーム蓄積部１１のフレームメモリに対して、｛Ｂ０、Ｂ１、Ｉ２、Ｂ３、Ｂ４、Ｐ５、・・・、Ｂ９、Ｂ１０、Ｐ１１、Ｂ１２、Ｂ１３、Ｐ１４｝という画像入力順に書き込まれ、｛Ｉ２、Ｂ０、Ｂ１、Ｐ５、Ｂ３、Ｂ４、・・・、Ｐ１１、Ｂ９、Ｂ１０、Ｐ１４、Ｂ１２、Ｂ１３｝という画像符号化順に読み出される。画像入力順から画像符号化順への並び替えは、符号化制御部１５から指示されるフレームメモリ読み出し制御信号３０２に従って実現される。なお、画像符号化順に並び替えて読み出されるピクチャにおけるＩピクチャ、Ｐピクチャ、Ｂピクチャのピクチャタイプ区分は、符号化制御部１５から指示されたピクチャタイプで後段の画像符号化部１２が符号化する時点で分類される。

また、図１において、画像符号化部１２は、フレーム蓄積部１１が出力した画像信号１０２をピクチャタイプ２０１および符号化モード２０２を含む符号化パラメータに基づいてピクチャごとに符号化し、ビデオＥＳデータ１０３を生成するとともに、ピクチャごとにビデオＥＳデータ１０３の情報発生量２０３を算出する。例えば国際標準規格であるＭＰＥＧ−２やＨ．２６４／ＡＶＣ等によって、図２に示したようなＧＯＰ構造となるようにピクチャタイプ２０１および符号化モード２０２を含む符号化パラメータが符号化制御部１５から通知され、この符号化パラメータに基づいて、フレーム内予測またはフレーム間予測、可変長符号化等を用いて符号化を行い、可変長のビデオＥＳデータ１０３を生成するとともに、ピクチャごとのビデオＥＳデータ１０３の情報発生量２０３を符号化制御部１５に通知する。なお、画像符号化部１２で実施される符号化は、国際標準規格であるＭＰＥＧ−２やＨ．２６４／ＡＶＣのみに限るものではない。また、符号化制御部１５から通知される符号化パラメータには、ピクチャタイプ２０１、符号化モード２０２以外にも、図示しない量子化ステップや直交変換係数、フィルタリング係数の値またはそれらの関連情報等が含まれてもよい。

送信バッファ部１３は、送信バッファを有し、画像符号化部１２が生成したビデオＥＳデータ１０３を送信バッファ書き込み制御信号３０３による指示に従って送信バッファに一旦蓄積し、ビデオＥＳデータ１０４を送信バッファ読み出し制御信号３０４による指示に従って出力するとともに、送信バッファにおける送信バッファ使用情報２０４を算出する。なお、送信バッファ書き込み制御信号３０３は、符号化制御部１５から指示され、送信バッファ読み出し制御信号３０４は、ストリーム遮断時間算出部１４から指示される。

ストリーム遮断時間算出部１４は、ビットレート２０７の変動によるビデオストリームの送出が遮断されたストリーム遮断時間２１０を算出し、符号化パラメータと情報発生量２０９、送信バッファ使用情報２０４とから廃棄するピクチャを決定してストリーム廃棄情報２１１を生成し、送信バッファ部１３から送出させるビデオＥＳデータ１０４のビデオデータ出力を送信バッファ読み出し制御信号３０４指示し、ピクチャ廃棄状況に対して当該ビデオＥＳデータ１０４における調整すべきタイムスタンプ補正時間を算出してタイムスタンプ補正をタイムスタンプ変更指示信号３０５により指示する。

符号化制御部１５は、フレーム蓄積部１１への画像データ入出力をフレームメモリ書き込み制御信号３０１およびフレームメモリ読み出し制御信号３０２により、また送信バッファ部１３へのビデオデータ入力を送信バッファ書き込み制御信号３０３により指示するとともに、ビットレート２０７と送信バッファ使用情報２０４とに基づいて決定した符号化パラメータを画像符号化部１２に指定して符号化させ、符号化パラメータと情報発生量２０９とをストリーム遮断時間算出部１４に出力して得たストリーム廃棄情報２１１に基づいて出力するビデオＥＳデータ１０４に対して、ビットレート２０７とストリーム遮断時間２１０とに基づく送信バッファ遅延時間２０５を算出する。

タイムスタンプ付加部１６は、送信バッファ部から出力されたビデオＥＳデータ１０４に送信バッファ遅延時間２０５に基づくタイムスタンプ情報を付加するとともに、タイムスタンプ補正を指示された場合には、タイムスタンプ補正時間２０６に基づいてタイムスタンプ情報を変更して、ビデオＴＳデータ１０５をビデオストリームとして伝送路に送出する。ここで、送信バッファ遅延時間２０５とは、例えばＭＰＥＧ−２の場合にはＶＢＶ＿ｄｅｌａｙ初期値であり、Ｈ．２６４／ＡＶＣの場合にはＣＰＢ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ初期値に相当する送信バッファ部１３における遅延変動量であり、この遅延変動量の範囲内でビデオＥＳデータのビット量を制御すれば、画像復号装置における受信バッファがアンダーフローを起こさずに復号画像を表示し続けることが保証される。また、タイムスタンプ情報は、画像符号化部１２における遅延時間および送信バッファ遅延時間２０５を加算した時間であり、画像信号１０２の符号化を開始した時刻に対して、タイムスタンプ情報を足しこんだ時刻をＤＴＳ（ＤｅｃｏｄｉｎｇＴｉｍｅＳｔａｍｐｓ）としてビデオＴＳデータ１０５を生成する。なお、タイムスタンプ変更指示信号３０５は、ストリーム遮断時間算出部１４から指示される。

ここで、伝送路が安定した状態でビットレートが一定の場合には、これまで説明したようにビデオＥＳデータ１０３の情報発生量を制御することによって、画像復号装置における受信バッファはアンダーフローを起こすことなく、安定した復号画像を得ることが可能となる。

次に、伝送路が不安定な状態で符号化データの送信が遮断される場合の動作を説明する。伝送路のビットレートが０となり、ビデオＴＳデータ１０５を送出できなくなると、送信バッファ部１３からビデオＥＳデータ１０４を引き抜くことができなくなり、送信バッファのデータ残量が増加していくことになる。

このような状況下において、ストリーム遮断時間算出部１４では、外部から通知されたビットレート２０７と経過時間とからストリーム遮断時間２１０を算出し、その遮断時間に応じてビデオＥＳデータ１０４のうちのＢピクチャおよびＰピクチャのビデオＥＳデータを廃棄するようにストリーム廃棄情報２１１を決定する。また、遮断時間がある所定の時間を超過した場合は、さらに残っているＩピクチャのビデオＥＳデータも周期的に間引いて廃棄してもよい。その後、伝送路が正常に復帰した時点で、送信バッファ部１３に残されているＩピクチャのビデオＥＳデータのみをタイムスタンプ付加部１６を経由して伝送路に送出する。

図３は、この発明の実施の形態１における画像符号化装置に伝送路の遮断期間が発生した場合のビデオＥＳデータ送出の一例を示す説明図である。図において、入力画像はフレーム蓄積部１１への画像入力、符号化画像は画像符号化部１２への画像入力、ビデオＥＳ蓄積は送信バッファ部１３へ蓄積されるＭ値＝３で符号化したビデオＥＳデータを示している。伝送路状態は通常の伝送が実行される期間と伝送が遮断された遮断期間に分けられ、ビデオＴＳ送出は通常期間に対応して伝送路に送出されたビデオＴＳデータを示している。

伝送路状態が通常の場合は、送信バッファ部１３に書き込まれたデータが所定の遅延時間後にビデオＴＳデータとして送出される。ここで、伝送路状態が遮断された場合には、遮断期間に生成されたＰピクチャおよびＢピクチャ（斜線で表されたピクチャ）のビデオＥＳデータを廃棄し、遮断期間中はＩピクチャのみ蓄積していく。データを廃棄するには、例えば送信バッファ部１３のメモリに書き込まれたビデオＥＳデータのうち、廃棄するデータ領域を次のビデオＥＳデータで上書きするよう送信バッファ書き込み制御信号３０３を制御する、または廃棄するデータ領域を読み出さないよう送信バッファ読み出し制御信号３０４を制御する少なくとも一方の方法を実行することでデータを廃棄する。

このような送信バッファ書き込み制御信号３０３または送信バッファ読み出し制御信号３０４を用いて送信バッファ部１３を制御する方法は、いずれか一方を実装することで対応することが可能である。また、例えば両方を実装し、遮断期間開始後に、第一段階の廃棄として送信バッファへビデオＥＳデータを上書きして書き込みながら、遮断時間がある所定の時間を超過した場合は、第二段階の廃棄としてピクチャ間隔をさらに長くして読み出す二段階の廃棄を行うようにしてもよい。なお、送信バッファへビデオＥＳデータを書き込んだ後、廃棄を決めたビデオＥＳデータによるデータ領域の断片化を解消し、より連続したデータ領域を確保する処理を行うようにしても構わない。

その後、伝送路状態が通常に戻った時点で、送信バッファ部１３に溜まっているＩピクチャのビデオＥＳデータのみを読み出し、遮断期間および遮断期間中のＩピクチャ送出期間に生成されたＩピクチャのビデオＴＳデータの送出が完了したら、それ以降に生成されたＩピクチャのビデオＥＳデータからＰピクチャおよびＢピクチャのビデオＥＳデータを含むすべてのピクチャのビデオＴＳデータを送出するように制御する。ここで、伝送路状態が通常に戻っても、遮断期間中に蓄積したＩピクチャの送出期間は、蓄積されたＩピクチャのビデオＴＳデータの送出が完了するまで、ＰピクチャおよびＢピクチャのビデオＥＳデータの廃棄は継続することになる。

このとき、タイムスタンプ付加部１６では、遮断期間後に送出するＩピクチャに付加するタイムスタンプ情報を、遮断期間後の表示時刻に変更し、さらに廃棄したＢピクチャおよびＰピクチャの時刻分を差し引いた時刻に変更した値にする。例えば、Ｍ値＝３、Ｎ値＝１５、フレームレート＝３０で符号化している時に伝送路状態に遮断期間が発生した場合に、遮断時間が０．５秒経過するごとにその期間に符号化したＢピクチャおよびＰピクチャのビデオＥＳデータを廃棄したとする。遮断期間が終了した時点で、１５フレームごとに符号化したＩピクチャのビデオＥＳデータのみを送出するが、タイムスタンプ情報は遮断期間後の時刻に送信バッファ遅延時間を加算した値から、例えば０．１秒ごとの時刻を付加する。ビデオＴＳデータを受信した画像復号装置側では、遮断期間中に入力された画像データが遅れて到着し、０．５秒ごとの復号画像が０．１秒周期でコマ落ちした状態で表示される。

また、符号化制御部１５では、ストリーム遮断時間の間はＢピクチャおよびＰピクチャの情報発生量が最小限になるように、ＮｏｔＣｏｄｅｄＭＢにて符号化を行うよう符号化モードを含む符号化パラメータを制御してもよい。このとき、遮断期間中のＢピクチャおよびＰピクチャのビデオＥＳデータを廃棄せずにそのまま送出してもよく、その場合はタイムスタンプ付加部１６におけるＢピクチャおよびＰピクチャを廃棄した分のタイムスタンプ情報の補正が不要となる。また、遮断時間がある所定の時間を超過した場合は、ＧＯＰ単位でビデオＥＳデータを廃棄し、遮断期間後にＧＯＰ単位で間引かれたビデオＴＳデータのタイムスタンプ情報を変更して送出してもよい。

以上のように、この発明の実施の形態１に係る画像符号化装置によれば、伝送路が不安定で遮断された場合に、遮断期間中に入力された画像の符号化データを遮断時間に応じてピクチャタイプごとに廃棄するように符号化モードを含む符号化パラメータを制御し、遮断期間後に遅延させたビデオＴＳデータを送出しているので、遮断期間の動画像全体が欠落することなく、画像復号装置側にて遮断期間中の復号画像を得ることが可能となるという効果を奏する。

また、この発明の実施の形態１に係る画像符号化装置によれば、伝送路が不安定で遮断された場合に、遮断期間中のＢピクチャおよびＰピクチャの情報発生量が最小限になるように符号化モードを含む符号化パラメータを制御し、遮断期間後に遅延させたビデオＴＳデータを送出しているので、画像復号装置側にて遮断期間中の復号画像を得ることが可能となるという効果を奏する。

また、この発明の実施の形態１に係る画像符号化装置によれば、遮断期間中のビデオＴＳデータを送出する際に、ＰピクチャおよびＢピクチャの符号化データの廃棄による間引き状況に応じてタイムスタンプを変更しているので、画像復号装置側にて復号エラーによる画像の乱れが発生せず、安定した復号画像を得ることが可能となるという効果を奏する。

実施の形態２．
この発明の実施の形態１では、伝送路の遮断期間中の符号化データをピクチャタイプに応じて廃棄する画像符号化装置について説明した。次に、この発明の実施の形態２では、入力画像の特徴によりシーンチェンジの発生を検出し、シーンチェンジが発生したピクチャのみのビデオＴＳデータを遮断期間後に送出する画像符号化装置について説明する。

図４は、この発明の実施の形態２における画像符号化装置の全体構成の一例を示すブロック図である。先に図１に示した実施の形態１における画像符号化装置の全体構成に対して、入力フレーム（現フレーム画像信号１０１）とこのフレームの直前の入力フレーム（直前フレーム画像信号１０６）とを比較してシーンチェンジを判定し、シーンチェンジ検出結果２１２を符号化制御部１５に出力するシーンチェンジ検出部１７を追加している。シーンチェンジ検出部１７におけるシーンチェンジの判定には、例えば現フレーム画像信号１０１と直前フレーム画像信号１０６との画素ごとのフレーム間差分値の絶対値和を算出し、算出した絶対値和の大きさによりシーンチェンジを検出するようにする。

次に動作について、実施形態１と異なる点を説明する。

シーンチェンジ検出部１７は、現フレーム画像信号１０１と直前フレーム画像信号１０６とを比較してシーンチェンジを判定し、シーンチェンジ検出結果２１２を符号化制御部１５に出力する。シーンチェンジは、例えば現フレーム画像信号１０１と直前フレーム画像信号１０６とのフレーム間差分値の絶対値和が所定の閾値よりも大きい場合に発生したと判定する。

符号化制御部１５は、伝送路の遮断期間が発生した場合、最初のＩピクチャ以降は、シーンチェンジ検出結果２１２に基づいて、シーンチェンジを検出したピクチャのみをＩピクチャとして符号化を行うように、ピクチャタイプ２０１、符号化モード２０２を含む符号化パラメータを画像符号化部１２に出力することで制御する。シーンチェンジが検出されないピクチャは、符号化を行わずに廃棄して間引かれる。

なお、符号化制御部１５は、伝送路の遮断期間が発生した場合、最初のＩピクチャ以降は、シーンチェンジ検出結果２１２に基づいて、シーンチェンジを検出したピクチャのみをＩピクチャとして符号化させ、それ以外のシーンチェンジが検出されないピクチャは符号化を行わずに廃棄して間引くものとして説明したが、例えばこれらのピクチャを廃棄せずにＰピクチャまたはＢピクチャとして、情報発生量が最小限になるようにＮｏｔＣｏｄｅｄＭＢにて符号化させるように、ピクチャタイプ２０１、符号化モード２０２を含む符号化パラメータを画像符号化部１２に出力することで制御してもよい。

ストリーム遮断時間算出部１４は、この発明の実施の形態１と同様に、ＩピクチャのビデオＥＳデータ１０４のみを送出するようにストリーム廃棄情報２１１を生成するとともに、Ｉピクチャを読み出すように送信バッファ部１３に送信バッファ読み出し制御信号３０４を指示し、タイムスタンプ補正時間２０６を算出してタイムスタンプ付加部１６にタイムスタンプ変更指示信号３０５を指示する。

なお、ストリーム遮断時間算出部１４は、符号化制御部１５にてシーンチェンジが検出されないピクチャについても、ＰピクチャまたはＢピクチャとして、情報発生量が最小限になるように符号化を行う場合は、すべてのビデオＥＳデータ１０４を送出するように送信バッファ部１３に送信バッファ読み出し制御信号３０４を指示し、タイムスタンプ補正時間２０６を算出してタイムスタンプ付加部１６にタイムスタンプ変更指示信号３０５を指示する。

タイムスタンプ付加部１６は、この発明の実施の形態１と同様に、タイムスタンプ変更指示信号３０５が指示されると、タイムスタンプ補正時間２０６に基づいてタイムスタンプ情報を変更してビデオＴＳデータ１０５を伝送路に出力する。

このように、この発明の実施の形態２に係る画像符号化装置では、フレーム蓄積部１１に入力される画像信号１０１におけるシーンチェンジを検出するシーンチェンジ検出部１７を備え、符号化制御部１５は、ビデオＴＳデータ１０５の送出が遮断されている間、シーンチェンジが検出された画像信号１０１の符号化に対するピクチャタイプ２０１をＩピクチャに決定するようにした。

以上のように、この発明の実施の形態２に係る画像符号化装置によれば、伝送路が不安定で遮断された場合に、シーンチェンジを検出したピクチャのみをＩピクチャとして符号化を行うようにピクチャタイプを含む符号化パラメータを制御し、遮断期間後に遅延させたビデオＴＳデータを送出しているので、画像復号装置側にて遮断期間中の復号画像を得ることが可能となるという効果を奏する。

また、この発明の実施の形態２に係る画像符号化装置によれば、伝送路が不安定で遮断された場合に、シーンチェンジを検出したピクチャをＩピクチャ、それ以外のシーンチェンジが検出されないピクチャはＰピクチャまたはＢピクチャとして情報発生量が最小限になるように符号化を行うようにピクチャタイプを含む符号化パラメータを制御し、遮断期間後に遅延させたビデオＴＳデータを送出しているので、遮断期間の動画像全体が欠落することなく、画像復号装置側にて遮断期間中の復号画像を得ることが可能となるという効果を奏する。

また、この発明の実施の形態２に係る画像符号化装置によれば、遮断期間中のビデオＴＳデータを送出する際に、ＰピクチャおよびＢピクチャの符号化データの廃棄による間引き状況に応じてタイムスタンプを変更しているので、画像復号装置側にて復号エラーによる画像の乱れが発生せず、安定した復号画像を得ることが可能となるという効果を奏する。

実施の形態３．
この発明の実施の形態２では、入力画像の全体の特徴によりシーンチェンジの発生を検出し、ピクチャタイプを制御して遮断期間中にシーンチェンジが発生したピクチャのみについて符号化データを遮断期間後に送出する画像符号化装置について説明した。次に、この発明の実施の形態３では、現フレーム画像信号を複数のエリアに分割して直前フレーム画像信号の対応エリアとを比較してエリアごとにシーンチェンジの発生を検出し、符号化モードを制御して遮断期間中にシーンチェンジが発生したエリアを含むピクチャについて符号化データを遮断期間後に送出する画像符号化装置について説明する。

この発明の実施の形態３における画像符号化装置の全体構成を示すブロック図は、図４に示したこの発明の実施の形態２における画像符号化装置の全体構成の一例を示すブロック図と同様である。各ブロックの動作について、実施形態２と異なる点を説明する。

シーンチェンジ検出部１７は、現フレーム画像信号１０１と直前フレーム画像信号１０６とを複数のエリアに分割し、対応エリアを比較してエリアごとにシーンチェンジを判定し、シーンチェンジ検出結果２１２を符号化制御部１５に出力する。ピクチャの分割エリアは、例えば水平方向１／８ピクチャ×垂直方向１／８ピクチャとし、各エリアのフレーム間差分値の絶対値和を算出することで、フレーム間差分値の絶対値和が所定の閾値よりも大きいエリアをシーンチェンジが検出されたエリアと判定する。シーンチェンジ検出結果２１２は、現フレーム画像信号１０１の複数のエリアに対して、例えばすべてのエリアの判定結果をまとめたものとしてもよい。

符号化制御部１５は、伝送路の遮断期間が発生した場合、シーンチェンジ検出結果２１２に基づいて、シーンチェンジが検出されたエリア内のマクロブロックをフレーム内予測にて符号化し、それ以外のシーンチェンジが検出されないエリアは情報発生量が最小限になるように、ＮｏｔＣｏｄｅｄＭＢにて符号化を行うように、符号化モード２０２を含む符号化パラメータを画像符号化部１２に出力するとともに、ストリーム遮断時間算出部１４にピクチャタイプ２０８に代えて符号化モード２０２（図示せず）を出力する。

また、符号化制御部１５は、シーンチェンジが検出されないピクチャは、間引いてもよい。あるいは、情報発生量が最小限になるように、ＮｏｔＣｏｄｅｄＭＢにて符号化を行い、符号化モード２０２を含む符号化パラメータを画像符号化部１２に出力するとともに、ストリーム遮断時間算出部１４に符号化モード２０２を出力する。

ストリーム遮断時間算出部１４では、ピクチャ内のどのエリアにもシーンチェンジが検出されないピクチャのビデオＥＳデータ１０４は廃棄し、ピクチャ内の少なくとも１つのエリアにシーンチェンジが検出したピクチャを残すようにストリーム廃棄情報２１１を生成し、送出すべきピクチャのビデオＴＳデータ１０５のみをタイムスタンプ情報を変更するよう指示する。

このように、この発明の実施の形態３に係る画像符号化装置では、フレーム蓄積部１１に入力される画像信号１０１を複数のエリアに分割し、エリアごとにシーンチェンジを検出するシーンチェンジ検出部１７を備え、符号化制御部１５は、ビデオＴＳデータ１０５の送出が遮断されている間、複数のエリアのいずれかにシーンチェンジが検出された画像データを送信対象のピクチャとし、当該ピクチャの符号化モードをシーンチェンジが検出されたエリアをフレーム内予測モード、シーンチェンジが検出されなかったエリアを他のピクチャのエリア参照を示すＮｏｔＣｏｄｅｄＭＢのような符号化モードに決定するようにした。

よって、現フレーム画像信号１０１を複数のエリアに分割して直前フレーム画像信号１０６の対応エリアとを比較してエリアごとにシーンチェンジを判定するので、大域的には検出しにくい局所的なシーンチェンジを見逃さず判定することができるようになる。

以上のように、この発明の実施の形態３に係る画像符号化装置によれば、伝送路が不安定で遮断された場合に、現フレームと直前フレームの画像信号を複数のエリアに分割して対応するエリアごとにシーンチェンジを判定して、シーンチェンジを検出したエリア内のマクロブロックをフレーム内予測、それ以外のシーンチェンジが検出されないエリアは情報発生量が最小限になるようにＮｏｔＣｏｄｅｄＭＢにて符号化を行うように符号化モードを制御し、遮断期間後に遅延させたビデオＴＳデータを送出しているので、遮断期間の動画像全体が欠落することなく、画像復号装置側にて遮断期間中の復号画像を得ることが可能となるという効果を奏する。

また、この発明の実施の形態３に係る画像符号化装置によれば、遮断期間中のビデオＴＳデータを送出する際に、符号化データの廃棄による間引き状況に応じてタイムスタンプを変更しているので、画像復号装置側にて復号エラーによる画像の乱れが発生せず、安定した復号画像を得ることが可能となるという効果を奏する。

実施の形態４．
この発明の実施の形態２ではピクチャタイプ、また実施の形態３では符号化モードを制御して、遮断期間中の符号化データ量を削減する画像符号化装置について説明した。次に、この発明の実施の形態４では、遮断期間中の入力画像データの解像度を縮小して符号化データ量を削減する画像符号化装置について説明する。

図５は、この発明の実施の形態４における画像符号化装置の全体構成の一例を示すブロック図である。先に図１に示した実施の形態１における画像符号化装置の全体構成に対して、画像信号１０１の解像度を縮小変換する解像度変換部１８をフレーム蓄積部１１の前段に設けている。図において、解像度変換部１８は、符号化制御部１５からの解像度変換指示３０６に従って、画像信号１０１の解像度を縮小変換した解像度変換後画像信号１０７をフレーム蓄積部１１に出力する。

次に、この発明の実施形態１と異なる動作について説明する。

解像度変換部１８は、解像度変換指示３０６に従って、画像信号１０１の解像度を縮小し、解像度変換後画像信号１０７をフレーム蓄積部１１に出力する。解像度変換指示３０６がない場合は、解像度変換を行わず、入力された画像信号１０１がそのまま解像度変換後画像信号１０７として出力される。解像度変換指示３０６は、伝送路の遮断期間が発生した場合、符号化制御部１５から最初のＩピクチャ以降の画像信号１０１に対し、解像度変換部１８に指示される。解像度は、例えば送信バッファ部１３の送信バッファのデータ残量に基づいて、水平方向に３／４、２／３、１／２に縮小するように指示される。なお、垂直方向についても縮小してもよく、水平方向の縮小と組み合わせて縮小することもでき、また送信バッファのデータ残量に基づいて、段階的に解像度を縮小していっても構わない。

フレーム蓄積部１１は、解像度変換後画像信号１０７を入力順に蓄積し、符号化順に解像度変換された画像信号１０２を読み出す。画像符号化部１２は、この符号化順に読み出された画像信号１０２を符号化し、ビデオＥＳデータ１０３を生成する。遮断期間後に、この発明の実施の形態１と同様に、送信バッファ部１３が蓄積したビデオＥＳデータが読み出され、タイムスタンプ付加部１６がタイムスタンプ情報を変更したビデオＴＳデータが送出される。

なお、解像度変換部１８が行う解像度変換だけでなく、例えばこの発明の実施の形態１または実施の形態２で説明したように、伝送路の遮断期間中のピクチャタイプの制御を同時に適用して、ＰピクチャおよびＢピクチャを間引いて廃棄し、Ｉピクチャのみ符号化したビデオＥＳデータ１０４を送出することで、符号化データ量を削減するようにしてもよい。

また、解像度変換部１８が行う解像度変換だけでなく、例えばこの発明の実施の形態３で説明したように、伝送路の遮断期間中の符号化モードの制御を同時に適用して、ＰピクチャおよびＢピクチャの情報発生量が最小限になるように、ＮｏｔＣｏｄｅｄＭＢにて符号化を行うことで、符号化データ量を削減するようにしてもよい。

このようなこの発明の実施の形態の組合せは、送信バッファ部１３の送信バッファのデータ残量が圧迫される場合に有効であり、常に適用する形態だけでなく、遮断時間がある所定の時間を超過した場合にのみ適用する形態を採用しても構わない。

このように、この発明の実施の形態４に係る画像符号化装置では、入力される画像信号１０１の解像度を変更し、フレーム蓄積部１１に出力する解像度変換部１８を備え、符号化制御部１５は、ビデオＴＳデータ１０５の送出が遮断されている間、解像度変換部１８に画像データ１０１の解像度の縮小を指示するようにした。

以上のように、この発明の実施の形態４に係る画像符号化装置によれば、伝送路が不安定で遮断された場合に、画像信号の解像度を縮小して符号化するように制御し、遮断期間後に遅延させたビデオＴＳデータを送出しているので、遮断期間の動画像全体が欠落することなく、画像復号装置側にて遮断期間中の復号画像を得ることが可能となるという効果を奏する。

また、この発明の実施の形態４に係る画像符号化装置によれば、伝送路が不安定で遮断された場合に、遮断期間中のＢピクチャおよびＰピクチャの情報発生量が最小限になるように符号化モードを含む符号化パラメータを制御し、遮断期間後に遅延させたビデオＴＳデータを送出しているので、画像復号装置側にて遮断期間中の復号画像を得ることが可能となるという効果を奏する。

また、この発明の実施の形態４に係る画像符号化装置によれば、遮断期間中のビデオＴＳデータを送出する際に、符号化データの廃棄による間引き状況に応じてタイムスタンプを変更しているので、画像復号装置側にて復号エラーによる画像の乱れが発生せず、安定した復号画像を得ることが可能となるという効果を奏する。

実施の形態５．
この発明の実施の形態１ないし実施の形態４では、伝送路の遮断期間中に符号化したビデオＥＳデータを廃棄して伝送路の復帰後に送出する符号化データの情報量を削減する画像符号化装置について説明した。次に、この発明の実施の形態５では、入力される画像信号を制御する画像符号化装置について説明する。

図６は、この発明の実施の形態５における画像符号化装置の全体構成の一例を示すブロック図である。先に図１に示した実施の形態１における画像符号化装置の全体構成に対して、ストリーム遮断時間算出部１４から符号化制御部１５に出力するストリーム廃棄情報２１１に代えて入力画像廃棄情報２１３の出力を追加している。また符号化制御部１５から画像符号化部１２への出力に符号化開始／停止指示３０７を追加している。

次に動作について、この発明の実施の形態１ないし実施の形態４と異なる点を説明する。

ストリーム遮断時間算出部１４は、伝送路の遮断期間が発生すると、すべての画像信号１０１をフレーム蓄積部１１に書き込まずに、例えば０．５秒ごとに間引いた画像信号１０１をフレーム蓄積部１１に書き込むよう、入力画像廃棄情報２１３を生成して符号化制御部１５に出力する。なお、遮断時間がある所定の時間を超過した場合は、さらに書き込みの間隔を長くするように入力画像廃棄情報２１３を生成してもよい。

符号化制御部１５は、入力画像廃棄情報２１３に従って、フレームメモリ書き込み制御信号３０１を生成する。なお、遮断時間がある所定の時間を超過した場合は、すでに書き込んだ画像信号１０１にも遡って、周期的に間引いて廃棄するようにフレーム蓄積部１１に指示してもよい。あるいは、画像信号１０２を読み出す際のフレームメモリ読み出し制御信号３０２を制御して間引くようにフレーム蓄積部１１に指示してもよい。

また、符号化制御部１５は、伝送路の遮断期間中は、画像符号化処理を行わないよう、符号化停止指示３０７を画像符号化部１２に出力する。伝送路の状態が正常に戻ると、符号化開始指示３０７を画像符号化部１２に出力し、フレーム蓄積部１１から画像信号１０２を読み出すようフレームメモリ読み出し制御信号３０２を制御する。

画像符号化部１２は、フレーム蓄積部１１から読み出された画像信号１０２を例えばＭ値＝３、Ｎ値＝１５で通常の符号化処理を行い、ビデオＥＳデータ１０３を出力する。

ストリーム遮断時間算出部１４は、遮断期間中に入力された０．５秒周期の画像信号１０１のビデオＥＳデータ１０４に対してタイムスタンプ変更指示１１６を出力し、例えば０．１秒ごとのタイムスタンプ情報に変更した値を付加してビデオＴＳデータ１０５を出力する。

なお、符号化制御部１５が周期的に画像信号を間引くだけでなく、例えばこの発明の実施の形態１または実施の形態２で説明したように、伝送路の遮断期間中のピクチャタイプの制御を同時に適用して、ＰピクチャおよびＢピクチャを間引いて廃棄し、Ｉピクチャのみ符号化したビデオＥＳデータ１０４を送出することで、符号化データ量を削減するようにしてもよい。

また、符号化制御部１５が周期的に画像信号を間引くだけでなく、例えばこの発明の実施の形態３で説明したように、伝送路の遮断期間中の符号化モードの制御を同時に適用して、ＰピクチャおよびＢピクチャの情報発生量が最小限になるように、ＮｏｔＣｏｄｅｄＭＢにて符号化を行うことで、符号化データ量を削減するようにしてもよい。

また、符号化制御部１５が周期的に画像信号を間引くだけでなく、例えばこの発明の実施の形態４で説明したように、伝送路の遮断期間中のピクチャの解像度の制御を同時に適用して、縮小されたピクチャの符号化を行うことで、符号化データ量を削減するようにしてもよい。

ここに挙げたようなこの発明の実施の形態の組合せは、送信バッファ部１３の送信バッファのデータ残量が圧迫される場合に有効であり、常に適用する形態だけでなく、遮断時間がある所定の時間を超過した場合にのみ適用する形態を採用しても構わない。

このように、この発明の実施の形態５に係る画像符号化装置では、
符号化制御部１５は、ビデオＴＳデータ１０５の送出が遮断されている間、フレーム蓄積部１１に入力される画像データを間引くようにピクチャ入力を指示し、タイムスタンプ付加部１６は、遅延させて送出する符号化データのタイムスタンプ情報を変更するようにした。

以上のように、この発明の実施の形態５に係る画像符号化装置によれば、伝送路が不安定で遮断された場合に、ピクチャを所定の周期で間引いて符号化するように制御し、遮断期間後に遅延させたビデオＴＳデータを送出しているので、遮断期間の動画像全体が欠落することなく、画像復号装置側にて遮断期間中の復号画像を得ることが可能となるという効果を奏する。

また、この発明の実施の形態５に係る画像符号化装置によれば、伝送路が不安定で遮断された場合に、遮断期間中のＢピクチャおよびＰピクチャの情報発生量が最小限になるように符号化モードを含む符号化パラメータを制御し、遮断期間後に遅延させたビデオＴＳデータを送出しているので、画像復号装置側にて遮断期間中の復号画像を得ることが可能となるという効果を奏する。

また、この発明の実施の形態５に係る画像符号化装置によれば、遮断期間中のビデオＴＳデータを送出する際に、ピクチャの廃棄による間引き状況に応じてタイムスタンプを変更しているので、画像復号装置側にて復号エラーによる画像の乱れが発生せず、安定した復号画像を得ることが可能となるという効果を奏する。

１１フレーム蓄積部、１２画像符号化部、１３送信バッファ部、１４ストリーム遮断時間算出部、１５符号化制御部、１６タイムスタンプ付加部、１７シーンチェンジ検出部、１８解像度変換部、１０１画像信号、１０２画像信号、１０３ビデオＥＳデータ、１０４ビデオＥＳデータ、１０５ビデオＴＳデータ、１０６画像信号、１０７解像度変換後画像信号、２０１ピクチャタイプ、２０２符号化モード、２０３情報発生量、２０４送信バッファ使用情報、２０５送信バッファ遅延時間、２０６タイムスタンプ補正時間、２０７ビットレート、２０８ピクチャタイプ、２０９情報発生量、２１０ストリーム遮断時間、２１１ストリーム廃棄情報、２１２シーンチェンジ検出結果、２１３入力画像廃棄情報、３０１フレームメモリ書き込み制御信号、３０２フレームメモリ読み出し制御信号、３０３送信バッファ書き込み制御信号、３０４送信バッファ読み出し制御信号、３０５タイムスタンプ変更指示信号、３０６解像度変換指示、３０７符号化開始／停止指示（符号化停止指示、符号化開始指示）。

Claims

ピクチャ単位で、画像データを入力順にメモリに蓄積し、符号化順に並び替えて出力するフレーム蓄積部と、
前記フレーム蓄積部が出力した前記画像データをピクチャタイプと符号化モードとを含む符号化パラメータに基づいてピクチャごとに符号化し、ビデオデータを生成するとともに、前記ビデオデータの情報発生量を算出する画像符号化部と、
前記画像符号化部が生成した前記ビデオデータを送信バッファに一旦蓄積して出力するとともに、前記送信バッファにおける送信バッファ使用情報を算出する送信バッファ部と、
ビットレートの変動によるビデオストリームの送出が遮断されたストリーム遮断時間を算出し、前記符号化パラメータと前記情報発生量と前記送信バッファ使用情報とから廃棄するピクチャを決定してストリーム廃棄情報を生成し、前記送信バッファ部から送出させるピクチャの前記ビデオデータ出力を指示し、当該ビデオデータにおけるピクチャ廃棄状況に対して調整すべきタイムスタンプ補正時間を算出してタイムスタンプ補正を指示するストリーム遮断時間算出部と、
前記フレーム蓄積部への画像データ入出力および前記送信バッファ部へのビデオデータ入力を指示するとともに、前記ビットレートと前記送信バッファ使用情報とに基づいて決定した前記符号化パラメータを前記画像符号化部に指定して符号化させ、前記符号化パラメータと前記情報発生量とを前記ストリーム遮断時間算出部に出力して得た前記ストリーム廃棄情報に基づいて出力する前記ビデオデータに対して、前記ビットレートと前記ストリーム遮断時間とに基づく送信バッファ遅延時間を算出する符号化制御部と、
前記送信バッファ部から出力された前記ビデオデータに前記送信バッファ遅延時間に基づくタイムスタンプ情報を付加したビデオデータを生成するとともに、前記タイムスタンプ補正を指示された場合には、前記タイムスタンプ補正時間に基づいて前記ビデオデータの前記タイムスタンプ情報を変更して、ビデオストリームを伝送路に送出するタイムスタンプ付加部と
を備えた画像符号化装置。
前記フレーム蓄積部に入力される前記画像データにおけるシーンチェンジを検出するシーンチェンジ検出部
を備え、
前記符号化制御部は、前記ビデオストリームの送出が遮断されている間、前記シーンチェンジが検出された前記画像データの前記ピクチャタイプをＩピクチャに決定する
請求項１に記載の画像符号化装置。
前記ストリーム遮断時間算出部は、前記ビデオストリームの送出が遮断されている間、前記符号化パラメータに含まれる前記ピクチャタイプに基づいて、Ｉピクチャを送信対象のピクチャとし、Ｉピクチャでないピクチャを廃棄するピクチャに決定して前記ストリーム廃棄情報を決定する
請求項１または請求項２に記載の画像符号化装置。
前記フレーム蓄積部に入力される前記画像データを複数のエリアに分割し、エリアごとにシーンチェンジを検出するシーンチェンジ検出部
を備え、
前記符号化制御部は、前記ビデオストリームの送出が遮断されている間、前記複数のエリアのいずれかに前記シーンチェンジが検出された画像データを送信対象のピクチャとし、当該ピクチャの符号化モードを前記シーンチェンジが検出されたエリアをフレーム内予測モード、前記シーンチェンジが検出されなかったエリアを他のピクチャのエリア参照を示すモードに決定する
請求項１に記載の画像符号化装置。
入力される画像データの解像度を変更し、前記フレーム蓄積部に出力する解像度変換部
を備え、
前記符号化制御部は、前記ビデオストリームの送出が遮断されている間、前記解像度変換部に画像データの解像度の縮小を指示する
請求項１ないし請求項４のいずれか１項に記載の画像符号化装置。
前記符号化制御部は、前記ビデオストリームの送出が遮断されている間、前記フレーム蓄積部に入力される画像データを間引くようにピクチャ入力を指示し、
前記タイムスタンプ付加部は、遅延させて送出する符号化データのタイムスタンプ情報を変更する
ことを特徴とする請求項１ないし請求項５のいずれか１項に記載の画像符号化装置。