JP2013214894A

JP2013214894A - 画像符号化装置

Info

Publication number: JP2013214894A
Application number: JP2012084756A
Authority: JP
Inventors: Ayako Nemoto; 亞矢子根本
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2012-04-03
Filing date: 2012-04-03
Publication date: 2013-10-17
Anticipated expiration: 2032-04-03
Also published as: JP5984462B2

Abstract

【課題】ビットレート変更時の画質劣化を軽減すると共に、画像復号装置において復号エラーを発生させず、復号画像が途切れないようにする。
【解決手段】ストリーム送出時間算出部６は、ビットレート変更時に、送信バッファ部４に蓄積されている符号化したデータの送信バッファ残量１１０を基に解像度を変更するタイミングを決定する。符号化制御部７は、ビットレート変更時に解像度を変更するタイミングを利用して符号化モード１１９及び量子化ステップ１１８を制御する。画像符号化部３は、符号化制御部７からの符号化モード１１９及び量子化ステップ１１８に基づいて符号化を行う。
【選択図】図１

Description

本発明は、画像符号化装置に関し、特に、ビットレート変更時に、解像度を変更するタイミングを利用して符号化モードや量子化ステップまたはフレームレート等を制御するようにした画像符号化装置に関するものである。

動画像データを高能率に圧縮する符号化技術として、例えば国際標準規格であるＭＰＥＧ−２やＨ．２６４／ＡＶＣ等が挙げられる。これらは動き補償予測符号化、離散コサイン変換符号化、可変長符号化等を組み合わせたハイブリッド符号化方式である。動き補償予測には、フレーム内予測（イントラ予測）とフレーム間予測（インター予測）があり、符号化されるピクチャのタイプは動き補償予測の方式に応じて分類され、フレーム内予測による符号化のみを行うイントラ符号化ピクチャ（以下、Ｉピクチャと称する）、時間的に前方向のフレームとの間で動き予測を行い、その差分値と動き予測の情報を送ることによってデータを圧縮する前方向予測符号化ピクチャ（以下、Ｐピクチャと称する）及び時間的に前方向、後方向、もしくは双方向のいずれかのフレーム間で動き予測を行い、データを圧縮する双方向予測符号化ピクチャ（以下、Ｂピクチャと称する）の３種に分けられる。これらの動き補償予測符号化を用いて、Ｉピクチャを先頭とするＧＯＰ（ＧｒｏｕｐＯｆＰｉｃｔｕｒｅｓ）というピクチャ群を周期的に繰り返して符号化を行うのが一般的である。

画像符号化装置によって圧縮された画像データは、ネットワーク等を介して伝送され、画像復号装置によって復号された画像データを得ることが出来る。このとき伝送システムによって、符号化データを伝送するビットレートが固定レートの場合と可変レートの場合が存在する。リアルタイム伝送における可変レートのシステムでは、レートの切り替わり時に、符号化データの情報量を抑える必要が生じる場合があり、その結果復号画像が著しく劣化する、または情報量を抑えきれずに符号化データが伝送路上で欠落し、復号画像が乱れるという問題が発生する。

従来の画像符号化装置は、入力画像の符号化の困難さの程度に応じて、解像度及びフレームレートの少なくとも一方を変更して符号化を行い、またビットレートに応じて符号化対象画像の解像度の上限値または下限値を決定し、その範囲内で解像度を選択するような制御を行っていた。さらに、解像度変更後に所定の時間が経過または所定数の入力画像を処理するまで解像度を変更しないように制御することによって、低ビットレートで解像度が頻繁に切り替わることに起因するボケなどの違和感が発生しない画像符号化を行うことができ、主観的な画質劣化を防止していた（例えば、特許文献１参照）。

国際公開第２０１０／１５０４７０号公報

従来の画像符号化装置は、ビットレートの変更に対応して解像度を切り替えていたが、所定の時間が経過するまで解像度を変更しないため、ビットレートの変更が頻繁に発生しビットレートが大幅に下がった場合に、量子化ステップが大きくなり復号画像が劣化する、または送信バッファがオーバーフローするという問題点があった。あるいは、情報量を抑えきれずに伝送路にて符号化データが欠落し、画像復号装置にて復号画像が途切れるという問題点があった。

この発明は上記のような問題点を解決するためになされたもので、ビットレート変更時の画質劣化を軽減すると共に、画像復号装置において復号エラーを発生させず、復号画像が途切れないようにすることを目的とする。

この発明に係る画像符号化装置は、画像信号を入力し、画像信号に対してフレーム内予測、フレーム間予測及び可変長符号化を用いて符号化を行い、ビットレートが変動する伝送路に符号化した画像信号のデータを送出する画像符号化装置において、入力された画像信号の解像度を変換する解像度変換手段と、解像度変換手段で解像度変換された画像信号を入力順から符号化順に並べ替える並べ替え手段と、並べ替え手段から出力された画像信号を符号化する符号化手段と、符号化手段で符号化されたデータを蓄積し、ビットレートに従って伝送路に送出する送信手段と、送信手段から送出されるデータにタイムスタンプ情報を付加するタイムスタンプ情報付加手段と、ビットレートに応じて解像度変換手段の解像度を決定する解像度決定手段と、ビットレート変更時に、送信手段に蓄積されている符号化したデータのビット量を基に解像度を変更するタイミングを決定するタイミング決定手段と、ビットレート変更時に解像度を変更するタイミングを利用して符号化モード及び量子化ステップを制御する符号化制御手段とを備え、符号化手段は、符号化制御手段で制御される符号化モード及び量子化ステップに基づいて符号化を行うようにしたものである。

この発明の画像符号化装置は、ビットレート変更時に、送信手段に蓄積されている符号化したデータのビット量を基に解像度を変更するタイミングを決定し、このタイミングを利用して、符号化手段が符号化モード及び量子化ステップを制御するようにしたので、ビットレート変更時の画質劣化を軽減すると共に、画像復号装置において復号エラーを発生させず、復号画像が途切れないようにすることができる。

この発明の実施の形態１による画像符号化装置を示す構成図である。この発明の実施の形態１による画像符号化装置のフレームメモリ部への書き込み及び読み出しピクチャを示す説明図である。この発明の実施の形態１による画像符号化装置のビットレート変更時の送信バッファ残量の動きの一例を示す説明図である。この発明の実施の形態１による画像符号化装置のビットレート変更時にタイムスタンプを変更する場合の送信バッファ残量の動きの一例を示す説明図である。この発明の実施の形態２による画像符号化装置を示す構成図である。この発明の実施の形態４による画像符号化装置を示す構成図である。

実施の形態１．
図１はこの発明の実施の形態１における画像符号化装置の全体構成を示すブロック図である。
図１において、解像度変換部１は、画像符号化装置に入力された画像信号１０１の解像度を縮小するブロックであり、解像度変換手段を構成している。フレームメモリ部２は、解像度変換部１における解像度変換後の画像信号１０２を書き込み制御信号１０３に従ってピクチャ単位で蓄積する図示しないメモリを備えたブロックであり、並べ替え手段を構成している。画像符号化部３は、フレームメモリ部２に蓄積された画像信号１０２をＧＯＰ構造１２０に従って符号化順に並び替えるよう読み出し制御信号１０５を生成し、読み出された画像信号１０４をフレーム内予測またはフレーム間予測、可変長符号化等を用いて符号化するブロックであり、符号化手段を構成している。送信バッファ部４は、画像符号化部３から出力されるビデオＥＳ（ＥｌｅｍｅｎｔａｒｙＳｔｒｅａｍ）データ１０６を書き込み制御信号１０７に従って一旦蓄積し、ビットレートに応じた読み出し制御信号１０９に従ってビデオＥＳデータ１０８を出力すると共に、ビデオＥＳデータ１０８の送信バッファ部４における蓄積量（送信バッファ残量）１１０を出力するブロックであり、送信手段を構成している。

タイムスタンプ付加部５は送信バッファ遅延時間１１２を基にビデオＥＳデータ１０８にタイムスタンプ情報を付加してビデオＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）データ１１１を伝送路に出力するブロックであり、タイムスタンプ情報付加手段を構成している。ストリーム送出時間算出部６は、外部から指示される可変のビットレート１１３及びビットレート変更時の送信バッファ残量１１０からビデオＥＳデータ１０８が引き抜かれるのに要するフレーム時間を算出して解像度を変更するＧＯＰ切り替えタイミング情報１１４を決定し、また、送信バッファ残量１１０、ビットレート１１３及び送信バッファ遅延時間１１２を基にタイムスタンプ変更指示１１５及びタイムスタンプ補正時間１１６を出力するブロックであり、タイミング決定手段を構成している。

符号化制御部７は、ビットレート１１３、送信バッファ遅延時間１１２、送信バッファ残量１１０及びＧＯＰ構造１２０から決定したピクチャタイプ１１７を基に目標情報発生量を算出し、解像度１２１に応じてマクロブロック毎の量子化ステップ１１８、符号化モード１１９を決定して画像符号化部３に出力し、さらにビットレート変更時にはストリーム送出時間算出部６から出力されるＧＯＰ切り替えタイミング情報１１４及びビットレート変更前のＧＯＰ構造を基に新たなＧＯＰ構造１２０及びＧＯＰ内位置情報１２２を出力するブロックであり、符号化制御手段を構成している。解像度決定部８は可変のビットレート１１３、ＧＯＰ構造１２０及びＧＯＰ内位置情報１２２を基に解像度１２１を決定するブロックであり、解像度決定手段を構成している。

次に、実施の形態１の動作について説明する。
図１において、解像度変換部１は入力される画像信号１０１をビットレート１１３に応じた解像度１２１に変換する。例えば、水平方向または垂直方向の画素数をフィルタ処理にて３／４倍、２／３倍、１／２倍等に縮小する。変換後の画像信号１０２は書き込み制御信号１０３に従って入力順にピクチャ単位でフレームメモリ部２に書き込む。

フレームメモリ部２は、入力順で書き込まれた画像信号１０２を読み出し制御信号１０５に従って符号化順に並べ替え、画像信号１０４として出力する。例えばＭ値（ＩまたはＰピクチャの間隔）＝３、Ｎ値（Ｉピクチャの間隔）＝１５の場合のフレームメモリ部２への書き込み及び読み出しピクチャを図２に示す。

画像符号化部３は、図２に示したようなＧＯＰ構造１２０及びピクチャタイプ１１７を基に読み出し制御信号１０５を生成し、フレームメモリ部２から符号化順に画像信号１０４を読み出す。読み出した画像信号１０４はピクチャタイプ１１７、量子化ステップ１１８、符号化モード１１９に従ってフレーム内予測またはフレーム間予測、可変長符号化等を用いた符号化を行い、書き込み制御信号１０７と共に可変長のビデオＥＳデータ１０６を出力する。

送信バッファ部４は、ビデオＥＳデータ１０６をメモリに一旦蓄積し、ビットレートに応じた読み出し制御信号１０９に従ってビデオＥＳデータ１０８を出力する。また書き込まれたビデオＥＳデータ１０６のビット量及び読み出されたビデオＥＳデータ１０８のビット量から、メモリに蓄積されている送信バッファ残量１１０を算出する。

タイムスタンプ付加部５は、ビデオＥＳデータ１０８に対して送信バッファ遅延時間１１２を基にタイムスタンプ情報を付加して、ビデオＴＳデータ１１１を伝送路に出力する。ここで送信バッファ遅延時間１１２とは、例えば、ＭＰＥＧ−２の場合にはＶＢＶ＿ｄｅｌａｙ初期値であり、Ｈ．２６４／ＡＶＣの場合にはＣＰＢ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ初期値に相当する送信バッファ部４における遅延変動量であり、この遅延変動量の範囲内でビデオＥＳデータのビット量を制御すれば、画像復号装置における受信バッファがアンダーフローを起こさずに復号画像を表示し続けることが可能であることが保証される。タイムスタンプ情報は、画像符号化部３における遅延時間及び送信バッファ遅延時間１１２を加算した時間であり、画像信号１０４を符号化開始した時刻に対して、タイムスタンプ情報を足しこんだ時刻をＤＴＳ（ＤｅｃｏｄｉｎｇＴｉｍｅＳｔａｍｐｓ）としてビデオＴＳデータ１１１を生成する。

符号化制御部７は、送信バッファ残量１１０が送信バッファ遅延時間１１２を超えないようにビデオＥＳデータ１０６のビット量を制御する。すなわち、ビットレート１１３、送信バッファ遅延時間１１２、送信バッファ残量１１０及びピクチャタイプ１１７から次のピクチャの目標情報発生量を算出し、解像度１２１よりマクロブロック当たりの量子化ステップ１１８、符号化モード１１９を制御して画像符号化部３に出力する。

ビットレートが固定の場合は、以上のようにビデオＥＳデータ１０６のビット量を制御することによって、画像復号装置における受信バッファのアンダーフローを回避することが可能となり、安定した復号画像を得ることができる。ここで、ビットレートが可変の場合の動作を説明する。解像度決定部８では、ビットレート１１３に応じて符号化に最適な解像度１２１を決定する。このとき、ビットレート変更前後で解像度を変更する必要がある場合には、変更前の解像度によるＧＯＰを一度終了し解像度を変更した新たなＧＯＰとして符号化を行えば、画像復号装置にて復号画像の表示が一旦途切れることなくシームレスな解像度の変更が可能となる。

そこで、ストリーム送出時間算出部６では、外部からビットレート１１３の変更が指示された場合には、送信バッファ部４から出力されるビデオＥＳデータ１０８の引き抜きレートが新たなビットレートとなるように即座に読み出し制御信号１０９を変更する。また、このときの送信バッファ残量１１０から変更後のビットレート１１３にてビデオＥＳデータ１０８が引き抜かれるのに要する時間を算出し、その時間が経過した後に変更後のビットレート１１３に対応した新しい解像度１２１にて符号化を行うようＧＯＰ切り替えタイミング情報１１４を決定する。

ビットレート変更時の送信バッファ残量の動きの一例を図３に示す。横軸は時間を表しており、１ピクチャ時間をＴとしている。縦軸は送信バッファ残量を表しており、変更前のビットレートをＲとした場合、１ピクチャ当たりの引き抜き量はＲＴとなる。このとき、送信バッファがアンダーフローしないように常にバッファ残量がＲＴ分溜まっている状態でバッファ制御を行う。この図では、ビットレート変更を指示された時点でのバッファ残量を変更後のビットレートＲ’にてＲＴまで引き抜くのに要する時間は６Ｔとなる。そこで、ビットレート変更指示から６ピクチャ時間後から新しい解像度にて符号化を行うよう、ＧＯＰ切り替えタイミングを決定する。

このとき、符号化制御部７はビットレート変更指示からＧＯＰ切り替えタイミングまでの期間は、情報発生量が最小限になるようにＮｏｔＣｏｄｅｄＭＢにて符号化するよう量子化ステップ１１８及び符号化モード１１９を制御する。また、ＧＯＰ切り替えタイミングにて新しいＧＯＰが開始できるようＧＯＰ構造１２０、ＧＯＰ内位置情報１２２及びピクチャタイプ１１７を出力する。解像度決定部８は、ＧＯＰ切り替えタイミングから新しい解像度にて符号化が開始できるよう、フレームメモリ部２における入力順から符号化順への並び替えを考慮して、新しい解像度１２１を出力する。例えば、Ｍ値＝３の場合は符号化におけるＧＯＰ切り替えタイミングの３ピクチャ前から新しい解像度１２１を出力する。

ストリーム送出時間算出部６では、ビットレート変更を指示されたら、変更後のビットレートを用いて送信バッファ遅延時間１１２に相当するバッファ残量（ＣＰＢ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ初期値）を算出する。ビットレート変更を指示された時点でのバッファ残量が、変更後のビットレートにて算出したＣＰＢ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ初期値を下回っていた場合は、その値を超えないようにバッファ制御を行うことによって、画像復号装置にてバッファ破綻を起こさずに安定した復号画像を得ることが可能となる。
一方、ビットレート変更を指示された時点でのバッファ残量が、変更後のビットレートにて算出したＣＰＢ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ初期値を超えていた場合は、タイムスタンプ付加部５に対してビットレート変更直前ピクチャのタイムスタンプを再計算するようタイムスタンプ変更指示１１５及びタイムスタンプ補正時間１１６を出力する。バッファ残量が変更後のビットレートにて算出したＣＰＢ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ初期値を下回った以降は、その値を超えないようにバッファ制御を行う。

ビットレート変更時にタイムスタンプを変更する場合の送信バッファ残量の動きの一例を図４に示す。図３と同様に横軸は時間、縦軸は送信バッファ残量を表しており、変更前のビットレートＲにおけるＣＰＢ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ初期値をＮ×ＲＴとすると、変更後のビットレートＲ’におけるＣＰＢ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ初期値はＮ×Ｒ’Ｔとなる。ビットレート変更を指示された時点でのバッファ残量がＮ×Ｒ’Ｔを上回っているため、６Ｔ時間における符号化ピクチャのタイムスタンプをＮ×Ｒ’Ｔを下回るまでにかかる時間（ここでは３Ｔ時間）伸ばすようにタイムスタンプの再計算を行う。

このように、実施の形態１の画像符号化装置では、伝送路のビットレートが変化する場合に、瞬時にビットレートを変更すると共に、ビットレート変更時点での送信バッファ残量に応じてビットレートに最適な解像度に変更するタイミング及びビットレート変更から解像度変更までの期間の符号化モードを制御し、送信バッファ残量が最小になってから新たなＧＯＰを開始するようにしているので、ビットレート変更時の画質劣化を軽減することが可能となり、また送信バッファや伝送路にてストリームデータが欠落することがなく、画像復号装置にて安定した復号画像を得ることが可能となる。さらに、ビットレート変更時の送信バッファ残量及び変更後のビットレートに応じてタイムスタンプの再計算を行うようにしているので、画像復号装置にて復号エラーを発生させず、復号画像を途切れないようにすることが可能となる。

以上説明したように、実施の形態１の画像符号化装置によれば、画像信号を入力し、画像信号に対してフレーム内予測、フレーム間予測及び可変長符号化を用いて符号化を行い、ビットレートが変動する伝送路に符号化した画像信号のデータを送出する画像符号化装置において、入力された画像信号の解像度を変換する解像度変換手段と、解像度変換手段で解像度変換された画像信号を入力順から符号化順に並べ替える並べ替え手段と、並べ替え手段から出力された画像信号を符号化する符号化手段と、符号化手段で符号化されたデータを蓄積し、ビットレートに従って伝送路に送出する送信手段と、送信手段から送出されるデータにタイムスタンプ情報を付加するタイムスタンプ情報付加手段と、ビットレートに応じて解像度変換手段の解像度を決定する解像度決定手段と、ビットレート変更時に、送信手段に蓄積されている符号化したデータのビット量を基に解像度を変更するタイミングを決定するタイミング決定手段と、ビットレート変更時に解像度を変更するタイミングを利用して符号化モード及び量子化ステップを制御する符号化制御手段とを備え、符号化手段は、符号化制御手段で制御される符号化モード及び量子化ステップに基づいて符号化を行うようにしたので、ビットレート変更時の画質劣化を軽減すると共に、画像復号装置において復号エラーを発生させず、復号画像が途切れないようにすることができる。

また、実施の形態１の画像符号化装置によれば、タイミング決定手段は、ビットレート変更時に、送信手段に蓄積されている符号化したデータのビット量及び変更後のビットレートに応じて、解像度及びＧＯＰを変更するタイミングを決定するようにしたので、ビットレート変更時の画質劣化を軽減し、かつ、復号画像が途切れないようにすることができる。

また、実施の形態１の画像符号化装置によれば、符号化制御手段は、ビットレート変更から解像度変更までの期間において、情報発生量が最小限になるように符号化モード及び量子化ステップを制御するようにしたので、ビットレート変更時の画質劣化を軽減し、かつ、復号画像が途切れないようにすることができる。

また、実施の形態１の画像符号化装置によれば、タイムスタンプ情報付加手段は、ビットレート変更時に、送信手段に蓄積されている符号化したデータのビット量及び変更後のビットレートに応じて、ビットレート変更前の符号化したデータのタイムスタンプ情報を変更するようにしたので、画像復号装置において復号エラーを発生させず、復号画像が途切れないようにすることができる。

実施の形態２．
上記実施の形態１では、ビットレート変更から解像度変更までの期間の情報発生量が最小限になるように符号化モードを制御していたが、フレームメモリ部２から読み出す符号化順の画像信号１０４を制御する例を実施の形態２として以下に示す。

図５は、実施の形態２における画像符号化装置の全体構成を示すブロック図である。構成上の違いは、符号化制御部７ａがビットレート変更時に読み出し面繰り返し信号１２３を出力する点と、画像符号化部３ａがこの読み出し面繰り返し信号１２３に基づいて、ビットレート変更直前のピクチャの画像信号１０４を繰り返し読み出すように、読み出し制御信号１０５を生成する点である。他の構成は図１に示した実施の形態１と同様であるため、対応する部分に同一符号を付してその説明を省略する。

次に実施の形態２の動作について、実施の形態１と異なる点を説明する。
符号化制御部７ａは、実施の形態１と同様にビットレート変更時にＧＯＰ切り替えタイミング情報１１４が入力されたら、ビットレート変更指示からＧＯＰ切り替えタイミングまでの期間は、フレームメモリ部２から符号化順に読み出される画像信号１０４がビットレート変更直前と同じピクチャのデータを繰り返し読み出すよう、読み出し面繰り返し信号１２３を出力する。画像符号化部３ａは、ビットレート変更直前のピクチャの画像信号１０４を繰り返し読み出すように、読み出し制御信号１０５を生成し、同じピクチャを繰り返し符号化することによって、情報発生量が最小限となるように符号化を行う。

以上説明したように、実施の形態２の画像符号化装置によれば、画像信号を入力し、画像信号に対してフレーム内予測、フレーム間予測及び可変長符号化を用いて符号化を行い、ビットレートが変動する伝送路に符号化した画像信号のデータを送出する画像符号化装置において、入力された画像信号の解像度を変換する解像度変換手段と、解像度変換手段で解像度変換された画像信号を入力順から符号化順に並べ替える並べ替え手段と、並べ替え手段から出力された画像信号を符号化する符号化手段と、符号化手段で符号化されたデータを蓄積し、ビットレートに従って伝送路に送出する送信手段と、送信手段から送出されるデータにタイムスタンプ情報を付加するタイムスタンプ情報付加手段と、ビットレートに応じて解像度変換手段の解像度を決定する解像度決定手段と、ビットレート変更時に、送信手段に蓄積されている符号化したデータのビット量を基に解像度を変更するタイミングを決定するタイミング決定手段と、ビットレート変更時に解像度を変更するタイミングを利用して符号化対象の画像信号の選択を制御する符号化制御手段とを備え、符号化手段は、符号化制御手段で制御される画像信号の選択に基づいて、ビットレート変更から解像度変更までの期間において、情報発生量が最小限になるように符号化対象の画像信号を選択するようにしたので、実施の形態１と同様の効果を得ることが可能である。

実施の形態３．
上記実施の形態２では、ビットレート変更から解像度変更までの期間の情報発生量が最小限になるようにフレームメモリ部２から読み出す符号化順の画像信号１０４を制御していたが、フレームメモリ部２からの画像信号の読み出しを停止してフレームレートを落とし、ビデオＥＳデータ１０８の引き抜きのみを行ってもよく、これを実施の形態３として以下説明する。

図面上のブロック構成としては図５に示した実施の形態２と同様であるため、図５を用いて説明する。実施の形態３では、符号化制御部７ａから画像符号化部３ａへ出力する実施の形態２の読み出し面繰り返し信号１２３を読み出し停止信号に変更する。そして、画像符号化部３ａはビットレート変更から解像度変更までの期間はフレームメモリ部２からの画像信号１０４の読み出し及び画像符号化処理を停止してフレームレートを落とす。他の構成及び動作は実施の形態２と同様である。

以上説明したように、実施の形態３の画像符号化装置によれば、画像信号を入力し、画像信号に対してフレーム内予測、フレーム間予測及び可変長符号化を用いて符号化を行い、ビットレートが変動する伝送路に符号化した画像信号のデータを送出する画像符号化装置において、入力された画像信号の解像度を変換する解像度変換手段と、解像度変換手段で解像度変換された画像信号を入力順から符号化順に並べ替える並べ替え手段と、並べ替え手段から出力された画像信号を符号化する符号化手段と、符号化手段で符号化されたデータを蓄積し、ビットレートに従って伝送路に送出する送信手段と、送信手段から送出されるデータにタイムスタンプ情報を付加するタイムスタンプ情報付加手段と、ビットレートに応じて解像度変換手段の解像度を決定する解像度決定手段と、ビットレート変更時に、送信手段に蓄積されている符号化したデータのビット量を基に解像度を変更するタイミングを決定するタイミング決定手段と、ビットレート変更時に解像度を変更するタイミングを利用して符号化対象の画像信号のフレームレートを制御する符号化制御手段とを備え、符号化手段は、符号化制御手段で制御される画像信号のフレームレートに基づいて、ビットレート変更から解像度変更までの期間において、情報発生量が最小限になるように符号化する画像信号のフレームレートを制御するようにしたので、実施の形態１と同様の効果を得ることが可能である。

実施の形態４．
以上の実施の形態１〜３では、ビットレート変更を指示された時点でのバッファ残量が、変更後のビットレートにて算出したＣＰＢ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ初期値を超えていた場合は、タイムスタンプを付け替えるように制御していたが、送信バッファ部４から読み出すビデオＥＳデータ１０８を制御するようにしてもよく、これを実施の形態４として次に示す。

図６は、実施の形態４の全体構成を示すブロック図である。実施の形態１との構成上の相違点は、画像符号化部３ｂがストリーム送出時間算出部６ａに対してピクチャ情報発生量１２４を出力するようにした点と、ストリーム送出時間算出部６ａが、ビットレート変更を指示された時点でのバッファ残量が、変更後のビットレートにて算出したＣＰＢ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ初期値を超えていた場合は、ピクチャ情報発生量１２４の履歴から何ピクチャ分のビデオＥＳデータを破棄すればよいかを計算し、その分のビデオＥＳデータ１０８を読み出さないよう読み出し制御信号１０９ａを送信バッファ部４に送出するようにした点である。また、ストリーム送出時間算出部６ａからは、実施の形態１におけるタイムスタンプ付加部５へのタイムスタンプ変更指示１１５及びタイムスタンプ補正時間１１６は削除されている。

次に、実施の形態４の動作について、実施形態１〜３と異なる点を説明する。
画像符号化部３ｂは、画像符号化により発生したビデオＥＳデータ１０６のピクチャ情報発生量１２４をストリーム送出時間算出部６ａに出力する。ストリーム送出時間算出部６ａは、ピクチャ情報発生量１２４を所定数のピクチャ分保存しておく。ビットレート変更を指示された時点でのバッファ残量が、変更後のビットレートにて算出したＣＰＢ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ初期値を超えていた場合は、バッファ残量が変更後のビットレートにて算出したＣＰＢ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ初期値を下回るようにビデオＥＳデータを破棄する。すなわち、ストリーム送出時間算出部６ａは、ピクチャ情報発生量１２４の履歴から何ピクチャ分のビデオＥＳデータを破棄すればよいかを計算し、その分のビデオＥＳデータ１０８を読み出さないよう読み出し制御信号１０９ａを制御する。

以上説明したように、実施の形態４の画像符号化装置によれば、ビットレート変更時に、送信手段に蓄積されている符号化したデータのビット量及び変更後のビットレートに応じて、送信手段のビットレート変更前の符号化したデータを破棄するようにしたので、実施の形態１と同様の効果を得ることが可能である。

実施の形態５．
上記実施の形態４では、ビットレート変更を指示された時点でのバッファ残量が、変更後のビットレートにて算出したＣＰＢ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ初期値を超えていた場合は、その値を下回るように送信バッファ部４のビデオＥＳデータを破棄していたが、このときピクチャタイプ毎にビデオＥＳデータの破棄を制御してもよく、この例を実施の形態５として次に説明する。実施の形態５におけるブロック構成は図６に示した実施の形態４と同様であるため、図６を用いて説明する。

実施の形態５の画像符号化装置では、画像符号化部３ｂからストリーム送出時間算出部６ａに出力するピクチャ情報発生量１２４と共にピクチャタイプも出力する。ストリーム送出時間算出部６ａは、送信バッファ部４のビデオＥＳデータを破棄する場合に、ＣＰＢ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ初期値を下回るために必要なビット量を算出し、画像符号化部３ｂからのピクチャタイプに基づき、Ｂピクチャのみを破棄すればよい場合はＢピクチャのみを、Ｂピクチャ及びＰピクチャのみを破棄すればよい場合はＢピクチャ及びＰピクチャのみを破棄するよう、読み出し制御信号１０９ａを制御する。

以上説明したように、実施の形態５の画像符号化装置によれば、ビットレート変更時に、送信手段に蓄積されている符号化したデータのビット量及び変更後のビットレートに応じて、送信手段のビットレート変更前の符号化したデータの破棄をピクチャタイプ毎に制御するようにしたので、実施の形態１と同様の効果を得ることが可能である。また、実施の形態４に比べてビットレート変更時に動きが滑らかな復号画像を得ることが可能となる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１解像度変換部、２フレームメモリ部、３，３ａ，３ｂ画像符号化部、４送信バッファ部、５タイムスタンプ付加部、６，６ａストリーム送出時間算出部、７，７ａ符号化制御部、１０１，１０２，１０４画像信号、１０３，１０７書き込み制御信号、１０５，１０９，１０９ａ読み出し制御信号、１０６，１０８ビデオＥＳデータ、１１０送信バッファ残量、１１１ビデオＴＳデータ、１１２送信バッファ遅延時間、１１３ビットレート、１１４ＧＯＰ切り替えタイミング情報、１１５タイムスタンプ変更指示、１１６タイムスタンプ補正時間、１１７ピクチャタイプ、１１８量子化ステップ、１１９符号化モード、１２０ＧＯＰ構造、１２１解像度、１２２ＧＯＰ内位置情報、１２３読み出し面繰り返し信号、１２４ピクチャ情報発生量。

Claims

画像信号を入力し、当該画像信号に対してフレーム内予測、フレーム間予測及び可変長符号化を用いて符号化を行い、ビットレートが変動する伝送路に前記符号化した画像信号のデータを送出する画像符号化装置において、
前記入力された画像信号の解像度を変換する解像度変換手段と、
前記解像度変換手段で解像度変換された画像信号を入力順から符号化順に並べ替える並べ替え手段と、
前記並べ替え手段から出力された画像信号を符号化する符号化手段と、
前記符号化手段で符号化されたデータを蓄積し、前記ビットレートに従って前記伝送路に送出する送信手段と、
前記送信手段から送出されるデータにタイムスタンプ情報を付加するタイムスタンプ情報付加手段と、
前記ビットレートに応じて前記解像度変換手段の解像度を決定する解像度決定手段と、
ビットレート変更時に、前記送信手段に蓄積されている符号化したデータのビット量を基に解像度を変更するタイミングを決定するタイミング決定手段と、
前記ビットレート変更時に解像度を変更するタイミングを利用して符号化モード及び量子化ステップを制御する符号化制御手段とを備え、
前記符号化手段は、前記符号化制御手段で制御される符号化モード及び量子化ステップに基づいて符号化を行うことを特徴とする画像符号化装置。
タイミング決定手段は、ビットレート変更時に、送信手段に蓄積されている符号化したデータのビット量及び変更後のビットレートに応じて、解像度及びＧＯＰを変更するタイミングを決定することを特徴とする請求項１記載の画像符号化装置。
符号化制御手段は、ビットレート変更から解像度変更までの期間において、情報発生量が最小限になるように符号化モード及び量子化ステップを制御することを特徴とする請求項１または請求項２記載の画像符号化装置。
画像信号を入力し、当該画像信号に対してフレーム内予測、フレーム間予測及び可変長符号化を用いて符号化を行い、ビットレートが変動する伝送路に前記符号化した画像信号のデータを送出する画像符号化装置において、
前記入力された画像信号の解像度を変換する解像度変換手段と、
前記解像度変換手段で解像度変換された画像信号を入力順から符号化順に並べ替える並べ替え手段と、
前記並べ替え手段から出力された画像信号を符号化する符号化手段と、
前記符号化手段で符号化されたデータを蓄積し、前記ビットレートに従って前記伝送路に送出する送信手段と、
前記送信手段から送出されるデータにタイムスタンプ情報を付加するタイムスタンプ情報付加手段と、
前記ビットレートに応じて前記解像度変換手段の解像度を決定する解像度決定手段と、
ビットレート変更時に、前記送信手段に蓄積されている符号化したデータのビット量を基に解像度を変更するタイミングを決定するタイミング決定手段と、
前記ビットレート変更時に解像度を変更するタイミングを利用して符号化対象の画像信号の選択を制御する符号化制御手段とを備え、
前記符号化手段は、前記符号化制御手段で制御される画像信号の選択に基づいて、ビットレート変更から解像度変更までの期間において、情報発生量が最小限になるように符号化対象の画像信号を選択することを特徴とする画像符号化装置。
画像信号を入力し、当該画像信号に対してフレーム内予測、フレーム間予測及び可変長符号化を用いて符号化を行い、ビットレートが変動する伝送路に前記符号化した画像信号のデータを送出する画像符号化装置において、
前記入力された画像信号の解像度を変換する解像度変換手段と、
前記解像度変換手段で解像度変換された画像信号を入力順から符号化順に並べ替える並べ替え手段と、
前記並べ替え手段から出力された画像信号を符号化する符号化手段と、
前記符号化手段で符号化されたデータを蓄積し、前記ビットレートに従って前記伝送路に送出する送信手段と、
前記送信手段から送出されるデータにタイムスタンプ情報を付加するタイムスタンプ情報付加手段と、
前記ビットレートに応じて前記解像度変換手段の解像度を決定する解像度決定手段と、
ビットレート変更時に、前記送信手段に蓄積されている符号化したデータのビット量を基に解像度を変更するタイミングを決定するタイミング決定手段と、
前記ビットレート変更時に解像度を変更するタイミングを利用して符号化対象の画像信号のフレームレートを制御する符号化制御手段とを備え、
前記符号化手段は、前記符号化制御手段で制御される画像信号のフレームレートに基づいて、ビットレート変更から解像度変更までの期間において、情報発生量が最小限になるように符号化する画像信号のフレームレートを制御することを特徴とする画像符号化装置。
タイムスタンプ情報付加手段は、ビットレート変更時に、送信手段に蓄積されている符号化したデータのビット量及び変更後のビットレートに応じて、ビットレート変更前の符号化したデータのタイムスタンプ情報を変更することを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像符号化装置。
ビットレート変更時に、送信手段に蓄積されている符号化したデータのビット量及び変更後のビットレートに応じて、前記送信手段のビットレート変更前の符号化したデータを破棄することを特徴とする請求項１から請求項５のうちのいずれか１項記載の画像符号化装置。
ビットレート変更時に、送信手段に蓄積されている符号化したデータのビット量及び変更後のビットレートに応じて、前記送信手段のビットレート変更前の符号化したデータの破棄をピクチャタイプ毎に制御することを特徴とする請求項７記載の画像符号化装置。