JP2006345166A - 画像圧縮処理装置 - Google Patents

Abstract

【課題】圧縮処理に要する負担を増大することなく圧縮効率を高めることを可能にする。
【解決手段】ビットレート判定処理部１−４は、実効ビットレートが目標ビットレートを超えると判定すると、データ出力スイッチ１−５とデータ入力スイッチ１−６とにデータ削除タイミング信号１−（Ｎ）を出力する。データ出力スイッチ１−５は、この信号を受けるとオフ状態となり、圧縮データ１−（Ｄ）を破棄する。また、データ入力スイッチ１−６は、上記信号を受けることによりオフ状態となるため、フレームバッファの内容は保持される。このようにすることにより、次回のフレーム間符号化時には、圧縮データ１−（Ｄ）を破棄した以前のフレームを参照画像とする。
【選択図】図１

Description

この発明は、例えば、圧縮符号化された画像のデータを処理する画像圧縮処理装置に係わり、特に、ビットレートコントロール機能を備えた画像圧縮処理装置に関する。

近年のデジタル化に伴い、監視システムやＤＶＤ、ＢＳ放送などにおいてＭＰＥＧ（Moving Picture Experts Group）などの動画像データの圧縮・伸張技術が広く利用されている。また、ＡＤＳＬ（Asymmetric Digital Subscriber Line）やＣＡＴＶ（Cable Television）といったブロードバンドに限らず、携帯電話やＩＳＤＮなどのナローバンドにおいても、圧縮効率が高い動画像圧縮方式であるＭＰＥＧ−４を用いたＴＶ電話や映像コンテンツ配信が普及しつつある。

このようにデジタル化による画像伝送の用途が広がり、様々なインフラにおいて高品質の画像を伝送する要求が高まっている。例えば、ＴＶ電話機能を有する携帯電話の回線容量が６４ｋｂｐｓである場合、そのうち４０ｋｂｐｓ程度の帯域が画像伝送用に割り当てられている。それ以外の帯域では、音声や制御データなどを伝送しているため、画像データは必ず４０ｋｂｐｓ以下にビットレートを制御して伝送する必要がある。そこで、例えば、受信側装置の伝送帯域に応じてビットレートを制御して画像データを配信する画像伝送装置が提案されている（例えば、特許文献１を参照。）。
特開２００３−３０９８４７号公報

ところが、ＭＰＥＧ−４などの動画圧縮符号化技術は、圧縮符号化により生成されるデータ数をある程度に想定して処理を行うが、数十バイト単位のように高精度の制御が困難な圧縮アルゴリズムである。例えば、画像の複雑度が常に変化するような動画像を圧縮する場合には、想定する帯域の１．５〜２倍のデータが出力される場合もある。

例えば、上述した携帯電話では、画像データのビットレートが４０ｋｂｐｓを超えた場合は、画像データや音声データ、その他のデータが破壊されてしまう。画像データが破壊された場合には、ＭＰＥＧのような前後のフレームの画像を参照する予測符号化方式では、圧縮データが破壊されたフレームから予測のリファレンスとなるフレーム（以下、参照フレームと称する）になるまで、画像の乱れや崩れが連続して発生する。

この発明は上記事情に着目してなされたもので、その目的とするところは、圧縮処理に要する負担を増大することなく、圧縮効率を高めることができる画像圧縮処理装置を提供することにある。

上記目的を達成するためにこの発明に係わる画像圧縮処理装置は、複数フレームからなる動画データを予測符号化方式により圧縮符号化して出力する画像圧縮処理装置であって、参照画像に基づいて入力フレームの動画データをフレーム間符号化することにより圧縮データを生成する圧縮手段と、上記圧縮データのデータ量をもとに実効ビットレートを算出する算出手段と、上記実効ビットレートが目標ビットレートを超えるか否かを判定する判定手段とを備える。そして、上記判定手段により上記実効ビットレートが目標ビットレートを超えないと判定される場合は、上記圧縮データを出力し、次のフレーム処理には、直前のフレームに基づく画像を上記参照画像として用いる。一方、上記判定手段により上記実効ビットレートが目標ビットレートを超えると判定される場合は、上記圧縮データを破棄し、次のフレーム処理には、上記破棄される以前のフレームに基づく画像を上記参照画像として用いるものである。

この構成による画像圧縮処理装置では、圧縮データ量から算出される実効ビットレートと所定のビットレートを比較し、実効ビットレートが所定のビットレートを超える場合には、当該圧縮データを破棄し、次のフレーム処理には、上記破棄される以前の圧縮データに基づく画像を参照画像として用いるようにしている。これにより、実効ビットレートが所定のビットレートを超え、フレームが破棄された場合でも、画像の乱れや崩れを発生させることなく、次のフレームに対しても継続的にフレーム間圧縮処理を行うことが可能となる。

したがって、この発明によれば、圧縮処理に要する負担を増大することなく、圧縮効率を高めることができる画像圧縮処理装置を提供することができる。

図１は、この発明に係わる画像圧縮処理装置の一実施形態を示す構成図である。ここでは、ＭＰＥＧ−４などの予測符号化による圧縮符号化方式を用いた画像圧縮処理装置に本発明を適用した例を示す。

画像圧縮処理装置は、第１の加算器１−１と、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）／量子化処理部１−２と、可変長符号化処理部１−３と、ビットレート判定処理部１−４と、データ出力スイッチ１−５と、データ入力スイッチ１−６と、逆量子化／逆ＤＣＴ処理部１−７と、第2の加算器１−８と、フレームバッファ１−９と、動き検索処理部１−１０と、動き補償予測処理部１−１１とを備えている。

この画像圧縮処理装置では、１フレーム内の情報のみで圧縮を行うフレーム内符号化と、前後フレームからの差分情報をもとに圧縮するフレーム間符号化との２つの符号化タイプを定期的に切り替えて動画データを圧縮している。予測符号化を用いた圧縮符号化方式では、上述したフレーム内符号化を周期的に行い、単独で復号可能なフレームを周期的に挿入することで、ある程度の画質の維持および伝送エラーによる画像乱れや崩れから復帰する。

まず、図１を参照してフレーム内符号化の画像圧縮動作について説明する。
画像圧縮処理装置に画像デ−タ１−（Ａ）が到来すると、第１の加算器１−１と動き検索処理部１−１０とにそれぞれ入力される。符号化タイプがフレ−ム内符号化の場合では、動き検索処理部１−１０では動き検出処理を行わない。このため、動き情報１−（Ｍ）は「動きがない」という情報となり、この動き情報１−（Ｍ）が動き補償予測処理部１−１１と可変長符号化処理部１−３とに入力される。また、フレ−ム内符号化での動き補償予測処理部１−１１から出力する動き予測デ−タ１−（Ｊ）は“０”となる。

ところで、第１の加算器１−１は、入力された画像データ１−（Ａ）から動き予測デ−タ１−（Ｊ）を差分検出して、差分画像デ−タ１−（Ｂ）を出力する。このとき、フレ−ム内符号化の場合は動き予測デ−タ１−（Ｊ）が“０”であるため、第１の加算器１−１は、入力された画像データ１−（Ａ）の値を変更することなく差分画像デ−タ１−（Ｂ）として出力する。

上記差分画像デ−タ１−（Ｂ）は、ＤＣＴ／量子化処理部１−２に入力される。ＤＣＴ／量子化処理部１−２では、入力された差分画像デ−タ１−（Ｂ）に対してＤＣＴ処理および量子化処理を行い、生成された量子化デ−タ１−（Ｃ）を可変長符号化処理部１−３と逆量子化／逆ＤＣＴ処理部１−７とにそれぞれ入力する。

可変長符号化処理部１−３には、量子化デ−タ１−（Ｃ）と動き情報１−（Ｍ）とが入力され、量子化デ−タ１−（Ｃ）と動き情報１−（Ｍ）に対して可変長符号化処理を行う。可変長符号化処理部１−３からは、圧縮デ−タ１−（Ｄ）が出力され、出力された圧縮デ−タ１−（Ｄ）は、デ−タ出力スイッチ１−５に入力される。また、可変長符号化処理部１−３は、圧縮デ−タ１−（Ｄ）をもとに圧縮デ−タ数１−（Ｅ）を算出し、ビットレ−ト判定処理部１−４へ入力する。

ビットレ−ト判定処理部１−４は、過去nフレ−ムに渡る圧縮デ−タ数１−（Ｅ）を加算した結果から圧縮デ−タ１−（Ｄ）の実効ビットレ−トを算出し、実効ビットレ−トが目標ビットレ−トを超えるか否かを判定する。ビットレ−ト判定処理部１−４は、実効ビットレ−トが目標ビットレ−トを超えると判定すると、現在フレ−ムを含めた過去ｎフレ−ムに渡る圧縮デ−タ数１−（Ｅ）を保持し、デ−タ出力スイッチ１−５に対してデータ削除タイミング信号１−（Ｎ）を出力する。デ−タ出力スイッチ１−５は、通常時オンの状態であり、ここでは、ビットレ−ト判定処理部１−４からデータ削除タイミング信号１−（Ｎ）が発せられないものとするため、圧縮デ−タ１−（Ｄ）は出力圧縮デ−タ１−（Ｆ）として画像圧縮処理装置から出力される。

ここで、逆量子化／逆ＤＣＴ処理部１−７は、量子化データ１−（Ｃ）に対して逆量子化処理および逆ＤＣＴ処理を行い、逆ＤＣＴデータ１−（Ｇ）を生成する。そして、第２の加算器は、上記生成された逆ＤＣＴデータ１−（Ｇ）と動き補償予測１−１１から入力される動き予測デ−タ１−（Ｊ）を加算する。ここでは、符号化タイプがフレ−ム内符号化であるため入力される値は“０” であるため、第２の加算器１−８は、第２の加算器１−８は、入力した逆ＤＣＴデータ１−（Ｇ）の値を変更することなく加算画像データ１−（Ｈ）として出力する。加算画像データ１−（Ｈ）は、デ−タ入力スイッチ１−６に入力されるが、デ−タ入力スイッチ１−６は通常時オンの状態であるため、フレ−ムバッファ１−９に格納され、次に行われるフレーム間符号化処理における動き補償予測の参照画像として用いられる。

次に、この画像圧縮処理装置のフレーム間符号化動作について説明する。図２は、この画像圧縮処理装置のフレーム間符号化処理の手順とその内容を示すフローチャートである。
ステップＳ２ａにおいて、画像データ１−（Ａ）の入力を受け付けると、まず、第１の加算器１−１と、動き検索処理部１−１０とにそれぞれ入力される。そして、ステップＳ２ｂに移行し、フレーム間符号化処理を行う。すなわち、動き検索処理部１−１０は、前フレ−ムの画像データ１−（Ａ）から動いた箇所を検索し、その情報を動き情報１−（M）として動き補償予測処理部１−１１と可変長符号化処理部１−３とにそれぞれ入力する。ここで、前フレ−ムにおいてフレ−ムバッファ１−９に蓄積された加算画像データ１−（Ｈ）が、参照画像デ−タ１−（Ｉ）として動き補償予測処理部１−１１に入力される。動き補償予測処理部１−１１は、参照画像デ−タ１−（Ｉ）と動き情報１−（Ｍ）とから、参照画像デ−タ１−（Ｉ）から動きが発生したであろう座標の画像を算出し、これをフレ−ム間符号化の動き予測デ−タ１−（Ｊ）として出力する。

第１の加算器１−１は、入力された画像データ１−（Ａ）から１−（Ｊ）を差分して、差分画像デ−タ１−（Ｂ）を出力する。差分画像デ−タ１−（Ｂ）は、ＤＣＴ／量子化処理部１−２へ入力され、ＤＣＴ処理および量子化処理されて量子化デ−タ１−（Ｃ）として可変長符号化処理部１−３および逆量子化／逆ＤＣＴ処理部１−７へ入力される。可変長符号化処理部１−３では、量子化デ−タ１−（Ｃ）と動き情報１−（Ｍ）とに対してそれぞれ可変長符号化処理を行い、圧縮デ−タ１−（Ｄ）をデ−タ出力スイッチ１−５へ入力する。また、可変長符号化処理部１−３は、圧縮デ−タ数１−（Ｅ）をビットレ−ト判定処理部１−４へ入力する。

ここで、ステップＳ２ｃにおいて、ビットレ−ト判定処理部１−４は、過去nフレ−ムに渡る１−（Ｅ）を加算した結果から圧縮デ−タ１−（Ｄ）の実効ビットレ−トを算出し、実効ビットレ−トが目標ビットレ−トを超えるか否かを判定する。この判定において、実効ビットレ−トが目標ビットレ−トを超えないと判定されると、ステップＳ２ｄに移行し、ビットレ−ト判定処理部１−４は、現在フレ−ムを含めた過去nフレ−ムに渡る圧縮デ−タ数１−（Ｅ）を保持し、データ削除タイミング信号を出力しない。デ−タ出力スイッチ１−５は、圧縮デ−タ１−（Ｄ）を出力圧縮デ−タ１−（Ｆ）として画像圧縮処理装置より出力する。

次にステップＳ２ｅにおいて、フレームバッファの更新を行う。すなわち、逆量子化／逆ＤＣＴ処理部１−７では、量子化データ１−（Ｃ）に対して逆量子化処理および逆ＤＣＴ処理を行い、生成された逆ＤＣＴデータ１−（Ｇ）を第２の加算器１−８に入力する。ここで、動き補償予測処理部１−１１が動き予測データ１−（Ｊ）を第２の加算器１−８に入力する。第２の加算器１−８は、上記逆ＤＣＴデータ１−（Ｇ）と動き予測データ１−（Ｊ）を加算して加算画像デ−タ１−（Ｈ）を出力する。加算画像デ−タ１−（Ｈ）はデ−タ入力スイッチ１−６へ入力されるが、この場合デ−タ入力スイッチ１−６はオンの状態となるため、加算画像デ−タ１−（Ｈ）は、フレ−ムバッファ１−９へ記憶され次のフレ−ム処理まで蓄積される。

一方、ステップＳ２ｃの判定において、実効ビットレ−トが目標ビットレ−トを超えると判定されると、ステップＳ２ｆに移行し、ビットレ−ト判定処理部１−４は、データ削除タイミング信号１−（Ｎ）をデ−タ出力スイッチ１−５とデ−タ入力スイッチ１−６とにそれぞれ入力する。これにより、データ削除タイミング信号１−（Ｎ）を受けたデ−タ出力スイッチ１−５は、スイッチ回路をオフ状態とし、圧縮デ−タ１−（Ｄ）を出力しない（つまり、圧縮デ−タ１−（Ｄ）を破棄する）。

また、ステップＳ２ｇにおいて、データ削除タイミング信号１−（Ｎ）を受けたデ−タ入力スイッチ１−６は、スイッチ回路をオフ状態とし、加算画像デ−タ１−（Ｈ）をフレ−ムバッファ１−９へ入力しない。すなわち、前回の圧縮処理に使用した加算画像デ−タ１−（Ｈ）がフレ−ムバッファ１−９に保持される。そして、次のフレーム間符号化処理では、上述したようにフレ−ムバッファ１−９に保持された圧縮デ−タ１−（Ｄ）を破棄する前の参照画像をもとに動き補償予測が行われる。

以上述べたようにこの実施形態では、ビットレート判定処理部１−４は、実効ビットレートが目標ビットレートを超えると判定すると、データ出力スイッチ１−５とデータ入力スイッチ１−６とにデータ削除タイミング信号１−（Ｎ）を出力する。データ出力スイッチ１−５は、この信号を受けるとオフ状態となり、圧縮データ１−（Ｄ）を破棄する。また、データ入力スイッチ１−６は、上記信号を受けることによりオフ状態となるため、フレームバッファの内容は保持される。このようにすることにより、次回のフレーム間符号化時には、圧縮データ１−（Ｄ）を破棄した以前のフレームを参照画像とする。

ここで、図３に、本発明の画像圧縮処理装置による処理の一例を示す。この図において、実効ビットレート値が目標ビットレートを超えると判定されると、データ削除タイミング信号１−（Ｎ）が出力される。この信号が出力されたことにより、圧縮データ１−（Ｄ）の該当フレームが破棄され、このときの圧縮データ数１−（Ｅ）が０バイトとなっていることがわかる。そして、圧縮データ１−（Ｄ）の該当フレームが破棄された後、圧縮データ１−（Ｄ）が破棄される以前のフレームを参照画像としてフレーム間符号化が継続的に行われる。

さらに、本発明との比較のために、２つの構成例を挙げて説明する。図４は、本発明との比較のための処理手順と処理内容を示すフローチャートである。図５は、図４に示す処理手順により行われる画像圧縮処理の一例を示す図である。図４では、ステップＳ４ｂによる圧縮処理後に、ステップＳ４ｃにおいて上記圧縮処理を行ったフレームを復号した画像によりフレームバッファ１−９を更新する。そして、ステップＳ４ｄにおいて、実効ビットレートが目標ビットレートを超えると判定されたときに、ステップＳ４ｆにより単に上記圧縮データを破棄するようにしている。
この場合、図５に示すように、圧縮データが破棄された場合には、破棄された次のフレームの参照画像は、上記破棄された画像となってしまうため、受信側での復号処理を行うと、次回のフレーム内符号化されたフレームが到来するまで、連続して画像の乱れや崩れが発生してしまう。

また、比較のための他の構成例を示す。図６は、本発明との比較のための処理手順と処理内容を示すフローチャートである。図７は、図６に示す処理手順により行われる画像圧縮処理の一例を示す図である。図６において、ステップＳ６ｂによる圧縮処理後に、ステップＳ６ｃにおいて上記圧縮処理を行ったフレームを復号した画像によりフレームバッファ１−９を更新する。そして、ステップＳ６ｄにおいて、実効ビットレートが目標ビットレートを超えると判定されたときに、ステップＳ６ｆにより上記圧縮データを破棄し、ステップＳ６ｇにおいて次回の圧縮処理を強制的にフレーム内符号化を行うようにしている。

図７によれば、圧縮データ１−（Ｄ）において破棄された後のフレームは、フレーム内符号化により処理されていることがわかる。フレーム内符号化は、フレーム間符号化と比較すると、一般的に、圧縮後のデータ量が大きいため、再び実効ビットレート値が目標ビットレートを超えてしまうこともあり得る。また、フレーム内符号化に要する処理量もフレーム間符号化と比較すると大きく、処理負荷が増大してしまう。

これに対し本発明では、実効ビットレートが目標ビットレートを超え、フレームが破棄された場合でも、画像の乱れや崩れを発生させることなく、次フレームに対しても継続的にフレーム間圧縮処理を行うことが可能となる。上記比較からも明らかなように、圧縮処理に要する負担を増大することなく圧縮効率を高めることができる。

なお、この発明は上記実施形態に限定されるものではない。例えば、処理対象の画像データとしては、種々なものが用いられてもよく、例えば、時間的に連続した複数のフレームから構成される動画像のデータや、時間的に連続していない静止画像のデータなどを用いることができる。

また、ビットレート判定処理部１−４において、データ削除タイミング信号１−（Ｎ）を供給する手段としては種々な手法が用いられてもよく、例えば、外部に設けられたビットレート測定装置から得られるビットレート情報をもとに上記信号を出力することもできる。

さらに、データ削除タイミング信号１−（Ｎ）を供給する条件としては、実効ビットレートが目標ビットレートを超えた時だけではなく、目標ビットレートに対する実効ビットレートの比を条件としてもよい。また、この画像圧縮処理装置が伝送路を介して他の装置に圧縮データを配信する場合には、伝送路のビットレートに対する実効ビットレートの比による削除タイミング供給の条件とするなど、画像圧縮処理装置およびシステムの要求仕様を満足する条件とすることができる。

ここで、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。また、発明は、例えば、本発明に係る処理を実行する方法あるいは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々な装置やシステムとして提供することも可能である。

例えば、プロセッサやメモリ等を備えたハードウェア資源において、プロセッサがＲＯＭ（Read Only Memory）に格納された制御プログラムを実行することにより実現される構成が用いられてもよい。また、例えば、当該処理を実行するための各種機能手段が独立したハードウェア回路として構成されてもよい。

また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Compact Disk）−ＲＯＭのようなコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。

その他にも、画像圧縮処理装置の構成や、各部の処理手順とその処理内容についても、この発明の要旨を逸脱しない範囲で種々に変形して実施できる。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

この発明に係わる画像圧縮処理装置の構成を示す図。 図１に示す画像圧縮処理装置の画像圧縮動作の処理手順とその処理内容を示すフローチャート。 図１に示す画像圧縮処理装置により行われる画像圧縮処理の一例を示す図。 本発明との比較例としての画像圧縮動作の処理手順とその処理内容を示すフローチャート。 図４に示す処理手順により行われる画像圧縮処理の一例を示す図。 本発明との比較例としての画像圧縮動作の処理手順とその処理内容を示すフローチャート。 図６に示す処理手順により行われる画像圧縮処理の一例を示す図。

符号の説明

１−１…第１の加算器、１−２…ＤＣＴ／量子化処理部、１−３…可変長符号化処理部、１−４…ビットレート判定処理部、１−５…データ出力スイッチ、１−６…データ入力スイッチ、１−７…逆量子化／逆ＤＣＴ処理部、１−８…第2の加算器、１−９…フレームバッファ、１−１０…動き検索処理部、１−１１…動き補償予測処理部、１−（Ａ）…画像データ、１−（Ｂ）…差分画像データ、１−（Ｃ）…量子化データ、１−（Ｄ）…圧縮データ、１−（Ｅ）…圧縮データ数、１−（Ｆ）…出力圧縮データ、１−（Ｇ）…逆ＤＣＴデータ、１−（Ｈ）…加算画像データ、１−（Ｉ）…参照画像データ、１−（Ｊ）…動き予測データ、１−（Ｍ）…動き情報、１−（Ｎ）…データ削除タイミング信号。

Claims (1)

1. 複数フレームからなる動画データを予測符号化方式により圧縮符号化して出力する画像圧縮処理装置であって、
   参照画像に基づいて入力フレームの動画データをフレーム間符号化することにより圧縮データを生成する圧縮手段と、
   前記圧縮データのデータ量をもとに実効ビットレートを算出する算出手段と、
   前記実効ビットレートが目標ビットレートを超えるか否かを判定する判定手段と、
   前記判定手段により前記実効ビットレートが目標ビットレートを超えないと判定される場合は、前記圧縮データを出力し、次のフレーム処理には、直前のフレームに基づく画像を前記参照画像として用いる手段と、
   前記判定手段により前記実効ビットレートが目標ビットレートを超えると判定される場合は、前記圧縮データを破棄し、次のフレーム処理には、前記破棄される以前のフレームに基づく画像を前記参照画像として用いる手段と
   を具備することを特徴とする画像圧縮処理装置。

Images