JP2007028598A - 圧縮符号化装置及び圧縮符号化方法 - Google Patents

Abstract

【課題】本発明は、ネットワークの影響による画像劣化を最小限に抑え、かつ伝送信号のビットレートのピーク値をネットワークの帯域制限の範囲内に収める圧縮符号化装置、及び符号化方法を提供する。
【解決手段】画像データに圧縮符号化処理を施して圧縮符号化信号を生成する圧縮符号化装置において、画像データに圧縮符号化処理を施す圧縮符号化手段と、圧縮符号化信号のビットレートを計測する予測手段と、計測手段による計測結果に応じて品質値を調整する第１調整手段と、該調整された後の品質値に応じて画像データのデータ量を調整する第２調整手段とを設ける。
【選択図】図２

Description

本発明は、映像等のデータを圧縮符号化して、所定のビットレートを有する圧縮符号化信号を生成する圧縮符号化装置及び圧縮符号化方法等に関する。

従来、映像や音声等のアナログ信号をカメラやマイクロフォン等の入力機器から取り込んで、これをデジタル信号に変換して圧縮符号化を施した後、ネットワークを介してモニタなどの出力機器に伝送するシステムとして、図１に示されるような構成が一般に知られている。

図１において、入力機器１は、映像や音声等の各種アナログ信号を取り込む、例えば、カメラやマイクロフォン及びそれに付随する増幅器等のアナログ信号入力機器である。圧縮符号化装置２は、入力機器１から供給されるアナログ信号をデジタル信号に変換して該デジタル信号に圧縮符号化処理やパケット化処理を施した後、これを所定の伝送速度でネットワーク３に送信するエンコーダである。ネットワーク３は、例えば、高速デジタル回線網やパケット交換網等のデジタル信号伝送用の通信回線網である。復号装置４は、ネットワーク３から受信したデジタル信号に所定の復号処理を施して、これをアナログ信号に変換した後、該アナログ信号をモニタやスピーカなどの出力機器５に出力するデコーダである。

図１に示される圧縮符号化装置２において従来から用いられる符号化技術としては、例えば、特許文献１に示されるような２つの符号化方式が知られている。その一つは、画像などのアナログ信号をＡ／Ｄ変換して得られたデジタル信号を圧縮符号化した後、一定の伝送ビットレートでネットワーク３に送出するいわゆる固定ビットレート方式である。そして、他の一つは、圧縮符号化されたデータ量に応じてネットワークに送出する伝送信号のビットレートの値を自動的に調整するいわゆる可変ビットレート方式である。

このような従来技術において、固定ビットレート方式の場合は、伝送信号のビットレートが固定されているため、動きの少ない画面では問題ないが動きの多い画面ではその画素情報を全て伝送することができず、出力機器５に再生される画像に画素情報の欠落によるノイズが目立つ欠点がある。そして、かかる不具合を解決すべく、一番動きの激しい画面に合わせて伝送信号のビットレートを設定すると、それ以外の画面では伝送されるべきデータ量に対してビットレートが過剰となり、符号化装置や復号装置等の複雑化や装置コストの上昇を招くことになる。

一方、可変ビットレート方式の場合は、伝送されるべきデータ量の変動に対応してビットレートを増減することができるので、画質を落とさずに、かつ適切なビットレートで画像信号を伝送することが可能となる。しかしなから、システムの稼動中に絶えずビットレートが変動するので、例えば、伝送周波数の帯域制限が施されており所定のビットレート以上の信号を遮断するようなネットワーク環境下では、伝送信号のビットレートが制限値をオーバーした際にパケットロスが生じて、出力機器５に再生された画像にノイズが発生する等の問題が生ずる。
特開２０００−４１２４０号公報

本発明は、このような問題を解決するために為されたものであって、ネットワークの影響による画像劣化を最小限に抑え、かつ伝送信号のビットレートのピーク値をネットワークの帯域制限の範囲内に収める圧縮符号化装置、及び符号化方法を提供する。

本発明による第１の圧縮符号化装置は、画像データに圧縮符号化処理を施して圧縮符号化信号を生成する圧縮符号化装置であって、前記画像データに品質値に応じた圧縮符号化処理を施す圧縮符号化手段と、前記圧縮符号化信号のビットレートを計測する計測手段と、前記計測手段による計測結果に応じて前記品質値を調整する第１調整手段と、該調整された後の品質値に応じて前記画像データのデータ量を調整する第２調整手段と、を含むことを特徴とする。

本発明による第１の圧縮符号化方法は、画像データに圧縮符号化処理を施して圧縮符号化信号を生成する圧縮符号化方法であって、前記画像データに品質値に応じた圧縮符号化処理を施すステップと、前記圧縮符号化信号のビットレートを計測するステップと、当該計測されたビットレートに応じて前記品質値を調整するステップと、該調整された後の品質値に応じて前記画像データのデータ量を調整するステップと、を含むことを特徴とする。

本発明による第２の圧縮符号化装置は、画像データに圧縮符号化処理を施して圧縮符号化信号を生成する圧縮符号化装置であって、前記画像データにフィルタリングを施す適応フィルタと、前記適応フィルタの出力に品質値に応じた圧縮符号化処理を施して圧縮符号化信号を生成する圧縮符号化手段と、前記圧縮符号化信号のビットレートを計測する計測手段と、当該計測されたビットレートに応じて前記適応フィルタのフィルタ特性を変化させる制御手段と、を含むことを特徴とする。

本発明による第３の圧縮符号化装置は、画像データに圧縮符号化処理を施して圧縮符号化信号を生成する圧縮符号化装置であって、前記画像データにフィルタリングを施す適応フィルタと、前記適応フィルタの出力に品質値に応じた圧縮符号化処理を施して圧縮符号化信号を生成する圧縮符号化手段と、前記圧縮符号化信号を含む伝送データの伝送ビットレートを予測するビットレート予測手段と、当該予測された伝送ビットレートに応じて前記適応フィルタのフィルタ特性を変化させる制御手段と、を含むことを特徴とする。

本発明による第２の圧縮符号化方法は、画像データに圧縮符号化処理を施して圧縮符号化信号を生成する圧縮符号化方法であって、適応フィルタを用いて前記画像データにフィルタリングを施すステップと、当該フィルタリングが施された画像データに品質値に応じた圧縮符号化処理を施して前記圧縮符号化信号を生成するステップと、前記圧縮符号化信号のビットレートを計測するステップと、当該計測されたビットレートに応じて前記適応フィルタのフィルタ特性を変化させるステップと、を含むことを特徴とする。

本発明による第３の圧縮符号化方法は、画像データに圧縮符号化処理を施して圧縮符号化信号を生成する圧縮符号化方法であって、適応フィルタを用いて前記画像データにフィルタリングを施すステップと、当該フィルタリングが施された画像データに品質値に応じた圧縮符号化処理を施して前記圧縮符号化信号を生成するステップと、前記圧縮符号化信号を含む伝送データの伝送ビットレートを予測するステップと、当該予測された伝送ビットレートに応じて前記適応フィルタのフィルタ特性を変化させるステップと、を含むことを特徴とする。

以下、図面を参照しつつ本発明の実施例を説明する。

＜第１実施例＞
本発明の第１実施例である圧縮符号化装置２０の構成の概要を図２に示す。

図２において、映像入力部２１は、同装置の前段に接続されたカメラなどの入力機器（図示せず）から供給されるアナログ信号に標本化や量子化等のＡ／Ｄ変換処理を施して、これをデジタル信号に変換する部分である。圧縮符号化制御部２２は、かかるデジタル信号について、予め定められたフレームレート指示、ビットレート指示、及びビットレート優先モード（以下、単に“ＢＲ優先”という。）指示等の各種の指令に従って、所定の圧縮符号化処理を施す部分である。また、圧縮符号化制御部２２は、かかる処理が施された信号を所定の単位パケットに分割して後段のネットワーク制御部２３に転送する。ネットワーク制御部２３は、圧縮符号化制御部２２から供給された信号を所定のタイミングで、パケット交換網などのデジタル通信ネットワーク（図示せず）に送出する部分である。レート制御部２４は、圧縮符号化制御部２２において処理を施すデータ量を監視する部分である。また、レート制御部２４は、かかるデータ量が予め設定されたビットレートで伝送可能な値を超過すると、その状況に応じて後述する各種の指示信号を圧縮符号化制御部２２に送出する。ここで、「ビットレート」とは、圧縮符号化制御部２２から出力される符号化信号の出力ビットレート、あるいは、ネットワーク制御部２３からデジタル通信ネットワークに送出すべき伝送データの伝送ビットレートを意味するものとする。

すなわち、圧縮符号化制御部２２において処理されるデータ量の値が予め設定されたビットレートで伝送可能な値を超過した場合、レート制御部２４は発生する情報量を抑圧するため、画像データの品質値を制御する指示信号を圧縮符号化制御部２２に送出する。

ここで、画像データの品質値とは、例えば、ＭＰＥＧ（Moving Picture Experts Group）方式に基づく画像圧縮符号化処理において、直交変換の一種であるＤＣＴ（Discrete Cosine Transform；離散コサイン変換）係数の高周波成分除去の際に利用される量子化パラメータであるＱ値を示すものである。したがって、かかる画像データの品質値を調整することにより、圧縮符号化制御部２２において圧縮符号化処理で得られる符号量（ビットレート）を調整することが可能となる。また、品質値として、量子化パラメータの組み合わせである量子化マトリックスが使用されてもよい。一般に量子化マトリクスには、画像データの低空間周波数成分に比べてその高空間周波数成分に粗い量子化が施されるような量子化パラメータが規定されている。

なお、本発明において画像データの品質値とは画像の明瞭度を示すパラメータを意味するものであり、かかる品質値は、正確には画像の解像度やコントラストと一義的に対応する値ではないが、その値に応じて比較的にくっきりとした画像が得られたり、比較的にぼんやりとした画像が得られたりする。あるいは、品質値は、圧縮符号化された画像データの画質劣化量に対応する値であるということもできる。品質値を前記Ｑ値とした場合、Ｑ値が高いほどに圧縮符号量は小さく、品質値が低いほどに圧縮符号量は大きくなる。このため、Ｑ値が高いほどに画質劣化量が大きくなる。

また、本実施例では、圧縮符号化制御部２２における処理データ量の値が予め設定されたビットレートで伝送可能な値を超過した場合、レート制御部２４は、超過したデータをスキップ（間引く）すべくスキップ指示信号を圧縮符号化制御部２２とネットワーク制御部２３との一方または双方に送出する。圧縮符号化制御部２２がスキップ指示を受けたときには符号化対象画像に対する符号化処理を実行せず（スキップし）、ネットワーク制御部２３がスキップ指示を受けたときには伝送すべき符号化信号を間引いて（スキップして）伝送ビットレート（または伝送容量）を許容帯域内に収める。

ところで、圧縮符号化制御部２２において画像データを圧縮符号化する際に、例えば、映像のシーンチェンジ等の急激な画像変化に対応すべく、レート制御部２４は、ピークフレームのスキップ指示と適切な品質値によるＩｎｉｔＦｒａｍｅ（以下、単に“Ｉフレーム”という）に対する符号化指示信号を圧縮符号化制御部２２に送出する。因みに、Ｉフレームとは、ＭＰＥＧ方式の画像群（Group of Pictures）において、同期保持のために挿入されるイントラ符号化画像（フレーム内符号化画像）のＩピクチャに相当する画像フレームを言う。

次に、上記の画像データの品質値による圧縮符号化処理の具体的な制御動作について、図２のブロック図、及び図３に示される動作フローチャートを参照しつつ説明を行う。

圧縮符号化装置２０における処理が開始されると、先ず、図３のステップＳ３１において、映像入力部２１は、入力機器から所定のタイミングで映像信号を取り込む信号データ取込処理（データのキャプチャ処理）を実行する。さらに、次のステップＳ３２において映像入力部２１は、取り込んだデータの並べ替えやノイズの除去、或いは画像サイズの変更等の処理を総称したいわゆる前置フィルタ処理（Ｐｒｅフィルタ処理）を実行する。

その後、これらの処理が施されたデータは圧縮符号化制御部２２に供給され、同ユニットにおいてステップＳ３３のＩｎｉｔＦｒａｍｅ処理が施される。因みに、同ステップはステップＳ３６の圧縮符号化処理の前処理に相当する過程といえる。

一方、圧縮符号化制御部２２において処理に供されるデータ量に関する値は、圧縮符号化制御部２２からレート制御部２４に通知される。レート制御部２４は、かかるデータ量に応じて、圧縮符号化処理時に必要とされる画像データの品質値の指示信号と、圧縮符号化処理後に生成される伝送信号のビットレートが予めビットレート指示によって設定された値を超過していた場合に指令されるスキップ指示信号とを生成して、これらの指示信号を圧縮符号化制御部２２に通知する。

圧縮符号化制御部２２は、図３のステップＳ３４において上記のスキップ指示の有無を判断して、スキップ指示が有る場合は、取り込んだデータを捨て（間引いて）次の映像フレームのデータを取り込む処理に復帰する。但し、この場合は一旦取り込んだデータを符号化せずに捨てているので、次の圧縮符号化処理における画像データの品質値を予測し、その結果をステップＳ３３のＩｎｉｔＦｒａｍｅ処理へフィードバックすべく、ステップＳ３５においてビットレート計測処理が実行される。

ステップＳ３５におけるビットレート計測処理とは、実際に圧縮符号化処理を行う前に符号化後の伝送信号のビットレート（すなわち、出力ビットレートまたは伝送ビットレート）を予測する処理をいう。なお、同ステップのビットレート計測処理においては、画像データのフレームサイズを零（０）に固定して処理を実行する。これは、同ステップの場合、予測値が既にビットレートを超えている状況であり、画像データを符号化せずに符号化処理がスキップされているので（ステップＳ３４）、画像データとしての情報量が“０”となるように画像データのフレームサイズを設定する。すなわち、圧縮符号化制御部２２は、現在の映像のデータ量は“０”であると想定して上記のＱ値の増加・減少を検討するのである。次のステップＳ３５ａでは、品質値調整処理が実行される。すなわち、レート制御部２４の品質値調整手段（図示せず）は、ステップＳ３５で予測されたビットレートに応じて品質値を調整することにより符号化信号の画質を最適化することができる。

一方、ステップＳ３４において、スキップ指示がないと判定された場合、圧縮符号化制御部２２は、次のステップＳ３６に移行して画像データに対する符号化処理を実行する。なお、かかる処理においては、圧縮符号化制御部２２に対して予め指令された、フレームレート指示、ビットレート指示、及びＢＲ優先指示等の各種指示値に基づいて圧縮符号化が為されることは言うまでもない。

ステップＳ３６における圧縮符号化処理が終了すると、圧縮符号化制御部２２は、実際に符号化したデータが所定のビットレートに対してどの程度のマージンがあるか否かを確認すべく、ステップＳ３７のビットレート計測処理を実行する。そして、同ステップの計測処理で求められたビットレート・マージンのレベルに基づいて、次の画像フレームに対する圧縮符号化処理時の画像データの品質値が調整される（ステップＳ３７ａ）。

なお、ステップＳ３６〜Ｓ３７ａにおいては、実際に圧縮符号化制御部２２で処理が施されたデータ量のサイズ、及び現在の映像が伝送されるビットレートを計測して、同ビットレートがデータ量のサイズを上回っている場合はＱ値を上げ、下回っている場合はＱ値を下げる等の処置を行い、かかるＱ値を次回の圧縮符号化処理時の品質値として設定する。

ステップＳ３７ａのビットレート計測処理が終了すると、圧縮符号化制御部２２は、圧縮符号化処理の施されたデータをネットワーク制御部２３に配信して一連の処理を終了させて、次の画像フレームに対する符号化処理を再び実行する。

次に、画像データのフレームスキップによるピーク対策の制御動作について、図４に示される動作フローチャートに基づいて説明を行う。

一般に、画像データに圧縮符号化処理を施して該処理後のデータを配信する場合には、画面全体の画像データを配信するのではなく、変化のある画像データ部分のみを配信している。これによって、配信時の伝送信号のビットレートを低く抑えることができる。

しかしながら、例えば、画面のシーンチェンジ等により表示画像全体を書き換える処理が必要な場合がある。このような場合、符号化されたデータは通常の画像データに関する品質値ではデータ量が多くなり、予め設定されたビットレートを超過する可能性が高い。図４に示される動作フローチャートは、かかる問題の解決策として圧縮符号化処理の施された伝送データをネットワーク配信前に捨てるか否かを検討する処理を図３の処理に追加したものである。したがって、図４に示されるフローチャートにおいて、そのステップＳ４１からＳ４７の処理は、図３に示されるステップＳ３１からＳ３７の処理と同様であるので、その説明を省略する。

すなわち、図４のフローチャートに示される処理では、ステップＳ４７において実際に圧縮符号化したデータが所定のビットレートに対してどの程度のマージンがあるか否かを確認するビットレート計測処理が行われ、ステップＳ４７ａにおいて品質値調整処理が行われると、次のステップＳ４８に移行して、圧縮符号化制御部２２はスキップ指示が為されて居るか否かを判定する。そして、スキップ指示が為されていないと判定された場合はステップＳ４９に移行して、前述の図３に示された処理のときと同様に、圧縮符号化処理の施されたデータをネットワーク制御部２３に配信して一連の処理を終了させて次の画像フレームに対する圧縮符号化処理を再び実行する。

一方、ステップＳ４８においてスキップ指示が為されていると判定された場合、圧縮符号化制御部２２は、処理したデータをネットワーク制御部２３に配信せずに捨て去って、次の画像フレームの処理に復帰する。この際レート制御部２４は、次の圧縮符号化処理における条件として、画像データの品質値と、再びＩフレームを符号化処理するＩ指示信号（Ｉｎｔｒａ指示信号）とを圧縮符号化制御部２２にフィードバックする。

なお、図４のフローチャートに示される処理おいて、スキップ指示をステップＳ４４、及びＳ４８の２段階で判定している理由は、ビットレートを予測判定した場合は所定の範囲内であったが、実際の伝送信号のビットレートを測定した場合は所定の範囲を超えているような事態を想定したものである。

以上に説明したように、本発明によれば、レート制御部２４から圧縮符号化制御部２２に通知される画像データの品質値を制御することにより、動きの激しい画像については一時的にその画像品質を低下させて、当該画像データを伝送する信号のビットレートをネットワークの帯域制限値を超過しない値とすることができる。

また、圧縮符号化制御部２２に通知される画像データの品質値を符号化処理が施されたデータ量によって算出して、同算出結果を次の画像フレームを符号化する際の品質値にフィードバックすることにより、圧縮符号化処理に供されるデータと品質値との関係を適正に保つことができる。これによって、動きの少ない画像データでもネットワークの帯域制限の範囲内において高品質な画像を担保することが可能となる。

さらに、本発明では、画面のシーンチェンジ発生時における画像フレームを圧縮符号化処理する際に、ビットレートの急激な増大を抑圧すべくスキップ判定処理を行うものとした。すなわち、処理後の伝送信号のビットレートを増大させるフレームを間引いて（スキップして）再度画像データの品質値を変化させたＩフレームの圧縮符号化処理を行う。これによって、シーンチェンジを含むビットレートのピークフレームが発生しても、同ビットレートをネットワークの帯域制限によるビットレートを超過しない値とすることが可能となり、更に、再度画像データの品質値を変更してＩフレームのデータを再符号化することで画像の劣化を低減させることができる。図５に本実施例による処理動作の効果を模式的に表した説明図を示す。

なお、以上に示した実施例では、圧縮符号化処理の対象を画像データに即して説明を行ったが、本発明は、かかる事例に限定されるものではない。例えば、動画や静止画等の画像データと音声データ、或いは各種の情報データとを合わせて圧縮符号化処理を施して、所定のデジタル通信ネットワークに配信するシステムであれば本発明の適用が可能である。

＜第２実施例＞
次に、本発明の第２実施例について説明する。図６は、本発明の第２実施例である圧縮符号化装置３０の概略構成を示すブロック図である。図６を参照すると、圧縮符号化装置３０は、映像入力部３１、適応フィルタ３２、符号化部３３、マイクロプロセッサ３４およびネットワーク制御部３５で構成されている。

映像入力部３１は、上記第１実施例の映像入力部２１と同様に、圧縮符号化装置３０の前段に接続された撮像機器などの入力機器（図示せず）から供給されるアナログ信号にＡ／Ｄ変換やゲイン調整などの画像処理を施してデジタル映像信号を生成し、このデジタル映像信号を適応フィルタ３２に供給する。適応フィルタ３２は、後述する通り、圧縮符号化信号のビットレートに応じてフィルタ特性を段階的に切り替える機能を有している。ここで、「ビットレート」とは、符号化部３３から出力される符号化信号の出力ビットレート、あるいは、ネットワーク制御部３５からパケット交換網などのデジタル通信ネットワークに送出すべき伝送データの伝送ビットレートを意味するものとする。

符号化部３３は、上記第１実施例の圧縮符号化制御部２２と同じ機能を有し、たとえばＭＰＥＧ方式に従って、レート制御部３６によって指定された品質値に応じた圧縮符号化を実行する機能を有するものである。品質値は、上述の通り、圧縮符号化処理においてどの程度画質劣化が生じるかを指定するパラメータであり、品質値としては、たとえば、量子化パラメータであるＱ値や量子化マトリクスが挙げられる。

符号化部３３は、映像入力部３１から供給された画像データをマクロブロック単位で直交変換して変換係数を生成する直交変換手段（図示せず）と、それら変換係数を量子化する量子化手段（図示せず）とを含む。また符号化部３３は、動き補償予測を実行するためにＭＰＥＧ方式による動き検出手段および動き補償手段をも含む。直交変換は、たとえば、公知のＤＣＴ変換、ＤＳＴ（離散サイン変換）変換あるいはアダマール変換であればよく、特に限定されるものではない。また、量子化手段は、低空間周波数成分を示す変換係数に比べてその高空間周波数成分を示す変換係数に対して粗い量子化を施すことができる。高空間周波数成分に対するＱ値が大きいほどに高空間周波数成分の削減率が大きくなるので、出力ビットレートおよび伝送ビットレートは低減すると同時に、符号化画像のコントラストが低減して比較的ぼんやりしたものとなる。

信号処理部３４は、符号化部３３から供給された符号化信号を送信パケットに収容し、当該送信パケットをネットワーク制御部３５に転送する。信号処理部３４は、レート制御部３６からの指示に従って、符号化部３３からの符号化画像を間引いてスキップする機能を有する。ネットワーク制御部３５は、当該転送されたパケットをデジタル通信ネットワーク４０に送出する。

レート制御部３６は、符号化部３３の出力である符号化信号のビットレート（出力ビットレート）と、ネットワーク制御部３５から伝送される伝送信号の伝送ビットレートとを制御する機能を有する。具体的には、レート制御部３６は、スキップ指示を信号処理部３４に与えて当該信号処理部３４の出力データ量を低減させることで伝送ビットレートを制御できる。また、レート制御部３６は、スキップ指示を符号化部３３に与えて当該符号化部３３符号化をスキップさせることで伝送ビットレートを制御できる。さらには、レート制御部３６は、後述する通り、適応フィルタ３２のフィルタ特性を変化させるフィルタ制御を実行することで伝送ビットレートを制御できる。

また、レート制御部３６は、符号化部３３から出力されるべき符号化データに関する情報に基づいて出力ビットレートを計測または予測する手段を有し、さらに、当該符号化データに関する情報に基づいて伝送ビットレートを予測する演算手段をも有している。そのような計測されたビットレート（計測値）または予測されたビットレート（予測値）に応じて、レート制御部３６は、当該予測値または計測値を設定値と比較して伝送ビットレートがデジタル通信ネットワーク４０の許容帯域に収まるか否かを判定する。レート制御部３６は、当該予測値または計測値に基づいて伝送ビットレートがデジタル通信ネットワーク４０の許容帯域を超えるものと判断した場合には、上記スキップ指示またはフィルタ制御を実行して伝送ビットレートを低減させる。

図７に適応フィルタ（前処理フィルタ）３２の構成の一例を概略的に示す。図７に示される適応フィルタは、切替部３２０、時間軸フィルタ３２１、ＲＡＭなどのメモリ３２２，空間軸フィルタ３２３、セレクタ（マルチプレクサ）３２４とを有するものである。時間軸フィルタ３２１と空間軸フィルタ３２３は、それぞれ、ＦＩＲ（Finite Impulse Response）型またはＩＩＲ（Infinite Impulse Response）型のデジタルフィルタで実現することが可能である。これらフィルタ３２１，３２３でそれぞれ使用されるフィルタ係数群Ｋｔ，Ｋｓは、レート制御部３６によって可変に設定できるので、レート制御部３６は、フィルタ係数群Ｋｔ，Ｋｓのセットを切り替えることで、時間軸フィルタ３２１と空間軸フィルタ３２３のフィルタ特性を変化させることができる。

ここで、空間軸フィルタ３２３は、切替部３２０を介して入力されたデジタル映像信号をサンプリングし、当該サンプリングされた信号に空間軸方向のフィルタリングを施す機能を有する。空間軸フィルタ３２３は、たとえば、同一画像フレームの１以上のライン単位、空間軸方向に連続する複数の画素単位、あるいはＮ×Ｎ画素単位（Ｎは２以上の整数）でフィルタリングを実行することができる。たとえば、空間軸フィルタ３２３が入力画像に輪郭強調のフィルタリングを施した場合、その出力画像に占める高空間周波数成分の割合が増大し、その出力画像のコントラストは増すこととなる。また、空間軸フィルタ３２３がノイズ除去用ローパスフィルタである場合には、その出力画像に占める高空間周波数成分の割合が低減する。空間軸フィルタ３２３は、画像サイズを指定サイズに変更することも可能である。

一方、時間軸フィルタ３２１は、切替部３２０を介して入力されたデジタル映像信号をサンプリングし、メモリ３２２を用いて当該サンプリングされた信号に時間軸方向のフィルタリングを施す機能を有する。時間軸フィルタ３２１は、時間軸方向に連続する複数のフレームに亘る複数画素に対してフィルタリングを実行する。時間軸フィルタ３２１がローパスフィルタの特性を有する場合、この時間軸フィルタ３２１は、動画像の激しい動きを滑らかな動きに変えることができる。映像中にシーンチェンジが発生すると、シーンチェンジ前後の画像間の相関が著しく低下するので、符号化部３２がシーンチェンジが発生する画像群をそのまま圧縮符号化した場合、その圧縮率は低いものとなる。しかしながら、符号化部３２が時間軸フィルタ３２１の出力を圧縮符号化した場合には圧縮率の向上が可能であり、ひいては伝送ビットレートの低減が可能になる。

切替部３２０は、レート制御部３６からの切替指示Ｃｓに応じて、出力先を空間軸フィルタ３２３または時間軸フィルタ３２３のいずれか一方に切り替えることができる。そしてセレクタ３２４は、レート制御部３６からの選択指示Ｃｍに応じて、空間軸フィルタ３２３または時間軸フィルタ３２３のいずれか一方のフィルタ出力を符号化部３３に与えるものである。

上記構成を有する圧縮符号化処理３０の動作を図８を参照しつつ以下に説明する。ステップＳ５０では、図６に示される映像入力部３１は、外部機器からの映像信号を所定のタイミングで取り込むキャプチャ処理を実行する。続くステップＳ５１において、適応フィルタ３２は、映像入力部３１の出力にフィルタリングを施してフィルタ信号を符号化部３３に供給する。次いで、上記第１実施例のステップＳ３３，Ｓ４３と同様に、ＩｎｉｔＦｒａｍｅ処理（ステップＳ５２）が実行される。

次にレート制御部３６は、スキップ指示の有無を判断する（ステップＳ５３）。具体的には、レート制御部３６のビットレート計測手段またはビットレート予測手段（図示せず）が符号化部３３から出力されるべき符号化データに関する情報（たとえば、符号化データあるいは符号化パラメータ）に基づいて出力ビットレートの計測値あるいは伝送ビットレートの予測値を算出する。レート制御部３６は、当該計測値または予測値を設定値と比較して伝送ビットレートがデジタル通信ネットワーク４０の許容帯域を超えると判断した場合には、符号化部３３および信号処理部３４の一方または双方に上記スキップ指示を発する。かかる場合には、レート制御部３６はスキップ指示有りと判断する。

上記ステップＳ５３において、レート制御部３６がスキップ指示無しと判断した場合、符号化部３３は、適応フィルタ３２の出力に圧縮符号化（エンコード処理）を施して圧縮符号化信号を生成する（ステップＳ５５）。この圧縮符号化信号は信号処理部３４に供給される。またこの圧縮符号化処理により発生した符号化データに関する情報が、レート制御部３６に供給される。この情報に基づいて、レート制御部３６のビットレート計測手段またはビットレート予測手段（図示せず）は出力ビットレートの計測値あるいは伝送ビットレートの予測値を算出する（ステップＳ５６）。

次のステップＳ５６ａにおいて、レート制御部３６の品質値調整手段（図示せず）は、ステップＳ５６で計測または予測されたビットレートに応じて、エンコード処理で使用される品質値を調整する。具体的には、品質値調整手段は、その計測値または予測値に基づいて伝送ビットレートがデジタル通信ネットワークの許容帯域を超過すると判断した場合には、量子化パラメータであるＱ値に大きな値を設定することができる。

さらにステップＳ５６ｂにおいて、レート制御部３６のフィルタ特性調整手段（図示せず）は、前記計測値または予測値に応じて適応フィルタ３２のフィルタ特性を調整する。具体的には、フィルタ特性調整手段は、前記計測値または予測値に基づいて伝送ビットレートがデジタル通信ネットワークの許容範囲を超過すると判断した場合には、適応フィルタに切替指示Ｃｓ，Ｃｍを与えて適応フィルタ３２に時間軸フィルタ３２１（図７）を選択させることができる。このとき、時間軸フィルタ３２１がローパスフィルタのフィルタ特性を有するように設定されていれば、画像フレーム間の相関が強くなるので、符号化部３３の動き補償予測によって発生符号量を減少させることが可能である。

一方、フィルタ特性調整手段は、前記計測値または予測値に基づいて伝送ビットレートがデジタル通信ネットワークの許容範囲内に収まると判断した場合には、適応フィルタに切替指示Ｃｓ，Ｃｍを与えて適応フィルタ３２に空間軸フィルタ３２３（図７）を選択させることができる。このとき、空間軸フィルタ３２３が輪郭強調フィルタあるいは高域強調フィルタのフィルタ特性を有するように設定されていれば、画像の高空間周波数成分が増加するので、コントラストの強調された画像を生成することができる。

図９は、フィルタ特性調整処理の一例を説明するためのグラフである。フィルタ特性調整手段は、図９のグラフに示すように時間とともに変動する伝送ビットレートの値を算出することができる。この伝送ビットレートが第１設定値ＴＨ０未満であれば、フィルタ特性調整手段は適応フィルタ３２に空間軸フィルタ３２３（図７）を選択させることができる。また、伝送ビットレートが第１設定値ＴＨ０以上で且つ第２設定値ＴＨ１未満であれば、フィルタ特性調整手段は、適応フィルタ３２に時間軸フィルタ３２１を選択させ、且つ時間軸フィルタ３２１のフィルタ特性を通常の特性（通常レベル）に設定することができる。伝送ビットレートが第２閾値ＴＨ１以上で且つ保証帯域ＴＨ２未満であれば、適応フィルタ３２に時間軸フィルタ３２１を選択させ、且つ時間軸フィルタ３２１のフィルタ特性を高域低減用の特性（高域低減レベル）に設定することができる。ここで、保証帯域ＴＨ２は、デジタル通信ネットワーク４０が保証する帯域の上限を示すものである。たとえば、基準設定値をＲに設定したとき、ＴＨ１＝Ｒ×１．０６、ＴＨ０＝Ｒ×０．７５、のようにＴＨ１，ＴＨ０を設定してもよい。

次のステップＳ５７において、レート制御部３６は、上記ステップＳ５３と同様にスキップ指示の有無を判断する。スキップ指示有りと判断すれば、レート制御部３６は処理手順をステップＳ５０に戻す。他方、スキップ指示無しと判断すれば、信号処理部３４およびネットワーク制御部３５は、ネットワーク配信処理（ステップＳ５８）を実行して圧縮符号化信号をパケット化してネットワーク４０に送出する。

ところで、上記ステップＳ５３で、レート制御部３６がスキップ指示有りと判断した場合、レート制御部３６のビットレート計測手段またはビットレート予測手段（図示せず）は、出力ビットレートの予測値あるいは伝送ビットレートの予測値を算出する（ステップＳ５４）。次のステップＳ５４ａにおいて、レート制御部３６の品質値調整手段（図示せず）は、上記ステップＳ５６ａと同様に、ステップＳ５３で予測されたビットレートに応じて、エンコード処理で使用される品質値を調整する。さらにステップＳ５４ｂにおいて、レート制御部３６のフィルタ特性調整手段（図示せず）は、上記ステップＳ５６ｂと同様に、前記計測値または予測値に応じて適応フィルタ３２のフィルタ特性を調整する。そして、レート制御部３６は処理手順をステップＳ５０に戻す。

上記の如く、適応フィルタ３２の特性を動的に変えることで、伝送ビットレートをネットワークの許容帯域内に収めつつ符号化画像の画質を最適化することが可能になる。また適応フィルタ３２の特性を動的に変えることで、スキップ指示の発生率は減るので、符号化画像の画質劣化を抑制することが可能である。すなわち、スキップ指示が発生すると画像フレームが間引きされるので、動画像の内容が急激に変化して視聴者に違和感を与え得るが、適応フィルタ３２の特性を動的に変えることでスキップ指示の発生率が減るため、そのような違和感を抑制することができる。

図１は、映像や音声等のデータに所定の符号化処理を施して伝送するシステムの一般的な構成を示すシステム構成図である。 図２は、本発明の第１実施例である圧縮符号化装置の構成を示すブロック図である。 図３は、図２の圧縮符号化装置における一の処理動作を示すフローチャートである。 図４は、図２の圧縮符号化装置における他の処理動作を示すフローチャートである。 図５は、第１実施例による伝送信号のビットレートの抑圧効果を示す説明図である。 図６は、本発明の第２実施例である圧縮符号化装置の概略構成を示すブロック図である。 図７は、図６の圧縮符号化装置の適応フィルタの一例を示すブロック図である。 図８は、図６の圧縮符号化装置による処理の一手順を示すフローチャートである。 図９は、第２実施例による伝送信号のビットレートの抑圧効果を示す説明図である。

符号の説明

１ 入力機器
２ 圧縮符号化装置
３ ネットワーク
４ 復号装置
５ 出力機器
２０ 圧縮符号化装置
２１ 映像入力部
２２ 圧縮符号化制御部
２３ ネットワーク制御部
２４ レート制御部

Claims (17)

1. 画像データに圧縮符号化処理を施して圧縮符号化信号を生成する圧縮符号化装置であって、
   前記画像データに品質値に応じた圧縮符号化処理を施す圧縮符号化手段と、
   前記圧縮符号化信号のビットレートを計測する計測手段と、
   前記計測手段による計測結果に応じて前記品質値を調整する第１調整手段と、
   該調整された後の品質値に応じて前記画像データのデータ量を調整する第２調整手段と、
   を含むことを特徴とする圧縮符号化装置。
2. 前記圧縮符号化信号のビットレートを予測する予測手段をさらに含み、
   前記第１調整手段は、前記予測手段における予測結果に応じて前記品質値を調整し、
   前記第２調整手段は、該調整された後の品質値に応じて前記画像データのデータ量を調整することを特徴とする請求項１に記載の圧縮符号化装置。
3. 前記圧縮符号化手段は、前記画像データに直交変換を施して変換係数を与える直交変換手段と、前記変換係数に量子化パラメータを用いた量子化を施す量子化手段と、を含み、前記量子化手段は前記量子化パラメータを定める値として前記品質値を使用することを特徴とする請求項１または２記載の圧縮符号化装置。
4. 前記第２調整手段は、前記画像データの一部を間引くことによって前記画像データのデータ量を調整することを特徴とする請求項１から３のうちのいずれか１項に記載の圧縮符号化装置。
5. 前記画像データの一部を間引く処理は画像データのフレーム毎に行われ、かつ適正な品質値による再符号化処理を伴うこと特徴とする請求項４に記載の圧縮符号化装置。
6. 画像データに圧縮符号化処理を施して圧縮符号化信号を生成する圧縮符号化方法であって、
   前記画像データに品質値に応じた圧縮符号化処理を施すステップと、
   前記圧縮符号化信号のビットレートを計測するステップと、
   当該計測されたビットレートに応じて前記品質値を調整するステップと、
   該調整された後の品質値に応じて前記画像データのデータ量を調整するステップと、
   を含むことを特徴とする圧縮符号化方法。
7. 画像データに圧縮符号化処理を施して圧縮符号化信号を生成する圧縮符号化装置であって、
   前記画像データにフィルタリングを施す適応フィルタと、
   前記適応フィルタの出力に品質値に応じた圧縮符号化処理を施して圧縮符号化信号を生成する圧縮符号化手段と、
   前記圧縮符号化信号のビットレートを計測する計測手段と、
   当該計測されたビットレートに応じて前記適応フィルタのフィルタ特性を変化させる制御手段と、
   を含むことを特徴とする圧縮符号化装置。
8. 前記計測手段で計測されたビットレートに応じて前記品質値を調整する手段をさらに備えることを特徴とする請求項７記載の圧縮符号化装置。
9. 画像データに圧縮符号化処理を施して圧縮符号化信号を生成する圧縮符号化装置であって、
   前記画像データにフィルタリングを施す適応フィルタと、
   前記適応フィルタの出力に品質値に応じた圧縮符号化処理を施して圧縮符号化信号を生成する圧縮符号化手段と、
   前記圧縮符号化信号を含む伝送データの伝送ビットレートを予測するビットレート予測手段と、
   当該予測された伝送ビットレートに応じて前記適応フィルタのフィルタ特性を変化させる制御手段と、
   を含むことを特徴とする圧縮符号化装置。
10. 前記ビットレート予測手段で予測された伝送ビットレートに応じて前記品質値を調整する手段をさらに備えることを特徴とする請求項７記載の圧縮符号化装置。
11. 前記適応フィルタは、前記画像データに時間軸方向のフィルタリングを施す時間軸フィルタを含むことを特徴とする請求項７または９記載の圧縮符号化装置。
12. 前記適応フィルタは、前記画像データに空間軸方向のフィルタリングを施す空間軸フィルタを含むことを特徴とする請求項７または９記載の圧縮符号化装置。
13. 前記適応フィルタは、入力画像データに時間軸方向のフィルタリングを施す時間軸フィルタと、入力画像データに空間軸方向のフィルタリングを施す空間軸フィルタと、前記制御手段による指示に応じて前記時間軸フィルタと前記空間軸フィルタとのいずれか一方のフィルタを選択する切替手段とを含み、当該選択されたフィルタを用いて前記画像データにフィルタリングを施すことを特徴とする請求項７または９記載の圧縮符号化装置。
14. 前記時間軸フィルタのフィルタ特性は、前記制御手段による指示に応じて切替可能であることを特徴とする請求項１１または１３記載の圧縮符号化装置。
15. 前記空間軸フィルタのフィルタ特性は、前記制御手段による指示に応じて切替可能であることを特徴とする請求項１２または１３記載の圧縮符号化装置。
16. 画像データに圧縮符号化処理を施して圧縮符号化信号を生成する圧縮符号化方法であって、
    適応フィルタを用いて前記画像データにフィルタリングを施すステップと、
    当該フィルタリングが施された画像データに品質値に応じた圧縮符号化処理を施して前記圧縮符号化信号を生成するステップと、
    前記圧縮符号化信号のビットレートを計測するステップと、
    当該計測されたビットレートに応じて前記適応フィルタのフィルタ特性を変化させるステップと、
    を含むことを特徴とする圧縮符号化方法。
17. 画像データに圧縮符号化処理を施して圧縮符号化信号を生成する圧縮符号化方法であって、
    適応フィルタを用いて前記画像データにフィルタリングを施すステップと、
    当該フィルタリングが施された画像データに品質値に応じた圧縮符号化処理を施して前記圧縮符号化信号を生成するステップと、
    前記圧縮符号化信号を含む伝送データの伝送ビットレートを予測するステップと、
    当該予測された伝送ビットレートに応じて前記適応フィルタのフィルタ特性を変化させるステップと、
    を含むことを特徴とする圧縮符号化方法。

Images