JP2007074634A

JP2007074634A - 動画像圧縮装置

Info

Publication number: JP2007074634A
Application number: JP2005262002A
Authority: JP
Inventors: Shozo Fujii; 省造藤井; Hidemi Oka; 秀美岡; Shinjiro Mizuno; 慎二郎水野; Shinya Seto; 慎哉瀬戸; Koji Arimura; 耕治有村
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2005-09-09
Filing date: 2005-09-09
Publication date: 2007-03-22
Anticipated expiration: 2025-09-09
Also published as: JP4648805B2

Abstract

【課題】ＶＢＲ方式の動画像圧縮装置で入力映像の状態が変化したときにも対応が遅れず、画質劣化を発生させない。
【解決手段】符号化画面メモリ１からの符号化画面と参照画面メモリ２からの参照画面の比較により映像情報を求める映像情報検出手段３と、過去の映像情報と符号化画面の映像情報の変化度合いから圧縮予測情報αを算出する圧縮状態予測手段５と、過去の符号化による符号量と量子化指標の実績値と圧縮予測情報αを用いて符号化画面の割り当て符号量を求める符号量制御手段６とを備える。これにより、映像情報の変化度合いから圧縮動作の難易度合いを相対的に求め、それを圧縮予測情報として符号量と量子化指標の実績値に演算することで、正確な符号量割り当てが求められ、結果として、符号量制御が映像変化に遅れることなく、常に高い画質を実現することができる。
【選択図】図１

Description

本発明は可変ビットレート（ＶＢＲ）方式を用いて動画像圧縮を行う動画像圧縮装置に関するものである。

近年、動画像符号化方式として、ＭＰＥＧ２（ＩＴＵ−ＴＨ．２６２）など、フレーム間相関を用いた符号化方式が用いられるようになってきた。これらの方式では符号化する画面を小さな矩形領域である符号化ブロックに分割し、各符号化ブロック毎に参照画面から検出した動きベクトルにより予測ブロックを求め、符号化ブロックと予測ブロックとの差分を圧縮符号化することで高効率圧縮符号化を実現している。

図７はＭＰＥＧ２の映像フレームと参照の関係を示すものである。映像フレームはＩ（Intra）ピクチャー、Ｐ（Predictive）ピクチャー、Ｂ（Bidirectionallypredictive）ピクチャーの３種類に分類される。Ｉピクチャーはイントラと呼ばれるフレーム内圧縮がなされる。Ｐピクチャーは、過去のＩピクチャーまたは過去のＰピクチャーを参照画面として動きベクトルを求めるものである。Ｂピクチャーは、過去のＩピクチャーまたはＰピクチャーを順方向参照画面として、未来のＩピクチャーまたはＰピクチャーを逆方向参照画面として動きベクトルを求めるものである。

図８はＭＰＥＧ２のグループオブピクチャー構造（以下ＧＯＰ構造と略す）を示すものである。ＧＯＰとは符号化順、復号化順でＩピクチャーを先頭とし、次のＩピクチャーまでを区切りとする構造であり、符号化、復号化の動作の大きな区切りとなるものである。図８では、１つのＧＯＰが１２枚のピクチャーより構成される場合の例を示している。

ＭＰＥＧ２の場合、圧縮後の符号は、主にベクトルの符号とＡＣ係数の符号とから構成されている。ベクトルの符号とは求めた動きベクトルを符号化したものであり、ＡＣ係数の符号とは動きベクトルから求めた予測ブロックと符号化ブロックの差分を直交変換し、量子化指標Ｑで指示される量子化ステップで量子化した後、可変長符号で符号化したものである。

圧縮後の符号量を所望の符号量とするため符号量制御が必要となるが、その代表的方式として固定ビットレート（以下ＣＢＲと略す）方式と、可変ビットレート方式（以下ＶＢＲと略す）とが用いられている。ＣＢＲ方式は常に目標とする所望のビットレートとなるように符号量を制御する方式であり、ＶＢＲ方式は短時間でみた場合には映像の圧縮困難度合いに応じて符号量を増減させるが、数秒あるいは数分単位でみたときの平均ビットレートは所望の値となるように制御する方式である。いずれの方式においても、これから符号化する符号化画面で使用する割り当て符号量を設定してから圧縮動作を開始し、その符号化画面の圧縮処理中は量子化指標Ｑを随時制御して与えられた割り当て符号量になるように動作させるものである。従って、割り当て符号量の的確さが画質に及ぼす影響が大きく、適正な割り当て符号量の決定方法が数多く検討されている。過去の符号化の符号量と量子化指標Ｑの実績値に基づいて割り当て符号量を算出する方法が基本であるが、それに加えて入力画像の映像としての特徴を検出して制御に利用する方法が一般的になってきた。

ＣＢＲの場合の例として特許文献１がある。特許文献１の符号量制御装置では符号化画面の映像的特徴として平均輝度（以下ＤＣ値と略す）の変化を監視し、大きな変化があった場合にそのＧＯＰ全体あるいは個別のピクチャーに対する割り当て符号量を制限するものである。大きな映像変化の場合には、割り当て符号量よりも圧縮処理後の実際の符号量が大幅に超過することがあるが、予め割り当て符号量を絞り込むことにより大幅な符号量超過を防止して、ＣＢＲでありながら適正な符号量制御ができることになる。

一方、ＶＢＲ方式でも入力画像の特徴検出が利用されるようになってきている。その代表的な従来例について以下に説明する。図９は一般的なＶＢＲ方式の動画像圧縮装置の構成を示すものである。図９で、入力映像は符号化画面メモリ１と前処理手段３ａに供給され、符号化画面メモリ１と参照画面メモリ２は映像データを圧縮手段７に供給し、前処理手段３ａの出力である入力映像情報は入力映像情報記憶手段４ａで一時記憶され、前処理手段３ａと入力映像情報記憶手段４ａの出力はともにイントラ判定手段５ａに接続される。イントラ判定手段５ａの出力であるイントラ通報は符号量制御手段６ａに通知され、符号量制御手段６ａは圧縮手段７から実績符号量と量子化指標Ｑを受け、割り当て符号量を供給する。

以下、従来例の動作について説明する。符号量制御手段６ａの内部動作では、符号量Ｓと量子化指標Ｑを用いて（数１）で定義される複雑度Ｘが用いられる。

(数１)
Ｘ＝Ｓ＊Ｑ
符号量制御手段６ａは符号量割り当てのための基準の複雑度であるＸ_i0とＸ_p0とＸ_b0と、基準の量子化指標である量子化指標Ｑ₀を記憶している。Ｘ_i0，Ｘ_p0，Ｘ_b0はそれぞれＩピクチャー、Ｐピクチャー、Ｂピクチャーの制御に使用する基準値としての複雑度である。

あるＰピクチャーの符号化を行う場合の動作について説明する。符号量制御手段６ａはまず（数２）に従って基準の量子化指標Ｑ₀からＰピクチャー用の基準の量子化指標Ｑ_p0を算出し、基準の複雑度Ｘ_p0と量子化指標Ｑ_p0を用いて（数１）に従い割り当て符号量Ｓ_p0を求め、バッファシミュレーションによる制約を加えた後、圧縮手段７に供給する。

(数２)
Ｑ_p0＝Ｋ_p ＊Ｑ₀
圧縮手段７は符号化画面メモリ１と参照画面メモリ２から映像データを読み込み、割り当て符号量Ｓ_p0となるように量子化指標Ｑ_p0を制御しながら符号化ピクチャーの圧縮処理を行い、動作終了後に実際の符号量Ｓ_p1と実際の量子化指標Ｑ_p1とを実績値として符号量制御手段６ａに報告する。符号量制御手段６ａは符号量実績値Ｓ_p1と量子化指標Ｑ_p1とから該当ピクチャーの複雑度実績値Ｘ_p1を求め、それを基準の複雑度Ｘ_p0と比較する。その差異があらかじめ設定した許容誤差の範囲内であれば映像の状態が変化していないと判断して基準の複雑度Ｘ_p0をそのまま保持する。また、符号量実績値Ｓ_p1を用いて過去の平均的符号量を更新演算し、平均符号量から求まる平均ビットレートが目標とするビットレートに近づくように大きな時定数で少しずつ基準の量子化指標Ｑ₀を更新する。一方、複雑度実績値Ｘ_p1が許容誤差の範囲外であれば映像の状態が変化したと判断してその複雑度実績値Ｘ_p1を新たな基準の複雑度Ｘ_p0として記憶し、併せてＩピクチャーの基準の複雑度Ｘ_i0、Ｂピクチャーの基準の複雑度Ｘ_b0も更新する。Ｘ_i0，Ｘ_b0の更新は過去数フレームの実績値Ｘ_i1，Ｘ_p1，Ｘ_b1の平均値の比率から求める。同時に今後の割り当て符号量が適度な値の範囲になるように基準の量子化指標Ｑ₀の値を変更する。

以上、Ｐピクチャーの場合の符号量制御手段６ａと圧縮手段７の基本動作を説明したが、Ｉピクチャー、Ｂピクチャーの場合も同様である。

一方、前処理手段３ａは入力映像を取り込み、その映像的特徴を検出して入力映像情報として出力する。入力映像情報としては数々のものが考えられるが、代表的な例としてＤＣ値と高域成分絶対値総和がある。ＤＣ値とは入力画面の輝度成分の画面全体としての平均値のことである。高域成分絶対値総和とは入力画面の水平方向にハイパスフィルタを掛け、その出力の絶対値の総和を求めたものである。前処理手段３ａがＤＣ値と高域成分絶対値総和を入力映像情報として出力すると、イントラ判定手段５ａは入力映像情報記憶手段４ａが記憶していた１フレーム過去の入力映像情報と、前処理手段３ａの現在の入力映像情報とを比較して、ＤＣ値あるいは高域成分絶対値総和のいずれかが予め設定された基準値以上に変化していたとき入力映像に大きな変化が発生したと判断して、イントラ通報を符号量制御手段６ａに発行する。

図１０はイントラ通報とＧＯＰ再起動を説明するものである。図中に示すＰピクチャーとＢピクチャーの比較でイントラ判定手段５ａが大きな映像変化を検出して、そのＢピクチャーについてイントラ通報を発行し、符号量制御手段６ａはイントラ通報を受けると、イントラ通報を発行させたピクチャー以降最初のＰピクチャーをＩピクチャーに変更して新たなＧＯＰを作成する。その結果、直前のＧＯＰは短縮化されることとなり、図１０の例では６枚のピクチャーに短縮されている。

一般に映像が大きく変化するところで、参照画像を用いた圧縮では画質劣化が激しくなる。しかし、以上のように入力映像の映像としての特徴を検出して利用することにより、映像変化に対してＩピクチャーを設けることができるから画質劣化を防止することができるものである。
特開２００３−３４８５９０号公報（第６−７頁、第１図）

上述したように特許文献１の構成では、入力画像の映像としての特徴を検出して割り当て符号量の制御に利用しているが、ＣＢＲとしてのビットレートの安定を目的として割り当て符号量を制限するのみであり、ＶＢＲへの適用、すなわち画質確保のための割り当て符号量の積極的な増減の制御への適用は困難である。また、映像がより圧縮に容易な方向に変化したとき、逆に映像が劣化するという課題を有している。

また、図９に示した一般的なＶＢＲの構成では、符号量制御手段６ａと圧縮手段７の作用だけでは、入力映像の状態が変化した場合に割り当て符号量の適正値への切り換えが遅れるため、短時間の画質劣化が避けられないという課題を有している。その対策として図１０に示すように入力映像の状態変化を検出して、新たなＧＯＰを開始するＧＯＰ再起動の方法がある。しかしこの方法では、Ｉピクチャーの直後に変化が検出された場合、２つのＩピクチャーが近接して存在してしまうという状態が容易に発生する。Ｉピクチャーは割り当て符号量が大きいから、バッファシミュレーションにより割り当て符号量が削減されてしまい、画質改善効果を得ることができない。特に変化が頻繁に発生する場合など逆に画質劣化を招くという課題を有する。

本発明は上記の問題点に鑑み、頻繁に発生する映像の状態変化に対してはその状態変化に同期して遅滞なく割り当て符号量を的確に増減制御するＶＢＲ方式の動画像圧縮装置を提供するものである。

本発明による動画像圧縮装置は、
符号化画面と参照画面の比較により映像情報を求める映像情報検出手段と、
過去の前記映像情報と前記符号化画面の前記映像情報の変化度合いから圧縮予測情報を算出する圧縮状態予測手段と、
過去の符号化による符号量と量子化指標の実績値と前記圧縮予測情報を用いて前記符号化画面の割り当て符号量を求める符号量制御手段とを具備している。

これにより、圧縮動作の難易度合いと対応する符号化画面と参照画面の相関性を映像情報として定量的に求めることとなり、映像情報の変化度合いから圧縮動作の難易度合いを相対的に求めることとなるから、それを圧縮予測情報として符号量と量子化指標の実績値に演算することで、正確な符号量割り当てが求められるという作用を有する。その結果として、符号量制御が映像変化に遅れることなく、常に高い画質を実現することができる。さらに、ＧＯＰ再起動処理も必要最小限に抑える、あるいは廃止することができるから、変化が高い頻度で発生する映像に対しても安定して高い画質を実現することができる。

上記において、前記映像情報検出手段は、前記符号化画面またはその縮小画面と前記参照画面またはその縮小画面とを互いにずらせ、重なった領域が最もよく一致するずらし量を全体ベクトルとして特定する全体ベクトル検索機能と、その状態での重なり領域の統計的類似性を指標として算出する類似性演算機能とを備え、前記全体ベクトルと前記類似性指標を前記映像情報として出力するという態様がある。

これにより、圧縮動作におけるイントラマクロブロックのＡＣ係数符号量の程度にほぼ対応する全体ベクトルと、ＡＣ係数符号量とランダムな動きのベクトル符号量の程度にほぼ対応する類似性指標とを求めることで圧縮動作の難易度合いが定量的に求められる作用を有する。

また、上記において、前記映像情報検出手段の前記類似性演算機能は、前記符号化画面と前記参照画面の重なり領域での共分散に基づく演算であるという態様もある。これにより、精度の高い類似性指標が得られる作用を有する。

また、上記において、前記圧縮状態予測手段は、前記映像情報検出手段が前記映像情報として出力する類似性指標と全体ベクトルについて、前記符号化画面と同一種類の過去の画面での該当情報から変化を求め、その変化の程度に応じた前記圧縮予測情報を算出するという態様がある。これにより、ベクトル符号量とＡＣ係数符号量の増減が過去の実績に対する相対的な比率として予測され、符号量と量子化指標の実績値に乗ずることで圧縮状態をより正確に推定する作用を有する。

本発明によれば、映像情報検出手段が符号化画面と参照画面の関係を全体ベクトルと類似性指標として求め、圧縮状態予測手段が過去の全体ベクトルと類似性指標の比較を行うから、ベクトル符号量とＡＣ係数符号量の増減を相対的に予測することができ、これを圧縮予測情報として、符号量や量子化指標の実績値を利用することで、これから圧縮する符号化画面の圧縮状態を高い精度で予測することができ、適正な符号量割り当てを求めることができる。そのため符号量制御が映像変化に遅れることなく、常に高い画質を実現することができる。さらに、ＧＯＰ再起動処理も必要最小限に抑える、あるいは廃止することができるから、変化が高い頻度で発生する映像に対しても安定して高い画質を実現することができる。

以下、本発明にかかわる動画像圧縮装置の実施の形態を図面に基づいて詳細に説明する。

図１は本発明の実施の形態における動画像圧縮装置の構成を示すブロック図である。図１において、１は符号化画面メモリ、２は参照画面メモリ、３は符号化画面メモリ１からの符号化画面と参照画面メモリ２からの参照画面の比較により映像情報を求める映像情報検出手段、４は過去の映像情報を記憶する映像情報記憶手段、５は映像情報記憶手段４からの過去の映像情報に対する映像情報検出手段３からの現在の符号化画面の映像情報の変化度合いから圧縮予測情報αを算出する圧縮状態予測手段、６は過去の符号化による符号量と量子化指標の実績値と圧縮予測情報αを用いて符号化画面の割り当て符号量を求める符号量制御手段、７は符号化画面メモリ１と参照画面メモリ２から映像データを読み込み、所定の割り当て符号量となるように量子化指標Ｑを制御しながら符号化ピクチャーの圧縮処理を行う圧縮手段である。圧縮手段７は、動作終了後に実際の符号量と実際の量子化指標とを実績値として符号量制御手段６に報告する。符号量制御手段６は圧縮手段７から実績符号量と量子化指標Ｑを受け、割り当て符号量を供給する。

以上のように構成された実施の形態の動作について以下に説明する。

まず、Ｐピクチャーを符号化する場合の動作、すなわち順方向参照を用いたＭＰＥＧ２規格の動画像圧縮動作を行う場合について説明する。符号化画面メモリ１には符号化Ｐピクチャーが、参照画面メモリ２には符号化Ｐピクチャーの３フレーム過去に相当するＩピクチャーまたはＰピクチャーが既に記憶されているものとする。

最初に、映像情報検出手段３が符号化画面と参照画面の画面全体としての移動状態を検出し、全体ベクトルを求める。この全体ベクトルの検出方法としては、画面のいくつかの部分の移動状態を検索してその総合として求める方法、符号化画面と参照画面それぞれの縮小画面を生成して、縮小画面のずれ状態を検索する方法などがある。本実施の形態では映像情報検出手段３が縮小画面を生成し、互いにずらしながら、重なり部分の差分絶対値平均が最小となるずらし量を全体ベクトルとして求めるものであるとする。これが全体ベクトル検索機能に該当する。

図２は本実施の形態での全体ベクトルの定義を示す説明図である。符号化画面の全体ベクトルの定義は図２の符号化画面上に図示したものであり、カメラの移動ベクトルに相当するものである。以下の説明ではＰピクチャーの全体ベクトルをＶ_pと記す。

図３は全体ベクトルＶ_pの状態での符号化画面と参照画面の重なり合いの関係を示すものである。映像情報検出手段３は図３の重なり領域に対して統計的類似性指標を算出する。類似性指標として（数３）に示す相関係数ｒを用いる。

（数３）でｘは符号化画面の縮小画面の画素、ｙは参照画面の縮小画面の画素、総和は図３に示す重なり領域の範囲内として演算する。（数３）の分子は符号化画面と参照画面の重なり部分の共分散であり、それを分母の標準偏差で正規化したものである。すなわち、共分散を用いた演算である。相関係数は１から−１の値をとり、極めて強い相関関係があるとき１、無関係であるとき０、極めて強い逆相関があるとき−１となる特徴がある。Ｐピクチャーの相関係数をｒ_pと記すことにする。映像情報検出手段３は全体ベクトルＶ_pと相関係数ｒ_pの組を映像情報として出力する。

映像情報記憶手段４はＩピクチャー、Ｐピクチャー、Ｂピクチャーの３種類について、常に最新の映像情報を保持しており、必要な映像情報を圧縮状態予測手段５に出力する。いま映像情報検出手段３から符号化画面であるＰピクチャーの映像情報を受け取ると、それを新たに記憶するとともに、現在の符号化画面の直前の同じ種類のピクチャーすなわち３フレーム前のＰピクチャーの映像情報を圧縮状態予測手段５に転送する。

圧縮状態予測手段５は映像情報検出手段３から転送された符号化画面Ｐピクチャーの映像情報と、映像情報記憶手段４から転送された直前のＰピクチャーの映像情報とから圧縮状態の予測を開始する。これは符号化画面の符号量予測、直前のＰピクチャーの符号量予測、圧縮状態予測の３ステップからなっている。まず、符号化画面Ｐピクチャーの符号量予測について説明する。圧縮状態予測手段５は全体ベクトルＶ_pを用いて、図３のＡに示す重なり部分とＢに示す余白部分の画面全体に対する面積比率を求める。

(数４)
Ｋ_a＝Ａ／（Ａ＋Ｂ）
Ｋ_b＝Ｂ／（Ａ＋Ｂ）
（数４）で、Ｋ_aが重なり部分Ａの比率、Ｋ_bが余白部分Ｂの比率である。また、相関係数ｒ_pを図４の変換則に従って指標Ｒに変換する。以上のＫ_a，Ｋ_b，Ｒを用いて（数５）〜（数７）で符号量推定指標ｓを算出する。

(数５)
ｓ₁＝Ｋ_b＊Ｋ₁
(数６)
ｓ₂＝Ｋ_a＊Ｋ₂＊Ｒ
(数７)
ｓ＝ｓ₁＋ｓ₂＋Ｋ₃
（数５）でｓ₁は余白部分ＢのイントラマクロブロックのＡＣ係数符号量の程度を推定するものである。Ｋ₁はその余白面積とイントラマクロブロックのＡＣ符号量の比例常数を意味するが、ここではＫ₁＝１とする。（数６）のｓ₂は重なり部分ＡでのＡＣ符号量と動きベクトル符号量の総合の程度を推定する指標である。これは、相関係数ｒが１に近いほど、つまり指標Ｒが０に近いほど重なり部分Ａは符号化画面と参照画面がよく一致し、ＡＣ係数も少なく、動きベクトルもほとんど全て同じものとなるからベクトル符号量も少なくなるという事実と、相関係数ｒが０に近づくあるいはマイナスになるなどの指標Ｒが１に近い状態では、符号化画面は参照画面と全く異なったものであり、イントラマクロブロックの比率も増え、ＡＣ係数符号量が増大し、また動きベクトルもまちまちな値をとって動きベクトル符号量も増大する、という事実とを根拠としている。Ｋ₂は指標Ｒと符号量の比例常数を意味するが、この実施の形態ではＫ₂＝０．８とする。ｓ₁，ｓ₂とも影響度合いをＫ_a，Ｋ_bで面積比率で重み付けている。（数７）で符号量推定指標ｓを算出する。Ｋ₃はヘッダ等の固定的な符号量の影響を示す項であり、この例ではＫ₃＝０．２とする。符号量推定指標ｓは符号量を直接示すものではなく、符号量の増減に比例すると推定できる指標である。Ｋ₁，Ｋ₂，Ｋ₃は動作の目標符号量の程度や圧縮手段７の性能等により最適値が異なる。以上の説明中に示した値は一例である。またＫ₁，Ｋ₂，Ｋ₃は互いの比率のみに意味があるのでＫ₁＝１として説明を進めた。

上述した符号化画面の符号量予測の結果である指標ｓをｓ(n)と記すこととする。同様に直前のＰピクチャーの符号量予測を行い、その結果である指標ｓをｓ(n-1)と記す。圧縮状態予測手段５は最終的な圧縮状態予測として（数８）に従い予測情報αを算出する。

(数８)
α＝ｓ(n)／ｓ(n-1)
予測情報αは直前のＰピクチャーの圧縮状態を基準として、圧縮難易度合いを比率として予測した指標である。

符号量制御手段６は上記予測情報αを受けて、符号化画面Ｐピクチャーの符号量割り当てを決定する。以下に符号量制御手段６の動作を説明するが、既に説明した図９の従来例の符号量制御手段６ａと圧縮手段７の基本動作とほぼ同じであるから、異なる点のみを説明することとする。

いま、Ｐピクチャーの圧縮動作であるから、符号量制御手段６は基準の複雑度指標Ｘ_p0を用いるのであるが、（数９）に従って予測情報αを乗じたＸ_p0′を求め、Ｘ_p0かＸ_p0′かいずれを今後の基準として採用するか判断を行う点が従来例と大きく異なる。

(数９)
Ｘ_p0′＝Ｘ_p0＊α
Ｘ_p0′がＸ_p0に対して予め設定された許容誤差の範囲内である場合、Ｘ_p0をそのまま基準の複雑度指標として使用し、許容誤差範囲外であれば、映像の状態が変化すると予測して前記のＸ_p0′を新たな基準の複雑度指標Ｘ_p0として記憶し、併せてＩピクチャーの基準の複雑度指標Ｘ_i0、Ｂピクチャーの基準の複雑度指標Ｘ_b0も更新する。Ｘ_i0，Ｘ_b0の更新は過去数フレームの実績値Ｘ_i1，Ｘ_p1，Ｘ_b1の平均値の比率から求める。同時に今後の平均符号量が目標符号量にワンステップ近づくように基準の量子化指標Ｑ₀の値を変更する。このように圧縮の難易度合いを過去に対する比率で予測した予測情報αをこれまでの符号量制御に用いていたＸ_p0に乗ずることにより、予測結果を的確に符号量制御に反映させることができる。例えば、符号化画面が変化し、参照画面との関係からより圧縮が困難な状態に変化したのであれば予測情報αが１より大きくなり、その程度に応じた符号量が割り当てられる。より参照画面と一致して圧縮が容易な方向に変化したのであれば予測情報αが１より小さくなり、その程度に応じて符号量が割り当てられることとなるのである。

以上が従来例と異なる動作であるが、基準値が確定すれば、そこから割り当て符号量を決定し、圧縮手段７に符号化Ｐピクチャーを圧縮実行させ、結果の符号量Ｓ_p1と量子化指標Ｑ_p0を用いて複雑度指標Ｘ_p1を算出し、Ｘ_p1とＸ_p0の比較から基準値の更新処理を実行することは上述した従来例の場合と同じである。以上、Ｐピクチャーの場合の動作について説明した。

以下、Ｂピクチャーを符号化する場合の動作、すなわち順方向参照と逆方向参照の双方向参照を用いたＭＰＥＧ２規格の動画像圧縮動作を行う場合について簡単に説明する。符号化画面メモリ１には符号化Ｂピクチャーが、参照画面メモリ２には順方向の参照画面として符号化Ｂピクチャーの過去のＰピクチャーと逆方向の参照画面として未来のＰピクチャーがそれぞれ既に記憶されているものとする。

まず、映像情報検出手段３が符号化画面と参照画面の画面全体としての移動状態を検出し、全体ベクトルを求める。図５は順方向と逆方向の全体ベクトルの説明図である。図５で順方向参照画面と符号化画面および順方向全体ベクトルの関係は、既に説明した図２の参照画面と符号化画面および全体ベクトルの関係と全く同じである。逆方向について図５では符号化画面の左上の矩形領域と逆方向参照画面の右下の矩形領域がよく一致している状態を図示している。この場合、符号化画面から逆方向参照画面に向かって映像全体は時間的に画面内を右下に移動しており、カメラが撮影時左上に移動したと推定できる。逆方向全体ベクトルの定義は図５の符号化画面上に示したように、カメラの移動ベクトルの逆方向に相当するものである。以下の説明ではＢピクチャーの順方向全体ベクトルをＶ_bf、逆方向全体ベクトルをＶ_bbと記す。

図６は順方向全体ベクトルＶ_bfの状態での符号化画面と順方向参照画面の重なり合いの関係と、逆方向全体ベクトルＶ_bbの状態での符号化画面と逆方向参照画面の重なり合いの関係とを示すものである。映像情報検出手段３は順方向類似性指標として、図６の符号化画面と順方向参照画面の重なり領域に対して相関係数ｒ_bfを、逆方向類似性指標として符号化画面と逆方向参照画面の重なり領域に対して相関係数ｒ_bbをそれぞれ算出する。映像情報検出手段３は全体ベクトルＶ_bfとＶ_bb、相関係数ｒ_bfとｒ_bbの４つの情報の組を映像情報として出力する。

圧縮状態予測手段５は映像情報検出手段３から転送された符号化画面Ｂピクチャーの映像情報と、映像情報記憶手段４から転送された直前のＢピクチャーの映像情報とから圧縮状態の予測を開始する。まず、符号化画面の符号量予測として順方向の情報であるＶ_bfとｒ_bfを用いて、（数４）〜（数７）で順方向に関する符号量推定指標ｓを求め、また同様に逆方向の情報であるＶ_bbとｒ_bbを用いて逆方向の符号量推定指標ｓを求め、そのいずれか値が小さい方を符号化画面の符号量推定指標ｓ(n)として採用する。同様に直前のＢピクチャーの符号量予測を行い、その結果小さい方の符号量推定指標ｓをｓ(n-1)とする。圧縮状態予測手段５は最終的な圧縮状態予測として（数８）に従い予測情報αを算出する。予測情報αは直前のＢピクチャーの圧縮状態を基準として、符号化画面の圧縮難易度合いを比率として予測する指標となっている。

符号量制御手段６が予測情報αを用いて基準のＸ_b0を更新処理することは上述したＰピクチャーの動作の場合と全く同じであり、予測値を的確に符号量割り当てに反映させることができるのも全く同じである。

以上のように本実施の形態では、符号化画面と参照画面のずれ量である全体ベクトルＶと重なり領域の相関係数ｒを類似性指標として求めるが、それら映像情報は圧縮状態の難易度合いと関連深いものであるから、映像情報から符号量推定指標ｓを求めることができる。符号量推定指標ｓは符号量の数値を正確に示すものではないが、符号化画面と同一種類で最も新しく符号化された画面の符号量推定指標ｓとの比率ｓ(n)／ｓ(n-1) を求めることにより、圧縮状態の難易度合いを精度良く予測情報αとして数値化することとなる。そしてその予測情報αを用いてＶＢＲの符号量割り当てに使用している複雑度指標Ｘを補正するので、これから圧縮する符号化画面の符号量割り当てをその圧縮難易度合いに適正に対応させた値とすることができ、映像変化に対しても１フレームも画質劣化を発生させることなく、常に高い画質を実現することができるものである。

なお、本実施の形態ではＧＯＰ再起動処理は特に必要としないものであるが、予測情報αが極めて大きな値である場合にのみＧＯＰ再起動処理を実行する構成としても良い。この場合、Ｉピクチャーの平均的符号量とＰピクチャーの平均的符号量の比率をしきい値として採用することで、予測情報αによって割り当て符号量を増加させたほうがＩピクチャーとするよりも符号量が大きくなるような場合にのみＧＯＰ再起動処理が選択されることとなる。

また、映像情報から予測情報を求める演算では（数４）〜（数８）の演算式を用いたが、これは実験的に求められるデータから別の関数、あるいはテーブルとして構成することもできる。さらに、映像情報として全体ベクトルと相関係数を用いたが、これにＤＣ値を含めてもよく、また類似性指標としては相関係数以外に差分絶対値平均や差分自乗平均などの統計的指標を用いて構成することもできる。

本発明の動画像圧縮装置は、映像変化があった場合にその映像の圧縮動作を開始する前に圧縮動作の難易度合いの変化を予測して適正な割り当て符号量を決定するものであるから、的確なＶＢＲ性能を発揮することができ、変化の頻繁に発生する映像に対しても１フレームたりとも画質劣化を生じさせず、高画質で安定性の高い性能が要求される動画像圧縮に適応できるものである。

本発明の実施の形態における動画像圧縮装置の構成を示すブロック図本発明の実施の形態におけるＰピクチャーの映像情報説明図本発明の実施の形態におけるＰピクチャーの重複領域の説明図本実施の形態における相関係数の変換の説明図本発明の実施の形態におけるＢピクチャーの映像情報説明図本発明の実施の形態におけるＢピクチャーの重複領域の説明図ＭＰＥＧ２の参照関係の説明図ＭＰＥＧ２のＧＯＰ構造の説明図従来の技術における動画像圧縮装置の構成を示すブロック図従来の技術におけるイントラ通報とＧＯＰ再起動の説明図

符号の説明

１符号化画面メモリ
２参照画面メモリ
３映像情報検出手段
４映像情報記憶手段
５圧縮状態予測手段
６符号量制御手段
７圧縮手段

Claims

符号化画面と参照画面の比較により映像情報を求める映像情報検出手段と、
過去の前記映像情報と前記符号化画面の前記映像情報の変化度合いから圧縮予測情報を算出する圧縮状態予測手段と、
過去の符号化による符号量と量子化指標の実績値と前記圧縮予測情報を用いて前記符号化画面の割り当て符号量を求める符号量制御手段とを具備する動画像圧縮装置。
前記映像情報検出手段は、前記符号化画面またはその縮小画面と前記参照画面またはその縮小画面とを互いにずらせ、重なった領域が最もよく一致するずらし量を全体ベクトルとして特定する全体ベクトル検索機能と、その状態での重なり領域の統計的類似性を指標として算出する類似性演算機能とを備え、前記全体ベクトルと前記類似性指標を前記映像情報として出力する請求項１に記載の動画像圧縮装置。
前記映像情報検出手段の前記類似性演算機能は、前記符号化画面と前記参照画面の重なり領域での共分散に基づく演算である請求項２に記載の動画像圧縮装置。
前記圧縮状態予測手段は、前記映像情報検出手段が前記映像情報として出力する類似性指標と全体ベクトルについて、前記符号化画面と同一種類の過去の画面での該当情報から変化を求め、その変化の程度に応じた前記圧縮予測情報を算出する請求項１から請求項３までのいずれかに記載の動画像圧縮装置。