JP2008541649A - リフレッシュ・マップを用いた画像符号化装置 - Google Patents

Abstract

伝送前に画像信号のフレーム（ＦＲ）を符号化する画像符号化装置（ＥＮＣ）であって、画像符号化装置（ＥＮＣ）は、符号化器（ＥＮＵ）においてフレームの各データに用いられる符号化の種類を決定するための符号化決定器（ＥＤＵ）を含む。画像符号化装置（ＥＮＣ）は、さらに、時間を通じて、フレームの各データに対し、歪みの計算とは無関係に、イントラ及びインター予測メカニズムを考慮に入れた、対応フレッシュネス値（ＦＶ）を計算するためのフレッシュネス・マップ計算器（ＦＭＣＵ）を実装する。フレッシュネス値（ＦＶ）は、どの程度符号化データ（ＥＤ）が既に伝送されたデータに依存しているかを表し、フレッシュネス値（ＦＶ）は符号化決定器（ＥＤＵ）により用いられる。

Description

本発明は、伝送前に画像信号のフレームを符号化する画像符号化装置であって、符号化器においてフレームの各データに用いる符号化の種類を決定するための符号化決定器を含む画像符号化装置に関する。

そのような画像符号化装置は特許出願ＵＳ２００３／００３１１２８により知られている。この文書は、適応イントラ・リフレッシュを行う方法を開示している（ここで、文言「イントラ」は、通常、フレームのすべてのマクロブロックが、他のフレームとは無関係に、即ち、他のフレームを参照せずに、処理されるモードを示し、これに対し、「インター」は、少なくとも他の一つのフレーム、即ち、前フレーム又は後フレーム、又は、両者を参照フレームとして用いるモードを示す）。インター符号歪み値（ｉｎｔｅｒｃｏｄｅ ｄｉｓｔｏｒｔｉｏｎ ｖａｌｕｅ）とイントラ符号歪み値（ｉｎｔｒａｃｏｄｅ ｄｉｓｔｏｒｔｉｏｎ ｖａｌｕｅ）とがインター符号ビットレートとイントラ符号ビットレートとして計算される。各マクロブロックにおける、計算されたインター符号歪み値とイントラ符号歪み値との比較と、そして、インター符号ビットレートとイントラ符号ビットレートと比較とを基にして、予測されたフレーム・マクロブロックのどれがイントラ符号化されるべきかの決定がなされる。この文書によれば、歪み値は残差から計算されるが、以前の歪みデータからも計算される。

そのような方法は、例えば、この文書に示されている式２２のような複雑な歪みの計算を意味する。そのような手法は確率的であり、符号化の決定の影響を評価するための復号化装置において、コンシールメント・ステップ（ｃｏｎｃｅａｌｍｅｎｔ ｓｔｅｐ）を前提としている。

本発明の目的は、複雑な歪みの計算を必要とせずに、画像信号が受信された場合に、その品質について、符号化の決定の影響を考慮に入れられる画像符号化装置を提供することを目的としている。

上記目的を達成するために、時間を通じて、前記フレームの各データに対し、歪みの計算とは無関係に、イントラ及びインター予測メカニズムを考慮に入れた、対応フレッシュネス値を計算するためのフレッシュネス・マップ計算器を実装し、前記フレッシュネス値は、前記データが、一旦符号化されると、どの程度、既に伝送されたデータに依存しているかを表し、前記フレッシュネス値は前記符号化決定器により用いられる画像符号化装置が提供される。

如何なる歪みとも無関係に計算される、そのようなフレッシュネス・マップは、前記符号化されるデータに及ぶ最後のイントラ・リフレッシュから用いられたイントラ・リフレッシュ及びインター予測を含む予測メカニズムに関する事実を考慮に入れている。従って、そのようなフレッシュネス・マップは、前記データがそれから符号化されなければならないデータに及ぶように用いられるすべての予測メカニズムを考慮に入れている。そのようなフレッシュネス・マップは、用いられる予測メカニズムの種類からリフレッシュネス値が直接的に得られるので、複雑な計算は不要である。

あるフレームの前記データはマクロブロック、画素又は副画素データとすることができる。

前記フレッシュネス値は、二値、又は、ある値のインターバルにおける離散値でもよい。

一実施形態では、前記フレッシュネス・マップはフレームのサイズを有する。

効果的にも、前記画像符号化装置は、データが送出された復号化装置から又は伝送レイヤから伝送のフィードバックを受け取り、前記フレッシュネス値は対応符号化データが適切に伝送されたかに依存する。

前記フレッシュネス値は参照フレーム内のデータのフレッシュネス値にも依存してもよく、前記参照フレームから前記フレームの対応データが予測符号化される。

前記フレッシュネス値は前記フレーム内の対応データがイントラ符号化されるかどうかにも依存してもよい。

本発明は、さらに、伝送前に画像信号のフレームを符号化する方法であって、該方法は、符号化ステップにおいて前記フレームの各データに用いられる符号化の種類を決定するための符号化決定ステップを含み、前記方法は、さらに、時間を通じて、前記フレームの各データに対し、歪みの計算とは無関係に、イントラ及び予測メカニズムを考慮に入れた、対応フレッシュネス値を計算するための事前フレッシュネス・マップ計算ステップを含み、前記フレッシュネス値は、どの程度符号化データが既に伝送されたデータに依存しているかを表し、前記フレッシュネス値は前記符号化決定ステップで用いられる方法に関する。

本発明は、さらに、複数のプログラム命令を備え、前記プログラムがプロセサにより実行されたときに、前記プログラム命令が上記の符号化方法を実行するコンピュータ・プログラム・プロダククトに関する。

本発明は、上記の符号化装置が効果的に実装されたテレビ会議システム、テレビ電話システム、遠隔監視システム、監視システム、ストリーミング又は放送システムにも適用される。

本発明のさらなる目的、特徴そして効果が以下に詳細に記載される実施形態及び添付図面を参照して明らかとなる。

以下の記載においては、当業者によく知られている機能や構成は詳細に記載すると本発明を不明瞭にしかねないので、詳細には記載しない。

図１は本発明による画像符号化装置ＥＮＣの概略図を示す。この画像符号化装置ＥＮＣは、符号化決定器ＥＤＵから受け取った符号化決定ＣＤに応じてフレームＦＲのデータを符号化する符号化器ＥＮＵを含む。この符号化決定ＣＤは、フレッシュネス・マップ（ｆｒｅｓｈｎｅｓｓ ｍａｐ）計算器ＦＭＣＵにより計算されたフレッシュネス・マップＦＭにより得られる。このフレッシュネス・マップＦＭはフレームＦＲの各データのためのフレッシュネス値ＦＶを含む。このフレッシュネス・マップ計算器ＦＭＣＵは、フレッシュネス値ＦＶを記憶するために、メモリＭＥＭに効果的にリンクされる。

従って、本発明はデジタル画像符号化装置ＥＮＣにより生成される如何なるビットストリームの符号化プロセスにおいてもフレッシュネス・マップＦＭ構造を導入する。

符号化する新フレームの各々に対し、フレッシュネス・マップ計算器ＦＭＣＵが最初に既定サイズのアレイを初期化する。このアレイは、以下の記載において、フレッシュネス・マップ又はマップと呼ばれる。

このサイズは符号化フレームのサイズと同サイズになるように選ばれると効果的である。マップＦＭのサイズは符号化フレームのサイズの何倍か又は何分の一に選ばれてもよい。通常、如何なる種類のサイズをも選ばれることができる。そのような選択はフレッシュネス・マップＦＭに要求される細度による。マップＦＭのサイズによって、マップＦＭの各エレメントが上記フレーム内のデータ量より多少大きいと効果的である。フレッシュネス・マップＦＭは圧縮されてもされなくても同様に保存できる。

マップＦＭの各エレメントは値の一組から離散化された（ｄｉｓｃｒｅｔｉｚｅｄ）値に対応する。そのような組は[０；１]又は、例えば、インターバル[０；２５５]又は如何なる他のインターバルにより規定された如何なる値の組でもよい。例えば、以下の記載では、上記マップＦＭの各エレメントは最高値から始まり、そして、各エレメントは、ある係数を乗ずることにより、又は、データの符号化プロセスにおいてイントラ及びインター予測メカニズムを考慮に入れた係数を加えることによりアップデートされる。

そして、フレームの対応データが関係しているフレッシュネス・マップＦＭの各エレメントに対して、フレッシュネス・マップ計算器ＦＭＣＵが、そのフレームの対応データがどの程度フレッシュか否かを計算する。

この機能を達成するために、フレッシュネス・マップ計算器ＦＭＣＵは符号化決定器ＥＤＵから符号化情報ＣＩを受け取る。

そのような符号化情報ＣＩは、そのフレームのデータが参照フレームのある領域から予測符号化されるかについて、その領域のフレッシュネスについて、動きベクトルのフレッシュネスについて、データが予測イントラ符号化されるかについての情報を含む。

幾つかの対応するフレッシュネス係数又は値が以下のように定義される。

αはイントラ符号化データのためのフレッシュネス値又は係数を示す。ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４において考えられる様々な依存性に対して様々な係数が定義されうる。

従って、以下では、α_ｄｃはＤＣ依存性を示し（この係数はＭＰＥＧ−２では１に等しく、ＭＰＥＧ−４では二つに一つの選択肢があり）、α_ａｃはＡＣ依存性を示し（この係数はＭＰＥＧ−２では０であり、ＭＰＥＧ−４ではＡＣ₋ｆｌａｇが１にセットされたら幾つかであり）、α_ｐｉｘはＨ．２６４において考えられる画素依存性を示す（９までの予測方向）。

βはイントラ符号化データのためのフレッシュネス係数を示す。テクスチャ及び動き依存性が区別され、そして、両者の和が、潜在的な重み係数Ｗ_ｔｅｘとＷ_ｍｖを伴って全体的な依存性となる。

従って、送出されたベクトルが近隣ベクトル（例えば、３まで）を含む予測に基づく場合はβ_ｍｖが動き依存性を示し、ＭＰＥＧ−２及びＭＰＥＧ−４におけるＰ及びＢフレーム、そして、Ｈ．２６４における多数のフレーム参照に関するテクスチャ依存性をβ_ｒｅｓが示す。β_ｒｅｓは大きいと、動きベクトルが小さい場合は、この動きベクトルに依存し、何故ならば、目は、動きの遅い領域では識別力が高く、早く動く物体に対しては識別力が低くなるからである。β_ｒｅｓは大きいと、残差が少ない場合は、残差にも依存し、何故ならば、テクスチャを幾らか送出すると誤差が潜んでいるからである。

図２ａに示されるように、時間ｔにおけるフレームのマクロブロックＢＬ_ｔが様々な画素（例えば１６ｘ１６画素）に広がり、そして、この図に示されるように、インター予測メカニズムにより位置を変えられた以前のフレームの他のマクロブロックＢＬ_ｔ―１から部分的に予測することができる。図２ａに示されるように、そのような予測が行われたら、位置を変えられたマクロブロックＢＬ_ｔ―１は、通常、時間ｔにおけるフレームＦＲのマクロブロックＢＬ_ｔを復元しない。従って、マクロブロックＢＬ_ｔからのデータは、マクロブロックＢＬ_ｔの他のデータの値とは異なるフレッシュネス値ＦＶをとる。

従って、図２ｂに示されるように、ブロック毎又は画素グループ毎のフレッシュネス・マップＦＭがデータＤＡとして、又は、マクロブロックＢＬ_ｔ内の各画素又は副画素予測が異なるフレッシュネス値ＦＶをもたらす。このことは、マクロブロックＢＬ_ｔのデータに対して二つのフレッシュネス値ＦＶ（ＢＬ_ｔ-ＤＡ）とＦＶ（ＤＡ）のみにより概略的に示されている。さらに、フレッシュネス・マップＦＭの細度レベルがフレーム・サイズに関わるそのサイズにより規定される。図２において、フレッシュネス・マップＦＭのサイズはフレームＦＲのサイズに等しく選択される。従って、フレッシュネス・マップＦＭの細度は画素とすることができる。

フレッシュネス・マップＦＭは２レベル又はマルチレベルで計算できる。そのようなマルチレベルの手法では、本発明では、フレッシュネス・マップＦＭの幾つかのエレメントは０又は１の値とはならないと仮定し、そして、幾つかの中間離散化レベルが規定される。

フレームのデータが中間の対応フレッシュネス値ＦＶを有するデータから予測符号化されると思われるときに、そのような中間レベルが規定され、これは、そのフレームのデータが同じフレッシュネス値ＦＶを有しない補間データから予測符号化されると思われるときである。この場合、現在のデータのフレッシュネスが、これが依存するフレッシュネス値ＦＶのプロレート（ｐｒｏ ｒａｔｅ）として計算される。

本発明の実施形態では、フレッシュネス・マップ計算器ＦＭＣＵが復号化装置又は伝送レイヤから受信情報ＲＩを受け取る。その復号化装置又は伝送レイヤからのパケット・ロス（ｌｏｓｓ）による失われたデータに対し符号化器がフィードバックをもたらす場合に、そのような受信情報ＲＩが存在する。それは、ブロック又はマクロブロックの予測データが適切に伝送されたか否かの情報を与える。

ＭＰＥＧ−４でｔが付された画像と、演算子の一例である係数による乗算でアップデートされるフレッシュネス値とのための、イントラ符号化データ及びインター符号化データに対するフレッシュネス値ＦＶの計算例が以下に示される。

座標[ｉ、ｊ]を有し、上部近隣に対し符号化されたＤＣ成分を有し、そして、ＡＣｐｒｅｄ_―ｆｌａｇが１に設定されたイントラ符号化データに対し、フレッシュネス値ＦＶは、
ＦＶ（ｉ、ｊ，ｔ）＝（α_ｄｃ＋α_ａｃ）＊ＦＶ（ｉ、ｊ-１，ｔ）
で与えられ、[ｉ、ｊ]は画像内の座標を示し、例えば、第二マクロブロック・サイズが１６＊１６の画像は画素座標[１６、０]を有する。

座標[ｉ、ｊ]、残差Ｒ、そして動きベクトルＭＶを有するインター符号化データに対し、フレッシュネス値ＦＶは、
ＦＶ（ｉ、ｊ，ｔ）＝Ｗ_ｔｅｘ ^＊ＦＶ_ｔｅｘ（ｉ、ｊ，ｔ）＋Ｗ_ｍｖ ^＊ＦＶ_ｍｖ（ｉ、ｊ，ｔ）
で与えられ、ここで、
ＦＶ_ｔｅｘ（ｉ、ｊ，ｔ）＝β_ｒｅｓ（ＭＶ，Ｒ）^＊ＦＶ_ｔｅｘ（ｉ-ＭＶ_ｘ、ｊ-ＭＶ_ｙ、ｔ-１）そして
ＦＶ_ｍｖ（ｉ、ｊ，ｔ）＝β_ｍｖ ^＊[ＦＶ_ｍｖ（ｉ-１，ｊ-１、ｔ）＋ＦＶ_ｍｖ（ｉ，ｊ-１、ｔ）＋ＦＶ_ｍｖ（ｉ＋１、ｊ-１、ｔ）]である。

符号化決定器ＥＤＵは各入力フレームのフレッシュネス・マップＦＭに対して自由に処理を行うことができる。符号化決定器ＥＤＵは以下の内の幾つかのストラテジを適用することができる。それらは、マクロブロックのイントラ符号化で、値が大きい対応データのフレッシュネス値ＦＶの設定であり、ある程度、最もフレッシュなデータを欲する予測メカニズムの適用であり、各フレームに与えられたフレッシュネス・マップＦＭの有利な点を生かして、各符号化フレームのフレッシュネス値ＦＶの平均値を大きくする他のメカニズムの適用である。この最後の場合、平均フレッシュネスを大きくするために、各符号化フレームのフレッシュネス値の局部制御を行う。

フレッシュネス値ＦＶはユニークな決定手段として用いることができ、閾値に達するとすぐにイントラリフレッシュが決定され、又は、ビットレートと残差から計算される典型的な歪みファクタを考慮に入れた等式として用いることができる。この最後の場合、符号化の種類を決定するために考慮にされる等式は、
Ｅ＝Ｄｉｓｔｏｒｔｉｏｎ（Ｒｅｓｉｄｕａｌ）＋λ^＊[ｂｉｔ ｒａｔｅ]＋γ^＊[ＦＶ]となる。

そして、決定された符号化の種類がこの等式Ｅを最小化するものに対応する。

本発明によれば、デジタル画像符号化装置が、ビットレート変化がスムースな（周期的なイントラフレームが無い）ビットストリーム、ランダムに評価した場合に回復時間が最小なビットストリーム、伝送損失による伝搬誤差が少ないビットストリームを提供することができる。本発明によれば、ビットストリームのエレメントを、それらエレメントのフレッシュネスにより特徴付け、そして、それらエレメントに異なる優先順位を与えることができる。ビットストリームのそれらエレメントは、従って、伝送前に不均一誤り保護（ｕｎｅｑｕａｌ ｅｒｒｏｒ ｐｒｏｔｅｃｔｉｏｎ）により保護され、最もフレッシュなものが最も保護される。

本発明によれば、パケット・ロス又はビット消失が起きる、サービスの質の悪いネットワークを介した伝送、そして、テレビ会議システム又は何かの放送環境で多く用いられている、ランダム・アクセス・ポイントが定められていない、ビットストリームへのアクセス等への多くの応用が考えられる。テレビ会議システム又は何かの放送環境においては、ビットレート変化がスムースなため、再同期ポイントを周期的に設ける必要がなく、本発明によれば、ランダム・アクセスが簡単となる。従って、テレビ会議システムや、ＴＶ及び携帯機器のためのストリーミング（ｓｔｒｅａｍｉｎｇ）並びに放送が特に対象となる。

本発明によれば、解像度と濃さ（ｄｅｐｔｈ）に関して細度を高くすることができ、これは、フレッシュネス・マップＦＭの計算における解像度が副画素精度までになり、濃さが数ビツト表現までになるからである。さらに、フレッシュネス・マップＦＭを用いたトラッキングは一時的であり、画像標準の予測能力を考慮に入れている。

本発明は上記実施形態により限定されるものではなく、請求の範囲に規定された本発明の範疇から逸脱することなく多くのさらなる実施形態を構想することができることが理解されるところである。この点に関して以下のことが挙げられる。

本発明の方法における機能は、ハードウエア又はソフトウエア、又は、両者の要素を用いて実施する様々な方法があり、ハードウエア又はソフトウエアの一つの要素がいくつかの機能を行う。ハードウエア又はソフトウエア、又は、両者の複数要素の組み合わせが一つの機能を行うことを排除するものではなく、本発明によるドリフト周波数の処理方法を変更することなく単一の機能を形成するものである。

それらのハードウエア又はソフトウエアの要素は、プログラミングに適する、ワイヤードの電子回路、又は、集積回路を用いて様々な態様で実施できるものである。

請求の範囲における参照符号は請求の範囲を限定するものではない。文言「含む」及び同様な文言は請求の範囲記載された以外の如何なるステップ又は要素を排除するものではない。

本発明の、画像符号化装置を示す図である。 本発明の対象となるフレームのデータ例を示す図である。 本発明の対象となるフレームのデータ例を示す図である。

Claims (13)

1. 伝送前に画像信号のフレーム（ＦＲ）を符号化する画像符号化装置（ＥＮＣ）であって、該画像符号化装置（ＥＮＣ）は、符号化器（ＥＮＵ）において前記フレームの各データに用いられる符号化の種類を決定するための符号化決定器（ＥＤＵ）を含み、前記画像符号化装置器（ＥＮＣ）は、さらに、時間を通じて、前記フレーム（ＦＲ）の各データに対し、歪みの計算とは無関係に、イントラ及びインター予測メカニズムを考慮に入れた、対応フレッシュネス値（ＦＶ）を計算するためのフレッシュネス・マップ計算器（ＦＭＣＵ）を実装し、前記フレッシュネス値（ＦＶ）は、どの程度符号化データ（ＥＤ）が既に伝送されたデータに依存しているかを表し、前記フレッシュネス値（ＦＶ）は前記符号化決定器（ＥＤＵ）により用いられる画像符号化装置。
2. あるフレーム（ＦＲ）の前記データはマクロブロックである請求項１に記載の画像符号化装置（ＥＮＣ）。
3. あるフレーム（ＦＲ）の前記データは画素である請求項１に記載の画像符号化装置（ＥＮＣ）。
4. あるフレーム（ＦＲ）の前記データは副画素データである請求項１に記載の画像符号化装置（ＥＮＣ）。
5. 前記フレッシュネス値（ＦＶ）は二値である請求項１に記載の画像符号化装置（ＥＮＣ）。
6. 前記フレッシュネス値（ＦＶ）は離散値である請求項１に記載の画像符号化装置（ＥＮＣ）。
7. 前記フレッシュネス・マップ（ＦＭ）はフレーム（ＦＲ）のサイズを有する請求項１に記載の画像符号化装置（ＥＮＣ）。
8. 符号化データ（ＥＤ）が送出された復号化装置から又は伝送レイヤから伝送のフィードバックを受け取り、前記フレッシュネス値（ＦＶ）は対応符号化データ（ＥＤ）が適切に伝送されたかに依存する請求項１に記載の画像符号化装置（ＥＮＣ）。
9. 前記フレッシュネス値（ＦＶ）は参照フレーム内のデータのフレッシュネス値に依存し、前記参照フレームから前記フレームの対応データが予測符号化される請求項１に記載の画像符号化装置（ＥＮＣ）。
10. 前記フレッシュネス値（ＦＶ）は前記フレーム内の対応データがイントラ符号化されるかどうかに依存する請求項１に記載の画像符号化装置（ＥＮＣ）。
11. 伝送前に画像信号のフレームを符号化する方法であって、該方法は、符号化ステップにおいて前記フレームの各データに用いられる符号化の種類を決定するための符号化決定ステップを含み、前記方法は、さらに、時間を通じて、前記フレームの各データに対し、歪みの計算とは無関係に、イントラ・リフレッシュ及び予測メカニズムを考慮に入れた、対応フレッシュネス値を計算するための事前フレッシュネス・マップ計算ステップを含み、前記フレッシュネス値は、どの程度符号化データが既に伝送されたデータに依存しているかを表し、前記フレッシュネス値は前記符号化決定ステップで用いられる方法。
12. 複数のプログラム命令を備え、前記プログラムがプロセサにより実行されたときに、前記プログラム命令が請求項１に記載の符号化方法を実行するコンピュータ・プログラム・プロダククト。
13. 請求項１乃至１０いずれかに記載の符号化装置を含むテレビ会議システム、テレビ電話システム、遠隔監視システム、監視システム、ストリーミング又は放送システム。

Images