JP2004520744A - 画像の符号化と復号のための方法及び装置、それに関連する用途 - Google Patents

Abstract

画像を符号化するための方法であって、それぞれ異なる最適化基準に基づいてビデオシーケンスの少なくとも１つの画像のコンプレッションを最適化する少なくも２つの方式の画像符号化を選択的に実行する。

Description

【技術分野】
【０００１】
本発明は、動画像シーケンス、特にビデオのビットレートを減少させることによる符号化の技術に関する。
【背景技術】
【０００２】
多数のビデオ符号化の用途が存在する。その中には（限定的なリストではないが）、
・デジタルＴＶ伝送、
・ＩＰ、移動体通信といった数タイプのネットワークにわたるリアルタイムビデオ伝送（”ストリーミングＩＰ”）、
・ビデオのコンピュータストレージ、等が含まれる。
【０００３】
本発明は、特にＭＰＥＧ型符号化を実行するシステムの枠組み内において適用可能である。ＭＰＥＧ型符号化とは、固定サイズが多いが可変サイズもあり得るハードブロック構造に基づく時間的予測（temporal prediction）と離散コサイン変換（discrete cosine transformation）に基づく符号化を意味する。この符号化ファミリーの２つの代表的な標準は、バージョン１からバージョン４までのＭＰＥＧ−４標準とバージョン２までのＩＴＵ−Ｔ／Ｈ．２６３である。本発明は、ＣＣＩＴＴ Ｈ２６リコメンデーション（例えば対応するＶＣＥＧ−Ｎ８３ｄｌドキュメント参照）の枠組みにおいても適用可能である。
【０００４】
現在提案されているビデオの符号化と復号のスキームは、以下の２つのカテゴリに分けられる。１つは、
・ＩＳＯ／ＭＰＥＧまたはＩＴＵ−Ｔのいずれかによって標準化された符号化で、すべて同じタイプの技術（ブロック構造に基づく時間的予測と離散コサイン変換）に基づくものと、もう１つは、
・ウェーブレット符号化、地域的符号化（regional encoding）、フラクタル符号化、メッシュ符号化（meshing encoding）等の大きな一団の技術を必要とする研究所によって提案された開発中の符号化、である。
【０００５】
現在、ＭＰＥＧ−４符号化は、標準化された符号化という点のみならず、公開された符号化という点で、業者間標準（trade standard）と考えられている。
【０００６】
ＭＰＥＧ−４型またはＩＴＵ−Ｔ／Ｈ．２６３＋＋型の符号化は、特に全ての符号化計算及び操作のための支援として使用される固定サイズのハードブロック構造が原因で限界に達していると考えられている。特に、シーケンス内の画像の時間的予測は十分に活用されていない。
【０００７】
さらに、公開されている代わりの符号化は十分な度合いの最適化をまだ達成していない。
【０００８】
このため、通常において符号器は、符号化されたビデオシーケンスを低いビットレートで得られるようにするために、画像のサイズを小さくし、オリジナルのビデオシーケンスの時間的なサブサンプルを生成する。それでもなお、この第２の技術はサブサンプルのレベルに応じたユーザにとっては多かれ少なかれ問題のある不規則な動き（erratic movements）を修復しなければならない不便さがある。
【０００９】
これらの不規則な動きを避けるためには、復号器において時間的補間（temporal interpolation）を使用して欠けた（符号化されていない）画像が再生されなければならない。
【００１０】
それでもなお、画像の時間的補間に関する現在の技術では、とりわけそれらの技術が単一の復号器において実施されるときには、満足な結果は得られない。実際、これらの技術は、１ブロックの全てのピクセルに対して単一の動きベクトルを指定するだけのブロックに基づく動き補償技術に関係したビジュアルアーチファクトの原因となる。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明の目的はこれら従来技術の限界を克服することにある。
【００１２】
より正確には、本発明の１つの目的は、画像データを符号化及び復号するための技術であって、ビットレートを小さくしかつ／または周知の技術で得られる再生画像のクォリティを改善することができるものを提供することにある。
【課題を解決するための手段】
【００１３】
この目的は本発明による画像符号化方法によって達せられる。この画像符号化方法は、それぞれ様々な最適化基準に基づいてビデオシーケンスの少なくとも１つの画像のコンプレッション（compression）を最適化する少なくも２つの方式の画像符号化を選択的に実行する。
【００１４】
本発明のいくつかの有利な態様においては、復号器における前記符号化方式の中の１つの方式の選択に関する情報は、
・符号化と復号の段階において知られる、予め定められた選択と、
・少なくとも一部の符号化された画像データを含むデータフローに含まれる前記選択の表示情報と、
・符号化された画像データとは無関係なデータフローに含まれる前記選択の表示情報と、
・前記復号器によって所定の方法で選択を判定すること、
から成るグループに属する技術の中の少なくとも１つに基づいて復号器に知られてよい。
【００１５】
有利には、前記画像符号化方法は、前記画像に適用すべき符号化方式を選択するための段階であって、
・画像の光度表現（photometric representation）を最適化する第１の符号化と、
・少なくとも２つの画像にわたる動きの表現を最適化する第２の符号化と、
を少なくとも含む段階を具備する。
【００１６】
こうして本発明は、特にＭＰＥＧ符号化とメッシュ表現に基づく時間的補間を使用する符号化とのハイブリッド符号化による新規のビデオ符号化方法、並びに、その復号方法及びそれに関連するバイナリ表現の構造を提供する。
【００１７】
好ましくは、前記第２の符号化は、前記第１の符号化を使用して符号化された少なくとも１つの以前の画像及び／または少なくとも１つの以後の画像を考慮する。
【００１８】
有利には、前記第２の符号化は、前記第１の符号化を使用して符号化された直前の画像から計算される動きベクトル・フィールド及び／または前記第１の符号化を使用して符号化された直後の画像から計算される動きベクトル・フィールドを考慮に入れる。
【００１９】
有利には、前記動きベクトル・フィールドはメッシュ網（meshing）に適用される。
【００２０】
この場合、前記動きベクトル・フィールドは、前記第２の符号化を使用して符号化された画像に関係した、推論された動きベクトル・フィールドを決定するために使用することができる。
【００２１】
本発明の好ましい態様によれば、前記選択段階は固定因子Ｎのサブサンプリングの実施に基づいており、Ｎに１つの画像は前記第１の符号化を使用して符号化される。
【００２２】
有利には、このＮの値は少なくとも１つの所定の基準に応じて可変的である。
【００２３】
或る特定の態様によれば、前記第１の符号化では画像ブロック上の変換とブロックによる時間的予測が実行される。この変換は例えばＤＣＴ型変換、アダマール（Hadamard）変換、ウェーブレット（wavelet）変換等である。
【００２４】
画像ブロックは必ずしも正方形ではないが、必要性と利用可能な手段に応じてどんな形状も採ることができることがかわるであろう。
【００２５】
この第１の符号化は、特に、ＭＰＥＧ−４またはＨ２６Ｌ符号化であることが可能である。
【００２６】
後者の場合、タイプＩ（intra）画像及び／またはタイプＰ（predicable）画像（好ましくはタイプＢ画像でない）を使用することが好ましい。
【００２７】
本発明のもう一つの特別な特徴によれば、前記第２の符号化は有利には、Ｍを１以上であるとしてＭ階の例えば三角形型の階層型メッシュ網（hierarchical meshing）の使用に基づく。
【００２８】
この場合、本方法は、好ましくは被覆領域（occlusion areas）またはブランキング領域（blanking areas）の管理段階（management phase）を具備する。
【００２９】
作り出されたデータは、単一のフローにグルーピングされる。有利には、独立な伝送経路で伝送することができる少なくとも２つのデータフローを望むことができる。
【００３０】
有利には、前記データフローは、
グローバルヘッダと、
前記第１の符号化に基づいて符号化された画像データと、
前記第２の符号化に基づいて符号化された画像データと、を含むグループに属する。
【００３１】
この結果、フロー伝送は独立に生じることが可能である。特に、このことによって、手段と必要性に応じて、画像を順繰りに及び／または部分的に復号することができるようになる。
【００３２】
このため、本発明の特別な態様においては以下のような側面、すなわち、
・ＭＰＥＧ型またはＩＴＵ−Ｔ／Ｈ．２６３型の標準化された符号化の構成モジュールによって推し進められる最適化と、
・メッシュ網に基づく技術の強力な時間的予測及び関係する誤り符号化と、を利用することできる。
【００３３】
実際、メッシュ網に基づくアプローチは、連続的な動きフィールドを使用するおかげにより通常ブロック（normal block）の影響を避ける助けになる。さらに、メッシュ網技術によれば、ブランキング「オブジェクト」の検出、並びにこれらの領域に適切に適用される誤り符号化が可能となる。その上、これらの領域周辺でのＭＰＥＧ誤り符号化を組み合わせることによって、補間の効率はＭＰＥＧによって与えられる双方向画像（タイプＢ画像）のコストよりもずっと低いコストに十分改善されることが可能である。
【００３４】
従って、基本的な情報は、ＭＰＥＧ型符号化を使用して低い時間解像度でも高いクォリティで効果的に符号化されることができる。そして、シーケンスのフロー全体は、メッシュ網による補間方式における符号化を使用して復元されることができる。
【００３５】
本発明は、もちろん、
・前記符号化方法を使用して符号化された画像信号を復号するための方法と、
・前記符号化方法を使用して符号化された画像信号を符号化するための方法と、
・前記符号化方法を使用して符号化された画像信号を復号するための装置（有利には、符号化において実施されたものと類似した、ベクトル・フィールドの少なくとも一部及び／またはブランキング領域（blanking areas）の少なくとも一部を決定するための手段を含む）と、
・前記符号化方法を使用して符号化された少なくとも１つの画像信号を記憶するための装置と、
・前記符号化方法を使用して符号化された画像信号の符号化、伝送及び／または復号のシステム（有利には、前記符号化方式の１つの選択に関する情報は、
・符号化と復号の段階において知られる、予め定められた選択と、
・少なくとも一部の符号化された画像データを含むデータフローに含まれる前記選択の表示情報と、
・符号化された画像データとは無関係なデータフローに含まれる前記選択の表示情報と、
・復号器によって固有の方法で選択を判定すること、
・前記符号化方法を使用して符号化された画像信号を符号化及び／または復号するためのコンピュータ・プログラム製品と、
・そうしたプログラムのためのデータ支援と、から成るグループに属する技術の中の少なくとも１つに基づいて復号器に知られる）、も提供する。
【００３６】
本発明は前記符号化方法に基づいて符号化されたデータを含む画像データ信号も提供する。
【００３７】
有利には、この信号は、前記符号化方法が作用したか否かを特定する少なくとも１つの指標を含む。
【００３８】
好ましくは、前記信号は、ビデオシーケンスの先頭及び／またはそれぞれの信号フレームにフレーム構造を特定するデータを含む。
【００３９】
有利には、前記第２の符号化を使用して符号化されたシーケンスは、この第２の符号化に基づいて符号化されたフレームの数を示すヘッダから始まる。
【００４０】
或る特定の態様によれば、前記信号は、別個の伝送経路で伝送することができる少なくとも２つのデータフローを含む。
【００４１】
この場合、前記データフローは有利には、
グローバルヘッダと、
前記第１の符号化に基づいて符号化された画像データと、
前記第２の符号化に基づいて符号化された画像データと、を含むグループに属する。
【００４２】
本発明は、様々な領域、特に、
・デジタルＴＶと、
・ＩＰネットワーク上のリアルタイム・ビデオと、
・移動体通信ネットワーク上のリアルタイム・ビデオと、
・画像データストレージと、を含むグループに属する領域に用途が見出される。
【００４３】
本発明の他の特徴と利点は、本発明の以下の好ましい実施の態様の説明においてより明らかとなる。またその説明においては図面が参照される。ただし、あくまでもその説明は例示目的で行われるものであって、本発明はそこに与えられた例には限定されない。
【発明を実施するための最良の形態】
【００４４】
本発明の好ましい実施態様を以下詳細に説明する。この態様は、例えばＭＰＥＧ−４といったＭＰＥＧ型符号化と、ＭＰＥＧ標準におけるＢ方式またはＢ画像とも呼ばれる補間方式で働くメッシュ符号化とのハイブリッドに基づく。
【００４５】
ここに言及されたＭＰＥＧ−４符号化は、均等な技術に基づく任意の符号器、すなわち、ブロック構造に基づく時間的予測及び離散コサイン変換と、生成された情報の定量化とエントロピー符号化を使用する任意の符号器で置き換えることができることに注意すべきである。特に、ＭＰＥＧ−４符号化をＩＴＵ−Ｔ／Ｈ．２６３＋＋符号化に置き換えることが可能である。
【００４６】
符号器に入ってくるシーケンスの各画像毎に、その符号器はＭＰＥＧ−４符号化モジュールまたはメッシュ網に基づく符号化モジュールを備えた符号器の或る特定の判定プロセス（例えば、固定因子型時間的サブサンプリング（fixed factor temporal subsampling））に基づいて判定を行う。
【００４７】
メッシュ方式で符号化された画像は、それらの時間的予測の基準として、それらが属するメッシュ方式で符号化された画像のグループの直前または直後に置かれたＭＰＥＧ−４方式で符号化された画像を使用する。
【００４８】
本発明のコンプレッション効率のキーポイントは、メッシュ網に基づく動き補償によって、伴う符号化コストが低い非常に強力な時間的予測がもたらされる、ということである。
【００４９】
実際、この技術は、
・画像内での様々なタイプの動きを考慮し、
・特に、オブジェクトの動きによる領域のカバリングとアンカバリングを処理する。
【００５０】
本符号器の動作原理の概要を図１に示す。
【００５１】
まず、入力画像は、或る与えられた判定方法に基づいて、例えばＮ個の内１個の画像がＭＰＥＧ符号化され、その残りの画像はメッシュ網補間方式（meshing interpolated mode）で符号化されるといったように、予め定義されたリズムに従ってＭＰＥＧ符号化モジュールまたはメッシュ網に基づく符号化モジュールのいずれかに送られる。Ｎ_kはＭＰＥＧ方式で符号化された画像の番号を表すことに注意する。
【００５２】
その他全ての画像Ｉ_l、Ｎ_k＜ｌ＜Ｎ_k+1、は、Ｂ方式と呼ばれる補間方式（interpolated mode）で働く例えば三角形型のメッシュ網に基づく符号器によって符号化される。この符号器の一般動作原理は以下のようなものである。
【００５３】
１． 画像Ｎ_kと画像Ｎ_k+1の間の前後の動きフィールドの計算。これらのフィールドは三角メッシュ網の形でモデリングされる。
【００５４】
２ａ． 予測可能領域の推定：補間の間に、Ｉｔ及びＩｔ’の間の動きが推定される。動きベクトルの適用が対称変換（conversion）を引き起こさない場合（予測可能領域が存在することを意味する）、動き補償（movement compensation）はｔ＋ｋが［ｔ，ｔ’ ］
に属するとき、Ｉ_t+kを補間するためにベクトルをスカラーｋ（０≦ｋ≦１）で重み付けすることによって実行される。動き補償には、以下説明される３つの可能なアプローチが存在する。
【００５５】
２ｂ． 非予測可能領域の推定：符号化される画像Ｉｌにおける、これらの動きフィールドの知識からの、非予測可能なブランキング領域（blanking areas）の検出。
【００５６】
３． 以下の３つの可能な方式の１つに基づく、これらのブランキング領域の特定の符号化：
・動き補償が伴わない参照画像（Ｎｋ、Ｎ_k+1、またはそれらの動きフィールドを使って動き補償されたこれらの画像）の１つによる予測、次いで予測誤差を三角メッシュ網・ベース技術を使って符号化する。
・イントラ画像動き補償（intra-image movement compensation）が伴う参照画像（Ｎｋ、Ｎ_k+1、またはそれらの動きフィールドを使って動き補償されたこれらの画像）の１つによる予測、次いで予測誤差を三角メッシュ網・ベース技術を使って符号化する。
・三角メッシュ網・ベース技術に基づくイントラ画像符号化（intra-image encoding）。
【００５７】
４． 選択的に、ブランキング領域周辺の領域に限定された、残りの予測誤差のＰ方式ＭＰＥＧ型符号化または符号化。
【００５８】
既に言及したように、動き補償は、事前推定（estimate before）、事後推定（estimate after）、あるいは事前推定及び事後推定の両方に基づく、３つのアプローチを使用して実行される。
【００５９】
１） 事前推定による場合
補間の際、Ｉ_t1とＩ_t2の間の動きが推定される。動きベクトルの適用が対称変換（conversion））を引き起こさない場合（予測可能領域に対応する）、動き補償は、ｍが［ｔ１，ｔ２］に属するときＩ_mを補間するためにベクトルをスカラーｋ＝ｍ／（ｔ１＋ｔ２）（０＜ｋ＜１）で重み付けすることによって実行される。Ｅ１推定画像が得られる。
【００６０】
２） 事後推定による場合
補間の際、Ｉ_t2とＩ_t1の間の動きが推定される。動きベクトルの適用が対称変換を引き起こさない場合（予測可能領域に対応する）、動き補償はｍが［ｔ１，ｔ２］に属するときＩ_mを補間するためにベクトルをスカラーｋ’＝１−ｍ／（ｔ１＋ｔ２）（０≦ｋ’≦１）で重み付けすることによって実行される。Ｅ２推定画像が得られる。
【００６１】
３）事前推定と事後推定の両方による場合
補間の際、Ｉ_t1とＩ_t2の間とＩ_t2とＩ_t1の間の動きが推定される。動きベクトルの適用が対称変換を引き起こさない場合（予測可能領域に対応する）、動き補償は「事前」ベクトルをスカラーｋ（０≦ｋ≦１）で重み付けすることによって実行され、Ｅ１が得られる。同じことがスカラーｋ’（０≦ｋ’≦１）を使って「事後」ベクトルについても行われ、Ｅ２が得られる。このとき推定画像は、ａを（０≦ａ≦１）として、Ｅ＝ａＥ１＋（１−ａ）Ｅ２である。
【００６２】
２ビット毎に、推定されたソリューションとそれに関係するソース・イメージとの間でＰＳＮＲを計算した後にベストなソリューションが採られる。
【００６３】
１． 画像Ｎ _k 及び画像Ｎ _k+1 の間の前後の動きベクトル・フィールドの計算
画像Ｎ_k及び画像Ｎ_k+1の間の前後の動きベクトル・フィールドが階層型メッシュの形で
、例えば図２に示された三角分割Ｔ^b _kとＴ^b _k+1、の形で計算される。
【００６４】
これらのメッシュ網は、或る決まったメッシュを分割することによって得られる。例えば、三角メッシュは、動き推定プロセスの或る特定の基準に基づいて４つの部分三角形に分割される。各階層レベルで、各メッシュに対して分割判定がなされたりなされなっかたりする。これらの分割が決まると、均一なメッシュ構造を維持するために分割されたメッシュに隣接するメッシュが分割される。分割以前の初期のメッシュ（階層構造の頂点）はどんな形を採ることもできる。
【００６５】
図２の例では、動き推定器（movement estimator）は三角形３と三角形８を分割する。この分割に伴って三角形２、４、７及び９が分割される。このプロセスは所定の階層レベルまで繰り返される。
【００６６】
三角メッシュ網（triangular meshing）の場合、三角メッシュ網Ｔによって定義される動きフィールド表現（movement field representation）は各三角形eに対し次式で与えられる。
【数１】

【数２】

【００６７】
このタイプのモデルは十分に連続的なフィールドを定義する。さらに、それは表現精度の十分なコントロール、コンプレッションには不可欠な特徴、を可能にする。
【００６８】
メッシュ網階層構造（meshing hierarchy）の各レベルにおいて、予測誤差を最小化するためにノード動きベクトル（nodal movemnt vector）が計算される。メッシュ網に基づく様々な動き推定器を使用することが可能である。それらについては、例えば、仏国特許第９８ １１２２７号または仏国特許第９９ １５５６８号を参照されたい。
【００６９】
思い出さなければならない重要なポイントは、最終メッシュは初期のメッシュからの分割による階層プロセスの結果である、ということである。この階層性は実際に或るノードとその親ノード（それが挿入されるアークの端）との間のノード動きベクトル（nodal movement vectors）の差分符号化（differential enoding）に役立てるために使用される。メッシュ網構造は復号器においてメッシュ分割指標（mesh division indicators）だけでなく初期のメッシュからの知識を使用して再計算される。
【００７０】
この結果、プロセスの最後には、画像Ｎ_k及び画像Ｎ_k+1から構成された画像のグループであってそのグループの全ての画像を再生するために画像Ｎ_k及び画像Ｎ_k+1が使用されるそうしたグループのそれぞれに対して、２つの動きメッシュ網（movement meshing）が得られる。
【００７１】
２． ブランキング領域の検出
これら２つのメッシュ網から、オブジェクトのカバリングまたはアンカバリングによる、画像Ｎ_k+1から得られる画像Ｎ_kまたは画像Ｎ_kから得られる画像Ｎ_k+1における非予測可能領域であるブランキング領域（blanking areas）が検出される。
【００７２】
これらの領域は、ノード動きベクトルによって三角形が移動させられた後のそれらの三角形のカバリングによって単純に画定される。
【００７３】
図は、移動後の三角形のアンカバリングの際の基本的なブランキング検出を示している。
【００７４】
符号器は、偏りがより小さい動きベクトルを得るために、ブランキング領域における三角形を取り除くこと（deactivating）によって動き推定を継続させることができる。
【００７５】
それでもなお、これは厳密には符号器の戦略内のことであって、最後に、符号化されバイナリ・ストリームに挿入されるのは２つの完全な動きメッシュ網Ｔ^b _kとＴ^f _k+1である。復号器はこれら２つのメッシュ網を使ってブランキング領域を見つけることができる。
【００７６】
これらのブランキング領域は画像Ｎ_k及び画像Ｎ_k+1において画定され、それらが検出されるとすぐに、それらに対応する三角形は結果として符号器と復号器においてラベル付けされる。
【００７７】
それでもなお、符号器は画像Ｎ_k＋１及び画像Ｎ_k+1−１のどこにこれらの領域が見つかるかを知る必要がある。これらは、現画像と参照画像Ｎ_kまたはＮ_k+1との間の時間的距離を考慮するよう再規格化されたノード動きベクトルを適用することによって符号化される画像の上にメッシュ網Ｔ^b _kとＴ^f _k+1を投影することによって単純に得られる。
【００７８】
３．ブランキング領域の符号化
各ブランキング領域に対して、可能な予測の参照画像はＩ_Nk、Ｉ_N(k+1)、並びにＩ^c _lから選ばれる。Ｉ^c _lはメッシュ・カバリングがまだ存在しないレベルにおいて、メッシュ網Ｔ^b _kとＴ^f _k+1での動き補償によって、ｌにおいて得られる画像である。
【００７９】
より正確には、Ｉ_NkとＩ_N(k+1)の間の選択は単純に、現ブランキング領域を生成したメッシュ網Ｔ^b _kまたはＴ^f _k+1に依存する。次いで、このメッシュ網は画像を予測してＩ^c _lを与えるために使用される。Ｉ^c _lとＩ_NkまたはＩ_N(k+1)の間の選択は、最小誤りを引き起こす画像が維持されるという、予測誤差基準に基づく。従って、維持された予測の選択を符号化することは、領域毎に、バイナリ・フローに１ビットを挿入するという問題である。
【００８０】
選択した参照画像にＩは採らない。
これらの領域の符号化の残りは、以下の２つの段階、すなわち、
・予測段階と、
・予測誤差、または不正な予測の場合における原テクスチャの符号化段階と、
を含む。
【００８１】
３．１ ブランキング領域テクスチャの残りの予測
３つの方法が排他式に使用することができる。判定は最低誤りの基準に基づく。
【００８２】

【００８３】

【００８４】
方法３
予測は一切実行されず、領域内のピクセルの最初の値が符号化される。
【００８５】
４． ブランキング領域のテクスチャまたは予測誤差の符号化
原テクスチャと予測誤差は同じ符号化を経験する。その原理を以下に述べる。
【００８６】
初期の三角メッシュ網は符号化されるべき領域の予測のために維持されるＴｒメッシュ網の動きから定義することが可能であったと仮定する。この初期のメッシュ網を得る方法については以降述べられる。
【００８７】
従って、テクスチャは、各メッシュ毎に以下の選択に基づいて近似される。
・多くの高い周波数を持つメッシュはＤＣＴと呼ばれる離散コサイン変換に基づいて符号化される。
・より滑らかなメッシュは、仕上がった要素（finished elements）の微細モデルを使用して符号化される。
【００８８】
再び、メッシュ網を通じて表現を符号化するコストを減らすために階層的アプローチが使用される。
【００８９】
使用されるアプローチは、維持されるべきメッシュの規則的階層に関係する符号化の低コストを可能にするが、その一方でメッシュの不規則な分割によって許される画像コンテンツの局部的な適用が許される。
【００９０】
領域の密な初期のメッシュ網から、メッシュは或る与えられたレベルまで４つの三角部分メッシュに再分割される。
【００９１】
最後のレベルでは、２つの隣接する三角形から成る四角形の対角線を置換することによって近似誤差が減少する場合には、そうした置換を選択的に実行することができる。
【００９２】
４．１ ブランキング領域上でのテクスチャ・メッシュ網の初期化
このメッシュ網は単純に、議論している領域に対称変換（conversion）が現れる前に最後のレベルＴｒ（維持される方向に応じたＴ_kまたはＴ_k+1の動きの結果もたらされるメッシュ網）によって与えられる。結果、動きメッシュ網に自然に挿入されるテクスチャ・メッシュ網が得られる。というのは、テクスチャ・メッシュ網は動きメッシュ網から取り出されるからである。
【００９３】
４．２ 三角形上のテクスチャに使用される表現
２つの表現、すなわちアファイン補間（affineinterpolation）及び三角形型４ＤＣＴ（triangular４DCT）、が組み合わされる。
【００９４】
アファイン補間（ affine interpolation ）
三角メッシュ網のノードは光度（色、エラー）情報（photometric information）を含み、三角形内部のポイントに対する補間はアファイン補間とも呼ばれるラグランジェ仕上要素（Lagrange finished element）によって実行される。
【００９５】

【数３】

ここで、Ψ_l（ｌ＝i,j,k）はポイントの重心座標を表す。
【００９６】

【００９７】
ノードの値を形算するためにいくつかの方法、特に最小自乗法（method of lesser squares）、を使用することができる。
【００９８】
三角形上の離散コサイン変換（ＤＴＣ）
この方法の原理は、任意の三角形を直角二等辺三角形に変換することにある。つまり、この三角形の中身は、対称正方行列を与えるために斜辺に関して対称的にされる（図４）。
【００９９】
標準的なＤＴＣ（正方形）は従ってこの行列に適用される。変換された行列も対称的であることを示すことができる。従って下側の三角形の係数だけが定量化され、統計的に符号化（エントロピー符号化）される。
【０１００】
図４は、様々な段階のプロセスを記述する。具体的には、三角形Ｔを選び、その三角形Ｔを直角二等辺三角形Ｔ’にアファイン変換する。アファイン変換が行われると、三角形のピクセルはもはや正規直交格子上になく、基準三角形内部の光度値の再サンプリングが推奨される。そうするために、画像における動き補償のためのプロセスに似たプロセスが（アファイン変換の際に）、インターポレータ（interpolator）、例えば双線形（bilinear）インターポレータ、を使用して使用される。
【０１０１】
アファイン変換Ｆとその逆変換Ｆ^-1は次式によって定義される。
【数４】

【０１０２】
三角形Ｔ’（つまりＴ’の対称ブロックＭ）の光度値Ｍ（ｉ，ｊ）は、逆変換Ｆ^-1と、次いで符号化する画像のテクスチャのΓ補間とによって次のように得られる。
【数５】

ここで、係数Ｍ（ｉ_Y，ｊ_X）は、Ｐ（Ｘ，Ｙ）＝Ｆ^-1（Ｑ）なるポイントＱ（Ｘ，Ｙ）における値である。
【０１０３】
ＩΓは、そのポイントにおける画像の値を計算するために使用されるインタポレータを表す。そのポイントの座標は非整数の場合がある。
【０１０４】

【数６】

ここで、ＩΓはＭの定量化されたバージョンであるＭ’ブロック値から補間されたテクスチャを表す。
【０１０５】
この技術は、非ゼロ領域（non-null area）の三角形に適用できるだけである。しかし、定義により、このタイプの三角形はテクスチャ符号化を必要としない。
【０１０６】
ＳＡＤＣＴ（形式（form）に適用されるＤＣＴ）とは対照的に、この変換は、たとえ定量化がなくても、逆変換後の完全な再生を保証しない。
【０１０７】
再生誤差を減らすために、三角形ｉのＭ_iブロック（サイズはＮ_i×Ｎ_i）を計算するためにスケール因子αが導入される。
【数７】

ここで、
・Ｅは超過による完全な部分、
・Ａ_iは三角形ｉの面積。
【０１０８】
実際、α＝１は、二等辺に近い三角形にはより効果的な興味ある妥協案を提供する。α＜１のケースは、情報量をコンプレッションするために定量化ステップと併せて使用される。
【０１０９】
ブロックＭ_iが各三角形に定義されると、標準的なＤＣＴ変換がそれらに適用され、変換された係数はいくつかの可能な手続き、例えば一様なスカラー定量化または変換された係数の周波数に伴って増加する定量化に基づいて定量化される。よく知られたＭＰＥＧ符号化またはＪＰＥＧ定量化行列も可能である。
【０１１０】
ＤＣＴ表現は次式によって与えられる。
【数８】

【０１１１】

【０１１２】
４．３ テクスチャのグローバルな符号化
既に述べたように、或る与えられた階層レベルに属する三角形をそれぞれ４つの部分三角形に分割して、アーク（arc）の中点にノードを挿入することによって得られる均一な階層型メッシュ（hierarchical meshing）が使用される。このプロセスは最大レベルに達するまで繰り返される。三角形のこの階層構造は、４木（quaternary tree）形式で表現され、符号器によって管理される（図５参照）。符号化すべき領域に含まれる三角形だけが考慮されることに注意する。基本的な初期のメッシュ網の構築手続きは、メッシュ階層構造の全ての三角形が符号化すべき領域に属することを保証する。
【０１１３】
ブランキング領域をメッシングすることによる符号化プロセスは以下のようにまとめられる。
【０１１４】
１． 鱗状（interleaved）の階層型メッシュ網は、正規の初期のメッシュ網を生成して、次に各三角形を４つの部分三角形に再分割して、アークの中点に新たなノードを挿入することによって、符号化すべき領域上に定義される。ノード値は、メッシュ網による面積の近似誤差を最小化するよう計算される。
【０１１５】
２． ピクセル値は、そのノード値を使用してそのピクセルを含む三角形上でアファイン補間を使用していっしょに近づくように動かされる。
【０１１６】
階層構造の三角形それぞれに対して、近似誤差Ｅが評価され、次いで、様々な表現及び符号化の方法が２つの閾値σ₁、σ₂に基づいて判定される。
１． Ｅ＜σ₁の場合、三角形上のアファイン補間は十分である。
２． σ₁＜Ｅ＜σ₂の場合、三角形の最も細かい分割がアファイン補間を常に使用して良い近似を得るために使用されなければならない。
３． Ｅ＞σ₂の場合、三角形がテクスチャ（絵柄）化され、アファイン補間誤差がＤＣＴを使用して符号化される。
【０１１７】
最後に、最も細かいメッシュ網において、２つの隣接する三角形よって形成された四角形の対角線を置換することによって生み出される誤差の減少が調べられる。肯定的な結果が得られれば、この置換は有効となる。
【０１１８】
異なる三角形に対して選ばれた符号化方法に基づいて、様々なデータが以下の仕方で符号化される。
【０１１９】
最初に、ＹＵＶノード値が親ノード（最新のノードが挿入されるアークの端）の値を使用して予測される。こうしてノード値とその予測値との間の差が定量化される。
【０１２０】
最後に、４木構造（三角形の分割と非分割の指標（indicator）を含む）、対角線置換指標、ＹＵＶの差分ノード値と定量化されたＤＣＴ係数は算術符号化（arithmetic encoding）を使用して符号化され、バイナリ・ストリームに挿入される。
【０１２１】
５． メッシュ符号化されたフレームのバイナリ・フローにおける符号化された情報のまとめ
Ｎ_k+1とＮ_k+1−１（Ｎ_kとＮ_k+1はそれぞれ、ＭＰＥＧ方式で符号化された前と後のフレームを表す）の間のメッシュ方式で符号化されたフレームの各グループはバイナリ・フローの中身全部として表現される。
【０１２２】
運ばれるデータ（driven data）は、符号化された形で、以下のものを含む。
フレーム・グループのセットに対する、特に符号化されたフレームの実数を含む、ヘッダ。
動きメッシュ網（ノードの構造及び動きベクトル）Ｔ^b _kとＴ^f _k+1。
グループの各画像に対する、予測またはオリジナルのエラー・テクスチャ。
【０１２３】
６． バイナリ・ストリームのグローバル構造
グローバルなバイナリ・ストリームは、図８にあるように、ＭＰＥＧ符号化された一連のフレームとメッシュ符号化されたフレームのグループから構成される。
【０１２４】
符号化されたシーケンスを表すバイナリ・ストリームのグローバル・ヘッダは、特に、ハイブリッド符号化（hybrid encoding）の指示を含む。
【０１２５】
メッシュ符号化されたフレームのグループの対応するバイナリ・ストリームの部分は、中でも実際に符号化されたフレームの数を示し、ゼロの場合があるヘッダから始まる。
【０１２６】
符号化されたシーケンスのグローバル・ヘッダや、ＭＰＥＧ符号化された画像と補間メッシュ方式で符号化されたi画像のグループにそれぞれ対応する様々なデータフロー（バイナリ・ストリーム）は、必要な場合には、異なる独立な伝送路で送られることが可能である。特に、この符号化手続きは、シーケンスの階層型（またはスケーラブルな）符号化、すなわち、全ビットレートの一部を使用するだけの復号、を許す。
【０１２７】
７． 復号手続き
図９に復号原理の概要を示す。
【０１２８】
最初に、ヘッダの復号によってハイブリッド復号の開始が可能となる。
【０１２９】
次に、復号器は、独立な構成要素に対応するバイナリ・ストリームの各部分に対して、それがＭＰＥＧ符号化されたフレームかあるいはメッシュ符号化されたフレームのグループかを認識する。
【０１３０】
ＭＰＥＧ−４フレームは、ＭＰＥＧ−４復号モジュールに送られ、そしてメッシュ符号化されたフレームのグループは、メッシュ網に基づく復号モジュールに提供される。
【０１３１】
７．１ メッシュベース復号
最初に、画像グループＩ_l、Ｎ_k＜ｌ＜Ｎ_k+1、に対する動きメッシュ網Ｔ^b _kとＴ^f _(k+1)が復号される。
【０１３２】
次に、これらの画像のブランキング領域が符号器における手続きと同じ手続きに基づいて見出される。
【０１３３】
その後、そのブランキング領域の外側のピクセルが画像Ｉ_Nk及びＩ_Nk+1と動きフィールドＴ^b _kとＴ^f _(k+1)を使用して単純に補間される。
【０１３４】
最も粗いテキスチャのメッシュ網（階層構造の頂上）が符号器における手続きと同じ手続きに基づいてそれぞれのブランキング領域に対して見出される。
【０１３５】
こうして、対応する階層型メッシュ網に関係する情報（三角分割指標、アファイン補間判定またはＤＣＴ符号化、差分ノード値ＹＵＶと定量化されたＤＣＴ係数）が復号され、これらの領域のピクセル値ＹＵＶが再生される。
【図面の簡単な説明】
【０１３６】
【図１】本発明の符号化方法の手続きの流れを示した概略図である。
【図２】動き（movement）に関する階層型メッシュ網構造の一例を示した図である。
【図３】三角メッシュにおけるアファイン補間原理を説明するための図である。
【図４】三角形のカバリングによって検出されるブランキング（blancking）の一例を示した図である。
【図５】対称正方行列の中の任意の三角形の変換過程を示した図である。
【図６】任意の三角形の直角二等辺三角形への変換過程を示した図である。
【図７】階層型メッシュ網とそれに関係する４木表現を示した図である。
【図８】階層型メッシュ網の符号化判定の一例を示した図である。
【図９】本発明に基づくバイナリ・ストリームのグローバル構造を示した図である。
【図１０】本発明に基づく復号器のブロック図である。

Claims (37)

1. 画像を符号化するための方法において、それぞれ異なる最適化基準に基づいてビデオシーケンスの少なくとも１つの画像のコンプレッションを最適化する少なくも２つの方式の画像符号化を選択的に実行する、ことを特徴とする画像符号化方法。
2. 前記符号化方式の中の１つの方式の選択を表す情報は復号器によって、
   ・符号化と復号の段階において知られる、予め定められた選択と、
   ・少なくとも一部の符号化された画像データを含むデータフローに含まれる前記選択の表示情報と、
   ・符号化された画像データとは無関係なデータフローに含まれる前記選択の表示情報と、
   ・前記復号器が固有の仕方で前記選択を判定すること、から成るグループに属する技術の中の少なくとも１つに基づいて知られる、ことを特徴とする請求項１に記載の画像符号化方法。
3. 前記画像に適用する符号化方式を、少なくとも、
   ・画像の光度表現を十分に最適化する第１の符号化と、
   ・少なくとも２つの画像にわたる動きの表現を十分に最適化する第２の符号化と、の中から選択するステップを具備する、ことを特徴とする請求項１及び２のいずれかに記載の画像符号化方法。
4. 前記第２の符号化は、前記第１の符号化を使用して符号化された少なくとも１つの以前の画像及び／または少なくとも１つの以後の画像を考慮に入れる、ことを特徴とする請求項３に記載の画像符号化方法。
5. 前記第２の符号化は、前記第１の符号化を使用して符号化されたすぐ前の画像から計算される動きベクトル・フィールド及び／または前記第１の符号化を使用して符号化されたすぐ後の画像から計算される動きベクトル・フィールドを考慮に入れる、ことを特徴とする請求項４に記載の画像符号化方法。
6. 前記動きベクトル・フィールドはメッシュ網に適用される、ことを特徴とする請求項５に記載の画像符号化方法。
7. 前記動きベクトル・フィールドは、前記第２の符号化を使用して符号化された画像に関係した、推論された動きベクトル・フィールドを決定するために使用される、ことを特徴とする請求項５、６のいずれかに記載の画像符号化方法。
8. 前記第２の符号化は、画像Ｉ_t1と次の画像Ｉ_t2の間の事前動き推定と、該動き推定の間に得られたかつ対称変換を引き起こさない動きベクトルが、ｍが［ｔ１、ｔ２］に属するとしたときに少なくとも１つの画像Ｉ_m1を補間するために０＜ｋ＜１のスカラー値ｋ＝ｍ／（ｔ１＋ｔ２）によって重み付けされる動き補償の段階とを実行する、ことを特徴とする請求項５乃至７のいずれかに記載の画像符号化方法。
9. 前記第２の符号化は、画像Ｉ_t2と前の画像Ｉ_t1の間の事後動き推定と、該動き推定の間に得られたかつ対称変換を引き起こさない動きベクトルが、ｍが［ｔ１、ｔ２］に属するとしたときに少なくとも１つの画像Ｉ_m2を補間するために０≦ｋ’≦１のスカラー値ｋ’＝１−ｍ／（ｔ１＋ｔ２）によって重み付けされる動き補償の段階とを実行する、ことを特徴とする請求項５乃至７のいずれかに記載の画像符号化方法。
10. ０≦ａ≦１としてＩ_m＝ａＥ１＋（１−ａ）Ｅ２なる推定画像Ｉ_mを得るために事後推定と事前推定を実行する、ことを特徴とする請求項８、９のいずれかに記載の画像符号化方法。
11. 前記選択段階は、Ｎに１つの画像が前記第１の符号化を使用して符号化される固定因子Ｎのサブサンプリングの実施に基づく、ことを特徴とする請求項３乃至１０のいずれかに記載の画像符号化方法。
12. Ｎは２より大きい、ことを特徴とする請求項１１に記載の画像符号化方法。
13. Ｎは可変的である、ことを特徴とする請求項１１、１２のいずれかに記載の画像符号化方法。
14. 前記第１の符号化は、画像ブロック上の変換とブロックによる時間的予測を実行する、ことを特徴とする請求項３乃至１１のいずれかに記載の画像符号化方法。
15. 前記第１の符号化はＭＰＥＧ−４符号化またはＨ２６符号化である、ことを特徴とする請求項１４に記載の画像符号化方法。
16. ＭＰＥＧ−４符号化またはＨ２６符号化によって得られる画像はタイプＩ（intra）及び／またはタイプＰ（predicable）の画像を含む、ことを特徴とする請求項１５に記載の画像符号化方法。
17. 前記第２の符号化は、Ｍを１以上としてＭ階の階層型メッシュ網に基づく、ことを特徴とする請求項３乃至１６のいずれかに記載の画像符号化方法。
18. 前記メッシュ網は三角形型である、ことを特徴とする請求項１７に記載の画像符号化方法。
19. 被覆領域の管理段階を具備する、ことを特徴とする請求項１７、１８のいずれかに記載の画像符号化方法。
20. 別個の伝送経路で伝送することができる少なくとも２つのデータフローを作り出す、ことを特徴とする請求項１乃至１９のいずれかに記載の画像符号化方法。
21. 前記データフローは、
    グローバルヘッダと、
    前記第１の符号化に基づいて符号化された画像データと、
    前記第２の符号化に基づいて符号化された画像データと、
    を含むグループに属する、ことを特徴とする請求項２０に記載の画像符号化方法。
22. 請求項１乃至２１のいずれかに記載された符号化方法を使用して符号化された画像信号を復号するための画像復号方法。
23. 請求項１乃至２１のいずれかに記載された符号化方法を使用して符号化された画像信号を符号化するための画像符号化装置。
24. 請求項１乃至２１のいずれかに記載された符号化方法を使用して符号化された画像信号を復号するための画像復号装置。
25. 符号化において実行されたのと同様に、ベクトル・フィールドの少なくとも一部及び／または被覆領域の少なくとも一部を判定するための手段を具備する、ことを特徴とする請求項２４に記載の画像復号装置。
26. 請求項１乃至２１のいずれかに記載された符号化方法を使用して符号化された少なくとも１つの画像信号を記憶するための記憶装置。
27. 請求項１乃至１７のいずれかに記載された符号化方法を使用して符号化された画像信号を符号化、伝送及び／または復号するためのシステム。
28. 前記符号化方式の中の１つの方式の選択を表す情報は復号器によって、
    ・符号化と復号の段階において知られる、予め定められた選択と、
    ・少なくとも一部の符号化された画像データを含むデータフローに含まれる前記選択の表示情報と、
    ・符号化された画像データとは無関係なデータフローに含まれる前記選択の表示情報と、
    ・前記復号器が固有の仕方で前記選択を判定することと、
    から成るグループに属する技術の中の少なくとも１つに基づいて知られる、ことを特徴とする請求項２７に記載のシステム。
29. 請求項１乃至２１のいずれかに記載された符号化方法を使用して符号化された画像信号を符号化及び／または復号するためのコンピュータ・プログラム製品。
30. 請求項１乃至２１のいずれかに記載された符号化方法を使用して符号化された画像信号を符号化及び／または復号するためのコンピュータ・プログラムを格納したデータ記憶媒体。
31. 請求項１乃至２１のいずれかに記載された符号化方法に基づいて符号化されたデータを含む画像データ信号。
32. 請求項１乃至２１のいずれかに記載された符号化方法が働いたか否かを特定する少なくとも１つの指標を含む請求項３１に記載の画像データ信号。
33. ビデオシーケンスの先頭及び／またはそれぞれの信号フレーム内に、フレーム構造を特定するデータ要素を含む、ことを特徴とする請求項３１、３２のいずれかに記載の画像データ信号。
34. 前記第２の符号化を使用して符号化されたシーケンスは、この第２の符号化に基づいて符号化されたフレームの数を特定するヘッダから始まる、ことを特徴とする請求項３１乃至３３のいずれかに記載の画像データ信号。
35. 別個の伝送経路で伝送することができる少なくとも２つのデータフローを含む、ことを特徴とする請求項３１乃至３４のいずれかに記載の画像データ信号。
36. 前記データフローは、
    グローバルヘッダと、
    前記第１の符号化に基づいて符号化された画像データと、
    前記第２の符号化に基づいて符号化された画像データと、
    を含むグループに属する、ことを特徴とする請求項３５に記載の画像データ信号。
37. 請求項１乃至２１のいずれかに記載された符号化方法を、
    デジタルＴＶと、
    ＩＰネットワーク上のリアルタイム・ビデオと、
    移動体へのネットワーク上のリアルタイム・ビデオと、
    画像データ保存と、を含むグループに属する領域の中の少なくとも１つの領域に適用することを特徴とする用途。

Images