JP2009501479A - テクスチャの領域のための画像コーダ - Google Patents

テクスチャの領域のための画像コーダ Download PDF

Info

Publication number
JP2009501479A
JP2009501479A JP2008521017A JP2008521017A JP2009501479A JP 2009501479 A JP2009501479 A JP 2009501479A JP 2008521017 A JP2008521017 A JP 2008521017A JP 2008521017 A JP2008521017 A JP 2008521017A JP 2009501479 A JP2009501479 A JP 2009501479A
Authority
JP
Japan
Prior art keywords
texture
image
region
data stream
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2008521017A
Other languages
English (en)
Other versions
JP2009501479A5 (ja
Inventor
ピオトル ウィリンスキー
ヴァエレ ステイン デ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2009501479A publication Critical patent/JP2009501479A/ja
Publication of JP2009501479A5 publication Critical patent/JP2009501479A5/ja
Ceased legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

第1領域及び第2領域の少なくとも一方と第3領域とを有する入力画像を圧縮する画像エンコーダ20である。該画像エンコーダは、上記第1領域の第1テクスチャパラメータ(ρ10)及び上記第2領域の第2テクスチャパラメータ(ρ20)の少なくとも一方から所定の推定アルゴリズム(K)に基づいて第3テクスチャパラメータ(ρ3e)を推定するように構成された推定器21と、推定された第3テクスチャパラメータ(ρ3e)に対応して発生されたテクスチャの表現(R')を前記入力画像の第3領域に存在するテクスチャの表現(R)と所定の整合規準に基づいて比較すると共に、整合度の値(μ)を計算するように構成された比較器22と、前記第1テクスチャパラメータ及び第2テクスチャパラメータ(ρ10,ρ20)の少なくとも一方を圧縮されたデータストリームST(ρ10,ρ20)に符号化するように構成されると共に、前記整合度の値(μ)が所定の区間内に入る場合に、前記入力画像の第3領域に存在するテクスチャを前記推定アルゴリズム(K)の符号化情報により、圧縮されたデータストリームST(ρ10,ρ20,K)に符号化するように構成されたデータエンコーダ23とを有する。

Description

本発明は、テクスチャの領域を有する画像を圧縮されたデータストリームに圧縮する画像エンコーダに関する。
本発明は、更に、テクスチャの領域を有する画像を圧縮されたデータストリームに符号化する方法、圧縮されたデータストリームをテクスチャの領域を有する画像に復号する画像デコーダ、圧縮されたデータストリームをテクスチャの領域を有する画像に復号する方法、テクスチャの領域を有する符号化された画像の圧縮されたデータストリームを伝送する伝送装置、符号化された画像の圧縮されたデータストリームを伝送する携帯装置、圧縮されたデータストリームを受信しテクスチャの領域を有する画像を復号する受信機、圧縮された符号化された画像信号、圧縮された符号化された画像信号を伝送する方法、及び上述した方法の何れかを実行するためのコンピュータプログラム製品に関する。
画像のシーケンスを有するビデオ情報は、効率的な伝送及び記憶のために圧縮されたデジタルデータストリームに符号化される。近年、帯域幅を低減する一方、復号された画像の高い品質を維持するような一層良好なコーダ及びデコーダの開発への大きな関心が存在する。テクスチャの領域を伴う画像シーケンスの圧縮は、復号された画像における一層良好なテクスチャ再生の品質のための一層大きな帯域幅の必要性等の更なる挑戦をもたらす。
画像は、他のタイプのテクスチャのなかでも、確率的テクスチャ(stochastic texture)を含んでいる。確率的テクスチャの表現は、その最も似たパラメトリックモデルを見付けることにより得ることができる。テクスチャの領域を従来の方法により符号化する代わりに、ビットレートの低減の点では、当該テクスチャのパラメトリックモデル及び、必要な場合には、当該領域の境界情報を圧縮されたデータストリームに符号化する方が有利である。該圧縮されたデータストリームはデコーダにおいて受信され、例えば当該テクスチャの統計的パラメータ等の復号されたテクスチャパラメータ及び上記境界情報が、出力画像における上記テクスチャの領域を再生するために使用される。人間の目の心理/視覚的知覚により、このように再生されたテクスチャは元の画像に存在したテクスチャとは実効的には区別されない。
テクスチャモデルを表すパラメータを圧縮されたデータストリームに符号化すると共に、該テクスチャモデルのパラメータを復号して出力画像にテクスチャ領域を再生する画像符号化システムの実施例は、例えば2004年6月発行のIEEE Transactions on Circuits and Systems第6号、第14巻のAdrina Dumitras及びBarry G. Haskellによる論文" An Encoder-Decoder Texture Replacement Method With Application to Content-Based Movie Coding"等の従来技術から既知である。
しかしながら、斯かる従来技術の欠点は、多数のテクスチャの符号化が、特にテクスチャを正確に符号化しようと欲すると、テクスチャモデルを表すパラメータが符号化されたとしても、依然としてかなりの量のデータが符号化されることを要する点にある。
従って、テクスチャの領域を有する画像を一層効率的な態様で圧縮する画像エンコーダを提供することが望ましい。
これは、第1領域、第2領域及び第3領域の少なくとも1つを有する画像を圧縮する画像エンコーダが、
− 第1領域の第1テクスチャパラメータ及び第2領域の第2テクスチャパラメータのうちの少なくとも一方から所定の推定アルゴリズムに従って第3テクスチャパラメータを推定するように構成された推定器と、
− 推定された第3テクスチャパラメータに対応する発生されたテクスチャの表現を、入力画像の第3領域に存在するテクスチャの表現と所定の整合規準に従って比較すると共に、整合度の値を計算するように構成された比較器と、
− 第1テクスチャパラメータ及び第2テクスチャパラメータのうちの少なくとも一方を圧縮されたデータストリームに符号化するように構成されると共に、前記整合度の値が所定の区間内に入る場合に入力画像の第3領域に存在するテクスチャを、前記推定アルゴリズムの符号化情報により、前記圧縮されたデータストリームに符号化するように構成されたデータエンコーダと、
を有することにより達成される。
発明者は、画像内のテクスチャは、非常にしばしば、相互に或る程度の類似性を有し、或るテクスチャのパラメータは1以上の類似のテクスチャのパラメータから推定することができることを認識した。従属するテクスチャのパラメータから推定することが可能なテクスチャのパラメータは符号化及び伝送する必要はなく、これにより大量の記憶スペース及び帯域幅を節約することができる。しかしながら、所定の推定アルゴリズムは符号化され、圧縮されたデータストリーム内で伝送される必要がある。該推定アルゴリズムは、デコーダにより、伝送されなかったテクスチャのパラメータを推定するために使用される。
本発明によれば、前記推定器は第3テクスチャパラメータを第1テクスチャパラメータ及び第2テクスチャパラメータのうちの少なくとも一方から所定の推定アルゴリズムに従い推定するように構成される。該推定アルゴリズムは、符号化及び更なる伝送又は記憶のためのデータエンコーダにおいて利用可能とされる。
前記比較器は、推定されたテクスチャパラメータにより発生される第3テクスチャの表現と画像内にある第3テクスチャの表現とを比較するように構成される。第3テクスチャの表現は、テクスチャから導出される統計的特性又はモデルパラメータ又はピクセルの形態とすることができ、テクスチャの比較は対応するドメインで実行することができる。上記比較器により発生される整合度の値は、存在するテクスチャに対する発生されたテクスチャの類似性の尺度であり、該発生されたテクスチャを存在するテクスチャに代用することができるかを決定するために使用することができる。
上記データエンコーダにおいては、上記整合度の値が所定の区間内に入ることが判ったなら、前記推定アルゴリズムが当該圧縮されたデータストリーム内に符号化される。それ以外の場合は、第3テクスチャの実際のパラメータが該データストリームに符号化される。上記推定アルゴリズムは、有利には、第3テクスチャのパラメータを符号化するために必要とされるビットレートに比較して少ないビットレートで符号化される。このようにして、ビットレートの節約が達成され、これによりテクスチャの領域を伴う画像を符号化する効率を改善する。
ビットレートの節約に加えて、本発明によるエンコーダは多数の付加的利点を有している。前記整合度の値は、存在するテクスチャに良く似せるために推定パラメータから再生することが可能なテクスチャの領域をエンコーダにおいて選択すべく有利に使用される有効な品質尺度と考えることができる。許容可能な整合度の値に対してデータエンコーダにおいて所望の所定区間を設定することにより、存在するテクスチャに対する発生されるテクスチャの所望の整合品質を得ることができる。このようにして、上記所定の区間を変化させることにより、前記推定アルゴリズムにより表すことが可能なテクスチャの領域の数を変化させることができる。
テクスチャパラメータ及び推定規準の符号化情報は、追加のデータとして圧縮されたデータストリームに含めることができ、当該構成を規定のビデオ圧縮規格の何れかと互換性があるようにさせる。
本発明による画像エンコーダの一実施例において、前記推定器は前記所定の推定アルゴリズムとして第1テクスチャパラメータ及び第2テクスチャパラメータの加重組み合わせを適用するように構成される。
加重組み合わせは、貢献するテクスチャのパラメータの割合を変化させながら、推定されたテクスチャのパラメータの補間又は補外(外挿)を可能にする。重みを調整することにより、第3テクスチャパラメータの推定に所定の精度で効果的に到達することができる。
本発明による画像エンコーダの他の実施例においては、前記推定器は前記整合度の値を最小化することにより上記加重組み合わせのための重みを適応的に選択するように構成される。
重みは、事前には分らず、サーチの処理により選択されねばならない。前記整合度の値は、上記重みを初期状態から増加的に変化させながら、最小化されるべき点数として使用することができる。前記整合度の値は、推定された第3テクスチャパラメータに従って発生されたテクスチャの、当該画像に存在するままの元のテクスチャに対する類似性の尺度となる。類似性の尺度に依存して重みの選択を適応的に制御するために、帰還メカニズムを有利に使用することができる。所定の整合度の値に収束させるために、最適な組の重みを反復的に且つ適応的に選択することができる。
本発明による画像エンコーダの他の実施例では、前記比較器は所定の整合関数として心理視覚的整合関数を適用するように構成され、入力として前記発生されたテクスチャの表現及び存在するテクスチャの表現を入力し(両表現は複数のピクセルにわたり定義される)、出力として整合度の値を生じる。
上記比較器は、発生されたテクスチャと存在するテクスチャとを比較するために心理視覚的整合関数を適用するように構成される。心理視覚的整合関数は、しばしば、画像の視覚的品質を評価するために人の視覚系をエミュレートするために使用される。心理視覚的整合関数は、複数のピクセルにわたって表現された2つのテクスチャを比較し、テクスチャの類似性の尺度を示す整合度の値を発生するように特別に設計することができる。上記整合度の値は、存在するテクスチャを発生されたテクスチャにより、歪が人の目により殆ど知覚されないように置換することができるかを判断するために使用することができる。本発明において心理視覚的関数を使用する利点は、存在するテクスチャが発生されたテクスチャにより、或る量の事前に決められた視覚的品質で置換される点にある。
本発明による画像エンコーダの他の実施例においては、前記比較器は所定の整合関数として統計的整合関数を適用するように構成され、入力として前記発生されたテクスチャの表現の統計的特性及び存在するテクスチャの表現の統計的特性を入力し(両表現は複数のピクセルにわたり定義される)、出力として整合度の値を生じる。
ピクセルの領域により表される2つのテクスチャが類似性に関して比較されねばならない場合、多数の既知の統計的特性を比較することができる。該統計的特性は、基本的特性から一層進んだ統計的特性までおよび得る。基本的特性の幾つかの例は、共起行列(co-occurrence matrices)から導出される尺度、モーメント、相関、エントロピ、モーメント、標準偏差、分散及び平均(mean)である。均一性尺度及びエネルギクラスタリング尺度等の一層進んだ統計的特性も考慮することができる。このような統計的特性の組み合わせを、2つのテクスチャの類似性を表す整合度の値を得るために使用することができる。
本発明による画像エンコーダの他の実施例においては、前記比較器は前記所定の整合関数として距離尺度関数を適用するように構成され、該関数は入力として前記第3テクスチャパラメータ及び第3領域に存在するテクスチャのテクスチャパラメータを入力し、出力として整合度の値を生じる。
2つのテクスチャのパラメータが2つのベクトルとして表される場合、これら2つのベクトルの間の整合度を計算するために距離尺度を使用することができる。距離尺度は、2つのテクスチャの類似性を整合度の値の形で表すように適切に変換することができる。
本発明による画像エンコーダの他の実施例においては、該エンコーダは画像の時間的シーケンスを含むビデオ情報を符号化するように構成される。
本発明は、ビデオにおける時間的シーケンスの画像、又は特に画像内のテクスチャが相互に関係する若しくは類似する場合は画像の如何なるシーケンスにも適用することができる。画像シーケンスにおいては、隣接する画像内に存在する関連するテクスチャからのイントラ及びインターテクスチャ推定が可能である。結果として、テクスチャを有する画像シーケンスの符号化は、テクスチャパラメータ及び推定アルゴリズムを使用して有利に実行することもできる。
本発明による画像エンコーダの他の実施例では、該画像エンコーダは第1領域を含む第1画像、第2領域を含む第2画像及び第3領域を含む第3画像を符号化するように構成され、第1画像及び第2画像は第3画像に対して時間的に隣接している。
パラメータが推定されるべき第3テクスチャは、同一の画像に含まれる必要はなく、関連するテクスチャ、例えばテクスチャの第1及び第2領域、を含むような時間的に隣接する画像の1つに含まれるものとすることができる。このようにして、本発明は、関連するテクスチャを含み得るビデオシーケンス及び画像シーケンスに有利に適用することができる。
第1領域、第2領域及び第3領域のうちの少なくとも1つを有する画像を一層効率的な態様で符号化する方法を提供するような、画像を符号化する方法を提供することが更に望ましい。
これは、第1領域及び第2領域の少なくとも一方及び第3領域を有する画像を符号化する方法において、該符号化する方法が、
− 第1領域の第1テクスチャパラメータ及び第2領域の第2テクスチャパラメータの少なくとも一方から所定の推定アルゴリズムに従って第3テクスチャパラメータを推定するステップと、
− 前記推定された第3テクスチャパラメータに対応する発生されたテクスチャの表現を入力画像の第3領域に存在するテクスチャの表現と所定の整合規準に従って比較すると共に、整合度の値を計算するステップと、
− 第1テクスチャパラメータ及び第2テクスチャパラメータの少なくとも一方を圧縮されたデータストリームに符号化すると共に、上記整合度の値が所定の区間内に入る場合に、入力画像の第3領域に存在するテクスチャを、上記推定アルゴリズムの符号化情報により、上記の圧縮されたデータストリームに符号化するステップと、
を有することにより達成される。
第1及び第2テクスチャのパラメータから第3テクスチャのパラメータを推定する推定アルゴリズムは、当該パラメータ自体の代わりとして符号化され、かなりの量のビットレートを節約する。該推定されたパラメータに基づいて発生された第3テクスチャは、存在する第3テクスチャと比較されて、整合度の値を発生する。該整合度の値が所定の限界内に入る場合、再生の品質は許容可能な限界内にあると推定することができる。このような場合、上記第3テクスチャのパラメータを符号化して伝送する代わりに、当該推定アルゴリズムが符号化されて伝送され、結果として、当該画像又は画像シーケンスに対する効果的な帯域幅及び記憶スペースの低減となる。
更に、圧縮されたデータストリームを一層効率的な態様で復号する画像デコーダを提供することが望ましい。
これは、推定アルゴリズムの符号化情報を含む圧縮されたデータストリームを、第1領域、第2領域及び第3領域のうちの少なくとも1つを有する画像に復号する画像デコーダが、
− 上記の圧縮されたデータストリームから、第1領域の第1テクスチャパラメータ及び第2領域の第2テクスチャパラメータを復号するように構成されたデータデコーダと、
− 上記の圧縮されたデータストリームから前記推定アルゴリズムの符号化情報を検出する検出器と、
− 第3領域の第3テクスチャパラメータを、第1テクスチャパラメータ及び第2テクスチャパラメータの少なくとも一方から上記推定アルゴリズムにより示される所定の推定アルゴリズムに従って推定する推定器と、
を有することにより達成される。
上記画像デコーダは第1及び第2テクスチャパラメータを復号するように構成することができ、前記推定アルゴリズムの符号化情報から第3テクスチャパラメータを推定することができ、これらパラメータからテクスチャを合成することができる。該デコーダには、上記推定アルゴリズムの符号化情報を検出するための検出器メカニズムが設けられる。該推定アルゴリズムに基づいて、第3テクスチャパラメータが計算される。かくして、第3テクスチャパラメータを復号する負荷が、低減される。このようして、本発明によるデコーダにおいては復号効率が改善される。
更に、圧縮されたデータストリームを一層効率的な態様で画像復号する方法を提供することが望ましい。
これは、推定アルゴリズムの符号化情報を含む圧縮されたデータストリームを、第1領域、第2領域及び第3領域のうちの少なくとも1つを有する画像に復号する方法が、
− 上記の圧縮されたデータストリームから、第1テクスチャ領域の第1テクスチャパラメータ及び第2テクスチャ領域の第2テクスチャパラメータを復号するステップと、
− 上記の圧縮されたデータストリームから前記推定アルゴリズムの符号化情報を検出するステップと、
− 第3テクスチャパラメータを、第1領域の第1テクスチャパラメータ及び第2領域の第2テクスチャパラメータの少なくとも一方から上記推定アルゴリズムにより示される所定の推定アルゴリズムに従って推定するステップと、
を有することにより達成される。
本発明による復号する方法は、第1テクスチャパラメータ及び第2テクスチャパラメータを復号するステップを有する。第3テクスチャパラメータは、上記推定アルゴリズムの符号化情報を検出した後で、第1及び第2テクスチャパラメータから推定される。
本発明による少なくとも1つの画像を符号化する画像エンコーダの他の実施例では、該画像エンコーダは、
− 少なくとも1つの画像オブジェクトを有する上記少なくとも1つの画像を、所定の画像圧縮規格に準拠する圧縮されたデータストリームの第1の部分に符号化するように構成された上記エンコーダの第1の部分と、
− テクスチャ領域を、第1及び第2テクスチャパラメータの符号化されたパラメトリックデータと、第1及び第2テクスチャから第3テクスチャを推定するための推定アルゴリズムの符号化情報とを含む第2の圧縮されたデータストリームに符号化するように構成された前記エンコーダの第2の部分と、
を有し、
上記第1及び第2のデータストリームは、前記所定の画像圧縮規格に準拠した組み合わせデータストリームを表すようにインターリーブされる。
或る画像は、例えば競技者のいるサッカー場のように、大量の背景テクスチャ内にオブジェクトを含む。このような画像においては、前景のオブジェクト及び背景のテクスチャを当該エンコーダの2つの部分において別々に圧縮し、これら2つの部分の圧縮されたデータストリームを組み合わせて単一のデータストリームを形成するのが有利である。複数のテクスチャを符号化するエンコーダの上記第2の部分は、本発明に従って構築される。この方法の結果として、かなりの量のビットレートの節約を得ることができる。というのは、斯かるテクスチャは、さもなければ従来の圧縮方法により必要とされるよりも大幅に少ないビット数で再生することができるからである。
圧縮されたデータストリームのうちの上記第1の部分は良く知られた画像圧縮規格の1つに準拠するので、依然として従来のデコーダが、該圧縮されたデータストリームを粗い背景を伴うオブジェクトに復号する。従って、本発明によるエンコーダの実施例は、良く知られた画像圧縮規格の従来のエンコーダにオプションとして含めることができる。
更に、テクスチャの領域を含む少なくとも1つの入力画像を符号化することにより得られた圧縮されたデータストリームを伝送する伝送装置を提供することが望まれる。
これは、テクスチャの領域を含む少なくとも1つの入力画像を符号化することによって得られた圧縮されたデータストリームを伝送する伝送装置が、
− テクスチャ領域のテクスチャを二次元自己回帰モデル等の所定のモデルによりモデル化し、該モデルのテクスチャパラメータを推定し、該モデルの情報を圧縮されたデータストリームに符号化するように構成されたテクスチャモデル化ユニットと、
− 上記テクスチャパラメータ及び当該画像内に存在する少なくとも1つのテクスチャの表現を入力するよう構成されると共に、上記テクスチャパラメータ及び推定アルゴリズムの符号化情報を更に上記圧縮されたデータストリームに符号化するように構成された画像エンコーダと、
− 上記圧縮されたデータストリームをデータ伝送主体又は記憶主体に伝送するように構成された伝送ユニットと、
を有することにより達成される。
上記伝送装置は、テクスチャ領域を区分することができると共に、これら領域のテクスチャパラメータを推定することが可能なテクスチャモデル化ユニットを有する。該伝送装置は、第1及び第2テクスチャから第3テクスチャパラメータを推定し、発生された第3テクスチャを存在する第3テクスチャと比較し、整合度の値が所定の区間内に入る場合に前記推定アルゴリズムを圧縮されたデータストリームに符号化するように構成されたエンコーダを更に有する。このようにして、該圧縮されたデータストリームの帯域幅は従来のシステムと比較して減少される。該伝送装置は、上記の圧縮されたデータストリームを例えば有線、無線又はインターネット等の伝送媒体と互換性があるように変換する伝送装置ユニットを更に有する。本発明の伝送装置は画像シーケンスを入力すると共に、これらシーケンスを、全テクスチャパラメータを符号化する従来技術の伝送装置よりも少ない帯域幅で伝送することができ、従って一層効率的である。ビデオシーケンスを伝送するための本発明による伝送装置は、ケーブル運用者のヘッドエンド又は無線放送局又はダイレクト・ツー・ホーム放送局又はインターネットサーバ等の種々の放送オプション部に配置することができる。
更に、画像の符号化バージョンを一層効率的な態様で記憶及び/又は伝送する携帯装置を提供することが望ましい。
これは、該携帯装置が、
− 少なくとも1つの画像を捕捉するように構成されたカメラと、
− 上記少なくとも1つの画像の符号化バージョンをデータ伝送主体又は記憶主体に伝送するよう構成された本発明による伝送装置と、
を有することにより達成される。
上記携帯装置は、カメラ及び本発明による伝送装置を有することができる。上記カメラは、記憶又は伝送されるべき画像のシーケンスを供給することができる。本発明による伝送装置は、上記画像のシーケンスを圧縮されたデータストリームに変換することができる。当該携帯装置の伝送装置は、本発明による先の段落で説明したような伝送装置に類似するものである。該伝送装置は、本発明により従来の伝送装置と比較してビットレート及び記憶スペースを低減するように構成される。結果として、該携帯装置は、帯域幅の制限された又は記憶の制限されたアプリケーションに有利に使用することができる。このような装置の例は、カメラ付き携帯電話、カメラ付きパーソナル・デジタル・アシスタント(PDA)又はデジタルスチル/ビデオカメラである。全ての可能性のある例において、画像の記憶のための記憶媒体又は画像シーケンスの伝送のための伝送装置を有することも可能である。"伝送装置"なる文言を用いる場合は、例えばメモリスティック等の(そのデータ規格に従う)記憶メモリへの伝送も含むことを意味するものである。
本発明による画像デコーダの一実施例において、この画像デコーダは圧縮されたデータストリームを少なくとも1つの画像に復号するように構成され、該画像デコーダは、
− 所定の画像圧縮規格に準拠する上記圧縮されたデータストリームの第1部分を少なくとも画像オブジェクトに復号するように構成された上記デコーダの第1部分と、
− 推定アルゴリズムの符号化情報及びテクスチャ領域のパラメータを含む上記圧縮されたデータストリームの第2部分を復号するように構成された上記デコーダの第2部分と、
を有し、上記デコーダの第2部分は、更に、上記テクスチャ領域のパラメータからテクスチャの領域を合成すると共に、該テクスチャの領域を前記画像オブジェクトに追加して出力画像を発生するように構成される。
上記デコーダは、良く知られた画像圧縮規格に準拠する圧縮されたデータストリームを復号することができる。上記圧縮されたデータストリームの第1部分は、復号されると、上記画像オブジェクトを発生することができ、本発明により符号化された上記圧縮データストリームの第2部分はテクスチャを含む領域を発生することができ、両出力が加算されて出力画像を形成する。該デコーダは、上記圧縮されたデータストリームの第1部分を復号すると共に、既知の規格の圧縮されたデータストリームと互換性があるように構成される。
更に、少なくとも1つの画像の符号化バージョンを含む圧縮されたデータストリームを受信し、一層効率的な態様で少なくとも1つの画像を出力する受信機を提供することが望ましい。
これは、画像伝送又は記憶設備から少なくとも1つの画像の符号化バージョンを含む圧縮されたデータストリームを受信する受信機が、
− 上記圧縮されたデータストリームを少なくとも1つの出力画像に復号するように構成された本発明によるデコーダと、
− 上記出力画像を、含まれる又は接続可能な表示器に接続するように構成された出力手段と、
を有することにより達成される。
本発明による前記画像デコーダは、圧縮されたデータストリームを受信し、少なくとも1つの画像を出力する受信機に含まれる。該受信機は、既知のビデオ圧縮規格に準拠する圧縮されたデータストリーム、及び/又はテクスチャパラメータ及び推定アルゴリズムの符号化情報を含む圧縮されたデータストリームを受信すると共に、画像のシーケンスを出力するように構成される。該受信機は表示器を有することができるか、又は外部の表示器に結合する手段を有することができる。本発明は、例えば、テレビジョン受信機、ホームシアタシステム、セットトップボックス、インターネット接続を備える又は備えないパーソナルコンピュータ、並びにメディアセンタ、携帯ビデオプレーヤ、パーソナル・デジタル・アシスタント(PDA)及び携帯電話等の携帯装置のような多くの受信機の1つに使用することができる。
更に、画像シーケンスを一層効率的な態様で圧縮するような圧縮された符号化画像信号を提供することが望ましい。
これは、上記圧縮された符号化画像信号が、
− 画像内に存在する画像オブジェクトを、画像オブジェクト内に含まれるピクセルの群のピクセル値の線形変換に基づいて、所定の画像圧縮規格に従って符号化するデータ、
− 上記画像内に含まれるテクスチャ領域を符号化するパラメトリックデータ、及び
− 前記画像の他のテクスチャを再生するために使用可能な、前記テクスチャを符号化したパラメトリックデータに基づいて他のテクスチャパラメータを発生するためのモデルの符号化情報、
を有することにより達成される。
画像圧縮の良く知られた規格に準拠する圧縮された符号化画像信号は、例えば送信されたテクスチャのパラメータから他のテクスチャを発生するためのモデルの符号化情報等の追加の成分を受容するように適切に変更される。テクスチャのパラメータに基づき他のテクスチャを発生するためのモデルの追加の符号化情報は、当該信号を、標準の画像圧縮信号と比較してビットレート低減の点で一層効率的にさせる。従来のデコーダで復号する際には、上記追加の成分は破棄されることができ、受信されたパラメータを持つテクスチャの領域のみが合成されるであろう。このようにして発生される画像信号は、依然として、従来のデコーダに準拠することができる。
更に、圧縮された符号化画像信号を一層効率的な態様で伝送する方法を提供することが望ましい。
これは、上記圧縮された符号化画像信号が、画像内に含まれる他のテクスチャ領域を再生するために使用可能な、当該画像内に含まれる第1テクスチャ領域を符号化したパラメトリックデータに基づいて他のテクスチャパラメータを発生するためのモデルを識別する符号化情報を有し、当該方法が、
− 当該画像に存在する画像オブジェクトを、該画像オブジェクト内に含まれるピクセルの群のピクセル値の線形変換に基づいて、所定の画像圧縮規格に従う圧縮された符号化画像信号に符号化するステップと、
− 当該画像内に含まれる第1テクスチャ領域をパラメトリックデータにより符号化するステップと、
− 当該画像の他のテクスチャを再生するために使用可能な、前記パラメトリックデータに基づいて該他のテクスチャを発生するための前記モデルの符号化情報を符号化するステップと、
− 上記の符号化された圧縮されたデータストリームを、データ伝送の有線又は無線媒体上で伝送するステップと、
を有することにより達成される。
本発明による圧縮された符号化ビデオ信号を伝送する方法は、他のテクスチャパラメータを第1テクスチャのパラメータに基づいて発生するためのモデルの符号化情報を符号化するステップを有する。このようにして、符号化する方法は、テクスチャパラメータ自体の代わりにテクスチャを再生するモデルを符号化することによりビットレートを節約する。従って、当該方法は、従来の画像のテクスチャを符号化する方法よりも効率的である。
更に、プロセッサが効率的な態様で画像を符号化する方法を実行するのを可能にするようなコンピュータプログラム製品を提供することが望ましい。
これは、コンピュータ装置によりロードされるべき上記プログラム製品が、テクスチャの領域を含む画像を圧縮されたデータストリームに圧縮する命令を有し、上記コンピュータ装置が処理ユニットとメモリとを有し、上記コンピュータプログラム製品が、ロードされた後に、上記処理ユニットに、下記のタスク、即ち、
− 第1領域の第1テクスチャパラメータ及び第2領域の第2テクスチャパラメータのうちの少なくとも一方から所定の推定アルゴリズムに従って第3テクスチャパラメータを推定するタスク、
− 上記の推定された第3テクスチャパラメータに対応する発生されたテクスチャの表現を上記第3領域の存在するテクスチャの表現と所定の整合規準に従って比較すると共に、整合度の値を計算するタスク、及び
− 第1テクスチャパラメータ及び第2テクスチャパラメータを圧縮されたデータストリームに符号化すると共に、前記整合度の値が所定の区間内に入る場合に第3領域に存在するテクスチャを上記推定アルゴリズムの符号化情報により前記圧縮されたデータストリームに符号化し、これにより当該画像を圧縮するタスク、
を実行する能力を付与することにより達成される。
本発明による方法を実行するためのステップ毎の命令を有するコンピュータプログラム製品は、テクスチャのパラメータの代わりに推定規準を符号化することにより符号化の効率を増加させ、これによりビットレートを低減する。該コンピュータプログラム製品は、全てのテクスチャパラメータを符号化するプログラムよりも良好な圧縮を達成するのに有効である。該コンピュータプログラムは、種々のプラットフォームに適用して当該符号化する方法を効果的に実施する汎用ツリーとなる。該コンピュータプログラム製品は、例えばセットトップボックス、ビデオ受信機、レコーダ、プレーヤ、手持ち装置及び携帯装置等の種々の形態の消費者向け装置及び機器に使用することができる。該コンピュータプログラム製品は、これら装置の一つにおいて、例えばPC、手持ち装置、ビデオプレーヤのオペレーティングシステム(OS)等の種々のプラットフォームに、又は良く知られた埋込システムの何れかに、又はジャバ仮想マシンに組み込むことができる。
本発明による画像エンコーダの一実施例において、テクスチャの領域を得るために当該画像は手動で区分される。
画像におけるテクスチャの領域は、機械的に区分された領域よりも相対的に正確且つ意味のある領域を得るために手で区分することができる。手動区分は、繰り返しシーン及びテクスチャのセグメントが当該シーンの大きな部分を占める(例えば、サッカー場における芝生)場合に有効である。
テクスチャ推定及び補間の技術は、画像をグラフィック設定及び背景と統合する場合に(例えば、制作側におけるグラフィックス作業)、有利に適用することができる。
本発明による画像エンコーダの一実施例では、テクスチャの領域及びパラメータを得るために画像は画像区分アルゴリズムにより予備区分される。
例えば分割及びマージ又は再帰ヒストグラム分割又は領域成長等の古典的区分方法の一つを適用することで、画像を自動的に区分することができる。アルゴリズムは、計算機においてソフトウェア又はハードウェアで実施化することができる。画像はパラメトリックモデルの存在するテクスチャとの適合を仮定及びテストすることにより予備区分することができ、その過程で、領域を区分することもできる。分割及びマージ方法は、洗練されたセグメントのモデルのパラメータを洗練するために第2反復に使用することができる。テクスチャの領域及びテクスチャのパラメータは、斯かるテクスチャのパラメータを更に符号化するために本発明によるエンコーダに直接供給することができる。パラメトリックモデルによる自動化された区分は、最初に区分し、領域のテクスチャのパラメータを見付けるよりも高速である。自動化された区分は、オプションとして、例えば16x16ピクセルの正方形領域又は16x32ピクセルの長方形領域等の規則的形状及び寸法の領域を得るように構成することもできる。
本発明の前記目的及び所望のフィーチャは、図面を参照する好ましい実施例の下記の説明から一層明らかになるであろう。
画像シーケンスは、それらの伝送及び記憶に要するデータのサイズを低減するために符号化及び圧縮される。達成される圧縮比は例えば復号された画像品質に直接的に影響し得、より高い圧縮比は、結果として、復号された画像の低品質につながる。画像内のテクスチャは何らかの空間的に一様な特性を有し、典型的には、時には例えばランダムな位置、向き又は色等の幾つかのランダムな変化を伴う繰り返し構造を有する。テクスチャは、当該テクスチャの重要な統計的信号特性が当該画像内の位置に依存しない場合は、静止的であると仮定される。テクスチャの領域を伴う画像を圧縮することは、復号された画像の良好な品質を達成する場合に一層高い圧縮比を達成しようと試みる際に更なる挑戦を課すことになる。
図1は、テクスチャの領域を伴う例示的画像10の概要図である。画像10は、前景の例えば人15等の画像オブジェクト、並びに背景の3つのテクスチャ11、12及び13の領域を有する。テクスチャ13の領域はテクスチャ11及び12の領域と類似したものであり得る。テクスチャ11及び12の少なくとも一方に類似し、関係し又は依存するテクスチャ13の領域は、当該画像の如何なる場所にも出現し得る。例えば、テクスチャ13の領域は、類似するテクスチャ11及び12の両者に隣接して現れるか、又は離れて出現し得る。このようにして、画像内のテクスチャは類似性又は相互依存性でグループ化することができる。1つ又は2つのテクスチャに極めて類似したテクスチャは、類似したテクスチャの推定されたパラメータを用いて再生するための良好な候補である。
テクスチャ13の領域は一端から他端へ徐々に変化することもでき、一端においては或るテクスチャ11に類似する一方、他端においては他のテクスチャ12に類似する。或る等級の画像においては、大きな領域内のテクスチャは当該テクスチャを形成する変化する大きさの要素を有し得る。これらは、時には、粗い粒子のテクスチャから細かい粒子のテクスチャへ変化すると言われる。当該領域の一方の境界から他方の境界へ徐々に変化するテクスチャ粒子構造も、例えば類似するテクスチャを表す統計的パラメータ等の推定されたパラメータにより再生するための良好な候補である。
テクスチャは分析することができ、パラメトリックモデルが該テクスチャに適合される。該テクスチャは、該モデルから得られたパラメータの補助で特徴付けることができる。従って、圧縮されたストリームには、当該テクスチャが合成され、画像の適切な位置で再生することができるように、上記モデルのパラメータを符号化するだけで十分であろう。当該テクスチャの位置及び境界情報は送信される必要があろう。上記境界情報は、データ圧縮を達成するために、オプションとして例えば幾何学図に対する境界の近似により、又は多項式関数、フーリエ記述子若しくはフラクタル幾何学(fractal geometry)を用いた境界の記述により符号化することができる。
境界情報は全ての実施例で必要とされるのではない。というのは、例えば予め固定された画像の部分パーツにおける背景の芝生テクスチャは、前景オブジェクトを重畳することが可能な如何なる開始テクスチャからも完成することができるからである。前景オブジェクトにおけるテクスチャ及び本発明によるパラメータ的に発生された背景テクスチャの移送(transfer)を滑らかにするために戦略が適用される。
一般的に、テクスチャの実現を元のテクスチャのものと同一の統計的特性で行うことが可能である。また、1以上の関連する又は依存するテクスチャの中間の又は徐々に変化するテクスチャを、それらのモデルパラメータから発生することも可能である。このような場合において、画像内に存在する全てのテクスチャの領域のモデルパラメータの符号化と比較して、ビットレートの低減を達成することができる。
図2は、本発明による画像エンコーダ20の一実施例の概略ブロック図である。
画像エンコーダ20は、推定器21、比較器22及びデータエンコーダ23を有している。該画像エンコーダは、テクスチャの領域のテクスチャパラメータを入力するように構成されている。テクスチャパラメータは、テクスチャの表現であり、該テクスチャを再生するために使用することができる。テクスチャの領域のテクスチャパラメータを推定する種々の方法が存在する。テクスチャの確率的表現であるテクスチャパラメータは、例えば自身の最も類似したパラメトリックモデルを見付けることにより得ることができる。テクスチャパラメータは、付加的に、当該テクスチャの領域の境界情報の表現を有することができる。
画像エンコーダ20は、第1領域11、第2領域12及び第3領域13のうちの少なくとも1つを有する図1に示す画像10を符号化するように構成される。推定器21は、第1領域の第1テクスチャパラメータ(ρ1o)及び第2領域の第2テクスチャパラメータ(ρ2o)のうちの少なくとも一方を入力すると共に、所定の推定アルゴリズム(K)に従って第3テクスチャパラメータ(ρ3e)を推定するように構成される。上記推定アルゴリズムは、テクスチャパラメータの平均等の簡単なものから、テクスチャパラメータの多項式非線形方程式等の一層複雑なものまでとすることができる。推定アルゴリズムとして、テクスチャパラメータの加重平均を有利に使用することができる。
入力画像を入力すると共にテクスチャを有する領域を区分し、且つ、テクスチャパラメータを計算する区分化手段は、当該エンコーダの外部に設けることができるか、又は該エンコーダ内に追加のモジュールとして設けることができる。区分は、テクスチャの領域のパラメータ推定と組み合わせることができるか、段階で有利に実行することができる。自己回帰移動平均(ARMA)モデル等のパラメトリックモデルの予測及び訂正を、区分及びパラメータ推定のために使用することができる。分割及びマージ又は何らかの他の良く知られた手順を介しての区分の改善策も当該区分化モジュールに含めることができる。当該区分は、ヒストグラム分割法等の良く知られた技術の何れか1つを適用する自動化された区分とすることができる。
モデルの適合及びテクスチャのある領域のパラメータ推定の一例を示す。位置(m,n)の関数XであるようなテクスチャR1を考察しよう。該テクスチャは静止的であると仮定する。このようなテクスチャに対する幾つかの有効な統計的パラメータは、平均及び自己共分散であり得る。この例においては、自己共分散パラメータρの推定を説明する。表記を容易にするために、更に、平均はゼロであると仮定することができる。ゼロでない平均の場合に対しては、平均を推定し、減算することができる。自己共分散は、2つの観測X(m0,n0)及びX(m0+Δm,n0+Δn)の間の共分散と定義され、ここで、(Δm,Δn)は座標(m0,n0)に対する増分的ずれである、
静止の特性の結果、ρは位置(m0,n0)とは独立であり、2つの観測の相対位置(Δm,Δn)にのみ依存することになる。分散は座標のずれ(0,0)における自己共分散により与えられる、
2次元自己回帰(2D AR)モデルを、テクスチャ共分散関数における統計的に重要な細部の小さな表現を得るために使用することができる。テクスチャXに対する2D ARモデルは、下記の異なる方程式により与えられ、
ここで、Xはテクスチャであり、ε(m,n)はゼロ平均の独立した等しく分散されたランダム変数である。総和に用いられる周囲の領域Sはサポート領域(ROS)と定義される。点(m,n)は該サポート領域における中心点と呼ぶことができる。上記総和は、観測X(m,n)の周囲の値の係数ai,jとの線形結合である。
ARモデルパラメータaは、X(m,n)の周囲のピクセルに基づく予測に使用することができる:
i,jは2Dユール・ウォーカ方程式により自己共分散に関係づけられる:
更なる技術が、モデル順序及び最適係数を決定するためのモデル適合の文献中に存在する。
テクスチャの領域を、手動の区分により得ることが可能である。このような領域は、テクスチャパラメータを得るために更に処理することができる。手動区分は幾つかの利点を有している。即ち、意味論的に意味のある領域を単一の反復で得ることができ、区分化のエラーを自動区分と比較して大幅に少なくすることができ、手動区分は静止的及び繰り返しシーンに良く適し得る。
比較器22は、推定された第3テクスチャパラメータ(ρ3e)に対応する発生されたテクスチャと、図1に示した画像10に存在する第3テクスチャ13(R)とを比較するように構成されている。該比較器の別の実施例は、テクスチャを異なる可能性のある表現から開始して比較し、整合度の値(μ)と呼ばれる類似性の尺度を発生するように構成される。該整合度の値は、第3テクスチャを、推定されたテクスチャパラメータにより発生されたテクスチャと置換することができるかを判断するのに有効である。
発生されたテクスチャの当該画像内で見つかったテクスチャに対する適合度を見付けるために、発生/テスト戦略が採用される。上記整合度の値は、テクスチャを統計的整合関数又は心理視覚的整合関数によって比較することにより計算することができる。該整合度の値が或る区間内に入る場合、これは他のテクスチャパラメータからの第3テクスチャパラメータの満足のゆく推定であることを示し、該第3テクスチャパラメータを推定アルゴリズムにより置換する決定に到達することができる。決定は、上記整合度の値が所定の閾値より高い場合になすこともできる。
一例として、左から右へ徐々に変化するテクスチャの領域が、該テクスチャ領域の左及び右半部に適合される2つの2次元自己回帰(AR)モデルM及びMを用いてモデル化されると仮定しよう。遷移領域においては、上記モデルM及びM間の遷移モデルMが、M又はMの何れよりも良好に適合することが期待される。
この遷移領域に対しては、中間モデルを決定することができる。しかしながら、この新たなモデルはデコーダに送信しなければならない付加的パラメータを生じ、ビットレートを増加させる。代替案は、モデルMのパラメータを、例えばモデルパラメータM及びMの補間による等の、利用可能なモデルパラメータM及びMの組み合わせにより推定することである。推定は、ビットレートを増加させること無しに、M又はMに比較して当該遷移領域に対する一層正確なモデルを発生させることができる。自己相関係数、反射係数及び予測係数等の当該モデルパラメータに対する多くの等価な表現が利用可能である。
更に、当該例においては、モデルMの自己共分散係数ρ3eは、モデルM及びMの自己共分散係数ρ及びρの、
なる重み(w1,w2)による加重平均により得ることもできる。
対応するモデルパラメータは、aIi,jにより示される。これらのモデルパラメータは、ρ3eに対してユール・ウォーカ方程式を解くことにより見付けることができる:
特定のセグメントR3に対する補間モデルの品質は、このモデルのデータに対する適合度を計算することにより評価することができる。この適合度は、残差rの平均自乗値であり:
ここで、rは真のテクスチャX(m,n)の統計的特性Y(m,n)と、予測されたテクスチャX^(m,n)の統計的特性Y^(m,n)との間の差により与えられ、ここで(m,n)は座標である。
より一般的に言うと、上記残差rは特定の領域におけるテクスチャがテクスチャの合成に適しているかを決定するために使用することができる。例えば、テクスチャ合成が2D−ARモデルによりガウス的ホワイトノイズεを入力として用いることにより実行される場合、残差rも同様の統計的特性を有さなければならない。これは、統計的テストにより検証することができる。
データエンコーダ23は、第1テクスチャパラメータ及び第2テクスチャパラメータ(ρ1o,ρ2o)を、圧縮されたデータストリームST(ρ1o2o,…)に符号化するように構成されている。パラメータ値を既知の規格によるフォーマット化されたフレームに挿入することで、圧縮されたデータストリームを形成することができる。他の例として、パラメータをデータストリームに圧縮及び符号化することができる。該データエンコーダは、更に、前記整合度の値が所定の区間内に入る場合、第3領域内に存在するテクスチャを、ρ3oの代わりに前記推定アルゴリズム(K)の符号化情報で符号化するように構成される。或る量の精度内で推定することが可能なテクスチャパラメータは、上記圧縮されたデータストリームに符号化する必要はなく、該推定アルゴリズムを示す所定の合意されたシンボル又は短いコードを符号化すれば十分であるので、結果としてビットレートの節約となる。従って、テクスチャパラメータが、そのまま、圧縮されたデータストリームに符号化されるような従来技術と比較して、画像の一層良好な圧縮が可能である。デコーダにおいては、受信されたシンボルに対応する推定アルゴリズムを、予め決められた推定アルゴリズムのテーブルから選択することができる。
図3は、本発明による画像エンコーダの、推定器31と比較器32とを有する例示的ユニット30のブロック図である。
推定器31は、入力として第1テクスチャパラメータ(ρ1o)及び第2テクスチャパラメータ(ρ2o)を入力し、所定の推定アルゴリズム(K)により第3テクスチャパラメータ(ρ3e)を推定するように構成されている。複数の推定アルゴリズムを当該推定器に予め記憶しておくことができ、第3テクスチャパラメータの推定のために規準(K)の1つが適用され、これが前記データエンコーダ23に結合される。比較器32は、推定された第3テクスチャパラメータ(ρ3e)及び第3テクスチャ(R)の表現を入力し、これらを比較すると共に、出力として整合度の値(μ)を計算する。存在するテクスチャの第3領域から導出されたテクスチャパラメータ(ρ3o)も、上記比較において利用可能にされ、推定されたテクスチャパラメータ(ρ3e)と比較される。上記整合度の値(μ)は、推定器31が所定の区間内の整合度の値を得るために所定の方式の推定を選択するように、該推定器に帰還することができる。上記整合度の値は、該値が所定の区間内に入るように増加又は減少することができる。このようにして、推定器31は、比較器32からの帰還制御信号を供給することにより第3テクスチャパラメータ(ρ3e)を効果的に推定するように設計することができる。
図4は、本発明による比較器40の一実施例の概略ブロック図である。
比較器の一実施例40は、図4に示すように、下記の可能性のある整合関数のうちの少なくとも1つを呼び出すことにより整合度の値(μ)を計算するように構成されている。心理/視覚的整合関数43又は統計的整合関数44又は距離的尺度整合関数を使用することができる。これら関数のうちの1以上の出力を組み合わせることにより整合度の値(μ)を計算することも可能である。
心理視覚的整合関数(PVMF)43は、当該画像に存在する第3領域(R3)と、推定された第3テクスチャパラメータ(ρ3e)に対応する第3領域(R3')とを入力するように構成される。この目的のために、テクスチャ合成器41をオプションとして当該比較器40の内部に設計することができる。PVMFは、整合を、人の目により知覚されたかのようにエミュレートするよう設計される。良く知られたPVMFの幾つかは、輝度ドメインで表された2つの画像を知覚するために人の視覚系モデルを使用し、出力として整合度の値を計算する。人の視覚系の特性(例えば、種々の周波数における周波数感度、種々の周波数におけるエネルギ感度及び低周波数知覚対高周波数知覚等)を、適切な整合度の値を出力として得るために、重み付け関数に組み込むことができる。
テクスチャの統計的試験のために、統計的整合関数を設計することができる。存在するテクスチャ(R)から第1の統計的パラメータ(P)を計算するために、統計的パラメータ推定器46を当該比較器40にオプションとして組み込むことができる。同様に、再生されたテクスチャ(R3')から第2の統計的パラメータ(P3')を計算するために、当該比較器40にオプションとして第2の統計的パラメータ推定器42を組み込むことができる。統計的整合関数44は、第1の統計的パラメータ(P)及び統計的パラメータ(P3')を入力して、整合度の値(μ)を計算するように構成される。テクスチャの統計的パラメータは、平均、分散、標準偏差、共分散、エントロピ及びモーメント等の基本的パラメータから、エネルギ尺度及び関係尺度等の一層進んだパラメータまで様々であり得る。
統計的整合関数により整合度の値を推定する例を示す。例えば、下記の式により与えられるような相対的スペクトルエラー尺度IRは、2つのテクスチャ領域(R,R3')を比較するための有効な統計的整合関数であり得、
ここで、f(w)は存在するテクスチャの正規化されたスペクトル密度であり、f^(w)は推定されたテクスチャの正規化されたスペクトル密度であり、Γは正規化されたスペクトル密度を得るためにピクセルの領域に適用される変換である。
整合度の値を得るために、IRに対して線形変換を適用することができる。この方法の利点は、斯様な整合関数の統計的特性を容易に計算することができることである。このような有用な統計的整合関数の多数の例が、2001年6月のIEEE Transactions on Instrumentation and Measurement, Vol. 50, No. 3 にPiet M. T. Broersen により掲載された"The Performance of Spectral Quality Measures"なる論文に記載されている。
距離的尺度関数45は、第3領域に存在するテクスチャから推定されたテクスチャパラメータ(ρ3o)と、1以上の他のテクスチャパラメータから推定された第3テクスチャパラメータ(ρ3e)とを入力するように構成することができる。これらテクスチャパラメータはベクトルであると仮定することができる。パラメータドメインにおける比較は、輝度ドメインにおける比較よりも大幅に簡単である。更に、整合度の値(μ)は線形変換により効果的に発生することができる。2つのベクトルを比較する例の1つは、2つのベクトルの点乗積(dot product)又は接線距離の計算である。
図5は、テクスチャの領域を有する画像のビデオシーケンスの概要図である。
本発明は、単一の画像又はシーケンスの画像又はビデオシーケンスに適用することができる。第1画像51、第2画像52及び第3画像53を有する画像シーケンス50が図5に示されている。第1画像51は第1領域54を有し、第2画像52は第2領域55を有し、第3画像53は第3領域56を有している。同一の画像内に存在する1以上のテクスチャ又は隣接する画像内に存在する1以上のテクスチャからテクスチャを推定することが可能である。テクスチャの近接度はテクスチャを推定する場合の有効な規準となるが、画像の順序は重要ではない。静止画像のシーケンス(例えば、海岸で又はサッカー場で撮られた一連の写真)においてテクスチャを推定することも同様に可能である。このような画像において、前景は物体、人、木又は建物を含み得、背景は芝生又は砂のテクスチャを含み得る。
図6は、本発明による画像を符号化する方法60の一実施例のフローチャートである。
第1及び第2のテクスチャパラメータ(ρ1o2o)が推定ステップ61において入力され、第3テクスチャパラメータ(ρ3e)が推定される。次のステップ62において、上記の推定されたテクスチャパラメータ(ρ3e)は当該画像に存在する第3テクスチャ(R)のテクスチャパラメータ(ρ3o)と比較される。例えば、ピクセルドメインでの比較、モデル化されたパラメータドメインでの比較又は統計的パラメータのドメインでの比較等の、テクスチャを比較する多くの方法が存在し得る。斯かる比較の何れの出力も、整合度の値(μ)を出力するように構成される。整合度の値(μ)を得るために、1以上の比較出力を組み合わせるオプション的方法も存在し得る。上記整合度の値(μ)は、データ符号化ステップ63において、該値が所定の区間内に入るかを見るために判定される。該整合度の値(μ)が許容可能なら、第3テクスチャパラメータ(ρ3e)の推定アルゴリズム(K)が圧縮データストリームST(ρ1o2o,K)に符号化され、結果的にビットレートを節約する。それ以外の場合、第3領域に存在するテクスチャに対応するテクスチャパラメータ(ρ3o)が圧縮データストリームST(ρ1o2o,…)に符号化される。これら両圧縮データストリームは結合器64において組み合わされる。このようにして、当該画像符号化方法60は、上記整合度の値(μ)が所定の区間内に入る場合に、第3テクスチャ領域に存在するテクスチャが推定アルゴリズム(K)により符号化されるような圧縮されたデータストリームを発生する。
洗練された方法であること以外に、推定されたパラメータからのテクスチャの再生は、余り複雑でなく、従来技術でよく推奨されているような輝度ドメインにおける補間と比較して少ないアーチファクトしか発生しない。
図7は、本発明による画像デコーダ70の一実施例の概略ブロック図である。
圧縮されたデータストリームST(ρ1o2o,…)がデコーダ71により入力される。該圧縮されたデータストリームは、推定アルゴリズムの符号化情報を含むことができるST(ρ1o2o,K)。第1テクスチャパラメータ及び第2テクスチャパラメータ(ρ1o2o,…)はデータデコーダ71により復号される。デコーダ72は、圧縮されたデータストリームから推定規準(K)の符号化情報を検出するように構成されている。検出された推定規準(K)からは、第3テクスチャパラメータ(ρ3e)が推定器73において第1及び第2テクスチャパラメータ(ρ1o2o)の少なくとも一方から推定(発生)される。データストリームから検出された推定アルゴリズムに基づいて、少なくとも1つのテクスチャパラメータから1以上のテクスチャパラメータを推定することが可能である。上記推定器は推定アルゴリズムが検出されない限り動作することはない。このような場合、当該データデコーダは、圧縮されたデータストリームで入力されたままのテクスチャパラメータを復号し続ける。
図8は、本発明による画像を復号する方法80の一実施例のフローチャートである。
該復号方法80は、圧縮されたデータストリームST(ρ1o2o,…)から第1及び第2テクスチャパラメータ(ρ1o2o)を復号する第1ステップ81を有している。該圧縮されたデータストリームST(ρ1o2o,K)は、時には、符号化された推定アルゴリズム(K)を含む。次のステップ82において、復号されたデータストリームは、推定アルゴリズムが存在するか判定される。推定アルゴリズムが検出された場合、第3テクスチャパラメータ(ρ3e)が第1及び第2テクスチャパラメータ(ρ1o2o)の少なくとも一方から推定アルゴリズム(K)に従って推定される。それ以外の場合、当該データデコーダにより復号されたままのパラメータが、更なる処理(例えば、テクスチャの合成)のために採用される。
図9は、本発明による画像エンコーダ90の一実施例の概略ブロック図である。
本発明による画像エンコーダ90は該エンコーダの第1部分91を有し、該第1部分は例えばH.264又は先端的ビデオ符号化(AVC)規格等の決定的圧縮規格により画像を符号化する。このような方式において、テクスチャの領域の分類に属さないであろう画像オブジェクトは、線形変換(更に詳細にはDCT)を受け、圧縮データストリーム98Aに符号化される。上記テクスチャの領域も、上記画像オブジェクトよりも相対的に少ない数のビットを割り当てることにより、圧縮データストリーム98Aに粗く符号化することができる。結果としてのテクスチャは、標準のデコーダにより復号された場合は、ベタッとして見え、時には"プラスチック的外観を持つ"のが分かる。当該エンコーダの第1部分91により供給される再生画像96Aは、減算器95において元の画像96から減算される。差分画像は、テクスチャの領域96Bを有する。該テクスチャ領域96Bは、テクスチャの一層細かな細部を有することができ、パラメトリックモデル化のために取り上げることができる。
テクスチャ分析モジュール92は、テクスチャ領域96Bをモデル化し、モデルパラメータを推定するように構成される。所定の精度で上記モデルに適合しないテクスチャ領域97Aは、当該エンコーダの第1部分91に戻すことができる。上記モデルに所定の精度で適合するテクスチャ領域97Bは、選択し、当該エンコーダの第2部分93に結合することができる。テクスチャに対するモデルの適合度を評価する一例は、式(8)に示されている。テクスチャ分析モジュール92は、オプションとして、当該エンコーダの第1部分91に又は当該エンコーダの第2部分93に組み込むこともできる。
他の実施例では、画像オブジェクト及びテクスチャ領域97Bは、画像96からテクスチャフィルタにより分離され、当該エンコーダの第1部分91及び当該エンコーダの第2部分93に、各々、別個に結合することができる。更に他の実施例では、画像96はテクスチャ分析モジュール92に直接的に供給することができ、予め指定されたモデルの何れにも所定の精度で適合しない領域は画像オブジェクト97Aと見なし、当該エンコーダの前記第1部分に結合することができる。指定されたモデルに適合するテクスチャ領域97Bは、当該エンコーダの第2部分93に結合することができる。
本発明によるエンコーダの第2部分93は、テクスチャ領域97Bを、パラメータ及びテクスチャパラメータを他のテクスチャパラメータの少なくとも1つから推定することができる場合は推定規準の符号化情報で符号化する。斯かる符号化されたテクスチャパラメータ及び推定規準の符号化情報を有する圧縮データストリーム98Bは、当該エンコーダの第1部分91により発生された圧縮データストリーム98Aと組み合わされる。結合ユニット94は、上記の2つの圧縮データストリーム98A、98Bをインターリーブし、前記決定的圧縮規格と依然として互換性のあり得る合成データストリーム99を発生するように構成される。例えば、当該エンコーダの第2部分93からの圧縮データストリーム98Bは、先端的ビデオ符号化(AVC)規格と互換性のある圧縮データストリーム98Aに、補足拡張情報(SEI)メッセージとして含めることができる。該SEIメッセージは、モデルパラメータ及び推定規準の符号化情報を含むことができる。これら情報以外に、該SEIメッセージは、領域区分情報、領域に対するテクスチャモデルのインデックス、推定に使用されたモデルのインデックス、並びに推定されたテクスチャ及び例えば当該テクスチャを推定するための加重平均法の重み等の推定係数を更に有することができる。
図10は、本発明による圧縮データストリームを伝送する伝送装置100の一実施例の概略ブロック図である。
伝送装置100はテクスチャモデル化ユニット101を有し、該ユニットにおいては画像104が入力され、テクスチャ領域がモデル化され、それらのテクスチャパラメータが推定される。区分化及びテクスチャのモデル化は、組み合わすか又は別個の処理とすることができる。区分化が別個の処理である場合、該区分化は統計的特性の1以上の一様性に基づく古典的区分化技術に基づくものとすることができる。基本的区分化の一例は、2002年、デンマーク、コペンハーゲンにおけるProceedings of European Conference on Computer VisionにおいてF. Ernst、P. Wilinski及びK. van Overveldにより著された" Dense structure from motion: an approach based on segment matching"なる論文に見付けることができる。テクスチャ区分のために、例えば自己回帰モデル(AR)、移動平均モデル(MA)、自己回帰移動平均モデル(ARMA)又はフラクタルモデル等の種々の他のパラメトリックモデルを考えることができる。例えばH.264エンコーダ等の規格に準拠したエンコーダの決定的符号化ベースレイヤに基づくテクスチャ区分も考えることができる。
前記テクスチャモデル化モジュールは、更に、視覚的に一層意味のある区分化領域を得るためのセグメント精製モジュールを有するように構成することができる。近接するセグメントA及びBに対するモデルを比較することにより、これらセグメントが同一のテクスチャに属するかが決定される。そのような場合、これら領域は併合(マージ)されて単一の領域を形成し、モデルパラメータも対応して更新される。幾つかの場合において、セグメントが2以上の領域を有し、モデルの適合が大きなエラーとなる場合、該セグメントは2以上の領域に分割され、当該モデルが残留エラーの大幅な低減となるかを見るために各セグメントに対してモデルが再適合される。そして、マージ処理が分割セグメントに対して再び実行される。斯かる手順は、改善された区分化が得られるまで繰り返すことができる。
他の実施例において、領域の境界は、近似が当該画像内に存在するオブジェクトを重ね合わせ又は覆い隠さない限りにおいて、或る量のエラーを許容することにより例えば正方形、長方形又は円等の規則的形状に近似させることができる。このような技術は、領域の境界を符号化する際にビットレートを大幅に低減するために採用することができる。一例として、図1に図示した第1領域11の境界の1つは、階段状構造により近似し、より少ないビット数で符号化することができる。同様にして、第2領域12の境界は、当該画像内に存在するオブジェクト15を隠さない限りにおいて、長方形により近似することができる。規則的な境界を符号化する際に節約される帯域幅は、これら領域11、12内に存在するテクスチャの一層正確なモデル化のために使用することができる。このようにして、境界の符号化とテクスチャの内容の符号化との間の帯域幅又はビットレートの取引を効果的に実施することができる。
他の実施例において、合成のためのテクスチャ領域は、長方形/円形境界ボックスと、輝度及び/又はカラー区間との組み合わせを用いて符号化することができる。例えば、サッカー場における芝生のテクスチャの領域を表すために、ビット数を節約すべく、長方形の境界ボックス並びに緑の背景に対応する一連のクロミナンス及び輝度値(Y、U及びV値)を符号化することができる。例えば、先端的ビデオ符号化(AVC)規格における復号された基本レイヤを、所定の態様で区分することができる。
テクスチャモデル化ユニット101においては、テクスチャの領域105A及びそれらの対応するテクスチャパラメータ105Bが発生される。加えて、当該テクスチャモデルの情報を含む圧縮されたデータストリーム106が発生される。テクスチャの領域105A、それらの対応するテクスチャパラメータ105B及びテクスチャモデルの情報を含む圧縮データストリーム106を有する当該テクスチャモデル化ユニット101の出力は、エンコーダ102に結合される。該エンコーダ102は、第1及び第2テクスチャから第3テクスチャパラメータを推定し、発生された第3テクスチャを存在する第3テクスチャと比較し、整合度の値が所定の区間内に入る場合に第1及び第2テクスチャパラメータ並びに推定アルゴリズムを圧縮データストリーム106に符号化するよう構成される。該エンコーダの出力は、テクスチャパラメータ、推定アルゴリズム及びテクスチャモデルの情報を有する圧縮されたデータストリーム107である。該伝送装置は、更に、オプションとして上記圧縮データストリーム107を例えば有線、無線又はインターネット等の伝送媒体と互換性があるように変換する伝送ユニット103を有する。テクスチャモデルの情報を圧縮データストリームに含めることは、エンコーダ102において又は伝送ユニット103において実行することができる。上記圧縮データストリームを有する伝送信号108の信号帯域幅は、従来のシステムと比較して小さい。該伝送信号108は、例えばインターネットサーバ等の伝送主体109Aを介して伝送することができるか、又はハードディスク若しくは光記憶装置等の記憶主体109Bに記憶することができる。
図11は、本発明の一実施例による携帯装置110の一実施例の概略ブロック図である。
本発明による携帯装置110は、カメラ111及びトランスミッタ112を有する。カメラ111は少なくとも1つの画像115を捕捉するためのスチルカメラ又はビデオカメラとすることができる。画像113はトランスミッタユニット112により入力され、圧縮データストリームを含む伝送信号114に変換される。
図12は、本発明による画像デコーダ120の一実施例の概略ブロック図である。
画像デコーダ120は、良く知られた画像圧縮規格と互換性のある入力圧縮データストリーム125を入力し、該データストリームを少なくとも1つの画像に復号するように構成されている。該画像デコーダは、スプリッタ121と、該デコーダの第1部分122と、該デコーダの第2部分123とを有している。スプリッタ121は、圧縮データストリーム125を、良く知られた画像圧縮規格に準拠した、該圧縮データストリームの第1部分126に分離するよう構成される。該圧縮データストリームの第2部分127は、本発明による推定規準の符号化情報及びテクスチャのパラメータを含む。第1デコーダ122は、当該圧縮データストリームの所定の画像圧縮規格に準拠する第1部分126を少なくとも1つの画像オブジェクト128に復号するよう構成される。当該デコーダの第2部分123は、上記圧縮データストリームの第2部分127をテクスチャパラメータに復号するように構成される。該デコーダの第2部分123は、更に、上記テクスチャパラメータからテクスチャ領域129を合成すると共に、該テクスチャ領域129を画像オブジェクト128に加算して、出力画像130を発生するように構成される。
図13は、本発明による受信機の一実施例の概略ブロック図である。
受信機140は、デコーダ141と、出力手段142と、組み込み表示器148とを有する。本発明による上記デコーダは、符号化されたテクスチャパラメータ及び推定アルゴリズムの符号化情報を含む圧縮データストリーム143を受信するように構成される。該圧縮データストリームは、遠隔の送信機144から又は内部記憶手段145から受信することができる。上記内部記憶手段は当該受信機の内部に又は該受信機と一緒に配置されることができる。該内部記憶手段は、ハードディスク、又はデジタル汎用ディスク(DVD)若しくはブルーレイディスク等の光記憶装置とすることができる。該受信機は、本発明によるデコーダ141を有する。該デコーダは、前記圧縮データストリームを、テクスチャの領域を含む少なくとも1つの画像146に復号する。該画像146は、組み込まれた表示器148又は接続された表示器149に適したフォーマットに変換される。受信機の例は、セットトップボックス、メディアセンタ、パーソナル・デジタル・アシスタント、携帯電話、テレビジョン、ホームシアタ、パーソナルコンピュータ又はDVD/ブルーレイディスクプレーヤである。
図14は、本発明によるコンピュータプログラム製品の概略ブロック図である。
該コンピュータプログラム製品150は、計算マシンにロードすることができ、処理ユニット及びメモリを有する該マシンを動作させることができる。該コンピュータプログラム製品は、ロードされた後、上記処理ユニットに、テクスチャ領域を含む画像に対する符号化処理、及び/又は領域を含む画像を得るために圧縮データストリームに対する復号処理を実行する能力を付与する。該コンピュータプログラム製品は、例えばフラッシュメモリ又はコンパクトディスク又はハードディスク等の標準の組込型又は着脱可能型記憶部内の状態で扱うことができる。該コンピュータプログラム製品は、計算マシン内に組込ソフトウェアとして組み込むことができるか、又は事前にロードされた状態に維持することができるか、又は標準のメモリ装置の1つからロードすることができる。該コンピュータプログラム製品は、マシン言語コード又はアセンブリ言語コード等の既知のコードの何れかで設計することができ、パーソナルコンピュータ又はサーバ等の利用可能なプラットフォームの何れかにおいて動作させることができる。
発明者は、自身の経験から、動き補償された同一の領域に関連するテクスチャを含む連続した画像に対してテクスチャを合成することが、パターンの妨害的な時間的変動を生じることも理解している(理想的には、例えば局所的な芝生等の静止パターンが、局部的動きと一緒に移動すべき場合)。
これは、エンコーダにおいて、動き前画像テクスチャを符号化し、これを動き補償することにより対処することができる。
新たな現在のテクスチャ(例えば、今度は何らかの陰影が現れている場合)は何となく異なるものであり得、符号化されたものと比較して差分(differential)として符号化することができる。
領域Xに対する動き補償された過去のテクスチャも、新たに発生されたテクスチャ(例えば、過去のテクスチャの動き補償(例えば、ワーピング)+更新テクスチャ等の何らかの規準による)により重みを付けることができ、かくして、時間的な一貫性と真実さ(突然のかげり等の時間的に一定しない現象)との間の最適な(視覚的に満足な)整合が維持される。重み付け方法は、ユーザパネルで事前に最適化することができる。
最良の適合テクスチャを決定することができ、これらテクスチャのモデルパラメータを主実施例に関して前述したのと同様の方法で符号化することができる。
デコーダは逆のことをする。
尚、上述した実施例は本発明を限定するというよりは解説するものであり、当業者であれば添付請求項の範囲から逸脱すること無しに多くの代替実施例を設計することができることに注意すべきである。また、請求項において、括弧内の如何なる符号も当該請求項を限定するものと見なしてはならない。また、"有する"なる用語は、請求項に記載されたもの以外の構成要素又はステップの存在を排除するものではない。また、単数の構成要素は、複数の斯様な構成要素の存在を排除するものではない。本発明は、幾つかの別個の要素を有するハードウェアにより、及び適切にプログラムされたコンピュータにより実施化することができる。幾つかの手段を列挙するシステムの請求項において、これら手段の幾つかはコンピュータ読み取り可能なソフトウェア又はハードウェアの1つの且つ同一の項目により実施化することができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これら手段の組み合わせが有利に使用することができないことを示すものではない。
図1は、テクスチャの領域を伴う例示的画像の概要図である。 図2は、本発明による画像エンコーダの一実施例の概要図である。 図3は、本発明による画像エンコーダの推定器及び比較器を有する例示的ユニット30のブロック図である。 図4は、本発明による比較器の一実施例の概略ブロック図である。 図5は、テクスチャの領域を含む画像のビデオシーケンスの概略図である。 図6は、本発明による画像を符号化する方法の一実施例のフローチャートである。 図7は、本発明による画像エンコーダの一実施例の概略ブロック図である。 図8は、本発明による画像を復号する方法の一実施例のフローチャートである。 図9は、本発明による画像エンコーダの一実施例の概略ブロック図である。 図10は、本発明による圧縮されたデータストリームを伝送する伝送装置の一実施例の概略ブロック図である。 図11は、本発明の一実施例による携帯装置の一実施例の概略ブロック図である。 図12は、本発明による画像デコーダの一実施例の概略ブロック図である。 図13は、本発明による受信機の概略ブロック図である。 図14は、本発明によるコンピュータプログラム製品の概略ブロック図である。

Claims (22)

  1. 第1領域及び第2領域の少なくとも一方並びに第3領域を有する入力画像を圧縮する画像エンコーダであって、該画像エンコーダが、
    − 前記第1領域の第1テクスチャパラメータ及び前記第2領域の第2テクスチャパラメータの少なくとも一方から所定の推定アルゴリズムに従って第3テクスチャパラメータを推定するように構成された推定器と、
    − 前記推定された第3テクスチャパラメータに対応する発生されたテクスチャの表現と、前記入力画像の前記第3領域に存在するテクスチャの表現とを所定の整合規準に従って比較すると共に、整合度の値を計算するように構成された比較器と、
    − 前記第1テクスチャパラメータ及び前記第2テクスチャパラメータの少なくとも一方を圧縮されたデータストリームに符号化するように構成されると共に、前記整合度の値が所定の区間内に入る場合に前記入力画像の前記第3領域に存在する前記テクスチャを前記推定アルゴリズムの符号化情報により前記圧縮されたデータストリームに符号化するように構成されたデータエンコーダと、
    を有するような画像エンコーダ。
  2. 請求項1に記載の画像エンコーダにおいて、前記推定器が、前記所定の推定アルゴリズムとして、前記第1テクスチャパラメータ及び前記第2テクスチャパラメータの加重組み合わせを適用するように構成された画像エンコーダ。
  3. 請求項2に記載の画像エンコーダにおいて、前記推定器が、更に、前記加重組み合わせのための重みを前記整合度の値を最小化することにより適応的に選択するように構成された画像エンコーダ。
  4. 請求項1に記載の画像エンコーダにおいて、前記比較器が前記所定の整合規準として心理/視覚的整合関数を適用するように構成され、該心理/視覚的整合関数が、前記発生されたテクスチャの表現及び前記存在するテクスチャの表現を入力として取り込み、これら両表現が前記画像内の複数のピクセルにわたり定義されたものとすると共に、出力として前記整合度の値を発生するような画像エンコーダ。
  5. 請求項1に記載の画像エンコーダにおいて、前記比較器が前記所定の整合規準として統計的整合関数を適用するように構成され、該統計的整合関数が、前記発生されたテクスチャの表現の統計的特性及び前記存在するテクスチャの表現の統計的特性を入力として取り込むと共に、出力として前記整合度の値を発生するような画像エンコーダ。
  6. 請求項1に記載の画像エンコーダにおいて、前記比較器が前記所定の整合規準として距離的尺度関数を適用するように構成され、該距離的尺度関数が、前記第3テクスチャパラメータ及び前記入力画像の前記第3領域に存在するテクスチャのテクスチャパラメータを入力として取り込むと共に、出力として前記整合度の値を発生するような画像エンコーダ。
  7. 請求項1に記載の画像エンコーダにおいて、該エンコーダが画像の時間的シーケンスを有するビデオ情報を符号化するように構成されている画像エンコーダ。
  8. 請求項1に記載の画像エンコーダにおいて、該画像エンコーダは前記第1領域を有する第1画像、前記第2領域を有する第2画像及び前記第3領域を有する第3画像を圧縮するように構成され、前記第1画像及び前記第2画像が前記第3画像に対して時間的に隣接しているような画像エンコーダ。
  9. 第1領域及び第2領域の少なくとも一方並びに第3領域を有する入力画像を符号化する方法であって、該符号化する方法が、
    − 前記第1領域の第1テクスチャパラメータ及び前記第2領域の第2テクスチャパラメータの少なくとも一方から所定の推定アルゴリズムに従って第3テクスチャパラメータを推定するステップと、
    − 前記推定された第3テクスチャパラメータに対応する発生されたテクスチャの表現を、前記入力画像の前記第3領域に存在するテクスチャの表現と所定の整合規準に従って比較すると共に、整合度の値を計算するステップと、
    − 前記第1テクスチャパラメータ及び前記第2テクスチャパラメータの少なくとも一方を圧縮されたデータストリームに符号化すると共に、前記整合度の値が所定の区間内に入る場合に前記入力画像の前記第3領域に存在する前記テクスチャを前記推定アルゴリズムの符号化情報により前記圧縮されたデータストリームに符号化するステップと、
    を有するような符号化する方法。
  10. 推定アルゴリズムの符号化情報を有する圧縮されたデータストリームを、第1領域、第2領域及び第3領域の少なくとも1つを有する画像に復号する画像デコーダであって、該画像デコーダが、
    − 前記第1領域の第1テクスチャパラメータ及び前記第2領域の第2テクスチャパラメータの少なくとも一方を前記圧縮されたデータストリームから復号するように構成されたデータデコーダと、
    − 前記推定アルゴリズムの符号化情報を前記圧縮されたデータストリームから検出する検出器と、
    − 前記第3領域の第3テクスチャパラメータを、前記第1テクスチャパラメータ及び前記第2テクスチャパラメータの少なくとも一方から前記推定アルゴリズムにより示される所定の推定アルゴリズムに従って推定する推定器と、
    を有するような画像デコーダ。
  11. 推定アルゴリズムの符号化情報を有する圧縮されたデータストリームを、第1領域、第2領域及び第3領域の少なくとも1つを有する画像に復号する方法であって、該方法が、
    − 第1テクスチャ領域の第1テクスチャパラメータ及び第2テクスチャ領域の第2テクスチャパラメータを前記圧縮されたデータストリームから復号するステップと、
    − 前記推定アルゴリズムの符号化情報を前記圧縮されたデータストリームから検出するステップと、
    − 第3テクスチャパラメータを、前記第1領域の第1テクスチャパラメータ及び前記第2領域の第2テクスチャパラメータの少なくとも一方から前記推定アルゴリズムにより示される所定の推定アルゴリズムに従って推定するステップと、
    を有するような方法。
  12. テクスチャの領域を有する少なくとも1つの画像を圧縮されたデータストリームに圧縮する画像エンコーダであって、該画像エンコーダが、
    − 少なくとも1つのオブジェクトを有する前記少なくとも1つの画像を、所定の画像圧縮規格に準拠した圧縮されたデータストリームの第1部分に符号化するように構成された前記エンコーダの第1部分と、
    − 前記テクスチャの部分を、請求項1又は請求項8に従って第2の圧縮されたデータストリームに符号化するように構成された前記エンコーダの第2部分と、
    を有し、前記第1及び第2の圧縮されたデータストリームが、前記所定の画像圧縮規格に準拠した組み合わされたデータストリームを表すようにインターリーブされる画像エンコーダ。
  13. テクスチャの領域を有する少なくとも1つの入力画像を符号化することにより得られる圧縮されたデータストリームを伝送する伝送装置であって、該伝送装置が、
    − テクスチャの領域のテクスチャを二次元自己回帰モデルのような所定のモデルによりモデル化し、該モデルのテクスチャパラメータを推定し、該モデルの情報を圧縮されたデータストリームに符号化するように構成されたテクスチャモデル化ユニットと、
    − 請求項1又は請求項12に記載された画像エンコーダであって、前記テクスチャパラメータ及び前記画像内に存在する少なくとも1つのテクスチャの表現を入力するように構成されると共に、前記テクスチャパラメータ及び推定アルゴリズムの符号化情報を前記圧縮されたデータストリームに更に符号化するように構成された画像エンコーダと、
    − 前記圧縮されたデータストリームをデータ伝送主体又は記憶主体に伝送するように構成された伝送ユニットと、
    を有するような伝送装置。
  14. 携帯装置であって、
    − 少なくとも1つの画像を捕捉するように構成されたカメラと、
    − 請求項13に記載の伝送装置であって、前記少なくとも1つの画像の符号化されたバージョンをデータ伝送主体又は記憶主体に伝送するように構成された伝送装置と、
    を有するような携帯装置。
  15. 圧縮されたデータストリームを少なくとも1つの画像に復号する画像デコーダであって、該画像デコーダが、
    − 所定の画像圧縮規格に準拠した前記圧縮されたデータストリームの第1部分を、少なくとも1つの画像オブジェクトに復号するように構成された前記デコーダの第1部分と、
    − 推定アルゴリズムの符号化情報及びテクスチャの領域のパラメータを有する前記圧縮されたデータストリームの第2部分を、請求項10に記載したように復号するよう構成された前記デコーダの第2部分と、
    を有し、前記デコーダの第2部分が、更に、前記テクスチャの領域を前記テクスチャ領域のパラメータから合成すると共に、該テクスチャの領域を前記画像オブジェクトに加算して出力画像を発生させるように構成されている画像デコーダ。
  16. 少なくとも1つの画像の符号化バージョンを有する圧縮されたデータストリームを画像伝送設備又は記憶設備から受信する受信機であって、該受信機が、
    − 前記圧縮されたデータストリームを、請求項15に記載したように少なくとも1つの出力画像に復号するよう構成されたデコーダと、
    − 前記出力画像を、組み込まれた又は接続可能な表示器に接続するよう構成された出力手段と、
    を有する受信機。
  17. 圧縮された符号化画像信号であって、
    − 画像内に存在する画像オブジェクトを、画像オブジェクト内に含まれるピクセルの群のピクセル値の線形変換に基づいて、所定の画像圧縮規格に従って符号化するデータと、
    − 前記画像内に含まれるテクスチャ領域を符号化するパラメトリックデータと、
    − 前記画像の他のテクスチャを再生するために使用可能な、前記テクスチャを符号化する前記パラメトリックデータに基づいて他のテクスチャパラメータを発生するためのモデルの符号化情報と、
    を有するような圧縮された符号化画像信号。
  18. 画像内に含まれる他のテクスチャ領域を再生するために使用可能な、前記画像内に含まれる第1テクスチャ領域を符号化するパラメトリックデータに基づいて他のテクスチャパラメータを発生するためのモデルを識別する符号化情報を有するような圧縮された符号化画像信号を伝送する方法であって、該方法が、
    − 前記画像に存在する画像オブジェクトを、該画像オブジェクト内に含まれるピクセルの群のピクセル値の線形変換に基づいて所定の画像圧縮規格に従う圧縮された符号化画像信号に符号化するステップと、
    − 前記画像内に含まれる前記第1テクスチャ領域をパラメトリックデータにより符号化するステップと、
    − 前記画像の前記他のテクスチャを再生するために利用可能な、前記パラメトリックデータに基づいて他のテクスチャパラメータを発生するための前記モデルの符号化情報を符号化するステップと、
    − 前記符号化された圧縮されたデータストリームをデータ伝送の有線又は無線の媒体を介して伝送するステップと、
    を有するような方法。
  19. コンピュータ装置によりロードされるべきコンピュータプログラムであって、テクスチャの領域を有する画像を圧縮されたデータストリームに圧縮する命令を有し、前記コンピュータ装置は処理ユニットとメモリとを有し、該コンピュータプログラムは、ロードされた後に、前記処理ユニットに、
    − 第1領域の第1テクスチャパラメータ及び第2領域の第2テクスチャパラメータの少なくとも一方から所定の推定アルゴリズムに従って第3テクスチャパラメータを推定し、
    − 前記推定された第3テクスチャパラメータに対応する発生されたテクスチャの表現を、第3領域に存在するテクスチャの表現と所定の整合規準に従って比較すると共に、整合度の値を計算し、且つ、
    − 前記第1テクスチャパラメータ及び前記第2テクスチャパラメータを圧縮されたデータストリームに符号化すると共に、前記整合度の値が所定の区間内に入る場合に前記第3領域に存在する前記テクスチャを前記推定アルゴリズムの符号化情報により前記圧縮されたデータストリームに符号化する、
    各タスクを実行する能力を付与するようなコンピュータプログラム。
  20. 請求項1に記載のエンコーダにおいて、テクスチャの領域を得るために前記画像が手動で区分されるようなエンコーダ。
  21. 請求項1に記載のエンコーダにおいて、テクスチャの領域及びパラメータを得るために前記画像が画像区分化アルゴリズムにより予め区分されるようなエンコーダ。
  22. 請求項7に記載の画像エンコーダにおいて、前記推定器は現在の画像の時点に対する差分テクスチャを該現在の入力画像の第3領域に存在するテクスチャに基づいて符号化するように構成され、前記現在の画像の第3領域に対して動き補償されたテクスチャが、少なくとも1つの前の画像における同等のテクスチャ領域、好ましくは現在の画像の第3領域に対応する逆時間的に動き補償された領域、に存在するテクスチャから発生され、前記データエンコーダが前記差分テクスチャを符号化するように構成される画像エンコーダ。
JP2008521017A 2005-07-15 2006-07-12 テクスチャの領域のための画像コーダ Ceased JP2009501479A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP05106503 2005-07-15
PCT/IB2006/052358 WO2007010446A2 (en) 2005-07-15 2006-07-12 Image coder for regions of texture

Publications (2)

Publication Number Publication Date
JP2009501479A true JP2009501479A (ja) 2009-01-15
JP2009501479A5 JP2009501479A5 (ja) 2009-09-03

Family

ID=37652283

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008521017A Ceased JP2009501479A (ja) 2005-07-15 2006-07-12 テクスチャの領域のための画像コーダ

Country Status (8)

Country Link
US (1) US20080205518A1 (ja)
EP (1) EP1908294A2 (ja)
JP (1) JP2009501479A (ja)
KR (1) KR20080040710A (ja)
CN (1) CN101223787A (ja)
BR (1) BRPI0612984A2 (ja)
RU (1) RU2008105762A (ja)
WO (1) WO2007010446A2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012244512A (ja) * 2011-05-23 2012-12-10 Seiko Epson Corp 画像処理装置および画像処理方法、印刷物
JP2015536092A (ja) * 2012-09-28 2015-12-17 ユークリッド・ディスカバリーズ・エルエルシーEuclid Discoveries,Llc 標準に準拠した、モデルベースの映像符号化及び映像復号化
US9621917B2 (en) 2014-03-10 2017-04-11 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101381600B1 (ko) * 2006-12-20 2014-04-04 삼성전자주식회사 텍스처 합성을 이용한 영상의 부호화, 복호화 방법 및 장치
JP4659005B2 (ja) * 2007-08-17 2011-03-30 日本電信電話株式会社 テクスチャ合成に基づく動画像符号化方法,復号方法,符号化装置,復号装置およびそれらのプログラムとその記録媒体
EP2051524A1 (en) * 2007-10-15 2009-04-22 Panasonic Corporation Image enhancement considering the prediction error
US8155184B2 (en) * 2008-01-16 2012-04-10 Sony Corporation Video coding system using texture analysis and synthesis in a scalable coding framework
US8204325B2 (en) * 2008-01-18 2012-06-19 Sharp Laboratories Of America, Inc. Systems and methods for texture synthesis for video coding with side information
US9459927B2 (en) * 2008-05-22 2016-10-04 Alcatel Lucent Central office based virtual personal computer
CN102547261B (zh) * 2010-12-24 2016-06-15 上海电机学院 一种分形图像编码方法
US9032467B2 (en) * 2011-08-02 2015-05-12 Google Inc. Method and mechanism for efficiently delivering visual data across a network
US8976857B2 (en) * 2011-09-23 2015-03-10 Microsoft Technology Licensing, Llc Quality-based video compression
US20140233826A1 (en) 2011-09-27 2014-08-21 Board Of Regents Of The University Of Texas System Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
US10055551B2 (en) 2013-10-10 2018-08-21 Board Of Regents Of The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multiclassifier ensemble schemes
US9238889B2 (en) 2013-10-17 2016-01-19 Honeywell International Inc. Apparatus and method for closed-loop control of creped tissue paper structure
US9303977B2 (en) 2013-10-17 2016-04-05 Honeywell International Inc. Apparatus and method for measuring caliper of creped tissue paper based on a dominant frequency of the paper and a standard deviation of diffusely reflected light including identifying a caliper measurement by using the image of the paper
US9189864B2 (en) * 2013-10-17 2015-11-17 Honeywell International Inc. Apparatus and method for characterizing texture
CN103679649B (zh) * 2013-11-18 2016-10-05 联想(北京)有限公司 一种信息处理方法和电子设备
US9842410B2 (en) * 2015-06-18 2017-12-12 Samsung Electronics Co., Ltd. Image compression and decompression with noise separation
US11645835B2 (en) 2017-08-30 2023-05-09 Board Of Regents, The University Of Texas System Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications
CN109660807A (zh) * 2017-10-10 2019-04-19 优酷网络技术(北京)有限公司 一种视频图像转码方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002520959A (ja) * 1998-07-08 2002-07-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ送信用低帯域幅符号化体系
WO2004077360A1 (de) * 2003-02-28 2004-09-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und anordnung zur videocodierung, wobei die videocodierung texturanalyse und textursynthese umfasst, sowie ein entsprechendes computerprogramm und ein entsprechendes computerlesbares speichermedium
WO2005022918A1 (en) * 2003-08-29 2005-03-10 Koninklijke Philips Electronics N.V. System and method for encoding and decoding enhancement layer data using descriptive model parameters

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5818463A (en) * 1997-02-13 1998-10-06 Rockwell Science Center, Inc. Data compression for animated three dimensional objects
US6501481B1 (en) * 1998-07-28 2002-12-31 Koninklijke Philips Electronics N.V. Attribute interpolation in 3D graphics
US7039897B2 (en) * 2002-07-12 2006-05-02 Hewlett-Packard Development Company, L.P. Modeling a target system by interpolating

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002520959A (ja) * 1998-07-08 2002-07-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ送信用低帯域幅符号化体系
WO2004077360A1 (de) * 2003-02-28 2004-09-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und anordnung zur videocodierung, wobei die videocodierung texturanalyse und textursynthese umfasst, sowie ein entsprechendes computerprogramm und ein entsprechendes computerlesbares speichermedium
WO2005022918A1 (en) * 2003-08-29 2005-03-10 Koninklijke Philips Electronics N.V. System and method for encoding and decoding enhancement layer data using descriptive model parameters

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9743078B2 (en) 2004-07-30 2017-08-22 Euclid Discoveries, Llc Standards-compliant model-based video encoding and decoding
JP2012244512A (ja) * 2011-05-23 2012-12-10 Seiko Epson Corp 画像処理装置および画像処理方法、印刷物
JP2015536092A (ja) * 2012-09-28 2015-12-17 ユークリッド・ディスカバリーズ・エルエルシーEuclid Discoveries,Llc 標準に準拠した、モデルベースの映像符号化及び映像復号化
US9621917B2 (en) 2014-03-10 2017-04-11 Euclid Discoveries, Llc Continuous block tracking for temporal prediction in video encoding
US10091507B2 (en) 2014-03-10 2018-10-02 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding
US10097851B2 (en) 2014-03-10 2018-10-09 Euclid Discoveries, Llc Perceptual optimization for model-based video encoding

Also Published As

Publication number Publication date
CN101223787A (zh) 2008-07-16
WO2007010446A3 (en) 2007-05-10
RU2008105762A (ru) 2009-08-20
BRPI0612984A2 (pt) 2016-11-29
US20080205518A1 (en) 2008-08-28
EP1908294A2 (en) 2008-04-09
KR20080040710A (ko) 2008-05-08
WO2007010446A2 (en) 2007-01-25

Similar Documents

Publication Publication Date Title
JP2009501479A (ja) テクスチャの領域のための画像コーダ
US11334969B2 (en) Point cloud geometry padding
US10015491B2 (en) In-loop block-based image reshaping in high dynamic range video coding
US10003768B2 (en) Apparatus and methods for frame interpolation based on spatial considerations
US6400763B1 (en) Compression system which re-uses prior motion vectors
CN112714923B (zh) 用于图像元数据优化的方法
JPH10327403A (ja) 圧縮条件の自動選択を伴う画像データの圧縮を最適化する方法
JP2008521324A (ja) カバーリング及びアンカバーリングを扱う動きベクトル場の投影
CN102656886A (zh) 知晓对象的视频编码策略
JP2009517950A (ja) 係数再整列を適用するエンコード方法および装置
US11076152B2 (en) Quantization step parameter for point cloud compression
Wu et al. An overview of perceptual processing for digital pictures
US20220398692A1 (en) Video conferencing based on adaptive face re-enactment and face restoration
JP2009212605A (ja) 情報処理方法、情報処理装置及びプログラム
US11895308B2 (en) Video encoding and decoding system using contextual video learning
US11265553B2 (en) Obtaining a target representation of a time sample of a signal
JPH08149461A (ja) 動画像処理装置とその方法
US20100110287A1 (en) Method and apparatus for modeling film grain noise
CN117376565B (zh) 一种hdr视频优化编码方法
JPH08149458A (ja) 動画像処理装置
US20230025378A1 (en) Task-driven machine learning-based representation and compression of point cloud geometry
US20210006791A1 (en) Forward and inverse quantization for point cloud compression using look-up tables
Banitalebi et al. A perceptual based motion compensation technique for video coding
WO2023180844A1 (en) Mesh zippering
Shi et al. A perceptual preprocess method for 3D-HEVC

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090710

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090710

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111004

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111208

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20120424