JP2009517950A - 係数再整列を適用するエンコード方法および装置 - Google Patents

Abstract

エンコード方法およびエンコーダにおいて実行される方法ステップでは、画像領域モデリング係数のセットのスキャン順が、画像領域モデリング係数の前記セットに先行する画像領域モデリング係数のセットの情報に基づいて確立され、画像領域モデリング係数の前記セットはその後スキャン順整列にかけられる。

Description

本発明は、画像領域モデリング係数の諸セットのシーケンスを、画像領域モデリング係数の再整列された（reordered）諸セットのシーケンスにエンコードする方法であって、画像領域モデリング係数のセットの画像領域モデリング係数の再整列されたセットへのエンコードがスキャン順に従って実行される方法に関する。

本発明はまた、画像領域モデリング係数の諸セットのシーケンスを、画像領域モデリング係数の再整列された諸セットのシーケンスにエンコードするエンコーダであって、画像領域モデリング係数のセットの画像領域モデリング係数の再整列されたセットへのエンコードがスキャン順に従って実行されるエンコーダにも関する。

本発明はまた、画像領域モデリング係数の再整列された諸セットのシーケンスを、画像領域モデリング係数の再構成された諸セットのシーケンスにデコードする方法であって、画像領域モデリング係数の再整列されたセットの画像領域モデリング係数の再構成されたセットへのデコードが逆スキャン順に従って実行される方法に関する。

本発明はまた、画像領域モデリング係数の再整列された諸セットのシーケンスを、画像領域モデリング係数の再構成された諸セットのシーケンスにデコードするデコーダであって、画像領域モデリング係数の再整列されたセットの画像領域モデリング係数の再構成されたセットへのデコードが逆スキャン順に従って実行されるデコーダに関する。

本発明はまた、エンコーダを含む送信機およびデコーダを含む受信機にも関する。

本発明はさらに、再整列された画像モデリング係数を有する信号および再整列された画像モデリング係数が記憶されている記憶媒体に関する。本発明はさらに、前記スキャン順を決定するために使われる、あるいはスキャン順決定器および／またはスキャン順決定において使用されるもしくはそうした使用のための、アルゴリズムまたはパラメータに係る情報を有する信号および記憶媒体にも関する。

画像情報のデータ送信（または記憶、これは本発明の枠組みではメモリへの送信と見なせる）では、データの送信の効率が非常に重要である。送信目的のために、データは送信前にできるだけ圧縮される。データの圧縮はしばしば、画像領域モデリング係数の諸セットをエンコードして、画像領域モデリング係数のエンコードされた諸セットにすることによって行われる。ここで、画像領域モデリング係数のエンコードされた諸セットは、エンコード前よりも少ないビットを含んでいるか、少なくともより少ないビットが送信されることを要求する。本発明の概念においては画像（image）とは広く解釈されるべきであるが、画像圧縮では、空間領域におけるピクセルのブロックの、DCT（離散コサイン変換）係数、ウェーブレット係数または他の符号化係数といった変換領域での係数のブロックへの変換によって、符号化された画像またはビデオ・シーケンスの低いビットレートが可能になる。ピクセル・データの、変換領域へのそのような変換それ自体は、通例、画像情報を送信するために必要とされるビット数を減らさないか、減らしたとしてもわずかである。しかしながら、変換領域での係数を量子化し、続いて変換領域係数の量子化された値（本発明の枠組み内では「画像領域モデリング係数のセット」の例をなす）を（可変長）エンコードして、画像領域モデリング係数の再整列されたセットにすることによって、著しいビット削減が可能である。今述べたこのエンコードは、量子化された変換係数のセットについてのスキャン順を使って実行される。たとえば、n×mの大きさ、しばしばn×nの大きさのブロックに配列されると考えられてもよい量子化されたDCT係数について、さまざまなスキャン順が知られている。たとえばジグザグ・スキャン、垂直スキャンおよび交互スキャンが係数をスキャンするための既知の方法である。たとえば空間領域でのピクセルのブロックがエッジをなすか否か、そしてもしそうならどの方向かといった情報に依存して、および／または、空間領域におけるスキャン順、たとえば空間領域においてインターレース・スキャンが使われているか否かに依存して、ある種のスキャン順が最も好適であるか、あるいは少なくとも他よりも好適であることが知られる。

さまざまなタイプの画像について、異なるスキャン順が選ばれるのが最良でありうることが知られている。論文“An efficient Encoding of DCT blocks with block-adaptive scanning” IEICE Trans. Commun. Vol. E-77-B, pp.1489-1494では、DCTブロックをエンコードするために若干のスキャン・パターンを使うことが提案されている。ここで、スキャン順とは、そのDCTブロックに対応する画像ブロック内での辺の方向に従ったDCT係数の典型的な分布を表す。同様の方法は、米国特許出願US2003/0007698および欧州特許出願EP0836328から知られている。これらの既知の方法では、ブロックは、該ブロック中のデータに依存して、K個のクラスのうちの一つに従って分類され、各クラスに特定のスキャン順が割り当てられている。

完全な画像について、画像全体の係数に最もよく適合するスキャン順を計算することが知られている。そのような方法は、米国特許US4,974,078に記載されている。この既知の方法では、完全な画像について、DCTブロックの各DCT係数についての平均値が計算され、平均して最大の値をもつ係数がスキャン順の最初になり、二番目に大きいDCT値はスキャン順で二番目になり、などとなるように前記完全な画像について、全DCTブロックについてのスキャン順が決定される。

しかしながら、本願の発明者らは、既知の方法、エンコーダおよびデコーダには次の問題があることを認識するに至った。

US4,974,078。画像領域モデリング係数のセット（US4,974,078ではDCTブロック）のシーケンスにおけるデータ（上の例ではDCT係数）がブロックからブロックへと変化する。たとえば、ビデオ・シーケンスの特性が係数分布に関して変化し、そのような変化は画像全体についての平均に組み込むことはできない。

US2003/0007698および欧州特許出願EP0836328：各ブロックは該ブロック中の情報に基づいて分類を与えられなければならず、よって各ブロックについて追加的な情報が送信されなければならない。

よって、上述した問題の一つまたは複数を克服するか、少なくとも軽減し、比較的効率的な変換後（post-transform）エンコードを達成することが本発明の一つの目的である。

この目的に向け、本発明に基づくエンコード方法は、当該方法に含まれるスキャン順決定では、画像領域モデリング係数のセットについて、スキャン順が、画像内で画像領域モデリング係数の前記セットに先行する画像領域モデリング係数のいくつかのセットにおける情報に基づいて決定され、画像領域モデリング係数のいくつかの先行するセットにおいて、共通の位置にある0のようなほぼ同じ所定の値を有する係数が同定され、それらの係数がグループ化されるかスキャン順において後に追いやられるよう、画像領域モデリング係数の次のセットについてのスキャン順が決定されることを特徴とする。

本発明に基づくエンコーダは、当該エンコーダがスキャン順決定器を有し、該スキャン順決定器は、画像領域モデリング係数のいくつかのセットを受領する入力を有し、スキャン順を、画像内で画像領域モデリング係数の当該セットに先行する画像領域モデリング係数のいくつかのセットに含まれる情報に基づいて決定するよう構成されており、前記スキャン順決定器が、画像領域モデリング係数のいくつかの先行するセットにおいて共通の0の値を有する係数を同定し、それらの係数がグループ化されるかスキャン順において後に追いやられるよう、スキャン順を再配列するよう構成されていることを特徴とする。

本発明に基づくデコードの方法は、当該方法に含まれる逆スキャン順決定では、画像領域モデリング係数の再整列されたセットについて、逆スキャン順が、画像内で画像領域モデリング係数の前記再整列されたセットに先行する画像領域モデリング係数のいくつかのデコード済みの再構成されたセットにおける情報に基づいて決定され、先行する再構成された画像領域モデリング係数の諸セットにおいて共通の0の値を有する係数が同定され、再整列された画像領域モデリング係数の次のセットについての逆スキャン順は、それらの係数がグループ化されるか逆スキャン順において後に追いやられるようなものであることを特徴とする。

本発明に基づくデコーダは、画像領域モデリング係数の再整列されたセットに逆スキャン順を適用する手段を有しており、画像内で画像領域モデリング係数の前記再整列されたセットに先行する画像領域モデリング係数のいくつかのデコード済みの再構成されたセットにおける情報に基づいて逆スキャン順を決定する逆スキャン順決定器を有しており、前記逆スキャン順決定器が、先行する再構成された画像領域モデリング係数のいくつかのセットにおいて共通の0の値を有する係数を同定し、次の再整列された画像領域モデリング係数のセットについて、それらの係数がグループ化されるか逆スキャン順において後に追いやられるよう、逆スキャン順を決定するよう構成されていることを特徴とする。

本発明は、以下の洞察に基づいている：
多くの場合、画像領域モデリング係数のセットは特性において、画像領域モデリング係数の一つまたは複数の先行するセットに似ている。たとえば、画像またはビデオ・シーケンスにおいて、空の一区画、エッジ（たとえば建物の）、草／木のようなテクスチャを描く画像領域モデリング係数のセットはしばしば、同様な特性をもつ。よって、画像領域モデリング係数の先行するセットの情報を使って、画像領域モデリング係数の次のセットをスキャンするのに使われるべき好適でありそうな、すなわちより高度の圧縮につながる（たとえば適応スキャンに沿ったある点で送信をカットできる）スキャン順を計算することが可能である。前記情報に依存して、画像領域モデリング係数のいくつかのセットの情報を使って、たとえば画像領域モデリング係数の以前のセットについての係数の値の統計的分布を構築し、該統計の解析に基づいて、画像領域モデリング係数の次のセットのための最良である可能性がきわめて高いスキャン順を計算することが可能である。画像領域モデリング係数の前記次のセットは次いで、画像領域モデリング係数の以前の諸セットから集められた情報を使って、計算されたスキャン順を使って、画像領域モデリング係数の再整列されたセットにエンコードされる。実際上、これはしばしばアルゴリズムによってなされる。デコーダ端では、デコーダは、エンコードされた再整列されたデータをデコードし、デコードにおいて、同じまたは類似のアルゴリズムを使って、逆スキャン順を、画像領域モデリング係数の再整列された諸セットに適用して、再構成された画像領域モデリング係数を生成する。こうして、デコーダは、エンコーダによって使われたスキャン順を、あるいは少なくともエンコーダによって使われたスキャン順に非常に近い（たとえば誤ったあるいは落とされた高周波係数に起因する違いが可視的にはほとんど発生しないという意味で）スキャン順を計算でき、そのスキャン順が逆スキャン順を提供する。よって、エンコーダによって使用された特定のスキャン順についての情報を送信されるデータと一緒に送ることは必要ではない。ひと言で言うと、画像領域モデリング係数のいくつかの先行するセットにおける情報に基づいて、画像領域モデリング係数の次のセットについての最良または良好なスキャン順の決定がなされる。スキャン順を決定するためには、統計的諸方法を含めてさまざまな方法を使用しうる。本発明はつまるところ、画像領域モデリング係数のセットのための最良または良好なスキャン順を、画像領域モデリング係数の当該セットを知る必要なしに予測するということである。次いで、画像領域モデリング係数の前記セットは、この決定された最良のスキャン順を使ってエンコードされる。エンコーダおよびデコーダ端の両方において前記決定が行われるか、あるいは少なくとも似た決定が行われる。本方法は、既知の従来技術のそれぞれとは、画像領域モデリング係数のセット自身の情報が使われないという点で異なる。これは、画像領域モデリング係数の各セットについてスキャン順の指標を送信する必要をなくし、それでいて画像領域モデリング係数の各セットに独自のスキャン順を提供するという柔軟性をもたらす。

本発明の方法はさらに、画像領域モデリング係数のいくつかの先行するセットにおいて、共通の（0の）値が見出されることを特徴とする。そのような共通の0の値は次いで、スキャン順において「後に追いやられる」（すなわち、0がしばしば現れる位置はスキャン経路の終わりである）かグループ化されるかする。0の値をグループ化するためのそのような再整列は、送信されるべきビット数を削減する。グループ化は、同じような値が隣り合うようにスキャンを行うことによって、ランレングスまたはその他の予測エンコードに対して興味あるものとなりうる。その場合、そうした値はたとえば――あたかも厳密に同じであるかのように――粗くエンコードし、（たとえば別個の）補正を付すことができる。

本発明が、さまざまなスキャン順決定方法とともに使用されうることが注目される。統計の構築と、最も好適なスキャン順の決定の微調整との間にはトレードオフがある。より多くの努力が統計的または確率計算に投入されれば、計算パワー増を代償として、スキャン順の選択はより細かく調整できる。

US2003/0007698および欧州特許出願EP0836328に記載されるような既知の技術に関し、従来技術の方法では、スキャン順についての決定は、画像領域モデリング係数の当該セット自身の情報に基づいてなされ、よって、画像領域モデリング係数の各セットについて、選ばれたスキャン順についての情報が、画像領域モデリング係数のエンコードされた再整列されたセットと一緒に送信されなければならない。そのような共同送信される情報なしでは、デコーダは、画像領域モデリング係数の再整列された諸セットに対して逆スキャン順を実行するすべをもたないであろう。というのも、画像領域モデリング係数の当該セットをエンコードして画像領域モデリング係数の再整列されたセットにするために使われたスキャン順についての情報が欠けているからである。本発明の方法では、スキャン順は、画像領域モデリング係数のいくつかの先行するセットにおけるデータに基づいて決定される。画像領域モデリング係数のこれらの先行するセットは、問題の画像領域モデリング係数の次のセットの前に、デコーダにおいてすでにデコードされており、よってデコーダは、エンコーダによって使われたスキャン順を、画像領域モデリング係数のデコード済みの再構成された以前の諸セットに基づいて決定でき、よって使用すべき逆スキャン順を決定することができ、よってさらなる情報の送信の必要なしに、画像領域モデリング係数の次のセットをデコードできる。

US2003/0007698および欧州特許出願EP0836328に記載されるような方法はまた、本来的に、固定されたスキャン順の可能な数を制限する。画像領域モデリング係数のセットが限られた数の固定されたスキャン順に従って分類される場合、ブロック中の実際のデータは、いかなる固定されたスキャン順にも本当に適合しはしない可能性がある。

いかなるデータのセットにも可能な最良のスキャン順を割り当てるためにクラスの数を増やすことは、一方ではデータを圧縮するが、他方では、どんなブロックにも、正しくデコードされうるよう、クラス番号が割り当てられ、送信されなければならないという事実を考えると、送信されるストリームのビットを増やすことになる。

本発明の方法では、この問題は起こらない。

そのような方法は、スキャン順のより細かい調整を許容する。

画像領域モデリング係数の当該セットがいくつかの係数を含んでいるある好ましい実施形態では、エンコード方法および対応するデコード方法は、前記いくつかの係数のうちの一部についてスキャン順が決定され、残りの係数については固定された（たとえばブロックの残りの部分についてジグザグの）スキャン順が使われ、それによりスキャン経路がほとんど低周波係数に応答して調整されるようにすることを特徴とする。

本発明の枠組み内では、本方法は、画像領域モデリング係数の諸セットのすべての係数について最良のスキャン順を決定するために使われることは必要ではない。しばしば、若い順序の係数と、高い順序〔高次〕、より高い順序そして最も高い順序の係数がある。ここで、前記の、より高い順序または最も高い順序の係数はしばしば、0の値をもつか、あるいは比較的重要性が低い。要求される計算パワーは、係数の総数の一部のみを考慮し、それらの係数についてはスキャン順を決定し、残りの係数については固定されたスキャン順を採用することによって軽減されうる。最良スキャン順のそこそこ良好な予測があるようにするため、十分な情報があり、特に0でない係数の十分な値がある必要がある。こうして、比較的重要な係数のみを考えることが、より早く、信頼できる統計的予測につながる。

本発明の好ましい実施形態では、本方法は、スキャン順決定のために使われたアルゴリズムに係る情報（または該アルゴリズムのパラメータ）が、画像領域モデリング係数の再整列された諸セットを含む信号に追加される。

本発明の枠組み内において、エンコーダでは、多かれ少なかれ複雑な諸方法がスキャン順決定のために使用されてもよい。スキャン順決定のために使われたアルゴリズムに係る情報を、画像領域モデリング係数の再整列された諸セットを含む信号に組み込むことによって、デコーダがガイドされる。そのような情報は、全体としての信号についてであってもよい。たとえば、使用されたアルゴリズムの種別の指標に、可能性としては考慮される画像領域モデリング係数の先行するセットの数のようなパラメータを付けたものであってもよい。最も単純な形では、前記情報は、本発明に基づく方法が使われるという指標である。ある種の信号について標準的なアルゴリズムが使用されるならば、その信号がたとえばヘッダ中に、そのような標準が使われるという情報を含んでいれば十分であろう。前記情報はまた、特定の諸点で信号中に挿入され、あるいは信号内の特定の諸点へのポインタを用いて、ある型のスキャン順決定アルゴリズムから別の型への遷移または同一のアルゴリズムの使用内でのパラメータ変化を示してもよい。あるいは前記情報はアルゴリズムの記述そのものであってもよい。

本発明はまた、画像領域モデリング係数のエンコードされた再整列された諸セットと、画像領域モデリング係数の再整列された諸セットをエンコードするために使われたスキャン順決定アルゴリズムに係る情報とを含む信号にも関する。

本発明はまた、本発明に基づくエンコードのためのスキャン順決定アルゴリズムに係る情報を含む信号にも関する。

本発明に基づく方法においてまたは本発明に基づく方法のために使用されるスキャン順決定アルゴリズムに係る情報は、本発明に基づいてエンコードされた画像領域モデリング係数の諸セットを含む信号とは別に送信または保存される信号中に含まれてもよい。要求されることは、両信号が関係を有するものと認識可能であることだけである。これはたとえば、前記信号の一方または両方に、両者が結合および／または同期されることを許容する情報を組み込むことによって行ってもよい。

本発明はまた、そのような信号が保存されている記憶媒体にも関する。記憶媒体は、たとえばCDまたはDVDのような光記憶媒体、磁気または電子記憶媒体、カメラで使われるような画像記憶媒体、ハードディスク、フロッピー（登録商標）・ディスク、データ記憶用集積回路といった、データ信号を記憶するための任意の媒体である。記憶媒体はまた、ICまたは挿入可能型スティックもしくはディスクのような一体化されたまたは挿入される部分をもつデバイス、あるいはデータが記憶される他の記憶設備であってもよい。

本発明のこれらの目的および他の目的は、以下に記載される実施形態から明白となり、これを参照することで明らかにされるであろう。

図面は縮尺通りに描かれてはいない。一般に、同一の構成要素は複数の図において同じ参照符号によって表される。

図１は、エンコード方法およびエンコーダ１を概略的に示す図である。この図および以下の図において、「画像領域モデリング係数（image region modeling coefficients）」は「モデリング係数」の語で示される。諸図面では、エンコード方法内の方法ステップおよびエンコーダのもしくはエンコーダ内の対応する部分は、簡単のため、同じ参照符号によって示される。同じことは、デコーダ方法およびデコーダを描いた図にもあてはまる。エンコード方法の方法ステップ２では、画像領域モデリング係数の諸セットがスキャン順（scan order）に従ってスキャンされ（以下ではスキャン順整列（scan ordering）と称されることもある）、画像領域モデリング係数の再整列された諸セットにエンコードされる。本発明のエンコーダは、該スキャン順整列の方法ステップを実行するためのスキャン順整列器２を有している。本発明の枠組み内で、「スキャン順整列器（scan orderer）」「決定器（determinator）」などが使われるとき、そのような語が制限された仕方で解釈されるべきではなく、他の指定がない限り、スキャン順整列、スキャン順決定などの動作を実行するためのいかなるハードウェア、ファームウェアまたはコンピュータ・プログラム・コードを含むソフトウェアをもカバーすることを注意しておく。以下では、明確の目的のため、さまざまな異なる方法ステップおよびエンコーダおよびデコーダの対応する部分または詳細が別個のブロックで表される。実際上は、それらは単一の複雑なアルゴリズムの一部であってもよい。本発明は、コンピュータにおいて使用されるとき、本発明に基づくエンコードまたはデコードの方法を実行するためのコンピュータ・コードおよびコンピュータ・プログラムにおいても、またそのようなコンピュータ・コードもしくはプログラムを含む任意の記憶媒体において具現されることを注意しておく。

エンコード方法の方法ステップ３では、スキャン順が決定される。そのような方法ステップは以下では「スキャン順決定」とも呼ばれる。本発明のエンコーダは、そのような方法ステップを実行するためのスキャン順決定器３を有する。

デコーダ４（図２参照）は、逆スキャン順整列を適用するための部分５および逆スキャン順を決定するための部分６を有する。

画像領域モデリング係数の第Nセットについてスキャン順を決定するため、図１および図２で(N−M,N−3,N−2,N−1)で示されている、画像領域モデリング係数のいくつかの先行するセットについての係数情報が、スキャン順決定器３に与えられる。この情報に基づいて、スキャン順決定器３は、画像領域モデリング係数の次の第Nセットについてのスキャン順を決定する。特定のスキャン順は、使用されるアルゴリズムから帰結するので、画像領域モデリング係数の第Nセットと一緒に特定のスキャン順を送信する必要はない。画像領域モデリング係数の次の第Nセットについてのスキャン順についてのスキャン順情報はスキャン順整列器２に通信される。デコーダ側（図２参照）では、逆の工程が行われ、画像領域モデリング係数の以前にデコード済みで、再構成された諸セット(N−M,N−3,N−2,N−1)の情報が逆スキャン順決定器６へと導かれる。逆スキャン順決定器６は、画像領域モデリング係数の次の第Nセットについて、エンコーダで使用されたスキャン順に沿うまたは匹敵する逆スキャン順を決定し、該逆スキャン順は逆スキャン順整列器５において第Nセットに適用される。

好ましくは、スキャン順決定器３と逆スキャン順決定器６とで同じアルゴリズムが使われることを注意しておく。しかしながら、本発明の最も広い枠組み内では、これは絶対必要ではない。エンコーダ１はデコーダ４より洗練されたアルゴリズムを使ってもよい。たとえば、64個の係数をもつDCTブロックが使用される画像再生について、エンコーダは64個の係数のすべてについて最良のスキャン順を決定してもよい。一方、デコーダでは、スキャン順はより少数の係数について決定されてもよい。使われるアルゴリズムが複雑なほど、コストが高くなる。エンコーダについて複雑な高品質アルゴリズムを使うことは、そのようなアルゴリズムの使用がコスト高だったとしても、意味があるかもしれない。ビットストリームがどのデバイスによって受領されるかは先験的には知られていないからである。送信されるビットストリームは、大きな高品質画像装置をもつ受信機によって受信されることもあるし、小さな低品質の画像装置をもつ受信機によって受信されることもある。使用されるアルゴリズムの相違は、再生される画像に誤差を、この場合高次の係数のいくつかにおいて、導入することがありうるが、デコーダが画像を、画像サイズおよび画像品質があまりに小さい画像表示装置（たとえば小型の携帯電話）のためにまたはそのような画像表示装置においてデコードする場合、どうせそのような導入される画像誤差は目に見えない。エンコーダで使われたアルゴリズムと同じくらい複雑なアルゴリズムを使う必要はない可能性があり、お金が節約できる。

エンコーダとデコーダとで異なるアルゴリズムを使う例は、図５および図６に関して後述する。

図３は、スキャン順の決定のための方法の一つの可能な型を示している。この例では、いくつかの固定されたスキャン順が使用される。画像領域モデリング係数の以前の諸セットのそれぞれについて、適合パラメータF1_N-M、F1_N-M+1などがスキャン順決定器３において計算される。F1_N-Mは、画像領域モデリング係数の第(N−M)セットの、ある固定されたスキャン順、この場合スキャンF1への適合パラメータを表す。F1はたとえば、まずいくつかの低周波水平係数（画像領域におけるたとえば建物を含む領域に対応する）をスキャンし、次いで中間周波係数（たとえば建物に垂れ下がっている植物またはより小さなスケールの煉瓦テクスチャがあるので多くのエネルギーを有する）にジャンプするものである。そのような適合パラメータは、たとえば、DCTブロックの係数を降順に配列し、この順序をさまざまな固定されたスキャンのスキャン順と比較し、固定されたスキャン順のそれぞれを使って、全情報のある割合または全情報が送信されるまでに（すなわち、スキャンのさまざまなカットオフのために、あるいはスキャンの一部または全体について可変長符号化の節約を考慮に入れる）、係数のうちのいくつを送信しなければならないか、もしくは何ビットを送信しなければならないかを計算することによって計算されうる。係数の絶対値の二乗は、送信されるエネルギー（そしてまたもとになる画像信号がどのくらいよくモデル化されているか）の考えられる尺度の一つである。他の適合尺度は、係数値ではなく、スキャン・パターンの類似性そのものに対して純粋に幾何学的にはたらくことができ、たとえば、現在ブロックの順序整列された係数を、ある特定のスキャン経路のものと比較し、一致するものがいくつあるかを検査し、その際可能性としては位置の小さな違いならびに要求されるビット数および／または再構成品質に対するその影響を考慮に入れる。いずれにせよ、適合尺度の結果は、ある特定のスキャン・パターンが、ある特定の以前のブロックについてどのくらいよく圧縮するか（ある品質に対してあるビット数）を決定し、その結果から、たとえばすべてのスキャン経路について以前の諸ブロックにわたる平均適合を決定できる。あるいはモードのような別の統計量、あるいは相対的に低い送信コストの代表値でもよい。非線形演算が適用され、適合をクラスに範疇分けすることもできる。

第一の例では、議論のために、適合パラメータの値Fを、適合が完璧なときには1に（規格化因子としては、たとえばシーケンスの以前の諸画像にわたってのたとえば平均期待ビット・コストの関数が使用されうる。あるいは重要なのは相対的な順序なので、単に非常に大きな値でもよい）、非常に悪いあてはめについては0に取るものとする。この第一の例では、最上列が、画像領域モデリング係数の先行する諸セットについての適合パラメータFがある第一の固定されたスキャン順について高く、他の固定されたスキャン順については適合パラメータFは低いことを示していることが見て取れる。この場合、画像領域モデリング係数の次のセットについての「最良の」固定されたスキャン順は型1である。

第二の例では、第一の型の固定されたスキャン順についての適合パラメータFは単調減少し、一方、第二の型（第二列）の固定されたスキャン順への適合が単調増加していることが見て取れる。この場合、画像領域モデリング係数の次のセットについての「最良の」固定されたスキャン順は、型2である。

図４は、良好なスキャン経路のオンザフライ決定のための異なる種類のアルゴリズムを示している。この単純化された例では、四つのブロックの係数（a1からa4、b1からb4、c1からc4、d1からd4）が平均される。すなわち、以前の諸ブロックの対応する係数を合計してその合計を4で割ることによって、平均値e1、e2、e3およびe4が計算される。

すると、e1＜e4＜e2＜e3であり、スキャン順はe1-e4-e2-e3と決定されることがわかる。

大きい係数を先にすることは、たとえば、あとのほうで短いコードで終わる0の長いランの確率を増す。異なる可変長符号化戦略のためには異なる最適な再グループ化戦略が設計できる。この情報はスキャン順整列器２に送られ、該スキャン順整列器２はこのスキャン順に基づいて画像領域モデリング係数の次の第Nセットを再整列する。スキャン順についての情報はスキャン順そのものである必要はなく、スキャン順整列器２が適用されるべきスキャン順を知ることを可能にする情報（たとえば記述番号）であれば十分であることを注意しておく。そのような情報はたとえば、変更されるべきではないあるいは特定の変更がされるべきであることの指標であることができる。

この原理はいくつの係数にも拡張されうる。あらゆる実施形態について、「完璧な適合」または「完璧な解」が見出されることが必須ではなく、スキャン順の変更は平均的に改善または利点または変化を与える必要があるだけであることを注意しておく。たとえば、画像のある領域について現在のスキャン経路を用いたエンコードが悪化するとしても、エンコーダは統計的解析に基づいて（悪いスキャン経路エンコードの比較的短い連続には以前に遭遇したことがあるため、あるいはたとえばみな空を覆う木の領域に属するかもしれないので、幾何学的にモデル化するのでもよい）、局所的にはよりよく最適化されているかもしれないスキャン経路ではなく、まだ現在のスキャン経路を使うと決定してもよい。

さらに、さらなる種類のアルゴリズムが図５に示されている。DCT係数の４つのブロックが示されている。これらのブロックはみな、ジグザグ・スキャンに基づいてスキャンされる。詳しく調べると、これら３つのブロックのそれぞれについて、スキャン順が早い係数のいくつか、すなわち第４および第７の係数が0である（または非常に小さな値をもつ）ことがわかる。これらの係数は灰色の四角で示されている。ブロックm＋1では、この集められた情報が使用される：これらの0の値の係数がスキャン順で「後に追いやられる」（そこではたとえばスキップされることができる）ようスキャン順が変更される。これは比較的単純なアルゴリズムであり、画像領域モデリング係数のあまり多くの先行するセットが解析されることは要求しない。

ここで、本発明の枠組み内において、本発明に基づく方法または装置においていくつかのアルゴリズムが使用されてもよい。ただし、それらのアルゴリズムのすべては同じ共通の発想を有する：画像領域モデリング係数のあるセットについてのスキャン順は、画像領域モデリング係数の先行する諸セットについての情報に基づいて決定されるのである。

本発明の枠組み内において、良好な局所的に適応的なスキャン経路を決定するための同一のアルゴリズムが、画像領域モデリング係数のすべてのセットについて使われることは必須ではない。図６は、ある画像についてピクセル領域における諸ブロックを概略的に示している。最初の数ブロックについては、デフォルト（default）のスキャン順が使われる。これは、明灰色および文字Dによって概略的に示されている。画像領域モデリング係数のこれらのセットについては、信頼できる統計のための十分な情報がなく、よってデフォルトのスキャン順、たとえばジグザグのスキャン順が使われる。より多くのブロックがエンコードされるにつれ、より多くの情報が利用可能になり、比較的粗い（coarse）アルゴリズム（たとえば、非常に少ないブロックにわたってのみ平均する、優勢な局所的画像構造に合わせて調整することによって真に多くの節約ができる場合にのみジグザグからの切り換えをする）が使われることを許容するようになる。そのようなアルゴリズムはあまり多くの統計情報を必要としないが、その範囲は限られている。たとえば、使われる固定されたスキャン順が少数のみであるアルゴリズム、あるいは、再整列したもののVLC符号化を使うことで必要とされるビット数が削減されるよう「後に追いやられる」またはグループ化される係数が、画像領域モデリング係数のセットの小さなシーケンスについて0である係数のみであるようなアルゴリズムでありうる。多くのブロックがエンコードされていくにつれ、信頼でき、より洗練されたアルゴリズムが使用されうるようになる。たとえば、多数の係数の平均が計算されるアルゴリズムである。図６では、これは白いブロックおよびフル・スケール（full scale）を表す文字Fによって示されている。本発明は、スキャン順整列のあとに実行される特定の型の符号化（ハフマン、算術……）に制限されないが、実行されるスキャン順整列は、スキャン順整列に先行または後続する方法ステップに依存していてもよい。

図７および図８は、本発明のさらなる実施形態を示している。

本発明は、画像領域モデリング係数のあるセットの最良のまたは少なくとも良好なスキャン順についてのそこそこ良好な予測が、画像領域モデリング係数の先行する諸セットの情報に基づいてなされうるという洞察に基づいている。しかしながら、状況によってはこれがあてはまらないことがありうる。たとえば、画像中の突然の変化に際しては、予測価値は良くても低いことがありうる。換言すると、統計が破綻することがありうるのである。好ましい諸実施形態では、エンコード方法は、リセット・スキャン順が使用され、画像領域モデリング係数のセットにフラグが割り当てられるステップを有する。デコーダでは、そのフラグがリセット逆スキャン順が使用されるようトリガーする。この例では、エンコーダおよびデコーダ側でのアルゴリズムが異なることを注意しておく。それは、エンコーダ側ではアルゴリズムは、統計情報がもはや信頼できなくなる時を検知し、画像領域モデリング係数の当該セットにフラグを割り当てる手段を有しており、デコーダ側では状況はずっと単純で、必要なのはフラグの検出だけであるという事実においてである。リセットとは、標準的なスキャン順、たとえばジグザグへのリセットであってもよいし、あるいは先行するいずれかのブロックについて使われたスキャン順へのリセットであってもよい。たとえば、空の一区画に木が存在するとき、木の領域のあとのブロックについてスキャン順を空の一区画について以前に使われたスキャン順にリセットすることが有利である（これは統計的なスタートアップ問題を回避する）。このスキャン順はすでに使われており、よって知られている。前記リセットに依存して、フラグは異なる情報を有しうる。フラグはまた、そのスキャン順が画像全体についての最良の「平均スキャン順」にされるべきであることをも示してもよい。これは、そのような最良の平均スキャン順が事前決定されるならばである。フラグはまた、関心領域、たとえば標準的なジグザグ・スキャンが使われる画像内の領域を示してもよい。フラグは、新しいスキャンを決定するために使われるアルゴリズムの型についての情報、たとえば統計的解析において考慮に入れるべき以前のブロックの数を含んでいてもよい。エンコーダは、当該局所領域のマルチパス（multi-pass）・エンコードを用いてこれを最適化する可能性を有する。

フラグを使うこと、すなわちたとえば信号中に専用の情報フィールドを設けることによって使用されるスキャン・アルゴリズムに係る情報を提供することのさらなる例は次のとおりである。

色を考慮に入れないとき、画像の異なる部分が、一見したところ、表面的に同じ型のテクスチャを有することがありうる。たとえば、植物も顔も、ある種の粗さおよび線構造を有することがある。しかしながら、植物のどの領域も他の任意の領域と同じに見えるので、植物の画像の再生における多くの誤差に、見る者はほとんど気づかないであろう。しかしながら、人間の知覚において顔認識および現実的な顔画像再生は植物や空の精確な再生よりもずっと重要なので、顔、特になじみのある顔の再生では、同じ型の誤差でも非常にわずらわしいことがありうる。肌色認識方式を使って、画像のうち人間の顔（または少なくとも人間の一部）を描写する部分を認識することが可能である。本発明の概念の範囲内で、たとえば人間の顔についてのある好ましい実施形態では、異なるアルゴリズムが使われるか、使われるアルゴリズムについての異なるパラメータが使われる。人間の顔が描写されていることを知るには、少数のブロックが十分でありうる。すると、スキャン順決定器が人間の顔に好適なアルゴリズムに切り換え、エンコードされた信号にアルゴリズムのそのような切り換えを示すフラグを入れる。デコーダは肌色認識方式を実行するためのプログラム・コードを有していなくても、このフラグによってデコーダは、アルゴリズムの同じまたは匹敵する切り換えを実装することが可能となる。ある数のブロック後、人間の顔から背景、たとえば空への画像遷移が存在することがある。肌色認識方式を使って、エンコーダは次のブロックすなわち後続ブロックがもはや人間の顔の一部をなしていないことを認識し、スキャン順決定器は異なる種類のアルゴリズムに、たとえば以前に使われていた元のアルゴリズムに戻り、デコーダに同じ切り換えをすることを許容するフラグが信号中に挿入される。同じことは、たとえば空または草の画像部分についてなされることができる。このように、画像または一連の画像について、異なるアルゴリズムが使用されるかアルゴリズムについての異なるパラメータが使用される好ましい実施形態の範囲内では、アルゴリズムまたはそのパラメータは領域依存でもよく、それにより諸実施形態において、領域に依存する異なるアルゴリズムまたはパラメータを使って、たとえば画像の中央領域と端領域の間の区別がされる。および／または、アルゴリズムまたはそのパラメータは、顔、草、空などについて上で説明したようにオブジェクト内容依存でもよい。切り換えは、完全に異なる型のアルゴリズムへの切り換えであってもよいし、つまるところ使用されているアルゴリズムの範囲内でのパラメータの変更であってもよい。

図９は、ある画像内の画像ブロックのシーケンスを示している。図６との違いは、いくつかのブロックにわたって標準的なスキャン順Dが使用されたのち、粗いアルゴリズムCが使用され、次いでフル・スケール・アルゴリズムFが使用されたところで、紙面のほぼ中央にあるブロックについて、スキャン順が、この場合は標準的なスキャン順に、リセットまたは変更されるということである。

図１０および図１１は、この図ではブロックと呼ばれる、画像領域モデリング係数の先行するセットの情報を、画像領域モデリング係数の次のセットのスキャン順の決定のために使うさまざまな方法を示している。

図１０に与えられるような単純な構成では、第Nブロックに先行するN−Mまでの全ブロックの情報が使われる。しかしながら、情報収集を、空間的および／または時間的に近隣するブロックに対応する先行ブロックに制限することがより効率的であることがある。たとえば、動き検出を使って、統計的解析のためのブロックの量を、一貫して動いている諸オブジェクトの大きさに適応的に決定してもよい。図１１は、第Nブロックについて、いくつかの近隣ブロックの情報が使われることを示している。
いくぶんより精巧な方法の例が図１２に概略的に示されている。スキャン順決定において使用される先行ブロックに重み因子が与えられてもよい。ここで、重みはそのブロックがスキャン順が決定されるブロックから遠いほど小さくなる。

例として：
計数a_ijをもつDCTブロックについて、第Nブロックについての平均係数〈a_ij〉は、先行するM個のブロックにわたって平均を取ることによって計算される
〈a_ij〉＝1/M Σa_ij
ここで、和はM個すべての先行ブロックにわたって取る。

図１１では、両端を含めてN−M1からN−M2まで、N−M3からN−M4までおよびN−M5からN−1までの間のブロックにわたって取られる。

図１２では、平均は
〈a_ij〉＝1/(M1−M2＋1＋M3−M4＋1＋M5) ΣW_Ba_ij
のように取られる。ここで、W_Bは問題のブロックの重み因子を表す。この重み因子は、ブロックが第Nブロックから遠いほど小さくなる。もちろん、重み因子は、和がN−MからN−1までの間の全ブロックにわたって取られる公式において導入されることもできる。重み因子は、ブロック間の時間的または位置的な距離にのみ関係していてもよいが、代替的または追加的に、ブロックの内容自体に依存することもできる。前方または後方に傾いているエッジを有するブロックでは、そのことはブロックの内容から推定でき、傾いているエッジの線内の後続ブロックについて、傾いているエッジから離れたブロックについてよりも高い重み因子を与えられることができる。たとえ前記次のブロックまでの距離が同じであるとしてもである。本発明に基づく方法内で、以前の諸画像の諸ブロックが使用され、そのような諸ブロックについて動き指標が利用可能であるとき、そのような動き指標は好ましい諸実施形態では、計算に含められるべきブロックおよび／または計算に含められるべきブロックの重みを決定する際に使われる。

一般に、何らかの種類の統計的解析が実行される。上記の例では、平均が計算されるが、本発明のより広い概念の範囲内で、他の型の統計的解析が使用されてもよい。

たとえば、係数はより高い値およびより低い値のいくつかのクラスにグループ化されてもよい。ある以前のブロックから次のブロックにかけてのスキャン経路の変動は、あるクラス内に留まっている限りは不変と分類されてもよい。スキャン経路変動は、以前のスキャン経路（晩期部分）の何個の係数が現在のスキャン経路のある部分内に追加的にはいるか（ビット・オーバーヘッドにつながる）に基づいて、好ましくはこれらの係数の重要性、たとえばその次数（power）も考慮に入れて、判断されてもよい。統計は、視覚心理学的な原理を考慮に入れて制約されてもよい。たとえば、スキャン経路における変動（またはスキャン経路につながる一連のセットにわたる係数の統計的測度）は、「ノイズ様の」高周波数ではなく低周波数において生起する場合、よりきつく（severely）重み付けされてもよい。

諸領域および／または諸ブロック内のテクスチャ属性を考慮に入れるために、係数はいくつかのクラスターにグループ化されてもよい。同様に、局所的な係数ランドスケープが決定される前に、モデリングの不十分さを考慮に入れるために、係数は近隣の係数にわたって拡散されてもよい。

特定的／一般的好適さを判断するために、種々のスキャン経路の符号化効率についての分散が考慮に入れられてもよい。

また、いくつかの係数値（ある種の諸位置での）またはいくつかのミスマッチ・スキャンが突出として統計において度外視されてもよい。あるいはその経路への影響（これはコスト積分として定式化されうる）が解析などされてもよい。

図１３および図１４は、画像情報をエンコードおよびデコードするエンコーダおよびデコーダを示している。部分９において、空間領域における入力ピクセル・ブロックは、変換領域の係数のブロックに、この例ではDCT（離散コサイン変換）係数に、変換される。ただし、本発明の枠組み内で、他の型の係数（ウェーブレット、アダマール）を使うこともできる。部分１０において、DCT係数は量子化され、その後、スキャン順整列される。スキャン順決定器は、量子化されたDCT係数を受領し、第Nブロックについてスキャン順を計算する。スキャン順整列ステップでは、量子化されたDCT係数は順序整列され、たとえばビットストリームの形の信号が、部分１１におけるVCL（可変長符号化［Variable Length Coding］）動作によって与えられる。デコーダ（図１３参照）では逆の工程がなされる。デコーダは逆DCT動作（部分１２）、逆量子化（部分１３）および逆VLC動作（部分１４）を実行する。実験によれば、重み因子なしでN−Mを512として（これは画像中の5〜6ラインに対応する）平均係数が計算された比較的単純なモデルを使って、同一のスキャン順を使うことに比べ、本発明を使ってのビットレートの削減における、8ないし15%のオーダーの利得が可能であることが示されている。図１３および図１４も、好ましい実施形態のある側面を示している。スキャン順決定器で使用されるアルゴリズムについての情報がビットストリームに、たとえばヘッダ中に加えられる。該情報は使用されるアルゴリズムの型のような一般的情報でもパラメータ情報でもよい。この情報は、デコーダ側で拾われ、デコーダ側でのスキャン順決定器において使用される。概略的に、これは図１３および図１４においてそれぞれ、部分３から発して部分６に向かう点線および該点線のわきのフラグという語で示されている。

図１５は、スキャン順整列のパラメータが、該スキャン順整列に先行する諸方法ステップに依存する本発明の実施形態を示している。画像取り込み手段、たとえばカメラ１６を有する装置において、設定手段１５が設けられる。たとえばカメラの設定を制御できるダイヤルまたはつまみである。記録装置の出力ストリームが、エンコーダ１の入力である。記録装置の設定は、たとえば線１７を介して、スキャン順決定器３に通信される。たとえば、第Nブロックについてのスキャン順の決定において考慮されるべき以前のブロックの数Mは、前記カメラの異なる設定については異なっていてもよい。カメラ１６の低解像度の粗い設定について、スキャン順決定器３において使用されるべき画像領域モデリング係数の先行するセットの数Mは、比較的小さな数に設定されてもよい。一方、カメラ１６の高解像度の設定のためには、数Mは大きく設定されてもよい。したがって、スキャン順決定において使用されるパラメータは、画像領域モデリング係数の考慮に入れられるべき先行セットの数、画像領域モデリング係数の考慮に入れられるべき先行セットの選択、画像領域モデリング係数の考慮に入れられるべき先行セットに割り当てられる重み因子、あるいはより一般に、スキャン順決定または決定器において使用される単数または複数のアルゴリズムのためのパラメータおよび／または画像領域モデリング係数の先行セットを考慮に入れる仕方、たとえばスキャン順決定または決定器において使用される単数または複数のアルゴリズムといったものであるが、これらのパラメータは、好ましい実施形態では、スキャン順決定ステップまたはスキャン順決定器に先行する方法ステップもしくは装置の、またはそのような方法ステップもしくは装置のための、パラメータまたは設定に依存する。図１５に示される好ましい例では、スキャン順決定は、画像取り込み装置または画像取り込みプロセスの特性に依存する。図１５はまた、VLC１１からスキャン順決定器３に行く線によって、好ましい実施形態では、スキャン順決定およびスキャン順決定器３において使用されるパラメータおよび／またはアルゴリズムが、そのスキャン順整列に後続するステップまたは装置のパラメータまたは特性に依存することを示している。画像領域モデリング係数のスキャン順再整列されたセットを符号化するためには、種々の符号化技法が使用されうる。諸図面において概略的に示されているVLC（可変長符号化）は一つのそのような技法であるが、他の技法も当業者には知られている。スキャン順についての「最良の選択」は、スキャン順整列２に続いて使用される特定の方法またはそのような特定の方法で使用されるパラメータに依存しうる。

本発明の概念の範囲内で、「エンコード」および「エンコーダ」はそれぞれ、諸図面において概略的に示されている本発明のステップが執り行われる方法および装置を含む。同様に、「デコード」および「デコーダ」はそれぞれ、諸図面において概略的に示されている本発明のステップが執り行われる方法および装置を含む。よって、本発明の概念の範囲内で、トランスコーダがエンコーダの個別的な型であってもよく、トランスコードがエンコードの一つの型であってもよい。図１６は、ビットストリーム中で概略的にABCによって示されている係数をトランスコードするためのトランスコーダ１８を示している。これは、たとえば、標準的または既知のビットストリーム・フォーマットであってもよい。これらの係数は逆VLC方法ステップ（時にVLD、可変長デコード［variable length decoding］とも呼ばれる）にかけられる。これが画像領域モデリング係数の諸セットを与える。画像領域モデリング係数の該諸セットは、次いで本発明に基づくエンコードにかけられて、画像領域モデリング係数の再整列された諸セットにされる。画像領域モデリング係数のこの再整列された諸セットが次いでVLC、可変長符号化ステップにかけられて、係数ACBとなり、これが次いで元の係数ABCの代わりにビットストリームに挿入される。こうして、データのトランスコードが行われた。使用されたスキャン順決定についての情報が、ビットストリームのヘッダに入れられてもよい。

本発明に基づく方法またはエンコーダによってエンコードされたビットストリームをトランスコードして、標準的なビットストリーム・フォーマットまたは他の任意のフォーマットにするトランスコーダが本発明の枠組み内である。

図１７は、そのようなトランスコーダ‐デコーダ１９を示している。元のビットストリームは係数ACBを含んでいる。これは本発明に基づくスキャン順整列にかけられたものである。ヘッダが、以前の諸図面と同様に図１７で語「フラグ」によって概略的に示されている、使用されるアルゴリズムおよび／または該アルゴリズムにおいて使用されるパラメータについての情報を含んでいる。これが逆スキャン順決定において使用される。本トランスコーダ‐デコーダは、ヘッダ中の前記情報を使って、ビットストリームの係数を通常の順序整列された係数ABCにトランスコードし、係数ACBを置き換えるようにそれをビットストリーム中に挿入する。図１７はまた、さらにもう一つの可能性も概略的に示している。ビットを節約するため、フラグはヘッダから除去されてもよい。通常の順序整列された係数を提供したのち、それらの係数はエンコーダ１′に導かれ、本発明に基づくエンコード・ステップにかけられるが、そのエンコード・ステップは異なる特性をもつもので、たとえば、異なるアルゴリズムを使う、あるいは同じアルゴリズムを異なるパラメータたとえば新しい展開（development）とともに使う。これにより、本発明に基づくスキャン順決定器の旧バージョンを使って作られたビットストリームが、本発明に基づくスキャン順決定器の新バージョンを使って作られたビットストリームに置き換えられる。その場合、トランスコーダ１９はデコーダ‐エンコーダの組み合わせをなす。そのような実施形態では、スキャン順決定器の旧バージョンに関係するビットストリームにおけるフラグは除去され、スキャン順決定器の新バージョンに関係するフラグで置き換えられる。

本発明に基づくエンコーダは、送信機および受信機のデコーダ部分の一部であることができる。

本発明の概念の範囲内の送信機は、これに制約されるわけではないが、画像取り込み装置および画像取り込み装置によって取り込まれたデータをエンコードするための本発明に基づくエンコーダを有する装置を含む。

画像取り込み装置はカメラであってもよく、カメラを有する本発明に基づく装置はたとえば、写真カメラ、カメラ付き携帯電話、監視カメラ、カメラ装置付きコンピュータ、カメラ付きの可搬型ノートブックなどといった画像記録装置である。カメラは、白黒またはカラーまたは赤外線で、スチール画像またはビデオ・シーケンスを撮影するために好適であるか使用されるかしうる。画像取り込み装置を有する他の装置はたとえば、写真スキャナ、バーコード・スキャナ、虹彩スキャナおよび指紋スキャナといったスキャナである。図１５は、カメラを有する本発明に基づく装置を示している。

本発明の概念の範囲内の送信機は、DVDレコーダーのような情報を記録する装置あるいはある種のカメラのようにメモリー・カードまたはスティックまたは他の記憶媒体に信号を書き込む装置をも含む。エンコードされるべき信号は、送信機内の装置によって作成されることができ、送信機は入力信号を受領するための入力（アンテナまたはケーブル入力のような）を有しうる。前記装置はエンコーダを含み、該エンコーダが出力信号を生成し、その出力信号が、該信号を記憶媒体に書き込む書き込み器に与えられる。記憶媒体は別の装置に交換されることができ、それにより信号が送信されるので、本発明の概念の範囲内ではこれは送信機である。

本発明の概念の範囲内の受信機は、これに制約されるわけではないが、本発明に基づくデコーダおよびデコードされた信号の画像を再生または解析する画像再生または画像解析装置を有する装置を含む。

そのような装置はテレビおよびディスプレイ装置を与えられたコンピュータ、モニタをもつ監視システム、バーコード・スキャナ・データ解析装置、虹彩認識システム、指紋認識装置およびシステム、ディスプレイ画面をもつ携帯電話、ディスプレイ画面をもつモバイル・パーソナル・アシスタンス・デバイス、ディスプレイ画面をもつラップトップを含む。

本発明の概念の範囲内の受信機は、CDプレーヤーおよびDVDプレーヤーのような装置、一般に無線であれケーブルからであれCD、メモリー・スティック、DVDなどといった記憶媒体からであれ信号を受領し、該信号をデコードし、該信号をテレビ、モニタなどといった画像ディスプレイに送ることができる装置をも含む。

装置の機能上の能力に依存して、同一の装置がエンコーダ、デコーダ、受信機、送信機およびトランスコーダまたはそれらの任意の組み合わせであることができる。カメラおよびディスプレイ画面付きの携帯電話はたとえば、画像取り込み装置を有するが、表示装置をも有しており、他によって撮影された画像を受信し、そのような画像をまた他の装置に送信することができる。顔を認識するプログラムを有していてもよい。

本願において開示されるアルゴリズム的なコンポーネントは、実際上は、（完全にまたは部分的に）ハードウェア（たとえば特定用途向けICのパーツ）、あるいは特殊なデジタル信号プロセッサまたは汎用プロセッサ上で走るソフトウェアなどとして実現されてもよい。

本発明は、本発明に基づく方法または装置のための任意のコンピュータ・プログラム・プロダクトにおいても具現される。コンピュータ・プログラム・プロダクトのもとでは、プロセッサ――汎用または特殊目的――が、一連のローディング・ステップ（これは、中間言語および最終的なプロセッサ言語への翻訳のような中間的な変換ステップを含んでいてもよい）後に、該プロセッサへのコマンドを取得し、本発明の特徴的な機能のいずれかを実行することを可能にするコマンドの集合の任意の物理的な実現が理解されるべきである。特に、コンピュータ・プログラム・プロダクトは、たとえばディスクまたはテープのような担体上のデータ、メモリに存在するデータ、有線であれ無線であれネットワーク接続を通じて伝わるデータまたは紙の上のプログラム・コードとして実現されてもよい。プログラム・コードを別として、前記プログラムのために要求される特徴的なデータもコンピュータ・プログラム・プロダクトとして具現されてもよい。

データ入力ステップおよび出力ステップのような本方法の動作のために要求されるステップのいくつかは、前記コンピュータ・プログラム・プロダクトにおいて記述されているのではなく、プロセッサの機能にすでに存在していてもよい。

まとめると、本発明は次のように記述されうる：
エンコード方法およびエンコーダにおいて実行される方法ステップでは、画像領域モデリング係数のセットのスキャン順が、画像領域モデリング係数の前記セットに先行する画像領域モデリング係数のセットの情報に基づいて確立され、画像領域モデリング係数の前記セットはその後スキャン順整列にかけられる。

上記の諸実施形態は、本発明を限定するものではなく例解するものであり、当業者は付属の請求項の範囲から外れることなく数多くの代替的な実施形態を設計できるであろうことを注意しておくべきである。

たとえば、画像は部分画像に分割され、本発明が画像全体ではなく一つまたは複数の部分画像に適用されてもよい。

たとえば、例において、DCT（離散コサイン変換）係数が言及されている。DCTはピクセル領域のデータを変換領域に変換する一つの方法である。ピクセル領域のデータの変換領域への他の型の変換（ウェーブレット、ワール［Wahl］など）が知られており、本発明の概念の範囲内で使用できる。また、そのような変換は、n×m、通例はn×nの大きさのブロックに対してなされるのが通例であるが、該変換は、そのような変換に好適な任意の変換関数を使って、任意の形またはオブジェクトに対してなされてもよい。

請求項において、括弧内に入れた参照符号があったとしても、その請求項を限定するものと解釈してはならない。

前記エンコード方法および／または前記デコード方法は、画像処理方法における方法ステップをなしていてもよく、該画像処理方法は、エンコードおよび／またはデコードのステップの前または後にステップを含んでいてもよい。たとえば、画像処理は、画像が再生および印刷されるステップを含んでいてもよい。使用されるパラメータまたはアルゴリズムは、その画像のさらなる画像処理に際して意図される使用に依存してもよい。たとえば、画像再生装置またはプリンタの品質が既知であれば、これがアルゴリズムまたはアルゴリズムのためのパラメータの選択に取り入れられ、画像データのさらなる処理に際して要求される品質に合わせてアルゴリズムを調整してもよい。

「有する」の語は請求項において挙げられている以外の要素またはステップの存在を排除しない。本発明は、いくつかの相異なる要素を有するハードウェアによって、および好適にプログラムされたコンピュータによって実装されることができる。いくつかの手段を列挙している装置請求項においては、これらの手段のいくつかは同一のハードウェア項目によって具現されることができる。本発明は、上記のようなさまざまな異なる好ましい実施形態の特徴のいかなる組み合わせによって実装されてもよい。特に、エンコード方法またはエンコーダに関係して図示または特許請求されるいかなる実施態様も、特に断りがされるか不可能であるかしない限り、デコード方法またはデコーダのための対応する実施態様をもち、そのようなデコード方法およびデコーダが本発明の実施態様であり、ここに特許請求されることを述べておく。

本発明の基本原理を示す図である。 本発明の基本原理を示す図である。 スキャン順決定のための方法のための選択を概略的に図解する図である。 スキャン順決定のための方法のための選択を概略的に図解する図である。 スキャン順決定のための方法のための選択を概略的に図解する図である。 スキャン順決定のための方法のための選択を概略的に図解する図である。 本発明に基づく方法および装置のさらなる実施形態を示す図である。 スキャン順決定のための方法のための選択を示す図である。 スキャン順決定のための方法のための選択を示す図である。 スキャン順決定のための方法のための選択を示す図である。 スキャン順決定のための方法のためのさまざまな選択を示す図である。 スキャン順決定のための諸方法のためのさまざまな選択を示す図である。 ピクセルをエンコードする、エンコード方法およびエンコーダを示す図である。 ピクセルをデコードする、デコード方法およびデコーダを示す図である。 本発明のさらなる実施形態を示す図である。 トランスコードの形の本発明のエンコーダを示す図である。 トランスコードの形の本発明のデコーダを示す図である。

Claims (40)

1. 画像領域モデリング係数のセットのシーケンスを再整列された画像領域モデリング係数のセットのシーケンスにエンコードする方法であって、画像領域モデリング係数のセットの再整列された画像領域モデリング係数のセットへのエンコードが、あるスキャン順に従って実行され、当該方法がスキャン順決定を含んでおり、該スキャン順決定では、画像領域モデリング係数のセットについて、スキャン順が、画像領域モデリング係数の当該セットに先行する画像領域モデリング係数のいくつかのセットに含まれる情報に基づいて決定される、方法。
2. 請求項１記載のエンコード方法であって、いくつかのスキャン順が事前設定されており、画像領域モデリング係数の当該セットに先行する画像領域モデリング係数のいくつかのセットに含まれる情報に基づいて、事前設定されているスキャン順のそれぞれについて、画像領域モデリング係数の先行する諸セットの適合パラメータが計算され、画像領域モデリング係数の次のセットは、計算された適合パラメータに依存して、事前設定された固定されたスキャン順のうちの一つに従ってエンコードされる、方法。
3. 請求項１または２に記載のエンコード方法であって、スキャン順が、画像領域モデリング係数の先行する諸セットの情報の統計的解析に基づいて計算される、方法。
4. 請求項１ないし３のうちいずれか一項記載のエンコード方法であって、画像領域モデリング係数のいくつかの先行するセットにおいて、共通の位置にある0のようなほぼ同じ所定の値を有する係数が同定され、それらの係数がグループ化されるかスキャン順において後に追いやられるよう、画像領域モデリング係数の次のセットについてのスキャン順が決定される、方法。
5. 請求項１ないし４のうちいずれか一項記載のエンコード方法であって、画像領域モデリング係数の当該セットがいくつかの係数を含んでおり、前記いくつかの係数のうちの一部についてスキャン順が決定され、残りの係数については固定されたスキャン順が使われる、方法。
6. 請求項１ないし５のうちいずれか一項記載のエンコード方法であって、ある画像または一連の画像について、スキャン順序の決定のために、異なる諸アルゴリズムが使用されるまたはあるアルゴリズムについて異なる諸パラメータが使用される、方法。
7. 請求項６記載のエンコード方法であって、アルゴリズムまたはスキャン順決定で使われたアルゴリズムへの変更もしくは該アルゴリズムの変更に係る情報が、再整列された画像領域モデリング係数のセットを含む信号に加えられる、方法。
8. 請求項１ないし６のうちいずれか一項記載の方法によってエンコードされた、再整列された画像領域モデリング係数の諸セットを含む信号であって、前記再整列された画像領域モデリング係数の諸セットをエンコードするために使われた単数または複数のスキャン順決定アルゴリズムに係る情報をさらに含む信号。
9. 請求項１ないし６のうちいずれか一項記載の方法によってエンコードされた、再整列された画像領域モデリング係数の諸セットが記憶されている記憶媒体であって、前記記憶されている再整列された画像領域モデリング係数の諸セットをエンコードするために使われた単数または複数のスキャン順決定アルゴリズムに係る情報がさらに記憶されている、記憶媒体。
10. 請求項１ないし６のうちいずれか一項記載のエンコード方法によってエンコードされた、再整列された画像領域モデリング係数の諸セットを含む信号をエンコードするために使われた単数または複数のスキャン順決定アルゴリズムに係る情報を含む信号。
11. 請求項１ないし６のうちいずれか一項記載のエンコード方法によって信号をエンコードするための単数または複数のスキャン順決定アルゴリズムに係る情報を含む信号が記憶されている記憶媒体。
12. 当該プログラムがコンピュータ上で実行されたときに請求項１ないし６のうちいずれかに従ってスキャン順決定を実行するための、コンピュータ可読媒体上に記憶されたプログラム・コード・セクションを含むコンピュータ・プログラムであって、前記プログラム・コード・セクションは、請求項１ないし６のうちいずれかに従ってスキャン順決定を実行するためのアルゴリズムを含む、コンピュータ・プログラム。
13. 当該プログラムがコンピュータ上で実行されたときに請求項１ないし６のうちいずれかに従ってスキャン順決定を実行するためのプログラム・コード・セクションを含む信号であって、前記プログラム・コード・セクションは、請求項１ないし６のうちいずれかに従ってスキャン順決定を実行するためのアルゴリズムを含む、信号。
14. 画像領域モデリング係数のセットのシーケンスを再整列された画像領域モデリング係数のセットのシーケンスにエンコードするエンコーダであって、画像領域モデリング係数のセットの再整列された画像領域モデリング係数のセットへのエンコードが、あるスキャン順に従って実行され、当該エンコーダがスキャン順決定器を有し、該スキャン順決定器は、画像領域モデリング係数のセットのための入力を有し、該スキャン順決定器は、画像領域モデリング係数のセットについて、スキャン順を、画像領域モデリング係数の当該セットに先行する画像領域モデリング係数のいくつかのセットに含まれる情報に基づいて決定するよう構成されている、エンコーダ。
15. 請求項１４記載のエンコーダであって、いくつかのスキャン順が事前設定されており、前記スキャン順決定器が、画像領域モデリング係数の当該セットに先行する画像領域モデリング係数のいくつかのセットに含まれる情報に基づいて、事前設定されているスキャン順のそれぞれについて、画像領域モデリング係数の先行する諸セットの適合パラメータを計算し、画像領域モデリング係数の当該セットをエンコードするために、計算された適合パラメータに依存して、事前設定された固定されたスキャン順のうちの一つを選択するよう構成されている、エンコーダ。
16. 請求項１４または１５に記載のエンコーダであって、前記スキャン順決定器が、スキャン順を、画像領域モデリング係数の先行する諸セットの情報の統計的解析に基づいて決定するよう構成されている、エンコーダ。
17. 請求項１４ないし１６のうちいずれか一項記載のエンコーダであって、前記スキャン順決定器が、画像領域モデリング係数のいくつかの先行するセットにおいて共通の0の値を有する係数を同定し、それらの係数がグループ化されるかスキャン順において後に追いやられるよう、スキャン順を再配列するよう構成されている、エンコーダ。
18. 請求項１４ないし１７のうちいずれか一項記載のエンコーダであって、画像領域モデリング係数の当該セットがいくつかの係数を含んでおり、前記スキャン順決定器が、前記いくつかの係数のうちの一部についてスキャン順を決定するよう構成されており、残りの係数については固定されたスキャン順が使われる、エンコーダ。
19. 請求項１４ないし１８のうちいずれか一項記載のエンコーダであって、前記スキャン順決定器が、ある画像または一連の画像について、異なる諸アルゴリズムまたはあるアルゴリズムについて異なる諸パラメータを使用するよう構成されている、エンコーダ。
20. 請求項１９記載のエンコーダであって、当該エンコーダが、スキャン順整列で使われたアルゴリズムに係る情報を、再整列された画像領域モデリング係数のセットを含む信号に加えるよう構成されている、エンコーダ。
21. 請求項１４ないし２０のうちいずれか一項記載のエンコーダを有する送信機。
22. 画像取り込み装置を有する、請求項２１記載の送信機。
23. 情報を記録する装置を有する、請求項２１または２２に記載の送信機。
24. 再整列された画像領域モデリング係数のセットのシーケンスを再構成された画像領域モデリング係数のセットのシーケンスにデコードする方法であって、再整列された画像領域モデリング係数のセットの再構成された画像領域モデリング係数のセットへのデコードが、ある逆スキャン順に従って実行され、当該方法が逆スキャン順決定を含んでおり、該逆スキャン順決定では、再整列された画像領域モデリング係数のセットについて、逆スキャン順が、再整列された画像領域モデリング係数の当該セットに先行する、デコードされ、再構成された画像領域モデリング係数のいくつかのセットにおける情報に基づいて決定される、方法。
25. 請求項２４記載のデコード方法であって、いくつかのスキャン順が事前設定されており、前記逆スキャン順決定が、前記事前設定されているスキャン順のそれぞれについて、先行する再構成された画像領域モデリング係数の諸セットの適合パラメータを計算し、次の再整列された画像領域モデリング係数のセットをデコードするために、計算された適合パラメータに依存して、事前設定された固定されたスキャン順のうちの一つを選択する、方法。
26. 請求項２４または２５に記載のデコード方法であって、逆スキャン順が、先行する再構成された画像領域モデリング係数の諸セットの統計的解析に基づいて計算される、方法。
27. 請求項２４ないし２６のうちいずれか一項記載のデコード方法であって、先行する再構成された画像領域モデリング係数の諸セットにおいて共通の0の値を有する係数が同定され、再整列された画像領域モデリング係数の次のセットについての逆スキャン順は、それらの係数がグループ化されるか逆スキャン順において後に追いやられるようなものである、方法。
28. 請求項２４ないし２７のうちいずれか一項記載のデコード方法であって、画像領域モデリング係数の当該セットがいくつかの係数を含んでおり、前記いくつかの係数のうちの一部について逆スキャン順が決定され、残りの係数については固定されたスキャン順が使われる、方法。
29. 請求項２４ないし２８のうちいずれか一項記載のデコード方法であって、一連の画像のうちのある画像について、逆スキャン順序の決定のために、異なる諸アルゴリズムまたは異なる諸パラメータが使用される、方法。
30. 当該プログラムがコンピュータ上で実行されたときに請求項２４ないし２９のうちいずれかに従って逆スキャン順決定を実行するための、コンピュータ可読媒体上に記憶されたプログラム・コード・セクションを含むコンピュータ・プログラムであって、前記プログラム・コード・セクションは、請求項２４ないし２９のうちいずれかに従って逆スキャン順決定を実行するためのアルゴリズムを含む、コンピュータ・プログラム。
31. 当該プログラムがコンピュータ上で実行されたときに請求項２４ないし２９のうちいずれかに従って逆スキャン順決定を実行するためのプログラム・コード・セクションを含む信号であって、前記プログラム・コード・セクションは、請求項２４ないし２９のうちいずれかに従って逆スキャン順決定を実行するためのアルゴリズムを含む、信号。
32. 再整列された画像領域モデリング係数のセットのシーケンスを再構成された画像領域モデリング係数のセットのシーケンスにデコードするデコーダであって、再整列された画像領域モデリング係数のセットの再構成された画像領域モデリング係数のセットへのデコードが、ある逆スキャン順に従って実行され、当該デコーダが、再整列された画像領域モデリング係数のセットに逆スキャン順を適用する手段を有しており、前記再整列された画像領域モデリング係数のセットに先行するデコード済みで再構成された画像領域モデリング係数のいくつかのセットにおける情報に基づいて逆スキャン順を決定する逆スキャン順決定器を有する、デコーダ。
33. 請求項３２記載のデコーダであって、前記逆スキャン順決定器が、事前設定されているスキャン順のそれぞれについて、先行する再構成された画像領域モデリング係数の諸セットの適合パラメータを計算し、次の再整列された画像領域モデリング係数のセットをデコードするために、計算された適合パラメータに依存して、事前設定された固定されたスキャン順のうちの一つを選択するよう構成されている、デコーダ。
34. 請求項３２または３３に記載のデコーダであって、前記逆スキャン順決定器が、逆スキャン順を、先行する再構成された画像領域モデリング係数の諸セットの統計的解析に基づいて計算するよう構成されている、デコーダ。
35. 請求項３２ないし３４のうちいずれか一項記載のデコーダであって、前記逆スキャン順決定器が、先行する再構成された画像領域モデリング係数のいくつかのセットにおいて共通の0の値を有する係数を同定し、次の再整列された画像領域モデリング係数のセットについて、それらの係数がグループ化されるか逆スキャン順において後に追いやられるよう、逆スキャン順を決定するよう構成されている、デコーダ。
36. 請求項３２ないし３５のうちいずれか一項記載のデコーダであって、画像領域モデリング係数の当該セットがいくつかの係数を含んでおり、前記逆スキャン順決定器が、前記いくつかの係数のうちの一部について逆スキャン順を決定するよう構成されており、残りの係数については固定されたスキャン順が使われる、デコーダ。
37. 請求項３２ないし３６のうちいずれか一項記載のデコーダであって、前記逆スキャン順決定器が、一連の画像のうちのある画像について、逆スキャン順の決定のために異なる諸アルゴリズムまたは異なる諸パラメータが使用されるよう構成されている、デコーダ。
38. 請求項３２ないし３７のうちいずれか一項記載のデコーダを有する受信機。
39. 画像再生装置を有する、請求項３８記載の受信機。
40. 請求項１ないし６のうちいずれか一項記載のエンコード方法および／または請求項２４ないし２９のうちいずれか一項記載のデコード方法が使用される、画像処理方法。

Images