JP2002315004A - 画像符号化方法及び装置、画像復号方法及び装置、並びに画像処理システム - Google Patents

画像符号化方法及び装置、画像復号方法及び装置、並びに画像処理システム

Info

Publication number
JP2002315004A
JP2002315004A JP2001110663A JP2001110663A JP2002315004A JP 2002315004 A JP2002315004 A JP 2002315004A JP 2001110663 A JP2001110663 A JP 2001110663A JP 2001110663 A JP2001110663 A JP 2001110663A JP 2002315004 A JP2002315004 A JP 2002315004A
Authority
JP
Japan
Prior art keywords
image
waveform
information
encoding
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001110663A
Other languages
English (en)
Inventor
Shunichi Sekiguchi
俊一 関口
Minoru Eito
稔 栄藤
Mitsuru Kobayashi
充 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2001110663A priority Critical patent/JP2002315004A/ja
Priority to PCT/JP2002/003498 priority patent/WO2002085029A1/ja
Priority to CN02801141A priority patent/CN1461564A/zh
Priority to EP02714540A priority patent/EP1379089A4/en
Priority to US10/297,488 priority patent/US7245659B2/en
Publication of JP2002315004A publication Critical patent/JP2002315004A/ja
Priority to US11/529,423 priority patent/US20070025628A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/008—Vector quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/97—Matching pursuit coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】課題は、パターンマッチングの技術を利用し、
符号化データをコンパクトに表現することによって符号
化効率を改善する方法を提供することである。 【解決手段】上記課題は、画像信号の部分信号波形に類
似する波形ベクトルを予め定められた波形ベクトル群か
ら探索するパターンマッチングステップと、上記探索さ
れた波形ベクトルを特定する番号と、類似度情報と、上
記部分信号波形の画像内位置とを所定の符号化規則に従
って圧縮符号化する波形パターン符号化ステップとを有
し、上記波形ベクトルを特定する情報、上記類似度情報
及び上記部分信号波形の画像内位置の組合せから画像信
号についての符号化を行い、上記部分信号波形の画像内
位置をその画像信号の所定部分領域内での位置情報に置
き換えて符号化する画像符号化方法にて達成される。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、動画像、静止画像
などの原画像を符号化し、その符号化された画像を復号
する画像符号化・復号方法に係り、詳しくは、MPEGシリ
ーズ等の標準化されたアルゴリズムで用いられるDCT
（離散コサイン変換）を用いることなく、画像の符号化
及びその復号を可能にする画像符号化方法及び装置及び
画像復号方法及び装置に関する。
【０００２】また、本発明は、そのような画像符号化方
法及び画像復号方法に従って画像の符号化、復号を行う
画像処理システムに関する。
【０００３】
【従来の技術】ITU-T H.26xやMPEGシリーズなどの従来
の標準動画像符号化方式では、空間冗長度削減手段とし
てDCT(離散コサイン変換)が用いらる。通常、画像信号
を空間周波数領域で表現すると、低周波領域に電力が集
中するという性質がある。DCTは、画像信号空間の8x8画
素から構成されるブロックを直交変換することによっ
て、原画の画像信号を所定の基底の組み合わせに分解
し、構成基底の係数値を得るものである。DCTの特徴
は、係数値、つまり周波数成分の偏りの度合を高めるこ
とができるという点にある。特に低域により集中度が高
くなること、その部分が視覚的に重要であることなどか
ら、適応ビット配分を行うことにより圧縮効率を向上さ
せることができる。
【０００４】一方、極めて低いビットレートで符号化を
行う場合は、量子化が粗くなり係数値の再現性が悪くな
るため、本来の信号表現にとって重要な基底が復元でき
なくなるなどの問題が発生する。また、DCTは8x8画像ブ
ロックに閉じた処理を行うため、量子化の歪みがブロッ
ク境界に顕著に現れる傾向がある。これがブロック歪み
を発生させ、視覚的に本来の信号に含まれていない成分
が画像上に現れるため、非常に目立つノイズとして検知
されてしまう。
【０００５】ステップエッジのような急激な輝度変化や
ランダムパターンのある波形部分では、忠実な波形再現
には多数の基底が必要となる。一般に高周波成分にあた
る係数は視覚の重みを考慮して低域係数よりも軽視され
た符号割当が行われるため、波形再現に際して重要な高
域係数が失われることになる。この係数損失はDCT固有
の悪質なノイズを引き起こし、画質劣化要因となる。
【０００６】
【発明が解決しようとする課題】このような高圧縮時の
DCTの抱える問題を解決するため、ブロック構造に依存
しない符号表現を用いる手法が提案されている。例え
ば、 “Very Low Bit-rateVideo Coding Based on Matc
hing Pursuits”（R.Neff et.al, IEEE Trans. onCSVT,
vol.7, pp.158-171, Feb.1997）には、「Matching Pur
suits」（パターンマッチング）という技術を用いて、
フレーム間予測誤差信号を過完備(over-complete)な基
底セットの線形和の形に展開することが開示される。こ
のような技術では、DCTよりも豊富な基底（基本信号パ
ターン）を利用でき、また、基底表現の単位がブロック
に限定されないことから、低レート符号化時にDCT符号
化よりも視覚的に優れた映像品質が得られる。
【０００７】しかし、一方で、「Matching Pursuits」
符号化の優れた性能を活かすためには符号化側での基底
の探索演算規模などの実装負荷の問題が指摘されてい
る。また、探索される基底の位置は画像平面上の任意の
画素位置になりうるため、効率的な位置情報表現を行う
必要がある。また、階層符号化の形態を用いて符号化ひ
ずみを解消するアプローチもある。MPEG-2におけるSNR
スケーラビリティモード(ISO/IEC 13818-2)や、MPEG-4
FineGranularity Scalability(FGS)モード(ISO/IEC JTC
1/SC29/WG11/N3908)などがこれに該当する。以下、これ
ら符号化ひずみ成分の補完に着目した階層符号化を「品
質階層符号化」と呼ぶ。これら品質階層符号化の技術
は、ベースレイヤの符号化映像で生じる符号化ひずみ
を、別途エンハンスレイヤとして符号化し、復号側で、
各レイヤを復号して得られる信号を加算することにより
復号画像品質を向上させるという技術である。この品質
階層符号化の技術は、エンハンスレイヤの符号化データ
分だけ必要な伝送ビット量が増加するが、一方で、ベー
スレイヤだけでも映像の意味内容は伝送できるため、イ
ンターネットや無線回線など伝送条件(ビットレート、
パケット廃棄率、誤り率など)が時々刻々変動するネッ
トワークに柔軟に追随する映像伝送に有利であるという
利点はある。
【０００８】MPEG-4 FGSでは、エンハンスレイヤの符号
化誤差信号にさらにDCTを施し、その係数をビットプレ
ーンごとに伝送する方式となっているため、復号側では
その名の通り、じわじわと品質が向上するような映像伝
送が可能となる。しかし、エンハンスレイヤはやはりDC
TおよびDCTブロック構造に依存しており、ベースレイヤ
の符号化ひずみ成分に現れるブロック依存の歪み成分が
高次のDCT係数を発生させるため、エンハンスレイヤに
あまり情報を使えない条件では符号化効率がよくない。
【０００９】そこで、本発明の第一の課題は、上述した
パターンマッチングの技術を利用し、そのパターンマッ
チングにおける符号化データをコンパクトに表現するこ
とによってトータルの符号化効率を改善する方法及び装
置を提供することである。
【００１０】また、本発明の第二の課題は、そのような
方法に従って画像の符号化、復号を行う画像処理システ
ムを提供することである。
【００１１】
【課題を解決するための手段】上記第一の課題を解決す
るため、本発明は、請求項１に記載されるように、画像
信号の部分信号波形に類似する波形ベクトルを予め定め
られた波形ベクトル群から探索するパターンマッチング
ステップと、上記探索された波形ベクトルを特定する情
報と、上記部分信号波形とその探索された波形ベクトル
との類似の度合いを表す類似度情報と、上記特定された
部分信号波形の画像内位置とを所定の符号化規則に従っ
て圧縮符号化する波形パターン符号化ステップとを有
し、上記波形ベクトルを特定する情報、上記類似度情報
及び上記部分信号波形の画像内位置の組合せから画像信
号についての符号化を行う画像符号化方法であって、上
記部分信号波形の画像内位置をその画像信号の所定部分
領域内での位置情報に置き換えて符号化するように構成
される。
【００１２】このような画像符号化方法では、波形ベク
トルと最も類似する部分信号波形の画像内位置が、その
画像信号の所定部分領域内での位置情報に置き換えられ
て符号化されるので、その位置をよりコンパクトに表現
できるようになる。そして、この方法に従った画像符号
化処理及び対応する画像復号処理において、その画像信
号における各所定部分領域の処理の順番についての取り
決めがなされることにより、そのように表現される位置
にて上記画像信号内での位置を特定することができる。
【００１３】上記画像信号は、動画像、静止画像を表す
信号（情報）であっても、また、それらの情報の符号
化、復号の処理に有用となる任意の付加情報であっても
よい。
【００１４】上記部分信号波形と波形ベクトルとの類似
の度合いを表す類似度情報は、それらの類似の度合いを
表すパラメータであれば特に限定されず、例えば、請求
項２に記載されるように部分信号波形と波形ベクトルと
の内積値を用いることができる。
【００１５】また、本発明は、請求項２に記載されるよ
うに、画像信号の部分信号波形との内積に基づいて予め
定められた波形ベクトル群から波形ベクトルを探索する
パターンマッチングステップと、上記探索された波形ベ
クトルを特定する情報と、上記部分信号波形とその探索
された波形ベクトルとの内積値と、上記部分信号波形の
画像内位置とを所定の符号化規則に従って符号化する波
形パターン符号化ステップとを有し、上記パターンマッ
チングステップと波形パターン符号化ステップとを所定
の条件が満たされるまで繰り返し実行する過程で、上記
波形パターン符号化ステップにて符号化情報が得られる
毎に、その符号化情報から得られる部分信号波形の復元
波形を前記画像信号から差し引いてパターンマッチング
ステップに供すべき画像信号とし、上記所定の条件が満
たされるまでに上記波形パターン符号化ステップにて得
られた符号化情報により画像信号についての符号化を行
う画像符号化方法であって、上記部分信号波形の画像内
位置をその画像信号の所定部分領域内での位置情報に置
き換えて符号化するように構成される。
【００１６】部分信号波形と波形ベクトルとのマッチン
グを行う点を減らして処理量を低減できるという観点か
ら、本発明は、請求項３に記載されるように、上記画像
符号化方法において、上記パターンマッチングステップ
では、所定画素単位に表される画像信号の縦横２の所定
べき数の画素を単位として符号化対象となる部分信号波
形の画像内位置を特定するように構成することができ
る。
【００１７】通常の画像の性質を考慮して位置を比較的
コンパクトに符号化することができるという観点から本
発明は、請求項４に記載されるように、上記各画像符号
化方法において、上記所定部分領域が位置を特定するた
めの単位ブロックに分割されると共に、該所定部分領域
が包含関係に基づいて一または複数の単位ブロックにて
構成されるブロック領域にて階層化され、各階層の各ブ
ロック領域に波形パターン群のいずれかの波形パターン
との内積値を得るための部分信号波形の位置が含まれる
か否かを表すビット情報の連なりに基づいて上記部分信
号波形の画像内位置を符号化するように構成することが
できる。
【００１８】符号化される画像信号は、請求項５に記載
されるように、符号化すべき原画像を表す情報であって
も、請求項６に記載されるように、符号化すべき原画像
に対して動き補償予測を行って得られる予測残差画像を
表す情報であっても、請求項７に記載されるように、原
画像を所定の符号化規則に従って符号化する際に生じる
符号化歪み信号であっても、請求項８に記載されるよう
に、原画像を所定の符号化規則に従って符号化する際に
生じる符号化歪み信号に対して動き補償予測を行って得
られる予測残差画像を表す情報であってもよい。
【００１９】また、上記画像符号化方法に従って処理を
行う画像符号化装置は、請求項１１に記載されるよう
に、画像信号の部分信号波形に類似する波形ベクトルを
予め定められた波形ベクトル群から探索するパターンマ
ッチング手段と、上記探索された波形ベクトルを特定す
る情報と、上記部分信号波形とその探索された波形ベク
トルとの類似の度合いを表す類似度情報と、上記特定さ
れた部分波形信号の画像内位置とを所定の符号化規則に
従って圧縮符号化する波形パターン符号化手段とを有
し、上記波形ベクトルを特定する情報、上記類似度情報
及び上記部分信号波形の画像内位置の組合せから画像信
号の符号化を行う画像符号化装置であって、上記波形パ
ターン符号化手段は、上記部分信号波形の画像内位置を
その画像信号の所定部分領域内での位置情報に置き換え
て符号化するように構成される。
【００２０】同様に、その画像符号化装置は、請求項１
２に記載されるように、画像信号の部分信号波形との内
積に基づいて、予め定められた波形ベクトル群から波形
ベクトルを探索するパターンマッチング手段と、上記探
索された波形ベクトルを特定する情報と、上記部分信号
波形とその探索された波形ベクトルとの内積値と、上記
部分信号波形の画像内位置とを所定の符号化規則に従っ
て符号化する波形パターン符号化ステップ手段とを有
し、上記パターンマッチング手段と波形パターン符号化
手段での処理を所定の条件が満たされるまで繰り返し実
行する過程で、上記波形パターン符号化手段にて符号化
情報が得られる毎に、その符号化情報から得られる部分
信号波形の復元波形を前記画像信号から差し引いてパタ
ーンマッチング手段に供すべき画像信号とし、上記所定
の条件が満たされるまでに上記波形パターン符号化手段
にて得られた符号化情報により画像信号についての符号
化を行う画像符号化装置であって、上記波形パターン符
号化手段は、上記部分信号波形の画像内位置をその画像
信号の所定部分領域内での位置情報に置き換えて符号化
するように構成される。
【００２１】上記第一の課題を解決するため、本発明
は、請求項１５に記載されるように、第一の画像信号を
所定部分領域単位に第一の符号化規則に従って圧縮符号
化する第一の画像符号化ステップと、第二の画像信号を
その部分信号波形毎に第二の符号化規則に従って圧縮符
号化する第二の画像符号化ステップとを有し、上記第一
の画像符号化ステップに供される第一の画像信号と、該
第一の画像符号化ステップにて得られる符号化情報に局
所復号処理を施して得られた信号との誤差信号に対応し
た信号を上記第二の画像符号化ステップに供される第二
の画像信号とし、上記第二の画像符号化ステップは、そ
の第二の画像信号の部分信号波形に類似する波形ベクト
ルを予め定めた波形ベクトル群から探索するパターンマ
ッチングステップと、上記探索された波形ベクトルを特
定する情報と、上記部分信号波形とその探索された波形
ベクトルとの類似度合いを表す類似度情報と、上記特定
された部分波形信号の第二の画像内位置を上記第二の符
号化規則に従って圧縮符号化する波形パターン符号化ス
テップとを有し、上記波形ベクトルを特定する情報、上
記類似度情報及び上記部分信号波形の第二の画像内位置
の組合せから第二の画像信号についての符号化を行う画
像符号化方法であって、上記パターンマッチングステッ
プでは、上記第一の画像符号化ステップでの符号化に用
いられるパラメータ及び上記部分波形信号の第二の画像
内位置に基づいて、使用すべき波形ベクトル群を複数の
波形ベクトル群から選択するように構成される。
【００２２】このような画像符号化方法では、上記第一
の画像符号化ステップでの符号化に用いられるパラメー
タ及び上記部分波形信号の第二の画像内位置に基づい
て、使用すべき波形ベクトル群を複数の波形ベクトル群
から選択しているので、符号化すべき各画像の性質に応
じた波形ベクトル群を選択できるようになる。その結
果、画像信号をより適切に符号化することができるよう
になる。
【００２３】上記第二の画像情報は、該第一の画像符号
化ステップにて得られる符号化情報に局所復号処理を施
して得られた信号との誤差信号に対応した信号となって
いることから、その第二の画像情報は、第一の画像符号
化ステップに供する第一の画像情報を原画像とした場
合、その原画像の符号化に際して生ずる符号化歪み信号
に対応したもとなる。この場合、この画像符号化方法で
は、原画像を符号化する際に余分な付加情報となる上記
誤差信号に対応した信号をより効率的に符号化すること
が可能となる。
【００２４】また、また上記部分信号波形と波形ベクト
ルとの間の類似度情報は、それらの内積値に代えること
が可能である。その場合、本発明は、請求項１６に記載
されるように、第一の画像信号を所定部分領域単位に第
一の符号化規則に従って圧縮符号化する第一の画像符号
化ステップと、第二の画像信号をその部分信号波形毎に
第二の符号化規則に従って圧縮符号化する第二の画像符
号化ステップとを有し、上記第一の画像符号化ステップ
に供される第一の画像信号と、該第一の画像符号化ステ
ップにて得られる符号化情報に局所復号処理を施して得
られた信号との誤差信号に対応した信号を上記第二の画
像符号化ステップに供される第二の画像信号とし、上記
第二の画像符号化ステップは、その第二の画像信号の部
分信号波形との内積に基づいて予め定めた波形ベクトル
群から波形パターンを探索するパターンマッチングステ
ップと、上記探索された波形ベクトルを特定する情報
と、上記部分信号波形とその探索された波形ベクトルと
の内積値と、上記部分信号波形の第二の画像内位置を上
記第二の符号化規則に従って圧縮符号化する波形パター
ン符号化ステップとを有し、上記パターンマッチングス
テップと波形パターン符号化ステップとを所定の条件が
満たされるまで繰り返し実行する課程で、上記波形パタ
ーン符号化ステップにて符号化情報が得られる毎に、そ
の符号化情報から得られる部分信号波形の復元波形を前
記第二の画像信号から差し引いてパターンマッチングス
テップに供すべき第二の画像信号とし、上記所定の条件
が満たされるまで波形パターン符号化ステップにて得ら
れた符号化情報により第二の画像信号についての符号化
を行う画像符号化方法であって、上記パターンマッチン
グステップでは、上記第一の画像符号化ステップでの符
号化に用いられるパラメータ及び上記部分波形信号の第
二の画像内位置に基づいて、使用すべき波形ベクトル群
を複数の波形ベクトル群から選択するように構成され
る。
【００２５】また、上記のような画像符号化方法に従っ
て処理を行う画像符号化装置は、請求項２３に記載され
るように、第一の画像信号を所定部分領域単位に第一の
符号化規則に従って圧縮符号化する第一の画像符号化手
段と、第二の画像信号をその部分信号波形毎に第二の符
号化規則に従って圧縮符号化する第二の画像符号化手段
とを有し、上記第一の画像符号化手段に供される第一の
画像信号と、該第一の画像符号化手段にて得られる符号
化情報に局所復号処理を施して得られた信号との誤差信
号に対応した信号を上記第二の画像符号化手段に供する
第二の画像信号とし、上記第二の画像符号化手段は、そ
の第二の画像信号の部分信号波形に類似する波形ベクト
ルを予め定めた波形ベクトル群から探索するパターンマ
ッチング手段と、上記探索された波形ベクトルを特定す
る情報と、上記部分信号波形とその探索された波形ベク
トルとの類似度合いを表す類似度情報と、上記特定され
た部分波形信号の第二の画像内位置を上記第二の符号化
規則に従って圧縮符号化する波形パターン符号化手段と
を有し、上記波形ベクトルを特定する情報、上記類似度
情報及び上記部分信号波形の第二の画像内位置の組合せ
から第二の画像信号についての符号化を行うようにした
画像符号化装置であって、上記パターンマッチング手段
は、複数の波形ベクトル群と、上記第一の画像符号化手
段での符号化に用いられるパラメータ及び上記部分波形
信号の第二の画像内位置に基づいて、使用すべき波形ベ
クトル群を上記複数の波形ベクトル群から選択する波形
ベクトル群選択手段とを有するように構成される。
【００２６】また、同様に本発明は、請求項２４に記載
されるように、第一の画像信号を所定部分領域単位に第
一の符号化規則に従って圧縮符号化する第一の画像符号
化手段と、第二の画像信号をその部分信号波形毎に第二
の符号化規則に従って圧縮符号化する第二の画像符号化
手段とを有し、上記第一の画像符号化手段に供される第
一の画像信号と、該第一の画像符号化手段にて得られる
符号化情報に局所復号処理を施して得られた信号との誤
差信号に対応した信号を上記第二の画像符号化ステップ
に供する第二の画像信号とし、上記第二の画像符号化手
段は、その第二の画像信号の部分信号波形との内積に基
づいて予め定めた波形ベクトル群から波形パターンを探
索するパターンマッチングス手段と、上記探索された波
形ベクトルを特定する情報と、上記部分信号波形とその
探索された波形ベクトルとの内積値と、上記部分信号波
形の第二の画像内位置を上記第二の符号化規則に従って
圧縮符号化する波形パターン符号化手段とを有し、上記
パターンマッチング手段と波形パターン符号化手段での
処理を所定の条件が満たされるまで繰り返し実行する課
程で、上記波形パターン符号化手段にて符号化情報が得
られる毎に、その符号化情報から得られる部分信号波形
の復元波形を前記第二の画像信号から差し引いてパター
ンマッチング手段に供すべき第二の画像信号とし、上記
所定の条件が満たされるまでに波形パターン符号化手段
にて得られた符号化情報により第二の画像信号について
の符号化を行う画像符号化装置であって、上記パターン
マッチング手段は、複数の波形パターン群と、上記第一
の画像符号化手段での符号化に用いられるパラメータ及
び上記部分波形信号の第二の画像内位置に基づいて、使
用すべき波形ベクトル群を上記複数の波形ベクトル群か
ら選択する波形パターン選択手段とを有するように構成
される。
【００２７】上述した第一の課題を解決するため、本発
明は、請求項２９に記載されるように、圧縮画像情報を
入力し、その圧縮画像情報を所定部分領域毎に伸長して
画像情報を再生する画像復号方法において、所定部分領
域の圧縮画像情報を所定の復号規則に従って復号して、
波形ベクトルを特定する情報、その波形ベクトルと部分
信号波形との類似の度合いを表す類似度情報及びその部
分信号波形の画像内位置を得、予め定められた波形ベク
トル群から上記波形ベクトルを特定する情報にて特定さ
れる当該波形ベクトル、上記類似度情報及び部分信号波
形の画像内位置に基づいて画像情報を再生し、上記圧縮
画像情報を復号する際に、上記圧縮画像情報に含まれる
上記部分信号波形の画像内位置を所定の部分画像領域単
位の情報として復号するように構成される。
【００２８】また、本発明は、請求項３０に記載される
ように、圧縮画像情報を入力し、その圧縮画像情報を所
定部分領域毎に伸長して画像情報を再生する画像復号方
法において、所定部分領域の圧縮画像情報を所定の復号
規則に従って復号して、波形ベクトルを特定する情報、
その波形ベクトルと部分信号波形との内積値及びその部
分信号波形の画像内位置とを得、予め定めた波形ベクト
ル群から上記波形ベクトルを特定する情報にて特定され
る当該波形ベクトル、上記内積値及び部分信号波形の画
像内位置に基づいて画像情報を再生し、上記圧縮画像情
報を復号する際に、当該圧縮画像情報に含まれる上記部
分信号波形の画像内位置を所定の部分画像領域単位の情
報として復号するように構成される。
【００２９】これらのような画像復号方法では、部分信
号波形の画像内位置をその画像信号における所定部分領
域内の位置情報に変換して符号化している場合に、その
部分信号波形の画像内位置を再現することができる。
【００３０】上述したような画像復号方法に従って処理
を行う画像復号装置は、請求項３８に記載されるよう
に、圧縮画像情報を入力し、その圧縮画像情報を所定部
分領域毎に伸長して画像情報を再生する画像復号装置に
おいて、所定部分領域の圧縮画像情報を所定の復号規則
に従って復号して、波形ベクトルを特定する情報、その
波形ベクトルと部分信号波形との類似の度合いを表す類
似度情報及びその部分信号波形の画像内位置とを得る第
一の手段と、予め定めた波形ベクトル群から上記波形ベ
クトルを特定する情報にて特定される当該波形ベクト
ル、上記類似度情報及び部分信号波形の画像内位置に基
づいて画像情報を再生する第二の手段とを有し、上記第
一の手段は、上記圧縮画像情報を復号する際に、上記圧
縮画像情報に含まれる上記部分信号波形の画像内位置を
所定の部分画像領域単位の情報として復号するように構
成される。
【００３１】また、本発明は、請求項３９に記載される
ように、圧縮画像情報を入力し、その圧縮画像情報を所
定部分領域毎に伸長して画像情報を再生する画像復号装
置において、所定部分領域の圧縮画像情報を所定の復号
規則に従って復号して、波形ベクトルを特定する情報、
その波形ベクトルと部分信号波形との内積値及びその部
分信号波形の画像内位置とを得る第一の手段と、予め定
めた波形ベクトル群から上記波形ベクトルを特定する情
報にて特定される当該波形ベクトル、上記内積値及び部
分信号波形の画像内位置に基づいて画像情報を再生する
第二の手段とを有し、上記第一の手段は、上記圧縮画像
情報を復号する際に、当該圧縮画像情報に含まれる上記
部分信号波形の画像内位置を所定の部分画像領域単位の
情報として復号するように構成される。
【００３２】更に、本発明に係る画像復号方法は、請求
項４７に記載されるように、第一の圧縮画像を入力し、
その第一の圧縮画像情報を所定部分領域毎に伸長して第
一の画像情報を再生する第一の画像復号ステップと、第
二の圧縮画像を入力し、その第二の圧縮画像情報を所定
の部分信号波形毎に伸長して第二の画像情報を再生する
第二の画像復号ステップと、上記第一の画像情報と上記
第二の画像情報とを合成して出力画像情報を得る画像合
成ステップとを有する画像復号方法において、上記第二
の画像復号ステップでは、上記第二の圧縮画像情報を所
定の復号規則に従って、波形ベクトルを特定する情報、
その波形ベクトルと部分信号波形との類似の度合いを表
す類似度情報及びその部分信号波形の画像内位置を得、
上記第一の画像復号ステップに供される第一の圧縮画像
情報に含まれる符号化のパラメータと、上記部分信号波
形の画像内位置とに基づいて、使用すべき波形ベクトル
群を予め定めた複数の波形ベクトル群から選択し、その
選択された波形ベクトル群において上記波形ベクトルを
特定する情報にて特定される当該波形ベクトル、上記類
似度情報及び部分信号波形の画像内位置に基づいて上記
第二の画像情報を生成するように構成される。
【００３３】また、本発明は、請求項４８に記載される
ように、第一の圧縮画像を入力し、その第一の圧縮画像
情報を所定部分領域毎に伸長して第一の画像情報を再生
する第一の画像復号ステップと、第二の圧縮画像を入力
し、その第二の圧縮画像情報を所定の部分信号波形毎に
伸長して第二の画像情報を再生する第二の画像復号ステ
ップと、上記第一の画像情報と上記第二の画像情報とを
合成して出力画像情報を得る画像合成ステップとを有す
る画像復号方法において、上記第二の画像復号ステップ
では、上記第二の圧縮画像情報を所定の復号規則に従っ
て、波形ベクトルを特定する情報、その波形ベクトルと
部分信号波形との内積値及びその部分信号波形の画像内
位置を得、上記第一の画像復号ステップに供される第一
の圧縮画像情報に含まれる符号化のパラメータと、上記
部分信号波形の画像内位置とに基づいて、使用すべき波
形ベクトル群を予め定めた複数の波形ベクトル群から選
択し、その選択された波形ベクトル群において上記波形
ベクトルを特定する情報にて特定される当該波形ベクト
ル、上記内積値及び部分信号波形の画像内位置に基づい
て上記第二の画像情報を生成するように構成される。
【００３４】上述した画像復号方法に従って処理を行う
画像復号装置は、請求項５５に記載されるように、第一
の圧縮画像を入力し、その第一の圧縮画像情報を所定部
分領域毎に伸長して第一の画像情報を再生する第一の画
像復号手段と、第二の圧縮画像を入力し、その第二の圧
縮画像情報を所定の部分信号波形毎に伸長して第二の画
像情報を再生する第二の画像復号手段と、上記第一の画
像情報と上記第二の画像情報とを合成して出力画像情報
を得る画像合成手段とを有する画像復号装置において、
上記第二の画像復号手段は、予め定めた複数の波形ベク
トル群と、上記第二の圧縮画像情報を所定の復号規則に
従って、波形ベクトルを特定する情報、その波形ベクト
ルと部分信号波形との類似の度合いを表す類似度情報及
びその部分信号波形の画像内位置を得る第一の手段と、
上記第一の画像復号ステップに供される第一の圧縮画像
情報に含まれる符号化のパラメータと、上記部分信号波
形の画像内位置とに基づいて、使用すべき波形ベクトル
群を上記複数の波形ベクトル群から選択する第二の手段
と、その選択された波形ベクトル群において上記波形ベ
クトルを特定する情報にて特定される当該波形ベクト
ル、上記類似度情報及び部分信号波形の画像内位置に基
づいて上記第二の画像情報を生成する第三の手段とを有
するように構成される。
【００３５】また、本発明は、請求項５６に記載される
ように、第一の圧縮画像を入力し、その第一の圧縮画像
情報を所定部分領域毎に伸長して第一の画像情報を再生
する第一の画像復号手段と、第二の圧縮画像を入力し、
その第二の圧縮画像情報を所定の部分信号波形毎に伸長
して第二の画像情報を再生する第二の画像復号手段と、
上記第一の画像情報と上記第二の画像情報とを合成して
出力画像情報を得る画像合成手段とを有する画像復号装
置において、上記第二の画像復号手段は、予め定めた複
数の波形ベクトル群と、上記第二の圧縮画像情報を所定
の復号規則に従って、波形ベクトルを特定する情報、そ
の波形ベクトルと部分信号波形との内積値及びその部分
信号波形の画像内位置を得る第一の手段と、上記第一の
画像復号手段に供される第一の圧縮画像情報に含まれる
符号化のパラメータと、上記部分信号波形の画像内位置
とに基づいて、使用すべき波形ベクトル群を上記複数の
波形ベクトル群から選択する第二の手段と、その選択さ
れた波形ベクトル群において上記波形ベクトルを特定す
る情報にて特定される当該波形ベクトル、上記内積値及
び部分信号波形の画像内位置に基づいて上記第二の画像
情報を生成する第三の手段とを有するように構成され
る。
【００３６】上記第二の課題を解決するため、本発明
は、請求項６３及び６４に記載されるように、上述した
画像符号化装置及び画像復号装置の組合せにより画像処
理システムが構成される。
【００３７】
【発明の実施の形態】以下、本発明の実施の形態を図面
を用いて説明する。
【００３８】本発明の第一の実施の形態に係る画像符号
化装置および画像復号装置は、例えば、図１に示すよう
に構成される。この例では、「Matching Pursuits」
（パターンマッチング）の技術を用いて単一階層映像符
号化及び復号が行われる。
【００３９】図１において、画像符号化装置２は、符号
化制御部４、レートバッファ５、予測信号生成部７−
１、フレームメモリ１１−１、動き検出部１２、基底探
索部１３、基底コードブック１４−１、基底符号化部１
５、基底局所復号部１６及びフィルタ２３−１を有して
いる。また、この画像符号化装置２と所定の回線３０で
接続される画像復号装置１７は、復号制御部１８、受信
バッファ１９、基底復号部２１、表示バッファ２２、フ
ィルタ２３−２、フレームメモリ１１−２、予測信号生
成部７−１及び基底コードブック１４−１を有してい
る。
【００４０】以下、上記のような構成となる画像復号装
置２の動作（符号化手順）について説明する。
【００４１】上記画像符号化装置２は、映像信号１の各
フレームを単位として圧縮符号化を実施する。また、各
フレームは輝度信号16画素×16ライン分の領域からなる
マクロブロックの単位で符号化され、その符号化情報が
ビットストリーム３に多重され、回線３０を介して画像
復号装置１７に伝送される。
【００４２】その符号化の処理は、例えば、図２に示す
手順に従って行われる。
【００４３】図２において、まず、符号化制御部４は、
当該フレームの許容符号量を設定するとともに、符号化
に必要な初期パラメータの設定を行う(初期設定：ステ
ップS1)。符号化パラメータには、当該フレームをフレ
ーム内だけで符号化するか、フレーム間予測を用いて符
号化するかなどの情報を示す符号化モード情報や初期量
子化パラメータなどが含まれる。本実施の形態では、フ
レームの符号量は、主に符号化される基底情報（以下、
アトムと呼ぶ）の数に依存する。その理由は後述する。
第２フレーム目以降は、レートバッファ５がオーバフロ
ーしないよう、その占有量６を符号化制御部４にフィー
ドバックすることによって、次のフレームの許容符号量
が設定される。
【００４４】次いで、予測信号生成部７−１は、符号化
の対象となる予測残差信号８を得るための予測画像９を
生成する（予測信号の生成：ステップS2）。予測画像９
は図４の手順にしたがって生成される。予測画像９はマ
クロブロック単位で決定される。
【００４５】図４において、マクロブロックカウントn
がリセットされる(ステップS2-1)。次いでマクロブロッ
クnに対し、フレーム内予測が行なわれる(ステップS2-
2)。フレーム内予測は種々の方式が考えられる。たとえ
ば、入力マクロブロック内の画素平均値(DC成分)を予測
画像としたり、すでに符号化済みの周辺画素値をバッフ
ァリングしておき、これらを用いた平面予測を行って予
測画像を生成してもよい。このステップS2-1では、予測
画像データ(P_intra)とフレーム内予測による予測コス
トを求めておく。複数の予測方式を用いる場合は、どの
予測方式を用いたかを示すフレーム内予測モード情報も
生成される。予測コストとして、差分絶対値和（SA
D）、差分二乗和(MSE)などで残差パワー表現をしたもの
のほか、予測方式によって必要になる付加情報(上記フ
レーム内予測モード情報など)の符号量分をかね合わせ
た符号量−ひずみコスト表現を用いてもよい。
【００４６】次いで、動き補償予測によるフレーム間予
測がなされる(ステップS2-3)。フレーム間予測は、フレ
ーム間の動きを推定してフレームメモリ１１内の参照画
像中の類似画像を特定して予測画像とする。動き検出部
１２は、参照画像中の類似画像を特定する情報として動
きベクトルを検出する。動きベクトルは既存の映像符号
化方式でよく用いられるブロックマッチングによる平行
移動ベクトルのほか、アフィンモデルを表現するベクト
ル、透視変換モデルを表現するベクトルなど、いかなる
表現形式のものであってもよい。一般にモデルが複雑に
なるほど表現可能な動きが増え予測残差は小さくなる
が、動き検出の演算量が増大しモデル表現に必要なパラ
メータ数が増えるため、通常、実装負荷と性能とのバラ
ンスを考慮した選択を行う。本実施の形態では、これら
動きベクトル探索・表現方法については、マクロブロッ
ク単位の動き情報表現に集約できる限り任意の表現を利
用可能とする。
【００４７】また、MPEG-4の8x8画素単位予測モードの
ように、マクロブロック内をさらに小ブロックに分割し
て各々動きベクトルを求めたり、MPEG-1/2のBフレーム
予測のように複数のフレームを参照して予測を行うな
ど、複数の予測方法を切り替えて予測を実施する場合に
は、どの予測方式を用いたかを示すフレーム間予測モー
ド情報も生成される。フレーム間予測モードとしては、
符号化済みのフレームの「Matching Pursuits」の符号
化データそのものを保持しておくことで(このためには
アトムパラメータ２４を格納しておくフレームメモリ１
１相当のメモリ領域が必要)、参照フレームで符号化し
たアトム情報をそのまま引き継ぐようなモードを設定す
ることもできる。
【００４８】このステップS2-3では、予測画像データ(P
_inter)と動きベクトルの値、フレーム間予測モード情
報、動き補償予測による予測コストを求めておく。予測
コストはフレーム内予測の場合と同様、SADやMSEなどの
ほか、符号量−ひずみコスト表現であってもよい。フレ
ーム間予測の場合に考慮されるべき符号量には、動きベ
クトル自体の符号量、動きベクトルモデルの切り替え情
報、フレーム間予測モード情報などがある。
【００４９】次に、ステップS2-4において、当該マクロ
ブロックについて、フレーム内予測(INTRA)及びフレー
ム間予測(INTER)かのいずれの予測を選択するかを決定
する。決定の評価値には上述の各々の予測コストを用い
て、予測コストが小さくなるほうを選択する。フレーム
内予測（INTRA）を選択した場合、マクロブロックnの予
測画像Pred(n)はP_intraに設定され、出力情報１０とし
てフレーム内予測モード情報を出力する（ステップS2-
5）。フレーム間予測（INTER）を選択した場合は、予測
画像Pred(n)はP_interに設定され、出力情報１０として
動きベクトル、フレーム間予測モード情報を出力する
(ステップS2-6)。次いでマクロブロックカウントｎをイ
ンクリメントする(ステップS2-7)。フレーム内の全マク
ロブロックに対して上述した処理を終了したら、予測画
像生成処理が終了される。
【００５０】図２に戻って、上述したように予測画像生
成の処理が終了すると、その生成された予測画像９は、
フィルタ２３により、マクロブロック単位の動き検出に
伴うブロック境界における不連続性が抑えられた後、入
力映像フレーム1との差分が取られる。そして、その差
分が符号化対象信号である予測残差信号８となる(予測
残差信号の生成：ステップS3)。フィルタ２３での処理
により、「Matching Pursuits」符号化過程で不要な成
分が符号化されないようになる。
【００５１】上記のように生成された予測残差信号８
は、基底探索部１３に入力され、「Matching Pursuit
s」の手法に基づいて基底ベクトルの線形和の形に変換
される(ステップS4)。「Matching Pursuits」による動
画像符号化については、文献“VeryLow Bit-rate Video
Coding Based on Matching Pursuits”（R.Neff et.a
l,IEEE Trans. on CSVT, vol.7, pp.158-171, Feb.199
7）に詳しいが、本実施の形態では符号化データの抽出
過程については上記文献の処理に準ずる。本実施の形態
の特徴は、抽出された符号化データを少ない符号量で効
率的に表現するための工夫にある。
【００５２】「Matching Pursuits」の手法は、信号ｆ
を、あらかじめ用意された過完備(over-complete)な基
底関数（波形パターン）のセットｇkの線形和の形で表
現する手法であって、信号Ｒnｆ (第ｎ探索ステップ目
において基底表現対象になる信号：部分信号波形)との
内積を最大とする基底ｇkを探索し、その信号ｆがその
内積値
【００５３】
【数１】 を係数とする下式(1)の線形和で表現される。
【００５４】
【数２】 ここで、ｎは基底探索ステップ数、ｇkは第ｎ探索ステ
ップ目に探索された基底で、内積
【００５５】
【数３】 を最大にする基底である。Ｒmｆは第ｍ探索ステップ目
で探索対象となる残差成分である。すなわち、ステップ
ｎを増やすほど、信号ｆの表現精度が向上する。これ
は、信号ｆの表現に使用する基底の数が増えるほど信号
をよく表現できることを意味する。したがって、基底の
数を増やす、すなわち探索ステップ数を増やすほど符号
量が増加し、ひずみが小さくなる。
【００５６】理想的な基底探索は、フレーム内の全画素
に対して、それを中心とした信号波形（部分信号波形）
に対して、あらかじめ用意されている全基底（波形パタ
ーン）の中から上記内積を最大にするものを探す処理に
該当する。これは(フレーム内画素数)×(基底数分)の内
積演算を必要とし、きわめて膨大な演算量となる。上記
文献では、極力最適性を失わずに演算処理数を削減する
ために、はじめに電力の大きな領域を検出してその近傍
で基底探索を行う方法を提案している。
【００５７】図５は本実施の形態における基底探索部１
３の詳細構成を示したものである。
【００５８】図５において、基底探索部１３は、探索開
始点決定部１３−１及び基底決定部１３−３を有する。
探索開始点決定部１３−１は、予測残差信号８を入力
し、予測残差信号８の中の最大電力を有する領域を探索
する。その結果、探索された領域内の位置が基底探索の
開始点とみなされ、その近傍(例えば、S画素×Sライン)
の画像データ（部分信号波形）が内積演算対象信号（Ｒ
nｆ）１３−２として基底決定部１３−３に供給され
る。基底決定部１３−３は、基底コードブック１４から
個々の基底コードワード１３−４を取り出し、内積演算
対象信号１３−２との内積演算を実施し、内積が最大と
なる信号と基底とを決定する。結果として、予測残差信
号８について、基底コードブック１４内の基底ベクトル
の中からｇkが決定される。そして、基底決定部１３−
３は、そのコード番号(インデックス)と、内積値(基底
係数)、およびｇkを適用する画素位置ｐk＝（ｘk，
ｙk）を符号化パラメータ２４として出力する。ｐnはＲ
nfの中心画素位置に該当する。この符号化パラメータの
組をアトムと呼ぶ。
【００５９】また、基底決定部１３−３はアトムから上
記式（１）に従って再構成される信号を出力し、これが
予測残差信号８から差し引かれて、次探索ステップのた
めの予測残差信号が更新される。以下、許容符号量に達
するまで探索ステップ数がインクリメントされ、各ステ
ップでのアトムが決定される。
【００６０】画像復号装置１７にて信号ｆを再現するた
めには、個々の探索ステップで抽出されたアトムパラメ
ータ２４を符号化し、伝送する必要がある。図２に戻っ
て、この符号化は基底符号化部１５で行われる（ステッ
プS5）。アトムの基底インデックスはその発生頻度に応
じた可変長符号化、基底係数はスカラ量子化などの手段
で圧縮符号化される（ただし、基底係数は各探索ステッ
プにおける信号表現に必要であり、基底探索処理過程に
影響するため、図５における基底決定部１３−３の内部
で量子化される）。さらにアトムの位置情報ｐnを符号
化する必要があるが、アトムがフレーム内の任意の画素
位置をとりうるものとすると、その位置の表現に必要な
符号量が多くなるという問題がある。
【００６１】そこで、本実施の形態では、ｐnの取りう
る値を縦横各２のブロックの倍数値に限定する。これに
より、アトムはかならずその中心が2x2ブロックの頂点
となるため、符号化すべきアトムの有無を2x2ブロック
の単位で判断できる。本実施の形態における画像符号化
装置２及び画像復号装置１７では、16x16画素のマクロ
ブロックを単位としてビットストリームが構成されるた
め、マクロブロック内のアトムの有無の情報は、例え
ば、図６に示すように、マクロブロックをルートとする
4段の4分木構造で記述できる。この4分木構造の符号表
現例を図7に示す。
【００６２】図７において、マクロブロックのレベル(1
6x16)では、その内部にアトムがあるか（１）ないか
（０）だけを表現する（１ビット）。8x8ブロックのレ
ベルではマクロブロック内に含まれる4つの8x8ブロック
の中に、アトムがどのように分布しているかが表現され
る(最大4ビット)。同様に4x4ブロックのレベルでは最大
16ビット、2x2ブロックのレベルでは最大64ビットの符
号表現となる。ただし、０が出現したブロックについて
はそれ以下の階層のノードに符号を割り当てる必要はな
い。例えば、当該マクロブロックにまったくアトムが存
在しない場合は1ビットの情報だけでよい。また、予測
残差信号の性質上、アトムは空間的に集中する頻度が高
くなるため、条件付確率に基づいて最適可変長符号を設
計したり、算術符号などを用いることにより、1を多く
含む木構造に短い符号長を割り当て平均符号長を短くす
ることができる。
【００６３】本手法を適用することにより、画素単位で
行う探索に比べて基底探索点を削減でき、演算量を削減
できるようになる。また、その基底探索点の位置ｐ
nを、マクロブロックをルートとする分木構造（図６及
び図７参照）によって、そのマクロブロック内での位置
にて表現するようにしていることから、どのような画面
サイズの画像情報であっても、その基底探索点の位置を
特定するために必要な最大の符号量が変化することはな
い。更に、その分木構造により、アトムが集中していな
い領域では、基底探索点の位置ｐnをより少ない符号量
で表現できるようになり、一般的な画像の特性を考慮す
ると、フレーム全体として各基底探索点の位置ｐnを表
すために必要な符合量を削減することが可能となる。
【００６４】上述した各探索ステップでのアトム符号化
が終了するたびに、ステップS8においてその符号量が許
容符号量に達したかどうかが検査される。その符号量が
許容符号量に達していれば、そこで基底探索の処理が停
止され、当該フレームの予測残差信号の符号化が終了さ
れる。次いで、まだ残存するフレームがあるならば(ス
テップS9)、ステップS1に戻って次のフレームの処理を
繰り返す。残存フレームがなければ処理を終了する。
【００６５】1フレーム分のアトムの符号化処理が終了
すると、次フレーム以降の動き補償予測の参照画像を得
るため、その局所復号処理を行い、フレームメモリ１１
の更新を行う。(基底局所復号部１６、ステップS6、S
7)。上記のようにして画像符号化装置２にて生成された
符号化情報を含むビットストリーム３は回線３０を介し
て画像復号装置１７に供給される。
【００６６】一方、画像復号装置１７は、上記符号化情
報を含むビットストリーム３を受信し、上記基底局所復
号部１６と同様の処理を実施する。リアルタイムで復号
・表示を行う場合、図３のステップに従って復号処理が
なされる。
【００６７】図３において、復号制御部１８の時間管理
機能は、受信バッファ１９に溜め込まれたビットストリ
ームデータの占有量情報２０などに基づいて、時刻tの
フレームの復号開始時刻を決定し、その時刻に基底復号
部２１を駆動させる(ステップS10)。基底復号部２１
は、フレーム同期ワードの検出を行い、ビットストリー
ム中のアトムデータを所定のシンタックス規則に従って
解析する(ステップS11)。解析されたデータのうち、動
きベクトル・予測モード情報を含む予測結果出力情報１
０は予測信号生成部７−２(画像符号化装置２の予測信
号生成部７−１と同等処理を行う)に入力され、予測画
像９が生成される(ステップS12)。アトム復号処理で
は、基底のインデックスと画像符号化装置２の基底コー
ドブック１４−１と同一となる基底コードブック１４−
２とから基底が特定され、上記式（１）に基づいて予測
残差信号ｆ（ｘ，ｙ）が再現される(ステップS13)。ま
た、その基底が適用されるマクロブロック内の位置情報
（図６及び図７参照）が予測残差信号のフレーム内にお
ける位置に変換される。
【００６８】その予測残差信号ｆ（ｘ，ｙ）は、上記予
測信号生成部７−２で生成され、フィルタ２３−２での
処理を経た予測画像９と加算され、上記フレーム内の位
置を用いて最終的なフレーム復号画像が生成される。そ
して、その復号画像が表示バッファ２２に格納されると
ともに(ステップS14)、次フレームの復号処理に用いる
ため、フレームメモリ１１に書き込まれる。表示バッフ
ァ２２はフレームメモリ１１−２の一部を使用するよう
にしてもよい。
【００６９】ビットストリーム内で定められた、もしく
は画像復号装置２内部でのルールに従って決定された表
示時刻に、復号制御部１８が表示バッファ２２を駆動
し、時刻tのフレーム画像を画面上に表示する(ステップ
S15、S16)。
【００７０】本実施の形態では、「Matching Pursuit
s」の手法に従って符号化パラメータであるアトムの符
号化を行うに際し、フレーム内の任意の位置に存在しう
るアトムを、マクロブロック単位で効率的に符号化する
ことができる。これにより、トータル的な符号化効率を
向上させることができる。
【００７１】図1において、回線３０はインターネット
などのネットワークであってもよいし、画像符号化装置
２の出力結果が記録された記録媒体からビットストリー
ムを読み出しながら復号する場合のデータ読み出し回路
のようなものであってもよい。
【００７２】次に本発明の第二の実施の形態に係る画像
符号化装置及び画像復号装置について説明する。この実
施の形態では、「Matching Pursuits」を用いて品質階
層符号化及び伝送を実現する画像符号化装置及び画像復
号装置の構成例について述べる。本実施の形態による画
像符号化装置及び画像復号装置では、「Matching Pursu
its」によって符号化ひずみ信号が基底表現され、その
基底表現された符号歪み信号を付加情報として伝送する
ことにより、使用する回線の状況が良好な場合に品質の
高い映像を伝送できるようになる。
【００７３】図8は本実施の形態における画像符号化装
置及び画像復号装置を含むシステムの構成を示す。
【００７４】図８において、画像符号化装置は、符号化
制御部１１１、ベースレイヤ符号化部１０２、ベースレ
イヤ局所復号部１０３、ベースレイヤフレームメモリ１
０４−１、エンハンスレイヤ符号化部１０６及びレート
バッファ１１２を有している。上記エンハンスレイヤ符
号化部１０６は、基底コードブック１０８−１、基底探
索部１０９及び基底符号化部１１０を有し、符号化歪み
信号を基底表現して符号化する。
【００７５】また、上記画像符号化装置と回線３０で接
続される画像復号装置は、復号制御部１１４、受信バッ
ファ１１５、ベースレイヤ復号部１１７、ベーースレイ
ヤフレームメモリ１０４−２、エンハンスレイヤ復号部
１１８及び表示バッファ１２２を有する。上記エンハン
スレイヤ復号部１１８は、基底復号部１０８及び基底コ
ードブック１０８−２を有し、エンハンスレイヤの情報
として画像符号化装置から伝送される符号化された符号
化歪み信号の復号処理を行う。
【００７６】上記画像符号化装置は、映像信号１（原画
像）の各フレームを単位として圧縮符号化を実施する。
まずベースレイヤ符号化で映像の基本となる信号を表現
し、その原画像との差分で表現される符号化ひずみ信号
をエンハンスレイヤで符号化する。また、各レイヤと
も、各フレームは輝度信号16画素×16ライン分の領域か
らなるマクロブロックの単位で符号化される。ベースレ
イヤビットストリーム、エンハンスレイヤビットストリ
ームが個々に生成され、最終的なビットストリームの形
成される。画像復号装置側は、各フレームのタイムスタ
ンプを使ってレイヤ間合成（ベースレイヤの復号画像に
エンハンスレイヤの復号画像、すなわち符号化ひずみ成
分を加算)を行うような構成が一般的である。ベースレ
イヤのビットストリームとエンハンスレイヤのビットス
トリームが独立であるため、送信の過程で、ベースレイ
ヤしか受信できない画像復号装置にはベースレイヤのビ
ットストリームだけを送信するといった伝送制御も可能
となる。
【００７７】上記画像符号化装置は、例えば、図９に示
す手順に従って符号化処理を行う。
【００７８】図９において、符号化制御部１１１は、当
該フレームの許容符号量を設定するとともに、符号化に
必要な初期パラメータの設定を行う(ステップS1)。符号
化パラメータは、当該フレームをフレーム内だけで符号
化するか、フレーム間予測を用いて符号化するかなどの
情報を示す符号化モード情報（なお、本実施の形態では
エンハンスレイヤにはフレーム間予測はない)や初期量
子化パラメータなどを含む。これらのパラメータはベー
スレイヤとエンハンスレイヤの各々について、符号化・
復号システムの用途に応じたレイヤ間符号量配分ルール
に基づいて決定される。エンハンスレイヤの符号量の調
整ファクタとしては、第一の実施の形態でに述べたよう
に、主にアトムの数になる。
【００７９】第２フレーム目以降は、レートバッファ１
１２がオーバフローしないよう、その占有量１１３を符
号化制御部１１１にフィードバックすることによって、
次のフレームの許容符号量を設定する。
【００８０】ベースレイヤ符号化部１０２は、たとえば
MPEG-4ビデオ符号化方式(ISO/IEC 14496-2)や、ITU-T
H.263符号化方式などの任意の映像符号化方式に従って
映像信号１（原画像）の符号化を行う（ステップS10
2）。なお、第一の実施の形態で述べた、「Matching pu
rsuits」の手法に従って映像信号１の符号化を行っても
よい。個々のフレームの符号化データはベースレイヤ局
所復号部１０３によって復号画像１０５に戻され、次フ
レーム以降の動き補償予測に用いられるためフレームメ
モリ１０４に格納される。
【００８１】入力映像信号１とベースレイヤの復号画像
１０５との差分により、ベースレイヤの符号化ひずみ信
号１０７が生成される（ステップS103）。エンハンスレ
イヤ符号化部１０６は、符号化ひずみ信号１０７を「Ma
tching Pursuits」に基づいて符号化する。本実施の形
態における「Matching Pursuits」符号化の手順（ステ
ップS104〜ステップS10９）は、前述した第一の実施の
形態におけるステップS4〜S９（図２参照）の説明で述
べたものと同一となる。なお、エンハンスレイヤ符号化
部１０６は、符号化ひずみ信号１０７をフレーム内符号
化するため、フレーム間動き補償予測処理に必要な処理
部を持たない。基底探索部１０９は図１に示す基底探索
部１３に、基底符号化部１１０は図１に示す基底符号化
部１５に相当する処理を行う。
【００８２】なお、基底コードブック１０８−１は図１
に示す基底コードブック１４−１と構成は同じである
が、符号化ひずみ信号１０７の性質に適合するよう基底
パターン、すなわちコードワードを再設計してもよい。
特に、ベースレイヤの符号化にDCTを用いた既存の映像
符号化方式を用いる場合、ベースレイヤにはDCT固有の
ブロックひずみなど視覚的に目立つパターンが現れる。
こういったパターンに特化した基底コードブックを用い
ることにより、エンハンスレイヤを効率的に符号化する
ことができる。画像復号装置は、上記画像符号化装置か
ら転送されるビットストリームを受信し、ベースレイ
ヤ、エンハンスレイヤそれぞれの復号処理を同期させて
行う。リアルタイムで復号・表示を行う場合、復号処理
は、例えば、図１０に示す手順に従ってなされる。
【００８３】図１０において、復号制御部１１４の時間
管理機能は、受信バッファ１１５に溜め込まれたビット
ストリームデータの占有量情報１１６などに基づいて、
時刻tのフレームの復号開始時間を決定し、その時刻に
なると（ステップS110）、ベースレイヤ復号部１１７、
エンハンスレイヤ復号部１１８内の基底復号部１１９を
駆動する(ステップS111、S112およびステップS113)。ベ
ースレイヤ復号部１１７は動き補償を行いながらフレー
ムメモリ１０４を用いてベースレイヤ映像の復号画像１
２０を生成する（ステップS112）。基底復号部１１９
は、ビットストリーム中のアトムデータを所定のシンタ
ックス規則に従って解析する(ステップS113)。アトム復
号処理では、基底のインデックスに基づいて、画像符号
化装置と共通の基底コードブック１０８−２とから基底
を特定し、上記式（１）に基づいて符号化ひずみ復号画
像１２１を生成する(ステップS114)。エンハンスレイヤ
を含む品質のよい映像を生成するには、ベースレイヤ復
号画像１２０と符号化ひずみ復号画像１２１の加算を行
って表示バッファ１２２へデータを書きこむ（ステップ
S115）。回線の状況によってはエンハンスレイヤが画像
復号装置に正常に送信されない場合もある。その場合に
はベースレイヤ復号画像１２０だけを表示バッファ１２
２に書きこんで表示させる。表示バッファ１２２はフレ
ームメモリ１０４−２の一部を使用するようにしてもよ
い。ビットストリームで定められた、もしくは画像復号
装置内部でのルールに従って決定された表示時刻に、復
号制御部１１４が表示バッファ１２２を駆動し、時刻t
のフレーム画像を画面上に表示する（ステップS116、S1
17）。
【００８４】本実施の形態では、品質階層符号を構成す
るためにエンハンスレイヤに「Matching Pursuits」の
符号化データを用いた。これにより、DCTを用いたベー
スレイヤ符号化によって生じるブロックひずみなど視覚
的に目立ちやすいパターンを効率的に表現することがで
きる。
【００８５】図８において、回線１２３はインターネッ
トなどのネットワークであってもよいし、符号化装置の
出力結果が記録された記録媒体からビットストリームを
読み出しながら復号する場合のデータ読み出し回路のよ
うなものであってもよい。
【００８６】次に本発明の第三の実施の形態について説
明する。
【００８７】本実施の形態では、「Matching Pursuit
s」を用いて品質階層符号化及び伝送を実現する画像符
号化装置及び画像復号装置の別の構成例について述べ
る。本実施の形態では、前述した第二の実施の形態の構
成と異なり、符号化対象となる符号化ひずみ信号の信号
パターンを複数にクラス分けし、ベースレイヤの符号化
パラメータを参照することによって付加情報を用いずに
信号パターンの分類を行い、各パターンに特化したコー
ドブックを使用できるような制御がなされる。これによ
り、さらに効率よく「Matching Pursuits」符号化を実
施することができる。
【００８８】図１１は本実施の形態における画像符号化
装置及び画像復号装置からなるシステムの構成を示す。
なお、図１１において、図８に示す部位と同一の部位に
対しては同一の参照番号が付される。
【００８９】図１１において、画像符号化装置は、図８
に示すエンハンスレイヤ符号化部１０６と構成の異なる
エンハンスレイヤ符号化部２０１を用いる。このエンハ
ンスレイヤ符号化部２０１は、基底探索部２０２、基底
コードブック２０３a-1、２０３b-1、スイッチSW２０４
−１及び基底符号化部１１０を有する。また、画像復号
装置は、図８に示すエンハンスレイヤ復号部１１８と構
成の異なるエンハンスレイヤ復号部２０７を用いる。こ
のエンハンスレイヤ復号部２０７は、基底復号部２０
８、基底コードブック２０３a-2、２０３b-2及びスイッ
チSW２０４−２を有する。
【００９０】上記画像符号化装置での符号化処理の手順
は、基本的に前述した第二の実施の形態に準ずる。即
ち、初期化処理（図９に示すS101参照）及びベースレイ
ヤに関する符号化処理（図９に示すS102参照）がなさ
れ、その後、エンハンスレイヤの情報となる符号化ひず
み信号の符号化処理がなされる。このエンハンスレイヤ
に関する符号化処理は次のようにしてなされる。
【００９１】入力映像信号１とベースレイヤの復号画像
１０５との差分により、ベースレイヤの符号化ひずみ信
号１０７が生成される。エンハンスレイヤ符号化部２０
１は、符号化ひずみ信号１０７を「Matching Pursuit
s」に基づいて符号化する。本実施の形態におけるエン
ハンスレイヤ符号化部２０１は、２種類の基底コードブ
ックＡ／Ｂを持つ（それぞれ２０３a-1、２０３b-1）。
ここで、基底コードブックA２０３a-1は、特にベースレ
イヤにDCTを用いる場合に現れるブロックひずみに特化
したコードブックであり、基底コードブックB２０３b-1
はそれ以外の信号パターンに適用されるコードブックと
する。ベースレイヤの復号画像にDCT量子化に起因する
ブロックひずみが顕著な場合、符号化ひずみ信号１０７
にもその成分が現れる。これはベースレイヤの量子化が
粗いほど顕著であり、かつ、ブロック境界の位置は固定
であるため、ベースレイヤの量子化ステップ値と、基底
探索中の信号位置とから、ブロックひずみに特化したコ
ードブックを用いるべきかどうかの判断を行うことがで
きる。このような考え方から、基底コードブックA／Ｂ
を切り替えるスイッチSW２０４−１が用いられる。ベー
スレイヤの量子化ステップ値２０６及び基底探索中の信
号位置２０５をスイッチSW２０４−１に入力し、所定の
判断基準にしたがって基底コードブックＡ／Ｂのいずれ
の基底ベクトルを用いるかを選択できるように構成す
る。
【００９２】なお、画像復号装置におけるスイッチSW２
０４−２での判定に用いる情報はいずれも画像復号装置
にて既知の値であるため、この判定のために特別な付加
情報を伝送する必要はなく、信号パターンにダイナミッ
クに適応する「Matching Pursuits」符号化を効率的に
行うことができる。
【００９３】基底探索部２０２は基底探索中の位置情報
２０５をスイッチSW２０４−１に対して出力する以外
は、上述した第二の実施の形態における基底探索部１０
９と同じ動作をする。
【００９４】上記画像復号装置では、エンハンスレイヤ
復号部２０７の構成だけが前述した第二の実施の形態に
おけるエンハンスレイヤ復号部１１８（図８参照）のそ
れと異なる。基底復号部２０８はアトム位置情報２０５
をスイッチSW２０４−２に出力する以外は、上記第二の
実施の形態における基底復号部１１９と同じである。ま
た、スイッチSW２０４−２は、ベースレイヤ復号部１１
７からベースレイヤの該当位置における量子化ステップ
値２０６の供給を受ける。このスイッチSW２０４−２
は、アトム位置情報２０５、量子化ステップ値２０６と
から、エンハンスレイヤ符号化部２０１と同じ判断基準
に従って基底コードブックＡ／Ｂのいずれを用いるかを
選択する。
【００９５】上記のようなシステム構成により、「Matc
hing Pursuits」符号化を用いた品質階層符号化におい
て、「Matching Pursuits」の符号化対象となる符号化
ひずみ信号を、DCTを用いたベースレイヤ符号化によっ
て生じるブロックひずみなど視覚的に目立ちやすいパタ
ーンと、それ以外の信号パターンとにクラス分けし、各
々に適した基底コードブックを選択的に用いることがで
きるようになる。かつ、探索の前にコードブックを細分
化できるので、アトム探索の演算量を削減できるととも
に、基底のインデックス自体の符号長も短くできる。ベ
ースレイヤの符号化パラメータを利用したコードブック
選択を行うことにより、コードブック選択のための特別
な情報を必要としない。用意するコードブックの数は２
つ以上であってもよいし、1つのコードブック内でクラ
ス分けを行っておくようにしてもよい。
【００９６】本実施の形態では、「Matching Pursuit
s」を用いて品質階層符号化及び伝送を実現する画像符
号化・復号装置の別の構成例について述べる。本実施の
形態では、上述した第二の実施の形態の構成と異なり、
符号化対象となる符号化ひずみ信号の時間方向の冗長度
を取り除くため、動き補償予測が導入される。これによ
り、さらに効率よくエンハンスレイヤの符号化を実施す
る。
【００９７】更に、本発明の第四の実施の形態について
説明する。
【００９８】本実施の形態では、「Matching Pursuit
s」を用いて品質階層符号化及び伝送を実現する画像符
号化装置及び画像復号装置の更に別の例について述べ
る。本実施の形態では、前述した第二の実施の形態の構
成と異なり、符号化対象となる符号化ひずみ信号の時間
方向の冗長度を取り除くため、動き補償予測が導入され
る。これにより、更に効率よくエンハンスレイヤの符号
化を実施することができる。
【００９９】図１２は本実施の形態における画像符号化
装置及び画像復号装置からなるシステムの構成を示す。
なお、図１２において、図８に示す部位と同一の部位に
対しては同一の参照番号が付される。
【０１００】図１２において、画像符号化装置は、図８
に示すエンハンスレイヤ符号化部１０６と構成の異なる
エンハンスレイヤ符号化部３０１を用いる。このエンハ
ンスレイヤ符号化部３０１は、基底探索部１０９、基底
符号化部１１０、基底局所復号部３０２、動き検出・予
測信号生成部３０３、エンハンスレイヤフレームメモリ
３０４−１及び基底コードブック３０８−１を有する。
また、画像復号装置は、図８に示すエンハンスレイヤ復
号部１１８と構成の異なるエンハンスレイヤ復号部３０
９を用いる。このエンハンスレイヤ復号部１１８は、エ
ンハンスレイヤフレームメモリ３０４−２、基底コード
ブック３０８−２、基底復号部３１０及び予測信号生成
部３１１を有する。
【０１０１】上記画像符号化装置での符号化処理の手順
は、基本的に前述した第二の実施の形態に準ずる。即
ち、初期化処理（図９に示すS101参照）及びベースレイ
ヤに関する符号化処理（図９に示すS102参照）がなさ
れ、その後、エンハンスレイヤの情報となる符号化ひず
み信号の符号化処理がなされる。このエンハンスレイヤ
に関する符号化処理は次のようにしてなされる。
【０１０２】エンハンスレイヤ符号化部３０１では、符
号化歪み信号１０７についてフレーム間動き補償予測を
行い、その予測残差信号３０７を符号化する。符号化歪
み信号はベースレイヤの画像パターンに依存しており、
符号化歪み信号においてもフレーム間の相関が高いと考
えられるため、動き補償予測を行うことにより、時間方
向の冗長度を削減して効率的な符号化が可能となる。
【０１０３】エンハンスレイヤ符号化部３０１は、符号
化歪み信号１０７を動き補償付き「Matching Pursuit
s」に基づいて符号化する。その動き補償予測の手順が
図１３に示される。
【０１０４】符号化歪み信号１０７が動き検出・予測信
号生成部３０３に入力され、予測信号３０５が生成され
る。予測信号３０５はマクロブロック単位で決定され
る。マクロブロックカウントnがリセットされる（ステ
ップS301）。次いでマクロブロックnに対し、フレーム
内予測が行われる（ステップS302）。フレーム内予測は
種々の方式が考えられる。たとえば、入力マクロブロッ
ク内の画素平均値(DC成分)を予測画像としたり、すでに
符号化済みの周辺画素値をバッファリングしておき、こ
れらを用いた平面予測を行って生成してもよい。
【０１０５】このステップS302では予測画像データ(P_i
ntra)とフレーム内予測による予測コストを求めてお
く。複数の予測方式を用いる場合は、どの予測方式を用
いたかを示すフレーム内予測モード情報も決定される。
予測コストには、差分絶対値和（SAD）、差分二乗和(MS
E)などで残差パワー表現をしたもののほか、予測方式に
よって必要になる付加情報(上記フレーム内予測モード
情報など)の符号量分をかね合わせた符号量−ひずみコ
スト表現を用いてもよい。
【０１０６】次いで、動き補償予測によるフレーム間予
測が行われる（ステップS303）。フレーム間予測は、フ
レーム間の動きを推定してエンハンスレイヤ用のフレー
ムメモリ３０４−１内の参照画像中の類似画像を特定し
て予測画像とする。動き検出処理では、参照画像中の類
似画像を特定する情報として動きベクトルの検出がなさ
れる。動きベクトルは既存の映像符号化方式でよく用い
られるブロックマッチングによる平行移動ベクトルのほ
か、アフィンモデルを表現するベクトル、透視変換モデ
ルを表現するベクトルなど、いかなる表現であってもよ
い。一般にモデルが複雑になるほど表現可能な動きが増
え予測残差は小さくなるが、動き検出の演算量が増大し
モデル表現に必要なパラメータ数が増えるため、通常、
実装負荷と性能とのバランスを考慮した選択がなされ
る。
【０１０７】本実施の形態では、これら動きベクトル探
索・表現方法については、マクロブロック単位の動き情
報表現に集約できる限り任意の表現を利用可能とする。
また、MPEG-4の8x8画素単位予測モードのように、マク
ロブロック内をさらに小ブロックに分割して各々動きベ
クトルを求めたり、MPEG-1/2のBフレーム予測のように
複数のフレームを参照して予測を行うなど、複数の予測
方法を切り替えて予測を実施する場合には、どの予測方
式を用いたかを示すフレーム間予測モード情報も決定さ
れる。フレーム間予測モードとしては、符号化済みのフ
レームの「Matching Pursuits」の符号化データそのも
のを保持しておくことで（このためにはアトムパラメー
タ３１３を格納しておくフレームメモリ３０４−１相当
のメモリ領域が必要）、参照フレームで符号化したアト
ム情報をそのまま引き継ぐモードを設定することもでき
る。このステップS303では予測画像データ(P_inter)と
動きベクトルの値、フレーム間予測モード情報、動き補
償予測による予測コストを求めておく。予測コストはフ
レーム内予測の場合と同様、SADやMSEなどのほか、符号
量−ひずみコスト表現であってもよい。フレーム間予測
の場合に考慮されるべき符号量には、動きベクトル自体
の符号量、動きベクトルモデルの切り替え情報、フレー
ム間予測モード情報などがある。
【０１０８】次に、ステップS304において、当該マクロ
ブロックについて、フレーム内予測(INTRA)か、フレー
ム間予測(INTER)かのいずれの予測を選択するかを決定
する。決定の評価値には各々の予測コストを用いて、予
測コストが小さくなるほうを選択する。INTRAを選択し
た場合、マクロブロックnの予測画像Pred(n)はP_intra
に設定され、出力情報３０６としてフレーム内予測モー
ド情報を出力する。INTERを選択した場合は予測画像Pre
d(n)はP_interに設定され、出力情報３０６として動き
ベクトル、フレーム間予測モード情報を出力する(ステ
ップS305、306)。次いでマクロブロックカウントnをイ
ンクリメントする（ステップS307）。フレーム内の全マ
クロブロックに対して処理を終了したら(ステップS30
8)、予測画像生成処理を終了する。
【０１０９】生成された予測画像３０５と符号化歪み信
号１０７との差分がとられ、その残差信号３０７が基底
探索部１０９に入力される。基底探索部１０９、基底符
号化部１１０の動作は第一の実施の形態で動作と同じで
あるため、その説明は省略する。なお、基底コードブッ
ク３０８−１については、符号化歪み信号の時間方向の
予測残差パターンを反映するように設計する。
【０１１０】また、図には示していないが、上記第三の
実施の形態のように、ベースレイヤの量子化ステップ値
やアトム位置情報に応じて複数用意されている基底コー
ドブックを切り替えるように構成してもよい。特にアト
ム位置情報については、エンハンスレイヤ符号化部３０
１での動き検出がマクロブロックを単位としているため
に、予測画像においてマクロブロックの不連続箇所が現
れることがある。このため、その不連続信号パターンに
マッチしたコードブックを用意しておけば効率よくMatc
hing Pursuitsを実施することができる。
【０１１１】動きベクトル・予測モード情報３０６はア
トムパラメータ３１３とともにビットストリームに多重
化され、画像復号装置に伝送される。また、符号化され
たアトムパラメータ３１３は基底局所復号部３０２に入
力され、予測残差信号３０７の復号画像を生成する。こ
れは次フレームの符号化に用いるため、エンハンスレイ
ヤフレームメモリ３０４−１に格納される。
【０１１２】上記画像復号装置では、エンハンスレイヤ
復号部３０９の構成だけが前述した第二の実施の形態に
おけるエンハンスレイヤ復号部１１８（図８参照）のそ
れと異なる。エンハンスレイヤ復号部３０８では、基底
復号部３１０が基底コードブック３０８−２を参照して
上記基底局所復号部３０２と同様の処理を実施し、予測
信号生成部３１１が動きベクトル・予測モード情報３０
６に従って予測画像３０５を生成する。復号制御部１１
４は、ベースレイヤとエンハンスレイヤのフレームの同
期をとりながら復号を行うよう、各復号部の駆動を制御
する。その他、表示制御なども第二の実施の形態にて述
べた動作に準ずる。
【０１１３】本実施の形態の構成により、「Matching P
ursuits」符号化を用いた品質階層符号化において、「M
atching Pursuits」の符号化対象となる符号化ひずみ信
号に対して動き補償予測を導入してエンハンスレイヤの
符号化を効率化することができる。
【０１１４】上述したエンハンスレイヤ符号化部３０１
及びエンハンスレイヤ復号部３０９は、図１４に示すよ
うなエンハンスレイヤ符号化部４０１及びエンハンスレ
イヤ復号部４０５に代えることも可能である。
【０１１５】この場合、エンハンスレイヤ符号化部で
は、ベースレイヤの符号化結果として得られている動き
ベクトル情報を、エンハンスレイヤの同位置のマクロブ
ロックの動きベクトルとして利用する。エンハンスレイ
ヤ符号化４０１では、動き検出・予測信号生成部４０３
の処理を簡略化するとともに、伝送すべき付加情報を削
減することを目的として、ベースレイヤで検出された同
一位置のマクロブロックの動きベクトルならびに予測モ
ード情報４０２をそのまま、あるいはそれを初期値とし
て用いて、フレーム間予測信号を生成する。通常、品質
階層符号化では、ベースレイヤとエンハンスレイヤの画
像パターンの相関が高いため、ベースレイヤで検出され
た動き情報はそのままエンハンスレイヤに使用しても有
効であることが多い。また、エンハンスレイヤでの符号
化効率をより高めるには、ベースレイヤの動き情報４０
２を初期値として、そこから微少範囲について動き検出
を実施してもよい。ここでは動き探索ポイントの初期値
が与えられるため、その近傍だけについて動きを探索す
ればよく、演算量の低減も可能になる。この場合は、付
加情報としてエンハンスレイヤでの検出結果をベースレ
イヤの動き情報４０２からの差分情報４０４として画像
復号装置に伝送する。動き差分情報４０４は、ベースレ
イヤの動き情報４０２をそのまま用いる場合は伝送の必
要はない。
【０１１６】このように、エンハンスレイヤ符号化部４
０１でのエンハンスレイヤの動き補償予測にベースレイ
ヤの動きベクトル情報を用いる場合、エンハンスレイヤ
復号部４０５は、ベースレイヤ復号部１１７から、ベー
スレイヤの動き情報４０２を受け取り、エンハンスレイ
ヤのビットストリームに含まれる動き差分情報４０４を
踏まえて予測信号生成部４０６にて予測画像３０５を生
成する。
【０１１７】
【発明の効果】以上、説明したように、請求項１乃至６
２記載の本願発明によれば、パターンマッチングの技術
を利用し、そのパターンマッチングにおける符号化デー
タをよりコンパクトに表現することによってトータルの
符号化効率を改善することのできる画像符号化方法及び
装置並びに対応する画像復号方法及び装置を実現するこ
とができる。
【０１１８】また、請求項６３及び６４記載の本願発明
によれば、そのような方法に従って画像の符号化、復号
を行う画像処理システムを実現することが可能である。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態に係る画像符号化及
び復号のシステムの構成例を示すブロック図である。
【図２】画像符号化処理の手順の一例を示すフローチャ
ートである。
【図３】画像復号処理の手順の一例を示すフローチャー
トである。
【図４】予測画像生成のための処理手順の一例を示すフ
ローチャートである。
【図５】基底符号化部の構成例を示すブロック図であ
る。
【図６】基底探索点の位置をマクロブロック内で特定す
る手法の一例を表す図である。
【図７】図６に示す手法に従って特定された基底探索点
の位置情報の一例を示す図である。
【図８】本発明の第二の実施の形態に係る画像符号化及
び復号のシステムの構成例を示すブロック図である。
【図９】画像符号化処理の手順の一例を示すフローチャ
ートである。
【図１０】画像復号処理の手順の一例を示すフローチャ
ートである。
【図１１】本発明の第三の実施の形態に係る画像符号化
及び復号のシステムの構成例を示すブロック図である。
【図１２】本発明の第四の実施の形態に係る画像符号化
及び復号のシステムの構成例を示すブロック図である。
【図１３】画像符号化処理の手順の一例を示すフローチ
ャートである。
【図１４】エンハンスレイヤ符号化部及びエンハンスレ
イヤ復号部の変形例を示すブロック図である。
【符号の説明】
２ 画像符号化装置 ３ ビットストリーム ４ 符号化制御部 ５ レートバッファ ７−１，７−２ 予測信号生成部 １１−１，１１−２ フレームメモリ １２ 動き検出部 １３ 基底探索部 １３−１ 探索開始点決定部 １３−３ 基底決定部 １４−１，１４−２ 基底コードブック １５ 基底符号化部 １６ 基底局所復号部 １７ 画像復号装置 １８ 復号制御部 １９ 受信バッファ ２１ 基底復号部 ２２ 表示バッファ ２３−１，２３−２ フィルタ １０２ ベースレイヤ符号化部 １０３ ベースレイヤ局所復号部 １０４−１，１０４−２ ベースレイヤフレームメモリ １０６ エンハンスレイヤ符号化部 １０８−１，１０８−２ 基底コードブック １０９ 基底探索部 １１０ 基底符号化部 １１１ 符号化制御部 １１２ レートバッファ １１５ 受信バッファ １１７ ベースレイヤ復号部 １１８ エンハンスレイヤ復号部 １１９ 基底復号部 １２２ 表示バッファ ２０１ エンハンスレイヤ符号化部 ２０２ 基底探索部 ２０３a-1，２０３a-2 基底コードブックＡ ２０３b-1，２０３b-2 基底コードブックＢ ２０４−１，２０４−２ スイッチSW ２０７ エンハンスレイヤ復号部 ２０８ 基底復号部 ３０１ エンハンスレイヤ符号化部 ３０２ エンハンスレイヤ基底局所復号部 ３０３ エンハンスレイヤ動き検出・予測信号生成部 ３０４−１，３０４−２ エンハンスレイヤフレームメ
モリ ３０８−１，３０８−２ 基底コードブック ３０９ エンハンスレイヤ復号部 ３１０ 基底復号部 ３１１ エンハンスレイヤ予測信号生成部 ４０１ エンハンスレイヤ符号化部 ４０３ エンハンスレイヤ動き検出・予測信号生成部 ４０５ エンハンスレイヤ復号部 ４０６ エンハンスレイヤ予測信号生成部
フロントページの続き (72)発明者 小林 充 東京都千代田区永田町二丁目11番１号 株 式会社エヌ・ティ・ティ・ドコモ内 Ｆターム(参考） 5C059 KK03 MA04 MA05 MA27 MA31 MD02 ME01 NN01 NN21 NN28 PP04 RB01 RB12 RC12 SS06 SS11 TA23 TA52 TB07 TC03 TC18 TD02 TD06 TD11 UA02 UA05 UA33 UA34 5J064 AA02 BA01 BC01 BC08 BD01

Claims (64)

    【特許請求の範囲】
  1. 【請求項１】画像信号の部分信号波形に類似する波形ベ
    クトルを予め定められた波形ベクトル群から探索するパ
    ターンマッチングステップと、 上記探索された波形ベクトルを特定する情報と、上記部
    分信号波形とその探索された波形ベクトルとの類似の度
    合いを表す類似度情報と、上記特定された部分信号波形
    の画像内位置とを所定の符号化規則に従って圧縮符号化
    する波形パターン符号化ステップとを有し、上記波形ベ
    クトルを特定する情報、上記類似度情報及び上記部分信
    号波形の画像内位置の組合せから画像信号についての符
    号化を行う画像符号化方法であって、 上記部分信号波形の画像内位置をその画像信号の所定部
    分領域内での位置情報に置き換えて符号化する画像符号
    化方法。
  2. 【請求項２】画像信号の部分信号波形との内積に基づい
    て予め定められた波形ベクトル群から波形ベクトルを探
    索するパターンマッチングステップと、 上記探索された波形ベクトルを特定する情報と、上記部
    分信号波形とその探索された波形ベクトルとの内積値
    と、上記部分信号波形の画像内位置とを所定の符号化規
    則に従って符号化する波形パターン符号化ステップとを
    有し、 上記パターンマッチングステップと波形パターン符号化
    ステップとを所定の条件が満たされるまで繰り返し実行
    する過程で、上記波形パターン符号化ステップにて符号
    化情報が得られる毎に、その符号化情報から得られる部
    分信号波形の復元波形を前記画像信号から差し引いてパ
    ターンマッチングステップに供すべき画像信号とし、上
    記所定の条件が満たされるまでに上記波形パターン符号
    化ステップにて得られた符号化情報により画像信号につ
    いての符号化を行う画像符号化方法であって、 上記部分信号波形の画像内位置をその画像信号の所定部
    分領域内での位置情報に置き換えて符号化する画像符号
    化方法。
  3. 【請求項３】請求項２記載の画像符号化方法において、 上記パターンマッチングステップでは、所定画素単位に
    表される画像信号の縦横２の所定べき数の画素を単位と
    して符号化対象となる部分信号波形の画像内位置を特定
    する画像符号化方法。
  4. 【請求項４】請求項２または３いずれか記載の画像符号
    化方法において、 上記所定部分領域が位置を特定するための単位ブロック
    に分割されると共に、該所定部分領域が包含関係に基づ
    いて一または複数の単位ブロックにて構成されるブロッ
    ク領域にて階層化され、 各階層の各ブロック領域に波形パターン群のいずれかの
    波形パターンとの内積値を得るための部分信号波形の位
    置が含まれるか否かを表すビット情報の連なりに基づい
    て上記部分信号波形の画像内位置を符号化する画像符号
    化方法。
  5. 【請求項５】請求項２乃至４いずれか記載の画像符号化
    方法において、 処理対象となる上記画像信号は、符号化すべき原画像を
    表す情報である画像符号化方法。
  6. 【請求項６】請求項２乃至４いずれか記載の画像符号化
    方法において、 処理対象となる上記画像信号は、符号化すべき原画像に
    対して動き補償予測を行って得られる予測残差画像を表
    す情報である画像符号化方法。
  7. 【請求項７】請求項２乃至４いずれか記載の画像符号化
    方法において、 処理対象となる上記画像信号は、原画像を所定の符号化
    規則に従って符号化する際に生じる符号化歪み信号であ
    る画像符号化方法。
  8. 【請求項８】請求項２乃至４いずれか記載の画像符号化
    方法において、 処理対象となる上記画像信号は、原画像を所定の符号化
    規則に従って符号化する際に生じる符号化歪み信号に対
    して動き補償予測を行って得られる予測残差画像を表す
    情報である画像符号化方法。
  9. 【請求項９】請求項８記載の画像符号化方法において、 上記予測残差画像を表す情報を得るに際し、上記原画像
    を符号化する際に検出される動き情報を用いて上記動き
    補償予測を行う画像符号化方法。
  10. 【請求項１０】請求項９記載の画像符号化方法におい
    て、 上記原画像を符号化する際に検出される動き情報を初期
    値として、その動きの生じた位置の近傍での動き情報を
    検出し、その動き情報を用いて上記動き補償予測を行う
    画像符号化方法。
  11. 【請求項１１】画像信号の部分信号波形に類似する波形
    ベクトルを予め定められた波形ベクトル群から探索する
    パターンマッチング手段と、 上記探索された波形ベクトルを特定する情報と、上記部
    分信号波形とその探索された波形ベクトルとの類似の度
    合いを表す類似度情報と、上記特定された部分波形信号
    の画像内位置とを所定の符号化規則に従って圧縮符号化
    する波形パターン符号化手段とを有し、上記波形ベクト
    ルを特定する情報、上記類似度情報及び上記部分信号波
    形の画像内位置の組合せから画像信号の符号化を行う画
    像符号化装置であって、 上記波形パターン符号化手段は、上記部分信号波形の画
    像内位置をその画像信号の所定部分領域内での位置情報
    に置き換えて符号化する画像符号化装置。
  12. 【請求項１２】画像信号の部分信号波形との内積に基づ
    いて、予め定められた波形ベクトル群から波形ベクトル
    を探索するパターンマッチング手段と、 上記探索された波形ベクトルを特定する情報と、上記部
    分信号波形とその探索された波形ベクトルとの内積値
    と、上記部分信号波形の画像内位置とを所定の符号化規
    則に従って符号化する波形パターン符号化ステップ手段
    とを有し、 上記パターンマッチング手段と波形パターン符号化手段
    での処理を所定の条件が満たされるまで繰り返し実行す
    る過程で、上記波形パターン符号化手段にて符号化情報
    が得られる毎に、その符号化情報から得られる部分信号
    波形の復元波形を前記画像信号から差し引いてパターン
    マッチング手段に供すべき画像信号とし、 上記所定の条件が満たされるまでに上記波形パターン符
    号化手段にて得られた符号化情報により画像信号につい
    ての符号化を行う画像符号化装置であって、 上記波形パターン符号化手段は、上記部分信号波形の画
    像内位置をその画像信号の所定部分領域内での位置情報
    に置き換えて符号化する画像符号化装置。
  13. 【請求項１３】請求項１２記載の画像符号化方装置にお
    いて、 上記パターンマッチング手段は、所定画素単位に表され
    る画像信号の縦横２の所定べき数の画素を単位として符
    号化対象となる部分信号波形の画像内位置を特定するよ
    うにした画像符号化装置。
  14. 【請求項１４】請求項１３記載の画像符号化装置におい
    て、 上記所定部分領域が位置を特定するための単位ブロック
    に分割されると共に、該所定部分領域が包含関係に基づ
    いて一または複数の単位ブロックにて構成されるブロッ
    ク領域にて階層化され、 上記波形パターン符号化手段は、各階層の各ブロック領
    域に波形パターン群のいずれかの波形パターンとの内積
    値を得るための部分信号波形の位置が含まれるか否かを
    表すビット情報の連なりに基づいて上記部分信号波形の
    画像内位置を符号化するようにした画像符号化装置。
  15. 【請求項１５】第一の画像信号を所定部分領域単位に第
    一の符号化規則に従って圧縮符号化する第一の画像符号
    化ステップと、 第二の画像信号をその部分信号波形毎に第二の符号化規
    則に従って圧縮符号化する第二の画像符号化ステップと
    を有し、 上記第一の画像符号化ステップに供される第一の画像信
    号と、該第一の画像符号化ステップにて得られる符号化
    情報に局所復号処理を施して得られた信号との誤差信号
    に対応した信号を上記第二の画像符号化ステップに供さ
    れる第二の画像信号とし、 上記第二の画像符号化ステップは、 その第二の画像信号の部分信号波形に類似する波形ベク
    トルを予め定めた波形ベクトル群から探索するパターン
    マッチングステップと、 上記探索された波形ベクトルを特定する情報と、上記部
    分信号波形とその探索された波形ベクトルとの類似度合
    いを表す類似度情報と、上記特定された部分波形信号の
    第二の画像内位置を上記第二の符号化規則に従って圧縮
    符号化する波形パターン符号化ステップとを有し、上記
    波形ベクトルを特定する情報、上記類似度情報及び上記
    部分信号波形の第二の画像内位置の組合せから第二の画
    像信号についての符号化を行う画像符号化方法であっ
    て、 上記パターンマッチングステップでは、上記第一の画像
    符号化ステップでの符号化に用いられるパラメータ及び
    上記部分波形信号の第二の画像内位置に基づいて、使用
    すべき波形ベクトル群を複数の波形ベクトル群から選択
    するようにした画像符号化方法。
  16. 【請求項１６】第一の画像信号を所定部分領域単位に第
    一の符号化規則に従って圧縮符号化する第一の画像符号
    化ステップと、 第二の画像信号をその部分信号波形毎に第二の符号化規
    則に従って圧縮符号化する第二の画像符号化ステップと
    を有し、 上記第一の画像符号化ステップに供される第一の画像信
    号と、該第一の画像符号化ステップにて得られる符号化
    情報に局所復号処理を施して得られた信号との誤差信号
    に対応した信号を上記第二の画像符号化ステップに供さ
    れる第二の画像信号とし、 上記第二の画像符号化ステップは、 その第二の画像信号の部分信号波形との内積に基づいて
    予め定めた波形ベクトル群から波形パターンを探索する
    パターンマッチングステップと、 上記探索された波形ベクトルを特定する情報と、上記部
    分信号波形とその探索された波形ベクトルとの内積値
    と、上記部分信号波形の第二の画像内位置を上記第二の
    符号化規則に従って圧縮符号化する波形パターン符号化
    ステップとを有し、 上記パターンマッチングステップと波形パターン符号化
    ステップとを所定の条件が満たされるまで繰り返し実行
    する課程で、上記波形パターン符号化ステップにて符号
    化情報が得られる毎に、その符号化情報から得られる部
    分信号波形の復元波形を前記第二の画像信号から差し引
    いてパターンマッチングステップに供すべき第二の画像
    信号とし、上記所定の条件が満たされるまで波形パター
    ン符号化ステップにて得られた符号化情報により第二の
    画像信号についての符号化を行う画像符号化方法であっ
    て、 上記パターンマッチングステップでは、上記第一の画像
    符号化ステップでの符号化に用いられるパラメータ及び
    上記部分波形信号の第二の画像内位置に基づいて、使用
    すべき波形ベクトル群を複数の波形ベクトル群から選択
    するようにした画像符号化方法。
  17. 【請求項１７】請求項１６記載の画像符号化方法におい
    て、 上記第一の画像符号化ステップに供すべき第一の画像信
    号は、符号化すべき原画像を表す情報となり、上記第二
    の画像符号化ステップにて供すべき第二の画像信号が上
    記第一の画像符号化ステップにて原画像が符号化される
    際に生じる符号化歪み信号となるようにした画像符号化
    方法。
  18. 【請求項１８】請求項１７記載の画像符号化方法におい
    て、 上記第二の画像信号は、上記誤差信号に対して動き補償
    予測を行って得られる予測残差画像を表す情報となる画
    像符号化方法。
  19. 【請求項１９】請求項１８記載の画像符号化方法におい
    て、 上記第二の画像符号化ステップは、上記予測残差画像を
    表す情報を得るに際し、上記第一の画像符号化ステップ
    での原画像の符号化の過程で検出された動き情報を用い
    て上記動き補償予測を行うようにした画像符号化方法。
  20. 【請求項２０】請求項１８記載の画像符号化方法におい
    て、 上記第二の画像符号化ステップは、上記第一の画像符号
    化ステップにて原画像を符号化する際に検出された動き
    情報を初期値として、その動きの生じた位置の近傍での
    動きを検出し、その動き情報を用いて上記動き補償予測
    を行うようにした画像符号化方法。
  21. 【請求項２１】請求項１５乃至２０いずれか記載の画像
    符号化方法において、 上記部分信号波形の第二の画像内位置をその第二の画像
    信号の所定部分領域内での位置情報に置き換えて符号化
    する画像符号化方法。
  22. 【請求項２２】請求項２１記載の画像符号化方法におい
    て、 上記所定部分領域が位置を特定するための単位ブロック
    に分割されると共に、該所定部分領域が包含関係に基づ
    いて一または複数の単位ブロックにて構成されるブロッ
    ク領域にて階層化され、 各階層の各ブロック領域に波形パターン群のいずれかの
    波形パターンとの内積値を得るための部分信号波形の位
    置が含まれるか否かを表すビット情報の連なりに基づい
    て上記部分信号波形の第二の画像内位置を符号化する画
    像符号化方法。
  23. 【請求項２３】第一の画像信号を所定部分領域単位に第
    一の符号化規則に従って圧縮符号化する第一の画像符号
    化手段と、 第二の画像信号をその部分信号波形毎に第二の符号化規
    則に従って圧縮符号化する第二の画像符号化手段とを有
    し、 上記第一の画像符号化手段に供される第一の画像信号
    と、該第一の画像符号化手段にて得られる符号化情報に
    局所復号処理を施して得られた信号との誤差信号に対応
    した信号を上記第二の画像符号化手段に供する第二の画
    像信号とし、 上記第二の画像符号化手段は、 その第二の画像信号の部分信号波形に類似する波形ベク
    トルを予め定めた波形ベクトル群から探索するパターン
    マッチング手段と、 上記探索された波形ベクトルを特定する情報と、上記部
    分信号波形とその探索された波形ベクトルとの類似度合
    いを表す類似度情報と、上記特定された部分波形信号の
    第二の画像内位置を上記第二の符号化規則に従って圧縮
    符号化する波形パターン符号化手段とを有し、上記波形
    ベクトルを特定する情報、上記類似度情報及び上記部分
    信号波形の第二の画像内位置の組合せから第二の画像信
    号についての符号化を行うようにした画像符号化装置で
    あって、 上記パターンマッチング手段は、 複数の波形ベクトル群と、 上記第一の画像符号化手段での符号化に用いられるパラ
    メータ及び上記部分波形信号の第二の画像内位置に基づ
    いて、使用すべき波形ベクトル群を上記複数の波形ベク
    トル群から選択する波形ベクトル群選択手段とを有する
    画像符号化装置。
  24. 【請求項２４】第一の画像信号を所定部分領域単位に第
    一の符号化規則に従って圧縮符号化する第一の画像符号
    化手段と、 第二の画像信号をその部分信号波形毎に第二の符号化規
    則に従って圧縮符号化する第二の画像符号化手段とを有
    し、 上記第一の画像符号化手段に供される第一の画像信号
    と、該第一の画像符号化手段にて得られる符号化情報に
    局所復号処理を施して得られた信号との誤差信号に対応
    した信号を上記第二の画像符号化ステップに供する第二
    の画像信号とし、 上記第二の画像符号化手段は、 その第二の画像信号の部分信号波形との内積に基づいて
    予め定めた波形ベクトル群から波形パターンを探索する
    パターンマッチング手段と、 上記探索された波形ベクトルを特定する情報と、上記部
    分信号波形とその探索された波形ベクトルとの内積値
    と、上記部分信号波形の第二の画像内位置を上記第二の
    符号化規則に従って圧縮符号化する波形パターン符号化
    手段とを有し、 上記パターンマッチング手段と波形パターン符号化手段
    での処理を所定の条件が満たされるまで繰り返し実行す
    る課程で、上記波形パターン符号化手段にて符号化情報
    が得られる毎に、その符号化情報から得られる部分信号
    波形の復元波形を前記第二の画像信号から差し引いてパ
    ターンマッチング手段に供すべき第二の画像信号とし、
    上記所定の条件が満たされるまでに波形パターン符号化
    手段にて得られた符号化情報により第二の画像信号につ
    いての符号化を行う画像符号化装置であって、 上記パターンマッチング手段は、 複数の波形パターン群と、 上記第一の画像符号化手段での符号化に用いられるパラ
    メータ及び上記部分波形信号の第二の画像内位置に基づ
    いて、使用すべき波形ベクトル群を上記複数の波形ベク
    トル群から選択する波形パターン選択手段とを有する画
    像符号化装置。
  25. 【請求項２５】請求項２４記載の画像符号化装置におい
    て、 上記第一の画像符号化手段に供すべき第一の画像信号
    は、符号化すべき原画像を表す情報として、上記第二の
    画像符号化手段にて符号化されるべき第二の画像信号が
    上記第一の画像符号化ステップにて原画像が符号化され
    る際に生じる符号化歪み信号となるようにした画像符号
    化装置。
  26. 【請求項２６】請求項２５記載の画像符号化装置におい
    て、 上記第二の画像信号は、上記誤差信号に対して動き補償
    予測を行って得られる予測残差画像を表す情報となる画
    像符号化装置。
  27. 【請求項２７】請求項２６記載の画像符号化装置におい
    て、 上記第二の画像符号化手段は、上記予測残差画像を表す
    情報を得るに際し、上記第一の画像符号化手段での原画
    像の符号化の過程で検出された動き情報を用いて上記動
    き補償予測を行うようにした画像符号化方装置。
  28. 【請求項２８】請求項２７記載の画像符号化装置におい
    て、 上記第二の画像符号化手段は、上記第一の画像符号化手
    段にて原画像を符号化する際に検出された動き情報を初
    期値として、その動きの生じた位置の近傍での動きを検
    出し、その動き情報を用いて上記動き補償予測を行うよ
    うにした画像符号化装置。
  29. 【請求項２９】圧縮画像情報を入力し、その圧縮画像情
    報を所定部分領域毎に伸長して画像情報を再生する画像
    復号方法において、 所定部分領域の圧縮画像情報を所定の復号規則に従って
    復号して、波形ベクトルを特定する情報、その波形ベク
    トルと部分信号波形との類似の度合いを表す類似度情報
    及びその部分信号波形の画像内位置を得、 予め定められた波形ベクトル群から上記波形ベクトルを
    特定する情報にて特定される当該波形ベクトル、上記類
    似度情報及び部分信号波形の画像内位置に基づいて画像
    情報を再生し、 上記圧縮画像情報を復号する際に、上記圧縮画像情報に
    含まれる上記部分信号波形の画像内位置を所定の部分画
    像領域単位の情報として復号する画像復号方法。
  30. 【請求項３０】圧縮画像情報を入力し、その圧縮画像情
    報を所定部分領域毎に伸長して画像情報を再生する画像
    復号方法において、 所定部分領域の圧縮画像情報を所定の復号規則に従って
    復号して、波形ベクトルを特定する情報、その波形ベク
    トルと部分信号波形との内積値及びその部分信号波形の
    画像内位置とを得、 予め定めた波形ベクトル群から上記波形ベクトルを特定
    する情報にて特定される当該波形ベクトル、上記内積値
    及び部分信号波形の画像内位置に基づいて画像情報を再
    生し、 上記圧縮画像情報を復号する際に、当該圧縮画像情報に
    含まれる上記部分信号波形の画像内位置を所定の部分画
    像領域単位の情報として復号する画像復号方法。
  31. 【請求項３１】請求項３０記載の画像復号方法におい
    て、 上記所定部分領域が位置を特定するための単位ブロック
    に分割されると共に、該所定部分領域が包含関係に基づ
    いて一または複数の単位ブロックにて構成されるブロッ
    ク領域にて階層化され、 各階層の各ブロック領域に波形パターン群のいずれかの
    波形パターンとの内積値を得るための部分信号波形の位
    置が含まれるか否かを表すビット情報の連なりに基づい
    て符号化された位置情報を上記部分信号波形の画像内位
    置に復号する画像復号方法。
  32. 【請求項３２】請求項３０または３１記載の画像復号方
    法において、 原画像を符号化した情報を圧縮画像情報として復号する
    画像復号方法。
  33. 【請求項３３】請求項３０または３１記載の画像復号方
    法において、 原画像に対して動き補償予測を行って得られる予測残差
    画像を符号化した情報を圧縮画像情報として復号する画
    像復号方法。
  34. 【請求項３４】請求項３０または３１記載の画像復号方
    法において、 原画像を所定の符号化規則に従って符号化する際に生ず
    る符号化歪み信号を符号化した情報を圧縮画像情報とし
    て復号する画像復号方法。
  35. 【請求項３５】請求項３０または３１記載の画像復号方
    法において、 原画像を所定の符号化規則に従って符号化する際に生じ
    る符号化歪み信号に対して動き補償予測を行って得られ
    る予測残差画像を符号化した情報を圧縮画像情報として
    復号する画像復号方法。
  36. 【請求項３６】請求項３３または３５記載の画像復号方
    法において、 再生された予測残差画像に加算すべき予測画像を得るに
    際し、原画像を符号化した情報の復号過程で検出された
    動き情報を利用して動き補償を行う画像復号方法。
  37. 【請求項３７】請求項３６記載の画像復号方法におい
    て、 原画像を符号化した情報の復号過程で検出された動き情
    報を初期値として使用し、その動きの生じた位置の近傍
    の動きを表す情報を復号して動き補償を行う画像復号方
    法。
  38. 【請求項３８】圧縮画像情報を入力し、その圧縮画像情
    報を所定部分領域毎に伸長して画像情報を再生する画像
    復号装置において、 所定部分領域の圧縮画像情報を所定の復号規則に従って
    復号して、波形ベクトルを特定する情報、その波形ベク
    トルと部分信号波形との類似の度合いを表す類似度情報
    及びその部分信号波形の画像内位置とを得る第一の手段
    と、 予め定めた波形ベクトル群から上記波形ベクトルを特定
    する情報にて特定される当該波形ベクトル、上記類似度
    情報及び部分信号波形の画像内位置に基づいて画像情報
    を再生する第二の手段とを有し、 上記第一の手段は、上記圧縮画像情報を復号する際に、
    上記圧縮画像情報に含まれる上記部分信号波形の画像内
    位置を所定の部分画像領域単位の情報として復号するよ
    うにした画像復号装置。
  39. 【請求項３９】圧縮画像情報を入力し、その圧縮画像情
    報を所定部分領域毎に伸長して画像情報を再生する画像
    復号装置において、 所定部分領域の圧縮画像情報を所定の復号規則に従って
    復号して、波形ベクトルを特定する情報、その波形ベク
    トルと部分信号波形との内積値及びその部分信号波形の
    画像内位置とを得る第一の手段と、 予め定めた波形ベクトル群から上記波形ベクトルを特定
    する情報にて特定される当該波形ベクトル、上記内積値
    及び部分信号波形の画像内位置に基づいて画像情報を再
    生する第二の手段とを有し、 上記第一の手段は、上記圧縮画像情報を復号する際に、
    当該圧縮画像情報に含まれる上記部分信号波形の画像内
    位置を所定の部分画像領域単位の情報として復号する画
    像復号装置。
  40. 【請求項４０】請求項３９記載の画像復号装置におい
    て、 上記所定部分領域が位置を特定するための単位ブロック
    に分割されると共に、該所定部分領域が包含関係に基づ
    いて一または複数の単位ブロックにて構成されるブロッ
    ク領域にて階層化され、 上記第一の手段は、各階層の各ブロック領域に波形パタ
    ーン群のいずれかの波形パターンとの内積値を得るため
    の部分信号波形の位置が含まれるか否かを表すビット情
    報の連なりに基づいて符号化された位置情報を上記部分
    信号波形の画像内位置に復号する画像復号装置。
  41. 【請求項４１】請求項３９または４０記載の画像復号装
    置において、 上記第一の手段は、原画像を符号化した情報を圧縮画像
    情報として復号する画像復号装置。
  42. 【請求項４２】請求項３９または４０記載の画像復号装
    置において、 上記第一の手段は、原画像に対して動き補償予測を行っ
    て得られる予測残差画像を符号化した情報を圧縮画像情
    報として復号する画像復号装置。
  43. 【請求項４３】請求項３９または４０記載の画像復号装
    置において、 上記第一の手段は、原画像を所定の符号化規則に従って
    符号化する際に生じる符号化歪み信号を符号化した情報
    を圧縮画像情報として復号する画像復号装置。
  44. 【請求項４４】請求項３９または４０記載の画像復号装
    置において、 上記第一の手段は、原画像を所定の符号化規則に従って
    符号化する際に生じる符号化歪み信号に対して動き補償
    予測を行って得られる予測残差画像を符号化した情報を
    圧縮画像情報として復号する画像復号装置。
  45. 【請求項４５】請求項４２または４４記載の画像復号装
    置において、 上記第二の手段は、再生された予測残差画像に加算すべ
    き予測画像を得るに際し、原画像の復号過程で検出され
    た動き情報を利用して動き補償を行う動き予測手段を有
    する画像復号装置。
  46. 【請求項４６】請求項４５記載の画像復号装置におい
    て、 上記動き予測手段は、原画像の復号過程で検出された動
    き情報を初期値として使用し、その動きの生じた位置の
    近傍の動きを表す情報を復号して動き補償を行う画像復
    号装置。
  47. 【請求項４７】第一の圧縮画像を入力し、その第一の圧
    縮画像情報を所定部分領域毎に伸長して第一の画像情報
    を再生する第一の画像復号ステップと、 第二の圧縮画像を入力し、その第二の圧縮画像情報を所
    定の部分信号波形毎に伸長して第二の画像情報を再生す
    る第二の画像復号ステップと、 上記第一の画像情報と上記第二の画像情報とを合成して
    出力画像情報を得る画像合成ステップとを有する画像復
    号方法において、 上記第二の画像復号ステップでは、 上記第二の圧縮画像情報を所定の復号規則に従って、波
    形ベクトルを特定する情報、その波形ベクトルと部分信
    号波形との類似の度合いを表す類似度情報及びその部分
    信号波形の画像内位置を得、 上記第一の画像復号ステップに供される第一の圧縮画像
    情報に含まれる符号化のパラメータと、上記部分信号波
    形の画像内位置とに基づいて、使用すべき波形ベクトル
    群を予め定めた複数の波形ベクトル群から選択し、 その選択された波形ベクトル群において上記波形ベクト
    ルを特定する情報にて特定される当該波形ベクトル、上
    記類似度情報及び部分信号波形の画像内位置に基づいて
    上記第二の画像情報を生成する画像復号方法。
  48. 【請求項４８】第一の圧縮画像を入力し、その第一の圧
    縮画像情報を所定部分領域毎に伸長して第一の画像情報
    を再生する第一の画像復号ステップと、 第二の圧縮画像を入力し、その第二の圧縮画像情報を所
    定の部分信号波形毎に伸長して第二の画像情報を再生す
    る第二の画像復号ステップと、 上記第一の画像情報と上記第二の画像情報とを合成して
    出力画像情報を得る画像合成ステップとを有する画像復
    号方法において、 上記第二の画像復号ステップでは、 上記第二の圧縮画像情報を所定の復号規則に従って、波
    形ベクトルを特定する情報、その波形ベクトルと部分信
    号波形との内積値及びその部分信号波形の画像内位置を
    得、 上記第一の画像復号ステップに供される第一の圧縮画像
    情報に含まれる符号化のパラメータと、上記部分信号波
    形の画像内位置とに基づいて、使用すべき波形ベクトル
    群を予め定めた複数の波形ベクトル群から選択し、 その選択された波形ベクトル群において上記波形ベクト
    ルを特定する情報にて特定される当該波形ベクトル、上
    記内積値及び部分信号波形の画像内位置に基づいて上記
    第二の画像情報を生成する画像復号方法。
  49. 【請求項４９】請求項４８記載の画像復号方法におい
    て、 上記第二の画像復号ステップにて第二の圧縮画像情報を
    復号する際に、当該第二の圧縮画像情報に含まれる上記
    部分信号波形の画像内位置を所定部分画像領域単位の情
    報として復号する画像復号方法。
  50. 【請求項５０】請求項４９記載の画像復号方法におい
    て、 上記所定部分領域が位置を特定するための単位ブロック
    に分割されると共に、該所定部分領域が包含関係に基づ
    いて一または複数の単位ブロックにて構成されるブロッ
    ク領域にて階層化され、 上記第二の画像復号ステップにおいて、各階層の各ブロ
    ック領域に波形パターン群のいずれかの波形パターンと
    の内積値を得るための部分信号波形の位置が含まれるか
    否かを表すビット情報の連なりに基づいて符号化された
    位置情報を上記部分信号波形の画像内位置に復号する画
    像復号方法。
  51. 【請求項５１】請求項４７乃至５０いずれか記載の画像
    復号方法において、 上記第一の画像復号ステップに供すべき第一の圧縮画像
    情報は、原画像を符号化して得られる情報とすると共
    に、上記第二の画像復号ステップに供すべき第二の圧縮
    画像情報は、上記原画像の符号化に際して生ずる符号化
    歪み信号を符号化して得られる情報とし、 上記画像合成ステップでは、第一の画像復号ステップに
    て得られる原画像に係る第一の画像情報と、第二の画像
    ステップにて得られる符号化歪み信号に係る第二の画像
    情報とを合成して出力画像を得る画像復号方法。
  52. 【請求項５２】請求項５１記載の画像復号方法におい
    て、 上記第二の画像復号ステップに供すべき第二の圧縮画像
    情報は、原画像の符号化に際して生ずる符号化歪み信号
    に対して動き予測補償を行って得られる予測残差画像を
    符号化した情報とする画像復号方法。
  53. 【請求項５３】請求項５２記載の画像復号方法におい
    て、 第二の画像復号ステップでは、再生された予測残差画像
    に加算すべき予測画像を得るに際し、上記第一の画像復
    号ステップにて原画像を符号化して得られた情報を復号
    する過程で検出された動き情報を利用して動き補償を行
    う画像復号方法。
  54. 【請求項５４】請求項５３記載の画像復号方法におい
    て、 上記第一の画像復号ステップにて原画像を符号化して得
    られた情報を復号する過程で検出された動き情報を初期
    値として使用し、その動きの生じた位置の近傍の動きを
    復号して動き補償を行う画像復号方法。
  55. 【請求項５５】第一の圧縮画像を入力し、その第一の圧
    縮画像情報を所定部分領域毎に伸長して第一の画像情報
    を再生する第一の画像復号手段と、 第二の圧縮画像を入力し、その第二の圧縮画像情報を所
    定の部分信号波形毎に伸長して第二の画像情報を再生す
    る第二の画像復号手段と、 上記第一の画像情報と上記第二の画像情報とを合成して
    出力画像情報を得る画像合成手段とを有する画像復号装
    置において、 上記第二の画像復号手段は、 予め定めた複数の波形ベクトル群と、 上記第二の圧縮画像情報を所定の復号規則に従って、波
    形ベクトルを特定する情報、その波形ベクトルと部分信
    号波形との類似の度合いを表す類似度情報及びその部分
    信号波形の画像内位置を得る第一の手段と、 上記第一の画像復号ステップに供される第一の圧縮画像
    情報に含まれる符号化のパラメータと、上記部分信号波
    形の画像内位置とに基づいて、使用すべき波形ベクトル
    群を上記複数の波形ベクトル群から選択する第二の手段
    と、 その選択された波形ベクトル群において上記波形ベクト
    ルを特定する情報にて特定される当該波形ベクトル、上
    記類似度情報及び部分信号波形の画像内位置に基づいて
    上記第二の画像情報を生成する第三の手段とを有する画
    像復号装置。
  56. 【請求項５６】第一の圧縮画像を入力し、その第一の圧
    縮画像情報を所定部分領域毎に伸長して第一の画像情報
    を再生する第一の画像復号手段と、 第二の圧縮画像を入力し、その第二の圧縮画像情報を所
    定の部分信号波形毎に伸長して第二の画像情報を再生す
    る第二の画像復号手段と、 上記第一の画像情報と上記第二の画像情報とを合成して
    出力画像情報を得る画像合成手段とを有する画像復号装
    置において、 上記第二の画像復号手段は、 予め定めた複数の波形ベクトル群と、 上記第二の圧縮画像情報を所定の復号規則に従って、波
    形ベクトルを特定する情報、その波形ベクトルと部分信
    号波形との内積値及びその部分信号波形の画像内位置を
    得る第一の手段と、 上記第一の画像復号手段に供される第一の圧縮画像情報
    に含まれる符号化のパラメータと、上記部分信号波形の
    画像内位置とに基づいて、使用すべき波形ベクトル群を
    上記複数の波形ベクトル群から選択する第二の手段と、 その選択された波形ベクトル群において上記波形ベクト
    ルを特定する情報にて特定される当該波形ベクトル、上
    記内積値及び部分信号波形の画像内位置に基づいて上記
    第二の画像情報を生成する第三の手段とを有する画像復
    号装置。
  57. 【請求項５７】請求項５６記載の画像復号装置におい
    て、 上記第二の画像復号手段は、第二の圧縮画像情報を復号
    する際に、当該第二の圧縮画像情報に含まれる上記部分
    信号波形の画像内位置を所定の部分画像領域単位の情報
    として復号するようにした画像復号装置。
  58. 【請求項５８】請求項５７記載の画像復号装置におい
    て、 上記所定部分領域が位置を特定するための単位ブロック
    に分割されると共に、該所定部分領域が包含関係に基づ
    いて一または複数の単位ブロックにて構成されるブロッ
    ク領域にて階層化され、 上記第二の画像復号手段は、各階層の各ブロック領域に
    波形パターン群のいずれかの波形パターンとの内積値を
    得るための部分信号波形の位置が含まれるか否かを表す
    ビット情報の連なりに基づいて符号化された位置情報を
    上記部分信号波形の画像内位置に復号するようにした画
    像復号装置。
  59. 【請求項５９】請求項５６乃至５８いずれか記載の画像
    復号装置において、 上記第一の画像復号手段に供すべき第一の圧縮画像情報
    は、原画像を符号化して得られる情報とすると共に、上
    記第二の画像復号手段に供すべき第二の圧縮画像情報
    は、上記原画像の符号化に際して生ずる符号化歪み信号
    を符号化して得られる情報とし、 上記画像合成手段は、第一の画像復号手段にて得られる
    原画像に係る第一の画像情報と、第二の画像手段にてえ
    られる符号化歪み信号に係る第二の画像信号とを合成し
    て出力画像を得るようにした画像復号装置。
  60. 【請求項６０】請求項５９記載の画像復号装置におい
    て、 上記第二の画像復号手段に供すべき第二の圧縮画像情報
    は、原画像の符号化にて生ずる符号化歪み信号に対して
    動き補償を行って得られる予測残差画像を符号化した情
    報とする画像復号装置。
  61. 【請求項６１】請求項６０記載の画像復号装置におい
    て、 第二の画像復号手段は、再生された予測残差画像に加算
    すべき予測画像を得るに際し、上記第一の画像復号手段
    にて原画像を符号化して得られた情報を復号する過程で
    検出された動き情報を利用して動き補償を行うようにし
    た画像復号装置。
  62. 【請求項６２】請求項６１記載の画像復号装置におい
    て、 第一の画像復号手段にて原画像を符号化して得られた情
    報を復号する過程で検出された動き情報を初期値として
    使用し、その動きの生じた位置の近傍の動きを復号して
    動き補償を行うようにした画像復号装置。
  63. 【請求項６３】画像信号の部分信号波形との内積に基づ
    いて予め定められた波形ベクトル群から波形ベクトルを
    探索するパターンマッチング手段と、 上記探索された波形ベクトルを特定する情報と、上記部
    分信号波形とその探索された波形ベクトルとの内積値
    と、上記部分信号波形の画像内位置とを所定の符号化規
    則に従って符号化する波形パターン符号化ステップ手段
    とを有し、該波形パターン符号化手段は、上記部分信号
    波形の画像内位置をその画像信号の所定部分領域内での
    位置情報に置き換えて符号化し、 上記パターンマッチング手段と波形パターン符号化手段
    での処理を所定の条件が満たされるまで繰り返し実行す
    る過程で、上記波形パターン符号化手段にて符号化情報
    が得られる毎に、その符号化情報から得られる部分信号
    波形の復元波形を前記画像信号から差し引いてパターン
    マッチング手段に供すべき画像信号として、上記所定の
    条件が満たされるまでに上記波形パターン符号化手段に
    て得られた符号化情報に基づいて画像信号についての圧
    縮画像情報を生成する画像符号化装置と、 上記圧縮画像情報を画像符号化装置から所定の回線を介
    して入力し、 所定部分領域の圧縮画像情報を上記符号化規則に対応し
    た復号規則に従って復号して、波形ベクトルを特定する
    情報、その波形ベクトルと部分信号波形との内積値及び
    その部分信号波形の画像内位置とを得る第一の手段と、 予め定めた波形ベクトル群から上記波形ベクトルを特定
    する情報にて特定される当該波形ベクトル、上記内積値
    及び部分信号波形の画像内位置に基づいて画像情報を再
    生する第二の手段とを有し、 上記第一の手段は、上記圧縮画像情報を復号する際に、
    当該圧縮画像情報に含まれる上記部分信号波形の画像内
    位置を所定の部分画像領域単位の情報として復号するよ
    うにした画像復号装置とを有する画像処理システム。
  64. 【請求項６４】第一の画像信号を所定部分領域単位に第
    一の符号化規則に従って圧縮符号化して第一の圧縮画像
    情報を生成する第一の画像符号化手段と、 第二の画像信号をその部分信号波形毎に第二の符号化規
    則に従って圧縮符号化して第二の圧縮画像情報を生成す
    る第二の画像符号化手段とを有し、 上記第一の画像符号化手段に供される第一の画像信号
    と、該第一の画像符号化手段にて得られる符号化情報に
    局所復号処理を施して得られた信号との誤差信号に対応
    した信号を上記第二の画像符号化ステップに供する第二
    の画像信号とし、 上記第二の画像符号化手段は、 その第二の画像信号の部分信号波形との内積に基づいて
    予め定めた波形ベクトル群から波形ベクトルを探索する
    パターンマッチングス手段と、 上記探索された波形ベクトルを特定する情報と、上記部
    分信号波形とその探索された波形ベクトルとの内積値
    と、上記部分信号波形の第二の画像内位置を上記第二の
    符号化規則に従って圧縮符号化する波形パターン符号化
    手段とを有し、 上記パターンマッチング手段と波形パターン符号化手段
    での処理を所定の条件が満たされるまで繰り返し実行す
    る課程で、上記波形パターン符号化手段にて符号化情報
    が得られる毎に、その符号化情報から得られる部分信号
    波形の復元波形を前記第二の画像信号から差し引いてパ
    ターンマッチング手段に供すべき第二の画像信号とし、
    上記所定の条件が満たされるまでに波形パターン符号化
    手段にて得られた符号化情報により第二の画像信号につ
    いての符号化を行い、 上記パターンマッチング手段は、 複数の波形パターン群と、 上記第一の画像符号化手段での符号化に用いられるパラ
    メータ及び上記部分波形信号の第二の画像内位置に基づ
    いて、使用すべき波形ベクトル群を上記複数の波形ベク
    トル群から選択する波形パターン選択手段とを有する画
    像符号化装置と、 上記第一の圧縮画像情報を上記画像復号装置から所定の
    回線を介して入力し、その第一の圧縮画像情報を所定部
    分領域毎に上記第一の符号化規則に対応した第一の復号
    規則に従って伸長して第一の再生画像情報を生成する第
    一の画像復号手段と、 第二の圧縮画像を上記画像復号装置から所定の回線を介
    して入力し、その第二の圧縮画像情報を所定の部分信号
    波形毎に上記第二の符号化規則に対応した第二の復号規
    則に従って伸長して第二の再生画像情報を生成する第二
    の画像復号手段と、 上記第一の再生画像情報と上記第二の再生画像情報とを
    合成して出再生力画像情報を得る画像合成手段とを有
    し、 上記第二の画像復号手段は、 上記画像符号化装置と同様の複数の波形ベクトル群と、 上記第二の圧縮画像情報を上記第二の復号規則に従っ
    て、波形ベクトルを特定する情報、その波形ベクトルと
    部分信号波形との内積値及びその部分信号波形の画像内
    位置を得る第一の手段と、 上記第一の画像復号手段に供される第一の圧縮画像情報
    に含まれる符号化のパラメータと、上記部分信号波形の
    画像内位置とに基づいて、使用すべき波形ベクトル群を
    上記複数の波形ベクトル群から選択する第二の手段と、 その選択された波形ベクトル群において上記波形ベクト
    ルを特定する情報にて特定される当該波形ベクトル、上
    記内積値及び部分信号波形の画像内位置に基づいて上記
    第二の画像情報を生成する第三の手段とを有する画像復
    号装置とを有する画像処理システム。
JP2001110663A 2001-04-09 2001-04-09 画像符号化方法及び装置、画像復号方法及び装置、並びに画像処理システム Pending JP2002315004A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2001110663A JP2002315004A (ja) 2001-04-09 2001-04-09 画像符号化方法及び装置、画像復号方法及び装置、並びに画像処理システム
PCT/JP2002/003498 WO2002085029A1 (en) 2001-04-09 2002-04-08 Image encoding method and apparatus, image decoding method and apparatus, and image processing system
CN02801141A CN1461564A (zh) 2001-04-09 2002-04-08 图像编码方法与装置、图像解码方法与装置以及图像处理系统
EP02714540A EP1379089A4 (en) 2001-04-09 2002-04-08 IMAGE ENCODING METHOD AND APPARATUS, IMAGE DECODING METHOD AND APPARATUS, AND IMAGE PROCESSING SYSTEM
US10/297,488 US7245659B2 (en) 2001-04-09 2002-04-08 Image encoding method and apparatus, image decoding method and apparatus, and image processing system
US11/529,423 US20070025628A1 (en) 2001-04-09 2006-09-29 Image encoding method and image encoder, image decoding method and image decoder, and image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001110663A JP2002315004A (ja) 2001-04-09 2001-04-09 画像符号化方法及び装置、画像復号方法及び装置、並びに画像処理システム

Publications (1)

Publication Number Publication Date
JP2002315004A true JP2002315004A (ja) 2002-10-25

Family

ID=18962393

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001110663A Pending JP2002315004A (ja) 2001-04-09 2001-04-09 画像符号化方法及び装置、画像復号方法及び装置、並びに画像処理システム

Country Status (5)

Country Link
US (2) US7245659B2 (ja)
EP (1) EP1379089A4 (ja)
JP (1) JP2002315004A (ja)
CN (1) CN1461564A (ja)
WO (1) WO2002085029A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006324888A (ja) * 2005-05-18 2006-11-30 Fujitsu Ltd 動画像符号化装置
JP2008547324A (ja) * 2005-06-21 2008-12-25 株式会社エヌ・ティ・ティ・ドコモ ハイブリッド映像圧縮のための非線形予測フィルタ
JP2009141953A (ja) * 2007-12-06 2009-06-25 Samsung Electronics Co Ltd 映像を階層的に符号化／復号化する方法及び装置
JP2010507335A (ja) * 2006-10-18 2010-03-04 トムソン ライセンシング 予測データ精緻化を使用してビデオを符号化する方法及び装置
JP2011029860A (ja) * 2009-07-24 2011-02-10 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置，画像符号化方法および画像符号化プログラム
WO2011118156A1 (ja) * 2010-03-24 2011-09-29 パナソニック株式会社 画像復号装置、画像符号化装置、画像復号回路及び画像復号方法
JP2011254219A (ja) * 2010-06-01 2011-12-15 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
JP2011254215A (ja) * 2010-06-01 2011-12-15 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
JP2012235520A (ja) * 2006-09-22 2012-11-29 Thomson Licensing 複数経路ビデオ符号化及び復号化のための方法及び装置
JP2012531073A (ja) * 2009-06-22 2012-12-06 トムソン ライセンシング 画像系列のビデオデータを符号化する方法
US9071346B2 (en) 2013-11-11 2015-06-30 Fujitsu Limited Receiver and receiving method
JP2015156700A (ja) * 2009-07-06 2015-08-27 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 空間変化残差符号化を行う方法および装置
JP2016535465A (ja) * 2013-04-05 2016-11-10 ヴィド スケール インコーポレイテッド 多重レイヤビデオコーディングに対するインターレイヤ基準画像エンハンスメント

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7386049B2 (en) * 2002-05-29 2008-06-10 Innovation Management Sciences, Llc Predictive interpolation of a video signal
JP3800170B2 (ja) * 2002-12-11 2006-07-26 ソニー株式会社 符号化伝送装置及び符号化伝送方法
JP4375523B2 (ja) * 2002-12-20 2009-12-02 富士ゼロックス株式会社 画像処理装置、画像処理方法、画像処理プログラム、印刷物検査装置、印刷物検査方法、印刷物検査プログラム
EP1435740A1 (en) * 2002-12-30 2004-07-07 Visiowave S.A. Video coding method of exploiting the temporal redundancy between successive frames
JP2005167976A (ja) * 2003-11-14 2005-06-23 Victor Co Of Japan Ltd 動きベクトル検出装置及び動きベクトル検出プログラム
KR100958246B1 (ko) * 2003-11-26 2010-05-17 엘지디스플레이 주식회사 횡전계 방식의 액정표시장치 및 그 제조방법
US7079986B2 (en) * 2003-12-31 2006-07-18 Sieracki Jeffrey M Greedy adaptive signature discrimination system and method
US8478539B2 (en) 2003-12-31 2013-07-02 Jeffrey M. Sieracki System and method for neurological activity signature determination, discrimination, and detection
US8271200B2 (en) * 2003-12-31 2012-09-18 Sieracki Jeffrey M System and method for acoustic signature extraction, detection, discrimination, and localization
JP4543873B2 (ja) * 2004-10-18 2010-09-15 ソニー株式会社 画像処理装置および処理方法
JP4854046B2 (ja) * 2005-04-06 2012-01-11 トムソン ライセンシング エンハンスメント層ビデオ・データを符号化する方法および装置
CN101098473B (zh) * 2006-06-30 2012-05-09 联想(北京)有限公司 一种图像编码方法及装置
US20100040146A1 (en) * 2006-09-22 2010-02-18 Beibei Wang Method and apparatus for multiple pass video coding and decoding
JP4358215B2 (ja) * 2006-09-27 2009-11-04 株式会社東芝 動画像符号化装置及びその方法
KR101267178B1 (ko) * 2006-09-30 2013-05-24 톰슨 라이센싱 비디오에 대하여 색 인핸스먼트 계층을 인코딩 및 디코딩하기 위한 방법 및 디바이스
WO2008084817A1 (ja) * 2007-01-09 2008-07-17 Kabushiki Kaisha Toshiba 画像符号化と復号化の方法及び装置
US10194175B2 (en) * 2007-02-23 2019-01-29 Xylon Llc Video coding with embedded motion
US8184715B1 (en) * 2007-08-09 2012-05-22 Elemental Technologies, Inc. Method for efficiently executing video encoding operations on stream processor architectures
KR101365596B1 (ko) * 2007-09-14 2014-03-12 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
US8121197B2 (en) 2007-11-13 2012-02-21 Elemental Technologies, Inc. Video encoding and decoding using parallel processors
KR101456279B1 (ko) * 2008-01-03 2014-11-04 한국전자통신연구원 참조 블록 파형 정보에 기반하여 인트라 영상을 부호화하는 장치 및 복호화 하는 장치
US9313526B2 (en) 2010-02-19 2016-04-12 Skype Data compression for video
US8681873B2 (en) * 2010-02-19 2014-03-25 Skype Data compression for video
US20110206118A1 (en) * 2010-02-19 2011-08-25 Lazar Bivolarsky Data Compression for Video
US9819358B2 (en) * 2010-02-19 2017-11-14 Skype Entropy encoding based on observed frequency
US9609342B2 (en) 2010-02-19 2017-03-28 Skype Compression for frames of a video signal using selected candidate blocks
US8805083B1 (en) 2010-03-21 2014-08-12 Jeffrey M. Sieracki System and method for discriminating constituents of image by complex spectral signature extraction
US8493262B2 (en) * 2011-02-11 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Synthetic aperture radar image formation system and method
US8644383B2 (en) * 2011-03-10 2014-02-04 Microsoft Corporation Mean absolute difference prediction for video encoding rate control
US9691395B1 (en) 2011-12-31 2017-06-27 Reality Analytics, Inc. System and method for taxonomically distinguishing unconstrained signal data segments
US9886945B1 (en) 2011-07-03 2018-02-06 Reality Analytics, Inc. System and method for taxonomically distinguishing sample data captured from biota sources
US9558762B1 (en) 2011-07-03 2017-01-31 Reality Analytics, Inc. System and method for distinguishing source from unconstrained acoustic signals emitted thereby in context agnostic manner
WO2013109945A1 (en) * 2012-01-19 2013-07-25 Loram Maintenance Of Way, Inc. Method and apparatus for milling of railroad track
US9191696B2 (en) * 2012-06-15 2015-11-17 Samsung Electronics Co., Ltd. Reception device and program for reception device
JP5947631B2 (ja) * 2012-06-15 2016-07-06 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 受信装置及び受信装置用プログラム
US20150304678A1 (en) * 2012-12-26 2015-10-22 Sony Corporation Image processing device and method
US20150016547A1 (en) 2013-07-15 2015-01-15 Sony Corporation Layer based hrd buffer management for scalable hevc
CA3010350A1 (en) * 2015-01-04 2016-07-07 Anibal MARIN Interchangeable button system technology
US11026472B2 (en) * 2016-07-22 2021-06-08 Nike, Inc. Dynamic lacing system
CN108664533A (zh) * 2017-04-02 2018-10-16 田雪松 编码图样信息的处理方法及装置
US10356439B2 (en) * 2017-06-29 2019-07-16 Intel Corporation Flexible frame referencing for display transport
US10567757B2 (en) * 2018-05-31 2020-02-18 Agora Lab, Inc. Dynamic reference picture reconstruction
CN112449191B (zh) * 2019-08-27 2024-05-17 华为技术有限公司 压缩多个图像的方法、解压缩图像的方法和装置
CN111445620B (zh) * 2020-03-09 2022-05-13 广州中智融通金融科技有限公司 一种库房现金存储方法以及装置
JP2023535662A (ja) * 2021-06-28 2023-08-21 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド ビデオを修復するための方法、装置、機器、媒体及びコンピュータプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3788823B2 (ja) * 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
JP3672064B2 (ja) 1997-07-22 2005-07-13 Ｋｄｄｉ株式会社 画像の分割形状符号化方法
JPH11191153A (ja) * 1997-12-26 1999-07-13 Ricoh Co Ltd ウェーブレット変換係数の符号化方法
JP3660558B2 (ja) 2000-04-14 2005-06-15 日本電信電話株式会社 画像符号化方法、画像符号化装置及び画像符号化プログラムを記憶した媒体
JP3887178B2 (ja) * 2001-04-09 2007-02-28 株式会社エヌ・ティ・ティ・ドコモ 信号符号化方法及び装置並びに復号方法及び装置

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006324888A (ja) * 2005-05-18 2006-11-30 Fujitsu Ltd 動画像符号化装置
JP2008547324A (ja) * 2005-06-21 2008-12-25 株式会社エヌ・ティ・ティ・ドコモ ハイブリッド映像圧縮のための非線形予測フィルタ
JP2012235520A (ja) * 2006-09-22 2012-11-29 Thomson Licensing 複数経路ビデオ符号化及び復号化のための方法及び装置
US8542736B2 (en) 2006-10-18 2013-09-24 Thomson Licensing Method and apparatus for video coding using prediction data refinement
JP2010507335A (ja) * 2006-10-18 2010-03-04 トムソン ライセンシング 予測データ精緻化を使用してビデオを符号化する方法及び装置
JP2013258771A (ja) * 2006-10-18 2013-12-26 Thomson Licensing 予測データ精緻化を使用してビデオを符号化する方法及び装置
JP2009141953A (ja) * 2007-12-06 2009-06-25 Samsung Electronics Co Ltd 映像を階層的に符号化／復号化する方法及び装置
JP2012531073A (ja) * 2009-06-22 2012-12-06 トムソン ライセンシング 画像系列のビデオデータを符号化する方法
US9736500B2 (en) 2009-07-06 2017-08-15 Thomson Licensing Methods and apparatus for spatially varying residue coding
JP2015156700A (ja) * 2009-07-06 2015-08-27 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 空間変化残差符号化を行う方法および装置
JP2011029860A (ja) * 2009-07-24 2011-02-10 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置，画像符号化方法および画像符号化プログラム
JPWO2011118156A1 (ja) * 2010-03-24 2013-07-04 パナソニック株式会社 画像復号装置、画像符号化装置、画像復号回路及び画像復号方法
US8559736B2 (en) 2010-03-24 2013-10-15 Panasonic Corporation Image decoding apparatus, image coding apparatus, image decoding circuit, and image decoding method
JP5546044B2 (ja) * 2010-03-24 2014-07-09 パナソニック株式会社 画像復号装置、画像符号化装置、画像復号回路及び画像復号方法
US8897582B2 (en) 2010-03-24 2014-11-25 Panasonic Corporation Image decoding apparatus, image coding apparatus, image decoding circuit, and image decoding method
WO2011118156A1 (ja) * 2010-03-24 2011-09-29 パナソニック株式会社 画像復号装置、画像符号化装置、画像復号回路及び画像復号方法
JP2011254215A (ja) * 2010-06-01 2011-12-15 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
JP2011254219A (ja) * 2010-06-01 2011-12-15 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
JP2016535465A (ja) * 2013-04-05 2016-11-10 ヴィド スケール インコーポレイテッド 多重レイヤビデオコーディングに対するインターレイヤ基準画像エンハンスメント
US10708605B2 (en) 2013-04-05 2020-07-07 Vid Scale, Inc. Inter-layer reference picture enhancement for multiple layer video coding
US9071346B2 (en) 2013-11-11 2015-06-30 Fujitsu Limited Receiver and receiving method

Also Published As

Publication number Publication date
US20030179825A1 (en) 2003-09-25
US7245659B2 (en) 2007-07-17
CN1461564A (zh) 2003-12-10
WO2002085029A1 (en) 2002-10-24
EP1379089A4 (en) 2008-07-16
EP1379089A1 (en) 2004-01-07
US20070025628A1 (en) 2007-02-01

Similar Documents

Publication Publication Date Title
JP2002315004A (ja) 画像符号化方法及び装置、画像復号方法及び装置、並びに画像処理システム
JP3013698B2 (ja) ベクトル量子化符号化装置と復号化装置
JP5258664B2 (ja) 画像符号化装置、方法およびプログラム、並びに、画像復号装置、方法およびプログラム
US8194748B2 (en) Apparatus for scalable encoding/decoding of moving image and method thereof
JP6517152B2 (ja) ピクチャの符号化／復号化方法及びこれを利用する装置
KR102218696B1 (ko) 영상 변환 부호화/복호화 방법 및 장치
US20070268968A1 (en) Moving-picture coding apparatus, method and program, and moving-picture decoding apparatus, method and program
KR20060088461A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
CN104685874A (zh) 用于在高效率视频编解码中处理分区模式的设备和方法
KR20110040893A (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
KR19990067723A (ko) 비디오 프레임 시퀀스의 인코딩 방법 및 시스템과, 제조 물품
JP2003179925A (ja) ディジタルビデオ信号を圧縮するプロセスおよびシステムとプログラム製品
US6804299B2 (en) Methods and systems for reducing requantization-originated generational error in predictive video streams using motion compensation
WO2012096104A1 (ja) 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法、及び画像予測復号プログラム
KR20050112587A (ko) 동영상 인코딩, 디코딩 장치 및 그 방법
JP2004511978A (ja) 動きベクトルの圧縮
JPH0591498A (ja) 帯域分割動画像符号化装置
JP4415186B2 (ja) 動画像符号化装置、動画像復号化装置、コーデック装置、および、プログラム
WO2004010708A1 (en) Advanced method of coding and decoding motion vector and apparatus therefor
JPWO2010146782A1 (ja) 算術符号化装置、算術復号装置
KR20170044599A (ko) 움직임 추정을 이용한 영상 부호화 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080226

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080701