JP2002051344A

JP2002051344A - デジタル画像信号処理装置および方法

Info

Publication number: JP2002051344A
Application number: JP2000238160A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Takashi Nakanishi; 崇中西
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-08-07
Filing date: 2000-08-07
Publication date: 2002-02-15

Abstract

(57)【要約】【課題】圧縮効率が良く、しかも、伝搬損失に対して
も強い圧縮符号化を行なえるデジタル画像信号処理方法
を提供する。【解決手段】デジタル画像信号は、所定数の画素から
なるブロックにブロック化する。ブロック化されたデジ
タル画像信号の各ブロック毎に、それぞれ所定数と等し
い個数の評価値を有する複数の符号化テンプレートのそ
れぞれとの相関値を算出する。算出された複数の符号化
テンプレートのすべてに対するデジタル画像信号のすべ
てのブロックの相関値を、符号化デジタル画像信号とす
る。復号側では、符号化されたデジタル画像信号から、
各ブロックについての複数の符号化テンプレートに対す
る相関値を検出する。検出された各ブロックについての
相関値と、複数の復号テンプレートとに基づいて、各ブ
ロック毎にそれぞれ復号テンプレートに対応したベクト
ルを構成ベクトルとして求め、当該求めた構成ベクトル
を用いて復号処理を行なう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、デジタル画像信
号を効率良く圧縮符号化する装置および方法、また、圧
縮符号化したデジタル画像信号を復号する装置および方
法に関する。

【０００２】

【従来の技術】従来の画像信号についての圧縮方式とし
ては、ＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒ
ａｎｓｆｏｒｍ；離散コサイン変換）などの直交変換符
号化を利用したものや、画像中の自己相似性を利用した
フラクタル符号を用いるものなどがある。

【０００３】

【発明が解決しようとする課題】しかし、ＤＣＴなどの
直交変換符号化の手法を用いた場合、画像データの伝送
の際に、ＦＥＣ（ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒ
ｒｅｃｔｉｏｎ；誤り訂正）などのパリティビット、チ
ェックサムを余分に付加しており、画像データの圧縮の
効率を下げざるを得ない。

【０００４】また、伝送路においてパケットロス（パケ
ット消失）などの伝搬損失が起きたときに、ＤＣＴを利
用したＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘ
ｐｅｒｔＧｒｏｕｐ）方式の場合、１％のパケットロ
スでも復号化した画像にはエラーが他のブロックに伝搬
し、画像が破綻するなどの問題がある。

【０００５】また、上述のフラクタル符号の場合、エン
コードに膨大な時間がかかるため、リアルタイム通信に
は向かないなどの問題があった。

【０００６】この発明は、以上の点にかんがみ、圧縮効
率が良く、しかも、伝搬損失に対しても強い圧縮符号化
を行なえるデジタル画像信号処理装置および方法を提供
することを目的とする。

【０００７】

【課題を解決するための手段】上記課題を解決するた
め、この発明によるデジタル画像信号処理装置は、デジ
タル画像信号を、所定数の画素からなるブロックにブロ
ック化するブロック化手段と、前記ブロック化手段でブ
ロック化された前記デジタル画像信号の各ブロック毎
に、それぞれ前記所定数と等しい個数の評価値を有する
複数の符号化テンプレートのそれぞれとの相関値を算出
し、前記算出された前記複数の符号化テンプレートのす
べてに対する前記デジタル画像信号のすべての前記ブロ
ックの相関値を、符号化デジタル画像信号とする符号化
データ生成手段と、を備えることを特徴とする。

【０００８】上述の構成のこの発明においては、デジタ
ル画像信号は、所定数の画素からなるブロックに分けら
れる。そして、予め、ブロックを構成する画素数と等し
い個数の評価値を有する複数の符号化テンプレートが用
意される。

【０００９】そして、相関値算出手段では、デジタル画
像信号の各ブロック毎に、前記複数の符号化テンプレー
トのそれぞれとの相関値を算出する。そして、前記デジ
タル画像信号のすべての前記ブロックの、前記複数の符
号化テンプレートのすべてに対する相関値を、符号化デ
ジタル画像信号とし、伝送する場合には、この符号化デ
ジタル画像信号を伝送する。

【００１０】

【発明の実施の形態】以下、この発明によるデジタル画
像信号処理装置の実施の形態を、図を参照しながら説明
する。

【００１１】［デジタル画像信号処理装置の符号化処理
側の構成の第１の実施の形態］図１は、この第１の実施
の形態のデジタル画像信号処理装置の符号化処理側のブ
ロック図である。入力されるデジタル画像信号は、ブロ
ック化エンコード部１に供給されて、ブロック化され、
所定数の画素からなるブロック単位に分けられる。

【００１２】この第１の実施の形態では、ブロック化エ
ンコード部１は、画像メモリ２と書込み／読出しアドレ
ス制御部３とからなる。画像メモリ２は、２枚の画像メ
モリが交互に書込み用、読出し用に切り換えられて使用
されるもので、一方の画像メモリに、１枚の画像分のデ
ジタル画像信号の書込みが終了すると、他方の画像メモ
リがデジタル画像信号の書込み状態にされると共に、書
込みが終了した一方の画像メモリは読出し状態になる。
この読出しの際のアドレス制御部３によるアドレス制御
により、画像メモリ２から画像信号がブロック化されて
読出される。

【００１３】この第１の実施の形態では、入力されるデ
ジタル画像信号による画像を、水平方向にｍ画素毎、か
つ、垂直方向のｎライン毎に分割するようにして、１ブ
ロック当たり、ｍ×ｎ＝ｓ（ｍ，ｎ，ｓは２以上の整
数）個の画素からなるブロックを順次に生成するように
する。ここで、ｍとｎとは等しくてもよいし、また、等
しくなくてもよい。

【００１４】具体的には、この例では、図２に示すよう
に、入力されるデジタル画像信号による画像を、水平方
向は８画素毎に分割し、また、垂直方向は８ライン毎に
分割するようにして、水平×垂直＝８×８＝６４個の画
素からなるブロックを、ブロック化エンコード部１は、
順次に生成して、出力する。このブロック化エンコード
部１からのデジタル画像信号の各ブロックのデータは、
符号化処理部４に供給される。この符号化処理部４にお
ける符号化の方法の概要について、以下に、説明する。

【００１５】この実施の形態では、入力された画像に対
して、上述のように、水平×垂直＝ｍ×ｎ＝ｓ画素毎の
ブロック化を施するが、それらの各ブロックをｍ×ｎ＝
ｓ次元のベクトルと考える。このｓ次元のベクトルで表
されるブロックを、そのまま伝送するのではなく、各ブ
ロックのｓ次元ベクトルと、予め用意した複数個のｓ次
元の参照用のベクトルとの相関性（相関の度合い）を、
各ブロックの伝送データとする。ここで、参照用のベク
トルとしては、ｓ次元のベクトルを可逆に再現するため
には、互いに独立となるｓ個の参照ベクトルを用意すれ
ば良い。互いに独立となるためには、各参照用のベクト
ルのそれぞれが互いに直交するようにすれば良い。な
お、参照用のベクトルがｓ個よりも少ない場合には、圧
縮となる。

【００１６】この明細書では、前記参照用のベクトル
は、符号化テンプレートと呼ぶことにする。符号化テン
プレートは、画像データのブロックと同一の次元数のベ
クトルで表されるものであるが、この符号化テンプレー
トは、学習用の画像信号を用いて、以下のようにして生
成され、用意される。この場合、学習用の画像として
は、例えば横方向の周波数が高い画像や縦方向の周波数
が高い画像等、様々な複数種類の画像を用意しておき、
符号化テンプレートは、それらの複数種類の様々な学習
用画像を入力として予め作成しておくものである。

【００１７】図３は、符号化テンプレート作成手順を説
明するためのフローチャートである。先ず、学習用の画
像信号を入力する（手順Ｓ１）。この入力された学習用
の画像信号に対して、上述のブロック化エンコード部１
と全く同様に、水平×垂直＝ｍ×ｎ画素毎のブロック化
を施す（手順Ｓ２）。すなわち、符号化テンプレートを
作成するときの学習用画像に対するブロックサイズと、
符号化しようとする入力画像をブロック化するときのブ
ロックのサイズとを同じブロックサイズｍ×ｎに設定す
る。

【００１８】次に、各ブロックに対して、１ブロック内
の画素数と等しい次元数の空間内における座標であっ
て、それぞれのブロック内の全画素の値によって示され
る座標を決定する（手順Ｓ３）。これは、各ブロック
を、ｍ×ｎ＝ｓ次元のベクトルとして表すことに相当す
る。

【００１９】次に、手順Ｓ３で決定された学習用の画像
信号のすべてのブロックについて決定された座標に対し
て、主成分分析を行ない、それにより得られる正規直交
固有ベクトルを、符号化テンプレートとする（手順Ｓ
４）。この例の場合には、１ブロック内の画素数と等し
い数の符号化テンプレートを作成する。

【００２０】ここで主成分分析について説明を加える。
すなわち、この場合の主成分分析においては、ｍ×ｎの
各ブロックをそれぞれｍ×ｎ次元のベクトルとするが、
学習用の画像のすべてのブロックついてのベクトル（座
標）の分散が、ｍ×ｎ次元のベクトル空間上で一番大き
くなるような新しい軸（正規直交固有ベクトル）を順次
に作成する。このとき、軸同志は、互いに直交となるよ
うにする。

【００２１】図４は、簡単のために一例として２次元ベ
クトルについて示したものであり、図中の黒丸は、ベク
トルを表している。図４から判るように、黒丸は、単調
増加方向に大きな偏りを持っているので、入力データの
分散が一番大きくなるように、新しい軸として軸ｕを作
る。その後、２番目に大きな分散となるように、ｕ軸に
対して直交となるｖ軸を作成する。この操作を順次行な
い、新たな軸を作ることによって、入力データが効率良
く投影ができ、少ない次元数で解析、圧縮などを行なう
ことができる。

【００２２】この明細書では、前述したように、新たに
作成された正規直交固有ベクトルを符号化テンプレート
と呼び、最初に作成された軸は、符号化テンプレート＃
０、次に作成された軸は、符号化テンプレート＃１、…
というように、各符号化テンプレートに作成順に＃と数
字とを組み合わせたものを付加して表す。符号化テンプ
レートは、＃Ｎ−１までのＮ個（Ｎは２以上の整数）を
作成する。

【００２３】なお、ブロックサイズをｍ×ｎ（画素）に
設定した場合、符号化する際に使用する符号化テンプレ
ートの枚数Ｎをｍ×ｎ枚とすれば可逆符号化となる。つ
まり、伝送する際の符号化テンプレートの枚数を減らせ
ば、圧縮となる。具体的には、Ｐ枚の符号化テンプレー
トに対する情報のうちの上位Ｑ枚（Ｐ≧Ｑ）の符号化テ
ンプレートを、符号化の際に使用すれば、圧縮となる。

【００２４】以上のようにして、一つの学習用画像信号
についての符号化テンプレートの生成を終了したときに
は、すべての学習用画像信号についての符号化テンプレ
ートの生成を終了したかどうかを判別し（手順Ｓ５）、
未だ、符号化テンプレートの作成処理が終了していない
学習用画像信号があるときには、手順Ｓ１に戻り、その
学習用画像信号についての符号化テンプレートの作成処
理を、上述と同様にして行なう。

【００２５】そして、手順Ｓ５において、すべての学習
用画像信号についての符号化テンプレートの生成を終了
したと判別したときには、すべての学習用画像信号につ
いて生成した符号化テンプレートの中から、符号化テン
プレートを作成する（手順Ｓ６）。用意する符号化テン
プレートの数Ｎは、この実施の形態では、１ブロック内
の画素数と等しい数とし、画像データについての可逆圧
縮となるようにしている。

【００２６】以上のようにして、作成された符号化テン
プレートの例を図５に示す。この図５の例は、可逆圧縮
となるように、ブロックサイズが８×８であるので、合
計６４個の符号化テンプレートを作成した場合である。

【００２７】以上のようにして作成された符号化テンプ
レートは、この実施の形態では、図１の画像信号の送信
側と、後述する受信側とのそれぞれに、既知情報とし
て、例えばメモリに記憶することにより、予め装備させ
るようにする。なお、復号側に用意するテンプレート
は、復号テンプレートと呼ぶ。図１の符号化処理部４
は、このＮ個の符号化テンプレート＃０〜＃Ｎ−１のデ
ータを、図示を省略したメモリに格納して保持する。

【００２８】符号化処理部４は、上述のようにして用意
されたＮ個の符号化テンプレートのそれぞれについて、
符号化データ生成部５₀〜５_N-1を備える構成とされて
おり、ブロック化エンコード部１からの各ブロックのデ
ータは、符号化データ生成部５₀〜５_N-1のすべてに供
給される。すなわち、符号化データ生成部は、符号化テ
ンプレート毎に設けられており、符号化データ生成部５
₀〜５_N-1のそれぞれは、その各サフィックスに等しい
＃番号の符号化テンプレート用のものとされている。

【００２９】なお、Ｎ個の符号化データ生成部５₀〜５
_N-1のそれぞれは、後述するように、それぞれで用いら
れる符号化テンプレートと、拡散用の拡散符号とが異な
るのみで、基本的な構成は共通であるので、符号化デー
タ生成部５₀〜５_N-1の共通の構成を説明するときは、
サフィックスを省略して、符号化データ生成部５と記載
する。

【００３０】符号化データ生成部５は、符号化テンプレ
ート供給部１１と、符号化テンプレート供給部１１から
の符号化テンプレートと、ブロック化エンコード部１か
らの各ブロックとの相互相関を演算する相互相関算出部
１２と、相互相関算出部１２で算出されたブロック毎の
相関値を、１符号化テンプレート毎に量子化する量子化
部１３と、他の符号化テンプレートについての相関値と
多重化するためのスペクトラム拡散部１４と、スペクト
ラム拡散部１４に供給する拡散用の符号を発生する拡散
符号発生部１５と、符号多重化のための加算部６とを備
えて構成されている。

【００３１】符号化テンプレート供給部１１は、前述し
たＮ個の符号化テンプレートを記憶するメモリから、Ｎ
個の符号化データ生成部５₀〜５_N-1のそれぞれで用い
る符号化テンプレートを読み出して、相互相関値算出部
１２に供給する機能を備える部分である。すなわち、図
１にも示すように、符号化データ生成部５₀〜５_N-1の
それぞれの各サフィックスに等しい＃番号の符号化テン
プレートを、符号化データ生成部５₀〜５_N-1のそれぞ
れの符号化テンプレート供給部１１は、メモリから読出
して相互相関値算出部１２に供給する。

【００３２】各符号化データ生成部５₀〜５_N-1のそれ
ぞれの相互相関値算出部１２では、図６に示すような演
算式を用いた演算を行なう。すなわち、各符号化データ
処理部３ｉ（ｉ＝0 〜N-1 ）の相互相関値算出部１２で
は、符号化テンプレート＃ｉと、ブロック化エンコード
部１からの入力画像のすべてのブロックとの相互相関値
を算出する。

【００３３】この場合に、図６に示すように、入力画像
のｍ番目のブロックを、ブロック＃ｍとしたときに、そ
のブロック＃ｍを構成する各画素Ｂm0，Ｂm1，Ｂm2，
…，ＢmN-1（＝Ｂm63 ）と、符号化テンプレート＃ｉの
各評価値（各ブロックの画素に対応する評価値）Ｔi0，
Ｔi1，Ｔi2，…，ＴiN-1（＝Ｔi63)とを、同じ数字番号
のもの同志で掛け算したものの総和として、当該ブロッ
ク＃ｍの符号化テンプレート＃ｉに対する相互相関値Ｃ
miが得られる。

【００３４】以上のようにして、相互相関値算出部１２
で算出された各符号化テンプレート＃ｉ毎の相互相関値
は、それぞれ量子化部１３に供給されて量子化される。
この実施の形態では、この量子化部１３では、１枚分の
画像（フレームあるいはフィールド）単位で、量子化処
理を行なう。図７は、この実施の形態における量子化部
１３の一例の構成を示すブロック図である。また、図８
は、量子化処理の説明のための図である。

【００３５】相互相関値算出部１２からの各ブロック毎
の相互相関値Ｃmiは、平均値算出部２１、最大値検出部
２２、最小値検出部２３に供給されると共に、差分算出
部２４に供給される。

【００３６】平均値算出部２１では、１つの符号化テン
プレートに対する１枚分の入力画像のすべてのブロック
の相互相関値の平均値Ｍｅａｎを算出し、差分算出部２
４に供給する。差分算出部２４では、１つの符号化テン
プレートに対する入力画像の各ブロックの相互相関値
と、平均値Ｍｅａｎとの差分を算出し、その算出した差
分を再量子化部２５に供給する。

【００３７】最大値検出部２２および最小値検出部２３
は、１つの符号化テンプレートに対する１枚分の入力画
像のすべてのブロックの相互相関値の中の最大値ＭＡＸ
および最小値ＭＩＮを検出し、その検出した最大値ＭＡ
Ｘおよび最小値ＭＩＮをそれぞれダイナミックレンジ検
出部２６に供給する。

【００３８】ダイナミックレンジ検出部２６では、最大
値ＭＡＸと最小値ＭＩＮの差（ＭＡＸ−ＭＩＮ）とし
て、１つの符号化テンプレートに対する１枚分の入力画
像の全ブロックについての相互相関値のダイナミックレ
ンジＤＲを検出し、その検出したダイナミックレンジを
割り当てビット数決定部２７に供給する。割り当てビッ
ト数決定部２７は、ダイナミックレンジＤＲの大きさに
応じて、再量子化部２５での量子化ビット数を決定す
る。この場合、ダイナミックレンジＤＲが大きいほど、
多ビットを割り当てるようにする。

【００３９】再量子化部２５では、割り当てビット数決
定部２７により決定された割り当てビット数で、差分算
出部２４からの各ブロックと平均値Ｍｅａｎとの差分を
再量子化する。そして、その差分の再量子化値をフレー
ム化部２８に供給する。

【００４０】フレーム化部２８には、平均値算出部２１
からの平均値Ｍｅａｎと、ダイナミックレンジ検出部２
６からのダイナミックレンジＤＲも供給される。フレー
ム化部２８は、１枚分の入力画像のごとに、その画像の
すべてのブロックの１つの符号化テンプレートに対する
相互相関値Ｃmiと平均値Ｍｅａｎとの差分の再量子化値
と、その画像のすべてのブロックの１つの符号化テンプ
レートに対する前記相互相関値Ｃmiの平均値Ｍｅａｎ
と、ダイナミックレンジＤＲとを、一つの伝送データフ
レームとして構成する。

【００４１】したがって、各符号化データ生成部５₀〜
５_N-1のそれぞれの量子化部１３からは、各符号化テン
プレート＃０〜＃Ｎ−１に対する１枚分の画像のすべて
のブロックの相互相関値の量子化データが得られる。そ
して、各量子化部１３からの各符号化テンプレート＃０
〜＃Ｎ−１に対する全ブロックの相互相関値の量子化デ
ータは、それらを伝送するための多重化手段に供給され
る。

【００４２】この実施の形態では、多重化手段として
は、スペクトラム拡散が用いられる。このため、量子化
部１３からの量子化データのそれぞれは、スペクトラム
拡散部１４に供給される。このスペクトラム拡散部１４
には、前述したように、拡散符号発生部１５からの拡散
符号が供給されるが、この場合、各符号化データ生成部
５₀〜５_N-1のそれぞれにおける拡散符号＃０〜＃Ｎ−
１は、互いに異なり、かつ、互いに直交するものとされ
ている。この拡散符号としては、ＰＮ（Ｐｓｅｕｄｏｒ
ａｎｄｏｍＮｏｉｓｅ）符号などが用いられる。

【００４３】各符号化データ生成部５₀〜５_N-1のそれ
ぞれのスペクトラム拡散部１４では、符号化テンプレー
ト＃０〜＃Ｎ−１のそれぞれ毎に、拡散符号＃０〜＃Ｎ
−１によって量子化データをスペクトラム拡散し、加算
部６に供給する。加算部６では、各符号化データ生成部
５₀〜５_N-1からの拡散された量子化データを加算して
多重化した後、送信処理部７に供給する。

【００４４】送信処理部７では、加算部６からの多重化
データの、所定データ量単位に、パケットヘッダを付加
してパケットを構成する。パケットヘッダには、パケッ
トの通し番号などのヘッダ情報が含まれる。送信処理部
７は、そのパケットデータを、この例では、アンテナ８
を通じて送信する。

【００４５】この場合に、同じブロックについての全て
の符号化テンプレート＃０〜＃Ｎ−１に対する相関値の
データを同じ一つのパケットにすることもできるが、そ
の場合には、伝送エラーのためにそのパケットのデータ
にエラーが生じた場合には、そのブロックの全ての相関
値が消失してしまう。

【００４６】そこで、復号側の修復効率およびエラー耐
性、画像品質の問題を考慮して、同じブロックについて
の符号化テンプレート＃０〜＃Ｎ−１に対する相関値デ
ータは、別々のパケットとなるように、データを予め定
まった規則でバラバラにインターリーブするようにする
とよい。その場合には、送信処理部７は、パケット処理
部の前段に、データを蓄積するバッファと、前記インタ
ーリーブ処理を行なう手段を備える。

【００４７】［デジタル画像信号処理装置の復号処理側
の構成の第１の実施の形態］図９は、以上のようにし
て、符号化されて伝送されてくる符号化デジタル画像デ
ータを復号する、この実施の形態のデジタル画像信号処
理装置の復号処理側のブロック図である。

【００４８】前述したように、この復号処理側において
は、送信側（符号化処理側）で用いられた符号化テンプ
レート＃０〜＃Ｎ−１と全く等しいＮ個の復号テンプレ
ート＃０〜＃Ｎ−１を記憶するメモリ（図示せず）を備
えていると共に、多重化に用いられたＮ個の拡散符号＃
０〜＃Ｎ−１と全く同じＮ個の拡散符号を発生する拡散
符号発生部を備える。

【００４９】受信アンテナ３１で受信されたデータは、
受信部３２を通じて、Ｎ個の復号テンプレート＃０〜＃
Ｎ−１のそれぞれ毎の復号処理部３３₀〜３３_N-1に供
給される。Ｎ個の復号処理部３３₀〜３３_N-1は、それ
ぞれで用いられる逆拡散用の拡散符号と、復号テンプレ
ートとが異なるのみで、基本的な構成は全く等しいの
で、復号処理部３３₀〜３３_N-1の共通の構成を説明す
るときは、サフィックスを省略して、復号処理部３３と
記載する。

【００５０】復号処理部３３は、パケットロス検出部４
１と、逆拡散部４２と、逆拡散用の拡散符号発生部４３
と、相互相関値復調部４４と、エラーリカバリー部４５
と、ブロックデータ復調用の乗算器４６と、乗算器４６
に供給する復号テンプレートのデータを発生する復号テ
ンプレート供給部４７とからなる。

【００５１】復号テンプレート供給部４７は、前述した
Ｎ個の符号化テンプレートと全く等しいＮ個の復号テン
プレートを記憶するメモリから、Ｎ個の復号処理部３３
₀〜３３_N-1のそれぞれで用いる復号テンプレートを読
み出して、乗算器４６に供給する機能を備える部分であ
る。すなわち、図９にも示すように、復号処理部３３ ₀
〜３３_N-1のそれぞれの各サフィックスに等しい＃番号
の復号テンプレートを、復号処理部３３₀〜３３_N-1の
それぞれの復号テンプレート供給部４７は、乗算器４６
に供給する。

【００５２】復号処理部３３₀〜３３_N-1のそれぞれの
パケットロス検出部４１は、受信データをパケット分解
すると共に、伝送路におけるパケット消失やパケットエ
ラーを検出して、そのパケットに含まれる相関値のエラ
ーを検出する（消失したパケットやパケットエラーとな
ったパケットに含まれる相関値は、エラーとして検出す
る）ことでブロック単位のエラーを検出する。パケット
消失は、パケットヘッダなどに付加された連続的な番号
の欠落などにより検出される。そして、パケットロス検
出部４１では、エラーとなったブロックの相関値に関す
るデータ（差分値）には、エラーフラグを付加して、逆
拡散部４２に出力する。

【００５３】ここで、同じブロックについての全ての符
号化テンプレート＃０〜＃Ｎ−１に対する相関値のデー
タが一つのパケットとして伝送されてくる場合には、こ
のパケットロス検出部４１では、パケット分解するだけ
で、各ブロックの相関値のデータが得られる。

【００５４】しかし、前述したように、各ブロックにつ
いての複数個の符号化テンプレート＃０〜＃Ｎ−１に対
する相関値のデータがインターリーブされて、複数個の
パケットに分散されている場合には、パケットロス検出
部４１は、バッファとデ・インターリーブ処理を行なう
手段を備え、各ブロックの全ての符号化テンプレート＃
０〜＃Ｎ−１に対する相関値のデータを再構成して、逆
拡散部４２に出力するようにする。

【００５５】逆拡散部４２には、拡散符号発生部４３か
らの逆拡散用の拡散符号が供給されるが、この場合、各
復号処理部３３₀〜３３_N-1のそれぞれにおける拡散符
号は、送信側の各符号化データ生成部３₀〜３_N-1のそ
れぞれで用いられたものに等しい拡散符号＃０〜＃Ｎ−
１とされる。

【００５６】そして、各復号処理部３３₀〜３３_N-1の
逆拡散部４２では、拡散符号＃０〜＃Ｎ−１によって、
符号化テンプレート＃０〜＃Ｎ−１のそれぞれに対する
ブロック毎の相互相関値の量子化データが逆拡散されて
検出され、その検出された量子化データが相互相関値復
調部４４に供給される。この場合、Ｎ個の拡散符号＃０
〜＃Ｎ−１は、前述したように互いに直交しているの
で、特別な処理をしなくても、それぞれの拡散符号によ
りスペクトラム拡散された、符号化テンプレートに対す
るブロックの相互相関値の量子化データを、逆拡散によ
り検出することができる。

【００５７】相互相関値復調部４４では、逆拡散部４２
からの量子化データに含まれる１枚の画像データ当たり
のダイナミックレンジＤＲと、相互相関値の平均値Ｍｅ
ａｎが検出され、ダイナミックレンジＤＲから各相互相
関値の平均値Ｍｅａｎとの差分の量子化ビット数が検出
される。この検出された量子化ビット数に基づいて、各
ブロックの相互相関値の平均値Ｍｅａｎとの差分が復元
される。そして、その復元された相互相関値の差分と、
検出された平均値Ｍｅａｎとが加算されることにより、
各ブロックのそれぞれの符号化テンプレートに対する相
互相関値が復調される。

【００５８】こうして、各復号処理部３３₀〜３３_N-1
の相互相関値復調部４４では、対応する符号化テンプレ
ート＃０〜＃Ｎ−１のそれぞれ毎についての、１枚の画
像のすべてのブロックに関する相互相関値が得られる。
そして、相互相関値復調部４４は、復調した各ブロック
の相互相関値を、エラーリカバリー部４５に供給する。

【００５９】エラーリカバリー部４５は、パケットロス
検出部４１で付加されたエラーフラグに基づいて、エラ
ーのために相互相関値のデータが失われたブロックが検
出され、そのブロックの相互相関値が、画像上におい
て、当該ブロックの上下左右に隣接するブロックの相互
相関値を用いて補間される。これは、あるブロックの上
下左右に隣接するブロックは、相関性が比較的高く、し
かも、それらのブロックの相互相関値は、同一の符号化
テンプレートに対するものであるから、互いに相関性で
高いことが利用される。なお、このとき補間に用いられ
る隣接ブロックの相互相関値は、エラーとして検出され
なかったもののみが用いられる。

【００６０】補間の方法としては、この実施の形態で
は、データが失われたブロックの相互相関値を、その上
下左右に隣接するブロックの相互相関値の平均値として
算出する方法が用いられる。

【００６１】図１０は、この補間方法を説明するための
図である。図１０において、網点を付して示すブロック
がエラーにより相互相関値が失われたために補間により
復元しようとする消失ブロックであり、画像上のこの消
失ブロックの位置により、補間のために使用する隣接ブ
ロックが異なる。

【００６２】すなわち、消失ブロックの位置が、画像上
において、隣接ブロックとして上下左右のブロックが存
在するような中間部位置のブロックＢＬ１である場合に
は、当該上下左右の４個の隣接ブロックの相互相関値の
平均値により、その消失ブロックの相互相関値を補間す
る。

【００６３】また、消失ブロックの位置が、画像上にお
いて、４隅のブロックＢＬ２の場合には、隣接ブロック
は、上または下と、左または右の、２個ブロックとなる
ので、それらの２個のブロックの相互相関値の平均値に
より、その消失ブロックの相互相関値を補間する。

【００６４】また、消失ブロックの位置が、画像上にお
いて、４隅のブロックＢＬ２を除く上端、下端、左端、
右端のブロックＢＬ３である場合には、隣接ブロック
は、左右のブロックと上または下のブロックあるいは上
下のブロックと左または右のブロックの３個のブロック
となるので、それらの３個のブロックの相互相関値の平
均値により、その消失ブロックの相互相関値を補間す
る。

【００６５】なお、補間方法としては、上述の説明のよ
うな隣接ブロックの相互相関値の平均値とする方法に限
られるものではなく、前置ホールドや、周辺ブロックか
らの距離を考慮した重み付け補間などの方法であっても
よい。また、一つ前や後の画像の同一位置のブロックや
周辺ブロックの相互相関値を用いて補間をするようにし
てもよい。

【００６６】以上のようにして、エラーリカバリーがな
された各符号化テンプレートに対する１枚の画像のすべ
てのブロックの相互相関値は、乗算器４６に供給され
て、復号テンプレート供給部４７からの、対応する復号
テンプレートのデータと乗算される。そして、復号処理
部３３₀〜３３_N-1の乗算器４６の乗算結果のそれぞれ
は、加算部３４に供給される。

【００６７】すなわち、復号処理部３３₀〜３３_N-1の
乗算器４６においては、各ブロック毎に、そのブロック
の符号化テンプレート＃０〜＃Ｎ−１に対する相互相関
値と、それぞれ対応する復号テンプレート＃０〜＃Ｎ−
１との乗算が行なわれる。この乗算により、各ブロック
毎にそれぞれ復号テンプレートに対応したベクトルが構
成ベクトルとして求められる。そして、加算部３４で
は、各ブロック毎の、そのブロックの相互相関値と復号
テンプレート＃０〜＃Ｎ−１との乗算結果のすべてが加
算される。これにより、各ブロックの画素データが再現
される。

【００６８】すべてのブロックについて、上述の処理が
行われることにより、加算部３４からは、すべてのブロ
ックの画素データが順次に再現されることになる。この
加算部３４からの出力データは、ブロック化デコード部
３５に供給され、ブロックが画素に分解されて、元のデ
ジタル画像信号に復元される。

【００６９】この実施の形態では、ブロック化デコード
部３５は、画像メモリ３６と書込み／読出しアドレス制
御部３７とからなる。画像メモリ３６は、２枚の画像メ
モリが交互に書込み用、読出し用に切り換えられて使用
されるもので、一方の画像メモリに、加算部３４からの
ブロック単位のデータが、書込み／読出しアドレス制御
部３７によるアドレス制御により、順次に、元の状態に
復帰するように書き込まれて、１枚の画像分毎のデジタ
ル画像信号が書込まれる。

【００７０】一方の画像メモリへの書込みが終了する
と、他方の画像メモリがデジタル画像信号の書込み状態
にされると共に、書込みが終了した一方の画像メモリは
読出し状態になり、当該一方の画像メモリから順次に画
素データが読出されることにより、デジタル画像信号が
復元されて、出力される。すなわち、書込み／読出しア
ドレス制御部３によるアドレス制御により、画像メモリ
３６にはブロック分解された画素データが書き込まれ、
それが順次に読出されて、デジタル画像信号が出力され
る。

【００７１】以上のようにして、この実施の形態によれ
ば、複数個のテンプレートを、送信側と受信側とに、そ
れぞれ既知情報として共有しておき、画像データはブロ
ック化して、各ブロックと前記複数個のテンプレートと
の相互相関値を求め、その相互相関値のみを伝送情報と
するようにするので、伝送データ量は、非常に少なくな
り、効率の良い画像圧縮符号化を行なうことができる。

【００７２】上述の例では、テンプレートの個数は、ブ
ロックの構成画素数に等しくしたので、可逆圧縮とする
ことができるが、テンプレートの個数を、ブロックの構
成画素数よりも少なくすることにより、非可逆圧縮とは
なるが、圧縮率をより大きくすることが可能である。

【００７３】また、上述の実施の形態においては、ブロ
ックの相関値を、１枚の画像単位毎に量子化するように
したので、さらに、圧縮率を上げることができる。特
に、上述の実施の形態では、同じ一つの符号化テンプレ
ートに対する１枚分の画像のすべてのブロックの相互相
関値の平均値と、各ブロックの相互相関値との差分を伝
送するようにしたので、効率良く圧縮することができ
る。しかも、前記差分のダイナミックレンジに応じて、
量子化ビット数を定めるようにしたことにより、さらに
効率の良い圧縮することができる。

【００７４】また、各ブロックと符号化テンプレートと
の相互相関値を伝送するので、あるブロックの相互相関
値が、伝搬損失によりエラーとなったときにも、そのエ
ラーが他のブロックの相互相関値に伝搬することはな
く、しかも、上述のように、エラーリカバリー部によ
り、データの自己回復が可能となる。

【００７５】また、上述の実施の形態では、一つのブロ
ックについての全ての符号化テンプレートに対する相互
相関値が一つのパケットに含まれないようにインターリ
ーブしているので、一つのブロックについての全ての符
号化テンプレートに対する相互相関値が消失してしまう
ことを防止することができる。したがって、一つのブロ
ックの相関値が全て消失してしまった場合のエラーリカ
バリー部の修復結果よりも、品質の良い修復結果を得る
ことができる。

【００７６】［デジタル画像信号処理装置の第２の実施
の形態］この第２の実施の形態は、ブロック化により生
成されるブロックを構成する画素が、上述の第１の実施
の形態とは異なる。すなわち、上述の第１の実施の形態
では、画像信号についてのブロック化は、画像を分割し
たものに相当する、互いに近接する所定数の画素により
ブロックを作成するものであったが、この第２の実施の
形態においては、画像上において互いに離れた所定位置
の画素を前記所定数個集めて前記ブロックを作成するも
のである。

【００７７】この第２の実施の形態では、このようにす
ることにより、ブロック間の相関をより高くして、より
効率の良い圧縮ができると共に、伝搬損失によるデータ
欠落の自己回復の性能を向上させるものである。

【００７８】この第２の実施の形態のデジタル画像信号
処理装置の符号化処理側の構成は、図１に示したものと
同一のブロック構成とされるが、ブロック化エンコード
部１における書込み／読出しアドレス制御部３における
読出しアドレス制御が、第１の実施の形態の場合とは異
なる。

【００７９】同様にして、この第２の実施の形態のデジ
タル画像信号処理装置の復号処理側の構成は、図９に示
したものと同一のブロック構成とされるが、ブロック化
デコード部３５における書込み／読出しアドレス制御部
３７における書込みアドレス制御が、第１の実施の形態
の場合とは異なる。

【００８０】図１１は、この第２の実施の形態の場合の
ブロック化の一例を説明するための図である。この例で
は、入力画像の画サイズが、水平×垂直＝Ｗ［画素］×
Ｈ［ライン］（Ｗ，Ｈは整数）である場合において、水
平×垂直＝ｍ×ｎのサイズのブロックを生成する場合で
ある。

【００８１】この図１１の例では、等間隔に、水平方向
にＷ／ｍ個ずつ、垂直方向にＨ／ｎ個ずつ離れた位置の
画素をそれぞれ集めて、ブロックＢ＃ｉをそれぞれ生成
する。すなわち、入力画像を横にｍ分割し、縦にｎ分割
したとき、それぞれの分割領域内の同じ位置の画素を集
めてブロックＢ＃ｉを構成するものである。

【００８２】符号化テンプレート＃０〜＃Ｎ−１も、学
習用画像を同様にしてブロック化したものについて、前
述と同様にして作成する。この第２の実施の形態の場合
の符号化テンプレート＃０〜＃Ｎ−１の一例を、図１２
に示す。この図１２の例は、図５の例と同様に、ブロッ
クサイズが８×８の場合のものである。

【００８３】その他の構成は、前述の第１の実施の形態
と全く同一とする。

【００８４】以上のように構成した第２の実施の形態に
よれば、上述の第１の実施の形態の場合の効果に加え
て、以下のような顕著な効果が得られる。

【００８５】すなわち、隣接ブロック間の相関が高くな
るので、同一の符号化テンプレートについてのブロック
の相互相関値の相関も高くなり、エラーリカバリー部４
５で補間されるブロックの相互相関値として良好なもの
が得られる。したがって、画像圧縮を施しながら、同時
に伝搬エラーに対して強い画像データ符号化を行なうこ
とができる。

【００８６】図１３は、第１の実施の形態の場合におい
て、ブロックサイズを８×８に設定したときに、例えば
「皿に盛られた果物の画像」を用いて行なったシミュレ
ーションにより得られた相互相関値の結果を示すもので
あり、それぞれ符号化テンプレート＃０、＃１、＃６３
について示したものである。

【００８７】また、図１４は、全く同一の条件におい
て、第２の実施の形態の場合に得られた相互相関値の結
果を示すものである。両者の比較により、第２の実施の
形態の場合には、相互相関値の振幅が、各符号化テンプ
レートにおいて小さくなっており、相互相関値の相関が
高くなっていることが確認できる。

【００８８】そして、このように各符号化テンプレート
に対するすべてのブロックの相互相関値の振幅が小さい
ことから、量子化部１３で上述のような量子化を行なっ
たときには、ダイナミックレンジＤＲが小さくなるの
で、割り当てビット数が小さくなり、より圧縮率を高く
することができる。

【００８９】また、符号化テンプレート間の相互相関も
高くなるので、より伝搬損失に対して強い画像伝送が可
能になる。

【００９０】さらに、ブロックを復調した後、画素を元
の画像上のバラバラの位置に戻すことにより、エラーが
あった画素が分散されることになるため、復元された画
像上において、エラーが目立たなくなるという効果もあ
る。

【００９１】なお、この第２の実施の形態におけるブロ
ック化の方法は、上述の例のような規則的な方法に限ら
れるものではなく、アドレス制御部３におけるアドレス
コントロールが可能であれば、ブロックを構成する画素
を画像全体からバラバラに集める方法であってもよい。

【００９２】［デジタル画像信号処理装置の第３の実施
の形態］以上の実施の形態では、複数個の符号化テンプ
レート＃０〜＃Ｎ−１のそれぞれ毎に、１枚の画像の全
てのブロックについての相互相関値を求めて、量子化す
るようにしたが、各ブロック毎に、符号化テンプレート
＃０〜＃Ｎ−１との相互相関値を求め、その求めた相互
相関値をブロック毎に量子化して伝送するようにするこ
ともできる。

【００９３】図１５は、この第３の実施の形態の場合の
デジタル画像信号処理装置の符号化処理側のブロック図
である。入力されるデジタル画像信号は、画像メモリ５
２と書込み／読出しアドレス制御部５３とからなるブロ
ック化エンコード部５１に供給される。このブロック化
エンコード部５１では、アドレス制御部５３によるアド
レス制御により、画像メモリ５２に書き込まれた画像信
号は、所定数の画素からなるブロック単位に分けられて
読み出される。

【００９４】この第３の実施の形態においても、前述の
実施の形態と全く同様にして、入力されるデジタル画像
信号による画像を、水平方向にｍ画素毎、かつ、垂直方
向のｎライン毎に分割するようにして、１ブロック当た
り、ｍ×ｎ＝ｓ（ｍ，ｎ，ｓは２以上の整数）個の画素
からなるブロックを順次に生成するようにする。ここ
で、ｍとｎとは等しくてもよいし、また、等しくなくて
もよい。

【００９５】具体的には、この例では、前述の図２に示
したように、入力されるデジタル画像信号による画像
を、水平方向は８画素毎に分割し、また、垂直方向は８
ライン毎に分割するようにして、水平×垂直＝８×８＝
６４個の画素からなるブロックを、ブロック化エンコー
ド部５１は、順次に生成して、出力する。このブロック
化エンコード部５１からのデジタル画像信号の各ブロッ
クのデータは、符号化処理部５４に供給される。

【００９６】この第３の実施の形態の場合の符号化処理
部５４は、ブロック単位相互相関値算出部５５と、符号
化テンプレート供給部５６と、ブロック単位量子化部５
７とからなる。符号化テンプレート供給部５６は、Ｎ個
の符号化テンプレート＃０〜＃Ｎ−１を発生する。前述
の実施の形態と同様に、この実施の形態においても、可
逆圧縮となるように、符号化テンプレートの数Ｎは、ブ
ロックの構成画素数に等しくされ、この例では、Ｎ＝６
４とされている。

【００９７】ブロック化エンコード部５３からは１ブロ
ック単位で、ブロック単位相互相関値算出部５５にデー
タが供給され、ブロック単位相互相関値算出部５５に設
けられるブロック単位のデータのバッファに書き込まれ
る。

【００９８】符号化テンプレート供給部５６からは、Ｎ
個の符号化テンプレート＃０〜＃Ｎ−１が、順次に、ブ
ロック単位相互相関値算出部５５に供給される。相互相
関値算出部５５では、バッファに書き込まれた一つのブ
ロックについて、前記Ｎ個の符号化テンプレート＃０〜
＃Ｎ−１のそれぞれとの相互相関値を算出し、それぞれ
の算出結果の相互相関値をブロック単位量子化部５７に
供給する。相互相関値の算出方法は、前述の実施の形態
と全く同じである。

【００９９】ブロック単位相互相関値算出部５５で、一
つのブロック当たりについてのＮ個の符号化テンプレー
ト＃０〜＃Ｎ−１のそれぞれに対する相互相関値の算出
が終了すると、ブロック化エンコード部５１から次のブ
ロックデータがブロック単位相互相関値算出部５５のバ
ッファに書き込まれて、上述と同様の動作がブロック単
位で繰り返される。

【０１００】ブロック単位量子化部５７では、ブロック
単位相互相関値算出部５５からの一つのブロックについ
てのＮ個の符号化テンプレート＃０〜＃Ｎ−１のそれぞ
れに対するＮ個の相互相関値を量子化する。量子化の方
法としては、前述の実施の形態と同様にして、一つのブ
ロックについての前記Ｎ個の相互相関値の平均値を算出
し、その平均値と、各相互相関値の差分を求め、その差
分値を、前記Ｎ個の相互相関値のダイナミックレンジに
応じたビット数で量子化する方法を用いる。

【０１０１】このブロック単位量子化部５７からのブロ
ック単位の量子化データは、送信処理部５８に供給され
る。この送信処理部５８では、符号化処理部５４のブロ
ック単位量子化部５７からの量子化データの、所定デー
タ量単位に、パケットヘッダを付加してパケットを構成
する。パケットヘッダには、パケットの通し番号などの
ヘッダ情報が含まれる。送信処理部５８は、そのパケッ
トデータを、この例では、アンテナ５９を通じて送信す
る。

【０１０２】この場合に、同じブロックについての全て
の符号化テンプレート＃０〜＃Ｎ−１に対する相関値の
データを同じ一つのパケットにすることもできるが、そ
の場合には、伝送エラーのためにそのパケットのデータ
にエラーが生じた場合には、そのブロックの全ての相関
値が消失してしまう。

【０１０３】そこで、この実施の形態では、復号側の修
復効率およびエラー耐性、画像品質の問題を考慮して、
同じブロックについての符号化テンプレート＃０〜＃Ｎ
−１に対する相関値データは、別々のパケットとなるよ
うに、データを予め定まった規則でバラバラにインター
リーブする。このため、送信処理部５８は、パケット処
理部の前段に、データを蓄積するバッファと、インター
リーブ処理を行なうための手段を備える。

【０１０４】［デジタル画像信号処理装置の第３の実施
の形態の復号処理側の構成］図１６は、以上のようにし
て符号化されて伝送されてくる符号化デジタル画像デー
タを復号する、この実施の形態のデジタル画像信号処理
装置の復号処理側のブロック図である。

【０１０５】この復号処理側においては、送信側（符号
化処理側）で用いられた符号化テンプレート＃０〜＃Ｎ
−１と全く等しいＮ個の復号テンプレート＃０〜＃Ｎ−
１を記憶するメモリ（図示せず）を備えている復号テン
プレート供給部６８が設けられる。

【０１０６】受信アンテナ６１で受信されたデータは、
受信部６２を通じて、パケットロス検出およびパケット
分解部６３に供給される。パケットロス検出部６３は、
受信データをパケット分解すると共に、伝送路における
パケット消失やパケットエラーを検出して、それらのパ
ケットに含まれるブロックの相関値をエラーとして検出
する。パケット消失は、パケットヘッダなどに付加され
た連続的な番号の欠落などにより検出される。そして、
パケットロス検出およびパケット分解部６３では、エラ
ーとなった、符号化テンプレートに対するブロックの相
関値に関するデータ（差分値）には、エラーフラグを付
加して、ブロック単位相互相関値復調部６４に出力す
る。

【０１０７】ここで、同じブロックについての全ての符
号化テンプレート＃０〜＃Ｎ−１に対する相関値のデー
タが一つのパケットとして伝送されてくる場合には、こ
のパケットロス検出およびパケット分解部６３では、パ
ケット分解するだけで、一つのブロックの全ての符号化
テンプレート＃０〜＃Ｎ−１に対する相関値のデータが
得られる。

【０１０８】しかし、前述したように、各ブロックにつ
いての複数個の符号化テンプレート＃０〜＃Ｎ−１に対
する相関値のデータがインターリーブされて、複数個の
パケットに分散されている場合には、パケットロス検出
およびパケット分解部６３は、バッファとデ・インター
リーブ処理を行なう手段を備え、全ての符号化テンプレ
ート＃０〜＃Ｎ−１に対する各ブロックの相関値のデー
タを再構成して、ブロック単位相互相関値復調部６４に
出力するようにする。

【０１０９】ブロック単位相互相関値復調部６４では、
パケットロス検出およびパケット分解部６３からの量子
化データに含まれる１ブロックの全ての相互相関値当た
りのダイナミックレンジと、相互相関値の平均値が検出
され、ダイナミックレンジから各相互相関値の平均値と
の差分の量子化ビット数が検出される。この検出された
量子化ビット数に基づいて、各ブロックの相互相関値の
平均値との差分が復元される。そして、その復元された
相互相関値の差分と、検出された平均値とが加算される
ことにより、各ブロックのそれぞれの符号化テンプレー
トに対する相互相関値が復調される。そして、ブロック
単位相互相関値復調部６４で復調された各ブロックの相
互相関値は、エラーリカバリー部６５に供給される。

【０１１０】エラーリカバリー部６５は、パケットロス
検出およびパケット分解部６３で付加されたエラーフラ
グに基づいて、エラーのためにデータが失われたブロッ
クの相関値（ある一つの符号化テンプレートに対する相
互相関値）が検出され、そのブロックの相互相関値が、
画像上において、当該ブロックの上下左右に隣接するブ
ロックの相互相関値を用いて補間される。これは、ある
ブロックの上下左右に隣接するブロックは、相関性が比
較的高く、しかも、それらのブロックの相互相関値は、
同一の符号化テンプレートに対するものであるから、互
いに相関性で高いことが利用される。なお、このとき補
間に用いられる隣接ブロックの相互相関値は、エラーと
して検出されなかったもののみが用いられる。

【０１１１】補間の方法としては、前述の実施の形態と
同様に、データが失われたブロックの相互相関値を、そ
の上下左右に隣接するブロックの相互相関値の平均値と
して算出する方法が用いられる。

【０１１２】なお、補間方法としては、上述の説明のよ
うな隣接ブロックの相互相関値の平均値とする方法に限
られるものではなく、前置ホールドや、周辺ブロックか
らの距離を考慮した重み付け補間などの方法であっても
よい。また、一つ前や後の画像の同一位置のブロックや
周辺ブロックの相互相関値を用いて補間をするようにし
てもよい。

【０１１３】以上のようにして、エラーリカバリーがな
された全ての符号化テンプレート＃０〜＃Ｎ−１に対す
る各ブロックの相互相関値は、テンプレート毎分配部６
６に供給されて、各符号化テンプレート＃０〜＃Ｎ−１
のそれぞれに対する相互相関値に分配される。

【０１１４】そして、その分配された１ブロックのそれ
ぞれの符号化テンプレート＃０、＃１、…、＃Ｎ−１に
対する相互相関値は、それぞれ乗算器６７０、６７１、
…、６７Ｎ−１に供給されて、復号テンプレート供給部
６８からの、対応する復号テンプレート＃０、＃１、
…、＃Ｎ−１のデータと乗算される。この乗算により、
各ブロック毎にそれぞれの復号テンプレートに対応した
ベクトルが構成ベクトルとして求められる。

【０１１５】そして、乗算器６７０、６７１、…、６７
Ｎ−１の乗算結果のそれぞれは、加算部６９に供給され
る。この加算部６９では、各ブロック毎の、そのブロッ
クの相互相関値と復号テンプレート＃０〜＃Ｎ−１との
乗算結果のすべてが加算される。これにより、各ブロッ
クの画素データが再現される。

【０１１６】すべてのブロックについて、上述の処理が
行われることにより、加算部６９からは、すべてのブロ
ックの画素データが順次に再現されることになる。この
加算部６９からの出力データは、画像メモリ７１と、書
込み／読出しアドレス制御部７２からなるブロック化デ
コード部７０に供給され、前述の実施の形態の場合のブ
ロック化デコード部３５と同様にして、ブロックが画素
に分解されて、元のデジタル画像信号に復元される。

【０１１７】上述の実施の形態では、一つのブロックに
ついての全ての符号化テンプレートに対する相互相関値
が一つのパケットに含まれないようにインターリーブし
て伝送しているので、一つのブロックについての全ての
符号化テンプレートに対する相互相関値が消失してしま
うことがなく、幾つかの符号化テンプレートに対する相
互相関値を修復することにより、補間により修復可能と
なる。したがって、一つのブロックの相関値が全て消失
してしまった場合のエラーリカバリー部の修復結果より
も、品質の良い修復結果を得ることができる。

【０１１８】［変形例］上述の実施の形態では、複数個
のテンプレートは、予め、送信側および受信側に既知の
情報としてメモリに保存しておくようにしたが、符号化
デジタル画像信号の伝送に先立ち、複数個の符号化テン
プレートの情報を、送信側から、受信側に予め送信し
て、受信側において、復号テンプレートとしてメモリに
格納するようにしても、勿論よい。

【０１１９】また、例えば、自然画用の符号化テンプレ
ート、人物画用の符号化テンプレート、アニメーション
画像用の符号化テンプレートなどのように、伝送しよう
とする画像に応じて複数種の符号化テンプレートを用意
すると共に、受信側にも同じデータの複数個の復号テン
プレートを用意しておき、画像伝送に先立ち、あるいは
伝送画像の先頭のデータとして、それらの複数種のテン
プレートのいずれを用いるかの情報を、受信側に送るよ
うにしても良い。

【０１２０】なお、量子化部１３における量子化方法
は、一例であって、これに限られるものではない。例え
ばＶＱ（ＶｅｃｔｏｒＱｕａｎｔｉｚａｔｉｏｎ；ベ
クトル量子化）や、ダイナミックレンジＤＲに応じて相
互相関値を量子化するＡＤＲＣ（ＡｄａｐｔｉｖｅＤ
ｙｎａｍｉｃＲａｎｇｅＣｏｄｉｎｇ）などを用い
ても良い。

【０１２１】また、多重化のための方法としては、スペ
クトラム拡散に限られるものではなく、時分割、周波数
多重などの種々の方法を用いることができることはいう
までもない。

【０１２２】

【発明の効果】以上説明したように、この発明によれ
ば、伝送データ量を、非常に少なくすることができ、効
率の良い画像圧縮符号化を行なうことができる。また、
圧縮をしながら、伝搬損失が起こったときにエラーが他
のブロックに伝搬することなく、エラーブロックの自己
回復が可能となる。

【図面の簡単な説明】

【図１】この発明によるデジタル画像信号処理装置の実
施の形態の符号化処理側の構成例を示すブロック図であ
る。

【図２】第１の実施の形態におけるブロック化を説明す
るための図である。

【図３】実施の形態における符号化テンプレートの作成
方法を説明するための図である。

【図４】図３の符号化テンプレートの作成方法の説明に
用いる図である。

【図５】第１の実施の形態における符号化テンプレート
の例を示す図である。

【図６】実施の形態におけるブロック毎の符号化テンプ
レートに対する相互相関値の算出方法の説明に用いる図
である。

【図７】実施の形態における相互相関値の量子化部の一
例を示すブロック図である。

【図８】図７の量子化部での量子化処理の説明に用いる
図である。

【図９】この発明によるデジタル画像信号処理装置の実
施の形態の復号処理側の構成例を示すブロック図であ
る。

【図１０】実施の形態の復号処理側におけるエラーリカ
バリーの方法を説明するための図である。

【図１１】第２の実施の形態におけるブロック化を説明
するための図である。

【図１２】第２の実施の形態における符号化テンプレー
トの例を示す図である。

【図１３】第１の実施の形態の場合の符号化テンプレー
トに対する相互相関値のシミュレーション結果の例を示
す図である。

【図１４】第２の実施の形態の場合の符号化テンプレー
トに対する相互相関値のシミュレーション結果の例を示
す図である。

【図１５】この発明によるデジタル画像信号処理装置の
第３の実施の形態の符号化処理側の構成例を示すブロッ
ク図である。

【図１６】この発明によるデジタル画像信号処理装置の
第３の実施の形態の復号処理側の構成例を示すブロック
図である。

【符号の説明】

１…ブロック化エンコード部、２…画像メモリ、３…書
込み／読出しアドレスコントロール部、４…符号化処理
部、５₀〜５_N-1…符号化データ生成部、６…加算部、
１１…符号化テンプレート供給部、１２…相互相関値算
出部、１３…量子化部、１４…スペクトラム拡散部、１
５…拡散符号発生部、３３₀〜３３_N-1…復号処理部、
３４…加算部、３５…ブロック化デコード部、４１…パ
ケットロス検出部、４２…逆拡散部、４３…拡散符号発
生部、４４…相互相関値復調部、４５…エラーリカバリ
ー部、４６…乗算部、４７…符号化テンプレート供給部

フロントページの続きＦターム(参考） 5C059 MA27 MA28 MA47 MD04 RB01 RB02 RB05 RB06 TA45 TB08 TC18 TD02 TD03 TD15 UA02 UA05 UA33 UA38 5C078 AA04 BA44 CA01 DA01 DA02 EA01 5J064 AA02 BA13 BA15 BC01 BC02 BC08 BC09 BC16 BC27 BD02

Claims

【特許請求の範囲】

【請求項１】デジタル画像信号を、所定数の画素からな
るブロックにブロック化するブロック化手段と、前記ブロック化手段でブロック化された前記デジタル画
像信号の各ブロック毎に、それぞれ前記所定数と等しい
個数の評価値を有する複数の符号化テンプレートのそれ
ぞれとの相関値を算出し、前記算出された前記複数の符
号化テンプレートのすべてに対する前記デジタル画像信
号のすべての前記ブロックの相関値を、符号化デジタル
画像信号とする符号化データ生成手段と、を備えることを特徴とするデジタル画像信号処理装置。
【請求項２】前記符号化テンプレートの個数は、前記所
定数に等しいことを特徴とする請求項１に記載のデジタ
ル画像信号処理装置。
【請求項３】前記算出された前記相関値を量子化する量
子化手段を備えると共に、前記量子化された前記相関値を、所定のフォーマットに
変換する変換手段を備える、ことを特徴とする請求項１に記載のデジタル画像信号処
理装置。
【請求項４】前記符号化テンプレート作成のためのデジ
タル画像信号である学習用画像信号を前記所定数の画素
からなるブロックにブロック化し、前記学習用画像信号の各ブロックに対して、前記ブロッ
ク化された前記学習用画像信号の１ブロック内の画素数
と等しい次元数の空間内における座標であって、それぞ
れ前記ブロック内の全画素の値によって示される座標を
決定し、前記次元数の空間での、すべての前記ブロックの座標に
対して主成分分析を行なうことにより得られた正規直交
固有ベクトルをそれぞれ前記符号化テンプレートとする
ことを特徴とする請求項１に記載のデジタル画像信号処
理装置。
【請求項５】前記複数の符号化テンプレートを記憶する
記憶部を備えることを特徴とする請求項１に記載のデジ
タル画像信号処理装置。
【請求項６】前記符号化データ生成手段は、前記符号化
テンプレート毎に、前記デジタル画像信号のすべてのブ
ロックの前記相関値を算出することを特徴とする請求項
１に記載のデジタル画像信号処理装置。
【請求項７】前記ブロック化手段は、前記デジタル画像
信号による画像を分割したものに相当する、互いに近接
する前記所定数の画素により前記ブロックを作成するこ
とを特徴とする請求項１に記載のデジタル画像信号処理
装置。
【請求項８】前記ブロック化手段は、前記デジタル画像
信号による画像上において互いに離れた所定位置の画素
を前記所定数個集めて前記ブロックを作成することを特
徴とする請求項１に記載のデジタル画像信号処理装置。
【請求項９】請求項３に記載のデジタル画像信号処理装
置において、前記量子化手段は、各符号化テンプレートに対して算出された前記デジタル
画像信号のすべてのブロックについての前記相関値の平
均値を算出する平均値算出手段と、各符号化テンプレートに対して算出された前記デジタル
画像信号のすべてのブロックについての前記相関値のダ
イナミックレンジを検出するダイナミックレンジ検出手
段と、前記ダイナミックレンジ検出手段で検出された前記ダイ
ナミックレンジに基づいて、量子化ビット数を決定する
量子化ビット数決定手段と、前記量子化ビット数決定手段で決定された前記量子化ビ
ット数に基づいて、各ブロックについての相関値と前記
平均値との差分値を量子化する差分量子化手段と、を備えることを特徴とするデジタル画像信号処理装置。
【請求項１０】所定数の画素からなる各ブロック毎に、
それぞれ前記所定数と等しい個数の評価値を有する複数
の符号化テンプレートのそれぞれとの相関値を算出する
ことで符号化されたデジタル画像信号を復号するデジタ
ル画像信号処理装置であって、前記複数の符号化テンプレートと同じデータからなる複
数の復号テンプレートを記憶する記憶部と、前記符号化されたデジタル画像信号から、前記各ブロッ
クについての前記複数の符号化テンプレートに対する相
関値を検出する手段と、前記検出された各ブロックについての前記相関値と、前
記複数の復号テンプレートとに基づいて、各ブロック毎
にそれぞれ前記復号テンプレートに対応したベクトルを
構成ベクトルとして求め、当該求めた構成ベクトルを用
いて復号処理を行なう復号処理手段と、を備えることを特徴とするデジタル画像信号処理装置。
【請求項１１】前記各ブロックについての前記複数の符
号化テンプレートのそれぞれに対する相関値のエラー状
態を検出するエラー検出手段と、前記エラー検出手段でエラー状態とされた相関値を、同
じ符号化テンプレートに対する相関値である他のブロッ
クの相関値に基づいて補間する相関値補間手段と、を備えることを特徴とする請求項１０に記載のデジタル
画像信号処理装置。
【請求項１２】前記相関値補間手段で補間に用いる前記
他のブロックの相関値は、前記エラー検出手段でエラー
状態でないとされた相関値であることを特徴とする請求
項１１に記載のデジタル画像信号処理装置。
【請求項１３】前記ブロックは、前記デジタル画像信号
による画像上において互いに離れた所定位置の画素が前
記所定数個集められて作成されたものであり、前記記憶部は、前記所定数の前記復号テンプレートを記
憶することを特徴とする請求項１０に記載のデジタル画
像信号処理装置。
【請求項１４】デジタル画像信号を、所定数の画素から
なるブロックにブロック化するブロック化工程と、前記ブロック化工程でブロック化された前記デジタル画
像信号の各ブロック毎に、それぞれ前記所定数と等しい
個数の評価値を有する複数の符号化テンプレートのそれ
ぞれとの相関値を算出する相関値算出工程と、を備え、前記相関値算出工程で算出された、前記複数の符号化テ
ンプレートのすべてに対する前記デジタル画像信号のす
べての前記ブロックの相関値を、符号化デジタル画像信
号とすることを特徴とするデジタル画像信号処理方法。
【請求項１５】前記符号化テンプレートの個数は、前記
所定数に等しいことを特徴とする請求項１４に記載のデ
ジタル画像信号処理方法。
【請求項１６】前記相関値算出工程で算出された前記相
関値を量子化する量子化工程と、前記量子化工程で量子化された前記相関値を、所定のフ
ォーマットに変換する変換工程と、を備えることを特徴とする請求項１４に記載のデジタル
画像信号処理方法。
【請求項１７】前記符号化テンプレート作成のためのデ
ジタル画像信号である学習用画像信号を前記所定数の画
素からなるブロックにエンコードし、前記学習用画像信号の各ブロックに対して、前記ブロッ
ク化された前記学習用画像信号の１ブロック内の画素数
と等しい次元数の空間内における座標であって、それぞ
れ前記ブロック内の全画素の値によって示される座標を
決定し、前記次元数の空間での、すべての前記ブロックの座標に
対して主成分分析を行なうことにより得られた正規直交
固有ベクトルをそれぞれ前記符号化テンプレートとする
ことを特徴とする請求項１４に記載のデジタル画像信号
処理方法。
【請求項１８】前記相関値算出工程は、前記符号化テン
プレート毎に、前記デジタル画像信号のすべてのブロッ
クの前記相関値を算出することを特徴とする請求項１４
に記載のデジタル画像信号処理方法。
【請求項１９】前記ブロック化工程は、前記デジタル画
像信号による画像を分割したものに相当する、互いに近
接する前記所定数の画素によりブロックを作成すること
を特徴とする請求項１４に記載のデジタル画像信号処理
方法。
【請求項２０】前記ブロック化工程は、前記デジタル画
像信号による画像上において互いに離れた所定位置の画
素を前記所定数個集めてブロックを作成することを特徴
とする請求項１４に記載のデジタル画像信号処理方法。
【請求項２１】請求項１６に記載のデジタル画像信号処
理方法において、前記量子化工程は、各符号化テンプレートに対して算出された前記デジタル
画像信号のすべてのブロックについての前記相関値の平
均値を算出する平均値算出工程と、各符号化テンプレートに対して算出された前記デジタル
画像信号のすべてのブロックについての前記相関値のダ
イナミックレンジを検出するダイナミックレンジ検出工
程と、前記ダイナミックレンジ検出工程で検出された前記ダイ
ナミックレンジに基づいて、量子化ビット数を決定する
量子化ビット数決定工程と、前記量子化ビット数決定工程で決定された前記量子化ビ
ット数に基づいて、各ブロックについての相関値と前記
平均値との差分値を量子化する差分量子化工程と、を備えることを特徴とするデジタル画像信号処理方法。
【請求項２２】所定数の画素からなる各ブロック毎に、
それぞれ前記所定数と等しい個数の評価値を有する複数
の符号化テンプレートのそれぞれとの相関値を算出する
ことで符号化されたデジタル画像信号を復号するデジタ
ル画像信号処理方法であって、前記符号化されたデジタル画像信号から、前記各ブロッ
クについての前記複数の符号化テンプレートに対する相
関値を検出する工程と、前記検出された各ブロックについての前記相関値と、複
数の符号化テンプレートと同じデータからなる複数の復
号テンプレートとに基づいて、各ブロック毎にそれぞれ
前記復号テンプレートに対応したベクトルを構成ベクト
ルとして求め、当該求めた構成ベクトルを用いて復号処
理を行なう復号処理工程と、を備えることを特徴とするデジタル画像信号処理方法。
【請求項２３】前記各ブロックについての前記複数の符
号化テンプレートのそれぞれに対する相関値のエラー状
態を検出するエラー検出工程と、前記エラー検出工程でエラー状態とされた相関値を、同
じ符号化テンプレートに対する相関値である他のブロッ
クの相関値に基づいて補間する相関値補間工程と、を備えることを特徴とする請求項２２に記載のデジタル
画像信号処理方法。
【請求項２４】前記相関値補間工程で補間に用いる前記
他のブロックの相関値は、前記エラー検出工程でエラー
状態でないとされた相関値であることを特徴とする請求
項２３に記載のデジタル画像信号処理方法。