JPH0746862B2

JPH0746862B2 - 駒落とし圧縮符号化及び復号化方法

Info

Publication number: JPH0746862B2
Application number: JP60270554A
Authority: JP
Inventors: 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1985-11-30
Filing date: 1985-11-30
Publication date: 1995-05-17
Anticipated expiration: 2010-05-17
Also published as: DE3684279D1; US4788589A; JPS62130087A; EP0228820A2; AU6580786A; EP0228820A3; EP0228820B1; CA1300737C; ATE73595T1; AU602317B2

Description

【発明の詳細な説明】〔産業上の利用分野〕この発明は、画像データを圧縮して伝送するのに適用さ
れる駒落とし圧縮符号化及び復号化方法に関する。

〔発明の概要〕

この発明は、例えばディジタルテレビジョン信号の所定
の周期毎のフィールド（又はフレーム）を除去して伝送
する所謂駒落としにより、伝送データ量を減少させる駒
落とし圧縮符号化及び復号化方法において、伝送が省略
されたフィールドの代わりに受信側での予測のためのパ
ラメータを伝送することにより、受信側で、省略された
フィールドの画像データの補間を良好に行うことができ
るようにしたものである。この発明では、伝送されない
フィールドの画素をその周囲の複数の参照画素とパラメ
ータとの線型一次結合により表し、１フィールド全体に
関して、予測誤差の自乗和が最も小となるパラメータを
同定し、伝送するものである。

〔従来の技術〕

情報量の多い画像データ例えばテレビジョン信号を伝送
する場合に、所定フレーム毎のフレームの伝送を省略す
る駒落とし圧縮伝送方式が知られている。受信側では、
伝送されたフレームの画像データを使用して、伝送され
ないフレームのデータを補間するようにしている。補間
の方法としては、前フレームの同一画素で置換する方法
や、前フレームの同一画素の前後の平均値で置換する方
法等が広く使用されている。

〔発明が解決しようとする問題点〕

しかしながら、このような補間によっては、復元画像の
動き部分での劣化が大きく、ボケが生じる。また、動き
ベクトルを求め、動きベクトクルを伝送する方法もある
が、動き物体のエッジ付近で目立つ劣化が生じる欠点が
あった。

従って、この発明の目的は、駒落とし圧縮伝送を行う場
合に、伝送されないフレーム（又はフィールド）を受信
側で良好に復元できるように、伝送されないフレームで
は、予測のためのパラメータを代わりに送るようにした
ものである。即ち、この発明は、特開昭59−174412号明
細書に記載されているような圧縮符号化を駒落とし伝送
と組み合わせることにより、受信側において、複数の動
き物体による各種の動きに対応でき、また、エッジ部の
ボケや、アンカバードバックグラウンド等の問題が生じ
ない画像の復元を可能としたものである。

〔問題点を解決するための手段〕

この発明は、連続するフィールドからなる画像データの
所定周期毎のフィールドを除去して画像データを伝送す
る駒落とし圧縮符号化方法において、所定周期分の画像データをメモリに貯えるステップと、除去されたフィールドの注目画素の値を、注目画素の近
傍に位置し、且つメモリに貯えられた過去の数フィール
ドに含まれる複数の画素データと複数の係数との線形１
次結合により予測し、この予測により得られた予測画素
データと注目画素の真値との誤差の自乗和を最小とする
ように、複数の係数を最小自乗法により同定するステッ
プと、除去されないフィールドの画像データを伝送するととも
に、同定した係数を除去したフィールドの画像データに代え
て伝送するステップとからなる駒落とし圧縮符号化方法
である。また、この発明は、かかる符号化方法に対する
復号化方法である。

〔作用〕

この発明は、所定数のフィールド毎に伝送されるフィー
ルドを間引き、この省略されるフィールドの画素データ
に代えて極めて少ないデータ量のパラメータを伝送する
ことにより、データ量の圧縮ができる。

また、パラメータを伝送することにより、受信側では、
伝送された真のデータとパラメータとから、省略された
フィールドの画素データを予測することができる。つま
り、複数の動き物体の各々の動き情報は、実際に伝送さ
れるフィールドの画素データに含まれているので、動き
量を伝送する必要がなく、１フィールド毎のパラメータ
（予測誤差の自乗和を最小とするような係数）のみを伝
送すれば良い。更に、時間的及び空間的の３次元的に補
正がなされるので、ブロック歪の問題を何等生じない。

〔実施例〕

以下、この発明の一実施例について、図面を参照して説
明する。この一実施例の説明は、下記の順序でなされ
る。

a.符号化装置 b.復号化装置 c.パラメータの同定 a.符号化装置第１図は、この発明の一実施例、即ち送信側に設けられ
る符号化装置の構成を示す。

符号化装置は、駒落としの周期と対応する容量のメモリ
と、このメモリから取り出された参照データからパラメ
ータを同定する回路とにより構成される。

第１図において、１で示す入力端子に所定のサンプリン
グ周波数でディジタル化されたディジタルテレビジョン
信号が供給される。この入力端子１に駒落としの周期
（この実施例では、奇数フィールド及び偶数フィールド
の夫々の周期が９フィールドとされている。）と対応す
る10個のフィールドメモリ11,12,13,14,15,16,17,18,1
9,20が縦続接続されている。

第３図Ａに示すように、第１番目の奇数フィールドから
始まるフィールドが連続するディジタルテレビジョン信
号が入力端子１に供給されると、入力端子１に第11番目
のフィールドが供給される時に、フィールドメモリ11〜
20の夫々から第３図Ｂに示すように、第１番目のフィー
ルドから第10番目のフィールド迄の各フィールドの信号
が現れる。

第３図Ａにおいて、To（＝９フィールド）が奇数フィー
ルドに関しての駒落としの周期であり、Teが偶数フィー
ルドに関しての駒落としの周期である。この駒落としの
周期の先頭のフィールド（第１番目のフィールド，第６
番目のフィールド，第11番目のフィールド，第16番目の
フィールド・・・・）は、圧縮されずにそのまま伝送さ
れるフィールドである。第３図Ｂに示すように、第11番
目のフィールドが入力端子１に供給される時に、フィー
ルドメモリ11からは、第１番目のフィールドの出力され
る。従って、伝送されるフィールドは、1,1＋5,1＋10の
各フィールドとなる。

これらの伝送されるフィールドのデータが参照画素発生
回路２に供給される。参照画素発生回路２は、伝送が省
略されるｋ番目のフィールドの注目画素の近傍の周囲の
四十個の参照画素を伝送されるフィールド中から抽出す
る回路である。この参照画素発生回路２により抽出され
た参照画素が転置行列積算回路３と乗算回路21,22,23,2
4の夫々とに供給される。

乗算回路21,22,23,24の夫々には、伝送が省略されるフ
ィールド即ち、１＋2,1＋4,1＋6,1＋８番目のフィール
ドのデータが供給される。乗算回路21〜24の夫々に加算
回路31,32,33,34からなる積算回路が接続され、これら
の積算回路31〜34の夫々に乗算回路41,42,43,44が接続
されている。また、転置行列積算回路３に加算回路４か
らなる積算回路が接続され、この積算回路の出力に逆行
列化回路５が接続される。

逆行列化回路５の出力が乗算回路41〜44に供給される。
伝送が省略されるフィールドのデータが供給されるこれ
らの演算回路は、参照画素を用いてパラメータを同定す
るための回路であり、出力端子7,8,9,10の夫々に伝送が
省略されるフィールドのパラメータw1〜w40が出力され
る。また、駒落としの１周期内の伝送される１フィール
ドのデータが出力端子６に取り出される。これらの１フ
ィールドの真のデータ及び４フィールド分のパラメータ
が送出される。

駒落としされたフィールドｋの画素データ（第４図Ａ）
に対する予測値は、伝送されるフィールド１の近傍の15
画素のデータ（第４図Ｂ）、伝送されるフィールド１＋
５の近傍の10画素のデータ（第４図Ｃ）、伝送されるフ
ィールド１＋10の近傍の10画素の背景データ（第４図
Ｄ）の計40個の画素データの線形１次結合として求めら
れる。

第４図Ａ〜第４図Ｄにおいて水平方向の実線が奇数番目
のフィールドにおいて走査されるラインを示し、水平方
向の破線が偶数番目のフィールドにおいて走査されるラ
インを表す。注目画素が第４図Ａと異なり、偶数番目の
フィールドのものである時には、参照画素の取り出され
るフィールドの奇数及び偶数に関しての関係が逆とな
る。

第４図では、フィールドｋの画素データが含まれる位置
のラインをｙとして、その上側に位置するラインをｙ＋
１とし、更にラインｙ＋１の上側に位置するラインをｙ
＋２としている。ラインｙの下側に位置するラインは、
夫々ｙ−１、ｙ−２としている。

第４図Ａ〜第４図Ｄにおいて垂直方向の実線が各フィー
ルドにおけるサンプリング位置を示し、フィールドｋの
画素データのサンプリング位置ｘより１サンプル前のサ
ンプリング位置及びこれより２サンプル前のサンプリン
グ位置を夫々ｘ−１、ｘ−２としている。また、サンプ
リング位置ｘの後のサンプリング位置及びより後のサン
プリング位置を夫々ｘ＋１、ｘ＋２としている。

注目画素に対する予測データ_k（x,y）は、次式の参照
画素とパラメータとの線形一次結合で表される。

_k（x,y）＝ w1×I_L（ｘ−2,y＋２）＋w2×I_L（ｘ−1,y＋２）＋w3×I_L（x,y＋２）＋w4×I_L（ｘ＋1,y＋２）＋w5×I_L（ｘ＋2,y＋２）＋w6×I_L（ｘ−2,y）＋w7×I_L（ｘ−1,y）＋w8×I_L（x,y）＋w9×I_L（ｘ＋1,y）＋w10×I_L（ｘ＋2,y）＋w11×I_L（ｘ−2,y−２）＋w12×I_L（ｘ−1,y−２）＋w13×I_L（x,y−２）＋w14×I_L（ｘ＋1,y−２）＋w15×I_L（ｘ＋2,y−２）＋w16×I_L+5（ｘ−2,y＋１）＋w17×I_L+5（ｘ−1,y＋
１）＋w18×I_L+5（x,y＋１）＋w19×I_L+5（ｘ＋1,y＋１）＋w20×I_L+5（ｘ＋2,y＋１）＋w21×I_L+5（ｘ−2,y−
１）＋w22×I_L+5（ｘ−1,y−１）＋w23×I_L+5（x,y−１）＋w24×I_L+5（ｘ＋1,y−１）＋w25×I_L+5（ｘ＋2,y−
１）＋w26×I_L+10（ｘ−2,y＋２）＋w27×I_L+10（ｘ−1,y＋
２）＋w28×I_L+10（x,y＋２）＋w29×I_L+10（ｘ＋1,y＋２）＋w30×I_L+10（ｘ＋2,y＋２）＋w31×I_L+10（ｘ−2,y）＋w32×I_L+10（ｘ−1,y）＋w33×I_L+10（x,y）＋w34×I_L+10（ｘ＋1,y）＋w35×I_L+10（ｘ＋2,y）＋w36×I_L+10（ｘ−2,y−２）＋w37×I_L+10（ｘ−1,y−
２）＋w38×I_L+10（x,y−２）＋w39×I_L+10（ｘ＋1,y−２）＋w40×I_L+10（ｘ＋2,y−２）上述の予測式は、ｋ番目のフィールドの画素に対する予
測値を、最も相関が強い近傍の画素を代表値として取り
出し、この代表値に時空間方向の補正を施して求めるこ
とを意味する。

パラメータの同定は、参照画素を用いて、最小自乗法に
よりパラメータを同定する。つまり、現フィールドｋの
或る画素の真値I_kは、上式で求められたこれと対応する
画素の予測値_kに予測誤差ｅが重畳されたものである
から、（ｅ＝I_k−_k）となり、後述のようにこの予測
誤差の自乗和を所定数の画素に関して最小にするパラメ
ータw1〜w40が計算される。このパラメータの同定につ
いては、後述する。

この場合、１フィールドに含まれる全ての画素（例えば
１ライン内に800画素、１フィールドが255ラインの場合
では、800×255個）を用いてパラメータw1〜w40を最小
自乗法により計算すれば、最高の精度が得られるが、回
路規模が大きくなるので、複数サンプル毎の間引きによ
り得られた所定数の例えば300個の代表の画素を用いて
パラメータw1〜w40の同定を行うようにしても良い。

また、１フィールドの複数の２次元領域に分けるブロッ
ク化の処理を行い、各ブロック毎のパラメータの算出す
るようにしても良い。

更に、画面の周辺部でデータが存在しない所では、第５
図に示すように、画面内のデータａ〜ｈと同一のデータ
が画面外にあるものとして代用すれば良い。或いは、第
５図において破線図示のように、１ライン内側で且つ２
サンプル内側に寄った領域内で同定を行うようにしても
良い。

b.復号化装置上述の符号化がなされた送信データを受信する復号化装
置は、第２図に示すように、入力端子51からの受信され
たフィールドのデータが供給されるフィールドメモリ5
3,54と、入力端子52からの受信されたパラメータw1〜w4
0が供給される振り分け回路55と、フィールドメモリ53
及び54からの1,1＋5,1＋10の３フィールドのデータと振
り分け回路55からの対応するパラメータとが供給される
予測部56,57,58,59とにより構成される。

この予測部56,57,58,59により駒落としされたフィール
ドの復元データ即ちディジタルテレビジョン信号が形成
される。入力端子51からの受信されたフィールドのテレ
ビジョン信号及び予測部56,57,58,59の夫々により復元
されたフィールドのデータがバッファメモリ60に供給さ
れる。このバッファメモリ60により、信号の順序が本来
の順序とされて、出力端子61に取り出される。

c.パラメータの同定上述のパラメータw1〜w40の同定について、最小自乗法
を用いた一例について以下に説明する。

前述の予測データ^k（x,y）を算出する線形１次結合の
式は、１フィールド全体に関して予測を行う場合、下記
の行列により表現できる。

上式を行列とベクトルとによりまとめて表現すると、但し、（ｍ×ｎ）次のベクトル,Iは、（ｍ×n,40）の行列、 40次のベクトルである。

一方、ｋ番目のフィールドのデータ（真値）を並べてな
るベクトル（ｍ×ｎ）次のベクトルであり、を（ｍ×ｎ）次の予測誤差ベクトルとすると、となる。上式は、となる。このの自乗和を最小にするが求められる。上式は、下記のように変形される。但
し、Ｔは、転置行列を示す。

次式を満足するものとなる。この式の導出は、例えば文
献「システム同定」（発行所：社団法人計測自動制御学
会，発行日：昭和56年２月10日（初版））の第４章第４
節２項に記載されている。

このままでは、１フィールドの（ｍ×ｎ）個の全画素の
場合、（ｍ×n,40）と言う非常に大きな行列を扱うこと
になり、実際的でない。従って、この一実施例では、上
式を小さい次数の行列及びベクトルに直して処理してい
る。即ち、（Ｐ＝I^T・Ｉ）の（40,40）の行列と、の40次のベクトルとを用いる。

また、（Ｐ＝I^T・Ｉ）は、参照画素のみを用いた行列で
あるので、４フィールドのパラメータを同定する時に共
通の項である。この一実施例では、転置行列積算回路３
により、（I^TＩ）の演算がされ、加算回路４により全フ
ィールドに関しての積算がされることにより、Ｐの項が
求まる。更に、逆行列化回路５により、（I^TＩ）^-1の共
通項が求まる。

乗算回路21,22,23,24の夫々では、参照画素と駒落とし
されるフィールドの画素との乗算がされ、各乗算回路21
〜24の出力が積算される加算回路31〜34の出力に各フィ
ールドのＱの値が得られる。前述の共通項Ｐと各フィー
ルド毎に求められたＱとが乗算回路41〜44の夫々により
乗算されることにより、出力端子７〜10から各フィール
ド毎のが求められる。

尚、伝送されるフィールドに関して、圧縮符号化の処理
を行い、データ量を低減するようにしても良い。

〔発明の効果〕

この発明に依れば、所定の周期で駒落としを行うことに
依り、伝送データ量を圧縮することができる。然も、伝
送されないフィールドについては、予測のためのパラメ
ータを送るので、受信側でこの省略されたフィールドの
画像の復元を良好に行うことができる。つまり、このパ
ラメータは、相関の強い近傍の参照画素から注目画素を
予測するためのものであり、従って、複数の動き物体の
各々の動き情報は、上記の参照画素に含まれているの
で、動き量を伝送しなくても、動きによる画像の劣化を
頗る少なくできる。

従来の駒落とし伝送方式とこの発明による伝送方式とを
受信側の復元画像の誤差に関して比較した結果の一例を
下記に示す。但し、従来の駒落としは、1/2駒落としで
あり、従来Ａとあるのは、前フレームにより置換する方
式であり、従来Ｂとあるのは、前後のフレームの平均値
で補間する方式である。この発明は、前述の実施例と同
様に例えば1/5駒落としである。

上記の表の誤差分散σ²から分かるように、この発明で
は、従来の駒落とし圧縮伝送方式と比して、1/5駒落と
し方式なありながら、復元画像の誤差を極めて小さくで
きる。

【図面の簡単な説明】

第１図はこの発明の一実施例のブロック図、第２図はこ
の発明の一実施例により符号化された伝送データを受信
するための構成を示すブロック図、第３図、第４図及び
第５図はこの発明の一実施例の説明に用いる略線図であ
る。図面における主要な符号の説明 1:ディジタルテレビジョン信号の入力端子、2:参照画素
発生回路、6:伝送されるフィールドのデータの出力端
子、7,8,9,10:パラメータの出力端子、11〜20:フィール
ドメモリ。

Claims

【特許請求の範囲】

【請求項１】連続するフィールドからなる画像データの
所定周期毎の上記フィールドを除去して画像データを伝
送する駒落とし圧縮符号化方法において、上記所定周期分の上記画像データをメモリに貯えるステ
ップと、上記除去された上記フィールドの注目画素の値を、上記
注目画素の近傍に位置し、且つ上記メモリに貯えられた
過去の数フィールドに含まれる複数の画素データと複数
の係数との線形１次結合により予測し、この予測により
得られた予測画素データと上記注目画素の真値との誤差
の自乗和を最小とするように、上記複数の係数を最小自
乗法により同定するステップと、除去されないフィールドの画像データを伝送するととも
に、上記同定した係数を上記除去したフィールドの画像デー
タに代えて伝送するステップとからなる駒落とし圧縮符
号化方法。
【請求項２】連続するフィールドからなる画像データを
所定周期毎の上記フィールドを除去して画像データを伝
送する駒落とし圧縮符号化及び復号化方法において、上記所定周期分の上記画像データをメモリに貯えるステ
ップと、上記除去された上記フィールドの注目画素の値を、上記
注目画素の近傍に位置し、且つ上記メモリに貯えられた
数フィールドに含まれる複数の画素データと複数の係数
との線形１次結合により予測し、この予測により得られ
た予測画素データと上記注目画素の真値との誤差の自乗
和を最小とするように、上記複数の係数を最小自乗法に
より同定するステップと、除去されないフィールドの画像データを伝送するととも
に、上記同定した係数を上記除去したフィールドの画像デー
タに代えて伝送するステップと、受信された上記除去されない画像データをメモリに蓄え
るステップと、上記除去された上記フィールドの画素の復元値を、上記
メモリに貯えられた複数の画素データと受信された複数
の上記係数との線形１次結合により生成するステップ
と、生成された復元画素データの時間順序を並び変えるステ
ップとからなることを特徴とする駒落とし圧縮符号化及
び復号化方法。