JP2014086916A - 差分画像作成方法および作成装置 - Google Patents

Abstract

【課題】動き補償を適用しつつ、対象画像Ｐの任意のブロックラインＬ２のみを復元できるようにする。
【解決手段】圧縮処理の対象画像Ｐと参照画像Ｑとの差分画像を作成する。画像Ｐ，Ｑをブロック分割し、円形動体を含む対象ブロック画像Ｐ（２，４）の対応位置にある参照ブロック画像Ｑ（２，４）の枠を、動き補償のためにΔｘ，Δｙだけシフトして類似ブロック画像ＱＱ（２，４）を抽出する。抽出した画像ＱＱ（２，４）のうち、ブロックラインＬ２の領域外の部分を削除して空白領域とし、この空白領域に、Ｌ２の境界線上の画素を上方にコピーして作成した充填用画像Ｗを割り付けて補完ブロック画像ＱＱＱ（２，４）を生成し、画像Ｐ（２，４）と画像ＱＱＱ（２，４）との差分をとる。対象画像ＰのブロックラインＬ２内のみを復元する際には、参照画像ＱのＬ２内の画像に上記コピー処理を施して画像ＱＱＱ（２，４）を作成し、差分処理の逆を行う。
【選択図】図１３

Description

本発明は、画像の圧縮処理の技術に関し、特に、処理対象となる対象画像について、所定の参照画像を利用して差分画像を作成し、この差分画像を圧縮することにより圧縮効率を高める技術に関する。

多数の画素の集合として表現される画像データは、テキストデータに比べて極めて情報量が多く、通常は、圧縮された状態で配布され、表示の際にこれを伸張する処理が行われる。特に、フレーム単位の静止画像を時系列的に並べて構成される動画データを取り扱うには、実用上、データの圧縮および伸張技術が不可欠である。

画像データを圧縮する場合、圧縮対象となる対象画像に対して直接圧縮処理を施す代わりに、対象画像について、所定の参照画像を利用して差分画像を作成し、この差分画像に対して圧縮処理を施すのが一般的である。差分画像には、対象画像と参照画像との差を示す情報が含まれていれば足りるため、両画像の差が少ない場合、差分画像の情報量は元の対象画像の情報量に比べて著しく低減することになる。したがって、差分画像に対して圧縮処理を施すようにすれば、圧縮効率を大幅に向上させることができる。

現在、広く利用されているＭＰＥＧ２などの動画の圧縮方式では、個々の静止画フレームを構成する対象画像を複数のブロックに分割し、同様の方法で参照画像も複数のブロックに分割し、対象ブロック画像とこれに対応する参照ブロック画像との間で差分をとることにより差分ブロック画像を作成し、この差分ブロック画像に対して符号化処理や圧縮処理を行う方法が採用されている。

また、動画の圧縮効率を更に向上させるための方法として、画面内の被写体の動きを予測し、この動きに合致させて、参照ブロックの位置を修正する動き補償という技術も提案されている。この動き補償の技術を採用して参照ブロックの位置を修正すれば、差分演算の対象となる２つのブロック画像の差が小さくなるため、得られる差分画像の情報量を低減させることができ、圧縮効率を高めることができるようになる。

たとえば、下記の特許文献１には、動き補償を行う際に用いる、最も効率の良い動きベクトルを決定する方法が開示されており、特許文献２には、画面端部における動き補償の予測精度を向上させる技術が開示されている。また、特許文献３には、動き補償を行う際に、複数の予測画像の中から原画像との差分が最小となる予測画像を特定する手法が開示されている。

特開平６−１２１２９８号公報 特開２０００−０５９７７９号公報 特開２０１２−１２００８６号公報

上述したように、ブロック単位で差分画像を作成する処理において、動き補償の技術を採用すると、差分画像の情報量を低減し、圧縮効率を高めることができるようになる。しかしながら、従来提案されている一般的な動き補償を採用すると、元の対象画像（原画像）の一部分のみを復元対象領域として復元する場合にも、当該復元対象領域以外の情報が必要になるため、効率的な復元処理を行うことができないという問題が生じる。

たとえば、１フレームの静止画像をＩ行Ｊ列のブロックに分割して、ブロック単位で差分画像を作成する場合、従来の一般的な動き補償の技術を導入すると、第ｉ行目（１≦ｉ≦Ｉ）のブロックラインＬｉのみを復元する場合でも、第（ｉ−１）行目のブロックラインＬ（ｉ−１）や第（ｉ＋１）行目のブロックラインＬ（ｉ＋１）の情報が必要になる。これは、動き補償により、参照ブロックの位置を修正したため、上下に隣接するブロックラインへの位置ずれが生じるためである。

このため、本来は、１行分のブロックラインの処理を行うだけのハードウェア（メモリやバッファなど）を用意すれば足りる場合でも、動き補償の技術を採用すると、上例の場合３行分のブロックラインの処理を行うハードウェアが必要になる。これは、特に、ゲーム機や携帯型電子端末など、動画再生機能をもった小型の装置を提供する上では、製造コストの高騰を招く要因になる。

そこで本発明は、動き補償の技術を採用しつつ、対象画像に対してより効率的な差分画像を作成することが可能な差分画像作成方法および作成装置を提供することを目的とする。特に、１フレームの一部分を構成する単位処理領域内の画像を復元する場合、当該単位処理領域に関する情報のみを利用した効率的な復元が可能な差分画像作成方法および作成装置を提供することを目的とする。

(1) 本発明の第１の態様は、与えられた対象画像について、参照画像を利用して差分画像を作成する差分画像作成方法において、
互いに同一のフレームサイズをもった対象画像および参照画像を入力する画像入力段階と、
対象画像および参照画像をそれぞれ同一の分割方法によって複数のブロックに分割することにより、対象画像を複数の対象ブロックの集合体によって構成し、参照画像を複数の参照ブロックの集合体によって構成するブロック分割段階と、
対象画像および参照画像について、同一の定義方法により、１つもしくは複数のブロックからなる所定領域を単位処理領域と定義する単位処理領域定義段階と、
個々の対象ブロックに対して参照画像内の同じ位置に配置された同位参照ブロックを対応づけ、個々の対象ブロック内の対象ブロック画像について、参照画像のうちの、対応する同位参照ブロックの枠内もしくは当該枠を所定の態様でシフトした枠内の類似する画像として、類似ブロック画像を探索する類似ブロック画像探索段階と、
類似ブロック画像について、同位参照ブロックが所属する単位処理領域の領域外の部分の画像情報を削除して空白領域とし、この空白領域に、所定の充填規則に基づいて生成した充填用画像を割り付けて補完することにより、補完ブロック画像を生成する補完ブロック画像生成段階と、
個々の対象ブロック画像とこれに対応して生成された個々の補完ブロック画像との差分をとることにより、個々の差分ブロック画像を生成する差分ブロック画像生成段階と、
個々の差分ブロック画像の集合体からなる差分画像と、参照画像もしくはその代替画像と、個々の類似ブロック画像を探索したときのシフトの態様を示す個々のシフト情報と、個々の補完ブロック画像を生成する際の個々の充填規則と、を出力するデータ出力段階と、
を行うようにしたものである。

(2) 本発明の第２の態様は、上述した第１の態様に係る差分画像作成方法において、
補完ブロック画像生成段階で、補完ブロック画像を生成する際に用いる充填規則として、空白領域の近傍に位置する単位処理領域内の画素の画素値に基づいて、充填用画像の画素の画素値を決定する規則を用いるようにしたものである。

(3) 本発明の第３の態様は、上述した第２の態様に係る差分画像作成方法において、
補完ブロック画像生成段階で、補完ブロック画像を生成する際に用いる充填規則として、単位処理領域の領域内における、空白領域に接する境界近傍の画素の画素値を、空白領域内の画素にコピーするという規則を用い、充填用画像の画素の画素値を決定するようにしたものである。

(4) 本発明の第４の態様は、上述した第２または第３の態様に係る差分画像作成方法において、
補完ブロック画像生成段階で、複数Ｎ通りの充填規則に基づいて複数Ｎ通りの充填用画像を生成し、各充填用画像を空白領域に割り付けて補完することにより、複数Ｎ通りの補完ブロック画像を生成し、
差分ブロック画像生成段階で、Ｎ通りの補完ブロック画像のうち、対象ブロック画像に最も類似する画像を選択し、対象ブロック画像と、選択された補完ブロック画像との差分をとることにより差分ブロック画像を生成し、
データ出力段階で、選択された補完ブロック画像を生成する際の充填規則を出力するようにしたものである。

(5) 本発明の第５の態様は、上述した第４の態様に係る差分画像作成方法において、
補完ブロック画像生成段階で、補完ブロック画像を生成する際に用いる充填規則として、単位処理領域の領域内における、空白領域に接する境界近傍の画素の画素値を、空白領域内の所定方向に位置する画素にコピーするという規則を用い、充填用画像の画素の画素値を決定し、コピーする方向を変えることにより、複数Ｎ通りの充填規則を設定するようにしたものである。

(6) 本発明の第６の態様は、上述した第４または第５の態様に係る差分画像作成方法において、
差分ブロック画像生成段階で、補完ブロック画像と対象ブロック画像とについて、それぞれ対応する画素の画素値の差の絶対値の合計値を求め、当該合計値が最も小さい補完ブロック画像を最も類似する画像として選択するようにしたものである。

(7) 本発明の第７の態様は、上述した第１の態様に係る差分画像作成方法において、
補完ブロック画像生成段階で、補完ブロック画像を生成する際に用いる充填規則として、予め所定のダミー画素値を定めておき、充填用画像を構成する各画素にダミー画素値を与えるという規則を用いるようにしたものである。

(8) 本発明の第８の態様は、上述した第１〜第７の態様に係る差分画像作成方法において、
ブロック分割段階で、縦方向にＩ分割、横方向にＪ分割することにより、Ｉ行Ｊ列に配列されたＩ×Ｊ個のブロックを構成し、
単位処理領域定義段階で、第ｉ番目の行（１≦ｉ≦Ｉ）に所属するＪ個のブロックからなるブロックラインを単位処理領域とするようにしたものである。

(9) 本発明の第９の態様は、上述した第１〜第８の態様に係る差分画像作成方法において、
類似ブロック画像探索段階で、同位参照ブロックの枠を予め定められた複数通りの態様でシフトさせ、対象ブロック画像と各態様でシフトさせた枠内の画像とをそれぞれ比較し、最も類似した画像を類似ブロック画像とするようにしたものである。

(10) 本発明の第１０の態様は、上述した第１〜第９の態様に係る差分画像作成方法において、
画像入力段階で、動画を構成する静止画像を時系列に従って順次入力し、第ｔ番目の静止画像を対象画像、第（ｔ−１）番目の静止画像を参照画像とするようにしたものである。

(11) 本発明の第１１の態様は、上述した第１０の態様に係る差分画像作成方法において、
類似ブロック画像探索段階で、時系列に従って順次入力した静止画像群に基づいて動画中の動体を認識し、この動体の移動方向および移動距離を考慮した位置に同位参照ブロックの枠をシフトさせ、類似ブロック画像の探索を行うようにしたものである。

(12) 本発明の第１２の態様は、上述した第１０または第１１の態様に係る差分画像作成方法において、
補完ブロック画像生成段階で、時系列に従って順次入力した静止画像群に基づいて動画中の動体を認識し、この動体の移動方向を考慮した充填規則に基づいて補完ブロック画像を生成するようにしたものである。

(13) 本発明の第１３の態様は、上述した第１〜第１２の態様に係る差分画像作成方法によって作成された差分画像に基づいて、元の対象画像を復元する画像復元方法において、
データ出力段階で出力された差分画像と、参照画像もしくはその代替画像と、個々のシフト情報と、個々の充填規則と、を入力するデータ入力段階と、
入力したデータの中から、第ｉ番目（ｉ＝１，２，３，... ）の単位処理領域に関するデータを抽出する単位処理データ抽出段階と、
単位処理領域に関するデータの中から、第ｊ番目（ｉ＝１，２，３，... ）のブロックに関するデータを抽出するブロックデータ抽出段階と、
第ｉ番目の単位処理領域に所属する第ｊ番目の参照ブロック内の画像を、当該ブロックについてのシフト情報および充填規則に基づいて、補完ブロック画像に変換するブロック画像変換段階と、
第ｉ番目の単位処理領域に所属する第ｊ番目の差分ブロック画像と、これに対応する補完ブロック画像とに基づいて、第ｉ番目の単位処理領域に所属する第ｊ番目の対象ブロック画像を復元する対象ブロック画像復元段階と、
を行い、単位処理領域の全ブロックについて、それぞれ対象ブロック画像を復元する処理を行い、これら対象ブロック画像の集合体として対象画像の少なくとも一部分の領域を復元するようにしたものである。

(14) 本発明の第１４の態様は、与えられた対象画像について、参照画像を利用して差分画像を作成する差分画像作成方法において、
互いに同一のフレームサイズをもった対象画像および参照画像を入力する画像入力段階と、
対象画像の一部分を構成する部分対象画像について、同一サイズかつ類似している部分参照画像を参照画像内から探索する類似部分探索段階と、
参照画像のフレーム内における部分参照画像の占有位置が、対象画像のフレーム内における部分対象画像の占有位置と同じになるように、部分参照画像をフレーム内で所定方向にシフトし、当該シフトにより画像情報が失われた部分を空白領域とする類似画像を生成する類似画像生成段階と、
類似画像内の空白領域に、所定の充填規則に基づいて生成した充填用画像を割り付けて補完することにより、補完画像を生成する補完画像生成段階と、
対象画像と補完画像との差分をとることにより差分画像を生成する差分画像生成段階と、
差分画像と、参照画像もしくはその代替画像と、シフトの態様を示すシフト情報と、充填規則と、を出力するデータ出力段階と、
を行うようにしたものである。

(15) 本発明の第１５の態様は、上述した第１４の態様に係る差分画像作成方法において、
充填規則として、部分参照画像の、空白領域に接する境界近傍の画素の画素値に基づいて、充填用画像の画素の画素値を決定する規則を用いるようにしたものである。

(16) 本発明の第１６の態様は、上述した第１４または第１５の態様に係る差分画像作成方法において、
補完画像生成段階で、複数Ｎ通りの充填規則に基づいて複数Ｎ通りの充填用画像を生成し、各充填用画像を空白領域に割り付けて補完することにより、複数Ｎ通りの補完画像を生成し、
差分画像生成段階では、Ｎ通りの補完画像のうち、対象画像に最も類似する画像を選択し、対象画像と、選択された補完画像との差分をとることにより差分画像を生成するようにしたものである。

(17) 本発明の第１７の態様は、上述した第１４〜第１６の態様に係る差分画像作成方法によって作成された差分画像に基づいて、元の対象画像を復元する画像復元方法において、
データ出力段階で出力された差分画像と、参照画像もしくはその代替画像と、シフト情報と、充填規則と、を入力するデータ入力段階と、
シフト情報および充填規則に基づいて、参照画像を補完画像に変換する画像変換段階と、
補完画像と差分画像とに基づいて対象画像を復元する対象画像復元段階と、
を行うようにしたものである。

(18) 本発明の第１８の態様は、画像データの圧縮方法において、上述した第１〜第１２、第１４〜第１６の態様に係る差分画像作成方法により作成された差分画像に対して、データ圧縮処理を施すようにしたものである。

(19) 本発明の第１９の態様は、上述した第１８の態様に係るデータ圧縮方法により圧縮されたデータを伸張する画像データの伸張方法において、圧縮データに対して、データ伸張処理を施して差分画像を復元し、更に、この差分画像に基づいて、上述した第１３もしくは第１７の態様に係る画像復元方法を行うことにより対象画像を復元するようにしたものである。

(20) 本発明の第２０の態様は、上述した第１〜第１２、第１４〜第１６の態様に係る差分画像作成方法、または、上述した第１３もしくは第１７の態様に係る画像復元方法を、コンピュータにプログラムを組み込むことにより実行するようにしたものである。

(21) 本発明の第２１の態様は、上述した第１〜第１２、第１４〜第１６の態様に係る差分画像作成方法、または、上述した第１３もしくは第１７の態様に係る画像復元方法を、論理回路が組み込まれた集積回路により実行するようにしたものである。

(22) 本発明の第２２の態様は、与えられた対象画像について、参照画像を利用して差分画像を作成する差分画像作成装置において、
互いに同一のフレームサイズをもった対象画像および参照画像を入力する画像入力部と、
対象画像を複数の対象ブロックの集合体によって構成し、参照画像を複数の参照ブロックの集合体によって構成することができるように、対象画像および参照画像をそれぞれ同一の態様で分割する分割方法を定義する分割方法定義部と、
対象画像および参照画像について、同一の定義方法により、１つもしくは複数のブロックからなる所定領域を単位処理領域と定義する単位処理領域定義部と、
分割方法定義部によって定義された分割方法により対象画像を分割し、個々の対象ブロックを抽出するブロック抽出部と、
個々の対象ブロックに対して参照画像内の同じ位置に配置された同位参照ブロックを対応づけ、個々の対象ブロック内の対象ブロック画像について、参照画像のうちの、対応する同位参照ブロックの枠内もしくは当該枠を所定の態様でシフトした枠内の類似する画像として、類似ブロック画像を探索する類似ブロック画像探索部と、
類似ブロック画像について、同位参照ブロックが所属する単位処理領域の領域外の部分の画像情報を削除して空白領域とし、この空白領域に、所定の充填規則に基づいて生成した充填用画像を割り付けて補完することにより、補完ブロック画像を生成する補完ブロック画像生成部と、
個々の対象ブロック画像とこれに対応して生成された個々の補完ブロック画像との差分をとることにより、個々の差分ブロック画像を生成する差分ブロック画像生成部と、
個々の差分ブロック画像の集合体からなる差分画像と、参照画像もしくはその代替画像と、個々の類似ブロック画像を探索したときのシフトの態様を示す個々のシフト情報と、個々の補完ブロック画像を生成する際の個々の充填規則と、を出力するデータ出力部と、
を設けるようにしたものである。

(23) 本発明の第２３の態様は、上述した第２２の態様に係る差分画像作成装置において、
補完ブロック画像生成部が、複数Ｎ通りの充填規則に基づいて複数Ｎ通りの充填用画像を生成し、各充填用画像を空白領域に割り付けて補完することにより、複数Ｎ通りの補完ブロック画像を生成し、
差分ブロック画像生成部が、１つの対象ブロック画像について、Ｎ通りの補完ブロック画像のそれぞれを用いてＮ通りの差分ブロック画像を生成し、
Ｎ通りの差分ブロック画像のうち、個々の画素のもつ差分値の絶対値の総和が最も小さい差分ブロック画像を選択する画像選択部を更に設け、
データ出力部が、選択された差分ブロック画像の集合体により差分画像を構成し、これを出力するようにしたものである。

(24) 本発明の第２４の態様は、上述した第２３の態様に係る差分画像作成装置において、
補完ブロック画像生成部が、補完ブロック画像を生成する際に用いる充填規則として、単位処理領域の領域内における、空白領域に接する境界近傍の画素の画素値を、空白領域内の所定方向に位置する画素にコピーするという規則を用い、充填用画像の画素の画素値を決定し、コピーする方向を変えることにより、複数Ｎ通りの充填規則を設定するようにしたものである。

(25) 本発明の第２５の態様は、上述した第２２〜第２４の態様に係る差分画像作成装置において、
分割方法定義部が、縦方向にＩ分割、横方向にＪ分割することにより、Ｉ行Ｊ列に配列されたＩ×Ｊ個のブロックが構成されるような分割方法を定義し、
単位処理領域定義部が、第ｉ番目の行（１≦ｉ≦Ｉ）に所属するＪ個のブロックからなるブロックラインを単位処理領域とする定義を行うようにしたものである。

(26) 本発明の第２６の態様は、上述した第２２〜第２５の態様に係る差分画像作成装置において、
類似ブロック画像探索部が、同位参照ブロックの枠を予め定められた複数通りの態様でシフトさせ、対象ブロック画像と各態様でシフトさせた枠内の画像とをそれぞれ比較し、最も類似した画像を類似ブロック画像とするようにしたものである。

(27) 本発明の第２７の態様は、上述した第２２〜第２６の態様に係る差分画像作成装置によって作成された差分画像に基づいて、少なくとも特定の単位処理領域内の部分対象画像を復元する画像復元装置において、
データ出力部から出力された差分画像と、参照画像もしくはその代替画像と、個々のシフト情報と、個々の充填規則と、を入力するデータ入力部と、
入力したデータの中から、特定の単位処理領域に関するデータを抽出して、これを格納する単位処理バッファと、
単位処理バッファから、第ｊ番目（ｉ＝１，２，３，... ）の参照ブロックおよび必要に応じてこれに隣接する参照ブロック内の画像と、当該第ｊ番目の参照ブロックについてのシフト情報および充填規則とを読み出し、読み出したシフト情報および充填規則に基づいて、読み出した参照ブロック内の画像を第ｊ番目の補完ブロック画像に変換するブロック画像変換部と、
単位処理バッファから読み出した第ｊ番目の差分ブロック画像と、ブロック画像変換部によって変換された第ｊ番目の補完ブロック画像とに基づいて、第ｊ番目の対象ブロック画像を復元する対象ブロック画像復元部と、
を設け、対象ブロック画像復元部から、特定の単位処理領域に所属する対象ブロック画像を順次出力することにより、特定の単位処理領域内の部分対象画像を復元するようにしたものである。

(28) 本発明の第２８の態様は、与えられた対象画像について、参照画像を利用して差分画像を作成する差分画像作成装置において、
互いに同一のフレームサイズをもった対象画像および参照画像を入力する画像入力部と、
対象画像の一部分を構成する部分対象画像について、同一サイズかつ類似している部分参照画像を参照画像内から探索する類似部分探索部と、
参照画像のフレーム内における部分参照画像の占有位置が、対象画像のフレーム内における部分対象画像の占有位置と同じになるように、部分参照画像をフレーム内で所定方向にシフトし、当該シフトにより画像情報が失われた部分を空白領域とする類似画像を生成する類似画像生成部と、
類似画像内の空白領域に、所定の充填規則に基づいて生成した充填用画像を割り付けて補完することにより、補完画像を生成する補完画像生成部と、
対象画像と補完画像との差分をとることにより差分画像を生成する差分画像生成部と、
差分画像と、参照画像もしくはその代替画像と、シフトの態様を示すシフト情報と、充填規則と、を出力するデータ出力部と、
を設けるようにしたものである。

(29) 本発明の第２９の態様は、上述した第２８の態様に係る差分画像作成装置において、
補完画像生成部が、充填規則として、部分参照画像の、空白領域に接する境界近傍の画素の画素値に基づいて、充填用画像の画素の画素値を決定する規則を用いるようにしたものである。

(30) 本発明の第３０の態様は、上述した第２８または第２９の態様に係る差分画像作成装置において、
補完画像生成部が、複数Ｎ通りの充填規則に基づいて複数Ｎ通りの充填用画像を生成し、各充填用画像を空白領域に割り付けて補完することにより、複数Ｎ通りの補完画像を生成し、
Ｎ通りの補完画像のうち、対象画像に最も類似する画像を選択する画像選択部を更に備え、
差分画像生成部が、対象画像と、選択された補完画像との差分をとることにより差分画像を生成するようにしたものである。

(31) 本発明の第３１の態様は、上述した第２８〜第３０の態様に係る差分画像作成装置によって作成された差分画像に基づいて、元の対象画像を復元する画像復元装置において、
データ出力部から出力された差分画像と、参照画像もしくはその代替画像と、シフト情報と、充填規則と、を入力するデータ入力部と、
シフト情報および充填規則に基づいて、参照画像を補完画像に変換する画像変換部と、
補完画像と差分画像とに基づいて対象画像を復元する対象画像復元部と、
を設けるようにしたものである。

(32) 本発明の第３２の態様は、画像データの圧縮装置において、
上述した第２２〜第２６、第２８〜第３０の態様に係る差分画像作成装置に、この差分画像作成装置によって作成された差分画像に対してデータ圧縮処理を施すデータ圧縮部を付加するようにしたものである。

(33) 本発明の第３３の態様は、画像データの伸張装置において、
上述した第３２の態様に係る画像データの圧縮装置により圧縮されたデータに対して、データ伸張処理を施して差分画像を復元するデータ伸張部を用意し、このデータ伸張部に、上述した第２７もしくは第３１の態様に係る画像復元装置を付加して、伸張されたデータに基づいて画像を復元できるようにしたものである。

(34) 本発明の第３４の態様は、上述した第２２〜第２６、第２８〜第３０の態様に係る差分画像作成装置、または、上述した第２７もしくは第３１の態様に係る画像復元装置を、コンピュータにプログラムを組み込むことにより構成したものである。

(35) 本発明の第３４の態様は、上述した第２２〜第２６、第２８〜第３０の態様に係る差分画像作成装置、または、上述した第２７もしくは第３１の態様に係る画像復元装置を、論理回路が組み込まれた集積回路により構成したものである。

本発明によれば、差分画像作成時に、動き補償により参照画像の位置をシフトさせ、このシフトにより食み出た部分の画像情報を破棄し、空白となった部分には所定の充填規則に基づいて作成した充填用画像を割り付けて補完し、対象画像と補完画像との差分をとるようにしたため、対象画像を復元する際には、シフトにより食み出た部分の画像情報は不要になる。このため、動き補償の技術を採用しつつ、対象画像について効率的な差分画像を生成することが可能になる。

特に、画像の１フレームの一部分を構成する単位処理領域内の画像を復元する場合、動き補償を採用したとしても、当該単位処理領域に関する情報のみを利用した効率的な復元が可能になる。その結果、元の画像を復元するために必要なハードウェアの規模を抑えることができ、コストダウンを図ることができるようになる。

たとえば、１フレームの静止画像をＩ行Ｊ列のブロックに分割して、ブロックライン（単位処理領域）ごとに差分画像を作成する場合、第ｉ行目（１≦ｉ≦Ｉ）のブロックラインＬｉの差分画像は、対象画像および参照画像のうち第ｉ行目のブロックラインＬｉに関する情報のみによって作成されるので、対象画像の第ｉ行目のブロックラインＬｉを復元する際にも、第ｉ行目のブロックラインＬｉの情報のみを取り扱えば足りる。そのため、画像復元装置では、１行分のブロックラインの処理に必要なハードウェアを用意しておけば足りるようになり、製造コストを低減することができる。

一般的な動画データの圧縮方法を示す平面図である。 一般的な差分画像の作成方法を示す平面図である。 １フレームの静止画像をＩ行Ｊ列のブロックに分割した例を示す平面図である。 ブロック単位での差分画像の作成方法を示す平面図である。 静止体および動体を含む画像間で差分をとる例を示す平面図である。 図５に示す例におけるブロック単位での差分例を示す平面図である。 図５に示す例に対して動き補償を適用した例を示す平面図である。 図７に示す例におけるブロック単位での差分例を示す平面図である。 差分画像から対象画像を復元する原理を示す平面図である。 ブロックラインごとに差分画像から対象画像を復元する原理を示す平面図である。 ブロックラインごとに差分画像から対象画像を復元する具体例を示す平面図である。 図１１に示す具体例において、動き補償が適用されていた場合の問題を示す平面図である。 本発明に係る差分画像作成方法の基本原理を示す平面図である。 図１３に示す補完ブロック画像ＱＱＱ（２，４）の生成方法を示す平面図である。 図１４(d) に示す充填用画像Ｗの生成プロセスの第１の例を示す平面図である。 異なる３通りの方法により生成された差分ブロック画像の対比を示す平面図である。 図１４(d) に示す充填用画像Ｗの生成プロセスの第２の例を示す平面図である。 図１４(d) に示す充填用画像Ｗの生成プロセスの第３の例を示す平面図である。 図１４(d) に示す充填用画像Ｗの生成プロセスの第４の例を示す平面図である。 図１４(d) に示す充填用画像Ｗの生成プロセスの第５の例を示す平面図である。 図１４(d) に示す充填用画像Ｗの生成プロセスの７通りのバリエーションを対比する平面図である。 図２１に示す７通りの補完ブロック画像を用いて生成された差分ブロック画像を示す平面図である。 １つのブロックラインを１単位処理領域とする場合に生じる空白領域を示す平面図である。 １つのブロックを１単位処理領域とする場合に生じる空白領域を示す平面図である。 図２４に示す空白領域Ｖの詳細構成を示す平面図である。 図２５に示す各空白領域Ｖα，Ｖβ，Ｖγを充填するための充填用画像の生成方法の具体的な一例を示す平面図である。 本発明に係る差分画像作成方法の基本手順を示す流れ図である。 本発明に係る画像復元方法の基本手順を示す流れ図である。 本発明に係る差分画像作成装置の基本構成を示すブロック図である。 本発明に係る画像復元装置の基本構成を示すブロック図である。 本発明の変形例に係る差分画像作成方法の基本原理を示す平面図である。 本発明の変形例に係る差分画像作成方法および画像復元方法の基本手順を示す流れ図である。 本発明の変形例に係る差分画像作成装置の基本構成を示すブロック図である。 本発明の変形例に係る画像復元装置の基本構成を示すブロック図である。

以下、本発明を図示する実施形態に基づいて説明する。

＜＜＜ §１． 動き補償を採用した従来の動画圧縮方法 ＞＞＞
本発明に係る差分画像作成方法は、特に、動画の各フレームを構成する個々の静止画の画像データを圧縮する用途に好適である。そこで、ここでは、動き補償を採用した従来の一般的な動画圧縮方法の原理を簡単に説明しておく。

図１は、一般的な動画データの圧縮方法を示す平面図である。図の左に示す画像Ｆ（１），Ｆ（２），Ｆ（３），... は、フレーム単位の各静止画像であり、動画データは、これらの静止画像を順番に時系列的に並べることによって構成される。ここでは、このような動画データを圧縮することを考えてみる。この場合、まず、時系列的に連続する画像Ｆ（１），Ｆ（２）について差分をとって画像Ｄ（２）を生成し、画像Ｆ（２），Ｆ（３）について差分をとって画像Ｄ（３）を生成し、... という処理を繰り返してゆき、画像Ｄ（２），Ｄ（３），... を順次作成してゆく。

画像Ｄ（２）は、Ｄ（２）＝Ｆ（１）−Ｆ（２）で与えられる差分画像であり、画像Ｄ（３）は、Ｄ（３）＝Ｆ（２）−Ｆ（３）で与えられる差分画像である。要するに、第ｔ番目のフレームを構成する静止画像Ｆ（ｔ）について、第（ｔ−１）番目のフレームを構成する静止画像Ｆ（ｔ−１）との差分をとることにより、第ｔ番目の差分画像Ｄ（ｔ）が得られることになる（但し、ｔ≧２）。

図２は、一般的な差分画像の作成方法を示す平面図である。ここでは、３原色ＲＧＢの各画素値をもったカラー画像からなる対象画像Ｐと参照画像Ｑについて、両者の差分をとり、差分画像Ｄを生成する例が示されている。各画像Ｐ，Ｑ，Ｄは、いずれも同一の画素配列をもった画像であり、個々の画素には、３原色ＲＧＢの各画素値が定義されている。

いま、図示のように、この３つの画像上でそれぞれ対応する位置にある画素に着目し、対象画像Ｐ上の着目画素Ａｐの画素値を（Ｒｐ，Ｇｐ，Ｂｐ）とし、参照画像Ｑ上の着目画素Ａｑの画素値を（Ｒｑ，Ｇｑ，Ｂｑ）とし、差分画像Ｄ上の着目画素Ａｄの画素値を（Ｒｄ，Ｇｄ，Ｂｄ）とすれば、画素値（Ｒｄ，Ｇｄ，Ｂｄ）は、Ｒｄ＝Ｒｐ−Ｒｑ、Ｇｄ＝Ｇｐ−Ｇｑ、Ｂｄ＝Ｂｐ−Ｂｑなる単純な減算によって求めることができる。なお、ここでは便宜上、対象画像Ｐの着目画素Ａｐの画素値から参照画像Ｑの着目画素Ａｑの画素値を減じることにより、差分画像Ｄの着目画素Ａｄの画素値を求める例を示したが、減算を行う際には、どちらからどちらを減じてもかまわない（得られる差分値の符号が変わるだけである）。

また、一対の画像から差分画像を作成するという点では、対象画像Ｐと参照画像Ｑとを相互に区別する必要はないが、ここでは、対象画像Ｐの情報量を低減するために、参照画像Ｑを利用して差分画像Ｄを作成し、対象画像Ｐを、参照画像Ｑと差分画像Ｄに置き換える処理を行い、動画データを圧縮する方法を説明するため、差分をとる一対の画像の一方を対象画像Ｐと呼び、もう一方を参照画像Ｑと呼んで、相互に区別することにする。

たとえば、図１に示す動画データの圧縮方法の場合、静止画像Ｆ（２）を対象画像Ｐとし、静止画像Ｆ（１）を参照画像Ｑとして差分をとることにより、差分画像Ｄ（２）が得られる。同様に、静止画像Ｆ（３）を対象画像Ｐとし、静止画像Ｆ（２）を参照画像Ｑとして差分をとることにより、差分画像Ｄ（３）が得られる。この場合、元の対象画像Ｐは、参照画像Ｑと差分画像Ｄとを用いた復元演算（差分演算と逆の演算）を行うことにより復元することができる。たとえば、静止画像Ｆ（２）は、参照画像Ｆ（１）と差分画像Ｄ（２）とを用いた復元演算により復元することができ、静止画像Ｆ（３）は、参照画像Ｆ（２）と差分画像Ｄ（３）とを用いた復元演算により復元することができる。

図２で説明したとおり、差分画像Ｄは、対象画像Ｐと参照画像Ｑについて、それぞれ対応する画素間の画素値の差をとったものであるので、対象画像Ｐと参照画像Ｑとが類似していればいるほど、差分画像Ｄを構成する画素の画素値は小さくなる。たとえば、対象画像Ｐと参照画像Ｑとが完全に同一の画像であれば、差分画像Ｄを構成する全画素の画素値は０になる。動画の場合、通常、時系列で順番に与えられる第ｔ番目のフレーム画像Ｆ（ｔ）は、その直前に与えられた第（ｔ−１）番目のフレーム画像Ｆ（ｔ−１）に極めて類似していることが多く、両者の差分をとることにより得られる差分画像Ｄ（ｔ）を構成する画素の多くは、０もしくは小さな画素値をもった画素になる。

このような理由から、元のフレーム画像Ｆ（ｔ）に対して直接圧縮処理を施すよりも、差分画像Ｄ（ｔ）に対して圧縮処理を施した方が、圧縮効率は向上する。これは、圧縮時に、画素値の羅列情報をランレングス情報に置き換え、可変長ビットを用いた符号化が行われるためである。０もしくは小さな画素値をもった画素が連続する差分画像Ｄ（ｔ）は、高い圧縮効率が得られる特性を有している。

したがって、図１に示す例の場合、最初のフレーム画像Ｆ（１）については、差分画像が作成できないので、これを直接圧縮して、圧縮画像Ｃ（１）を生成することになるが、続くフレーム画像Ｆ（２）については、直前のフレーム画像Ｆ（１）との間の差分画像Ｄ（２）に対して圧縮を行うことにより、圧縮効率の高い圧縮画像Ｃ（２）を作成することができ、同様に、フレーム画像Ｆ（３）については、直前のフレーム画像Ｆ（２）との間の差分画像Ｄ（３）に対して圧縮を行うことにより、圧縮効率の高い圧縮画像Ｃ（３）を作成することができる。

かくして、フレーム画像Ｆ（１），Ｆ（２），Ｆ（３），... からなる動画データは、圧縮画像Ｃ（１），Ｃ（２），Ｃ（３），... からなるデータに圧縮されることになる。動画を再生する際には、上述したプロセスと逆のプロセスにより、フレーム画像Ｆ（１），Ｆ（２），Ｆ（３），... を復元すればよい。

なお、一般的な動画データの場合は、上述した例のように、フレーム画像Ｆ（ｔ）を対象画像Ｐとして差分画像Ｄを生成する際に、直前のフレーム画像Ｆ（ｔ−１）を参照画像Ｑとして利用すればよいが、参照画像Ｑは必ずしも直前のフレーム画像に限定されるわけではない。たとえば、照明環境が時間的に変化しない室内などについて、定点カメラとして設置された監視カメラからの動画データを圧縮するような場合は、予め動体が存在しない標準状態のフレーム画像Ｆ（０）を撮影しておき、常に、このフレーム画像Ｆ（０）を参照画像Ｑとして用いて差分画像Ｄを作成するようにしてもかまわない。あるいは、過去の複数フレーム分の平均画像を参照画像Ｑとするような運用も可能である。

続いて、１フレーム分の画像を複数のブロックに分割する取り扱いを説明する。ＪＰＥＧ等の静止画像に対する圧縮方式や、ＭＰＥＧ２などの動画に対する圧縮方式では、図３に示すように、１フレーム分の画像を縦方向にＩ分割、横方向にＪ分割することにより、Ｉ行Ｊ列に配列されたＩ×Ｊ個のブロックを構成し、個々のブロック単位で処理を行う方法が採られる。１つのブロックは、縦にｍ個の画素、横にｎ個の画素を並べたｍ×ｎの画素配列によって構成される。このようなブロック単位の取り扱いは、データ圧縮を行うために離散コサイン変換などの符号化処理を行うための便宜である。

図３には、説明の便宜上、Ｉ＝４、Ｊ＝５に設定し、１フレーム分の画像を２０個のブロックＢ１１〜Ｂ４５に分けた例を示すが、ＪＰＥＧやＭＰＥＧ２などの一般的な画像圧縮方式の規格では、ｍ×ｎの画素配列として、たとえば、８×８や１６×１６などのサイズが定められているので、一般的な画像の場合、ブロックの数はより多くなる。ただ、図示の便宜上、以下の説明では、図３に示すように４行５列のブロックに分割する実施例を述べることにする。

図３のように、１フレーム分の画像を複数のブロックに分割して取り扱う場合、差分画像を作成する処理も、個々のブロック単位で行われる。図４は、ブロック単位での差分画像の作成方法を示す平面図である。前述したとおり、差分画像Ｄは、対象画像Ｐと参照画像Ｑとの差分を示す画像であるが、差分画像Ｄを作成する処理をブロック単位で行う場合、対象画像Ｐ，参照画像Ｑ，差分画像Ｄは、それぞれが同一の分割方法によって複数のブロックに分割される。図示の例の場合、いずれの画像も縦に４分割、横に５分割され、合計２０個のブロックに分割されることになる。この３つの画像Ｐ，Ｑ，Ｄは、互いに同一のフレームサイズをもった画像であるため、個々のブロックもそれぞれ同一のサイズのブロックになる。

ここでは、図示のとおり、対象画像Ｐを構成する各ブロックのうち第ｉ行第ｊ列（１≦ｉ≦Ｉ，１≦ｊ≦Ｊ）に位置するブロック内の画像を対象ブロック画像Ｐ（ｉ，ｊ）と呼び、参照画像Ｑを構成する各ブロックのうち第ｉ行第ｊ列に位置するブロック内の画像を参照ブロック画像Ｑ（ｉ，ｊ）と呼び、差分画像Ｄを構成する各ブロックのうち第ｉ行第ｊ列に位置するブロック内の画像を差分ブロック画像Ｄ（ｉ，ｊ）と呼ぶことにする。差分ブロック画像Ｄ（ｉ，ｊ）は、対象ブロック画像Ｐ（ｉ，ｊ）と参照ブロック画像Ｑ（ｉ，ｊ）とについての差分演算（対応する画素の画素値の差を求める演算）によって得られる画像である。

このように、ブロック単位で差分をとる場合、動き補償という技術を採用することにより、後に行う圧縮処理の効率を向上させることができる。この動き補償という技術それ自体は、前掲の特許文献１〜３などに開示されている公知の技術であるが、ここでは、本発明の説明を容易にするため、動き補償の基本原理を簡単に説明しておく。

図５の上段は対象画像Ｐの具体例を示し、下段は参照画像Ｑの具体例を示している。いずれの画像も、背景（白地部分）に、２つの物体（ハッチングを施した部分）が配置されている例である。すなわち、対象画像Ｐには、静止体Ｓｐおよび動体Ｍｐが配置されており、参照画像Ｑには、静止体Ｓｑおよび動体Ｍｑが配置されている。ここで、対象画像Ｐは参照画像Ｑの次のフレームに相当する画像であり、両画像における静止体Ｓｐ，Ｓｑの位置は同じであるが、動体Ｍｐ，Ｍｑの位置は若干変わっている。すなわち、参照画像Ｑ上の動体Ｍｑは、次のフレームである対象画像Ｐ上では若干移動して、動体Ｍｐの位置に来ている。

さて、このような２枚の画像Ｐ，Ｑについて、個々のブロック単位で差分をとる処理を行う場合を考える。まず、図５に太線で囲って示す第４行第１列目のブロックの場合、対象ブロック画像Ｐ（４，１）と参照ブロック画像Ｑ（４，１）との間で差分がとられ、図６(a) に示すような差分ブロック画像Ｄ（４，１）が生成される。静止体の位置は変化しないため、画像Ｐ（４，１）と画像Ｑ（４，１）は全く同じ画像になり、得られる差分ブロック画像Ｄ（４，１）は図示のとおり差が０の画像（すべての画素値が０の画像）になる。

一方、図５に太線で囲って示す第２行第４列目のブロックの場合、対象ブロック画像Ｐ（２，４）と参照ブロック画像Ｑ（２，４）との間で差分がとられ、図６(b) に示すような差分ブロック画像Ｄ（２，４）が生成される。動体の位置は変化しているため、画像Ｐ（２，４）と画像Ｑ（２，４）は異なる画像になり、得られる差分ブロック画像Ｄ（２，４）には、図示のとおり、相違する領域が現れることになる（ここでは、説明の便宜上、二値画像の差分演算の結果を図示しているが、実際には、各画像は濃度値をもった階調画像になる）。

このように、動体が含まれているブロックは、差分ブロック画像に含まれる差分の情報量が多くなるため、圧縮効率を低減させる要因になる。実際、図６(a) に示す差分ブロック画像Ｄ（４，１）と図６(b) に示す差分ブロック画像Ｄ（２，４）とを比較すれば、前者の情報量に比べて後者の情報量が著しく多いことは一目瞭然である。動き補償は、このような問題に対処するための技術であり、動体の動きを推定して、この動きの分だけブロックの位置をシフトさせて、画像の差を補償するという考え方に基づくものである。

図７は、図５に示す例に対して動き補償を適用した例を示す平面図である。図７に示す対象画像Ｐおよび参照画像Ｑは、図５に示す各画像Ｐ，Ｑと全く同じものであり、ブロック分割の態様も同じものである。当然、対象ブロック画像Ｐ（２，４）も全く同じである。ただ、相手方の参照ブロック画像に関しては、図５に示す例の場合は、太線で囲って示すように、同じ位置に配置されている参照ブロック（ここでは、同位参照ブロックと呼ぶことにする）の枠内の画像が用いられているのに対して、図７に示す例の場合は、やはり太線で囲って示すように、この同位参照ブロックの枠をやや左上にシフトした枠内の画像が用いられている。

すなわち、図７に示す動き補償を採用した例の場合、対象ブロック画像Ｐ（２，４）と同じ位置にある同位参照ブロック画像Ｑ（２，４）を用いる代わりに、そのブロック枠をやや左上にシフトした枠内の画像ＱＱ（２，４）を用いた差分演算が行われる。この画像ＱＱ（２，４）は、同位参照ブロック画像Ｑ（２，４）に比べて、対象ブロック画像Ｐ（２，４）により類似した画像になっているため、ここでは、類似ブロック画像ＱＱ（２，４）と呼ぶことにする。

実際、図７に示す例の場合、太線で囲って示す対象ブロック画像Ｐ（２，４）内の動体Ｍｐの占有位置と、太線で囲って示す類似ブロック画像ＱＱ（２，４）内の動体Ｍｑの占有位置とは全く同じになっており、両画像は完全に同一の画像になっている。別言すれば、両画像ができるだけ類似するように（この例の場合は、完全に同一となるように）、横方向シフト量Δｘおよび縦方向シフト量Δｙが設定され、ブロック枠のシフトが行われたことになる。このようなシフトの方向および量は、参照画像Ｑから対象画像Ｐに変遷する際に動体の移動を推定することによって求めることができる。

図８は、図７に示す例におけるブロック単位での差分例を示す平面図である。すなわち、図７に太線で囲って示す第４行第１列目の対象ブロック画像Ｐ（４，１）の場合、同位参照ブロック画像Ｑ（４，１）との間で差分がとられ、図８(a) に示すような差分ブロック画像Ｄ（４，１）が生成される（これは、図６(a) に示す例と同じである）。一方、図７に太線で囲って示す第２行第４列目の対象ブロック画像Ｐ（２，４）の場合、同位参照ブロック画像Ｑ（２，４）の代わりに、ブロック枠を若干シフトさせて得られる類似ブロック画像ＱＱ（２，４）との間で差分がとられ、図８(b) に示すような差分ブロック画像ＤＤ（２，４）が生成される。

図８(a) に示す例の場合、画像Ｐ（４，１）と画像Ｑ（４，１）は全く同じ画像になり、差分ブロック画像Ｄ（４，１）は差が０の画像になるが、図８(b) に示す例の場合も、画像Ｐ（２，４）と画像ＱＱ（２，４）は全く同じ画像になり、差分ブロック画像ＤＤ（２，４）は差が０の画像になる。したがって、いずれの場合も、差分画像を生成することによって情報量を大幅に低減させることができる。結局、このような動き補償を行って得られる差分ブロック画像を含む差分画像ＤＤは、動き補償を行わないで作成した差分画像Ｄに比べて情報量が低減され、圧縮効率の向上に貢献することができる。

もっとも、図８(b) の場合、差分ブロック画像ＤＤ（２，４）が差が０の画像になるためには、背景部分（図７に示す各画像Ｐ，Ｑの白地部分）が均一色の領域（同一の画素値をもった画素で構成される領域）である必要がある。背景部分が一般的な風景画像であると、ブロック枠のシフトにより風景画像から切り出される背景部分に差が生じるため、差分ブロック画像ＤＤ（２，４）は差が０の画像にはならない。それでも、図８(b) に示す類似ブロック画像ＱＱ（２，４）と対象ブロック画像Ｐ（２，４）との類似度は、図６(b) に示す参照ブロック画像Ｑ（２，４）と対象ブロック画像Ｐ（２，４）との類似度よりも格段に向上するため、差分ブロック画像ＤＤ（２，４）の情報量は、差分ブロック画像Ｄ（２，４）の情報量よりも格段に低減する。これが、動き補償により差分画像の情報量を低減させる基本原理である。

なお、動き補償を採用して差分画像を作成した場合には、元の対象画像を復元する際に、シフトの態様（シフトの方向と量）を示すシフト情報が必要である。たとえば、図８(b) に示す例の場合、対象ブロック画像Ｐ（２，４）を復元するためには、差分ブロック画像ＤＤ（２，４）と類似ブロック画像ＱＱ（２，４）とを用いた復元演算を行う必要がある。ここで、差分ブロック画像ＤＤ（２，４）は、差分画像ＤＤの第２行第４列目のブロックとして切り出すことができるが、類似ブロック画像ＱＱ（２，４）は、参照画像Ｑの第２行第４列目のブロックとして切り出した同位参照ブロック画像Ｑ（２，４）ではなく、その枠をシフト量Δｘ，Δｙだけシフトさせた枠内の画像として切り出す必要がある。したがって、動き補償を採用した場合は、各差分ブロック画像ＤＤ（２，４）にシフト情報（シフト量Δｘ，Δｙ）を付加しておく必要がある。

図８(b) において、画像ＱＱ（２，４）および画像ＤＤ（２，４）の下に記載した＜Δｘ，Δｙ＞は、このシフト情報を示すものである。このように、動き補償を採用した場合は、各差分ブロック画像ＤＤ（ｉ，ｊ）に、必ず所定のシフト情報＜Δｘ，Δｙ＞を付与しておくようにし、元の対象画像Ｐを復元する際には、このシフト情報を利用して、参照ブロック画像Ｑ（ｉ，ｊ）を類似ブロック画像ＱＱ（ｉ，ｊ）に変換する処理を行うことになる。

なお、図７に示す例の場合、参照ブロック画像Ｑ（２，４）についてはシフトを行う必要があるが、参照ブロック画像Ｑ（４，１）についてはシフトを行う必要はない。したがって、実際には、シフトが必要なブロックと、シフトが不要なブロックとが混在することになる。そこで実用上は、シフトが不要なブロックについては、シフト量を０とする取り扱いを行えば、全ブロックについて画一的な処理を行うことができる。

たとえば、図７に示す例の場合、便宜上、参照ブロック画像Ｑ（４，１）の枠に対して、シフト量Δｘ＝０、Δｙ＝０だけシフトした枠内の画像を類似ブロック画像ＱＱ（４，１）とする取り扱いを行えば、図８(a) に括弧書きで示すように、参照ブロック画像Ｑ（４，１）は、＜０，０＞なるシフト情報をもつ類似ブロック画像ＱＱ（４，１）として取り扱うことができ、動き補償を採用しないで得られた差分ブロック画像Ｄ（４，１）は、＜０，０＞なるシフト情報をもつ、動き補償を採用して得られた差分ブロック画像ＤＤ（４，１）として取り扱うことができる。このような運用を行えば、結局、すべての差分ブロック画像ＤＤ（ｉ，ｊ）に所定のシフト量＜Δｘ，Δｙ＞が定義されることになり、このような所定のシフト量＜Δｘ，Δｙ＞が付与された差分ブロック画像ＤＤ（ｉ，ｊ）の集合体として、差分画像ＤＤが作成されることになる。

＜＜＜ §２． 一部分の画像のみを復元する場合の問題 ＞＞＞
図３に示すように、１フレーム分の画像を複数のブロックに分割して取り扱うようにすれば、圧縮された画像を復元する際にも、ブロック単位で復元処理を行えばよいので、一部分の画像のみを復元すれば足りる場合、必要なハードウェアの容量を低減することができる。たとえば、図３に示す例の場合、１行分のブロック（横に並んだ５個のブロック）からなる領域を１つの単位処理領域として取り扱うことにし、この単位処理領域内の画像のみを復元する処理を行うのであれば、４行５列からなる２０個のブロックからなる画面全体の画像データを収容するメモリを用意する代わりに、１行５列からなる５個のブロックに相当する部分画像のデータを収容するメモリを用意すれば足りる。

たとえば、小型のゲーム機などでは、個々のキャラクターの画像を、それぞれ別個独立した素材画像としてＲＯＭ内に圧縮画像データとして用意しておき、ゲームの進行に応じて、必要なキャラクターの素材画像を読み出して伸張し、相互に合成して画面に表示するような方法が採られることが多い。この場合、素材画像の１フレーム全体ではなく、その一部分の単位処理領域内の画像のみを合成すれば足りる場合、当該単位処理領域内の画像のみを復元すれば十分である。

動き補償を行わないデータ圧縮方法では、図４に示すとおり、対象画像Ｐと参照画像Ｑとの差分をとり、得られた差分画像Ｄに対して圧縮処理を行うことになる。このとき、処理が個々のブロック単位で行われることは既に述べたとおりである。したがって、元の対象画像Ｐを復元するには、図９に示すように、差分画像Ｄと参照画像Ｑとを用いた復元処理（差分演算とは逆の演算処理）を行えばよい。この復元処理も、個々のブロック単位で行うことができる。

ここでは、Ｉ行Ｊ列のブロックに分割された画像のうち、第ｉ番目の行（１≦ｉ≦Ｉ）に所属するＪ個のブロックからなる領域を第ｉ番目のブロックラインＬｉと呼ぶことにする。図９に示す例の場合、各画像Ｄ，Ｑ，Ｐは、いずれも４つのブロックラインＬ１〜Ｌ４によって構成されている。差分画像Ｄを生成する処理は、個々のブロック単位で独立して行われているので、対象画像Ｐを復元する処理も、個々のブロック単位で独立して行うことができる。したがって、１つのブロックライン内の領域を単位処理領域として取り扱えば、復元処理もこの単位処理領域ごとに別個独立して行うことができる。

図１０は、ブロックラインごとに差分画像Ｄから対象画像Ｐを復元する原理を示す平面図である。図示のとおり、対象画像Ｐのうち、第ｉ番目（図示の例では、ｉ＝２）のブロックラインＬｉに対応する単位処理領域（図の実線部分）を復元する際には、差分画像ＤのブロックラインＬｉに対応する単位処理領域（図の実線部分）と参照画像ＱのブロックラインＬｉに対応する単位処理領域（図の実線部分）とを用いて復元演算を行えばよい。

図１１は、ブロックラインＬｉに対応する単位処理領域についての復元処理の具体例を示す平面図である。差分画像Ｄの太線で囲って示すブロックラインＬｉ内の画像データと、参照画像Ｑの太線で囲って示すブロックラインＬｉ内の画像データとに基づいて復元処理を行うことにより、対象画像ＰのブロックラインＬｉに対応する単位処理領域を復元することができる。もちろん、実際には、ブロックラインＬｉを構成する個々のブロック単位で復元処理が行われることになるが、いずれにしても、ブロックラインＬｉについての復元処理には、隣接するブロックラインＬ（ｉ−１）やブロックラインＬ（ｉ＋１）の情報は不要である。

ところが、差分画像Ｄの代わりに、§１で述べた従来の動き補償の技術を導入して差分画像ＤＤを作成した場合は、事情が異なってくる。すなわち、対象画像Ｐの第ｉ番目のブロックラインＬｉに対応する単位処理領域を復元する場合、差分画像ＤＤについては、ブロックラインＬｉに対応する単位処理領域の情報のみで十分であるが、参照画像Ｑについては、ブロックラインＬｉに対応する単位処理領域の情報に加えて、必要に応じて、上下に隣接するブロックラインＬ（ｉ−１），Ｌ（ｉ＋１）の情報も必要になってくる。これは、差分画像ＤＤを作成する際に、動き補償により、参照ブロックの位置を修正したため、上下のブロックラインへの位置ずれが生じるためである。

図１２は、図１１に示す具体例において、動き補償を適用した場合の問題を示す平面図である。この図１２に示す差分画像ＤＤは、図７に示す動き補償を行って作成された画像であり、太線で囲って示す第２行第４列目の差分ブロック画像ＤＤ（２，４）には、シフト情報＜Δｘ，Δｙ＞が付与されている。これは、当該差分ブロック画像ＤＤ（２，４）が、図７に示すように、対象ブロック画像Ｐ（２，４）と類似ブロック画像ＱＱ（２，４）との差分処理により生成されたものであることを示しており、シフト情報＜Δｘ，Δｙ＞は、同位参照ブロック画像Ｑ（２，４）に対する類似ブロック画像ＱＱ（２，４）の横方向および縦方向のシフト量を示すものである。

したがって、第２行第４列目の対象ブロック画像Ｐ（２，４）を復元するには、差分ブロック画像ＤＤ（２，４）と類似ブロック画像ＱＱ（２，４）とが必要になる。もちろん、差分ブロック画像ＤＤ（２，４）には、シフト情報＜Δｘ，Δｙ＞が付与されているので、参照画像Ｑの全画像情報があれば、同位参照ブロック画像Ｑ（２，４）のブロック枠を、横方向にΔｘ，縦方向にΔｙだけシフトして、図１２に一点鎖線で示すようなシフト枠を設定し、このシフト枠に含まれる画像として、類似ブロック画像ＱＱ（２，４）を得ることができる。

このため、画像全体を処理対象として、対象画像Ｐの復元を行う際には問題は生じない。たとえば、図１に示す例のように、フレーム画像Ｆ（ｔ）を対象画像Ｐとし、直前のフレーム画像Ｆ（ｔ−１）を参照画像Ｑとして、差分画像ＤＤを作成した場合であれば、参照画像Ｑは、１フレーム前の対象画像Ｐとして既に復元されていることになる。ところが、特定のブロックラインＬｉを単位処理領域として、この単位処理領域についての処理のみを行い、一部分の画像のみを復元する場合には、参照画像Ｑの単位処理領域外の情報がないため、上記復元処理を行う際に問題が生じる。

すなわち、図１２に示す例の場合、類似ブロック画像ＱＱ（２，４）が、ブロックラインＬ２に対応する単位処理領域よりもシフト量Δｙだけ上方に食み出しているため、個々のブロックラインを単位処理領域として取り扱う場合、この上方に食み出した部分の情報が同じ単位処理領域内に存在しないという問題が生じる。なお、類似ブロック画像ＱＱ（２，４）は、同位参照ブロック画像Ｑ（２，４）に対して左方にシフト量Δｘだけシフトしているが、横方向に隣接するブロックに関しては、同じ単位処理領域に所属するため問題は生じない。

結局、図１２に示す例の場合、類似ブロック画像ＱＱ（２，４）のうち、シフト量Δｙだけ上方に食み出している部分についての情報を入手するために、上方に隣接しているブロックラインＬ１内の情報も必要になる。シフト方向が下方の場合は、下方に隣接しているブロックラインＬ３内の情報が必要になる。このように、特定のブロックラインＬｉを単位処理領域として、この単位処理領域についての処理のみを行い、一部分の画像のみを復元する場合であっても、§１で述べた従来の動き補償を施して差分画像ＤＤを作成した場合は、単位処理領域外の情報も必要になる。

これは、本来であれば、１行分のブロックラインの処理を行うだけのハードウェア（メモリやバッファなど）を用意しておけば足りる場合でも、従来の動き補償の技術を採用すると、上例の場合３行分のブロックラインの処理を行うハードウェアが必要になる。これは、特に、ゲーム機や携帯型電子端末など、動画再生機能をもった小型の装置を提供する上では、製造コストの高騰を招く要因になる。

＜＜＜ §３． 本発明の基本原理 ＞＞＞
本発明は、§２で述べた問題点を解決するための新たな技術を提供するものであり、動き補償の技術を採用しつつ、対象画像を効率的に復元することが可能な差分画像作成方法を提案するものである。ここでは、その基本原理を説明する。

図１３は、本発明に係る差分画像作成方法の基本原理を示す平面図であり、第２番目のブロックラインＬ２を単位処理領域とした場合に、このブロックラインＬ２に関する差分画像を作成する原理が示されている。この方法は、動き補償を採用するという点に関しては、§１で述べた方法と同様であるが、動き補償の具体的な手法において従来の方法と若干異なっている。

従来の動き補償を採用した方法では、図７に示すように、参照画像Ｑ上において、同位参照ブロック画像Ｑ（２，４）に対して所定のシフト量Δｘ，Δｙだけシフトした位置にある類似ブロック画像ＱＱ（２，４）を探索し、対象ブロック画像Ｐ（２，４）と類似ブロック画像ＱＱ（２，４）との差分をとり、差分ブロック画像ＤＤ（２，４）を生成していた。

これに対して、図１３に示す本発明に係る方法では、参照画像Ｑ上において、類似ブロック画像ＱＱ（２，４）を探索するところまでは従来の方法と同様であるが、この類似ブロック画像ＱＱ（２，４）に対して修正を加えて修正画像ＱＱＱ（２，４）を生成し、対象ブロック画像Ｐ（２，４）と修正画像ＱＱＱ（２，４）との差分をとり、差分ブロック画像ＤＤＤ（２，４）を生成することになる。図示のとおり、類似ブロック画像ＱＱ（２，４）と、これを修正して得られる修正画像ＱＱＱ（２，４）との相違は、前者における第２番目のブロックライン（単位処理領域）の領域外の部分が、後者では充填用画像Ｗに置き換えられている点である。単位処理領域外の情報を充填用画像Ｗにより補完した画像であるため、本願では、この修正画像ＱＱＱ（２，４）を補完ブロック画像ＱＱＱ（２，４）と呼ぶことにする。

図１４は、図１３に示す補完ブロック画像ＱＱＱ（２，４）の生成方法を示す平面図である。図１４(a) は、類似ブロック画像ＱＱ（２，４）を示している。この類似ブロック画像ＱＱ（２，４）は、§１で述べたとおり、対象ブロック画像Ｐ（２，４）と同じ位置（ブロック配列上での同じ位置、すなわち、第２行第４列の位置）にある同位参照ブロック画像Ｑ（２，４）の枠を所定のシフト量Δｘ，Δｙだけシフトした位置にある枠内の画像として探索され、対象ブロック画像Ｐ（２，４）に対してある程度の類似性をもった画像である。

図１４(a) に示す枠Ｆは、この類似ブロック画像ＱＱ（２，４）の輪郭を構成するブロック枠を示しており、対象画像Ｐや参照画像Ｑをブロック分割したときに定義される各ブロックの枠と同じサイズの枠である。また、図１４(a) に示す水平線Ｅは、同位参照ブロック画像Ｑ（２，４）が所属する単位処理領域の領域境界線を示すものであり、図１３において太線で描かれているブロックラインＬ２の上方境界線に相当する。

本発明では、まず、この類似ブロック画像ＱＱ（２，４）について、ブロックラインＬ２（単位処理領域）の領域外の部分の画像情報を削除して空白領域Ｖとする。図１４(b) は、このような処理が行われた状態を示している。要するに、類似ブロック画像ＱＱ（２，４）の枠Ｆ内の画像のうち、領域境界線Ｅから食み出した部分（この例の場合は、領域境界線Ｅより上の部分）の情報を削除して空白領域Ｖとする処理が行われることになる。

続いて、この空白領域Ｖに、所定の充填規則Ruleに基づいて生成した充填用画像Ｗを割り付けて補完することにより、補完ブロック画像ＱＱＱ（２，４）を生成する。図１４(c) は、この充填用画像Ｗを生成するプロセスを示しており、図１４(d) は、生成した充填用画像Ｗを空白領域Ｖ内に割り付けて補完ブロック画像ＱＱＱ（２，４）を生成した状態を示している。

充填用画像Ｗを生成するための充填規則Ruleとしては、後述するように、様々な規則を設定することができるが、ここでは比較的単純な充填規則として、「単位処理領域の領域内における、空白領域Ｖに接する境界近傍画素Ｈの画素値を、空白領域Ｖ内の画素にコピーする」という充填規則を採用した場合を例にとって説明する。図１４(c) は、このような充填規則に基づいて、充填用画像Ｗを生成するプロセスを示すものである。すなわち、この例の場合、領域境界線Ｅの真下に位置する境界近傍画素Ｈ（枠Ｆで切り出された１行分の画素群）の画素値を、それぞれ上方に存在する空白領域Ｖ内の画素にコピーする処理が行われる。

図１４(d) に示す充填用画像Ｗは、このような画素値のコピー処理によって生成された画像である。図１５は、このような充填用画像Ｗの生成プロセスをより詳細に説明する平面図である。図に示す小さな正方形は、ブロック枠Ｆ内に配列された個々の画素を示している（境界近傍画素Ｈよりも下方の画素については図示省略）。上述したとおり、境界近傍画素Ｈは、領域境界線Ｅの真下に位置する１行分の画素群であり、処理対象領域（この例の場合は、ブロックラインＬ２）内の上端に位置する画素群ということになる。図では、この境界近傍画素Ｈに、左から１，２，３，４，... と番号を振って示してある。

境界近傍画素Ｈから空白領域Ｖ内の各画素への画素値のコピーは、真上方向に行われる。この例の場合、空白領域Ｖは、６つの画素行Ｕ１〜Ｕ６によって構成されており、境界近傍画素Ｈの画素値は、この６つの画素行すべての画素に対して行われる。たとえば、番号１が振られた境界近傍画素Ｈの画素値は、６つの画素行Ｕ１〜Ｕ６の同じ番号１が振られた画素へコピーされることになる。図では、左から第ｋ番目の画素（記号ｋが振られた画素）について、このコピーの様子を矢印で示してある。コピーの方向は、矢印Ｔで示すとおり、領域境界線Ｅに直交する方向（図の真上方向）ということになる。

対象画像Ｐがカラー画像の場合、図２に示すように、参照画像Ｑおよび差分画像Ｄもカラー画像になり、個々の画素には、たとえば、３原色ＲＧＢの画素値が定義される。したがって、図１５に示す画素値のコピーも、個々の３原色ＲＧＢの各画素値のそれぞれについて行われる。このような画素値のコピーにより、空白領域Ｖには、充填用画像Ｗが補完され、得られた補完ブロック画像ＱＱＱ（２，４）のブロック枠Ｆ内は完全に何らかの画像情報で満たされることになる。

なお、図１４(d) 等では、生成された充填用画像Ｗのうち、斜線ハッチングを施して示す動体部分の画素をコピーすることによって生成された部分には網目ハッチングを施して示し、白地の背景部分の画素をコピーすることによって生成された部分は白地のまま示してある。このように、図１４(d) 等に示す補完ブロック画像ＱＱＱ（２，４）において、網目ハッチング部分は、斜線ハッチングを施して示す動体の境界近傍部分をコピーすることにより得られた部分であることを便宜的に示すものである。

別言すれば、補完ブロック画像ＱＱＱ（２，４）における斜線ハッチングと網目ハッチングの相違は、画素値の相違を示すものではなく（実際、二値画像の場合、両者の画素値は同じになる）、参照画像Ｑにもともと含まれていた本来の動体部分であるのか、この動体部分をコピーすることにより生成された充填部分であるのか、の相違を示している。結局、補完ブロック画像ＱＱＱ（２，４）において、斜線もしくは網目のハッチングを施した領域は、いずれも参照画像Ｑに含まれていた動体Ｍｑに関連する領域であるが、前者は動体Ｍｑの本来の形状に応じた領域になっているのに対して、後者は動体Ｍｑの本来の形状とは異なる形状の領域になる（偶然、本来の形状と一致することはありうるが）。

これは、図１４(a) に示す類似ブロック画像ＱＱ（２，４）と図１４(d) に示す補完ブロック画像ＱＱＱ（２，４）とを比較すれば一目瞭然である。領域境界線Ｅより下方における両者の斜線ハッチング部分を比較すると全く同一であるが、網目ハッチング部分は全く異なった形状になっている。その結果、類似ブロック画像ＱＱ（２，４）では、円形の動体の形状がそのまま正しく表現されているが、補完ブロック画像ＱＱＱ（２，４）では、動体の形状は円形ではなくいびつな形状になっている。したがって、対象ブロック画像Ｐ（２，４）に対する類似度という観点では、類似ブロック画像ＱＱ（２，４）の類似度に比べて、補完ブロック画像ＱＱＱ（２，４）の類似度は低下せざるを得ない。

図１６は、異なる３通りの方法により生成された差分ブロック画像の対比を示す平面図である。いずれも図１３に示す対象画像Ｐと参照画像Ｑに基づいて、対象ブロック画像Ｐ（２，４）についての差分ブロック画像を生成した例であるが、図１６(a) は、同位参照ブロック画像Ｑ（２，４）との差分をとることにより得られた差分ブロック画像Ｄ（２，４）を示し、図１６(b) は、類似ブロック画像ＱＱ（２，４）との差分をとることにより得られた差分ブロック画像ＤＤ（２，４）を示し、図１６(c) は、補完ブロック画像ＱＱＱ（２，４）との差分をとることにより得られた差分ブロック画像ＤＤＤ（２，４）を示している。

要するに、図１６(a) は、動き補償を行わないで生成された差分ブロック画像Ｄ（２，４）を示し、図１６(b) は、従来の動き補償を行って生成された差分ブロック画像ＤＤ（２，４）を示し、図１６(c) は、本発明に係る動き補償を行って生成された差分ブロック画像ＤＤＤ（２，４）を示している。図１６(a) に示す差分ブロック画像Ｄ（２，４）に比べて、図１６(b) に示す動き補償を適用した差分ブロック画像ＤＤ（２，４）の情報量が著しく低減することは、既に§１で述べたとおりである。実際、図示の例の場合、差分ブロック画像ＤＤ（２，４）は画素値がすべて０の画像になっている。

一方、本発明に係る動き補償を行って生成された、図１６(c) に示す差分ブロック画像ＤＤＤ（２，４）は、図１６(b) に示す差分ブロック画像ＤＤ（２，４）に比べると、情報量は多くなっている。これは、補完ブロック画像ＱＱＱ（２，４）における網目ハッチングを施した部分において、対象ブロック画像Ｐ（２，４）に対する類似度が低下してしまうためである。しかしながら、差分ブロック画像ＤＤＤ（２，４）は、差分ブロック画像Ｄ（２，４）に比べれば、情報量を低減することに成功している。これは動き補償を行った効果である。

結局、差分画像を作成することにより、元の対象画像の情報量を低減し、圧縮効率を高めるという観点からは、図１６(b) に示すように、従来の動き補償を行って差分ブロック画像ＤＤ（２，４）を作成するのが最も好ましいことになる。しかしながら、この従来の動き補償を採用した場合、§２で述べたとおり、特定の単位処理領域に関する一部分の画像のみを復元する場合に、隣接する単位処理領域の情報が必要になるという問題が生じる。本発明に係る方法では、情報量を低減し圧縮効率を高めるという点では、従来の動き補償を行う方法よりも劣ることになるが、特定の単位処理領域に関する一部分の画像のみを復元する場合に、当該単位処理領域に関する情報のみを用いた復元処理が可能になるという特有の効果が得られることになる。

図１３に示すとおり、従来の動き補償では、参照画像Ｑ上において、対象ブロック画像Ｐ（２，４）についての同位参照ブロック画像Ｑ（２，４）の枠を、所定方向にシフトさせて類似ブロック画像ＱＱ（２，４）を得る方式をとるため、どうしても、単位処理領域（ブロックラインＬ２）から食み出た部分についての画像情報が必要になる。ところが、本発明に係る動き補償では、この食み出た部分の画像情報を、所定の充填規則に基づいて生成した充填用画像Ｗによって補完して補完ブロック画像ＱＱＱ（２，４）を生成する、という方式がとられるため、単位処理領域（ブロックラインＬ２）外の画像情報は一切不要になる。

もっとも、復元時には、差分ブロック画像ＤＤＤ（２，４）と補完ブロック画像ＱＱＱ（２，４）とが必要になるので、補完ブロック画像ＱＱＱ（２，４）を生成するために、類似ブロック画像ＱＱ（２，４）を探索したときのシフトの態様を示すシフト情報（図１３に示す例の場合は、シフト量を示す値＜Δｘ，Δｙ＞）と、充填用画像Ｗの生成に用いた充填規則が必要になる。たとえば、図１３に示す例の場合、対象ブロック画像Ｐ（２，４）の復元時には、補完ブロック画像ＱＱＱ（２，４）を生成する必要があるが、そのためには、参照画像ＱのうちのブロックラインＬ２内の情報と、シフト情報＜Δｘ，Δｙ＞と、充填用画像Ｗの生成に用いた充填規則Ruleとがあれば足りる。

図１６(b) に示す差分ブロック画像ＤＤ（２，４）に、＜Δｘ，Δｙ＞なるシフト情報が付記されているのは、復元時に当該シフト情報が必要になることを示すものであり、図１６(c) に示す差分ブロック画像ＤＤＤ（２，４）に、＜Δｘ，Δｙ，Rule＞なるシフト情報および充填規則が付記されているのは、復元時に当該シフト情報および充填規則が必要になることを示すものである。ここで、シフト情報＜Δｘ，Δｙ＞は、類似ブロック画像ＱＱ（２，４）を探索する際に用いられたシフト情報であり、充填規則Ruleは、補完ブロック画像ＱＱＱ（２，４）内の充填用画像Ｗを生成するために用いられた規則である。

なお、充填規則Ruleとして、常に共通の同一規則を利用するという前提であれば、個々の差分ブロック画像ＤＤＤ（２，４）にそれぞれ充填規則Ruleを付加する必要はない。たとえば、図１５に示す例のように、「領域境界線Ｅに直交する方向Ｔに、境界近傍画素Ｈの画素値をコピーする」という同一の規則を常に利用して充填用画像Ｗを生成することに決めておけば、差分画像ＤＤＤ内に充填規則Ruleを組み込む必要はない。

＜＜＜ §４． 充填規則のバリエーションとその選択 ＞＞＞
図１５では、境界近傍画素Ｈの画素値を上方向Ｔにコピーするという充填規則Ruleに基づいて充填用画像Ｗを生成し、これを空白領域Ｖに充填する補完を行い、補完ブロック画像ＱＱＱ（２，４）を生成する例を示した。しかしながら、充填規則Ruleは、この例に限定されるものではなく、この他にも種々の充填規則を定めることが可能である。以下に、充填規則のバリエーションをいくつか例示しておく。

図１７〜図１９に示す例は、図１５に示す例と同様に、単位処理領域の領域内における、空白領域Ｖに接する境界近傍の画素の画素値（境界近傍画素Ｈの画素値）を、空白領域Ｖ内の画素にコピーするという充填規則を用いた例である点に変わりはないが、コピーの方向Ｔがそれぞれ異なっている。

図１７は、右斜め上方をコピー方向Ｔに設定してコピーを行った例である。空白領域Ｖ内の記号ｋが振られた画素は、境界近傍画素Ｈの左から第ｋ番目の画素の画素値がコピーされる画素である。図では、境界近傍画素Ｈに、左から１，２，３，４，... と記号を振り、更に、ブロック枠Ｆの左側に隣接する画素にも、ａ，ｂ，ｃと記号を振って、空白領域Ｖ内の画素へのコピーの態様を示してある。空白領域Ｖの画素行Ｕ１では、１画素分だけ右へずれたコピーがなされ、同様に上の画素行へゆくたびに、１画素分だけ右へずれたコピーがなされることになる。

図１８は、コピーする方向として、図１５の例と図１７の例との中間程度の方向Ｔを設定した例である。空白領域Ｖ内の記号ｋが振られた画素を見れば、空白領域Ｖの画素行が２行進むたびに、１画素分だけ右へずれたコピーがなされることがわかる。

図１９は、左斜め上方をコピー方向Ｔに設定してコピーを行った例である。図では、境界近傍画素Ｈに、左から１，２，３，４，... ，ｘ，ｙ，ｚと記号を振って、空白領域Ｖ内の画素へのコピーの態様を示してある。やはり空白領域Ｖ内の記号ｋが振られた画素を見れば、コピーする方向Ｔが容易に認識できる。なお、この例では、φという記号が振られた画素には、コピーした画素値ではなく、予め定められた所定のダミー画素値（たとえば、背景画像として利用される可能性の高い色を示す画素値）を与えるようにしている。

これまでの例は、領域境界線Ｅの直下に隣接する１行分の画素行を境界近傍画素Ｈとして利用した例であるが、境界近傍画素Ｈは、必ずしも領域境界線Ｅに隣接した１行分の画素にする必要はない。図２０は、領域境界線Ｅの直下の１行分の画素行からなる境界近傍画素Ｈ１と、その下の１行分の画素行からなる境界近傍画素Ｈ２の画素値をコピー元として、２行分の画素単位でコピーを行った例である。コピーする方向Ｔは真上方向であるが、画素行Ｕ２，Ｕ４，Ｕ６には、境界近傍画素Ｈ１の画素値がコピーされ、画素行Ｕ１，Ｕ３，Ｕ５には、境界近傍画素Ｈ２の画素値がコピーされることになる。

あるいは、境界近傍画素Ｈ１と境界近傍画素Ｈ２とについて、上下に隣接する画素間で画素値の平均値を求め、この平均値を上方にコピーするような方法を採ることも可能である。

また、これまでの例はいずれも、空白領域Ｖの近傍に位置する単位処理領域内の画素の画素値に基づいて、充填用画像Ｗの画素の画素値を決定する例であったが、充填用画像Ｗの画素の画素値は、必ずしも空白領域Ｖの近傍に位置する画素の画素値に基づいて決定する必要はない。たとえば、ブロック枠Ｆ内の空白領域Ｖを除いた全領域の画素の画素値の平均値を、充填用画像Ｗの全画素の画素値とするような方法を採ることも可能である。もちろん、図１９においてφという記号を振って示した一部の画素に利用したように、背景画像として利用される可能性の高い色を示す画素値を予めダミー画素値として定めておき、充填用画像Ｗを構成する各画素にこのダミー画素値を与えるという充填規則を用いるようにしてもかまわない。

このように、充填規則Ruleとしては、一義的に充填用画像Ｗの内容を決めることができる規則であれば、任意の規則を定めることができる。ただ、得られる差分ブロック画像ＤＤＤ（ｉ，ｊ）の情報量を低減し、圧縮効率を高めるためには、できるだけ対象ブロック画像Ｐ（ｉ，ｊ）に対する類似度が高い補完ブロック画像ＱＱＱ（ｉ，ｊ）が得られるような充填規則を採用するのが好ましい。

このような観点では、空白領域Ｖの近傍に位置する単位処理領域内の画素の画素値に基づいて、充填用画像Ｗの画素の画素値を決定する規則を用いるのが好ましく、より具体的には、これまで述べてきた例のように、単位処理領域の領域内における、空白領域Ｖに接する境界近傍の画素の画素値を、空白領域Ｖ内の画素にコピーするという規則により、充填用画像Ｗの画素の画素値を決定するのが好ましい。

ところで、どのような充填規則を採用すれば、対象ブロック画像Ｐ（ｉ，ｊ）に対する類似度が最も高い補完ブロック画像ＱＱＱ（ｉ，ｊ）が得られるかは、一概に決めることはできない。実際には、類似ブロック画像ＱＱ（ｉ，ｊ）に含まれている動体Ｍｑの形状や位置に応じて、最適な充填規則は異なってくる。たとえば、図１４(b) に示す例の場合、空白領域Ｖを補完すべき最適な充填用画像Ｗは、図１４(a) の領域境界線Ｅの上方にある画像（削除された画像）である。これは、この例の場合、動体がたまたま円形をしているためであり、動体の形状や位置が異なれば、最適な充填用画像Ｗを生成するための充填規則は変わってくる。

このように、実際には、最適な充填規則は個々のケースで異なるので、あらゆるケースおいて最適な結果が得られる共通した充填規則を定めることは困難である。そこで、個々のケースで、それぞれできるだけ最適な充填規則を用いた充填用画像Ｗを生成することができるようにするためには、予め複数Ｎ通りの充填規則を定めておき、個々のケースについて、この複数Ｎ通りの充填規則に基づいて複数Ｎ通りの充填用画像Ｗを生成し、各充填用画像Ｗを空白領域Ｖに割り付けて補完することにより、複数Ｎ通りの補完ブロック画像ＱＱＱ１（ｉ，ｊ）〜ＱＱＱＮ（ｉ，ｊ）を生成し、これらＮ通りの補完ブロック画像のうち、対象ブロック画像Ｐ（ｉ，ｊ）に最も類似する画像を選択し、対象ブロック画像Ｐ（ｉ，ｊ）と、選択された補完ブロック画像との差分をとることにより差分ブロック画像ＤＤＤ（ｉ，ｊ）を生成するようにすればよい。

図２１は、図１４(a) に示す類似ブロック画像ＱＱ（２，４）に基づいて補完ブロック画像ＱＱＱ（２，４）を生成するという具体的なケースについて、Ｎ＝７に設定し、複数７通りの充填規則に基づいて、複数７通りの補完ブロック画像ＱＱＱ１（２，４）〜ＱＱＱ７（２，４）を生成した例である。この７通りの充填規則は、いずれも基本的には、単位処理領域の領域内における、空白領域Ｖに接する境界近傍画素Ｈの画素値を、空白領域Ｖ内の画素にコピーするという規則であるが、コピーする方向Ｔがそれぞれ異なっている。

すなわち、図２１(a) に示す補完ブロック画像ＱＱＱ１（２，４）は、図１４(d) に示す補完ブロック画像ＱＱＱ（２，４）と同一の画像であり、図１５に示すように、真上方向をコピー方向Ｔ１に設定してコピーを行う、という充填規則により、充填用画像Ｗを生成することにより得られた画像である。これに対して、図２１(b) 〜図２１(g) に示す補完ブロック画像ＱＱＱ２（２，４）〜ＱＱＱ７（２，４）は、それぞれコピー方向をＴ２〜Ｔ７に設定してコピーを行う、という充填規則により、充填用画像Ｗを生成することにより得られた画像である。

このように、異なる充填規則に基づいて生成された７通りの補完ブロック画像ＱＱＱ１（２，４）〜ＱＱＱ７（２，４）は、互いに内容の異なる画像になるため、対象ブロック画像Ｐ（２，４）との間で差分をとった結果も、当然異なったものになる。図２２は、図２１に示す７通りの補完ブロック画像ＱＱＱ１（２，４）〜ＱＱＱ７（２，４）と対象ブロック画像Ｐ（２，４）との間で差分をとることにより生成された７通りの差分ブロック画像ＤＤＤ１（２，４）〜ＤＤＤ７（２，４）を示す平面図である。

ここで、各画像内に括弧書きで示した「Δｘ，Δｙ，RuleＴ１〜RuleＴ７」は、各差分ブロック画像に付与されたシフト情報および充填規則である。シフト情報はいずれも「Δｘ，Δｙ」と共通であるが、充填規則は、「RuleＴ１〜RuleＴ７」と異なっている。もっとも、RuleＴ１〜RuleＴ７は、いずれも単位処理領域の領域内における、空白領域Ｖに接する境界近傍画素Ｈの画素値を、空白領域Ｖ内の画素にコピーするという点で共通する規則であり、コピーする方向がＴ１〜Ｔ７と異なっているだけである。

ここでは、説明の便宜上、対象ブロック画像Ｐ（２，４）および類似ブロック画像Ｑ（２，４）として、正方形の枠Ｆ内に円形の動体が上下左右対称になるように配置された単純な例を示したため、図２２に示す７通りの差分ブロック画像は、いずれも似たような幾何学パターンになっているが、実際には、動体の形状や位置に応じて、様々なパターンが得られることになる。こうして得られた７通りの差分ブロック画像の中から、「最適な画像」を１つだけ選択し、これを対象ブロック画像Ｐ（２，４）について得られた差分ブロック画像ＤＤＤ（２，４）として用い、後の圧縮処理に利用すればよい。

ここで、「最適な画像」とは、後の圧縮処理において、最も圧縮効率が高くなるであろう画像であり、一般的には、情報量が最も少ない画像ということができる。実際には、画像を構成する画素の画素値の絶対値の合計値が最小となる画像を「最適な画像」として選択すればよい。なお、このように、図２２に示す７通りの差分ブロック画像ＤＤＤ１（２，４）〜ＤＤＤ７（２，４）の中から「最適な画像」を選択する処理は、図２１に示す７通りの補完ブロック画像ＱＱＱ１（２，４）〜ＱＱＱ７（２，４）の中から「対象ブロック画像Ｐ（２，４）に最も類似している画像」を選択する処理と等価である。

「最適な画像」として選択された差分ブロック画像ＤＤＤ（２，４）には、シフト情報とともに充填規則が付加される。上述したように、「最適な画像」を得るための充填規則（上例の場合は、コピーする方向Ｔ）は個々のケースで異なるので、個々のブロックごとに得られた差分ブロック画像ＤＤＤ（ｉ，ｊ）には、それぞれ固有のシフト情報および充填規則が付加されることになる。対象画像Ｐを復元する際には、個々の差分ブロック画像ＤＤＤ（ｉ，ｊ）の情報とともに、これに付加されている固有のシフト情報および充填規則が必要になる。

以上、対象画像Ｐおよび参照画像Ｑを、縦方向にＩ分割、横方向にＪ分割することにより、Ｉ行Ｊ列に配列されたＩ×Ｊ個のブロックを構成し、第ｉ番目の行（１≦ｉ≦Ｉ）に所属するＪ個のブロックからなるブロックラインＬｉを単位処理領域とする場合について、補完ブロック画像ＱＱＱ（ｉ，ｊ）を生成するための充填規則を述べた。この場合の充填規則は、基本的に、ブロックラインＬｉの上方もしくは下方に食み出した部分として生じる空白領域Ｖに、充填用画像Ｗを充填して補完するための規則ということになる。

たとえば、図２３に示す例の場合、単位処理領域となるブロックラインＬｉから、類似ブロック画像ＱＱ（ｉ，ｊ）のブロック枠Ｆが食み出したことにより、図にドットによるハッチングを施して示す空白領域Ｖが生じることになる。この空白領域Ｖは、基本的に、ブロックラインＬｉの上方の境界線から上方に食み出した部分か、ブロックラインＬｉの下方の境界線から下方に食み出した部分ということになる。別言すれば、空白領域Ｖは、ブロック枠Ｆの縦方向のシフトに起因して生じることになる。

図示の例の場合、ブロック枠Ｆは、元の同位参照ブロック画像Ｑ（ｉ，ｊ）の枠を縦方向および横方向の双方にシフトさせたものになっているが、この実施例では、１行のブロックラインＬｉ全体を単位処理領域としているため、同位参照ブロック画像Ｑ（ｉ，ｊ）の左隣の参照ブロック画像Ｑ（ｉ，ｊ−１）および右隣の参照ブロック画像Ｑ（ｉ，ｊ＋１）も、同じ単位処理領域に含まれる画像情報になる。したがって、この例の場合、横方向のシフトに起因して空白領域Ｖが生じることはなく、充填規則は、縦方向のシフトに起因して生じる空白領域Ｖを充填するための規則であれば足りる。

ところが、単位処理領域として、１行分のブロックラインに満たない領域を定義した場合には、横方向のシフトに起因して空白領域Ｖが生じる可能性があり、縦方向のシフトに起因して生じる空白領域と横方向のシフトに起因して生じる空白領域との双方に適用可能な充填規則を定めておく必要がある。ここでは、そのような極端な例として、１つのブロックを１単位処理領域とする例を考えてみよう。

図２４は、このように１つのブロックを１単位処理領域とした場合に生じる空白領域Ｖを示す平面図である。この例も、図２３に示す例と同様に、類似ブロック画像ＱＱ（ｉ，ｊ）のブロック枠Ｆは、元の同位参照ブロック画像Ｑ（ｉ，ｊ）の枠を縦方向および横方向の双方にシフトさせたものになっている。ただ、１つのブロックが１単位処理領域となっているため、同位参照ブロック画像Ｑ（ｉ，ｊ）の左右に隣接する参照ブロック画像Ｑ（ｉ，ｊ−１），Ｑ（ｉ，ｊ＋１）の画像情報は、単位処理領域外の情報ということになり、利用することができない。このため、空白領域Ｖは、縦方向シフトと横方向シフトの双方に起因して生じた領域になり、充填規則としては、双方のシフトに起因して生じる空白領域Ｖを充填することができる規則を用いる必要がある。

図２５は、図２４に示す空白領域Ｖの詳細構成を示す平面図である。ここでは、図示のとおり、同位参照ブロック画像Ｑ（ｉ，ｊ）の上端位置に水平境界線Ｅｈを定義し、左端位置に垂直境界線Ｅｖを定義し、類似ブロック画像ＱＱ（ｉ，ｊ）の枠Ｆ内に生じた空白領域Ｖを、３つの空白領域Ｖα，Ｖβ，Ｖγに分けて考えることにする。

この場合、空白領域Ｖαについては、これまで述べてきた充填規則をそのまま転用して充填用画像を生成することができる。たとえば、水平境界線Ｅｈに沿った１行分の境界近傍画素Ｈの画素値を真上方向にコピーする、という充填規則を適用すればよい。空白領域Ｖβについては、上記充填規則を９０°回転させて適用すればよい。すなわち、垂直境界線Ｅｖに沿った１列分の境界近傍画素の画素値を左方向にコピーする、という充填規則を適用すればよい。一方、空白領域Ｖγについては、たとえば、同位参照ブロック画像Ｑ（ｉ，ｊ）の左上隅のコーナー画素の画素値をコピーする、という充填規則を適用することができる。

図２６は、図２５に示す各空白領域Ｖα，Ｖβ，Ｖγを充填するための充填用画像の生成方法の具体的な一例を示す平面図であり、上述した各充填規則に沿ったコピーを行った結果を示すものである。すなわち、空白領域Ｖα内の画素については、水平境界線Ｅｈに沿った１行分の境界近傍画素（１，２，３，... と記号を振った画素）の画素値を真上方向Ｔαにコピーし、空白領域Ｖβ内の画素については、垂直境界線Ｅｖに沿った１列分の境界近傍画素（１，ａ，ｂ，ｃ，... と記号を振った画素）の画素値を左方向Ｔβにコピーすればよい。また、空白領域Ｖγ内の画素については、太線で囲って示すコーナー画素（１と記号を振った画素）の画素値を斜め左上方向Ｔγに広げるようにコピーすればよい。

もちろん、ここに示す充填規則は一例であり、たとえば、空白領域Ｖγ内の画素については、予め定められた所定のダミー画素値（たとえば、背景画像として利用される可能性の高い色を示す画素値）を与えるようにしてもかまわない。

＜＜＜ §５． 本発明の基本的な実施形態 ＞＞＞
続いて、§３で述べた基本原理に基づく本発明の基本的な実施形態を説明する。

＜５−１．本発明に係る差分画像作成方法＞
図２７は、本発明に係る差分画像作成方法の基本手順を示す流れ図である。この差分画像作成方法は、与えられた対象画像Ｐについて、参照画像Ｑを利用して差分画像Ｄを作成する方法であり、図示のとおり、ステップＳ１〜Ｓ９の各段階によって構成される。実際には、これらの各段階は、所定のプログラムが組み込まれたコンピュータもしくは所定の論理回路が組み込まれた集積回路によって実行される。

まず、ステップＳ１の画像入力段階では、互いに同一のフレームサイズをもった対象画像Ｐおよび参照画像Ｑの入力が行われる。以下の各段階は、図２に示すとおり、ステップＳ１で入力した対象画像Ｐおよび参照画像Ｑについて差分をとり、差分画像Ｄ（実際には、本発明に係る動き補償が施された差分画像ＤＤＤ）を作成する処理を行う段階ということになる。ステップＳ１の画像入力段階では、図１を参照して説明したとおり、動画を構成する静止画像を時系列に従って順次入力し、第ｔ番目の静止画像を対象画像Ｐ、第（ｔ−１）番目の静止画像を参照画像Ｑとすることができる。

ステップＳ２のブロック分割段階では、入力した対象画像Ｐおよび参照画像Ｑをそれぞれ同一の分割方法によって複数のブロックに分割する処理が行われる。具体的には、図３に例示するように、各画像を縦方向にＩ分割、横方向にＪ分割することにより、Ｉ行Ｊ列に配列されたＩ×Ｊ個のブロックが構成される。その結果、対象画像Ｐは複数の対象ブロック画像Ｐ（ｉ，ｊ）の集合体によって構成される。ここで、対象ブロック画像Ｐ（ｉ，ｊ）は、対象画像Ｐを構成する第ｉ番目の行（１≦ｉ≦Ｉ）、第ｊ番目の列（１≦ｊ≦Ｊ）に位置する対象ブロック内の画像である。同様に、参照画像Ｑは複数の参照ブロック画像Ｑ（ｉ，ｊ）の集合体によって構成される。

個々のブロックのサイズｍ×ｎは、後に行われる圧縮処理で採用する圧縮方式の規約によって定められるが、一般的な画像圧縮方式では、８×８もしくは１６×１６のサイズが用いられることが多い。

次のステップＳ３の単位処理領域定義段階では、対象画像Ｐおよび参照画像Ｑについて、同一の定義方法により、１つもしくは複数のブロックからなる所定領域を単位処理領域と定義する処理が行われる。§３では、この単位処理領域定義段階で、第ｉ番目の行（１≦ｉ≦Ｉ）に所属するＪ個のブロックからなるブロックラインＬｉを単位処理領域とした例を述べた。もちろん、単位処理領域は、任意のブロックから構成することができ、図２４では、単一のブロックを単位処理領域とする例を示した。

続く、ステップＳ４では、対象画像Ｐを構成する複数の対象ブロックのうちの１つのブロックが抽出され、以下、ステップＳ７の段階まで、抽出された１つの対象ブロックに関する処理が実行される。ここでは、第ｉ行第ｊ列目の対象ブロックが抽出されたものとして、以下の説明を行う。

まず、ステップＳ５の類似ブロック画像探索段階では、抽出された第ｉ行第ｊ列目の対象ブロックに対して参照画像Ｑ内の同じ位置（第ｉ行第ｊ列目）に配置された同位参照ブロックを対応づけ、抽出された対象ブロック内の対象ブロック画像Ｐ（ｉ，ｊ）について、参照画像Ｑのうちの、対応する同位参照ブロックの枠内もしくは当該枠を所定の態様でシフトした枠内の類似する画像として、類似ブロック画像Ｑ（ｉ，ｊ）を探索する処理が行われる。なお、本願において、「類似する画像」とは、「同一の画像」も含む概念であり、「同一の画像」も「類似する画像」の範疇に含まれるものである。

図７に示す例の場合、第４行第１列目の対象ブロック画像Ｐ（４，１）については、参照画像Ｑのうちの、対応する第４行第１列目の同位参照ブロックの枠内の画像（同位参照ブロック画像Ｑ（４，１））が、そのまま類似ブロック画像ＱＱ（４，１）として探索される。この場合、類似ブロック画像ＱＱ（４，１）は、同位参照ブロック画像Ｑ（４，１）と同一の画像になり、シフト量は、Δｘ＝０，Δｙ＝０ということになる。したがって、照明環境などの変化がなく、静止体Ｓｐ，Ｓｑの画像が完全同一であるとすると、類似ブロック画像ＱＱ（４，１）は、対象ブロック画像Ｐ（４，１）と同一の画像ということになる。

これに対して、第２行第４列目の対象ブロック画像Ｐ（２，４）については、参照画像Ｑのうちの、対応する第２行第４列目の同位参照ブロックの枠を、横方向にΔｘ、縦方向にΔｙという変位量をもった態様でシフトし、シフト後の枠内の画像として、類似ブロック画像ＱＱ（２，４）が探索される。この場合、類似ブロック画像ＱＱ（２，４）の内容は、同位参照ブロック画像Ｑ（２，４）の内容とは異なる。

なお、対象ブロック画像Ｐ（ｉ，ｊ）に類似する画像として、類似ブロック画像ＱＱ（ｉ，ｊ）を探索する具体的な方法としては、たとえば、同位参照ブロックの枠を予め定められた複数通りの態様（たとえば、縦に１画素ずつシフトさせる縦シフトと横に１画素ずつシフトさせる横シフトを組み合わせた態様）でシフトさせ、対象ブロック画像と、各態様でシフトさせた枠内の画像とをそれぞれ比較し、最も類似した画像を類似ブロック画像とする方法を採ることができる。この方法は、いわば枠を少しずつシフトさせる試行錯誤を行い、それぞれについて対象ブロック画像Ｐ（ｉ，ｊ）との類似度を判定し、最も類似度の高かった画像を類似ブロック画像ＱＱ（ｉ，ｊ）とする手法と言うことができる。

もちろん、何らかの論理的な根拠に基づいて、類似ブロック画像ＱＱ（ｉ，ｊ）を探索することも可能である。たとえば、ステップＳ１の画像入力段階において、動画を構成する静止画像を時系列に従って順次入力した場合は、これら静止画像群に基づいて動画中の動体を認識することができる。したがって、この動体の移動方向および移動距離を考慮した位置に同位参照ブロックの枠をシフトさせ、類似ブロック画像の探索を行うことも可能である。このように、動き補償を行うための類似ブロック画像の探索方法は、前掲の各特許文献等にも開示されている公知の技術であるので、ここでは詳しい説明は省略する。

こうして、類似ブロック画像ＱＱ（ｉ，ｊ）が探索されたら、続くステップＳ６の補完ブロック画像生成段階において、探索された類似ブロック画像ＱＱ（ｉ，ｊ）に基づいて、補完ブロック画像ＱＱＱ（ｉ，ｊ）を生成する処理が行われる。その具体的な方法は、図１４を参照して§３で説明したとおりである。すなわち、探索された類似ブロック画像ＱＱ（ｉ，ｊ）について（図１４(a) ）、同位参照ブロック（参照画像Ｑ上の第ｉ行第ｊ列目のブロック）が所属する単位処理領域（§３の例の場合は、第ｉ番目のブロックラインＬｉ）の領域外の部分の画像情報を削除して空白領域Ｖとし（図１４(b) ）、この空白領域Ｖに、所定の充填規則に基づいて生成した充填用画像Ｗを割り付けて補完することにより（図１４(c) ，(d) ）、補完ブロック画像ＱＱＱ（ｉ，ｊ）を生成すればよい。

こうして、補完ブロック画像ＱＱＱ（ｉ，ｊ）が生成されたら、続くステップＳ７の差分ブロック画像生成段階において、対象ブロック画像Ｐ（ｉ，ｊ）と、これに対応して生成された補完ブロック画像ＱＱＱ（ｉ，ｊ）との差分をとることにより、差分ブロック画像ＤＤＤ（ｉ，ｊ）を生成する処理が行われる。なお、この差分ブロック画像ＤＤＤ（ｉ，ｊ）には、図１６(c) に示すように、類似ブロック画像ＱＱ（ｉ，ｊ）を探索したときのシフトの態様を示すシフト情報＜Δｘ，Δｙ＞と、補完ブロック画像ＱＱＱ（ｉ，ｊ）を生成する際に用いた充填規則Rule（充填用画像Ｗを生成するための規則）とが付与されることになる。

以上述べたステップＳ４〜Ｓ７の処理が、全ブロックについて完了するまで、ステップＳ８を経て繰り返し実行されることになる。こうして、ブロック分割段階で分割したすべてのブロックについて、ステップＳ４〜Ｓ７の処理が完了したら、最後のステップＳ９のデータ出力段階が実行される。すなわち、個々の差分ブロック画像ＤＤＤ（ｉ，ｊ）の集合体によって構成される差分画像ＤＤＤと、参照画像Ｑと、個々の類似ブロック画像ＱＱ（ｉ，ｊ）を探索したときのシフトの態様を示す個々のシフト情報と、個々の補完ブロック画像を生成する際の個々の充填規則Ruleと、が出力されることになる。

なお、ステップＳ１の画像入力段階で、動画を構成する静止画像を時系列に従って順次入力し、第ｔ番目の静止画像を対象画像Ｐ、第（ｔ−１）番目の静止画像を参照画像Ｑとした場合は、ステップＳ９のデータ出力段階で、第ｔ番目の対象画像Ｐについての差分画像ＤＤＤとともに出力される参照画像Ｑは、実際には、第（ｔ−１）番目の対象画像Ｐについての差分画像ＤＤＤによって代用されることになる。したがって、ステップＳ９では、参照画像Ｑそのものを出力する代わりに、その代替画像（参照画像Ｑを得ることができる画像）を出力してもかまわない。§１で述べたとおり、こうしてステップＳ９において出力された差分画像ＤＤＤに対しては、後の段階でデータ圧縮処理が施される。かくして、時系列的に連続して与えられる複数の対象画像Ｐからなる動画データに対するデータ圧縮が行われることになる。

また、§４で説明したように、実用上は、ステップＳ６の補完ブロック画像生成段階では、複数Ｎ通りの充填規則に基づいて複数Ｎ通りの充填用画像Ｗを生成し、各充填用画像Ｗをそれぞれ空白領域Ｖに割り付けて補完することにより、複数Ｎ通りの補完ブロック画像を生成するようにし（たとえば、図２１に示す例では、７通りの補完ブロック画像ＱＱＱ１〜ＱＱＱ７を生成している）、ステップＳ７の差分ブロック画像生成段階では、これらＮ通りの補完ブロック画像のうち、対象ブロック画像Ｐ（ｉ，ｊ）に最も類似する画像を選択し、対象ブロック画像と、選択された補完ブロック画像との差分をとることにより最終的な差分ブロック画像ＤＤＤ（ｉ，ｊ）を生成するようにするのが好ましい。この場合、ステップＳ９のデータ出力段階では、選択された補完ブロック画像を生成するための充填規則を出力するようにすればよい。

なお、対象ブロック画像Ｐ（ｉ，ｊ）に最も類似する画像を選択するためには、たとえば、補完ブロック画像ＱＱＱ（ｉ，ｊ）と対象ブロック画像Ｐ（ｉ，ｊ）とについて、それぞれ対応する画素の画素値の差の絶対値の合計値を求め、当該合計値が最も小さい補完ブロック画像を最も類似する画像として選択すればよい。

ステップＳ６の補完ブロック画像生成段階で、補完ブロック画像ＱＱＱ（ｉ，ｊ）を生成するための実用的な充填規則としては、§４でいくつかのバリエーションを述べたように、単位処理領域の領域内における、空白領域Ｖに接する境界近傍の画素の画素値を、空白領域Ｖ内の所定方向に位置する画素にコピーすることにより充填用画像Ｗの画素の画素値を決定する、という規則を設定すればよい。そうすれば、コピーする方向Ｔを変えることにより、複数Ｎ通りの充填規則を設定することが可能になる。

また、ステップＳ１の画像入力段階で、動画を構成する静止画像を時系列に従って順次入力する場合、ステップＳ６の補完ブロック画像生成段階では、時系列に従って順次入力した静止画像群に基づいて動画中の動体を認識することができるので、この動体の移動方向を考慮した充填規則に基づいて補完ブロック画像を生成するようにしてもよい。たとえば、動体が所定方向に移動していると判断できる場合には、画素値をコピーする方向を、この移動方向に向かう方向に設定するようにすれば、より適切な補完ブロック画像を生成することができるようになる。

＜５−２．本発明に係る画像復元方法＞
図２８は、本発明に係る画像復元方法の基本手順を示す流れ図である。この画像復元方法は、図２７の流れ図に示す差分画像作成方法によって作成された差分画像ＤＤＤに基づいて、元の対象画像Ｐを復元する方法であり、実際には、これらの各段階は、所定のプログラムが組み込まれたコンピュータもしくは所定の論理回路が組み込まれた集積回路によって実行される。

まず、ステップＳ１１のデータ入力段階では、図２７のステップＳ９に示すデータ出力段階で出力された差分画像ＤＤＤと、参照画像Ｑもしくはその代替画像と、個々のシフト情報と、個々の充填規則Ruleと、が入力される。なお、データ出力段階で出力された差分画像ＤＤＤに対して、データ圧縮処理が施されていた場合には、まず、圧縮されたデータに対して、データ伸張処理を施して差分画像ＤＤＤを復元し、復元した差分画像ＤＤＤを用いて以下の各処理が実行されることになる。

次のステップＳ１２の単位処理データ抽出段階では、１つの単位処理領域に関するデータの抽出が行われる。すなわち、ステップＳ１１で入力したデータの中から、第ｉ番目（ｉ＝１，２，３，... ）の単位処理領域に関するデータが抽出される。§３で述べた例のように、１ブロックラインを単位処理領域に設定した場合は、差分画像ＤＤＤおよび参照画像Ｑの中の第ｉ番目のブロックラインＬｉに関するデータが抽出されることになる。

次のステップＳ１３のブロックデータ抽出段階では、１つのブロックに関するデータの抽出が行われる。すなわち、ステップＳ１２で抽出された１つの単位処理領域に関するデータの中から、第ｊ番目（ｉ＝１，２，３，... ）のブロックに関するデータが抽出される。§３で述べた例の場合、第ｉ行第ｊ列の差分ブロック画像ＤＤＤ（ｉ，ｊ）が抽出されることになる。前述したとおり、この差分ブロック画像ＤＤＤ（ｉ，ｊ）には、シフト情報＜Δｘ，Δｙ＞と充填規則Ruleが付与されているので、これらの情報も併せて抽出される。

そして、ステップＳ１４のブロック画像変換段階では、第ｉ番目の単位処理領域（ブロックラインＬｉ）に所属する第ｊ番目の参照ブロック画像Ｑ（ｉ，ｊ）を、当該ブロックについて抽出されたシフト情報＜Δｘ，Δｙ＞および充填規則Ruleに基づいて、補完ブロック画像ＱＱＱ（ｉ，ｊ）に変換する処理が行われる。この変換処理の具体的な方法は、図２３に示すとおりである。

すなわち、まず、参照ブロック画像Ｑ（ｉ，ｊ）のブロック枠Ｆを、シフト情報Δｘ，Δｙに応じてシフトし、必要に応じて左右に隣接する参照ブロック画像Ｑ（ｉ，ｊ−１），Ｑ（ｉ，ｊ＋１）の情報を用いて、シフトした枠Ｆ内の画像のうち、ブロックラインＬｉの内部の画像を取得し、類似ブロック画像ＱＱ（ｉ，ｊ）を生成する。ステップＳ１２では、ブロックラインＬｉに関するデータしか抽出していないので、ブロックラインＬ（ｉ−１）に関するデータは存在せず、図２３に示すように、類似ブロック画像ＱＱ（ｉ，ｊ）の一部分は空白領域Ｖになる。

そこで、充填規則Ruleを参照して、この空白領域Ｖを充填するための充填用画像Ｗを生成する。充填規則Ruleとして、たとえば、図１５に例示したような規則が採用されていた場合には、類似ブロック画像ＱＱ（ｉ，ｊ）の空白領域Ｖには、境界近傍画素Ｈの画素値がコピーされ、図１４(d) に示すような補完ブロック画像ＱＱＱ（ｉ，ｊ）が得られることになる。

こうして、ステップＳ１４の変換段階により、補完ブロック画像ＱＱＱ（ｉ，ｊ）が得られたら、続いて、ステップＳ１５の対象ブロック画像復元段階において、第ｉ番目の単位処理領域に所属する第ｊ番目の差分ブロック画像ＤＤＤ（ｉ，ｊ）と、これに対応する補完ブロック画像ＱＱＱ（ｉ，ｊ）とに基づいて、第ｉ番目の単位処理領域に所属する第ｊ番目の対象ブロック画像Ｐ（ｉ，ｊ）を復元する処理が行われる。具体的には、図１６(c) に示す差分演算と逆の演算処理を行うことにより、差分ブロック画像ＤＤＤ（ｉ，ｊ）と補完ブロック画像ＱＱＱ（ｉ，ｊ）に基づいて、対象ブロック画像Ｐ（ｉ，ｊ）が復元されることになる。

このステップＳ１３〜Ｓ１５の処理は、単位処理領域内の全ブロックについて完了するまで、ステップＳ１６を経て繰り返し実行される。具体的には、ステップＳ１２で抽出されたブロックラインＬｉに所属する第１番目のブロックから第Ｊ番目のブロックに至るまで、ステップＳ１３〜Ｓ１５の処理が繰り返され、その結果、第ｉ番目のブロックラインＬｉに所属するＪ個の対象ブロック画像Ｐ（ｉ，１）〜Ｐ（ｉ，Ｊ）が復元されることになる。もし、１行分のブロックラインに対応する部分画像を復元するだけで足りる場合は、これで処理終了である。

１フレームの画像全体を復元する場合は、ステップＳ１２〜Ｓ１６の処理が、１フレームの画像データ内の全単位処理領域について完了するまで、ステップＳ１７を経て繰り返し実行される。こうして、最終的に、Ｉ×Ｊ個の対象ブロック画像Ｐ（１，１）〜Ｐ（Ｉ，Ｊ）が復元されることになる。こうして、全単位処理領域の全ブロックについて、それぞれ対象ブロック画像を復元する処理が完了したら、これら対象ブロック画像Ｐ（１，１）〜Ｐ（Ｉ，Ｊ）の集合体として、対象画像Ｐを復元することができる。

＜５−３．本発明に係る差分画像作成装置＞
続いて、図２９のブロック図を参照しながら、本発明に係る差分画像作成装置１００の基本構成を説明する。この差分画像作成装置１００は、§３で述べた基本原理に基づき、与えられた対象画像Ｐについて、参照画像Ｑを利用して差分画像ＤＤＤを作成する機能をもった装置である。実際には、この差分画像作成装置１００は、所定のプログラムが組み込まれたコンピュータもしくは所定の論理回路が組み込まれた集積回路によって構成される。

まず、画像入力部１１０は、互いに同一のフレームサイズをもった対象画像Ｐおよび参照画像Ｑを入力するための構成要素である。動画を入力する場合は、図１を参照して説明したとおり、動画を構成する静止画像を時系列に従って順次入力し、第ｔ番目の静止画像を対象画像Ｐ、第（ｔ−１）番目の静止画像を参照画像Ｑとすることができる。

分割方法定義部１２０は、入力した対象画像Ｐおよび参照画像Ｑを、それぞれ同一の態様で分割する分割方法を定義する構成要素であり、具体的には、図３に例示するように、各画像を縦方向にＩ分割、横方向にＪ分割することにより、Ｉ行Ｊ列に配列されたＩ×Ｊ個のブロックに分割する方法を定義する。この分割方法による分割を行うことにより、対象画像Ｐは複数の対象ブロック画像Ｐ（ｉ，ｊ）の集合体によって構成され、参照画像Ｑは複数の参照ブロック画像Ｑ（ｉ，ｊ）の集合体によって構成される。対象ブロック画像Ｐ（ｉ，ｊ）および参照ブロック画像Ｑ（ｉ，ｊ）は、各画像を構成する第ｉ番目の行（１≦ｉ≦Ｉ）、第ｊ番目の列（１≦ｊ≦Ｊ）に位置するブロック内の画像ということになる。

ブロック抽出部１３０は、分割方法定義部１２０によって定義された分割方法により対象画像Ｐを分割し、個々の対象ブロックを抽出する処理を行う。抽出されたブロックの情報（対象ブロック画像Ｐ（ｉ，ｊ）の画像データ）は、類似ブロック画像探索部１４０に与えられる。

類似ブロック画像探索部１４０は、参照画像Ｑ内を探索することにより、ブロック抽出部１３０から与えられた対象ブロック画像Ｐ（ｉ，ｊ）に類似する類似ブロック画像ＱＱ（ｉ，ｊ）を探索する処理を行う。たとえば、図７には、対象ブロック画像Ｐ（４，１）に類似する類似ブロック画像ＱＱ（４，１）を探索した例（この場合、シフト量は０であり、類似ブロック画像ＱＱ（４，１）は参照ブロック画像Ｑ（４，１）に一致する）や、対象ブロック画像Ｐ（２，４）に類似する類似ブロック画像ＱＱ（２，４）を探索した例（この場合、シフト量は、ΔｘおよびΔｙ）が示されている。

類似ブロック画像探索部１４０は、分割方法定義部１２０によって定義された分割方法により参照画像Ｑを対象画像Ｐに対する分割方法と同じ態様で分割することができるので、個々の対象ブロックに対して、参照画像Ｐ内の同じ位置に配置された同位参照ブロックを対応づけ、個々の対象ブロック内の対象ブロック画像Ｐ（ｉ，ｊ）について、参照画像Ｑのうちの、対応する同位参照ブロックの枠内の類似する画像として、もしくは当該枠を所定の態様でシフトした枠内の類似する画像として、類似ブロック画像ＱＱ（ｉ，ｊ）を探索する処理を行う。

具体的には、たとえば、同位参照ブロックの枠を予め定められた複数通りの態様でシフトさせ、対象ブロック画像Ｐ（ｉ，ｊ）と、各態様でシフトさせた枠内の画像とをそれぞれ比較し、最も類似した画像を類似ブロック画像ＱＱ（ｉ，ｊ）とする方法を採ることができる。あるいは、ステップＳ１の画像入力段階において、動画を構成する静止画像を時系列に従って順次入力した場合は、これら静止画像群に基づいて動画中の動体を認識し、その移動方向および移動距離を考慮した位置に同位参照ブロックの枠をシフトさせ、類似ブロック画像ＱＱ（ｉ，ｊ）を探索してもよい。

類似ブロック画像ＱＱ（ｉ，ｊ）が探索されたら、そのときのシフト情報（類似ブロック画像ＱＱ（ｉ，ｊ）の枠が、同位参照ブロック画像Ｑ（ｉ，ｊ）の枠からどれだけシフトしているかを示す情報）も類似ブロック画像探索部１４０から出力される。§３で述べた実施例では、このシフト情報を＜Δｘ，Δｙ＞として例示したが、このブロック図では、記号Shift（１組のシフト情報を示す場合）もしくは記号Shifts（複数組のシフト情報を示す場合）を用いて示すことにする。図において類似ブロック画像探索部１４０のブロックから右方に出力されている記号Shiftsの矢印は、このシフト情報を示している。もちろん、シフト情報Shiftは、必ずしも＜Δｘ，Δｙ＞のように、縦横のシフト量を示す情報である必要はなく、たとえば、シフト方向を示す角度とシフトの距離を示す情報を用いてもかまわない。

単位処理領域定義部１５０は、対象画像Ｐおよび参照画像Ｑについて、同一の定義方法により、１つもしくは複数のブロックからなる所定領域を単位処理領域と定義する処理を行う。上述したように、分割方法定義部１２０によって、各画像Ｉ行Ｊ列に配列されたＩ×Ｊ個のブロックに分割する分割方法が定義された場合、単位処理領域定義部１５０は、第ｉ番目の行（１≦ｉ≦Ｉ）に所属するＪ個のブロックからなるブロックラインＬｉを単位処理領域とする定義を行うことができる。

補完ブロック画像生成部１６０は、類似ブロック画像探索部１４０から与えられた類似ブロック画像ＱＱ（ｉ，ｊ）について、同位参照ブロックが所属する単位処理領域の領域外の部分の画像情報を削除して空白領域Ｖとし、この空白領域Ｖに、所定の充填規則Ruleに基づいて生成した充填用画像Ｗを割り付けて補完することにより、補完ブロック画像ＱＱＱ（ｉ，ｊ）を生成する処理を行う。具体的な処理の内容は、図１４や図１５に例示したとおりである。

なお、実用上は、§４で述べたように、補完ブロック画像生成部１６０は、複数Ｎ通りの充填規則Rulesに基づいて複数Ｎ通りの充填用画像Ｗを生成し、各充填用画像Ｗを空白領域Ｖに割り付けて補完することにより、複数Ｎ通りの補完ブロック画像ＱＱＱ１（ｉ，ｊ）〜ＱＱＱＮ（ｉ，ｊ）を生成するのが好ましい。たとえば、図２１には、７通りの補完ブロック画像ＱＱＱ１（２，４）〜ＱＱＱ７（２，４）を生成した例が示されている。補完ブロック画像生成部１６０は、このとき用いた複数Ｎ通りの充填規則Rulesを併せて出力する。

複数Ｎ通りの充填規則Rulesとしては、たとえば、単位処理領域の領域内における、空白領域に接する境界近傍画素Ｈの画素値を、空白領域Ｖ内の所定方向に位置する画素にコピーするという基本規則により充填用画像Ｗの画素の画素値を決定することにしておき、コピーする方向Ｔを変えることにより、複数Ｎ通りの充填規則Rulesを設定することができる。図２１に示す例は、コピーする方向ＴをＴ１〜Ｔ７の７通りに設定した例である。

差分ブロック画像生成部１７０は、ブロック抽出部１３０から与えられる個々の対象ブロック画像Ｐ（ｉ，ｊ）と、これに対応して生成された個々の補完ブロック画像ＱＱＱ（ｉ，ｊ）との差分をとることにより、個々の差分ブロック画像ＤＤＤ（ｉ，ｊ）を生成する処理を行う。

特に、ここに示す実施形態の場合、上述したとおり、補完ブロック画像生成部１６０が、複数Ｎ通りの充填規則Rulesに基づいて、複数Ｎ通りの補完ブロック画像ＱＱＱ１（ｉ，ｊ）〜ＱＱＱＮ（ｉ，ｊ）を生成するので、差分ブロック画像生成部１７０も、これに応じて、１つの対象ブロック画像Ｐ（ｉ，ｊ）について、Ｎ通りの補完ブロック画像ＱＱＱ１（ｉ，ｊ）〜ＱＱＱＮ（ｉ，ｊ）のそれぞれを用いてＮ通りの差分ブロック画像ＤＤＤ１（ｉ，ｊ）〜ＤＤＤＮ（ｉ，ｊ）を生成する処理を行う。

画像選択部１８０は、こうして生成されたＮ通りの差分ブロック画像ＤＤＤ１（ｉ，ｊ）〜ＤＤＤＮ（ｉ，ｊ）のうち、最も圧縮効率の高い画像を１つだけ選択する。具体的には、個々の画素のもつ差分値の絶対値の総和が最も小さい差分ブロック画像を選択すればよい。選択された画像は、最終的な差分ブロック画像ＤＤＤ（ｉ，ｊ）として出力される。また、画像選択部１８０からは、選択結果を示す選択信号selも出力される。

データ出力部１９０は、こうして選択された差分ブロック画像ＤＤＤ（ｉ，ｊ）の集合体により差分画像ＤＤＤを構成し、これを出力する。また、画像入力部１１０内の参照画像Ｑ（差分画像ＤＤＤの作成に利用された画像）もしくはその代替画像と、個々の類似ブロック画像ＱＱ（ｉ，ｊ）を探索したときのシフトの態様を示す個々のシフト情報Shiftsと、個々の補完ブロック画像ＱＱＱ（ｉ，ｊ）を生成する際に用いた個々の充填規則Rulesと、を併せて出力する。なお、最終的に出力する充填規則Rulesは、画像選択部１８０で選択された差分ブロック画像ＤＤＤ（ｉ，ｊ）に関する充填規則だけでよいので、データ出力部１９０は、補完ブロック画像生成部１６０から与えられる充填規則の中から、選択信号selによって示される選択結果に対応する充填規則のみを選択して出力すればよい。

なお、補完ブロック画像生成部１６０が、常に同一の充填規則Ruleに基づいて、１通りの補完ブロック画像ＱＱＱ（ｉ，ｊ）のみを生成する構成にした場合（この場合、圧縮効率の高い差分画像ＤＤＤを作成する効果は若干低下することになる）、差分ブロック画像生成部１７０は、この１通りの補完ブロック画像ＱＱＱ（ｉ，ｊ）を用いて差分ブロック画像ＤＤＤ（ｉ，ｊ）を生成する処理を行えばよいので、画像選択部１８０は省略することができる。

こうしてデータ出力部１９０から出力される差分画像ＤＤＤ、参照画像Ｑもしくはその代替画像、シフト情報shifts、充填規則Rulesが揃えば、これらに基づいて、元の対象画像Ｐを復元することができる。このような復元を行うための画像復元装置は、次の§５−４で述べる。

なお、§１で述べたとおり、実用上は、データ出力部１９０から出力されたデータに対してデータ圧縮処理を実行するデータ圧縮装置が付加され、時系列的に連続して与えられる複数の対象画像Ｐからなる動画データに対するデータ圧縮が行われることになる。

＜５−４．本発明に係る画像復元装置＞
続いて、図３０のブロック図を参照しながら、本発明に係る画像復元装置２００の基本構成を説明する。この画像復元装置２００は、図２９に示す差分画像作成装置１００によって作成された差分画像ＤＤＤに基づいて、少なくとも特定の単位処理領域内の部分対象画像を復元する機能をもった装置であり、実際には、この画像復元装置２００は、所定のプログラムが組み込まれたコンピュータもしくは所定の論理回路が組み込まれた集積回路によって構成される。

まず、データ入力部２１０は、図２９に示す差分画像作成装置１００のデータ出力部１９０から出力された差分画像ＤＤＤと、参照画像Ｑもしくはその代替画像と、個々のシフト情報Shiftsと、個々の充填規則Rulesと、を入力する構成要素である。データ出力部１９０から出力されたデータに対してデータ圧縮処理が施されていた場合には、このデータ入力部２１０の前段にデータ伸張装置を付加し、圧縮されたデータに対して、データ伸張処理を施す必要がある。

単位処理バッファ２２０は、データ入力部２１０が入力したデータの中から、特定の単位処理領域に関するデータを抽出して、これを格納する処理を行う。たとえば、§３で述べた実施形態の場合、１行分のブロックラインが単位処理領域として設定されているので、単位処理バッファ２２０は、データ入力部２１０内のデータの中から、特定のブロックラインに関するデータのみを抽出する処理を行う。

ここでは、便宜上、対象画像Ｐのうち、第ｉ番目のブロックラインＬｉ内の部分対象画像Ｌｉ（Ｐ）を復元する場合を例にとって以下の説明を行うことにする。この場合、単位処理バッファ２２０は、データ入力部２１０内に用意された差分画像ＤＤＤ、参照画像Ｑ、シフト情報Shifts、充填規則Rulesのうち、ブロックラインＬｉに関する情報のみを抽出して格納する処理を行うことになる。図に示す「Ｌｉ（ＤＤＤ，Ｑ，Shifts，Rules）」なる記号は、こうして抽出されたブロックラインＬｉに関する情報を示している。

ブロック画像変換部２３０は、単位処理バッファ２２０から、第ｊ番目（ｉ＝１，２，３，... ）の参照ブロック画像Ｑ（ｉ，ｊ）と、必要に応じて、これに隣接する参照ブロック画像Ｑ（ｉ，ｊ−１），Ｑ（ｉ，ｊ＋１）を読出し、更に、当該第ｊ番目の参照ブロックについてのシフト情報Shiftおよび充填規則Ruleを読み出す。そして、読み出したシフト情報shiftおよび充填規則Ruleに基づいて、読み出した参照ブロック画像を第ｊ番目の補完ブロック画像ＱＱＱ（ｉ，ｊ）に変換する処理を行う。

この変換処理の具体的な方法は、図２３に示すとおりである。まず、シフト情報Shiftに基づいて、参照ブロック画像Ｑ（ｉ，ｊ）のブロック枠Ｆをシフトし、このシフトにより必要になる隣接する参照ブロック画像を読み出す。図示の例の場合、枠Ｆは左方向にシフトするため、左側に隣接する参照ブロック画像Ｑ（ｉ，ｊ−１）を読み出す必要が生じる。この場合、右側に隣接する参照ブロック画像Ｑ（ｉ，ｊ＋１）を読み出す必要はない。

そして、シフトした枠Ｆ内の画像のうち、ブロックラインＬｉの内部の画像を取得し、類似ブロック画像ＱＱ（ｉ，ｊ）を生成する。単位処理バッファ２２０には、ブロックラインＬｉに関するデータしかないので、ブロックラインＬ（ｉ−１）に関するデータは存在せず、図２３に示すように、類似ブロック画像ＱＱ（ｉ，ｊ）の一部分は空白領域Ｖになる。

そこで、充填規則Ruleを参照して、この空白領域Ｖを充填するための充填用画像Ｗを生成する。充填規則Ruleとして、たとえば、図１５に例示したような規則が採用されていた場合には、類似ブロック画像ＱＱ（ｉ，ｊ）の空白領域Ｖには、境界近傍画素Ｈの画素値がコピーされ、図１４(d) に示すような補完ブロック画像ＱＱＱ（ｉ，ｊ）が得られることになる。

最後に、対象ブロック画像復元部２４０において、単位処理バッファ２２０から読み出した第ｊ番目の差分ブロック画像ＤＤＤ（ｉ，ｊ）と、ブロック画像変換部２３０によって変換された第ｊ番目の補完ブロック画像ＱＱＱ（ｉ，ｊ）とに基づいて、第ｊ番目の対象ブロック画像Ｐ（ｉ，ｊ）を復元する処理が行われる。

このような処理を、ブロックラインＬｉを構成する第１番目のブロックから第Ｊ番目のブロックまで繰り返せば、対象ブロック画像復元部２４０により、第１番目の対象ブロック画像Ｐ（ｉ，１）〜第Ｊ番目の対象ブロック画像Ｐ（ｉ，Ｊ）が復元されることになる。かくして、対象ブロック画像復元部２４０は、特定の単位処理領域（ブロックラインＬｉ）に所属する対象ブロック画像Ｐ（ｉ，ｊ）を順次出力することにより、当該特定の単位処理領域（ブロックラインＬｉ）内の部分対象画像Ｌｉ（Ｐ）を復元することができる。

ここで、単位処理バッファ２２０、ブロック画像変換部２３０、対象ブロック画像復元部２４０は、いずれも１つの単位処理領域（１ブロックライン）のデータを処理するためのデータ容量を備えていれば足りるので、一部分の画像だけを復元するためのハードウェアを構成する上では、メモリ等の容量を節約することが可能になり、コストダウンを図ることができる。

＜＜＜ §６． 本発明の変形例に係る実施形態 ＞＞＞
これまで、対象画像Ｐおよび参照画像Ｑを複数のブロックに分割し、１つもしくは複数のブロックからなる領域を単位処理領域と定義し、この単位処理領域ごとに画像復元が可能な態様で差分画像ＤＤＤを作成する実施形態を述べてきた。しかしながら、本発明に係る技術思想は、必ずしも画像をブロック分割する場合のみに適用されるものではなく、ブロック分割を行わない場合にも適用することが可能であり、その場合でも、本発明の適用により、差分画像の情報量を低減させる（圧縮効率を向上させる）という固有の作用効果が得られるものである。すなわち、本発明によれば、ブロック分割しない対象画像に対しても、動き補償の技術を採用しつつ、効率的な復元が可能になる差分画像作成方法を提供することができる。

そこで、§６では、画像をブロック分割しない場合に本発明を適用した例を、本発明の変形例に係る実施形態として説明することにする。

＜６−１．変形例の基本原理＞
ここでは、まず、この変形例の基本原理を図３１を参照しながら説明する。もちろん、この基本原理の根底にある技術思想は、§３で述べた基本原理と共通するものである。

ここでは、図３１上段に示すような同じサイズの対象画像Ｐと参照画像Ｑが与えられた場合に、両者の差分をとって差分画像ＤＤＤを作成する場合を考える。対象画像Ｐと参照画像Ｑは、いずれも同じ犬を被写体として含む画像であるため、この犬の部分については類似している。しかしながら、両者では、犬の配置が異なっているため、このままの状態で両者の差分をとると、対応する位置にある画素同士では、その画素値に大きな違いが生じ、結果的に、情報量の大きな差分画像Ｄが得られることになり、圧縮効率はそれほど向上しないことになる。

ここで、対象画像Ｐの中の犬を被写体とした領域（一点鎖線で区分けした領域）を部分対象画像Ｐａとし、参照画像Ｑの中の犬を被写体とした領域（一点鎖線で区分けした、部分対象画像Ｐａと同じサイズをもった領域）を部分参照画像Ｑａとして、これらの画像Ｐａ，Ｑａ同士を比べれば、類似度が格段に向上することが理解できよう。すなわち、部分対象画像Ｐａと部分参照画像Ｑａとは互いに類似していることになり、もし、これら両画像Ｐａ，Ｑａについて差分画像を生成すれば、情報量は大幅に低減されることになる。

しかしながら、実際には、対象画像Ｐは、フレームＦｐのサイズをもった画像であり、部分対象画像Ｐａはそのうちの一部分にすぎない。同様に、参照画像Ｑは、フレームＦｑのサイズをもった画像であり、部分参照画像Ｑａはそのうちの一部分にすぎない。したがって、対象画像Ｐと参照画像Ｑとの差分画像は、あくまでも、フレームＦｐ，Ｆｑのサイズの画像同士で差分をとった画像でなければならない。

そこで、図３１の中段に示すように、参照画像Ｑと同一のサイズをもった類似画像ＱＱを作成してみる。この類似画像ＱＱのフレームは、参照画像ＱのフレームＦｑと同一のものであり、当然、対象画像ＰのフレームＦｐとも同一である。この類似画像ＱＱは、参照画像ＱのフレームＦｑ内における部分参照画像Ｑａの占有位置が、対象画像ＰのフレームＦｐ内における部分対象画像Ｐａの占有位置と同じになるように、部分参照画像ＱａをフレームＦｑ内で所定のシフト方向（図の例の場合、参照画像Ｑ内に矢印Ｓで示す斜め右上方向）にシフトし、当該シフトにより画像情報が失われた部分を空白領域Ｖとすることにより生成された画像である。

図示の例の場合、シフトの方向および距離は、横方向シフト量Δｘと縦方向シフト量Δｙによって示されている。フレームＦｑを固定した状態において、参照画像Ｑの内容だけをシフト方向Ｓにシフトしたため、類似画像ＱＱ上では、参照画像Ｑの上辺近傍領域の情報（雲）および右辺近傍領域の情報（花）は失われてしまう。また、類似画像ＱＱの下辺近傍領域および左辺近傍領域には、画像の情報がないため、これらの領域は空白領域Ｖになる。

このように、類似画像ＱＱは、参照画像Ｑに比べると、一部の領域の情報が欠落した画像になっているが、対象画像Ｐに対するミクロ的視野に立った類似性は、参照画像Ｑよりも向上しており、文字どおり、対象画像Ｐに「類似する画像」になっている。したがって、対象画像Ｐと参照画像Ｑとの差分演算によって得られた差分画像Ｄよりも、対象画像Ｐと類似画像ＱＱとの差分演算によって得られた差分画像ＤＤの方が、情報量は低減し、圧縮効率は高まることになる。

すなわち、対象画像Ｐと参照画像Ｑとを、マクロ的な視野に立って比較すると（たとえば、人間が両画像を全体観察すると）、配置は違うが同じ犬が被写体として含まれている画像である点において、両画像に類似性を見出すであろうが、ミクロ的な視野に立って比較すると（たとえば、対応する位置にある２つの画素の画素値を比較すると）、両画像の類似性は低くなってしまう。これに対して、対象画像Ｐと類似画像ＱＱとを比較すると、マクロ的な視野に立っても、ミクロ的な視野に立っても、類似性が見出されることになる。

もっとも、類似画像ＱＱは、画像情報が何ら定義されていない空白領域Ｖ（ドットによるハッチングを施した領域）を含む不完全な画像であるので、この空白領域Ｖに、所定の充填規則Ruleに基づいて生成した充填用画像Ｗを割り付けて補完することにより、図３１の下段に示すような補完画像ＱＱＱを作成する。図に斜線によるハッチングを施した領域が、この充填用画像Ｗによる補完を行った領域であり、この領域には、何らかの画素値をもった画素が配置されている。したがって、補完画像ＱＱＱは、フレームＦｑ内に配置された画素から構成される正常な画像である。

対象画像Ｐと補完画像ＱＱＱは同じサイズの画像であるので、両者の差分をとることにより、差分画像ＤＤＤを得ることができる。この差分画像ＤＤＤには、シフトの態様を示すシフト情報Shift（この例の場合は、シフト量Δｘ，Δｙ）と、充填用画像Ｗを生成する際に用いた充填規則Ruleとを付加しておくようにする。これらの情報は、対象画像Ｐを復元する際に必要になる。

充填用画像Ｗを生成する際の充填規則Ruleとしては、§４で述べたように、様々な規則を用いることができる。たとえば、図示の例の場合、類似画像ＱＱ内に配置された部分参照画像Ｑａの左辺周辺画素や下辺周辺画素の画素値を左方向や下方向にコピーすることにより、空白領域Ｖ内の各画素に画素値を定義することができ、充填用画像Ｗを生成することができる。具体的には、たとえば、図２６に例示した画素値のコピー方法に準じた充填規則Ruleを設定しておけばよい。

このように、補完画像ＱＱＱのうち、充填用画像Ｗの部分は、充填規則Ruleに基づいて生成された情報であるため、対象画像Ｐの対応する領域の画像とはかけ離れたものになる可能性が高い。図３１に示す例の場合、対象画像Ｐの左辺近傍領域には花の画像が配置され、下辺近傍領域にはフェンスの画像が配置されている（以下、これらの領域をＬ字状領域と呼ぶ）。これに対して、補完画像ＱＱＱのＬ字状領域（斜線によるハッチングを施して示した充填用画像Ｗの部分）には、花やフェンスといった画像の情報は含まれておらず、差分画像ＤＤＤのＬ字状領域に得られる差分値は、比較的大きな値になる可能性が高い。

それでも、対象画像Ｐのうちの部分対象画像Ｐａが割り付けられている領域と、補完画像ＱＱＱのうちの部分参照画像Ｑａが割り付けられている領域との類似度はかなり高くなるため、差分画像ＤＤＤの同領域に得られる差分値は、かなり小さくなることが予想される。別言すれば、対象画像Ｐにおいて、花とフェンスが配置されているＬ字状領域に関しては、参照画像Ｑとの差分をとろうが、補完画像ＱＱＱ（充填用画像Ｗ）との差分をとろうが、得られる差分値は大きくならざるを得ない（いずれにしても類似性は低い）。これに対して、部分対象画像Ｐａの領域に関しては、参照画像Ｑとの差分をとるよりも、補完画像ＱＱＱとの差分をとった方が、はるかに小さな差分値が得られることになる（後者の方が、はるかに類似性が高い）。

このような理由により、対象画像Ｐと参照画像Ｑとの差分演算によって得られた差分画像Ｄに比べて、対象画像Ｐと補完画像ＱＱＱとの差分演算によって得られた差分画像ＤＤＤの方が、トータルとして小さな差分値をもった差分画像ということになり、その後に行われるデータ圧縮処理の圧縮効率を高めることができる。結局、この変形例も、動き補償の技術を採用した差分画像作成方法ということができ、対象画像を効率的に圧縮し、これを復元することが可能になるという利点が得られる。

＜６−２．変形例に係る差分画像作成方法および画像復元方法＞
図３２は、本発明の変形例に係る差分画像作成方法および画像復元方法の基本手順を示す流れ図である。前半のステップＳ２１〜Ｓ２６は、与えられた対象画像について、参照画像を利用して差分画像を作成する方法の手順を示し、後半のステップＳ２７〜Ｓ２９は、前半で作成された差分画像に基づいて、元の対象画像を復元する画像復元方法の手順を示す。実際には、これらの各ステップは、所定のプログラムが組み込まれたコンピュータもしくは所定の論理回路が組み込まれた集積回路によって実行される。

まず、ステップＳ２１の画像入力段階では、図３１の上段に示す例のように、互いに同一のフレームサイズをもった対象画像Ｐおよび参照画像Ｑを入力する処理が行われる。

続く、ステップＳ２２の類似部分探索段階では、対象画像Ｐの一部分を構成する部分対象画像Ｐａについて、同一サイズかつ類似している部分参照画像Ｑａを参照画像Ｑ内から探索する処理が行われる。図３１に示す例は、被写体として含まれる犬の近傍の画像を部分対象画像Ｐａとして認識し、参照画像Ｑ内から、この部分対象画像Ｐａと同一サイズかつ類似している部分参照画像Ｑａが探索された例である。

対象画像Ｐが動画を構成する１枚のフレーム画像である場合は、この動画を構成する複数枚のフレーム画像を解析して動体を認識し、当該動体の近傍領域を部分対象画像Ｐａとして認識することができる。一般に、認識された動体は、後続するフレーム画像においても追跡処理が行われるため、個々のフレーム画像において、動体の占有領域を認識することができる。したがって、個々のフレーム画像として与えられる対象画像Ｐについて、動体の占有領域に基づいて部分対象画像Ｐａを決定することができる。

参照画像Ｑ内から、部分対象画像Ｐａと同一サイズかつ類似している部分参照画像Ｑａを探索する手法は、これまで述べてきた基本的な実施形態において、対象ブロック画像Ｐ（ｉ，ｊ）に類似した類似ブロック画像ＱＱ（ｉ，ｊ）を探索する手法と同様の手法を採ることができる。もちろん、動体追跡の技術を利用すれば、その結果を利用して、部分参照画像Ｑａの位置を予測することも可能である。

次のステップＳ２３の類似画像生成段階では、図３１中段に示すように、参照画像ＱのフレームＦｑ内における部分参照画像Ｑａの占有位置が、対象画像ＰのフレームＦｐ内における部分対象画像Ｐａの占有位置と同じになるように、部分参照画像ＱａをフレームＦｑ内で所定方向Ｓにシフトし、シフトにより画像情報が失われた部分を空白領域Ｖとする類似画像ＱＱを生成する処理が行われる。

そして、ステップＳ２４の補完画像生成段階では、図３１下段に示すように、類似画像ＱＱ内の空白領域Ｖに、所定の充填規則Ruleに基づいて生成した充填用画像Ｗを割り付けて補完することにより、補完画像ＱＱＱを生成する処理が行われる。充填規則Ruleとしては、たとえば、部分参照画像Ｑａの空白領域Ｖに接する境界近傍画素Ｈの画素値に基づいて、充填用画像Ｗの画素の画素値を決定する規則を用いることができる。

続くステップＳ２５の差分画像生成段階では、対象画像Ｐと補完画像ＱＱＱとの差分をとることにより差分画像ＤＤＤを生成する処理が行われる。そして、最後に、ステップＳ２６のデータ出力段階において、差分画像ＤＤＤと、参照画像Ｑもしくはその代替画像と、シフトの態様を示すシフト情報Shiftと、充填規則Ruleと、を出力する処理が行われる。出力されたこれらの各データは、元の対象画像Ｐを復元するために必要なデータである。

なお、この変形例においても、§４で述べた方法を適用することが可能である。すなわち、ステップＳ２４の補完画像生成段階で、複数Ｎ通りの充填規則に基づいて複数Ｎ通りの充填用画像Ｗを生成し、各充填用画像Ｗを空白領域Ｖに割り付けて補完することにより、複数Ｎ通りの補完画像ＱＱＱ１〜ＱＱＱＮを生成し、ステップＳ２５の差分画像生成段階では、Ｎ通りの補完画像ＱＱＱ１〜ＱＱＱＮのうち、対象画像Ｐに最も類似する画像を選択し、対象画像Ｐと、選択された補完画像ＱＱＱとの差分をとることにより差分画像ＤＤＤを生成すればよい。

次に、後半の画像復元方法を説明する。なお、図３２の流れ図では、説明の便宜上、前半の差分画像作成方法の各ステップＳ２１〜Ｓ２６に続けて、後半の画像復元方法の各ステップＳ２７〜Ｓ２９を記載しているが、実際には、前半の差分画像作成方法によって差分画像が作成されたら、必要に応じて、これを圧縮する処理、保存する処理、配布する処理などが行われることになる。そして、元の画像を再生するときに、配布された圧縮データを伸張してから、ステップＳ２７以降の画像復元方法が実行されることになる。

まず、ステップＳ２７のデータ入力段階では、ステップＳ２６のデータ出力段階で出力された差分画像ＤＤＤと、参照画像Ｑもしくはその代替画像と、シフト情報Shiftと、充填規則Ruleと、が入力される。そして、ステップＳ２８の画像変換段階では、シフト情報Shiftおよび充填規則Ruleに基づいて、参照画像Ｑを補完画像ＱＱＱに変換する処理が行われる。この処理の具体的な内容は、図３１の右欄に示すとおりである。最後のステップＳ２９では、補完画像ＱＱＱと差分画像ＤＤＤに基づいて対象画像Ｐを復元する対象画像復元段階が実行される。この処理は、ステップＳ２５の差分画像生成段階で行われた差分演算に対する逆演算を行うことにより実施される。

＜６−３．変形例に係る差分画像作成装置＞
続いて、図３３のブロック図を参照しながら、本発明の変形例に係る差分画像作成装置３００の基本構成を説明する。この差分画像作成装置３００は、§６−１で述べた基本原理に基づき、与えられた対象画像Ｐについて、参照画像Ｑを利用して差分画像ＤＤＤを作成する機能をもった装置である。実際には、この差分画像作成装置３００は、所定のプログラムが組み込まれたコンピュータもしくは所定の論理回路が組み込まれた集積回路によって構成される。

まず、画像入力部３１０は、互いに同一のフレームサイズをもった対象画像Ｐおよび参照画像Ｑを入力するための構成要素である。動画を入力する場合は、図１を参照して説明したとおり、動画を構成する静止画像を時系列に従って順次入力し、第ｔ番目の静止画像を対象画像Ｐ、第（ｔ−１）番目の静止画像を参照画像Ｑとすることができる。

類似部分探索部３２０は、この対象画像Ｐの一部分を構成する部分対象画像Ｐａについて、同一サイズかつ類似している部分参照画像Ｑａを参照画像Ｑ内から探索する処理を行う。具体的な処理方法は、§６−２で述べたとおりである。

類似画像生成部３３０は、参照画像ＱのフレームＦｑ内における部分参照画像Ｑａの占有位置が、対象画像ＰのフレームＦｐ内における部分対象画像Ｐａの占有位置と同じになるように、部分参照画像Ｑａをフレーム内で所定方向Ｓにシフトし、当該シフトにより画像情報が失われた部分を空白領域Ｖとする類似画像ＱＱを生成する処理を行う。シフトの態様を示す情報は、シフト情報Shiftとして出力される。

補完画像生成部３５０は、類似画像ＱＱ内の空白領域Ｖに、所定の充填規則Ruleに基づいて生成した充填用画像Ｗを割り付けて補完することにより、補完画像ＱＱＱを生成する処理を行う。充填規則Ruleとしては、たとえば、部分参照画像Ｑａの、空白領域Ｖに接する境界近傍画素Ｈの画素値に基づいて、充填用画像Ｗの画素の画素値を決定する規則を用いることができる。

なお、図３３に示す差分画像作成装置３００においても、§４で述べた変形例を適用しており、補完画像生成部３５０は、複数Ｎ通りの充填規則に基づいて複数Ｎ通りの充填用画像Ｗを生成し、各充填用画像Ｗを空白領域Ｖに割り付けて補完することにより、複数Ｎ通りの補完画像ＱＱＱ１〜ＱＱＱＮを生成する機能を有している。図では、Ｎ＝３として、３通りの補完画像ＱＱＱ１〜ＱＱＱ３が生成された例が示されている。これらの補完画像は、部分参照画像Ｑａの部分を共通とし、充填用画像Ｗの部分のみが異なる画像である。補完画像生成部３５０からは、このとき用いた３通りの充填規則Rule１〜３が出力される。

画像選択部３４０は、こうして得られたＮ通りの補完画像（ここに示す例の場合は、３通りの補完画像ＱＱＱ１〜ＱＱＱ３）のうち、対象画像Ｐに最も類似する画像を選択する処理を行う。そして、差分画像生成部３６０は、対象画像Ｐと、選択された補完画像ＱＱＱとの差分をとることにより差分画像ＤＤＤを生成する。

なお、実際には、Ｎ通りの補完画像の中から対象画像Ｐに最も類似する画像を選択する処理は、対象画像Ｐと個々の補完画像とについて差分をとり、差分値が最も小さくなる補完画像を最も類似する画像として選択する処理として行われるので、画像選択部３４０によって行われる処理と、差分画像生成部３６０によって行われる処理とは、いずれも、対象画像Ｐと個々の補完画像とについて差分をとり、差分画像を生成する処理ということになる。したがって、実用上は、画像選択部３４０と差分画像生成部３６０とは統合するのが好ましい。

データ出力部３７０は、こうして得られた差分画像ＤＤＤと、画像入力部３１０が入力した参照画像Ｑもしくはその代替画像と、類似画像生成部３３０から与えられるシフト情報Shiftと、補完画像生成部３５０から与えられる充填規則Ruleと、を出力する処理を行う。なお、図示の例では、補完画像生成部３５０からデータ出力部３７０に対して３通りの充填規則Rule１〜３が与えられることになるが、データ出力部３７０は、画像選択部３４０から与えられる選択信号に基づいて、選択された補完画像ＱＱＱに対応する充填規則Ruleのみを出力することになる。

こうしてデータ出力部３７０から出力される差分画像ＤＤＤ、参照画像Ｑもしくはその代替画像、シフト情報shift、充填規則Ruleが揃えば、これらに基づいて、元の対象画像Ｐを復元することができる。このような復元を行うための画像復元装置は、次の§６−４で述べる。

なお、§１で述べたとおり、実用上は、データ出力部３７０から出力されたデータに対してデータ圧縮処理を実行するデータ圧縮装置が付加され、時系列的に連続して与えられる複数の対象画像Ｐからなる動画データに対するデータ圧縮が行われることになる。

＜６−４．変形例に係る画像復元装置＞
続いて、図３４のブロック図を参照しながら、本発明の変形例に係る画像復元装置４００の基本構成を説明する。この画像復元装置４００は、図３３に示す差分画像作成装置３００によって作成された差分画像ＤＤＤに基づいて、元の対象画像Ｐを復元する機能をもった装置であり、実際には、この画像復元装置４００は、所定のプログラムが組み込まれたコンピュータもしくは所定の論理回路が組み込まれた集積回路によって構成される。

まず、データ入力部４１０は、図３３に示す差分画像作成装置３００のデータ出力部３７０から出力された差分画像ＤＤＤと、参照画像Ｑもしくはその代替画像と、シフト情報Shiftと、充填規則Ruleと、を入力する構成要素である。データ出力部３７０から出力されたデータに対してデータ圧縮処理が施されていた場合には、まず、データ入力部４１０の前段にデータ伸張装置を付加し、圧縮されたデータに対して、データ伸張処理を施す必要がある。

画像変換部４２０は、データ入力部４１０が入力したシフト情報Shiftおよび充填規則Ruleに基づいて、参照画像Ｑを補完画像ＱＱＱに変換する処理を行う。この処理の具体的な内容は、図３１の右欄に示すとおりである。そして、対象画像復元部４３０は、画像変換部４２０から得られた補完画像ＱＱＱと、データ入力部４１０が入力した差分画像ＤＤＤとに基づいて、対象画像Ｐを復元する処理を行う。この処理は、図３３に示す差分画像生成部３６０によって行われた差分演算に対する逆演算を行うことにより実施される。

１００：差分画像作成装置
１１０：画像入力部
１２０：分割方法定義部
１３０：ブロック抽出部
１４０：類似ブロック画像探索部
１５０：単位処理領域定義部
１６０：補完ブロック画像生成部
１７０：差分ブロック画像生成部
１８０：画像選択部
１９０：データ出力部
２００：画像復元装置
２１０：データ入力部
２２０：単位処理バッファ
２３０：ブロック画像変換部
２４０：対象ブロック画像復元部
３００：差分画像作成装置
３１０：画像入力部
３２０：類似部分探索部
３３０：類似画像生成部
３４０：画像選択部
３５０：補完画像生成部
３６０：差分画像生成部
３７０：データ出力部
４００：画像復元装置
４１０：データ入力部
４２０：画像変換部
４３０：対象画像復元部
Ａｄ，Ａｐ，Ａｑ：各画像の着目画素
Ｂ１１〜Ｂ４５：個々のブロック
Ｂｄ：差分画像の青色画素値
Ｂｐ：対象画像の青色画素値
Ｂｑ：参照画像の青色画素値
Ｃ（１）〜Ｃ（３）：圧縮画像
Ｄ：差分画像
Ｄ（２），Ｄ（３）：差分画像
Ｄ（ｉ，ｊ）：第ｉ行第ｊ列に位置する差分ブロック画像（動き補償の適用なし）
ＤＤ（ｉ，ｊ）：第ｉ行第ｊ列に位置する差分ブロック画像（従来の動き補償適用）
ＤＤＤ：差分画像
ＤＤＤ（ｉ，ｊ）：第ｉ行第ｊ列に位置する差分ブロック画像（本発明の動き補償適用）
ＤＤＤ１（ｉ，ｊ）〜ＤＤＤ７（ｉ，ｊ）：差分ブロック画像（本発明の動き補償適用）
Ｅ：領域境界線
Ｅｈ：水平境界線
Ｅｖ：垂直境界線
Ｆ：ブロックの枠
Ｆ（１）〜Ｆ（３）：フレーム単位の静止画像
Ｆｐ：対象画像Ｐのフレーム
Ｆｑ：参照画像Ｑのフレーム
Ｇｄ：差分画像の緑色画素値
Ｇｐ：対象画像の緑色画素値
Ｇｑ：参照画像の緑色画素値
Ｈ，Ｈ１，Ｈ２：境界近傍画素
Ｉ：１フレームの静止画像を構成するブロックの行数
ｉ：ブロックの行番号
Ｊ：１フレームの静止画像を構成するブロックの列数
ｊ：ブロックの列番号
ｋ，ｋ１，ｋ２：画素番号
Ｌｉ：第ｉ番目のブロックライン
Ｌｉ（Ｐ）：第ｉ番目のブロックライン内の部分対象画像
Ｍｐ：対象画像Ｐ内の動体
Ｍｑ：参照画像Ｑ内の動体
ｍ：１ブロックを構成する画素の行数
ｎ：１ブロックを構成する画素の列数
Ｐ：対象画像
Ｐａ：部分対象画像
Ｐ（ｉ，ｊ）：第ｉ行第ｊ列に位置する対象ブロック画像
Ｑ：参照画像
Ｑａ：部分参照画像
Ｑ（ｉ，ｊ）：第ｉ行第ｊ列に位置する参照ブロック画像（同位参照ブロック画像）
ＱＱ：類似画像
ＱＱ（ｉ，ｊ）：第ｉ行第ｊ列に位置する対象ブロック画像に対応する類似ブロック画像
ＱＱＱ，ＱＱＱ１〜ＱＱＱ３：補完画像
ＱＱＱ（ｉ，ｊ）：第ｉ行第ｊ列に位置する対象ブロック画像に対応する補完ブロック画像
ＱＱＱ１（ｉ，ｊ）〜ＱＱＱ７（ｉ，ｊ）：補完ブロック画像
Ｒｄ：差分画像の赤色画素値
Ｒｐ：対象画像の赤色画素値
Ｒｑ：参照画像の赤色画素値
Rule，Rule1〜3，Rules：充填規則
Ｓ：シフト方向
Ｓ１〜Ｓ２９：流れ図の各ステップ
sel：選択信号
Shift，Shifts：シフト情報
Ｓｐ：対象画像Ｐ内の静止体
Ｓｑ：参照画像Ｑ内の静止体
Ｔ，Ｔ１〜Ｔ７，Ｔα，Ｔβ，Ｔγ：コピーする方向
Ｕ１〜Ｕ６：充填用画像の画素行
Ｖ，Ｖα，Ｖβ，Ｖγ：空白領域
Ｗ：充填用画像
Δｘ：横方向シフト量
Δｙ：縦方向シフト量
φ：任意のダミー画素値

Claims (35)

1. 与えられた対象画像について、参照画像を利用して差分画像を作成する方法であって、
   互いに同一のフレームサイズをもった対象画像および参照画像を入力する画像入力段階と、
   前記対象画像および前記参照画像をそれぞれ同一の分割方法によって複数のブロックに分割することにより、前記対象画像を複数の対象ブロックの集合体によって構成し、前記参照画像を複数の参照ブロックの集合体によって構成するブロック分割段階と、
   前記対象画像および前記参照画像について、同一の定義方法により、１つもしくは複数のブロックからなる所定領域を単位処理領域と定義する単位処理領域定義段階と、
   前記個々の対象ブロックに対して前記参照画像内の同じ位置に配置された同位参照ブロックを対応づけ、前記個々の対象ブロック内の対象ブロック画像について、前記参照画像のうちの、対応する同位参照ブロックの枠内もしくは当該枠を所定の態様でシフトした枠内の類似する画像として、類似ブロック画像を探索する類似ブロック画像探索段階と、
   前記類似ブロック画像について、前記同位参照ブロックが所属する単位処理領域の領域外の部分の画像情報を削除して空白領域とし、この空白領域に、所定の充填規則に基づいて生成した充填用画像を割り付けて補完することにより、補完ブロック画像を生成する補完ブロック画像生成段階と、
   個々の対象ブロック画像とこれに対応して生成された個々の補完ブロック画像との差分をとることにより、個々の差分ブロック画像を生成する差分ブロック画像生成段階と、
   前記個々の差分ブロック画像の集合体からなる差分画像と、前記参照画像もしくはその代替画像と、前記個々の類似ブロック画像を探索したときのシフトの態様を示す個々のシフト情報と、前記個々の補完ブロック画像を生成する際の個々の充填規則と、を出力するデータ出力段階と、
   を有することを特徴とする差分画像作成方法。
2. 請求項１に記載の差分画像作成方法において、
   補完ブロック画像生成段階で、補完ブロック画像を生成する際に用いる充填規則として、空白領域の近傍に位置する単位処理領域内の画素の画素値に基づいて、充填用画像の画素の画素値を決定する規則を用いることを特徴とする差分画像作成方法。
3. 請求項２に記載の差分画像作成方法において、
   補完ブロック画像生成段階で、補完ブロック画像を生成する際に用いる充填規則として、単位処理領域の領域内における、空白領域に接する境界近傍の画素の画素値を、空白領域内の画素にコピーするという規則を用い、充填用画像の画素の画素値を決定することを特徴とする差分画像作成方法。
4. 請求項２または３に記載の差分画像作成方法において、
   補完ブロック画像生成段階で、複数Ｎ通りの充填規則に基づいて複数Ｎ通りの充填用画像を生成し、各充填用画像を空白領域に割り付けて補完することにより、複数Ｎ通りの補完ブロック画像を生成し、
   差分ブロック画像生成段階で、前記Ｎ通りの補完ブロック画像のうち、対象ブロック画像に最も類似する画像を選択し、対象ブロック画像と、選択された補完ブロック画像との差分をとることにより差分ブロック画像を生成し、
   データ出力段階で、選択された補完ブロック画像を生成する際の充填規則を出力することを特徴とする差分画像作成方法。
5. 請求項４に記載の差分画像作成方法において、
   補完ブロック画像生成段階で、補完ブロック画像を生成する際に用いる充填規則として、単位処理領域の領域内における、空白領域に接する境界近傍の画素の画素値を、空白領域内の所定方向に位置する画素にコピーするという規則を用い、充填用画像の画素の画素値を決定し、コピーする方向を変えることにより、複数Ｎ通りの充填規則を設定することを特徴とする差分画像作成方法。
6. 請求項４または５に記載の差分画像作成方法において、
   差分ブロック画像生成段階で、補完ブロック画像と対象ブロック画像とについて、それぞれ対応する画素の画素値の差の絶対値の合計値を求め、当該合計値が最も小さい補完ブロック画像を最も類似する画像として選択することを特徴とする差分画像作成方法。
7. 請求項１に記載の差分画像作成方法において、
   補完ブロック画像生成段階で、補完ブロック画像を生成する際に用いる充填規則として、予め所定のダミー画素値を定めておき、充填用画像を構成する各画素に前記ダミー画素値を与えるという規則を用いることを特徴とする差分画像作成方法。
8. 請求項１〜７のいずれかに記載の差分画像作成方法において、
   ブロック分割段階で、縦方向にＩ分割、横方向にＪ分割することにより、Ｉ行Ｊ列に配列されたＩ×Ｊ個のブロックを構成し、
   単位処理領域定義段階で、第ｉ番目の行（１≦ｉ≦Ｉ）に所属するＪ個のブロックからなるブロックラインを単位処理領域とすることを特徴とする差分画像作成方法。
9. 請求項１〜８のいずれかに記載の差分画像作成方法において、
   類似ブロック画像探索段階で、同位参照ブロックの枠を予め定められた複数通りの態様でシフトさせ、対象ブロック画像と各態様でシフトさせた枠内の画像とをそれぞれ比較し、最も類似した画像を類似ブロック画像とすることを特徴とする差分画像作成方法。
10. 請求項１〜９のいずれかに記載の差分画像作成方法において、
    画像入力段階で、動画を構成する静止画像を時系列に従って順次入力し、第ｔ番目の静止画像を対象画像、第（ｔ−１）番目の静止画像を参照画像とすることを特徴とする差分画像作成方法。
11. 請求項１０に記載の差分画像作成方法において、
    類似ブロック画像探索段階で、時系列に従って順次入力した静止画像群に基づいて動画中の動体を認識し、この動体の移動方向および移動距離を考慮した位置に同位参照ブロックの枠をシフトさせ、類似ブロック画像の探索を行うことを特徴とする差分画像作成方法。
12. 請求項１０または１１に記載の差分画像作成方法において、
    補完ブロック画像生成段階で、時系列に従って順次入力した静止画像群に基づいて動画中の動体を認識し、この動体の移動方向を考慮した充填規則に基づいて補完ブロック画像を生成することを特徴とする差分画像作成方法。
13. 請求項１〜１２のいずれかに記載の差分画像作成方法によって作成された差分画像に基づいて、元の対象画像を復元する画像復元方法であって、
    データ出力段階で出力された差分画像と、参照画像もしくはその代替画像と、個々のシフト情報と、個々の充填規則と、を入力するデータ入力段階と、
    入力したデータの中から、第ｉ番目（ｉ＝１，２，３，... ）の単位処理領域に関するデータを抽出する単位処理データ抽出段階と、
    前記単位処理領域に関するデータの中から、第ｊ番目（ｉ＝１，２，３，... ）のブロックに関するデータを抽出するブロックデータ抽出段階と、
    第ｉ番目の単位処理領域に所属する第ｊ番目の参照ブロック内の画像を、当該ブロックについてのシフト情報および充填規則に基づいて、補完ブロック画像に変換するブロック画像変換段階と、
    第ｉ番目の単位処理領域に所属する第ｊ番目の差分ブロック画像と、これに対応する補完ブロック画像とに基づいて、第ｉ番目の単位処理領域に所属する第ｊ番目の対象ブロック画像を復元する対象ブロック画像復元段階と、
    を有し、単位処理領域の全ブロックについて、それぞれ対象ブロック画像を復元する処理を行い、これら対象ブロック画像の集合体として対象画像の少なくとも一部分の領域を復元することを特徴とする画像復元方法。
14. 与えられた対象画像について、参照画像を利用して差分画像を作成する方法であって、
    互いに同一のフレームサイズをもった対象画像および参照画像を入力する画像入力段階と、
    前記対象画像の一部分を構成する部分対象画像について、同一サイズかつ類似している部分参照画像を前記参照画像内から探索する類似部分探索段階と、
    前記参照画像のフレーム内における前記部分参照画像の占有位置が、前記対象画像のフレーム内における前記部分対象画像の占有位置と同じになるように、前記部分参照画像をフレーム内で所定方向にシフトし、当該シフトにより画像情報が失われた部分を空白領域とする類似画像を生成する類似画像生成段階と、
    前記類似画像内の前記空白領域に、所定の充填規則に基づいて生成した充填用画像を割り付けて補完することにより、補完画像を生成する補完画像生成段階と、
    前記対象画像と前記補完画像との差分をとることにより差分画像を生成する差分画像生成段階と、
    前記差分画像と、前記参照画像もしくはその代替画像と、前記シフトの態様を示すシフト情報と、前記充填規則と、を出力するデータ出力段階と、
    を有することを特徴とする差分画像作成方法。
15. 請求項１４に記載の差分画像作成方法において、
    充填規則として、部分参照画像の、空白領域に接する境界近傍の画素の画素値に基づいて、充填用画像の画素の画素値を決定する規則を用いることを特徴とする差分画像作成方法。
16. 請求項１４または１５に記載の差分画像作成方法において、
    補完画像生成段階で、複数Ｎ通りの充填規則に基づいて複数Ｎ通りの充填用画像を生成し、各充填用画像を空白領域に割り付けて補完することにより、複数Ｎ通りの補完画像を生成し、
    差分画像生成段階では、前記Ｎ通りの補完画像のうち、対象画像に最も類似する画像を選択し、対象画像と、選択された補完画像との差分をとることにより差分画像を生成することを特徴とする差分画像作成方法。
17. 請求項１４〜１６のいずれかに記載の差分画像の作成方法によって作成された差分画像に基づいて、元の対象画像を復元する画像復元方法であって、
    データ出力段階で出力された差分画像と、参照画像もしくはその代替画像と、シフト情報と、充填規則と、を入力するデータ入力段階と、
    前記シフト情報および前記充填規則に基づいて、前記参照画像を補完画像に変換する画像変換段階と、
    前記補完画像と前記差分画像とに基づいて対象画像を復元する対象画像復元段階と、
    を有することを特徴とする画像復元方法。
18. 請求項１〜１２、１４〜１６のいずれかに記載の差分画像作成方法によって作成された差分画像に対して、データ圧縮処理を施してデータ圧縮を行うことを特徴とする画像データの圧縮方法。
19. 請求項１８に記載の画像データの圧縮方法により圧縮されたデータに対して、データ伸張処理を施して差分画像を復元し、更に、この差分画像に基づいて、請求項１３もしくは１７に記載の画像復元方法を行うことにより対象画像を復元することを特徴とする画像データの伸張方法。
20. 請求項１〜１２、１４〜１６のいずれかに記載の差分画像作成方法、または、請求項１３もしくは１７に記載の画像復元方法をコンピュータに実行させるプログラム。
21. 請求項１〜１２、１４〜１６のいずれかに記載の差分画像作成方法、または、請求項１３もしくは１７に記載の画像復元方法を実行する論理回路が組み込まれた集積回路。
22. 与えられた対象画像について、参照画像を利用して差分画像を作成する装置であって、
    互いに同一のフレームサイズをもった対象画像および参照画像を入力する画像入力部と、
    前記対象画像を複数の対象ブロックの集合体によって構成し、前記参照画像を複数の参照ブロックの集合体によって構成することができるように、前記対象画像および前記参照画像をそれぞれ同一の態様で分割する分割方法を定義する分割方法定義部と、
    前記対象画像および前記参照画像について、同一の定義方法により、１つもしくは複数のブロックからなる所定領域を単位処理領域と定義する単位処理領域定義部と、
    前記分割方法定義部によって定義された分割方法により前記対象画像を分割し、個々の対象ブロックを抽出するブロック抽出部と、
    前記個々の対象ブロックに対して前記参照画像内の同じ位置に配置された同位参照ブロックを対応づけ、前記個々の対象ブロック内の対象ブロック画像について、前記参照画像のうちの、対応する同位参照ブロックの枠内もしくは当該枠を所定の態様でシフトした枠内の類似する画像として、類似ブロック画像を探索する類似ブロック画像探索部と、
    前記類似ブロック画像について、前記同位参照ブロックが所属する単位処理領域の領域外の部分の画像情報を削除して空白領域とし、この空白領域に、所定の充填規則に基づいて生成した充填用画像を割り付けて補完することにより、補完ブロック画像を生成する補完ブロック画像生成部と、
    個々の対象ブロック画像とこれに対応して生成された個々の補完ブロック画像との差分をとることにより、個々の差分ブロック画像を生成する差分ブロック画像生成部と、
    前記個々の差分ブロック画像の集合体からなる差分画像と、前記参照画像もしくはその代替画像と、前記個々の類似ブロック画像を探索したときのシフトの態様を示す個々のシフト情報と、前記個々の補完ブロック画像を生成する際の個々の充填規則と、を出力するデータ出力部と、
    を備えることを特徴とする差分画像作成装置。
23. 請求項２２に記載の差分画像作成装置において、
    補完ブロック画像生成部が、複数Ｎ通りの充填規則に基づいて複数Ｎ通りの充填用画像を生成し、各充填用画像を空白領域に割り付けて補完することにより、複数Ｎ通りの補完ブロック画像を生成し、
    差分ブロック画像生成部が、１つの対象ブロック画像について、前記Ｎ通りの補完ブロック画像のそれぞれを用いてＮ通りの差分ブロック画像を生成し、
    前記Ｎ通りの差分ブロック画像のうち、個々の画素のもつ差分値の絶対値の総和が最も小さい差分ブロック画像を選択する画像選択部を更に設け、
    データ出力部が、選択された差分ブロック画像の集合体により差分画像を構成し、これを出力することを特徴とする差分画像作成装置。
24. 請求項２３に記載の差分画像作成装置において、
    補完ブロック画像生成部が、補完ブロック画像を生成する際に用いる充填規則として、単位処理領域の領域内における、空白領域に接する境界近傍の画素の画素値を、空白領域内の所定方向に位置する画素にコピーするという規則を用い、充填用画像の画素の画素値を決定し、コピーする方向を変えることにより、複数Ｎ通りの充填規則を設定することを特徴とする差分画像作成装置。
25. 請求項２２〜２４のいずれかに記載の差分画像作成装置において、
    分割方法定義部が、縦方向にＩ分割、横方向にＪ分割することにより、Ｉ行Ｊ列に配列されたＩ×Ｊ個のブロックが構成されるような分割方法を定義し、
    単位処理領域定義部が、第ｉ番目の行（１≦ｉ≦Ｉ）に所属するＪ個のブロックからなるブロックラインを単位処理領域とする定義を行うことを特徴とする差分画像作成装置。
26. 請求項２２〜２５のいずれかに記載の差分画像作成装置において、
    類似ブロック画像探索部が、同位参照ブロックの枠を予め定められた複数通りの態様でシフトさせ、対象ブロック画像と各態様でシフトさせた枠内の画像とをそれぞれ比較し、最も類似した画像を類似ブロック画像とすることを特徴とする差分画像作成装置。
27. 請求項２２〜２６のいずれかに記載の差分画像作成装置によって作成された差分画像に基づいて、少なくとも特定の単位処理領域内の部分対象画像を復元する画像復元装置であって、
    データ出力部から出力された差分画像と、参照画像もしくはその代替画像と、個々のシフト情報と、個々の充填規則と、を入力するデータ入力部と、
    入力したデータの中から、前記特定の単位処理領域に関するデータを抽出して、これを格納する単位処理バッファと、
    前記単位処理バッファから、第ｊ番目（ｉ＝１，２，３，... ）の参照ブロックおよび必要に応じてこれに隣接する参照ブロック内の画像と、当該第ｊ番目の参照ブロックについてのシフト情報および充填規則とを読み出し、読み出したシフト情報および充填規則に基づいて、読み出した参照ブロック内の画像を第ｊ番目の補完ブロック画像に変換するブロック画像変換部と、
    前記単位処理バッファから読み出した第ｊ番目の差分ブロック画像と、前記ブロック画像変換部によって変換された前記第ｊ番目の補完ブロック画像とに基づいて、第ｊ番目の対象ブロック画像を復元する対象ブロック画像復元部と、
    を備え、前記対象ブロック画像復元部から、前記特定の単位処理領域に所属する対象ブロック画像を順次出力することにより、前記特定の単位処理領域内の部分対象画像を復元することを特徴とする画像復元装置。
28. 与えられた対象画像について、参照画像を利用して差分画像を作成する装置であって、
    互いに同一のフレームサイズをもった対象画像および参照画像を入力する画像入力部と、
    前記対象画像の一部分を構成する部分対象画像について、同一サイズかつ類似している部分参照画像を前記参照画像内から探索する類似部分探索部と、
    前記参照画像のフレーム内における前記部分参照画像の占有位置が、前記対象画像のフレーム内における前記部分対象画像の占有位置と同じになるように、前記部分参照画像をフレーム内で所定方向にシフトし、当該シフトにより画像情報が失われた部分を空白領域とする類似画像を生成する類似画像生成部と、
    前記類似画像内の前記空白領域に、所定の充填規則に基づいて生成した充填用画像を割り付けて補完することにより、補完画像を生成する補完画像生成部と、
    前記対象画像と前記補完画像との差分をとることにより差分画像を生成する差分画像生成部と、
    前記差分画像と、前記参照画像もしくはその代替画像と、前記シフトの態様を示すシフト情報と、前記充填規則と、を出力するデータ出力部と、
    を備えることを特徴とする差分画像作成装置。
29. 請求項２８に記載の差分画像作成装置において、
    補完画像生成部が、充填規則として、部分参照画像の、空白領域に接する境界近傍の画素の画素値に基づいて、充填用画像の画素の画素値を決定する規則を用いることを特徴とする差分画像作成装置。
30. 請求項２８または２９に記載の差分画像作成装置において、
    補完画像生成部が、複数Ｎ通りの充填規則に基づいて複数Ｎ通りの充填用画像を生成し、各充填用画像を空白領域に割り付けて補完することにより、複数Ｎ通りの補完画像を生成し、
    前記Ｎ通りの補完画像のうち、対象画像に最も類似する画像を選択する画像選択部を更に備え、
    差分画像生成部が、対象画像と、選択された補完画像との差分をとることにより差分画像を生成することを特徴とする差分画像作成装置。
31. 請求項２８〜３０のいずれかに記載の差分画像の作成装置によって作成された差分画像に基づいて、元の対象画像を復元する画像復元装置であって、
    データ出力部から出力された差分画像と、参照画像もしくはその代替画像と、シフト情報と、充填規則と、を入力するデータ入力部と、
    前記シフト情報および前記充填規則に基づいて、前記参照画像を補完画像に変換する画像変換部と、
    前記補完画像と前記差分画像とに基づいて対象画像を復元する対象画像復元部と、
    を備えることを特徴とする画像復元装置。
32. 請求項２２〜２６、２８〜３０のいずれかに記載の差分画像作成装置に、この差分画像作成装置によって作成された差分画像に対してデータ圧縮処理を施すデータ圧縮部を付加することにより構成されることを特徴とする画像データの圧縮装置。
33. 請求項３２に記載の画像データの圧縮装置により圧縮されたデータに対して、データ伸張処理を施して差分画像を復元するデータ伸張部と、請求項２７もしくは３１に記載の画像復元装置とを備え、前記差分画像に基づいて、前記画像復元装置による画像復元を行うことを特徴とする画像データの伸張装置。
34. 請求項２２〜２６、２８〜３０のいずれかに記載の差分画像作成装置、または、請求項２７もしくは３１に記載の画像復元装置としてコンピュータを機能させるプログラム。
35. 請求項２２〜２６、２８〜３０のいずれかに記載の差分画像作成装置、または、請求項２７もしくは３１に記載の画像復元装置として機能する論理回路が組み込まれた集積回路。

Images