JP2005348320A - 動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラム - Google Patents

動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラム Download PDF

Info

Publication number
JP2005348320A
JP2005348320A JP2004168487A JP2004168487A JP2005348320A JP 2005348320 A JP2005348320 A JP 2005348320A JP 2004168487 A JP2004168487 A JP 2004168487A JP 2004168487 A JP2004168487 A JP 2004168487A JP 2005348320 A JP2005348320 A JP 2005348320A
Authority
JP
Japan
Prior art keywords
frame
data
block
moving image
address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004168487A
Other languages
English (en)
Other versions
JP4412062B2 (ja
Inventor
Seiji Kobayashi
誠司 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004168487A priority Critical patent/JP4412062B2/ja
Publication of JP2005348320A publication Critical patent/JP2005348320A/ja
Application granted granted Critical
Publication of JP4412062B2 publication Critical patent/JP4412062B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 画素間引きを行なった動画像データの復元における画質低下を防止した装置および方法を提供する。
【解決手段】 空間方向の間引き処理や時間方向の間引き処理などによって画素データが間引かれた圧縮データの復元処理において、ブロックの動きベクトルなどの動き情報に基づいて算出されるブロックの移動位置を反映させて複数フレームに渡る同一ブロックのデータをフレームバッファに蓄積し、蓄積した複数の異なるフレームの標本点データに基づいてデータ復元を実行する。本構成により、１フレームにおいて欠落している画素値を異なるフレームのデータに基づいて取得することが可能となり、各フレームの画素値再現率の向上が可能となり、より原画像に近い高品質な動画像復元が実現される。
【選択図】 図１０

Description

本発明は、動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラムに関する。特に画素間引きを伴う圧縮データから高品質な画像データの復元を可能としたものであり、例えば復元画像のスローモーション表示において目立ちやすいジャギー（空間集周波数の折り返し）等の画質劣化を解消し高品質な画像復元を実現する動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラムに関する。
動画像データは、ハードディスク、ＤＶＤなどの記憶媒体への保存、あるいはネットワークを介した配信などにおいて、データ量を削減するためのデータ変換、すなわち圧縮処理が行なわれる。特に、近年、動画像データの高品質化、例えばＨＤ（Ｈｉｇｈ Ｄｉｆｉｎｉｔｉｏｎ）データなど、データ品質の改善が進んでおり、このデータの高品質化に伴ってデータ量が急激に増大している。このような状況において、動画像データの圧縮、復元処理における圧縮効率の改善や、復元データの品質劣化防止に関する技術について多くの検討、研究がなされている。
動画像の圧縮処理方法としては、例えば動画像データを構成する画像フレームの構成画素の間引き処理、すなわち空間方向の間引き処理と、フレームレートを間引く処理、すなわち時間方向の間引き処理などが知られている。
このようなデータ変換によるデータ量削減により記憶媒体への保存やネットワークを介したデータ転送が効率的に行なわれるという利点がある。しかしながら、圧縮されたデータを復元し再生する場合、画質の劣化が発生してしまうという問題がある。特にオリジナルデータが高精細画像である場合には、その品質劣化がより顕著になってしまう。
このような画質劣化をいかに低減するかについては様々な検討がなされている。例えば、特許文献１には、画像の明るさの情報に基づくパラメータを設定し、画像の明るさに従って圧縮態様を変更する画像圧縮処理構成を開示している。また、特許文献２には、画面を複数の領域に分割し、領域毎に圧縮態様を変更した圧縮処理構成を開示している。
特開２００３−１６９２８４号公報 特開２００２−２７４６６号公報
上述のように、いくつかの従来技術において、処理対象画像から求められる様々な特性に基づいて圧縮態様を変更し、データ品質を高める構成が開示されているが、これまでに開示されている圧縮方法では、圧縮画像データを復元し、再生した場合の画質劣化を十分に抑えるには至っていない。特に、画素間引きを伴う圧縮データを復元した画像のスローモーション表示では、間引き処理によって失われた画素データに基づくジャギー（空間集周波数の折り返し）が目だってしまうという問題がある。
本発明は、このような問題点に鑑みてなされたものであり、画素間引きを伴う圧縮データから高品質な画像データを復元することを可能としたものであり、特に、画像のスローモーション表示において目立ちやすいジャギー等の画質劣化を解消し、高品質な画像復元を可能とした動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラムを提供することを目的とする。
本発明の第１の側面は、
動画像圧縮データの復元処理を実行する動画像変換装置であり、
動画像を構成するフレームに含まれる領域としてのブロック単位の圧縮データを入力する入力部と、
前記圧縮データに含まれる動き情報、または前記圧縮データから算出される動き情報に基づいて時間軸上の異なるフレームにおけるブロック位置を算出し、該算出位置に対応するアドレスをフレーム対応のフレームバッファアクセス用アドレスとして算出するアドレス変換部と、
前記アドレス変換部の算出したフレーム対応のアドレスによって指定されるメモリ位置に各フレーム対応のブロック圧縮データに含まれる画素値または該画素値に基づく算出値を格納するフレーム対応の複数のフレームバッファと、
前記フレームバッファの格納データに基づいて複数の異なるフレームの標本点データに基づく復元ブロックを生成する補間部と、
前記補間部の生成した復元ブロックによって構成される動画像フレームデータを出力する出力部と、
を有することを特徴とする動画像変換装置にある。
さらに、本発明の動画像変換装置の一実施態様において、前記動画像変換装置は、さらに、前記アドレス変換部の算出したフレーム対応アドレスによって指定されるフレームバッファのメモリ位置に書き込み済みの画素値データが存在する場合、該画素値データと、処理フレーム対応のブロック圧縮データに含まれる画素値との加算平均値を算出する加算処理部を有し、該加算処理部において算出した加算平均値を前記フレーム対応アドレスによって指定されるメモリ位置に書き込む処理を実行する構成であることを特徴とする。
さらに、本発明の動画像変換装置の一実施態様において、前記複数のフレームバッファは、復元処理対象フレームと、復元処理対象フレームに時間軸上で先行するフレームまたは後続するフレームの少なくともいずれかの複数フレームに渡る画素値または該画素値に基づく算出値の重複書き込みがなされる構成であることを特徴とする。
さらに、本発明の動画像変換装置の一実施態様において、前記アドレス変換部は、ブロックの動き情報として、フレーム単位のブロック移動情報を示す動きベクトルを入力し、該動きベクトルに基づいて時間軸上の異なるフレームにおけるブロック位置を算出し、該算出位置に対応するアドレスを各フレーム対応のアドレスとして算出する構成であることを特徴とする。
さらに、本発明の動画像変換装置の一実施態様において、前記補間部は、ブロック構成データ中、前記標本点データの欠落した画素値を、ブロック対応の動き情報に含まれる動き方向と平行な方向の画素値に基づいて補間する処理を実行する構成であることを特徴とする。
さらに、本発明の動画像変換装置の一実施態様において、前記補間部は、ブロック構成データ中、前記標本点データの欠落した画素値を、該欠落画素の周囲画素値に基づいて補間する処理を実行する構成であることを特徴とする。
さらに、本発明の動画像変換装置の一実施態様において、前記動画像変換装置は、さらに、前記補間部に対する出力データの切り替え処理として、補間部に対する出力データを格納したフレームバッファを順次切り替える処理を実行する選択部を有する構成であることを特徴とする。
さらに、本発明の第２の側面は、
動画像圧縮データの復元処理を実行する動画像変換方法であり、
動画像を構成するフレームに含まれる領域としてのブロック単位の圧縮データを入力する入力ステップと、
前記圧縮データに含まれる動き情報、または前記圧縮データから算出される動き情報に基づいて時間軸上の異なるフレームにおけるブロック位置を算出し、該算出位置に対応するアドレスをフレーム対応のフレームバッファアクセス用アドレスとして算出するアドレス変換ステップと、
複数のフレームバッファの各々に対するデータ格納ステップであり、前記アドレス変換ステップにおいて算出したフレーム対応のアドレスによってアクセスされる各フレームバッファのメモリ位置に、各フレーム対応のブロック圧縮データに含まれる画素値または該画素値に基づく算出値を格納するデータ格納ステップと、
前記フレームバッファの格納データに基づいて複数の異なるフレームの標本点データに基づく復元ブロックを生成する補間ステップと、
前記補間ステップにおいて生成した復元ブロックによって構成される動画像フレームデータを出力する出力ステップと、
を有することを特徴とする動画像変換方法にある。
さらに、本発明の動画像変換方法の一実施態様において、前記動画像変換方法は、さらに、前記アドレス変換ステップにおいて算出したフレーム対応アドレスによって指定されるフレームバッファのメモリ位置に書き込み済みの画素値データが存在する場合、該画素値データと、処理フレーム対応のブロック圧縮データに含まれる画素値との加算平均値を算出する加算処理ステップを有し、前記データ格納ステップは、前記加算処理ステップにおいて算出した加算平均値を前記フレーム対応アドレスによって指定されるメモリ位置に書き込む処理を実行するステップであることを特徴とする。
さらに、本発明の動画像変換方法の一実施態様において、前記データ格納ステップは、前記複数のフレームバッファに対して、復元処理対象フレームと、復元処理対象フレームに時間軸上で先行するフレームまたは後続するフレームの少なくともいずれかの複数フレームに渡る画素値または該画素値に基づく算出値の重複書き込みを実行するステップであることを特徴とする。
さらに、本発明の動画像変換方法の一実施態様において、前記アドレス変換ステップは、ブロックの動き情報として、フレーム単位のブロック移動情報を示す動きベクトルを入力し、該動きベクトルに基づいて時間軸上の異なるフレームにおけるブロック位置を算出し、該算出位置に対応するアドレスを各フレーム対応のアドレスとして算出するステップであることを特徴とする。
さらに、本発明の動画像変換方法の一実施態様において、前記補間ステップは、ブロック構成データ中、前記標本点データの欠落した画素値を、ブロック対応の動き情報に含まれる動き方向と平行な方向の画素値に基づいて補間する処理を実行するステップを含むことを特徴とする。
さらに、本発明の動画像変換方法の一実施態様において、前記補間ステップは、ブロック構成データ中、前記標本点データの欠落した画素値を、該欠落画素の周囲画素値に基づいて補間する処理を実行するステップを含むことを特徴とする。
さらに、本発明の動画像変換方法の一実施態様において、前記動画像変換方法は、さらに、前記画素値補間処理を実行する補間部に対する出力データの切り替え処理として、フレームバッファを順次切り替えるフレームバッファ選択ステップを有することを特徴とする。
さらに、本発明の第３の側面は、
動画像圧縮データの復元処理を実行するコンピュータ・プログラムであり、
動画像を構成するフレームに含まれる領域としてのブロック単位の圧縮データを入力する入力ステップと、
前記圧縮データに含まれる動き情報、または前記圧縮データから算出される動き情報に基づいて時間軸上の異なるフレームにおけるブロック位置を算出し、該算出位置に対応するアドレスをフレーム対応のフレームバッファアクセス用アドレスとして算出するアドレス変換ステップと、
複数のフレームバッファの各々に対するデータ格納ステップであり、前記アドレス変換ステップにおいて算出したフレーム対応のアドレスによってアクセスされる各フレームバッファのメモリ位置に、各フレーム対応のブロック圧縮データに含まれる画素値または該画素値に基づく算出値を格納するデータ格納ステップと、
前記フレームバッファの格納データに基づいて複数の異なるフレームの標本点データに基づく復元ブロックを生成する補間ステップと、
前記補間ステップにおいて生成した復元ブロックによって構成される動画像フレームデータを出力する出力ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本発明の構成によれば、空間方向の間引き処理や時間方向の間引き処理などによって画素データが間引かれた圧縮データの復元処理において、ブロックの動きベクトルなどの動き情報に基づいて算出されるブロックの移動位置を反映させて複数フレームに渡る同一ブロックのデータをフレームバッファに蓄積し、蓄積した複数の異なるフレームの標本点データに基づいてデータ復元を実行する構成としたので、１つのフレームにおいて欠落している画素値を異なるフレームのデータに基づいて取得することが可能となり、各フレームの画素値再現率の向上が可能となる。この結果、より原画像に近い高品質な動画像復元が実現される。
従来の構成においては、復元データの再生時、間引き処理によって失われた画素データに基づくジャギー（空間集周波数の折り返し）が目立つという問題があったが、本発明によれば、各フレームの画素値再現率が向上されるので、例えばスローモーション再生などのようにオリジナル動画像の再生レートと異なるレートでの再生処理においても、ジャギーの発生を抑制することが可能となりオリジナルデータに近い高品質なデータ再生が実現される。
以下、図面を参照しながら、本発明の動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラムの構成について説明する。なお、説明は、以下の項目に従って行なう。
（１）超解像効果を利用した動画像変換装置の基本構成
（２）高品質な復元画像を生成する動画像変換装置および動画像変換方法
［（１）超解像効果を利用した動画像変換装置の基本構成］
まず、本発明のベースとなる超解像効果を利用した動画像圧縮を実行する動画像変換装置の基本構成について説明する。なお、この基本構成は、本出願人が先に出願した特願２００３−４１２５０１号に詳細を記載しているものであり、画像を小領域（ブロック）に分割し、各領域の移動速度に応じて画素数の間引きや、フレームレートの間引きを適応的に行うことでデータ量の圧縮を実現した構成である。
図１に特願２００３−４１２５０１号に記載した動画像変換装置１０の構成例を示す。この動画像変換装置１０は、超解像効果を利用した動画像変換処理を行うことにより、データ量の削減による画質劣化を観測者が知覚しないようにデータ量の削減を行うことができる構成としたものである。
なお、超解像効果とは、観測者が、空間方向に離散的にサンプリングされた移動被写体を追従視する際に、表示画素数以上の解像度を知覚するという視覚的効果である。これは、人間は、ある時間内に呈示された複数の画像が加算されたものを知覚するという視覚特性を持つためである。この特性は、ブロックの法則として知られる視覚の時間的積分機能に起因しており、例えば、"視覚情報ハンドブック，日本視覚学会編，ｐｐ．２１９−２２０"などに記載されている。ブロックの法則が成り立つ積分時間は、背景光の強度などの呈示条件によって変化するが、およそ２５ｍｓ乃至１００ｍｓであるという報告がある。
図１に示す動画像変換装置１０は、時間的積分機能によって引き起こされる超解像効果を利用した動画像変換処理を行うことにより、画質劣化を観測者が知覚しないようにデータを削減する圧縮を行う構成としたものである。図１の動画像変換装置１０の構成について説明する。
ブロック分割部１１は、入力された動画像の各フレームを、所定画素の区分領域としてのブロックに分割し移動量検出部１２に供給する。移動量検出部１２は、ブロック分割部１１から供給された各ブロックについての移動量を検出し、ブロックとその移動量を、ブロック処理部１３に送信する。ブロック処理部１３は、移動量検出部１２から供給されたブロックに対して、その移動量に応じた動画像変換処理、すなわち圧縮処理を施し、データ量を削減する。ブロック処理部１３は、その処理の結果得られた、データ量が削減されたブロックについてのデータを、出力部１４に供給する。出力部１４は、ブロック処理部１３から供給された、データ量が削減されたブロックについてのデータを、ストリームデータとしてまとめて出力する。
次に、図２を参照して、各部の詳細について説明する。ブロック分割部１１の画像蓄積部２１には、動画像変換装置１０に供給された動画像のフレームが入力される。画像蓄積部２１は、入力されたフレームを蓄積する。画像蓄積部２１は、蓄積したフレームの数がＮ枚（Ｎは正の整数）になる度に、そのＮ枚のフレームを、ブロック分割部２２に供給するとともに、Ｎ枚のフレームの中のＭ番目に記憶したフレーム（以下、Ｍ番目のフレームと称する）を、移動量検出部１２（移動量検出部３１）に供給する。例えば、Ｎ＝４とする。
ブロック分割部２２は、画像蓄積部２１から供給されたＮ枚のフレーム（連続するＮ枚のフレーム）のそれぞれを、ある大きさ（例えば８×８、１６×１６）のブロックに分割し、移動量検出部１２（ブロック分配部３２）に出力する。ブロック分割部２２はまた、Ｎ枚のフレームの中の、画像蓄積部２１でＰ番目に記憶されたフレーム（以下、Ｐ番目のフレームと称する）の各ブロックを移動量検出部１２（移動量検出部３１）に供給する。Ｐ番目のフレームは、Ｍ番目のフレームと異なるフレームである。
次に、移動量検出部１２について説明する。移動量検出部１２の移動量検出部３１は、ブロック分割部１１のブロック分割部２２から供給されたＰ番目のフレームの各ブロックの動きベクトルを、画像蓄積部２１から供給されたＭ番目のフレームを参照して例えばフレーム間のブロックマッチング処理を実行して検出し、検出した動きベクトルをブロック分配部３２に供給する。動きベクトルは、フレーム間の水平方向（Ｘ軸方向）および垂直方向（Ｙ軸方向）の移動量を表している。なお、移動量検出部３１は、移動量検出の精度を向上させるために画像を拡大し、拡大画像を適用した移動量検出を行なう構成としてもよい。
移動量検出部１２のブロック分配部３２には、ブロック分割部２２から、Ｎ個単位でブロック（Ｎ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック）が供給され、移動量検出部３１から、そのＮ個のブロックの中のＰ番目のフレームのブロックの移動量が供給される。ブロック分配部３２は、供給されたＮ個のブロックと移動量を、ブロック処理部１３の、その移動量に対応する処理を行うブロック処理部５１乃至５３の中のいずかに供給する。
具体的にはブロック分配部３２は、移動量検出部３１から供給された、１フレーム間の水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の移動量が２ピクセル（画素）以上である場合、ブロック分割部２２から供給されたＮ個のブロックと移動量検出部３１から供給された移動量を、ブロック処理部５１に出力する。また、１フレーム間の水平方向と垂直方向の移動量がともに２ピクセル未満で、かつ１ピクセル以上の場合、ブロック分配部３２は、Ｎ個のブロックと移動量を、ブロック処理部５３に出力する。移動量がそのほかの場合には、ブロック分配部３２は、Ｎ個のブロックと移動量をブロック処理部５２に供給する。
すなわちブロック分配部３２は、移動量検出部２１から供給された移動量に基づき、最適なフレームレートおよび空間解像度を決定し、そのフレームレートおよび空間解像度にしたがって画像データを変換する処理を行うブロック処理部５１〜５３に、ブロック画像を分配する。
次に、ブロック処理部１３の詳細を説明する。ブロック処理部１３は、上述したように３個のブロック処理部５１乃至５３で構成されている。ブロック処理部５１は、移動量検出部１２のブロック分配部３２から供給された、連続するＮ（例えばＮ＝４）枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向または垂直方向の移動量が２ピクセル以上である場合のＮ個のブロック）に対して、画素数を、同様にブロック分配部３２から供給された移動量に応じて間引く処理（空間方向間引き処理）を行う。
具体的には、１フレーム間の水平方向の移動量が２ピクセル（画素）以上である場合、ブロック処理部５１は、処理対象のブロックが図３（ａ）に示すように４×４ピクセルで構成されているとき、水平方向の４画素のうち１つの画素値のみを選択して代表値とする。図３（ｂ）の例では、Ｐ００乃至Ｐ３０の４画素のうちＰ１０のみを代表値（標本点）として有効にする。その他の画素値は無効とする。同様に、Ｐ０１乃至Ｐ３１の４画素に対してはＰ１１を代表値（標本点）とし、Ｐ０２乃至Ｐ３２の４画素に対してはＰ１２を代表値（標本点）とし、Ｐ０３乃至Ｐ３３の４画素に対してはＰ１３を代表値（標本点）とする。
１フレーム間の垂直方向の移動量が２ピクセル以上である場合、ブロック処理部５１は、ブロックが図３（ａ）に示すように４×４ピクセルで構成されているとき、垂直方向の４画素のうち１つの画素値を標本点として有効とする。図３（ｃ）の例では、Ｐ００乃至Ｐ０３の４画素のうちＰ０１のみを標本点として有効にする。その他の画素値は無効とする。同様に、Ｐ１０乃至Ｐ１３の４画素に対してはＰ１１を標本点とし、Ｐ２０乃至Ｐ２３の４画素に対してはＰ２１を標本点とし、Ｐ３０乃至Ｐ３３の４画素に対してはＰ３１を標本点とする。
ブロック処理部５１は、このような空間方向間引き処理を、供給された連続するＮ（例えばＮ＝４）枚のフレームのそれぞれの同一位置にある合計Ｎ＝４個のブロックに対してそれぞれ施すので、各ブロックのデータ量が１／４に削減され、４個のブロック全体のデータ量が１／４に削減される。ブロック処理部５１は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４に供給する。
次に、図２に示すブロック処理部５２の実行する処理について説明する。図２に示すブロック処理部５２は、移動量検出部１２のブロック分配部３２から供給された連続するＮ枚のフレームのそれぞれの同一位置ある合計Ｎブロック（水平方向と垂直方向の移動量がともに１ピクセル未満である場合のＮ個のブロック）に対して、フレーム数を間引く処理（時間方向間引き処理）を行う。
具体的にはブロック処理部５２は、図４に示すように、連続する４枚のフレームＦ１乃至Ｆ４のそれぞれの同一位置ある４個のブロックＢｉを、その中の１つのブロック（この例の場合、フレームＦ１のブロックＢｉ）にするフレーム数の間引き（４フレーム間のフレーム数の間引き）を行う。ブロック処理部５２は、このような時間方向間引き処理により、データ量が１／４に削減された４個のブロックについてのデータ（１個のブロック）を、出力部１４に供給する。選択された１つのブロックの画素データが４フレームに対応する標本点データとなる。
ブロック処理部５３は、移動量検出部１２のブロック分配部３２から供給された、連続するＮ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向と垂直方向の移動量が１ピクセル以上で、２ピクセル未満である場合のＮ個のブロック）に対して、画素数の間引き処理（空間方向間引き処理）とフレーム数の間引き処理（時間方向間引き処理）をそれぞれ行う。
ブロック処理部５３は、ブロック処理部５１における間引き処理とは異なり、図５に示すように、１フレーム間の水平方向の移動量が１ピクセル以上で、２ピクセル未満である場合、ブロック処理部５３は、処理対象のブロックが図５（ａ）に示すように４×４ピクセルで構成されているとき、水平方向の４画素のうち２つの画素値のみを選択して代表値とする。図５（ｂ）の例では、Ｐ００乃至Ｐ３０の４画素のうちＰ００とＰ２０のみを代表値（標本点）として有効にする。その他の画素値は無効とする。同様に、Ｐ０１乃至Ｐ３１の４画素に対してはＰ０１とＰ２１のみを代表値（標本点）とし、Ｐ０２乃至Ｐ３２の４画素に対してはＰ０２とＰ２２のみ代表値（標本点）とし、Ｐ０３乃至Ｐ３３の４画素に対してはＰ０３とＰ２３のみ代表値（標本点）とする。
１フレーム間の垂直方向の移動量が１ピクセル以上で、２ピクセル未満である場合、ブロック処理部５３は、処理対象ブロックが図５（ａ）に示すように４×４ピクセルで構成されているとき、垂直方向の４画素のうち２つの画素値を有効とする。図５（ｃ）の例では、Ｐ００乃至Ｐ０３の４画素のうちＰ００およびＰ０２を代表値（標本点）として有効にする。その他の画素値は無効とする。同様に、Ｐ１０乃至Ｐ１３の４画素に対してはＰ１０およびＰ１２を代表値（標本点）とし、Ｐ２０乃至Ｐ２３の４画素に対してはＰ２０およびＰ２２を代表値（標本点）とし、Ｐ３０乃至Ｐ３３の４画素に対してはＰ３０およびＰ３２を代表値（標本点）とする。
さらにブロック処理部５３は、フレーム数の間引き処理を行う。具体的にはブロック処理部５３は、連続する４枚のフレームＦ１乃至Ｆ４のそれぞれの同一位置ある４個のブロックに対して、その中の２つのブロックを有効にするフレーム数の間引き処理を実行する。フレーム数の間引き処理においては、ブロック処理部５３は、ブロック処理部５２における間引き処理と異なり、図６に示すように、連続する４枚のフレームＦ１乃至Ｆ４のぞれぞれの同一位置にある合計４個のブロックＢｉを、その中のいずれか２つ（図の例では、フレームＦ１、Ｆ３の２個のブロック）にするフレーム数の間引きを行う（２フレーム間のフレーム数の間引き）を行う。選択された２つのブロックの画素データが４フレームに対応する標本点データとなる。この場合、図５を参照して説明した空間方向の間引きにおいて、すでに１ブロックに８つの標本点選択が実行済みであり、２ブロックから総計１６の標本点が選択され、これらが４フレームに対応する標本点データとして設定されることになる。
ブロック処理部５３は、図５を参照して説明したデータ量を１／２とする空間方向間引き処理と、図６を参照して説明したデータ量を１／２とする時間方向間引き処理を、供給された４個のブロックに対して施すので、結果として４個のブロックのデータ量が（１／２）×（１／２）＝１／４に削減される。ブロック処理部５３は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４に供給する。
出力部１４は、ブロック処理部１３のブロック処理部５１乃至５３のそれぞれから供給された、データ量が削減されたＮ個のブロックについてのデータからストリームデータを生成する。
図７を参照して、動画像変換装置１０における具体的な処理例について説明する。図７は、動画像変換装置１０において処理された連続する５枚のフレームＦ１乃至Ｆ５を示し、各フレームから選択された有効データの配置を表している。動画像変換装置１０において選択された有効データが図７に示す空白以外の画素部分であり、空白部は、動画像変換装置１０において選択されなかった無効画素部を示している。
各フレームＦ１〜Ｆ５は時系列に沿った同一位置のフレームであり、それぞれ４×４ピクセルのブロック１０１〜１１６を持つ。
ブロック１０１〜１１６中、ブロック１０１および１０２は、ブロック処理部５１により水平方向に空間方向間引き処理が施されるブロックである。ブロック１１１および１１２は、ブロック処理部５１により垂直方向に空間方向間引き処理が施されるブロックである。ブロック１０３および１０４は、ブロック処理部５３により水平方向に空間方向間引き処理、および時間方向間引き処理が施されるブロックである。ブロック１１３および１１４は、ブロック処理部５３により垂直方向に空間方向間引き処理、および時間方向間引き処理が施されるブロックである。ブロック１０５，１０６，１１５，１１６は、ブロック処理部５２により時間方向間引き処理が施されるブロックである。
最初のフレームＦ１では、ブロック１０１および１０２は、ブロック処理部５１によって水平方向に１／４に間引き処理されて、有効データはそれぞれ４画素となる。ブロック１１１および１１２は、ブロック処理部５１によって垂直方向に１／４に間引き処理されて、有効データはそれぞれ４画素となる。ブロック１０３および１０４は、ブロック処理部５３によって水平方向に１／２に間引き処理されて、有効データはそれぞれ８画素となる。ブロック１１３および１１４は、ブロック処理部５３によって垂直方向に１／２に間引き処理されて、有効データはそれぞれ８画素となる。ブロック１０５，１０６，１１５，１１６は、ブロック処理部５２によって時間方向間引き処理されるが、最初のフレームでは全画素が有効データとなる。
第２フレームＦ２では、ブロック１０１および１０２、並びにブロック１１１および１１２は、フレームＦ１と同様の処理により、それぞれ４画素が有効データとなる。ブロック１０３および１０４、並びにブロック１１３および１１４は、ブロック処理部５３によって時間方向間引き処理されて、全画素が無効となる。ブロック１０５，１０６，１１５，１１６は、ブロック処理部５２によって時間方向間引き処理されて、全画素が無効となる。
第３フレームＦ３では、ブロック１０１および１０２、並びにブロック１１１および１１２は、フレームＦ１と同様の処理により、それぞれ４画素が有効データとなる。ブロック１０３および１０４、並びにブロック１１３および１１４は、有効なフレームとなり、フレームＦ１と同様の処理により、それぞれ８画素が有効データとなる。ブロック１０５，１０６，１１５，１１６は、ブロック処理部５２によって時間方向間引き処理されて、全画素が無効となる。
第４フレームＦ４では、ブロック１０１および１０２、並びにブロック１１１および１１２は、フレームＦ１と同様の処理により、それぞれ４画素が有効データとなる。ブロック１０３および１０４、並びにブロック１１３および１１４は、ブロック処理部５３によって時間方向間引き処理されて、全画素が無効となる。ブロック１０５，１０６，１１５，１１６は、ブロック処理部５２によって時間方向間引き処理されて、全画素が無効となる。
ここではＮ＝４としているため、第５フレームＦ５は、第１フレームＦ１と同様のデータ配置となる。このようにして、各ブロックのデータは移動速度情報に応じて最適な間引き処理が施され、最終的には１／４のデータ量削減が実現される。
このように、図１に示す動画像変換装置１０は、入力された動画像を、そのデータ量が削減された動画像（圧縮データ）に変換する処理を行なうものであるが、その際、所定の視覚特性に基づいて実現される超解像効果を利用した動画像変換処理を行うことにより、データ量の削減による画質劣化を観測者に知覚させないようにした装置である。
具体的には、ブロック分配部３２が、移動量検出部２１から供給された移動量に基づき、最適なフレームレートおよび空間解像度を決定し、最適なフレームレートおよび空間解像度にしたがった画像データ変換を実行するブロック処理部５１〜５３に供給して、各ブロック処理部５１〜５３において異なる態様のデータ変換処理を実行する構成としたものであり、本構成により、画質劣化を観測者に知覚させることのない動画像変換処理を実現している。なお、超解像効果とは、前述したように観測者が、空間方向に離散的にサンプリングされた移動被写体を追従視する際に、表示画素数以上の解像度を知覚するという視覚的効果である。これは、人間の視覚における時間的積分機能に起因しており、図１に示す動画像変換装置１０は、時間的積分機能によって引き起こされる超解像効果を利用した動画像変換処理を行う構成を有する。
なお、人間の視覚特性および超解像効果に関する原理や説明等は、特願２００３−４１２５０１において詳しく解説がなされている。特願２００３−４１２５０１に説明されている超解像効果の発生条件の概略について、以下に説明する。
間引き量ｍ（ピクセル）の画素数間引きを行った場合に超解像効果が発生するには、間引きによる１次乃至ｍ−１次の折り返し成分が全て打ち消される必要がある。ｋ（＝１、２、・・・、ｍ−１）次の折り返し成分が打ち消される条件は、下記式（式１）、（式２）を満足することである。
Figure 2005348320
上記式において、φｔは画素数の間引きにおけるサンプリング位置のずれ量であり、時間ｔ（＝０、１Ｔ、２Ｔ、・・・）、信号の移動速度ｖ、時間間隔（フレームレートの逆数）Ｔ、を用いて、下記式（式３）によって定義される値である。
Figure 2005348320
間引き量ｍ、小領域の移動量ｖという条件下で上記式（式１）および（式２）が満たされれば超解像効果が発生し、画質の劣化は観測者に知覚されにくい。
これは、入力動画像のフレームレートと同じフレームレートにおいて表示を行う場合、空間方向に間引きされたブロックは、人間の視覚の時間積分機能により前後のフレーム画像との足し合わせが行われ、結果として元画像と同等の画像を知覚するためである。
しかしながら、入力動画像のフレームレートよりも低いフレームレートで表示する（スローモーション表示）、または、同じフレームを一定時間表示しつづける（一時停止）場合には、前後フレーム画像との足し合わせが成立しなくなり、データ量削減によるジャギー（空間周波数の折り返し）が見えてしまうという問題があった。
これを解決するために、空間間引き処理された圧縮画像を線形または非線形なフィルタによって補間処理する方法が考えられる。しかしながら、この方法では元の動画像に含まれる高周波成分を復元することが出来ず、ボケた画像（空間周波数の劣化）になってしまうという問題がある。以下、この問題を解決し入力動画像のフレームレートよりも低いフレームレートで表示する（スローモーション表示）場合にも、元の動画像と同等の動画像表示を可能にする構成について説明する。
［（２）高品質な復元画像を生成する動画像変換装置および動画像変換方法］
上述したように、空間間引き処理された圧縮画像の復元においては画質劣化が目立ってしまう場合がある。特に、入力動画像のフレームレートよりも低いフレームレートで表示するスローモーション表示において、データ量削減によるジャギー（空間周波数の折り返し）が見えてしまうという問題が存在する。以下では、この問題を解決する構成について説明する。
まず、空間方向間引き処理により情報が欠落した動画像から原画像を復元する原理について説明する。図８は、右方向に移動する被写体（車）を撮影した原画像Ｉ１乃至Ｉ４に対して、水平方向に１／４の空間間引き処理を行った結果画像Ｓ１乃至Ｓ４を示している。フレームＦ１において、原画像Ｉ１は、右方向に移動する被写体を撮影した画像である。
被写体（車）の移動速度が、図２に示す動画像変換装置のブロック分配部３２において、ブロック処理部５１（空間方向間引き処理）に分配される条件、すなわちフレームあたりの移動量があらかじめ定めた条件に合致している場合、ブロック処理部５１において空間方向間引き処理が実行される。この結果、原画像Ｉ１は、図８の矢印で示すサンプリング点において水平方向に１／４に間引きされる。ここで、間引き処理におけるサンプリング点（図３の代表画素（標本点）に相当する）の位置は、フレームに対して固定である。間引き処理された画像Ｓ１は、原画像Ｉ１に対して１／４のデータ量になっている。
フレームＦ２において、原画像Ｉ２は、原画像Ｉ１に対して被写体が移動速度ｖ（ピクセル／フレーム）だけ右に移動している。この状態で、フレームＦ１と同様に間引き処理を行い、間引き画像Ｓ２を得る。このとき、サンプリング点（標本点）の位置はフレームＦ１と同じであるため、間引き画像Ｓ２は、間引き画像Ｓ１と異なる画像となる。
同様に、フレームＦ３、フレームＦ４において、原画像Ｉ３，Ｉ４に対して間引き処理を行い、間引き画像Ｓ３，Ｓ４を得る。この例では、ｖ＝１（ピクセル／フレーム）であり、通常表示時に１／４間引き処理において超解像効果が得られるものとする。
間引き画像Ｓ１乃至Ｓ４は、同じ位置のサンプリング点（標本点）で間引き処理された画像であるが、被写体の移動速度ｖが間引き量（本実施例では４）の整数倍になっていなければ、それぞれ異なる位置でサンプリングされた画像となっている。したがって、各間引き画像Ｓ１乃至Ｓ４は、原画像に対して情報が欠落しており、それぞれが異なる情報を持つ。これらの複数の画像を、移動速度情報に基づき位置を合わせながら足し合わせることにより原画像の復元が可能である。
図９は、各フレームに対応する間引き画像Ｓ１乃至Ｓ４を、移動速度ｖに従って移動させた画像を示している。この例ではｖ＝１（右方向）であるため、間引き画像Ｓ１に対して、間引き画像Ｓ２は被写体が右に１画素、間引き画像Ｓ３は被写体が右に２画素、間引き画像Ｓ４は被写体が右に３画素、それぞれずれている。これを位置合わせするために、間引き画像Ｓ２を左に１画素、間引き画像Ｓ３を左に２画素、間引き画像Ｓ４を左に３画素、それぞれ移動する（図９）。この結果、各間引き画像Ｓ１乃至Ｓ４の被写体位置は一致し、サンプリング位置が異なるようになる。これらの画像を足し合わせると、復元画像Ｒ１が得られる。
この例では、移動速度ｖ＝１であり、水平方向に１／４の空間間引き処理を行っているので、４フレームの画像の足し合わせによって原画像を完全に復元することが可能である。このとき、原画像が完全に復元されるためには、以下の条件が成立する必要がある。
（条件１）被写体の形状、色が、積分されるフレームにわたって変化しない。
（条件２）被写体の移動速度がわかっている。
さらに、上記条件１，２に加え、条件３として、移動速度ｖと間引き量、および積分フレーム数の関係によって、間引き処理によって生じる空間周波数の折り返しが積分処理によって完全に相殺される条件を満足することが必要である。すなわち、前述の超解像効果の発生要件を満足することが必要である。間引き量ｍ（ピクセル）の画素数間引きを行った場合に超解像効果が発生するには、間引きによる１次乃至ｍ−１次の折り返し成分が全て打ち消される必要があるということである。ｋ（＝１、２、・・・、ｍ−１）次の折り返し成分が打ち消される条件は、上述した式（式１）、（式２）を満足することが必要となる。
実際には、入力動画像において上述の各条件を満たすことは非常に難しい。特に、折り返し成分が完全に相殺される条件を導くためには連立方程式を解かなければならない。仮に、折り返し成分が相殺される条件が求まったとしても、実装上、積分可能なフレーム数は制限される。
本発明による画像変換装置では、上記条件を満足するか否かに関わらず高品質なデータ復元を可能とするものであり、現実的な回路規模を適用した画像復元を行い、復元出来ない部分については補間処理を行うことにより破綻の無い画像生成を実現する。
以下、本発明における動画像変換装置、すなわち、画素の間引き処理がなされた圧縮画像データの復元を行う装置であり、例えば入力動画像のフレームレートよりも低いフレームレートで表示するスローモーション表示においても、データ量削減によるジャギー（空間周波数の折り返し）の発生を低減し、高品質な動画像の復元を可能とする装置について説明する。図１０は、本実施例における動画像変換装置１２０の構成を示している。
動画像変換装置１２０の入力部１２１は、例えば図１の動画像変換装置１０によって生成される圧縮データを含むデータストリームを入力する。入力部１２１は、入力したデータストリームに含まれる圧縮データとしてのブロック対応の変換画像データを加算処理部１２２−１乃至１２２−ｎに出力する。この圧縮データは、空間方向あるいは時間方向間引きにより選択された標本点データを含む圧縮データである。また、データストリームに含まれるブロックの属性データ（間引き処理方法、間引き方向など）と動きベクトルデータをアドレス変換部１２６に出力する。なお、動画像変換装置１０によって生成されるデータストリームに動きベクトルデータが存在しない場合には、入力部１２１またはアドレス変換部１２６において、データストリームに含まれる画像データを用いて動きベクトル検出を行い、検出した動きベクトルを用いた処理を実行する。アドレス変換部１２６において動きベクトル検出を行う場合、アドレス変換部１２６には圧縮画像データが入力され、圧縮画像データに基づく動きベクトル検出が実行される。
加算処理部１２２−１乃至１２２−ｎは、入力部１２１から与えられる複数のブロック対応の圧縮データを含む現在フレームの画像データを受け取り、さらに、先行する処理においてフレームバッファ１〜ｎ（１２３−１乃至１２３−ｎ）に格納済みのデータを読み取り、現在フレームの画像データの画素値とバッファ読み取り値との加算平均処理を行う。フレームバッファ１〜ｎ（１２３−１乃至１２３−ｎ）に格納済みのデータとは、先行フレームにおける標本点の画素値、または複数フレームにおける標本点の画素値の加算平均値である。これらの処理の詳細については後述する。
フレームバッファ１〜ｎ（１２３−１乃至１２３−ｎ）は、過去フレームにおける画像データを、位置合わせをして一時記憶するメモリであり、原画像（間引き処理前の画像）の縦横それぞれ２倍の大きさの画素数を有する。フレームバッファ数ｎは、画像復元に使われるフレームの数に対応する。ｎが小さいと復元できない領域が多くなり、ｎが大きくなると復元出来ない領域が減るが、被写体の移動速度の変化や形態の変化による誤差が大きくなるという問題がある。例えばｎ＝８とする。
アドレス変換部１２６は、入力部１２１から与えられるブロックの属性データ（間引き処理方法、間引き方向など）と動きベクトルデータを受け取り、ブロック毎にフレームバッファ１２３−１乃至１２３−ｎに対するアドレスを求める。
選択部１２７は、フレームバッファＦＢ１〜ｎ（１２３−１〜ｎ）の出力のうち、いずれかの１つのバッファ出力を選択し、補間部１２４へ出力する。このとき選択するフレームバッファは、復元処理フレームに対応して選択されるフレームバッファである。
第１フレーム（Ｆ１）の復元処理時には、選択部１２７はフレームバッファＦＢ１（１２３−１）を出力として選択する。このとき、フレームバッファＦＢ２（１２３−２）乃至ＦＢｎ（１２３−ｎ）は、＋１フレーム（第２フレーム）乃至＋（ｎ−１）フレームに対応する。
続く第２フレーム（Ｆ２）の復元処理時には、選択部１２７はフレームバッファＦＢ２（１２３−２）を出力するように切り替えられる。このとき、フレームバッファＦＢ３（１２３−３）乃至ＦＢｎ（１２３−ｎ）が順次シフトして＋１フレーム乃至（第３フレーム）＋（ｎ−２）フレームに対応するようになる。フレームバッファＦＢ１（１２３−１）は＋（ｎ−１）フレームに対応するように設定される。
同様にして、選択部１２７は、第３フレーム（Ｆ３）の復元処理時には、フレームバッファＦＢ３を出力するように切り替え、第４フレーム（Ｆ４）ではフレームバッファＦＢ４、第５フレーム（Ｆ５）ではフレームバッファＦＢ５を、それぞれ出力するように切り替える。
このように、選択部１２７は、補間部１２４に対して、フレームバッファＦＢ１〜ｎ（１２３−１〜ｎ）を循環的に切り替えて出力する。
補間部１２４に出力され復元されるフレームと、その時のフレームバッファＦＢ１〜ｎ（１２３−１〜ｎ）に格納されるフレームデータの対応を表１に示す。
Figure 2005348320
上記の表１において、例えば処理フレームが第１フレーム（Ｆ１）である場合、現フレーム、すなわち、補間部１２４に出力されるデータは、フレームバッファＦＢ１（１２３−１）のデータであり、このとき、フレームバッファＦＢ２（１２３−２）〜フレームバッファＦＢｎ（１２３−ｎ）には第２〜第ｎ−１フレームの各データが格納されていることを示している。処理フレームが第２フレーム（Ｆ２）である場合、現フレーム、すなわち、補間部１２４に出力されるデータは、フレームバッファＦＢ２（１２３−２）のデータであり、このとき、フレームバッファＦＢ３（１２３−３）〜フレームバッファＦＢ１（１２３−１）には第３フレーム以降の各データが格納されていることを示している。
このように、選択部１２７は、補間部１２４に対して、フレームバッファＦＢ１〜ｎ（１２３−１〜ｎ）を循環的に切り替えて出力し、補間部１２４では各フレームの補間処理を実行し、フレームデータの復元を実行する。
なお、本例では、選択部１２７を設け、選択部において、フレームバッファＦＢ１〜ｎ（１２３−１〜ｎ）を循環的に切り替えて補間部１２４に出力する構成としたが、フレームバッファＦＢ１〜ｎ（１２３−１〜ｎ）の格納データを循環的にシフトする構成とし、特定のフレームバッファのみを出力バッファとして位置づける構成としてもよい。
補間部１２４は、選択部１２７で選択されたフレームバッファに書き込まれているデータに基づいて複数の異なるフレームの標本点データに基づく復元ブロックを生成する。さらに、標本点データのみでは復元できなかった画素部分（画素抜け）を周囲の画素から補間する。補間方法については後述する。補間部１２４は、さらにフレームバッファに格納された原画像に対して縦横それぞれ２倍の画像データを縮小処理により原画像と同じ画素数に変換して出力する。
出力部１２５は、補間部１２４から出力される画像データを表示装置で受け取れる画像信号形式に変換して出力する。なお、さらに、図示しない制御部が存在し、制御部は、例えば処理シーケンスを記録したコンピュータ・プログラムに従って各部の制御を行う。
本実施例における動画像変換装置１２０の動作について、図１１のフローチャートと、具体処理例を示す図１２以下の各図を用いて詳細に説明する。
ステップＳ１において、動画像変換装置１２０は、フレームバッファ１〜ｎ（１２３−１乃至１２３−ｎ）をリセット、すなわち初期化する。これと同時に、選択部１２７を初期化して、出力フレームとしてのフレームバッファをＦＢ１（１２３−１）に設定する。
ステップＳ２において、制御部は、フレーム画像の処理対象ブロックを表すブロック番号をゼロに初期化する。なお、ブロック番号は、１つのフレームを構成するブロックに対して設定された０，１，２・・のシーケンス番号である。
ステップＳ３において、入力部１２１は、処理フレームの１つのブロック対応の変換画像データを加算処理部１２２−１乃至１２２−ｎに出力する。また、ブロックの属性データ（間引き処理方法、間引き方向など）と動きベクトルデータをアドレス変換部１２６に出力する。
ステップＳ４において、アドレス変換部１２６は、ブロック対応の属性データと動きベクトルデータを受け取り、当ブロックに対して実行された間引き処理態様情報を含む属性データと、ブロックのフレームあたりの移動量および移動方向情報を持つ動きベクトルデータとに基づいて、フレームバッファ１〜ｎ（１２３−１乃至１２３−ｎ）に対するアドレスを求める。
アドレス変換部１２６が求めるアドレスは、処理対象ブロックの有効画素の画素値の各フレームバッファ１〜ｎ（１２３−１乃至１２３−ｎ）における書き込み先を示すアドレスであり、処理対象ブロックの有効画素の画素位置の、現在フレームにおける位置、および（ｎ−１）枚の未来フレームにおける処理対象ブロックの有効画素の画素位置に対応する。
ブロックは、フレームが１つ進行する毎に、動きベクトルｖに対応する移動を行なうと仮定し、アドレス変換部１２６は、各バッファに対する処理対象ブロックの有効画素の画素位置の書き込みアドレスを、動きベクトルｖに相当する画素だけ順次移動させた位置として算出する。
例えば、動きベクトルｖは１フレームあたりの動き画素数を示す。すなわち（ピクセル／フレーム）の単位を有する。アドレス変換部１２６は、処理対象フレームに対応して設定されている現フレーム（初期的にはフレームバッファ１（１２３−１））に対する処理対象ブロックの有効画素の画素値の書き込み先アドレスとして、現在位置に相当するフレームバッファ１（１２３−１）の位置を算出する。
さらに、１フレーム進行したフレームデータを書き込むフレームバッファ（初期的にはフレームバッファ２（１２３−２））の書き込みアドレスとして、現フレーム（初期的にはフレームバッファ１（１２３−１））に対する書き込みアドレスに動きベクトルｖを加算したアドレスを算出する。さらに、２フレーム進行したフレームデータを書き込むフレームバッファ（初期的にはフレームバッファ３（１２３−３））の書き込みアドレスを、フレームバッファ２（１２３−２）に対するアドレスに、さらに動きベクトルｖを加算して算出する。以下、同様のアドレス算出を行い、すべてのフレームバッファ１〜ｎ（１２３−１乃至１２３−ｎ）に対するアドレスを求める。具体的な処理例については後述する。
ステップＳ５において、加算処理部１２２−１乃至１２２−ｎは、アドレス変換部１２６によって算出された各フレームバッファ１〜ｎ（１２３−１乃至１２３−ｎ）対応のアドレスに基づいて、各バッファをアクセスし、フレームバッファ１２３−１乃至１２３−ｎのアドレス指定位置に書き込まれた値を読み取る。ステップＳ６において、フレームバッファ１２３−１乃至１２３−ｎから読み取った画素値と、入力部１２１から与えられる有効画素値との間で画素値の加算平均処理を行う。フレームバッファ１２３−１乃至１２３−ｎのアドレス指定位置に書き込まれた値は、すでに処理済のフレームの処理時に書き込まれた過去フレームの対応ブロックに設定された有効画素値データまたはその加算平均値である。なお、アドレス変換部１２６から与えられるアドレスに書き込まれたデータがバッファに存在しない場合は、ステップＳ５，Ｓ６の処理は省略してもよい。
ステップＳ７において、制御部の制御の下に、加算処理部１２２−１乃至１２２−ｎで加算平均処理された画素値を、フレームバッファ１２３−１乃至１２３−ｎのアドレス変換部１２６から与えられるアドレスによってアクセスされる位置に書き込む処理を実行する。なお、アドレス変換部１２６から与えられるアドレスに書き込み済みのデータが存在しない場合は、入力部１２１から与えられる有効画素値データのみの書き込みが実行され、アドレス変換部１２６から与えられるアドレスに書き込み済みのデータが存在する場合は、その値と、入力部１２１から与えられる有効画素値との間で算出した加算平均値の書き込みが実行される。
ステップＳ８において、処理対象のブロックが現在フレーム画像の最終ブロックであるかどうかが判断され、最終ブロックで無い場合にはステップＳ９に進む。
ステップＳ９では、ブロック番号を１インクリメントして、ステップＳ３のデータ入力に進む。
ステップＳ３からステップＳ８までの処理が繰り返し実行され、ステップＳ８において当該ブロックが最終ブロックであると判断された場合にはステップＳ１０に進む。
ステップＳ１０において、選択部１２７を介して補間部１２４に復元対象フレームの復元に適用されるフレームバッファの格納データが出力され、補間部１２４においては、フレームバッファの格納データに含まれるブロック構成データ中の欠落画素値を、周囲の画素値に基づいて補間する処理を実行する。さらに、補間部１２４は、フレームバッファは原画像に対して縦横２倍の画素を持つため、縮小処理により原画像と同じ画素数の画像を生成する。
ステップＳ１１では、出力部１２５が、補間部１２４の処理によって補間、縮小されたフレーム画像データを所定の出力画像信号形式に変換して出力する。
ステップＳ１２において、現在のフレームが最終フレームであるかどうかが判断される。最終フレームで無い場合には、ステップＳ１３に進む。ステップＳ１３では、選択部１２７を制御して出力するフレームバッファを切り替え、ステップＳ１４では、前フレーム時点で選択部１２７において選択されていたフレームバッファをゼロに初期化する。
例えば、表１を参照して説明すると、処理フレームがフレームＦ１からフレームＦ２に切り替わる際、ステップＳ１３では、選択部１２７において、補間部１２４に出力するフレームバッファ（現フレーム）をフレームバッファＦＢ２（１２３−２）に切り替える処理を行い、ステップＳ１４では、前フレーム時点で選択部１２７において選択されていたフレームバッファ、すなわち、フレームバッファＦＢ１（１２３−１）をリセットして初期化する。フレームバッファＦＢ１（１２３−１）にはフレームＦ２の処理開始時には書き込みデータが存在しない状態にリセットされる。
ステップＳ１２に戻って、現在のフレームが最終フレームであった場合には、処理を終了する。
ここで、アドレス変換部１２６の動作と、フレームバッファ書き込み処理について、図１２乃至図２７を用いて詳細に説明する。なお、以下に説明する例では、理解を容易にするため水平方向のみの動きベクトルに対応する処理例として説明するが、実際の動画像の処理においては、垂直方向の動きベクトルに対しても以下に説明する処理と同様の処理が可能である。また、水平方向と垂直方向の両方の動きベクトルを適用して２次元処理を実行することで、２次元方向のあらゆる動きベクトルに対応した処理が可能である。
まず、図１２乃至図１６を参照して、動きベクトルｖ０が右方向に２．５（ｐｉｘｅｌ／ｆｒａｍｅ）であるブロックデータを、図１０に示す画像変換装置１２０において復元する処理例を説明する。図１２乃至図１６は、復元処理時にフレームバッファＦＢ１（１２３−１）〜フレームバッファＦＢｎ（１２３−ｎ）に格納されるデータの遷移を説明している図である。
図１２乃至図１６は、復元対象のブロックが水平方向に空間方向間引き処理を施されたブロック（図７のブロック１０１，１０２に相当）であるときの処理例である。ここで、各フレームバッファは表１に示したように対応付けられているとする。
図１２乃至図１６において、各図（ａ）に示すデータが入力部１２１から与えられる各フレームの２つの隣り合うブロック、第１ブロック＝（ｘ０，ｙ０）〜（ｘ３，ｙ３）、第２ブロック＝（ｘ４，ｙ０）〜（ｘ７，ｙ７）の標本点データからなる圧縮画像データであり、
図１２＝第１フレーム、
図１３＝第２フレーム、
図１４＝第３フレーム、
図１５＝第４フレーム、
図１６＝第５フレーム、
を示している。
それぞれは、空間方向間引き処理を施されており、図７のブロック１０１，１０２と同様、４×４画素のブロックのうち、水平方向に画素数が１／４にされた圧縮データとして設定されている。各フレームにおいて、第１ブロックでは、有効画素（標本点）が（ｘ１，ｙ０）、（ｘ１，ｙ１）、（ｘ１，ｙ２）、（ｘ１，ｙ３）、第２ブロックでは、有効画素が（ｘ５，ｙ０）、（ｘ５，ｙ１）、（ｘ５，ｙ２）、（ｘ５，ｙ３）とされている。
図１２は、ステップＳ１においてフレームバッファが初期化された後の最初のフレーム（第１フレームと呼ぶ）における処理を示している。図１２（ａ）は、入力部１２１から与えられる第１フレームの２つの隣り合うブロックの標本点データからなる圧縮画像データを表しており、これらのブロックが空間方向間引き処理を施されている場合には、図７のブロック１０１，１０２と同様、４×４画素のブロックのうち、水平方向に画素数が１／４になっており、１ブロック１６画素中、それぞれ４画素のみが有効となっている。
図１２（ｂ）は、現在フレーム（第１フレーム）に対するフレームバッファのデータを示している。本発明による動画像変換装置では、動きベクトルデータを基にして、フレーム毎に位置合わせを行い、フレームバッファに有効画素値を書き込んでいく。ここで、フレームバッファは、前述のように原画像に対して縦横２倍の画素数を持っている。現在フレームにおいては、ブロック位置は入力画像の位置と同じであるため、入力画像データの有効画素アドレスを縦横共に２倍にしたアドレスに画素値を書き込む。
すなわち、図１２（ａ）に示す入力画像データの有効画素アドレスは、（ｘ１，ｙ０）、（ｘ１，ｙ１）、（ｘ１，ｙ２）、（ｘ１，ｙ３）、および（ｘ５，ｙ０）、（ｘ５，ｙ１）、（ｘ５，ｙ２）、（ｘ５，ｙ３）であるので、これらのアドレスを２倍して、（２×ｘ１，２×ｙ０）、（２×ｘ１，２×ｙ１）、（２×ｘ１，２×ｙ２）、（２×ｘ１，２×ｙ３）、および（２×ｘ５，２×ｙ０）、（２×ｘ５，２×ｙ１）、（２×ｘ５，２×ｙ２）、（２×ｘ５，２×ｙ３）に図１２（ａ）に示す入力画像データの有効画素の対応画素値を書き込む。
図１２（ｃ）は、図１２（ｂ）のフレームバッファの書き込みデータに対して動きベクトルｖ０分の移動を行って算出される［＋１フレーム（第２フレーム）］に対応するデータであり、フレームバッファＦＢ２（１２３−２）に書き込まれるデータを示している。
図１２の例では、動きベクトルｖ０は右方向に２．５（ｐｉｘｅｌ／ｆｒａｍｅ）である。したがって、第１フレームのデータに対して動きベクトル分の移動を行い、この位置に図１２（ａ）に示す入力画像データの有効画素の対応画素値を書き込む。
＋１フレームにおける当該ブロックの位置は、現在フレームにおけるブロック位置から動きベクトルｖ０の大きさ＝２．５ピクセル右方向に移動した位置であるが、各フレームバッファは、縦横２倍の大きさに設定されているので、２．５×２＝５画素分、右に移動した位置に図１２（ａ）に示す入力画像データの有効画素の対応画素値を書き込む。アドレス変換部１２６は、書き込み位置のアドレスを動きベクトルｖ０の大きさおよび方向に基づいて決定し、決定位置に図１２（ａ）に示す入力画像データの有効画素の対応画素値を書き込む。
図１２（ｃ）のフレームバッファＦＢ２（１２３−２）のデータ書き込みアドレスは、フレームバッファＦＢ１（１２３−１）の書き込みアドレスのｘ成分に（＋５）したアドレスとして設定される。
図１２（ｄ）は、＋２フレーム（第３フレーム）に対するフレームバッファＦＢ３（１２３−３）のデータを示している。２フレーム後における当該ブロックの位置は、現在フレームにおけるブロック位置から、動きベクトルｖ０×２、すなわち右方向に２ｖ０だけ移動した位置である。フレームバッファＦＢ３（１２３−３）におけるデータ書き込みアドレスは、アドレス変換部１２６において、現在フレームにおけるフレームバッファのアドレスから右方向に２ｖ０だけ移動、すなわち、＋１フレームにおけるフレームバッファＦＢ２（１２３−２）の書き込みアドレスからさらに右方向に５画素移動した位置として算出され、このアドレスに従って、フレームバッファＦＢ３（１２３−３）に対して図１２（ａ）に示す入力画像データの有効画素の対応画素値を書き込む。
図１２（ｅ）は、＋（ｎ−１）フレーム（第ｎフレーム）に対するフレームバッファＦＢｎ（１２３−ｎ）のデータを示している。ｎ−１フレーム後における当該ブロックの位置は、現在フレームにおけるブロック位置から、動きベクトルｖ０×（ｎ−１）、すなわち右方向に（ｎ−１）ｖ０だけ移動した位置である。フレームバッファＦＢｎ（１２３−ｎ）におけるデータ書き込みアドレスは、アドレス変換部１２６において、現在フレームにおけるフレームバッファのアドレスから右方向に（ｎ−１）×５画素移動した位置として算出され、このアドレスに従って、フレームバッファＦＢｎ（１２３−ｎ）に対して図１２（ａ）に示す入力画像データの有効画素の対応画素値を書き込む。
図１３は、第２フレームにおける処理を示している。図１３（ａ）は、入力部１２１から与えられる第２フレームの２つの隣り合うブロックの画像データを表しており、図１２（ａ）と同様に水平方向の空間間引きデータであり、各ブロックのそれぞれ４画素が有効となっている。
図１３（ｂ）は、現在フレーム（第２フレーム）処理時のフレームバッファのデータを示している。第２フレーム入力時において、先に表１を参照して説明したように、現フレーム〜＋（ｎ−１）フレームの格納バッファは順次シフトされている。従って、図１３（ｂ）は、現在フレーム（第２フレーム）処理時の現フレームバッファＦＢ２（１２３−２）のデータ内容である。フレームバッファＦＢ２〜ＦＢｎには、先の図１２の処理においてフレームバッファＦＢ２〜ＦＢｎに書き込まれた第１フレーム対応のデータが書き込み済みである。
図１３（ｂ）に示すフレームバッファＦＢ２（１２３−２）には、図１２（ｃ）のフレームバッファＦＢ２に書き込まれたデータが書き込み済みである。すなわち、第１フレームの処理時に動きベクトル情報に基づいてフレームバッファＦＢ２に書き込まれた第１フレーム対応のデータが書き込まれており、ここに追記する処理として、現在フレーム（第２フレーム）のデータ書き込みが実行される。
なお、図１１のフローにおけるステップＳ４において、アドレス変換部１２６によって現在フレームの当該ブロックに対する書き込みアドレスが求められ、ステップＳ５において、フレームバッファの該アドレスにおけるデータが読み出されるが、この時点では第１フレームの有効画素の記憶位置は、当該書き込みアドレスと異なる位置に書き込まれており、書き込みアドレスの位置に有効なデータは存在しない。従って、この場合には加算平均処理は実行されず、アドレス変換部１２６によって求められたアドレスに現在フレーム（第２フレーム）の処理ブロックの有効画素値が書き込まれる。
すなわち、図１３（ｂ）に示す例では、アドレス変換部１２６によって現在フレーム（第２フレーム）のブロックに対する書き込みアドレスは、（２ｘ１，２ｙ０）、（２ｘ１，２ｙ１）、（２ｘ１，２ｙ２）・・・であるが、第１フレームの有効画素の記憶位置は、これらの位置とは異なる位置であるので、ステップＳ５において、フレームバッファの（２ｘ１，２ｙ０）、（２ｘ１，２ｙ１）、（２ｘ１，２ｙ２）・・・からの読み出し処理において有効なデータの読み出しがなされることがなく、アドレス変換部１２６によって求められたアドレス（２ｘ１，２ｙ０）、（２ｘ１，２ｙ１）、（２ｘ１，２ｙ２）・・・に当該ブロックの有効画素値が書き込まれるのみの処理として実行される。
図１３（ｃ）は、＋１フレーム（第３フレーム）に対するフレームバッファＦＢ３（１２３−３）のデータを示している。フレームバッファＦＢ３（１２３−３）には、第１フレーム処理後のデータ（図１２（ｄ）に相当）が書き込まれている。そして、第１フレームの時と同様に、現在フレームのブロック位置から動きベクトルｖ０だけ右方向に移動したアドレスに有効画素値を書き込む。
図１３（ｄ）は、＋２フレーム（第４フレーム）に対するフレームバッファのデータを示している。ここでも同様に第１フレーム処理後のデータが書き込まれている。そして、第１フレームの時と同様に、現在フレームのブロック位置から動きベクトル２ｖ０だけ右方向に移動したアドレスに有効画素値を書き込む。
図１３（ｅ）は、＋（ｎ−１）フレーム（第ｎ＋１フレーム）に対するフレームバッファのデータを示している。動画像変換装置は、ｎ枚分のフレームバッファを有しており、第１フレーム処理後にフレームバッファはシフトされ、前フレーム時点での選択フレームに対するフレームバッファは、ステップＳ１４にて初期化される。つまり、ｎ番目のフレームバッファに対しては前フレームにおけるデータが存在せず、常に現在フレームにおける有効画素のみが書き込まれる。この例では、ｎ番目のフレームバッファは、フレームバッファＦＢ１（１２３−１）である。
図１４は、第３フレームにおける処理を示している。第３フレームの処理は、第２フレームと同様に処理が行われるが、第３フレームの画像データ入力時点では、リセットされたフレームバッファＦＢ２（１２３−２）以外のフレームバッファに第１フレームと第２フレームの有効画素データが書き込まれている点が異なる。
例えば、図１４（ｂ）のフレームバッファＦＢ３（１２３−３）には、図１３（ｃ）に対応する第１、第２フレーム対応データが書き込み済みであり、図１４（ｃ）のフレームバッファＦＢ４（１２３−４）には、図１３（ｄ）に対応する第１、第２フレーム対応データが書き込み済みである。
これらの第１、第２フレーム対応データが書き込み済みの各フレームバッファに処理対象の第３フレームのブロックの有効画素値の書き込みが実行される。図１２を参照して説明したと同様の各バッファに対するアドレス算出が実行され、書き込み処理が行なわれる。なお、書き込み先（アドレス指定先）に既に書き込みデータが存在する場合は、各バッファ対応の加算処理部１２２−１〜ｎにおいて、入力部１２１から与えられる有効画素値との間で画素値の加算平均処理を行い加算平均値を書き込む。
図１５は、第４フレームに対する処理を示している。第４フレームの画像データ入力時点では、リセットされたフレームバッファＦＢ３（１２３−３）以外のフレームバッファに第１フレームと第２フレームと第３フレームの有効画素データが書き込まれている。
例えば、図１５（ｂ）のフレームバッファＦＢ４（１２３−４）には、図１４（ｃ）に対応する第１、第２、第３フレーム対応データが書き込み済みであり、図１５（ｃ）のフレームバッファＦＢ５（１２３−５）には、図１４（ｄ）に対応する第１、第２、第３フレーム対応データが書き込み済みである。
各フレームバッファＦＢ１〜ｎ（１２３−１〜ｎ）に対するアドレスの算出処理、必要に応じた画素値加算平均処理の後、各フレームバッファＦＢ１〜ｎ（１２３−１〜ｎ）に対して、第４フレームのブロックに設定された有効画素の画素値、あるいは加算平均値の書き込み処理が実行される。
図１６は、第５フレームにおける処理を示している。第５フレームの画像データ入力時点では、リセットされたフレームバッファＦＢ４（１２３−４）以外のフレームバッファに第１〜第４フレームの有効画素データが書き込まれている。
例えば、図１６（ｂ）のフレームバッファＦＢ５（１２３−５）には、図１５（ｃ）に対応する第１、第２、第３、第４フレーム対応データが書き込み済みであり、図１６（ｃ）のフレームバッファＦＢ６（１２３−６）には、図１５（ｄ）に対応する第１、第２、第３、第４フレーム対応データが書き込み済みである。
各フレームバッファＦＢ１〜ｎ（１２３−１〜ｎ）に対するアドレスの算出処理、必要に応じた画素値加算平均処理の後、各フレームバッファＦＢ１〜ｎ（１２３−１〜ｎ）に対して、第５フレームのブロックに設定された有効画素の画素値、あるいは加算平均値の書き込み処理が実行される。
図１６（ｂ）に示すように、第５フレームの処理後では、現在フレームに対するフレームバッファＦＢ５（１２３−５）には、第１フレームから第５フレームまでの有効画素データが書き込まれ、圧縮によって欠落した画素データが復元されていることがわかる。
続いて、図１７乃至図２１を参照して、動きベクトルｖ１が右方向に１．５（ｐｉｘｅｌ／ｆｒａｍｅ）であるブロックデータを、図１０に示す画像変換装置１２０において復元する処理について説明する。図１７乃至図２１は、フレームバッファＦＢ１（１２３−１）〜フレームバッファＦＢｎ（１２３−ｎ）の格納データの遷移を示している。
図１７乃至図２１は、復元対象のブロックが水平方向に空間方向間引き、および時間方向間引き処理を施されたブロック（図７のブロック１０３，１０４に相当）であるときの処理を示している。ここで、各フレームバッファは表１に示したように対応付けられているとする。
図１７乃至図２１において、各図（ａ）に示すデータが入力部１２１から与えられる各フレームの２つの隣り合うブロック、第１ブロック＝（ｘ８，ｙ０）〜（ｘ１１，ｙ３）、第２ブロック＝（ｘ１２，ｙ０）〜（ｘ１５，ｙ３）の標本点データからなる圧縮画像データであり、
図１７＝第１フレーム、
図１８＝第２フレーム、
図１９＝第３フレーム、
図２０＝第４フレーム、
図２１＝第５フレーム、
を示している。
それぞれは、空間方向間引き処理および時間方向間引き処理を施されている。時間方向間引きの結果、第２フレーム（図１８（ａ））と第４フレーム（図２０（ａ））には有効画素（標本点）が存在しない。また、空間間引きの結果、第１フレーム（図１７（ａ））と第３フレーム（図１９（ａ））と第５フレーム（図２１（ａ））は、図７のブロック１０３，１０４と同様、４×４画素のブロックのうち、水平方向に画素数が１／２にされた圧縮データとして設定され、各フレームにおいて、第１ブロックでは、有効画素（標本点）が（ｘ８，ｙ０）、（ｘ８，ｙ１）、（ｘ８，ｙ２）、（ｘ８，ｙ３）、（ｘ１０，ｙ０）、（ｘ１０，ｙ１）、（ｘ１０，ｙ２）、（ｘ１０，ｙ３）、第２ブロックでは、有効画素が（ｘ１２，ｙ０）、（ｘ１２，ｙ１）、（ｘ１２，ｙ２）、（ｘ１２，ｙ３）、（ｘ１４，ｙ０）、（ｘ１４，ｙ１）、（ｘ１４，ｙ２）、（ｘ１４，ｙ３）とされている。
図１７は、ステップＳ１においてフレームバッファが初期化された後の最初のフレーム（第１フレームと呼ぶ）における処理を示している。図１７（ａ）は、入力部１２１から与えられる２つの隣り合うブロックの標本点データからなる圧縮画像データを表しており、これらのブロックが空間方向間引き、および時間方向間引き処理を施されている場合には、図７に示したように、第１および第３フレーム、第５フレームでは、４×４画素のブロックのうち、水平方向に画素数が１／２になっており、各ブロックそれぞれ８画素のみが有効となっている。
図１７（ｂ）は、現在フレーム（第１フレーム）処理時のフレームバッファＦＢ１（ＦＢ１２３−１）のデータを示している。本発明による動画像変換装置では、動きベクトルデータを基にして、フレーム毎に位置合わせを行い、フレームバッファに有効画素値を書き込んでいく。ここで、フレームバッファは、前述のように原画像に対して縦横２倍の画素数を持っている。現在フレームにおいては、ブロック位置は入力画像の位置と同じであるため、入力画像データの有効画素アドレスを縦横共に２倍にしたアドレスに画素値を書き込む。
すなわち、図１７（ａ）に示す入力画像データの有効画素アドレスは、（ｘ８，ｙ０）、（ｘ８，ｙ１）、（ｘ８，ｙ２）、（ｘ８，ｙ３）、（ｘ１０，ｙ０）、（ｘ１０，ｙ１）、（ｘ１０，ｙ２）、（ｘ１０，ｙ３）、および（ｘ１２，ｙ０）、（ｘ１２，ｙ１）、（ｘ１２，ｙ２）、（ｘ１２，ｙ３）、（ｘ１４，ｙ０）、（ｘ１４，ｙ１）、（ｘ１４，ｙ２）、（ｘ１４，ｙ３）であるので、これらのアドレスを２倍して、（２×ｘ８，２×ｙ０）、（２×ｘ８，２×ｙ１）、（２×ｘ８，２×ｙ２）、（２×ｘ８，２×ｙ３）、（２×ｘ１０，２×ｙ０）、（２×ｘ１０，２×ｙ１）、（２×ｘ１０，２×ｙ２）、（２×ｘ１０，２×ｙ３）、および（２×ｘ１２，２×ｙ０）、（２×ｘ１２，２×ｙ１）、（２×ｘ１２，２×ｙ２）、（２×ｘ１２，２×ｙ３）、（２×ｘ１４，２×ｙ０）、（２×ｘ１４，２×ｙ１）、（２×ｘ１４，２×ｙ２）、（２×ｘ１４，２×ｙ３）に図１７（ａ）に示す入力画像データの有効画素の対応画素値を書き込む。
図１７（ｃ）は、図１７（ｂ）のフレームバッファＦＢ１（１２３−１）の書き込みデータに対して動きベクトルｖ１分の移動を行って算出される［＋１フレーム（第２フレーム）］に対応するデータであり、フレームバッファＦＢ２（１２３−２）に書き込まれるデータを示している。図１７の例では、動きベクトルｖ１は右方向に１．５（ｐｉｘｅｌ／ｆｒａｍｅ）である。したがって、＋１フレームにおける当該ブロックの位置は、現在フレームにおけるブロック位置から右方向に１．５画素だけ移動した位置であり、フレームバッファにおけるアドレスは２倍の３画素分移動した位置である。
図１７（ｄ）は、＋２フレーム（第３フレーム）に対するフレームバッファのデータを示している。２フレーム後における当該ブロックの位置は、現在フレームにおけるブロック位置から、動きベクトルｖ１×２、すなわち右方向に２ｖ１だけ移動した位置である。フレームバッファＦＢ３（１２３−３）におけるデータ書き込みアドレスは、アドレス変換部１２６において、現在フレームにおけるフレームバッファのアドレスから右方向に２ｖ１だけ移動、すなわち、＋１フレームにおけるフレームバッファＦＢ２（１２３−２）の書き込みアドレスからさらに右方向に３画素移動した位置として算出され、このアドレスに従って、フレームバッファＦＢ３（１２３−３）に対して図１７（ａ）に示す入力画像データの有効画素の対応画素値を書き込む。
図１７（ｅ）は、＋（ｎ−１）フレーム（第ｎフレーム）に対するフレームバッファＦＢｎ（１２３−ｎ）のデータを示している。ｎ−１フレーム後における当該ブロックの位置は、現在フレームにおけるブロック位置から、動きベクトルｖ１×（ｎ−１）、すなわち右方向に（ｎ−１）ｖ１だけ移動した位置である。フレームバッファＦＢｎ（１２３−ｎ）におけるデータ書き込みアドレスは、アドレス変換部１２６において、現在フレームにおけるフレームバッファのアドレスから右方向に（ｎ−１）×３画素移動した位置として算出され、このアドレスに従って、フレームバッファＦＢｎ（１２３−ｎ）に対して図１７（ａ）に示す入力画像データの有効画素の対応画素値を書き込む。
図１８は、第２フレームにおける処理を示している。図１７乃至図２１の例は、当該ブロックが空間方向間引き、および時間方向間引き処理を施されている場合であるので、図７におけるブロック１０３，１０４に相当し、第２フレームでは時間方向間引き処理によって有効画素が存在しない（図１８（ａ））。
図１８（ｂ）は、現在フレーム（第２フレーム）に対するフレームバッファのデータを示している。第２フレーム入力時において、先に表１を参照して説明したように、現フレーム〜＋（ｎ−１）フレームの格納バッファは順次シフトされている。従って、図１８（ｂ）は、現在フレーム（第２フレーム）処理時の現フレームバッファＦＢ２（１２３−２）のデータ内容である。フレームバッファＦＢ２〜ＦＢｎには、先の図１７の処理においてフレームバッファＦＢ２〜ＦＢｎに書き込まれた第１フレーム対応のデータが書き込み済みである。ここで、第２フレームには有効画素が存在しないため、フレームバッファには新たにデータは書き込まれない。
図１８（ｃ）は、＋１フレーム（第３フレーム）に対するフレームバッファＦＢ３（１２３−３）のデータを示している。フレームバッファＦＢ３（１２３−３）には、第１フレーム処理後のデータ（図１７（ｄ）に相当）が書き込まれている。第２フレームには有効画素が存在しないため、新たなデータは書き込まれない。
図１８（ｄ）は、＋２フレーム（第４フレーム）に対するフレームバッファＦＢ４（１２３−４）のデータを示している。フレームバッファＦＢ４（１２３−４）には、第１フレーム処理後のデータが書き込まれている。第２フレームには有効画素が存在しないため、新たなデータは書き込まれない。
図１８（ｅ）は、＋（ｎ−１）フレーム（第ｎ＋１フレーム）に対するフレームバッファＦＢ２（１２３−２）のデータを示している。上述のように、ステップＳ１４において初期化が行われるため、フレームバッファには何もデータが書き込まれていない。さらに、第２フレームには有効画素が存在しないため、新たなデータは書き込まれない。
図１９は、第３フレームにおける処理を示している。第３フレームでは、第１フレームと同様の入力データが与えられ、４×４画素のブロックのうち、水平方向に画素数が１／２になっており、それぞれ８画素のみが有効となっている（図１９（ａ））。
第３フレームの処理は、第２フレーム処理後のデータが書き込まれたフレームバッファに、第３フレームにおける有効画素値が書き込まれる。このとき、上述のとおり、第２フレームには有効画素が存在しないため、フレームバッファには第１フレームにおける有効画素値と、第３フレームにおける有効画素値が書き込まれることになる。
例えば、図１９（ｂ）のフレームバッファＦＢ３（１２３−３）には、図１８（ｃ）に対応する第１フレーム対応データが書き込み済みであり、図１９（ｃ）のフレームバッファＦＢ４（１２３−４）には、図１８（ｄ）に対応する第１、第２フレーム対応データが書き込み済みである。
この第１フレーム対応データが書き込み済みの各フレームバッファに処理対象の第３フレームのブロックの有効画素値の書き込みが実行される。図１２を参照して説明したと同様の各バッファに対するアドレス算出が実行され、書き込み処理が行なわれる。なお、書き込み先（アドレス指定先）に既に書き込みデータが存在する場合は、各バッファ対応の加算処理部１２２−１〜ｎにおいて、入力部１２１から与えられる有効画素値との間で画素値の加算平均処理を行い加算平均値を書き込む。
図２０は、第４フレームにおける処理を示している。第４フレームでは、第２フレームと同様に時間方向間引き処理によって有効画素が存在しない。したがって、図１８と同様の処理が行われる。すなわち、第４フレームには有効画素が存在しないため、新たなデータは書き込まれない。
図２１は、第５フレームにおける処理を示している。第５フレームの画像データ入力時点では、フレームバッファに第１、第３フレームの有効画素データが書き込まれている。
例えば、図２１（ｂ）のフレームバッファＦＢ５（１２３−５）には、図２０（ｃ）に対応する第１、第３フレーム対応データが書き込み済みであり、図２１（ｃ）のフレームバッファＦＢ６（１２３−６）には、図２０（ｄ）に対応する第１、第３フレーム対応データが書き込み済みである。
各フレームバッファＦＢ１〜ｎ（１２３−１〜ｎ）に対するアドレスの算出処理、必要に応じた画素値加算平均処理の後、各フレームバッファＦＢ１〜ｎ（１２３−１〜ｎ）に対して、第５フレームのブロックに設定された有効画素の画素値、あるいは加算平均値の書き込み処理が実行される。
図２１（ｂ）は、現在フレーム（第５フレーム）に対するフレームバッファのデータを示している。上述のように、フレームバッファは、第４フレーム処理後のデータが書き込まれているため、すでに第１フレーム、および第３フレームの有効画素値が存在する。アドレス変換部１２６は、フレームバッファに対する現在フレームの有効画素のアドレスを求め、制御部は、フレームバッファからデータを読み込む。この時点で、ｘ＝２ｘ１４のアドレスには第１フレームの有効画素値（４画素）が存在する（図２０（ｃ））。
従って、制御部は、ｘ＝２ｘ１４のアドレスからデータを読み出し、加算処理部１２２にデータを送る。加算処理部１２２は、制御部から受け取るｘ＝２ｘ１４のアドレスから読み出されたデータ、すなわち、第１フレームの有効画素値と、入力部から受け取る第５フレームの有効画素値を加算平均し、再び制御部へ送る。制御部は、加算処理部１２２から受け取るデータをフレームバッファのｘ＝２ｘ１４のアドレスに書き込む。このようにして、加算平均処理が成されることにより、過去フレームのデータの重みは小さくなることになる。
具体的には、フレームバッファ５（１２３−５）のｘ＝２ｘ１４のアドレスから読み出されるデータ、すなわち、第１フレームの有効画素値が、
アドレス（２ｘ１４，２ｙ０）の書き込み値＝α１、
アドレス（２ｘ１４，２ｙ１）の書き込み値＝α２、
アドレス（２ｘ１４，２ｙ２）の書き込み値＝α３、
アドレス（２ｘ１４，２ｙ３）の書き込み値＝α４、
であり、入力部から受け取る対応する位置の第５フレームの有効画素値（図２１（ａ））が、それぞれ
（ｘ１４，ｙ０）の値＝β１、
（ｘ１４，ｙ１）の値＝β２、
（ｘ１４，ｙ２）の値＝β３、
（ｘ１４，ｙ３）の値＝β４、
であった場合、フレームバッファ５（１２３−５）のｘ＝２ｘ１４のアドレス位置に書き込むデータは、
アドレス（２ｘ１４，２ｙ０）の書き込み値＝（α１＋β１）／２、
アドレス（２ｘ１４，２ｙ１）の書き込み値＝（α２＋β２）／２、
アドレス（２ｘ１４，２ｙ２）の書き込み値＝（α３＋β３）／２、
アドレス（２ｘ１４，２ｙ３）の書き込み値＝（α４＋β４）／２、
として、加算処理部１２２−５において、加算平均値が算出され、フレームバッファＦＢ５（１２３−５）のｘ＝２ｘ１４のアドレス位置に上記の値：（α１＋β１）／２〜（α４＋β４）／２の書き込み処理が実行される。
なお、本実施例では、フレームバッファに書き込まれているデータと、入力されるデータを単純加算平均処理しているが、たとえば、重み付け加算平均処理を行っても構わないし、単に入力データで上書き処理をしても構わない。
図２１（ｃ）は、＋１フレーム（第６フレーム）に対するフレームバッファＦＢ６（１２３−６）のデータを示しており、図２１（ｄ）は、＋２フレーム（第７フレーム）に対するフレームバッファＦＢ７（１２３−７）のデータを示している。これらの各バッファに対しても、第１、第３フレーム対応データが書き込み済みであり、上述した図２１（ｂ）のフレームバッファＦＢ５（１２３−５）に対する処理と同様、アドレスに従ったデータ読み込み処理および加算平均算出処理が実行され、データ書き込みが行なわれる。
図２１（ｅ）は、＋（ｎ−１）フレーム（第ｎ＋４フレーム）のフレームバッファのデータを示しており、第５フレームデータのみの書き込みが実行される。
続いて、図２２乃至図２６を参照して、動きベクトルｖ２が右方向に０．５（ｐｉｘｅｌ／ｆｒａｍｅ）であるブロックデータを、図１０に示す画像変換装置１２０において復元する処理について説明する。図１７乃至図２１は、フレームバッファＦＢ１（１２３−１）〜フレームバッファＦＢｎ（１２３−ｎ）の格納データの遷移を示している。
図２２乃至図２６は、ブロックが時間方向間引き処理を施されたブロック（図７のブロック１０５，１０６に相当）である場合のブロックデータを、図１０に示す画像変換装置１２０において復元する処理について説明する。図２２乃至図２６は、フレームバッファＦＢ１（１２３−１）〜フレームバッファＦＢｎ（１２３−ｎ）の格納データの遷移を示している。ここで、各フレームバッファは表１に示したように対応付けられているとする。
図２２乃至図２６において、各図（ａ）に示すデータが入力部１２１から与えられる各フレームの２つの隣り合うブロック、第１ブロック＝（ｘ１６，ｙ０）〜（ｘ１９，ｙ３）、第２ブロック＝（ｘ２０，ｙ０）〜（ｘ２３，ｙ３）の標本点データからなる圧縮画像データであり、
図２２＝第１フレーム、
図２３＝第２フレーム、
図２４＝第３フレーム、
図２５＝第４フレーム、
図２６＝第５フレーム、
を示している。
それぞれは、時間方向間引き処理を施されている。時間方向間引きの結果、第２フレーム（図２３（ａ））〜第４フレーム（図２５（ａ））には有効画素（標本点）が存在しない。第１フレーム（図２２（ａ））と、第５フレーム（図２６（ａ））はブロック内画素がすべて有効画素として設定されている。
図２２は、ステップＳ１においてフレームバッファが初期化された後の最初のフレーム（第１フレームと呼ぶ）における処理を示している。図２２（ａ）は、入力部１２１から与えられる２つの隣り合うブロックの標本点データからなる圧縮画像データを表しており、これらのブロックが時間方向間引き処理を施されている場合には、図７に示したように、第１フレームの４×４画素のブロックの全画素が有効となっている。
図２２（ｂ）は、現在フレーム（第１フレーム）処理時のフレームバッファＦＢ１（ＦＢ１２３−１）のデータを示している。フレームバッファは、前述のように原画像に対して縦横２倍の画素数を持っている。現在フレームにおいては、ブロック位置は入力画像の位置と同じであるため、入力画像データの有効画素アドレスを縦横共に２倍にしたアドレスに画素値を書き込む。
図２２（ｃ）は、＋１フレーム（第２フレーム）に対するフレームバッファＦＢ２（１２３−２）に書き込まれるデータを示している。図２２の例では、動きベクトルｖ２は右方向に０．５（ｐｉｘｅｌ／ｆｒａｍｅ）である。したがって、次フレームにおける当該ブロックの位置は、現在フレームにおけるブロック位置から右方向に０．５画素だけ移動した位置であり、フレームバッファＦＢ１（１２３−１）の書き込みデータに対して動きベクトルｖ２分の（０．５×２）画素移動を行って算出されるアドレスに従って、フレームバッファＦＢ２（１２３−２）に対して図１７（ａ）に示す入力画像データの有効画素の対応画素値を書き込む。
図２２（ｄ）は、＋２フレーム（第３フレーム）に対するフレームバッファのデータを示している。２フレーム後における当該ブロックの位置は、現在フレームにおけるブロック位置から、右方向に２ｖ２だけ移動した位置である。フレームバッファにおけるアドレスは、＋１フレームにおけるフレームバッファのアドレスからさらに右方向に１画素移動した位置であり、この算出アドレスに従って、フレームバッファＦＢ３（１２３−３）に対して図２２（ａ）に示す入力画像データの有効画素の対応画素値を書き込む。
図２２（ｅ）は、＋（ｎ−１）フレーム（第ｎフレーム）に対するフレームバッファのデータを示している。ｎ−１フレーム後における当該ブロックの位置は、現在フレームにおけるブロック位置から、右方向に（ｎ−１）ｖ２だけ移動した位置である。フレームバッファにおけるアドレスは、現在フレームにおけるフレームバッファのアドレスから右方向に（ｎ−１）×１画素移動した位置であり、この算出アドレスに従って、フレームバッファＦＢｎ（１２３−ｎ）に対して図２２（ａ）に示す入力画像データの有効画素の対応画素値を書き込む。
図２３は、第２フレームにおける処理を示している。また、図２４は、第３フレームにおける処理、図２５は、第４フレームにおける処理を示している。図２２乃至図２６の例は、当該ブロックが時間方向間引き処理を施されている場合であるので、第２フレーム乃至第４フレームでは時間方向間引き処理によって有効画素が存在しない（図２３（ａ），図２４（ａ），図２５（ａ））。従って、これらのフレームにおいては、上述の図１８と同様にフレームバッファの現フレームシフト処理（表１参照）だけが行われ、新たなデータは書き込まれない。
図２６は、第５フレームにおける処理を示している。第５フレームでは、第１フレームと同様に入力部１２１から与えられるブロックの全画素が有効となっている。
図２６（ｂ）は、現在フレーム（第５フレーム）に対するフレームバッファＦＢ５（１２３−５）のデータを示している。ここで、フレームバッファは、第４フレーム処理後のデータが書き込まれている。第２〜第４フレームには、有効画素が存在しないため第１フレームの有効画素データのみが書き込まれている。４フレーム分のシフト処理（１画素／フレーム）が実行されているので、第１フレームのデータは、フレームバッファＦＢ１（１２３−１）のアドレスｘ＝２ｘ１８、２ｘ１９、２ｘ２０、２ｘ２１、２ｘ２２、２ｘ２３、２ｘ２４、２ｘ２５、の各列に存在する。
一方、現在フレーム（第５フレーム）のフレームバッファＦＢ５（１２３−５）に対する書き込みアドレスは、ｘ＝２ｘ１６、２ｘ１７、２ｘ１８、２ｘ１９、２ｘ２０、２ｘ２１、２ｘ２２、２ｘ２３の各列となる。
従って、ｘ＝２ｘ１８、２ｘ１９、２ｘ２０、２ｘ２１、２ｘ２２、２ｘ２３の各列に対するデータ書き込みに際しては、加算処理部１２２−１において、既に書き込み済みの第１フレームのデータの画素値と、現在フレーム（第５フレーム）の画素値との加算平均処理を実行した後、加算平均値の書き込みが実行されることになる。ｘ＝２ｘ１６、２ｘ１７、の各列には、現在フレーム（第５フレーム）の画素値が書き込まれる。
図２６（ｃ）は、＋１フレーム（第６フレーム）に対するフレームバッファのデータを示しており、図２６（ｄ）は、＋２フレーム（第７フレーム）に対するフレームバッファのデータを示している。これらは、図２６（ｂ）のフレームバッファと同様の処理、すなわち、書き込みアドレスの位置に書き込み済みデータが存在する場合は、その値と現在フレーム（第５フレーム）の画素値との加算平均処理を実行した後、加算平均値の書き込みを実行する。書き込みアドレスの位置に書き込み済みデータが存在しない場合には、現在フレーム（第５フレーム）の画素値書き込みを行う。
図２６（ｅ）は、＋（ｎ−１）フレーム（第ｎ＋４フレーム）のフレームバッファのデータを示しており、ここには、書き込み済みデータがないので、動きベクトルｖ２に基づいて算出したアドレス位置に現在フレーム（第５フレーム）の画素値書き込みを行う。
次に、補間部１２４の動作について、図２７乃至図２９を用いて説明する。図２７は、空間方向間引き処理を施されたブロック（図１２乃至図１６の実施例）において、第５フレームの画像を復元する補間処理を示している。図２７（ａ）は、第５フレームにおける入力画像データ（図１６（ａ）と同じ）であり、図２７（ｂ）は、第５フレームの処理後（ステップＳ９後）における選択部１２７で選択されたフレームバッファのデータ（図１６（ｂ）と同じ）を示している。
図２７（ｂ）に示す第５フレームの処理後（ステップＳ９後）における選択部１２７で選択されたフレームバッファのデータ（図１６（ｂ）と同じ）には、第１〜第５フレームの有効画素値データに基づいて記録されたデータが格納されている。なお、適用バッファ数ｎに応じてフレームバッファに格納されているデータ量は異なることになるが、ここでは、５フレーム分のデータがバッファに格納されているものとして説明する。
補間部１２４は、フレームバッファの格納データに基づいて、標本点データの欠落した画素値を周囲画素値に基づいて補間する処理を実行する。図２７（ｃ）は、（ｂ）図のフレームバッファを縦横１／２に縮小したものである。前述したように、フレームバッファ１〜ｎ（１２１−１〜ｎ）は、入力画素データの縦横２倍の画素数の記憶領域を有し、補間部１２４は、この記憶領域の画素データを本来の入力画素データ対応の大きさに縮小する処理を実行する。図２７（ｂ）に示す４画素領域を図２７（ｃ）の１画素領域に縮小する。
図２７に示す例では、（ｃ）に示す縮小画像の１画素に相当する（ｂ）フレームバッファの４画素において、複数の有効データが存在する部分がないが、４画素中に複数の有効データがある場合には、それらの加算平均値を縮小画像の画素値とする。
図２７（ｃ）では、ｘ＝ｘ０，ｘ２，ｘ４，ｘ９，ｘ１３，ｘ１４の各アドレスにおいて画素欠落が生じている。補間部１２４は、これらの欠落画素を動きベクトルの方向に従って補間処理を行う。具体的には、当該ブロックの動きベクトルは水平方向であるため、たとえばｘ＝ｘ２の列については、ｘ＝ｘ１とｘ＝ｘ３の各画素を用いて水平方向のみの補間処理を行う。
具体的には、図２７（ｃ）において、ｘ＝ｘ１とｘ＝ｘ３の各画素の画素値が、それぞれ、
（ｘ１，ｙ０）の画素値＝α１、
（ｘ１，ｙ１）の画素値＝α２、
（ｘ１，ｙ２）の画素値＝α３、
（ｘ１，ｙ３）の画素値＝α４、
（ｘ３，ｙ０）の画素値＝β１、
（ｘ３，ｙ１）の画素値＝β２、
（ｘ３，ｙ２）の画素値＝β３、
（ｘ３，ｙ３）の画素値＝β４、
であるとき、ｘ＝２ｘ２の画素値は、
（ｘ１，ｙ０）の画素値＝（α１＋β１）／２、
（ｘ１，ｙ１）の画素値＝（α２＋β２）／２、
（ｘ１，ｙ２）の画素値＝（α３＋β３）／２、
（ｘ１，ｙ３）の画素値＝（α４＋β４）／２、
として、補間部１２４において、加算平均値が算出され、ｘ＝２ｘ２の画素値を設定する。
また、欠落画素が２画素以上連続する場合（例えばｘ＝ｘ１３，ｘ１４の列）には、動き方向の両端の画素を用いて線形補間する。また、欠落画素の片側にしか画素値が無い場合（例えばｘ＝ｘ０の列）には、動き方向の画素値がある端の画素値ですべての欠落画素を埋める。図２７（ｄ）は補間処理後のデータを示しており、すべての画素値が揃った画像が生成される。
図２７（ｄ）において、
ｘ＝ｘ０の列の画素値は、ｘ＝ｘ１の列の画素値によって決定され、
ｘ＝ｘ２の列の画素値は、ｘ＝ｘ１とｘ＝ｘ３の列の画素値によって決定され、
ｘ＝ｘ４の列の画素値は、ｘ＝ｘ３とｘ＝ｘ５の列の画素値によって決定され、
ｘ＝ｘ１３とｘ＝ｘ１４の列の画素値は、ｘ＝ｘ１２とｘ＝ｘ１５の列の画素値によって決定される。
なお、本実施例では、入力の隣り合う２つのブロックについてのみ説明しているが、実際には、その周囲には異なるブロックが存在するため、フレームバッファにはそれらのブロックの有効画素値も書き込まれる。
図２８は、空間方向間引き、および時間方向間引き処理を施されたブロック（図１７乃至図２１の実施例）において、第５フレームにおける画像を復元するための補間処理を示している。図２８（ａ）は、第５フレームにおける入力画像データ（図２１（ａ）と同じ）であり、図２７（ｂ）は、第５フレームの処理後（ステップＳ９後）における選択部１２７で選択されたフレームバッファのデータ（図２１（ｂ）と同じ）を示している。
図２７の場合と同様に、図２８（ｃ）はフレームバッファのデータを縦横１／２に縮小したデータであり、図２８（ｄ）は、（ｃ）図における欠落画素を水平方向の補間処理により補間した結果を示している。
図２８（ｃ）では、ｘ＝ｘ９，ｘ１９，ｘ２１，ｘ２２，ｘ２３の各アドレスにおいて画素欠落が生じている。補間部１２４は、これらの欠落画素を動きベクトルの方向に従って補間処理を行う。具体的には、当該ブロックの動きベクトルは水平方向であるため、たとえばｘ＝ｘ９の列については、ｘ＝ｘ８とｘ＝ｘ３０の各画素を用いて水平方向のみの補間処理を行う。ｘ＝ｘ１９の列については、ｘ＝ｘ１８とｘ＝ｘ２０の各画素を用いて水平方向のみの補間処理を行う。ｘ＝ｘ２１〜ｘ２３の列については、ｘ＝ｘ２０の画素を用いて水平方向のみの補間処理を行う。
図２９は、時間方向間引き処理を施されたブロック（図２２乃至図２６の実施例）において、第５フレームにおける画像を復元するための補間処理を示している。図２９（ａ）は、第５フレームにおける入力画像データ（図２６（ａ）と同じ）であり、図２９（ｂ）は、第５フレームの処理後（ステップＳ９後）における選択部１２７で選択されたフレームバッファのデータ（図２６（ｂ）と同じ）を示している。図２７の場合と同様に、図２９（ｃ）はフレームバッファのデータを縦横１／２に縮小したデータであり、図２９（ｄ）は、（ｃ）図における欠落画素を水平方向の補間処理により補間した結果を示している。
図２９（ｃ）では、ｘ＝ｘ２６〜ｘ３１の各アドレスにおいて画素欠落が生じている。補間部１２４は、これらの欠落画素を動きベクトルの方向に従って補間処理を行う。具体的には、当該ブロックの動きベクトルは水平方向であるため、ｘ＝ｘ２６〜ｘ３１の列については、ｘ＝ｘ２５の画素を用いて水平方向のみの補間処理を行う。
なお、上述の例では、補間部１２４は、動き方向に並行な方向にある画素値を適用した補間処理例を示したが、欠落画素の上下左右の４画素、あるいは周囲７画素にある有効画素値を適用した補間処理を行なう構成としてもよい。
図３０は、補間部１２４における補間処理の詳細を説明する図である。図３０（ａ）は、処理ブロックが水平方向の動きベクトルを有している場合の欠落画素の補間処理を示している。この場合には、補間部１２４は、欠落画素の左右の最近傍画素を用いて線形補間処理を行う例である。ｘ＝ｘ１，ｘ２の列の画素値は、ｘ＝ｘ０，ｘ３の列の画素値に基づいて線形補間される。
図３０（ｂ）は、処理ブロックが垂直方向の動きベクトルを有している場合の欠落画素の補間処理を示している。この場合には、補間部１２４は、欠落画素の上下の最近傍画素を用いて線形補間処理を行う例である。ｙ＝ｙ１，ｙ２の行の画素値は、ｙ＝ｙ０，ｙ３の列の画素値に基づいて線形補間される。
図３０（ｃ）は、処理ブロックが全く動いていない場合の欠落画素の補間処理を示している。この場合には、補間部１２４は、欠落画素の上下左右の最近傍画素を用いて、それぞれの方向で、線形補間を実行し、その２つの結果をさらに平均化する。
図３０（ｄ）は、処理ブロックが水平方向の動きベクトルを有しており、欠落画素の左側に有効画素が無い場合の補間処理を示している。この場合には、補間部１２４は、欠落画素の右側の最近傍画素の値をそのまま欠落画素の値とする。ｘ＝ｘ０〜ｘ２の列の画素値は、ｘ＝ｘ３の列の画素値に設定される。なお、欠落画素の右側に有効画素が無い場合には、左側の最近傍画素値を欠落画素の値とする。また、当該ブロックが垂直方向の動きベクトルを有しており、欠落画素の上側に有効画素が無い場合には、下側の最近傍画素を欠落画素の値とする。同様に下側に有効画素がない場合には、上側の最近傍画素を欠落画素の値とする。
なお、上述の実施例では、動画像変換装置１２０のフレームバッファＦＢ１〜ｎ（１２３−１〜ｎ）に過去フレームの有効画素値を書き込んで、現在フレームの画素値算出処理を実行する例として説明したが、現在フレームの未来フレームにおける有効画素値を適用する構成としてもよい。
図１０に示した動画像変換装置１２０におけるフレームバッファ数ｎ中、過去のフレームに対するデータを格納するフレームバッファ数をｂ、未来のフレームのデータを格納するフレームバッファ数をｆ、現在の処理フレーム対応のフレームバッファ数１として設定する。すなわち、
ｎ＝ｂ＋ｆ＋１
となる。
このような設定例では、アドレス変換部１２６は、処理対象ブロックに対応する動きベクトルを加算することにより未来のフレームに対する有効画素のアドレスを求めると同時に、当該ブロックの動きベクトルを減算することにより過去のフレームに対する有効画素のアドレスを求める。以下に示す表２はフレームバッファの切り替え動作を説明した表である。
Figure 2005348320
第１フレームの処理時において、現在フレームにおける画素値は、フレームバッファＦＢ（ｂ＋１）に書き込まれる。未来のフレームに対する画素値は、フレームバッファＦＢ（ｂ＋２）乃至フレームバッファＦＢ（ｆ＋ｂ＋１）に書き込まれる。一方、過去のフレームに対する画素値は、フレームバッファＦＢ１乃至フレームバッファＦＢ（ｂ）に書き込まれる。このとき、未来の＋１フレームから＋ｆフレームまでの書き込みの動作は、図１２乃至図２６と同様である。一方、過去の−１フレームから−ｂフレームまでの書き込みは、図１２乃至図２６の動作において動きベクトルをｘ方向、ｙ方向共に反転した場合と同様である。
選択部１２７は、必ず最も古いフレームに対するフレームバッファを選択するように制御される。表２の例では、−ｂフレームが選択フレームとなる。選択部１２７において選択されたフレームバッファのデータが、補間部１２４にて補間処理され、出力部１２５から出力されるため、本実施例においては、出力画像は入力画像に対してｂフレームだけ遅延することになる。
なお、上述した処理例では、理解を容易にするため水平方向のみの動きベクトルに対応する処理例として説明したが、前述したように、実際の動画像の処理においては、垂直方向の動きベクトルに対しても上述した処理と同様の処理が可能である。また、水平方向と垂直方向の両方の動きベクトルを適用して２次元処理を実行することで、２次元方向のあらゆる動きベクトルに対応した処理が可能である。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本発明の構成によれば、空間方向の間引き処理や時間方向の間引き処理などによって画素データが間引かれた圧縮データの復元処理において、ブロックの動きベクトルなどの動き情報に基づいて算出されるブロックの移動位置を反映させて複数フレームに渡る同一ブロックのデータをフレームバッファに蓄積し、蓄積した複数の異なるフレームの標本点データに基づいてデータ復元を実行する構成としたので、１つのフレームにおいて欠落している画素値を異なるフレームのデータに基づいて取得することが可能となり、各フレームの画素値再現率の向上が可能となる。この結果、より原画像に近い高品質な動画像復元が実現される。
従来の構成においては、復元データの再生字、間引き処理によって失われた画素データに基づくジャギー（空間集周波数の折り返し）が目立つという問題があったが、本発明によれば、各フレームの画素値再現率が向上されるので、例えばスローモーション再生などのようにオリジナル動画像の再生レートと異なるレートでの再生処理においても、ジャギーの発生を抑制することが可能となりオリジナルデータに近い高品質なデータ再生が実現される。
超解像効果を利用したデータ変換を実行する動画像変換装置の基本構成を示す図である。 超解像効果を利用したデータ変換を実行する動画像変換装置の基本構成の詳細を示す図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理について説明する図である。 動画像変換装置におけるブロック処理部の処理結果の一例について説明する図である。 移動被写体に対する水平方向の空間間引き処理の処理例、および原画像の復元処理について説明する図である。 移動被写体に対する水平方向の空間間引き処理を間引き位置をフレーム毎に変更した処理例、および原画像の復元処理について説明する図である。 動画像圧縮データからの復元処理を実行する画像変換装置の構成を示す図である。 動画像圧縮データからの復元処理を実行する画像変換処理シーケンスを説明するフロー図である。 動画像圧縮データからの復元処理におけるフレームバッファ格納データの遷移を説明する図である。 動画像圧縮データからの復元処理におけるフレームバッファ格納データの遷移を説明する図である。 動画像圧縮データからの復元処理におけるフレームバッファ格納データの遷移を説明する図である。 動画像圧縮データからの復元処理におけるフレームバッファ格納データの遷移を説明する図である。 動画像圧縮データからの復元処理におけるフレームバッファ格納データの遷移を説明する図である。 動画像圧縮データからの復元処理におけるフレームバッファ格納データの遷移を説明する図である。 動画像圧縮データからの復元処理におけるフレームバッファ格納データの遷移を説明する図である。 動画像圧縮データからの復元処理におけるフレームバッファ格納データの遷移を説明する図である。 動画像圧縮データからの復元処理におけるフレームバッファ格納データの遷移を説明する図である。 動画像圧縮データからの復元処理におけるフレームバッファ格納データの遷移を説明する図である。 動画像圧縮データからの復元処理におけるフレームバッファ格納データの遷移を説明する図である。 動画像圧縮データからの復元処理におけるフレームバッファ格納データの遷移を説明する図である。 動画像圧縮データからの復元処理におけるフレームバッファ格納データの遷移を説明する図である。 動画像圧縮データからの復元処理におけるフレームバッファ格納データの遷移を説明する図である。 動画像圧縮データからの復元処理におけるフレームバッファ格納データの遷移を説明する図である。 動画像圧縮データからの復元処理における補間処理例を説明する図である。 動画像圧縮データからの復元処理における補間処理例を説明する図である。 動画像圧縮データからの復元処理における補間処理例を説明する図である。 動画像圧縮データからの復元処理における補間処理の態様を説明する図である。
符号の説明
１０ 画像変換装置
１１ ブロック分割部
１２ 移動量検出部
１３ ブロック処理部
１４ 出力部
２１ 画像蓄積部
２２ ブロック分割部
３１ 移動量検出部
３２ ブロック分配部
５１〜５３ ブロック処理部
１０１〜１１６ ブロック
１２０ 画像変換装置
１２１ 入力部
１２２ 加算処理部
１２３ フレームバッファ
１２４ 補間部
１２５ 出力部
１２６ アドレス変換部
１２７ 選択部

Claims (15)

  1. 動画像圧縮データの復元処理を実行する動画像変換装置であり、
    動画像を構成するフレームに含まれる領域としてのブロック単位の圧縮データを入力する入力部と、
    前記圧縮データに含まれる動き情報、または前記圧縮データから算出される動き情報に基づいて時間軸上の異なるフレームにおけるブロック位置を算出し、該算出位置に対応するアドレスをフレーム対応のフレームバッファアクセス用アドレスとして算出するアドレス変換部と、
    前記アドレス変換部の算出したフレーム対応のアドレスによって指定されるメモリ位置に各フレーム対応のブロック圧縮データに含まれる画素値または該画素値に基づく算出値を格納するフレーム対応の複数のフレームバッファと、
    前記フレームバッファの格納データに基づいて複数の異なるフレームの標本点データに基づく復元ブロックを生成する補間部と、
    前記補間部の生成した復元ブロックによって構成される動画像フレームデータを出力する出力部と、
    を有することを特徴とする動画像変換装置。
  2. 前記動画像変換装置は、さらに、
    前記アドレス変換部の算出したフレーム対応アドレスによって指定されるフレームバッファのメモリ位置に書き込み済みの画素値データが存在する場合、該画素値データと、処理フレーム対応のブロック圧縮データに含まれる画素値との加算平均値を算出する加算処理部を有し、
    該加算処理部において算出した加算平均値を前記フレーム対応アドレスによって指定されるメモリ位置に書き込む処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
  3. 前記複数のフレームバッファは、復元処理対象フレームと、復元処理対象フレームに時間軸上で先行するフレームまたは後続するフレームの少なくともいずれかの複数フレームに渡る画素値または該画素値に基づく算出値の重複書き込みがなされる構成であることを特徴とする請求項１に記載の動画像変換装置。
  4. 前記アドレス変換部は、
    ブロックの動き情報として、フレーム単位のブロック移動情報を示す動きベクトルを入力し、該動きベクトルに基づいて時間軸上の異なるフレームにおけるブロック位置を算出し、該算出位置に対応するアドレスを各フレーム対応のアドレスとして算出する構成であることを特徴とする請求項１に記載の動画像変換装置。
  5. 前記補間部は、
    ブロック構成データ中、前記標本点データの欠落した画素値を、ブロック対応の動き情報に含まれる動き方向と平行な方向の画素値に基づいて補間する処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
  6. 前記補間部は、
    ブロック構成データ中、前記標本点データの欠落した画素値を、前記フレームバッファの格納データにおけるブロック構成データ中の欠落画素値を、該欠落画素の周囲画素値に基づいて補間する処理を実行する構成であることを特徴とする請求項１に記載の動画像変換装置。
  7. 前記動画像変換装置は、さらに、
    前記補間部に対する出力データの切り替え処理として、補間部に対する出力データを格納したフレームバッファを順次切り替える処理を実行する選択部を有する構成であることを特徴とする請求項１に記載の動画像変換装置。
  8. 動画像圧縮データの復元処理を実行する動画像変換方法であり、
    動画像を構成するフレームに含まれる領域としてのブロック単位の圧縮データを入力する入力ステップと、
    前記圧縮データに含まれる動き情報、または前記圧縮データから算出される動き情報に基づいて時間軸上の異なるフレームにおけるブロック位置を算出し、該算出位置に対応するアドレスをフレーム対応のフレームバッファアクセス用アドレスとして算出するアドレス変換ステップと、
    複数のフレームバッファの各々に対するデータ格納ステップであり、前記アドレス変換ステップにおいて算出したフレーム対応のアドレスによってアクセスされる各フレームバッファのメモリ位置に、各フレーム対応のブロック圧縮データに含まれる画素値または該画素値に基づく算出値を格納するデータ格納ステップと、
    前記フレームバッファの格納データに基づいて複数の異なるフレームの標本点データに基づく復元ブロックを生成する補間ステップと、
    前記補間ステップにおいて生成した復元ブロックによって構成される動画像フレームデータを出力する出力ステップと、
    を有することを特徴とする動画像変換方法。
  9. 前記動画像変換方法は、さらに、
    前記アドレス変換ステップにおいて算出したフレーム対応アドレスによって指定されるフレームバッファのメモリ位置に書き込み済みの画素値データが存在する場合、該画素値データと、処理フレーム対応のブロック圧縮データに含まれる画素値との加算平均値を算出する加算処理ステップを有し、
    前記データ格納ステップは、
    前記加算処理ステップにおいて算出した加算平均値を前記フレーム対応アドレスによって指定されるメモリ位置に書き込む処理を実行するステップであることを特徴とする請求項８に記載の動画像変換方法。
  10. 前記データ格納ステップは、
    前記複数のフレームバッファに対して、復元処理対象フレームと、復元処理対象フレームに時間軸上で先行するフレームまたは後続するフレームの少なくともいずれかの複数フレームに渡る画素値または該画素値に基づく算出値の重複書き込みを実行するステップであることを特徴とする請求項８に記載の動画像変換方法。
  11. 前記アドレス変換ステップは、
    ブロックの動き情報として、フレーム単位のブロック移動情報を示す動きベクトルを入力し、該動きベクトルに基づいて時間軸上の異なるフレームにおけるブロック位置を算出し、該算出位置に対応するアドレスを各フレーム対応のアドレスとして算出するステップであることを特徴とする請求項８に記載の動画像変換方法。
  12. 前記補間ステップは、
    ブロック構成データ中、前記標本点データの欠落した画素値を、ブロック対応の動き情報に含まれる動き方向と平行な方向の画素値に基づいて補間する処理を実行するステップを含むことを特徴とする請求項８に記載の動画像変換方法。
  13. 前記補間ステップは、
    ブロック構成データ中、前記標本点データの欠落した画素値を、該欠落画素の周囲画素値に基づいて補間する処理を実行するステップを含むことを特徴とする請求項８に記載の動画像変換方法。
  14. 前記動画像変換方法は、さらに、
    前記画素値補間処理を実行する補間部に対する出力データの切り替え処理として、フレームバッファを順次切り替えるフレームバッファ選択ステップを有することを特徴とする請求項８に記載の動画像変換方法。
  15. 動画像圧縮データの復元処理を実行するコンピュータ・プログラムであり、
    動画像を構成するフレームに含まれる領域としてのブロック単位の圧縮データを入力する入力ステップと、
    前記圧縮データに含まれる動き情報、または前記圧縮データから算出される動き情報に基づいて時間軸上の異なるフレームにおけるブロック位置を算出し、該算出位置に対応するアドレスをフレーム対応のフレームバッファアクセス用アドレスとして算出するアドレス変換ステップと、
    複数のフレームバッファの各々に対するデータ格納ステップであり、前記アドレス変換ステップにおいて算出したフレーム対応のアドレスによってアクセスされる各フレームバッファのメモリ位置に、各フレーム対応のブロック圧縮データに含まれる画素値または該画素値に基づく算出値を格納するデータ格納ステップと、
    前記フレームバッファの格納データに基づいて複数の異なるフレームの標本点データに基づく復元ブロックを生成する補間ステップと、
    前記補間ステップにおいて生成した復元ブロックによって構成される動画像フレームデータを出力する出力ステップと、
    を有することを特徴とするコンピュータ・プログラム。
JP2004168487A 2004-06-07 2004-06-07 動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラム Expired - Fee Related JP4412062B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004168487A JP4412062B2 (ja) 2004-06-07 2004-06-07 動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004168487A JP4412062B2 (ja) 2004-06-07 2004-06-07 動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラム

Publications (2)

Publication Number Publication Date
JP2005348320A true JP2005348320A (ja) 2005-12-15
JP4412062B2 JP4412062B2 (ja) 2010-02-10

Family

ID=35500237

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004168487A Expired - Fee Related JP4412062B2 (ja) 2004-06-07 2004-06-07 動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラム

Country Status (1)

Country Link
JP (1) JP4412062B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007063878A1 (ja) 2005-12-01 2007-06-07 Shiseido Company, Ltd. 顔分類方法、顔分類装置、分類マップ、顔分類プログラム、及び該プログラムが記録された記録媒体
US8086073B2 (en) 2008-02-07 2011-12-27 Seiko Epson Corporation Non-uniform image resizer
JP2012085341A (ja) * 2004-11-19 2012-04-26 Ntt Docomo Inc 画像復号装置、方法およびプログラム、並びに、画像符号化装置、方法およびプログラム
US8224123B2 (en) 2007-09-21 2012-07-17 Hitachi, Ltd. Method for transmitting and receiving image, receiving device, and image storage device
JP2012195880A (ja) * 2011-03-17 2012-10-11 Toshiba Corp 画像処理装置、画像処理方法およびプログラム
WO2013094259A1 (ja) * 2011-12-20 2013-06-27 シャープ株式会社 表示装置
WO2013191193A1 (ja) * 2012-06-20 2013-12-27 株式会社日立国際電気 映像圧縮伝送システム
US8774552B2 (en) 2011-03-18 2014-07-08 Hitachi Kokusai Electric Inc. Image transfer system, image transfer method, image reception apparatus, image transmission apparatus, and image pickup apparatus

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012085341A (ja) * 2004-11-19 2012-04-26 Ntt Docomo Inc 画像復号装置、方法およびプログラム、並びに、画像符号化装置、方法およびプログラム
WO2007063878A1 (ja) 2005-12-01 2007-06-07 Shiseido Company, Ltd. 顔分類方法、顔分類装置、分類マップ、顔分類プログラム、及び該プログラムが記録された記録媒体
US8224123B2 (en) 2007-09-21 2012-07-17 Hitachi, Ltd. Method for transmitting and receiving image, receiving device, and image storage device
US8086073B2 (en) 2008-02-07 2011-12-27 Seiko Epson Corporation Non-uniform image resizer
JP2012195880A (ja) * 2011-03-17 2012-10-11 Toshiba Corp 画像処理装置、画像処理方法およびプログラム
US8774552B2 (en) 2011-03-18 2014-07-08 Hitachi Kokusai Electric Inc. Image transfer system, image transfer method, image reception apparatus, image transmission apparatus, and image pickup apparatus
WO2013094259A1 (ja) * 2011-12-20 2013-06-27 シャープ株式会社 表示装置
WO2013191193A1 (ja) * 2012-06-20 2013-12-27 株式会社日立国際電気 映像圧縮伝送システム
JPWO2013191193A1 (ja) * 2012-06-20 2016-05-26 株式会社日立国際電気 映像圧縮伝送システム

Also Published As

Publication number Publication date
JP4412062B2 (ja) 2010-02-10

Similar Documents

Publication Publication Date Title
EP2161687B1 (en) Video signal processing device, video signal processing method, and video signal processing program
JP5133038B2 (ja) 画像復元方法および画像復元装置
JP5669523B2 (ja) フレーム補間装置及び方法、並びにプログラム及び記録媒体
US20100277613A1 (en) Image recording device and image reproduction device
JP4412062B2 (ja) 動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラム
JP5255089B2 (ja) 画像処理装置
JP2006345446A (ja) 動画像変換装置、動画像変換方法、及びコンピュータ・プログラム
JP5585885B2 (ja) 画像処理装置及び画像処理方法
JP2006345445A (ja) 動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラム
JP4552691B2 (ja) 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
WO2012157618A1 (ja) 映像信号処理装置および表示装置
JPH1070679A (ja) フィルムモード互換性のためのフレーム補間方法
JP3898546B2 (ja) 画像走査変換方法及び装置
JP2007060192A (ja) 補間フレーム生成装置、その方法、画像表示システム、並びに、プログラムおよび記録媒体
JP2011040004A (ja) 画像処理装置及び画像処理方法
JP2009239698A (ja) 映像変換装置及び映像変換方法
JP4049087B2 (ja) 動き・静止の判定装置および判定方法、並びに画像信号の処理装置および処理方法
JPH0363275B2 (ja)
JP4470324B2 (ja) 画像信号変換装置および方法
JP4779424B2 (ja) 動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラム
JP4590975B2 (ja) 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
US8019172B2 (en) Method and apparatus for increasing the resolution of a data sequence
JP2005198269A (ja) 動画像処理装置および方法
JP2008017061A (ja) 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
JP2007074307A (ja) 時間解像度の拡大方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070530

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090811

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091027

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091109

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121127

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees