JP2005198268A - 動画像変換装置および方法、並びに動画像データフォーマット - Google Patents

Abstract

【課題】観測者が画質の劣化を認識させないようにデータ量の削減を行うことができる。
【解決手段】 ブロック処理部５１−１は、水平方向または垂直方向の移動量が２ピクセル以上である場合のＮ個のブロックに対して、画素数を、同様にブロック分配部３２から供給された移動量に応じて間引く処理を行う。ブロック処理部５１−２は、水平方向と垂直方向の移動量がともに１ピクセル未満である場合のＮ個のブロックに対して、フレーム数を間引く処理を行う。ブロック処理部５１−３は、水平方向と垂直方向の移動量が１ピクセル以上で、２ピクセル未満である場合のＮ個のブロックに対して、画素数の間引き処理とフレーム数の間引き処理をそれぞれ行う。
【選択図】図１９

Description

本発明は、動画像変換装置および方法、並びに動画像データフォーマットに関し、特に、動画のデータ量を適切に削減することができるようにした動画像変換装置および方法、並びに動画像データフォーマットに関するものである。

動画像のデータ量は非常に膨大であるため、動画像を保存や送信等する際には、通常、動画像のデータ量の圧縮（削減）が行われる。

動画像のデータ量の圧縮方法として、例えば、被写体速度や輝度によって、動画像全体の解像度やフレームレートを間引く方法（特許文献１参照）や、分割された複数の領域を異なる画像品質で符号化することによりデータ量を圧縮する方法（特許文献２参照）が存在する。

特開2003-169284号公報 特開2002-27466号公報

しかしながら、特許文献１に示される方法では、動画の領域の特徴に関わらず動画画質が均一に劣化するので、領域の特徴（例えば、動きがの大きさ）によっては、見難い画像となってしまう場合があった。

また特許文献２に示される方法では、対象となる動画像が固定されたカメラにより取得されたものに限定されており、通常の手持ち撮影には適用することができなかった。また異なる品質で符号化する領域は、初めに手動で決定しなければならず、その領域情報を画像の変化に応じて自動的に修正することで各フレームの領域情報を決定するために、当該方法の適用範囲は非常に限定されたものとなっている。

本発明はこのような状況に鑑みてなされたものであり、主観的な画質劣化を最小限に抑えつつ、広範にわたる方法で取得された動画像のデータ量を削減することができるようにするものである。

本発明の動画像変換方法は、領域毎の移動速度に基づきフレームレートと、空間解像度を決定する決定ステップと、フレームレートと空間解像度にしたがって画像データを変換する変換ステップとを有することを特徴とする。

フレームレートは、移動速度に基づき少なくとも２段階に設定され、移動速度が速い領域では高フレームレートに、移動速度が遅い領域では低フレームレートに設定されるようにすることができる。

空間解像度は、移動速度に基づき少なくとも２段階に設定され、移動速度が速い領域では低空間解像度に設定され、移動速度が遅い領域では高空間解像度に設定されるようにすることができる。

変換ステップは、移動速度が速い領域では空間方向の圧縮処理を、移動速度が遅い領域では時間方向の圧縮処理を行うことができる。

変換ステップは、移動速度に応じて空間方向の圧縮処理と時間方向の圧縮処理を同時に行うことができる。

空間方向の圧縮処理は、画素数の間引き処理とすることができる。

時間方向の圧縮処理は、フレームの間引き処理とすることができる。

各領域内の画素の移動量を検出して領域の移動速度を求める移動速度算出ステップをさらに含ませ、決定ステップには、移動速度算出ステップでの処理で算出された各領域の移動速度に基づいて、フレームレートと空間解像度を決定させることができる。

移動速度算出ステップは、領域毎にブロックマッチングによる動きベクトルの検出を行い、検出した動きベクトルを移動速度とすることができる。

移動速度算出ステップは、連続するＮ（Ｎは整数）フレームの全部あるいは一部を用いて、連続するＮフレームの各フレームに対して同じ移動速度を出力することができる。

変換ステップは、移動速度が所定の閾値Ｔ１より大きいときに空間方向の圧縮処理を行うことができる。

変換ステップは、移動速度が所定の閾値Ｔ２より小さいときに時間方向の圧縮処理を行うことができる。

変換ステップは、移動速度が所定の閾値Ｔ３とＴ４の間にあるときに空間方向および時間方向の圧縮を同時に行うことができる。

決定ステップは、領域ごとの移動速度に加え、過去の決定結果に基づき、フレームレートと空間解像度を決定することができる。

変換ステップは、同一領域における過去の処理内容が空間方向の圧縮処理であり、かつ移動速度が所定の閾値V1より大きいときに空間方向の圧縮処理を行うことができる。

変換ステップは、同一領域における過去の処理内容が時間方向の圧縮処理であり、かつ移動速度が所定の閾値V2より小さいときに時間方向の圧縮処理を行うことができる。

変換ステップは、同一領域における過去の処理内容が空間方向および時間方向の圧縮を同時に行う処理であり、かつ移動速度が所定の閾値V3とV4の間にあるときに空間方向および時間方向の圧縮処理を同時に行うことができる。

決定ステップは、人の視覚特性に鑑みて、それ以上高フレームレート、高空間解像度であっても、人が画質の差を認識することが困難であるフレームレート、ならびに空間解像度に決定することができる。

動画像データは、高フレームレート、かつ高空間解像度で撮像された動画像データとし、移動速度は、動画像データの領域毎に検出されたフレーム間の移動量とすることができる。

動画像データは、CG(Computer Graphics)処理によって生成された動画像データとし、移動速度は、動画像データのオブジェクト毎、あるいは領域毎に予め付加されているようにすることができる

本発明の動画像変換装置は、動画像データを入力する第１の入力手段と、動画像データの領域毎の移動速度を入力する第２の入力手段と、移動速度に基づきフレームレートと空間解像度を決定する決定手段と、フレームレートと空間解像度にしたがって画像データを変換する変換手段とを備えることを特徴とする。

変換手段は、移動速度が速い領域では空間方向の圧縮処理を、移動速度が遅い領域では時間方向の圧縮処理を行うことができる。

変換手段は、移動速度に応じて空間方向の圧縮処理と時間方向の圧縮処理を同時に行うことができる。

各領域内の画素の移動量を検出して領域の移動速度を求める移動速度算出手段をさらに設け、決定手段は、移動速度算出手段により算出された各領域の移動速度に基づいて、フレームレートと空間解像度を決定することができる。

移動速度算出手段は、領域毎にブロックマッチングによる動きベクトルの検出を行い、検出した動きベクトルを移動速度とすることができる。

移動速度算出手段は、連続するＮ（Ｎは整数）フレームの全部あるいは一部を用いて、連続するＮフレームの各フレームに対して同じ移動速度を出力することができる。

変換手段は、移動速度が所定の閾値Ｔ１より大きいときに空間方向の圧縮処理を行うことができる。

変換手段は、移動速度が所定の閾値Ｔ２より小さいときに時間方向の圧縮処理を行うことができる。

変換手段は、移動速度が所定の閾値Ｔ３とＴ４の間にあるときにｆ空間方向および時間方向の圧縮を同時に行うことができる。

決定手段は、領域ごとの移動速度に加え、過去の決定結果に基づき、フレームレートと空間解像度を決定することができる。

変換手段は、同一領域における過去の処理内容が空間方向の圧縮処理であり、かつ移動速度が所定の閾値V1より大きいときに空間方向の圧縮処理を行うことができる。

変換手段は、同一領域における過去の処理内容が時間方向の圧縮処理であり、かつ移動速度が所定の閾値V2より小さいときに時間方向の圧縮処理を行うことができる。

変換手段は、同一領域における過去の処理内容が空間方向および時間方向の圧縮を同時に行う処理であり、かつ移動速度が所定の閾値V3とV4の間にあるときに空間方向および時間方向の圧縮処理を同時に行うことができる。

決定手段は、人の視覚特性に鑑みて、それ以上高フレームレート、高空間解像度であっても、人が画質の差を認識することが困難であるフレームレート、ならびに空間解像度に決定することができる。

本発明においては、領域毎の移動速度に基づきフレームレートと、空間解像度が決定され、フレームレートと空間解像度にしたがって画像データが変換される。

本発明の、画像を任意の領域に分割して記述する動画像データフォーマットは、各領域データは、フレームレートを表す第１のタグデータと、空間解像度を表す第２のタグデータと、フレームレートと空間解像度に変換された画像データで構成され、フレームレートと空間解像度は、各領域の移動速度に基づき決定されたフレームレートと空間解像度であることを特徴とする。

本発明によれば、データ量の削減により生じる画質劣化を観測者に認識させないように、動画像のデータ量を削減することができる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

本発明の動画像変換方法は、領域毎の移動速度に基づきフレームレートと、空間解像度を決定する決定ステップ（例えば、図３６のステップＳ３，Ｓ５）と、フレームレートと空間解像度にしたがって画像データを変換する変換ステップ（例えば、図３６のステップＳ４，Ｓ６，Ｓ７）とを有することを特徴とする。

フレームレートは、移動速度に基づき少なくとも２段階に設定され（例えば、入力時のフレームレートと、その１／４のフレームレート）、移動速度が速い領域では高フレームレートに、移動速度が遅い領域では低フレームレートに設定されるようにすることができる。

空間解像度は、移動速度に基づき少なくとも２段階に設定され（例えば、入力時の空間解像度と、その１／４の解像度）、移動速度が速い領域では低空間解像度に設定され、移動速度が遅い領域では高空間解像度に設定されるようにすることができる。

変換ステップは、移動速度が速い領域では空間方向の圧縮処理（例えば、図３６のステップＳ４の処理）を、移動速度が遅い領域では時間方向の圧縮処理（例えば、図３６のステップＳ６の処理）を行うことができる。

変換ステップは、移動速度に応じて空間方向の圧縮処理と時間方向の圧縮処理を同時に行うことができる（例えば、図３６のステップＳ７の処理）。

空間方向の圧縮処理は、画素数の間引き処理とすることができる（例えば、図３６のステップＳ４の処理）。

時間方向の圧縮処理は、フレームの間引き処理とすることができる（例えば、図３６のステップＳ６の処理）。

各領域内の画素の移動量を検出して領域の移動速度を求める移動速度算出ステップ（例えば、図３６のステップＳ２）をさらに含ませ、決定ステップには、移動速度算出ステップでの処理で算出された各領域の移動速度に基づいて、フレームレートと空間解像度を決定させることができる。

移動速度算出ステップは、領域毎にブロックマッチングによる動きベクトルの検出を行い（例えば、図１９の移動量検出部３１の処理）、検出した動きベクトルを移動速度とすることができる。

移動速度算出ステップは、連続するＮ（Ｎは整数）フレームの全部あるいは一部（例えば、連続する２枚のフレーム）を用いて、連続するＮフレームの各フレームに対して同じ移動速度を出力することができる。

変換ステップは、移動速度が所定の閾値Ｔ１より大きいとき（例えば、２ピクセル／フレーム以上のとき）に空間方向の圧縮処理を行うことができる。

変換ステップは、移動速度が所定の閾値Ｔ２より小さいとき（例えば、１ピクセル／フレーム未満のとき）に時間方向の圧縮処理を行うことができる。

変換ステップは、移動速度が所定の閾値Ｔ３とＴ４の間にあるとき（例えば、１ピクセル／フレーム以上で、かつ、２ピクセル／フレーム未満のとき）に空間方向および時間方向の圧縮を同時に行うことができる。

決定ステップは、人の視覚特性に鑑みて、それ以上高フレームレート、高空間解像度であっても、人が画質の差を認識することが困難であるフレームレート、ならびに空間解像度（例えば、式（８）を満たすフレームレートと空間解像度）に決定することができる。

動画像データは、高フレームレート、かつ高空間解像度で撮像された動画像データとし、移動速度は、動画像データの領域毎に検出されたフレーム間の移動量とすることができる。

動画像データは、CG(Computer Graphics)処理によって生成された動画像データ（例えば、図４７の動画像変換装置１に入力される動画像データ）とし、移動速度は、動画像データのオブジェクト毎、あるいは領域毎に予め付加されているようにすることができる。

本発明の動画像変換装置は、動画像データを入力する第１の入力手段と（例えば、図１９の画像蓄積部２１）、動画像データの領域毎の移動速度を入力する第２の入力手段（例えば、図１９の移動量検出部３１）と、移動速度に基づきフレームレートと空間解像度を決定する決定手段（例えば、図１９のブロック分配部３２）と、フレームレートと空間解像度にしたがって画像データを変換する変換手段（例えば、図１０のブロック処理部５１）とを備えることを特徴とする。

変換手段（例えば、図１９のブロック処理部５１−１，５１−２）は、移動速度が速い領域では空間方向の圧縮処理を、移動速度が遅い領域では時間方向の圧縮処理を行うことができる。

変換手段（例えば、図１９のブロック処理部５１−３）は、移動速度に応じて空間方向の圧縮処理と時間方向の圧縮処理を同時に行うことができる。

各領域内の画素の移動量を検出して領域の移動速度を求める移動速度算出手段（例えば、図２０のブロックマッチング部４３）をさらに設け、決定手段は、移動速度算出手段により算出された各領域の移動速度に基づいて、フレームレートと空間解像度を決定することができる。

本発明の、画像を任意の領域に分割して記述する動画像データフォーマット（例えば、図３２の動画像データフォーマット）は、各領域データは、フレームレートを表す第１のタグデータと、空間解像度を表す第２のタグデータ（例えば、図３２のブロック処理の内容を示すフラグ）と、フレームレートと空間解像度に変換された画像データ（例えば、図３２のデータ量が削減されたブロックのデータ）で構成され、フレームレートと空間解像度は、各領域の移動速度に基づき決定されたフレームレートと空間解像度であることを特徴とする。

本発明を適用した動画像変換装置は、入力された動画像を、そのデータ量が削減された動画像に変換するが、その際、所定の視覚特性に基づいて実現される超解像度効果を利用した動画像変換処理を行うことにより、データ量の削減による画質劣化を観測者に知覚させないようにすることができる。

はじめにその視覚特性と超解像度効果について説明する。

人の視覚は、受けた光の刺激の総和がある閾値になったとき光を知覚するという機能（以下、時間的積分機能と称する）を有している。すなわち光の知覚は、呈示時間内の光の刺激の分布状態に関係なく、時間的に積分された光の総和に従う。また光を知覚できる刺激（閾値）は、刺激の呈示時間が長くなるにつれて小さくなり、呈示時間が短くなるにつれて大きくなる。

この関係は、ブロックの法則(Bloch's law)として知られ、以下の式が成り立つ。式中、Ｉは、閾値としての刺激の強度であり、Ｔは、刺激の呈示時間であり、ｋは定数である。
Ｉ×Ｔ＝ｋ

またこの関係は、横軸を刺激呈示時間Ｔとし、縦軸を閾値（強度I）とすると、図１に示すように表すことができる。この曲線は、閾値呈示時間曲線として知られている。図１の閾値呈示時間曲線によれば、強度Ｉａの光がインパルス的に時間Ｔａの間呈示された場合と、Ｉａの１／ｎの強度Ｉｂの光がＴａのｎ倍の時間Ｔｂだけ連続して呈示された場合とでは、人は、同じ明るさを感じることになる。

なお、刺激の呈示時間のある時間（図１の例では時間ＴL）までは、ブロックの法則が成り立つが（時間ＴLまでは右下がりの直線になるが）、時間ＴLを越えると閾値が刺激の強度のみに依存するようになる（呈示時間によって変化しなくなり、その結果閾値呈示時間曲線は折れ線のような特性を示す）。ブロックの法則が成り立つ最大の刺激呈示時間ＴLは、臨界呈示時間と呼ばれている。この時間ＴLは、背景光の強度などの刺激呈示条件によって変化するが、およそ２５ｍｓ乃至１００ｍｓであるという報告がある。

ブロックの法則の詳細については、例えば、"視覚情報処理ハンドブック,日本視覚学会編,pp.219-220"などに記載されている。

人の視覚はまた、刺激を知覚すると、その刺激を、その刺激の呈示が終了した後もある時間記憶するという機能（以下、感覚記憶機能と称する）を有している。この時間については、１０ｍｓ乃至２００ｍｓであるという報告が多数されている。この機能は、アイコニックメモリーとか視覚的持続などとも呼ばれ、例えば、"視覚情報ハンドブック,日本視覚学界編,pp.229-230"などに記載されている。

次に、視覚特性に基づいて実現される超解像度効果について説明する。なお本発明における超解像度効果は、観測者が、ある時間内に複数の画像が加算されたものを知覚するという視覚特性を利用している。これは上記の時間的積分機能および感覚記憶機能が複雑に関係して引き起こされていると考えられるが、以下の説明においては、これを便宜上、時間的積分機能によるものとする。

例えば、水平方向に平行移動する被写体を、所定のフレームレート（以下、入力画像フレームレートと称する）および所定のサンプリングレート（以下、入力画像サンプリングレートと称する）で撮影すると、図２Ａに示すような、被写体像Ｗaが、速度ｖ（ピクセル／フレーム）で、図面に向かって右方向（Ｘ軸方向）に移動する入力フレームＦａが得られる。図２Ａには、連続する４枚の入力フレームＦａ１乃至Ｆａ４が図示されている。

このように得られた入力フレームＦａを、Ｘ軸方向（被写体像Ｗaの移動方向）に、入力画像サンプリングレートの、１／ｍのサンプリングレート（以下、表示画像サンプリングレートと称する）でサンプリングするものとする（間引き量ｍで間引きするものとする）。図２Ａの場合、入力フレームＦａが間引き量４で間引きされているので、図２Ｂに示すような、Ｘ軸方向の画素数が１／４になった（Ｘ軸方向に粗くなった）（画質が劣化した）表示フレームＦｂが得られる。表示フレームＦｂには、入力フレームＦａの被写体像Ｗaが間引き量４で間引きされた画像（以下、表示被写体像Ｗbと称する）が含まれている。

そしてこのように得られた表示フレームＦｂを、所定のフレームレート（以下、表示画像フレームレート）で表示するものとする。その結果観測者は、上述した時間的積分機能における積分時間内に表示された複数の表示フレームＦｂの積分画像を知覚する。

ここで観測者は、視線が、このように表示された表示フレームＦｂ上の表示被写体像Ｗbを追従するように見るものとする。この場合観測者の視点は、常に表示被写体像Ｗbの中心に位置するので、観測者の網膜上の表示被写体像Ｗbはほぼ静止している。図２Ｂに示す座標軸Ｖｘ，Ｖｙは、網膜上の座標を示し、座標軸Ｘ，Ｙは、フレーム上の座標を示している（ともに、図中表示フレームＦｂ１上に示されているが、表示フレームＦｂ２乃至Ｆｂ４についてはその図示は省略されている）。座標軸Ｖｘ，Ｖｙは、網膜には実像の反転像が結像するため、座標系の向きは座標軸Ｘ，Ｙと逆になっている。

また表示フレームＦｂのサンプリングは、図３中の点線で示されているように、フレーム上一定の位置（この例の場合、４画素間隔の位置）がサンプルされる。したがって、移動量がサンプリング間隔の倍数と一致しない場合、サンプリングされる被写体像Ｗaの位置は、フレーム毎にｖずつずれるので、表示フレームＦｂの各表示被写体像Ｗbは、被写体像Ｗaの、サンプリング位置のずれ分だけ異なる部分で形成される。

被写体像Ｗaの移動速度ｖが、例えば１（ピクセル／フレーム）である場合、フレーム間の移動量（１ピクセル）がサンプリング間隔（４ピクセル）の倍数と一致しない。したがって、この場合、サンプリングされる被写体像Ｗaの位置は、１画素ずつＸ軸方向にずれるので、表示フレームＦｂの各表示被写体像Ｗbは、被写体像Ｗaの、その分だけ異なる部分から形成されることになる。

このように表示被写体像Ｗbが、被写体像Ｗaの、サンプリング位置のずれ分だけ異なる部分から形成されている場合、その表示被写体像Ｗbが視覚系で複数フレームにわたって積分されることにより、表示被写体像Ｗbより画素が密になった画像（表示被写体像像Ｗbの解像度より高解像度（以下、超解像度と称する）の画像）が知覚される。

例えば、視覚特性における積分時間が、図２Ｂにおける４枚分の表示フレームＦｂの表示時間に相当し、表示フレームＦａ１乃至Ｆａ４の４個の表示被写体像Ｗbが積分される場合、図２Ｃに示すような、表示被写体像Ｗbの解像度の約４倍、すなわち被写体像Ｗaと同程度の解像度の画像が知覚される（元の解像度で知覚される）。

超解像度効果はこの原理によって実現されるが、間引き処理を施すと折り返し成分が発生し、それが折り返し歪みとなり画質が劣化する。そこで本発明では、以下に説明するようにその折り返し成分を取り除く工夫がなされている。

式（１）は、１次元の原信号f(x)を間隔Ｘで離散化した信号f_s(ｘ)を表している。式（１）中、δ(ｘ)はデルタ関数である。式（２）は、離散化信号f_s(ｘ)のフーリエ変換F_s(ω)を表している。式（２）中、F(ω)は原信号f(ｘ)のフーリエ変換であり、ω_sはサンプリング角周波数を表している。

・・・（１）

・・・（２）

式（３）は、原信号f(ｘ)を、実空間においてφだけずらして間隔Ｘでの離散化を行った信号f_sφ(ｘ)のフーリエ変換F_sφ(ω)を表している。

・・・（３）

式（３）は、ｋ＝０の基本波は原信号と同じになり、ｋ＝ｎのｎ次高調波は2πnφだけ位相がずれていることを示している。上述のように、被写体像Ｗaがある移動速度vで平行移動しているとし、移動方向に１／ｍで間引きサンプリングする場合を考えると、原信号は表示フレームＦｂのナイキスト周波数のｍ倍の帯域を持っている。したがって、１／ｍで間引きサンプリングされたサンプリング信号f_sφ(x)は折り返し成分を持っており、式（３）において、ｋ＝０は原信号成分となり、ｋ＝１，２，・・・，(ｍ−１)は折り返し成分となる。

図４は、間引き量ｍ＝２としたときのフーリエ変換F_sφ(ω)を示している。このとき、原信号の帯域はナイキスト周波数の２倍となり、１／ｍで間引きサンプリングされたサンプリング信号f_sφ(x)には１次高調波の折り返し成分が存在している。この図からわかるように、サンプリング信号f_sφ(x)は原信号f(x)のフーリエ変換F(ω)成分をそのまま持っており、ｋ＝１における１次高調波F(ω-ω_s)およびF(ω+ω_s)が、それぞれ −2πφおよび 2πφだけ位相がずれて折り返している。

間引きサンプリング間隔が１／ｍの場合には、その１／ｍで間引きされたサンプリング信号f_sφ(x)には１乃至（ｍ−１）次の折り返し成分が存在し、それぞれの位相は2πkφだけずれていることになる。このサンプリング信号f_sφ(x)は、φだけずれた原信号f(x)を１／ｍに間引きサンプリングした信号であるので、図２Ｂにおける任意の１表示フレームＦｂに相当すると考えられる。

ここで図２Ｂにおける時間的に異なる各表示フレームＦｂの信号について考える。被写体（原信号ｆ(x)）が速度vで平行移動している場合、図３で示したように、フレーム毎にサンプル点の位相がずれる。このことから、式（３）におけるサンプリング点のずれ量φは時間tの関数となっており、速度v(ピクセル/フレーム)と間引き量ｍ(ピクセル)に依存して式（４）のようになる。式（４）中Ｔは、時間間隔を表しており、フレームレートの逆数である。

・・・（４）

式（４）は、ｔ＝０のときにずれ量φ₀が０となり、ｔ＝Ｔ，２Ｔ，３Ｔ・・・と変化するにつれてずれ量がｖ／ｍずつ増えていくことを表している。式（４）を式（３）に当てはめると、各時刻における折り返し成分の位相が求められる。図５は、１次の折り返し成分の時刻t＝０,Ｔ,２Ｔ,３Ｔ，・・・における位相を表している。図６は、２次の折り返し成分の、図７は、３次の折り返し成分の、そして図８は、４次の折り返し成分の時刻t＝０,Ｔ,２Ｔ,３Ｔ，・・・における位相をそれぞれ表している。

このようにｋ次の折り返し成分は、時間、すなわちフレームが進むに従って、等間隔（２πｋφT間隔）で回転し、時間ｔ＝（ｍ／ｖ）Ｔの時に位相０に戻る。また折り返し成分の次数が上がるに従って、位相の回転間隔が倍になっていく。

このように間引き量ｍでの間引き処理（間引きサンプリング）によって発生するｋ（＝１，２，・・・，（ｍ−１））次の折り返し成分の位相は、２πｋφTで回転するので、位相の方向と積分される画像の数（合成される折り返し成分の数）によっては、折り返し成分が互いに打ち消される場合がある。言い換えれば、φtは、式（４）に示すように移動速度ｖと間引き量ｍに依存するので、移動速度ｖと間引き量ｍ並びに積分される画像の数によって、折り返し成分が互いに打ち消される場合がある。

例えば、ｖ＝１である場合、ｍ＝４で間引きしたとき、表示フレームＦｂの画像には、図９に示すように、０（＝２π×１×［（１／４）×０／Ｔ］），π／２（＝２π×１×［（１／４）×（Ｔ／Ｔ）］，π（＝２π×１×［（１／４）×２Ｔ／Ｔ］、３／２π（＝２π×１×［（１／４）×３Ｔ／Ｔ］），・・・で位相が変化する（π／２間隔で位相が変化する）１次の折り返し成分が存在する。なお図９においてｔ＝４Ｔ以降の折り返し成分の図示は省略されている。後述する図１０および図１１においても同様である。

表示フレームＦｂの画像にはまた、図１０に示すように、０（＝２π×２×［１／４×０／Ｔ］），π（＝２π×２×［１／４×Ｔ／Ｔ］）、２π（＝２π×２×［（１／４）×（２Ｔ／Ｔ）］）、３π（＝２π×２×［（１／４）×３Ｔ／Ｔ］），・・・で位相が変化する（π間隔で位相が変化する）２次の折り返し成分と、図１１に示すように、０（＝２π×３×［（１／４）×（０／Ｔ）］、３π／２（＝２π×３×［（１／４）×（Ｔ／Ｔ）］、３π（＝２π×３×［（１／４）×（２Ｔ×Ｔ）］）,９π／２（＝２π×３×［（１／４）×（３Ｔ／Ｔ）］），・・・で位相が変化する（３π／２間隔で位相が変化する）３次の折り返し成分が存在する。

この場合、ｔ＝０，Ｔ，２Ｔ，３Ｔそれぞれにおける１次乃至３次の折り返し成分のベクトルは、図９乃至図１１に示したように、それぞれ互いに打ち消す方向を向いているので、視覚系で４枚分の表示フレームＦｂが積分される場合、それらはすべて打ち消される。

ｋ次の折り返し成分が打ち消される条件を式で表せば、式（５）のようになり、式（５）をオイラーの公式により展開すれば、式（６），（７）のようになる。

・・・（５）

・・・（６）

・・・（７）

すなわち本発明では、被写体像Ｗaの移動速度ｖに応じて、互いに打ち消される折り返し成分が発生するように間引き量ｍを決定することによって、折り返し成分を除去するようにしている。

ここで離散化信号f_sφ(ｘ)を帯域制限型のデジタルフィルタにより１／ｍに縮小する場合を考えると、φだけずれた原信号f(x)は折り返しが発生しないようにナイキスト周波数において帯域制限される。このため例えばｍ＝２のとき、フーリエ空間は、図１２に示すようになり、１／ｍに縮小された信号に対応する各フレーム画像は折り返し成分を含まない低解像度の画像となる。したがって、この場合には縮小信号の基本波は原信号とは異なる信号となっており、複数フレームの画像をどのように加算処理してもナイキスト周波数以上の周波数成分を表現することはできず、超解像度効果を得ることができない。したがってこのことから、超解像効果を得るためには、原信号を帯域制限しないことが重要であり、広帯域の空間周波数成分を持つ原画像を間引きサンプリングするのが最適である。

なお以上においては簡単のために、原信号が１次元信号の場合を例として説明したが、２次元画像においても同様である。また図２を参照して被写体像ＷaのＸ軸方向の移動を例として説明したが、Ｙ軸方向の移動についても同様である。

次に互いに打ち消される折り返し成分の条件（超解像度効果を得ることができる画像の折り返し成分の条件）について説明する。

超解像度効果を得ることができるための条件は、式（５）が成立する、つまり式（６）および式（７）が成立することである。これは、図１３に示すように、時刻ｔにおけるｋ次の折り返し成分をベクトルＺk(t)とすると、視覚系の積分範囲におけるベクトルＺk(t)和がゼロになることである。この条件の成立は、積分時間に依存するが、この積分時間は、観察環境によって変化することが知られている上に、それを正確に計測することが困難なため、この条件を満たす範囲を限定することは難しい。

一方、例えば、所定の移動速度ｖでＸ軸方向またはＹ軸方向に移動する被写体像Ｗaを、所定の間引き量ｍでサンプリングして所定のフレームレート毎に表示し、表示された表示被写体像Ｗbを、観測者が実際に見て超解像度で知覚できたかを確認する実験から、フレームレートが高い、つまり積分される画像数が多ければ、間引き量ｍが大きくなっても超解像度効果が得られることがわかっている。このとき超解像度効果が得られる条件は、移動速度ｖに依存しており、およそ式（８）のような関係にあると考えられる。
２πｎ＋α≦２πｋφT≦２π（ｎ＋１）−α・・・（８）

前述のように、各折り返し成分の位相は２πｋφT間隔で回転するが、式（８）は、その各次の折り返し成分の位相回転間隔が、２πの倍数に近いときには超解像度効果が得られないことを表している。図１４に示すように、位相回転間隔が２πの倍数に近いということは、時刻ｔが変化しても折り返し成分の位相がほとんど変わらないことを意味しており、折り返し成分は打ち消されずに残ってしまうためである。

例えば、ｍ＝４のときに発生する１次乃至３次の折り返し成分について、式（８）の成立条件を検討すると、図１５中、陰が付されている移動速度ｖ（ピクセル／フレーム）の範囲では、式（８）が成立せず、超解像度効果を得ることができない。

この１次の折り返し成分については、例えば、ｖ＝４のとき、折り返し成分の位相回転間隔＝２π×１×（４／４）（２πｋφT）となり、折り返し成分の位相回転間隔は２πの１倍となるので、速度ｖ＝４を中心とする一定範囲（位相回転間隔が２πの倍数を中心とする２αの範囲となる速度の範囲）において、１次式の折り返し成分が打ち消されなくなる。すなわちｖ＝４ｎ（ｎ＝０，１，２，３，・・・）のとき、位相回転間隔は２πのｎ倍となるので、ｖ＝４ｎを中心とする一定範囲においては、１次式の折り返し成分は打ち消されない。

２次の折り返し成分については、例えば、ｖ＝２のとき、位相回転間隔＝２π×２×（２／４）（２πの１倍）となり、そしてｖ＝４のとき、位相回転間隔＝２π×２×（４／４）（２πの２倍）となるので、速度ｖ＝２，４を中心とする一定範囲（位相回転間隔が２πの倍数を中心とする２αの範囲となる速度の範囲）において、２次式の折り返し成分が打ち消されなくなる。すなわちｖ＝２ｎのとき、位相回転間隔は２πのｎ倍となるので、ｖ＝２ｎを中心とする一定範囲においては、２次式の折り返し成分は打ち消されない。

３次の折り返し成分については、例えば、ｖ＝４／３のとき、位相回転間隔＝２π×３×（４／３）／４（２πの１倍）となり、ｖ＝８／３のとき、位相回転間隔＝２π×３×（８／３）／４（２πの２倍）となり、そしてｖ＝４のとき、位相回転間隔＝２π×３×４／４（２πの３倍）となるので、速度ｖ＝４／３，８／３，４を中心とする一定範囲（位相回転間隔が２πの倍数を中心とする２αの範囲となる速度の範囲）において、３次式の折り返し成分が打ち消されなくなる。すなわちｖ＝（４／３）ｎのとき、位相回転間隔は２πのｎ倍となるので、ｖ＝（４／３）ｎを中心とする一定範囲においては、３次式の折り返し成分は打ち消されない。

なお速度ｖ＝０のとき、位相回転間隔２πｋφT＝０となるので、１次乃至３次の折り返し成分のそれぞれは、ｖ＝０付近の一定範囲（０乃至ｖ_α1，０乃至ｖ_α2，０乃至ｖ_α3）において打ち消されなくなる。

ｍ＝３のときに存在する１次，２次の折り返し成分（図１６）およびｍ＝２のときに存在する１次の折り返し成分（図１７）についても、ｍ＝４を例として上述したように、位相回転間隔が２πの倍数を中心とする２αの範囲内となる速度では、各次式の折り返し成分は打ち消されない。

また図１３に示すように、折り返し成分の次数が上がるに従い、各次数における位相回転間隔は２倍、３倍と大きくなる。位相回転間隔をθとすれば被写体像Ｗaの移動速度ｖが小さく、位相回転間隔θがαより小さいときには式（８）が成立せず超解像度効果は得られない。被写体像Ｗaの移動速度ｖが上がり、位相回転間隔がαに達すると超解像度が得られる。このことから、αは超解像度効果が得られる臨界点（位相回転間隔）であると考えられる。このαは、表示画像フレームレートによって変化し、表示画像フレームレートが高いと小さくなる傾向にある。臨界点における被写体像Ｗaの移動速度をｖ_αとすると、式（９）が得られ、それを変形すると式（１０）が得られる。したがって表示画像フレームレートが高くなってαが小さくなると、速度ｖ_α（図１５の例の場合、ｖ_α1、ｖ_α2、またはｖ_α3）が小さくなり、その結果、移動量が小さくても超解像度効果が得られる。

・・・（９）

・・・（１０）

また式（１０）から、臨界点におけるｖ_αは、間引き量ｍと折り返し成分の次数ｋに依存しており、間引き量ｍが大きくなると臨界点の速度ｖ_αも大きくなることがわかる。また次数ｋが大きくなると臨界点における速度ｖ_αは小さくなることから（図１５の例の場合、ｖ_α2はｖ_α1より小さく、ｖ_α3はｖ_α2より小さくなることから）、高次の折り返し成分における超解像度効果が得られない領域は狭くなることがわかる。

以上をまとめると、視覚系における超解像度効果について以下のことが言える。・超解像度効果が得られる臨界点αは、高フレームレート表示において小さくなる。・間引き量がｍのとき、１乃至ｍ−１次の折り返し成分が式（８）を満たす必要がある。・間引き量ｍが小さくなると、臨界点における被写体像Ｗaの速度ｖ_αは小さくなる（間引き量ｍが小さい場合には、移動量が小さくても超解像度効果が得られる）。

以上から、動画像の領域が高速で移動し、かつ動画像が高フレームレートであったときには、その領域の空間解像度を削減しても、超解像度効果により、観測者にその画質劣化を知覚させないようにすることができる。

なおこのように表示画像フレームレートを高くすることは超解像度効果を得るのに有利となるが、表示画像フレームレートを高くすれば、その他、動きぼけやジャーキネス等の画質劣化を改善することにも有利となる。

次に、本発明を適用した動画像変換装置１の構成例を、図１８を参照して説明する。この動画像変換装置１は、上述した超解像度効果を利用した動画像変換処理を行うことにより、データ量の削減による画質劣化を観測者が知覚しないようにデータ量を削減することができる。

ブロック分割部１１は、入力された動画像の各フレームをブロックに分割し、移動量検出部１２に供給する。

移動量検出部１２は、ブロック分割部１１から供給された各ブロックについての移動量を検出し、ブロックとその移動量を、ブロック処理部１３に送信する。

ブロック処理部１３は、移動量検出部１２から供給されたブロックに対して、その移動量に応じた動画像変換処理を施し、データ量を削減する。ブロック処理部１３は、その処理の結果得られた、データ量が削減されたブロックについてのデータを、出力部１４に供給する。

出力部１４は、ブロック処理部１３から供給された、データ量が削減されたブロックについてのデータを、ストリームデータとしてまとめて出力する。

次に、図１９を参照して、各部の詳細を説明する。

はじめにブロック分割部１１について説明する。

ブロック分割部１１の画像蓄積部２１には、動画像変換装置１に供給された動画像のフレームが入力される。画像蓄積部２１は、入力されたフレームを蓄積する。画像蓄積部２１は、蓄積したフレームの数がＮ枚（Ｎは正の整数）になる度に、そのＮ枚のフレームを、ブロック分割部２２に供給するとともに、Ｎ枚のフレームの中のＭ番目に記憶したフレーム（以下、Ｍ番目のフレームと称する）を、移動量検出部１２（移動量検出部３１）に供給する。なおこの例の場合Ｎ＝４とする。

ブロック分割部２２は、画像蓄積部２１から供給されたＮ枚のフレーム（連続するＮ枚のフレーム）のそれぞれを、ある大きさ(例えば８×８、１６×１６)のブロックに分割し、移動量検出部１２（ブロック分配部３２）に出力する。ブロック分割部２２はまた、Ｎ枚のフレームの中の、画像蓄積部２１でＰ番目に記憶されたフレーム（以下、Ｐ番目のフレームと称する）の各ブロックを移動量検出部１２（移動量検出部３１）に供給する。Ｐ番目のフレームは、Ｍ番目のフレームと異なるフレームである。

次に、移動量検出部１２について説明する。

移動量検出部１２の移動量検出部３１は、ブロック分割部１１のブロック分割部２２から供給されたＰ番目のフレームの各ブロックの動きベクトルを、画像蓄積部２１から供給されたＭ番目のフレームを参照して検出し、ブロック分配部３２に供給する。なおこの例の場合、Ｍ＝２で、Ｐ＝３とするので、動きベクトルは、１フレーム間の水平方向（Ｘ軸方向）および垂直方向（Ｙ軸方向）の移動量を表している。

ここで移動量検出部３１の構成を図２０に示す。拡大処理部４１は、ブロック分割部２２から供給されたＰ番目のフレームの各ブロックの縦横を、それぞれ、例えば２倍に拡大する。拡大処理部４２は、画像蓄積部２１から供給されたＭ番目のフレームの縦横をそれぞれ２倍に拡大する。

なお拡大処理部４１および４２で画像を拡大するのは、移動量の検出精度を向上させるためである。したがってここではその倍率を２としたが、それをさらに大きな値にすることにより、移動量検出の精度をさらに向上させることができる。また拡大処理部４１および４２を設けずに、画像拡大を省略して移動量検出を行うこともできる。

ブロックマッチング部４３は、拡大処理部４１および４２でそれぞれ拡大された画像を利用して、Ｐ番目のフレームの各ブロックの動きベクトルを検出する。

具体的にはブロックマッチング部４３は、拡大処理部４１から供給されたＰ番目のフレームのブロック（検索対象ブロック）と拡大処理部４２から供給されたＭ番目のフレーム（参照フレーム）の探索領域内の任意ブロックを比較し、平均二乗誤差が最小になる、Ｍ番目のフレームのブロック位置を検出する。そしてブロックマッチング部４３は、Ｐ番目のフレームの検索対象ブロックと検出したＭ番目のフレームのブロックを結ぶベクトルを動きベクトルとし、それを、ブロック分配部３２に供給する。

なお、この例では、Ｎ個のフレーム中のＰ番目のフレームとＭ番目のフレームを用いて移動量を算出したが、例えばＮ個のフレームの全フレームという選択を含むどのようなフレームの組み合わせで移動量を算出しても構わない。

図１９に戻り、移動量検出部１２のブロック分配部３２には、ブロック分割部２２から、Ｎ個単位でブロック（Ｎ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック）が供給され、移動量検出部３１から、そのＮ個のブロックの中のＰ番目のフレームのブロックの移動量が供給される。ブロック分配部３２は、供給されたＮ個のブロックと移動量を、ブロック処理部１３の、その移動量に対応する処理を行うブロック処理部５１−１乃至５１−３（以下、個々に区別する必要がない場合、単に、ブロック処理部５１と称する）の中のいずかに供給する。

具体的にはブロック分配部３２は、移動量検出部３１から供給された、１フレーム間の水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の移動量が２ピクセル以上である場合、ブロック分割部２２から供給されたＮ個のブロックと移動量検出部３１から供給された移動量を、ブロック処理部５１−１に出力する。また、１フレーム間の水平方向と垂直方向の移動量がともに２ピクセル未満で、かつ1ピクセル以上の場合、ブロック分配部３２は、Ｎ個のブロックと移動量を、ブロック処理部５１−３に出力する。移動量がそのほかの場合には、ブロック分配部３２は、Ｎ個のブロックと移動量をブロック処理部５１−２に供給する。

具体的なブロック分配部３２の分配先決定方法として、より時間方向に安定した、別の分配先決定方法を採用することも可能である。時間方向でブロックの分配先が安定していないということ、すなわち、空間上のある特定位置のブロックの分配先が時間の経過とともに頻繁に変わるということは、そのブロックに施される処理が頻繁に変化することを意味する。そのような状況においては画質の劣化が発生する可能性が考えられるが、ブロック分配部３２に対して図２１のように遅延器３３を追加し、分配先決定のための条件をより時間方向に安定したものへと変更することで、画質の劣化を抑制することができる。

図２１のブロック分配部３２は具体的には以下のようにブロックの分配先を決定する。まず、ブロック分配部３２に遅延器３３より過去のブロック処理情報が供給される。ブロック処理情報とは各ブロックが５１−１から５１−３までのいずれのブロック処理部により処理されたのかを示す情報である。また、過去のブロック処理情報とは、現在処理中のフレームが仮にn、 n+1、 n+2、 …、n+N-1番目のフレームであるとした場合、既に処理を行ったn-N、 n-N+1、 n-N+2、 …、n-1番目のフレームに関するブロック処理情報である。つづいてブロック分配部３２は供給された過去のブロック処理情報を参照し、現在処理中のブロックと空間的に同一位置にあるブロックが過去いずれのブロック処理部５１に分配されたのかを確認する。

現在処理中のブロックが過去においてブロック処理部５１−１に分配されていた場合、移動量検出部３１から供給された、1フレーム間の水平方向または垂直方向の移動量がVsピクセル以上であれば、ブロック分割部２２から供給されたN個のブロックと移動量検出部３１から供給された移動量がブロック処理部５１−１に出力される。

現在処理中のブロックが過去においてブロック処理部５１−３に分配されていた場合、移動量検出部３１から供給された、1フレーム間の水平方向または垂直方向の移動量がVtピクセル未満であれば、ブロック分割部２２から供給されたN個のブロックと移動量検出部３１から供給された移動量がブロック処理部５１−３に出力される。

現在処理中のブロックが過去においてブロック処理部５１−２に分配されていた場合、移動量検出部３１から供給された、1フレーム間の水平方向または垂直方向の移動量がVts1ピクセル以上かつVts2ピクセル未満であれば、ブロック分割部２２から供給されたN個のブロックと移動量検出部３１から供給された移動量がブロック処理部５１−２に出力される。

また、上記の条件に当てはまらない場合には既述の条件、つまり、移動量検出部３１から供給された、1フレーム間の水平方向または垂直方向の移動量が2ピクセル以上の場合はブロック処理部５１−１へ、1ピクセル未満の場合はブロック処理部５１−３へ、それ以外の場合は５１−２へN個のブロックと移動量検出部３１から供給された移動量が供給される。過去のブロック処理情報が存在しない場合も同様である。

なお移動量Vt、 Vs、 Vts1、 Vts2には以下のような関係がある。
Vts1 ≦ Vt
Vts1 ≦ Vts2
Vs ≦ Vts2

上記を満たすようなVt、 Vs、 Vts1、Vts2を設定することで、時間の経過とともにブロックに施される処理が頻繁に変わることを防ぐことができる。

すなわちブロック分配部３２は、移動量検出部２１から供給された移動量に基づき、最適なフレームレートおよび空間解像度を決定し、そのフレームレートおよび空間解像度にしたがって画像データを変換する処理を行うブロック処理部５１に、ブロック画像を分配する。

なお、分配先決定のためのこの条件はあくまでも一例であり、他の条件で分配先を決定してもよい。

次にブロック処理部１３について説明する。ブロック処理部１３は、この例の場合、３個のブロック処理部５１−１乃至５１−３で構成されている。

ブロック処理部５１−１は、移動量検出部１２のブロック分配部３２から供給された、連続するＮ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向または垂直方向の移動量が２ピクセル以上である場合のＮ個のブロック）に対して、画素数を、同様にブロック分配部３２から供給された移動量に応じて間引く処理（空間方向間引き処理）を行う。

具体的には、１フレーム間の水平方向の移動量が２ピクセル以上である場合、ブロック処理部５１−１は、ブロックが８×８ピクセルで構成されているとき、図２２に示すように、ブロック内の画素を、１×４ピクセル単位の集合に分割する。

そしてブロック処理部５１−１は、図２３に示すように、１×４ピクセルの各集合の画素値ｐ１乃至ｐ４を、その中の１つの画素値（この例の場合、ｐ１）にする画素数の間引き（４画素間の画素数の間引き）（間引き量４の間引き）を行う。

１フレーム間の垂直方向の移動量が２ピクセル以上である場合、ブロック処理部５１−１は、図２４に示すように、ブロック内の画素を、４×１ピクセル単位の集合に分割し、図２５に示すように、各集合の画素値ｐ１乃至ｐ４を、その中の１つの画素値（この例の場合、ｐ１）にする画素数の間引きを行う。

また１フレーム間の垂直および水平方向の移動量がともに２ピクセル以上である場合、ブロック処理部５１−１は、図２６に示すように、ブロック内の画素を、２×２ピクセル単位の集合に分割し、図２７に示すように、各集合の画素値ｐ１乃至ｐ４を、その中の１つの画素値（この例の場合、ｐ１）にする画素数の間引きを行う。

ブロック処理部５１−１は、このような空間方向間引き処理を、供給された４個のブロックに対してそれぞれ施すので（隣接した４画素毎に１画素選択されるので）、各ブロックのデータ量が１／４に削減され、４個のブロック全体のデータ量が１／４に削減される。ブロック処理部５１−１は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４に供給する。

なおここでは、ブロックの移動量が２ピクセル以上である場合、動画像変換装置１に入力された動画像のフレームレートとの関係において、間引き量４の間引きを行った場合に超解像度効果を得るができるものとする。したがって、移動量が２ピクセル以上である場合に、間引き量４の間引きを行っても、超解像度効果により、観測者は、間引きによる（データ削減による）画像劣化を知覚しない（間引き前の解像度で画像を認識する）。

またここでは、Ｎ＝４の場合を例として説明したが、Ｎが他の値であっても同様な処理が行われる。

また、各集合の画素値を、図２３の例では、１×４ピクセルの中の左端の画素値ｐ１、図２５の例では、４×１ピクセルの中の上端の画素値ｐ１、図２７の例では、２×２ピクセルの中の左上隅の画素値ｐ１にしたが、ｐ１乃至ｐ４のいずれの画素値にしてもよい。またｐ１乃至ｐ４を用いた計算によって新たに得られる画素値にすることもできる。

さらに、この例では、画素数の間引きによって空間方向の圧縮を行ったが、フィルタリングによる空間方向の帯域制限を行っても構わない。

図１９に戻りブロック処理部５１−２は、移動量検出部１２のブロック分配部３２から供給された、連続するＮ枚のフレームのそれぞれの同一位置ある合計Ｎブロック（水平方向と垂直方向の移動量がともに１ピクセル未満である場合のＮ個のブロック）に対して、フレーム数を間引く処理（時間方向間引き処理）を行う。

具体的にはブロック処理部５１−２は、図２８に示すように、連続する４枚のフレームＦ１乃至Ｆ４のそれぞれの同一位置ある４個のブロックＢiを、その中の１つのブロック（この例の場合、フレームＦ１のブロックＢi）にするフレーム数の間引き（４フレーム間のフレーム数の間引き）を行う。

ブロック処理部５１−２は、このような時間方向間引き処理により、データ量が１／４に削減された４個のブロックについてのデータ（１個のブロック）を、出力部１４に供給する。なお、ここでは、Ｎ＝４の場合を例として説明したが、Ｎが他の値であっても同様な処理が行われる。

この例の場合、図２８に示すように、４個のフレームＦ１乃至Ｆ４のそれぞれのブロックＢiのうち、フレームＦ１のブロックＢiが出力されたが、他のフレームのブロックが出力されるようにしてもよい。またフレームＦ１乃至Ｆ４を用いた演算によって新たに得られたブロックが出力されるようにしてもよい。さらに、この例では、フレーム数の間引きによって時間方向の圧縮を行ったが、フィルタリングによる時間方向の帯域制限を行っても構わない。

ブロック処理部５１−３は、移動量検出部１２のブロック分配部３２から供給された、連続するＮ枚のフレームのそれぞれの同一位置ある合計Ｎ個のブロック（水平方向と垂直方向の移動量が１ピクセル以上で、２ピクセル未満である場合のＮ個のブロック）に対して、画素数の間引き処理（空間方向間引き処理）とフレーム数の間引き処理（時間方向間引き処理）をそれぞれ行う。

ブロック処理部５１−３の動作を、具体的に説明する。

この場合ブロック処理部５１−３に供給されるブロックの移動速度は、間引き量＝４における超解像度効果を得るための条件を満たさない。したがって画素数の間引き処理（水平方向および垂直方向の間引き処理）において、ブロック処理部５１−３は、ブロック処理部５１−１における間引き処理とは異なり、図２９および図３０に示すように、各集合の画素値ｐ１乃至ｐ４を、その中のいずれか２個の画素値（この例の場合、ｐ１，ｐ３）にする画素数の間引き（２画素間の画素数の間引き）（間引き量２の間引き）を行う。

すなわちブロック処理部５１−１では、１×４、４×１、または２×２の３通りの画素数の間引きが行われるが、ブロック処理部５１−３では、１×２または２×１の２通りの画素数の間引きが行われる。

フレーム数の間引き処理においては、ブロック処理部５１−３は、ブロック処理部５１−２における間引き処理と異なり、図３１に示すように、連続する４枚のフレームＦ１乃至Ｆ４のぞれぞれの同一位置にある合計４個のブロックＢiを、その中のいずれか２つ（いまの場合、フレームＦ１，Ｆ３の２個のブロック）にするフレーム数の間引きを行う（２フレーム間のフレーム数の間引き）を行う。

ブロック処理部５１−３は、このような空間方向間引き処理と時間方向間引き処理を、供給された４個のブロックに対して施すので、４個のブロックのデータ量が１／４に削減される。ブロック処理部５１−３は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４に供給する。

なお空間方向間引きと時間方向間引きの順序は、いずれが先に行われても同一の結果が得られるので、どちらを先に行ってもよい。

またこの処理はＮが正の偶数である場合において、Ｎ／２フレーム、Ｎ／２個の隣接する画素に対して行うことが可能な処理であるので、必ずしも２（＝４／２）フレーム、２画素単位で行われるものではない。

次に、出力部１４について説明する。出力部１４は、ブロック処理部１３のブロック処理部５１−１乃至５１−３のそれぞれから供給された、データ量が削減されたＮ個のブロックについてのデータからストリームデータを生成する。

ストリームデータのフォーマットは、図３２に示すように、各フレームに関するデータからなり、各フレームに関するデータは、フレームを構成するブロックに関するデータにより構成され、各ブロックに関するデータはデータが削減されたブロックについてのデータと、ブロックに施されたブロック処理を示すフラグが格納されるようになっている。なおブロック処理を示すフラグは、ブロック処理部５１−１での処理（空間方向間引き処理）、ブロック処理部５１−２での処理（時間方向間引き処理）、またはブロック処理部５１−３での処理（時間方向間引き処理と空間方向間引き処理が組み合わさった処理）を表すものとしたり、フレームレートや空間解像度を直接表すタグデータとすることができる。

図３２中、斜線が付されている、データ量が削減されたＮ個のブロックについてのデータの内容は、施されたブロック処理によって異なる。ここでそのデータの内容について具体的に説明する。

ブロック処理部５１−１からは、それぞれデータ量が１／４にされたブロックのデータが供給されるので、ブロック処理部５１−１からデータの供給があった場合、出力部１４は、図３３に示すようなデータの内の、対応するフレームのデータを、図３２に示す斜線部分に格納する。

図３３中、データsp1iは、データ量が１／４にされたフレームＦ１のブロックＢiのデータであり、データsp2iは、データ量が１／４にされたフレームＦ２のブロックＢiのデータであり、データsp3iは、データ量が１／４にされたフレームＦ３のブロックＢiのデータであり、そしてデータsp4iは、データ量が１／４にされたフレームＦ４のブロックＢiのデータである。

例えば、フレームF１のi番目のブロックがブロック処理部５１−１によって処理された場合、図３２のストリームデータ中のフレームFout１のブロックBiは、ブロック処理部５１−１によって処理された旨のフラグと、図３３におけるデータsp1iからなる。

ブロック処理部５１−２からは、連続する４枚のフレームＦ１乃至Ｆ４のそれぞれの同一位置にある４個のブロックＢiの中の１つのブロックＢiが供給されるので、ブロック処理部５１−２からデータの供給があった場合、出力部１４は、図３４に示すようなデータの内の、対応するフレームのデータを、図３２に示す斜線部分に格納する。

図３４中、データtm1iは、ブロック処理部５１−２から供給されたフレームＦ１のブロックＢiそのもののデータである。データtm2iは、フレームＦ２のブロックは、直前のブロック（フレームＦ１のブロックＢi）と同じであることを示すフラグであり、データtm3iは、フレームＦ３のブロックは、直前のブロック（フレームＦ２のブロックＢi）と同じであることを示すフラグであり、そしてデータtm4iは、フレームＦ４のブロックは、直前のブロック（フレームＦ３のブロックＢi）と同じであることを示すフラグである。

例えば、フレームF１のi番目のブロックがブロック処理部５１−２によって処理された場合、図３２のストリームデータ中のフレームFout１のブロックBiは、ブロック処理部５１−２によって処理された旨のフラグと、図３３におけるデータtm1iからなる。また、フレームF２のi番目のブロックがブロック処理部５１−２によって処理された場合、図３２のストリームデータ中のフレームFout２のブロックBiは、ブロック処理部５１−２によって処理された旨のフラグと、図３３におけるデータtm2iからなる。

ブロック処理部５１−３からは、それぞれデータ量が１／２にされた、連続する４枚のフレームＦ１乃至Ｆ４のブロックＢiの中の２個のフレームＦ１，Ｆ３のブロックＢiのデータが供給されるので、ブロック処理部５１−３からデータの供給があった場合、出力部１４は、図３５に示すようなデータの内の、対応するフレームのデータを、図３２に示す斜線部分に格納する。

図３５中、データst1iは、データ量が１／２にされたフレームＦ１のブロックＢiのデータであり、データst2iは、フレームＦ２のブロックＢiは、直前のブロック（フレームＦ１のブロックＢiのデータ）と同じであることを示すフラグであり、データst3iは、データ量が１／２にされたフレームＦ３のブロックＢiのデータであり、データst4iは、フレームＦ４のブロックＢiは、直前のブロック（フレームＦ３のブロックＢiのデータ）と同じであることを示すフラグである。

例えば、フレームF１のi番目のブロックがブロック処理部５１−３によって処理された場合、図３２のストリームデータ中のフレームFout１のブロックBiは、ブロック処理部５１−３によって処理された旨のフラグと、図３４におけるデータst1iからなる。

なおストリームデータの形式は、図３２乃至図３５に示したものには限られるものではない。

次に、動画像変換装置１の移動量検出部１２およびブロック処理部１３の動作を、図３６のフローチャートを参照して説明する。

ステップＳ１において、移動量検出部１２の移動量検出部３１は、ブロック分割部１１のブロック分割部２２から、動画像変換装置１に連続して入力された４枚のフレームの中のＰ番目のフレームの各ブロック（検索対象ブロック）の供給と、画像蓄積部２１から、Ｍ番目のフレーム（参照フレーム）の供給を受け、それを入力する。

次に、ステップＳ２において、移動量検出部３１は、Ｐ番目のフレームのブロックの中の１つを検索対象ブロックとするとともに、その検索対象ブロックの動きベクトルを、参照フレームを参照して検出する。移動量検出部３１は、検出した動きベクトルをブロック分配部３２に供給する。

ステップＳ３において、ブロック分配部３２は、移動量検出部３１から供給された動きベクトルの水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の大きさ（１フレーム間のＸ軸方向またはＹ軸方向の移動量）が、２ピクセル以上であるか否かを判定し、少なくとも一方の移動量が２ピクセル以上であると判定した場合、ステップＳ４に進む。

ステップＳ４において、ブロック分配部３２は、移動量検出部３１からの移動量と、それに対応してブロック分割部２２から供給された、連続する４枚のフレームのそれぞれの同一位置にあるＮ個のブロックとを、ブロック処理部１３のブロック処理部５１−１に供給する。これによりブロック処理部５１−１は、ブロック分配部３２から供給された４個のブロックに対して、図２２乃至図２７に示したような、画素数を１／４にする間引き処理（４画素間の画素数の間引き処理）を施し、その結果得られた、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４に供給する。

ステップＳ３で、いずれの移動量も２ピクセル以上ではないと判定された場合、ステップＳ５に進み、ブロック分配部３２は、Ｘ軸方向とＹ軸方向の移動量がともに１ピクセル未満であるか否かを判定し、ともに１ピクセル未満であると判定した場合、ステップＳ６に進む。

ステップＳ６において、ブロック分配部３２は、ブロック分割部２２からのＮ個のブロックと移動量検出部３１からの移動量を、ブロック処理部５１−２に供給する。ブロック処理部５１−２は、ブロック分配部３２から供給されたＮ個のブロックに対して、図２８に示したような、フレーム数を１／４にする間引き処理（４フレーム間のフレーム数の間引き処理）を施し、その結果得られた、データ量が１／４に削減された４個のブロックについてのデータ（１個のブロック）を、出力部１４に供給する。

ステップＳ５で、Ｘ軸方向およびＹ軸方向の移動量がともに１ピクセル未満ではないと判定された場合（移動量が１ピクセル以上で、２ピクセル未満の場合）、ステップＳ７に進み、ブロック分配部３２は、ブロック分割部２２からの４個のブロックと移動量検出部３１からの移動量を、ブロック処理部５１−３に供給する。これによりブロック処理部５１−３は、ブロック分配部３２から供給された４個のブロックに対し、図２９乃至図３１に示したような、画素数を１／２にする間引き処理（２画素間の画素数の間引き処理）と、フレーム数を１／２にする間引き処理（２フレーム間のフレーム数の間引き処理）を施し、その結果得られた、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４に供給する。

以上の処理が、ブロック分割部１１から４枚のフレームの各ブロックが供給される毎に行われる。

なお図１９の例においては、３個のブロック処理部５１−１乃至５１−３が設けられていたが、図３７に示すように、Ｋ（Ｋ＝１，２，・・・）個のブロック処理部５１を設けることができる。したがって上述したブロック処理に限らず、各種のブロック処理を行うことができる。

また図１９の例においては、ブロック処理部５１が並列に接続されていたが、図３８に示すように直列に接続することも可能である。この場合、移動量検出部１２により検出された動きベクトルに基づき制御部６１が、各ブロック処理部５１を制御する。すなわち制御部６１より処理の実行の指令が入力されたブロック処理部５１は、ブロック分割部１１または前段のブロック処理部５１から供給されたブロックに対して上述した所定の処理を施し、その結果得られたデータを、後段のブロック処理部５１または出力部１４に供給する。また制御部６１より処理実行の指令が入力されないブロック処理部５１は、ブロック分割部１１または前段のブロック処理部５１から供給されたデータを、後段のブロック処理部５１または出力部１４にそのまま出力する。

また図３９に示すように、図１８に示した動画像変換装置１の出力部１４の後段に、出力部１４により出力されたデータを復元する復元部７１を設けることができる。これにより、再生可能な動画像を得ることができる。

復元部７１は、図４０に示すように、分配部８１、ブロック拡張部８２−１乃至８２−３、および合成部８３によって構成される。

分配部８１は、入力されたストリームデータ(図３２)のブロック処理の内容を示すフラグをもとに，ブロック拡張部８２−１乃至８２−３のいずれかへ、図３２の斜線部のデータ、および処理の内容を示すフラグを供給する。

ブロック拡張部８２−１は、空間方向の間引きがされたデータを拡張する部分で、入力された、処理の内容を示すフラグに従い、図４１乃至図４３に示すいずれかの処理を行い、ブロックを再構成する。また、再構成されたブロックを合成部８３へと出力する。すなわち空間方向の間引くの方法に応じて、１つの画素値から、４個の画素値が生成される。

ブロック拡張部８２−２は、時間方向の間引きがされたデータを拡張する部分で、入力されたデータがブロックを表すものであればそのブロックをそのまま合成部８３へと出力する。また、ブロック拡張部８２−２は、図示しないメモリを持ち、このメモリにもブロックの内容が保存される。入力されたデータが前フレームのデータをそのまま用いるというフラグであったときには、このメモリの、対応するブロックの内容を合成部８３へと出力する。

ブロック拡張部８２−３は、空間方向と時間方向の間引きがされたデータを拡張する部分で、ブロック拡張部８２−１が間引き量４に対してのものであったのを間引き量２にし、さらにブロック拡張部８２−２の処理を行うことができるようにしたものであるので詳細は省略する。

合成部８３は、ブロック拡張部８２−１乃至８２−３から入力されたブロックが1フレーム全体を表現できる量に達したときに、復元された1フレーム全体を出力する。

次に、図４４にその構成例を示した他の動画像変換装置２について説明する。この動画像変換装置には、図１９の動画像変換装置１のブロック分割部１１の画像蓄積部２１に代えて、画像遅延部１１１が、移動量検出部１２のブロック分配部３２に代えて、ブロック分配部１２１が設けられ、ブロック処理部１３の３個のブロック処理部５１−１乃至５１−３に代えて、２個のブロック処理部１３１−１，１３１−２が、それぞれ設けられている。

この動画像変換装置２に入力された動画像は、ブロック分割部１１のブロック分割部２２および画像遅延部１１１のそれぞれに供給される。

画像遅延部１１１は、入力された動画像をＮ枚のフレーム分(Ｎは正の整数)遅延して、移動量検出部１２の移動量検出部３１に供給する。なおここではＮ＝２とする。

ブロック分割部２２は、入力されたフレームをブロックに分割して、移動量検出部１２の移動量検出部３１およびブロック分配部１２１のそれぞれに供給する。

移動量検出部１２の移動量検出部３１には、ブロック分割部２２からフレームの各ブロックと、画像遅延部１１１からのフレームがそれぞれ入力されるが、ブロック分割部２２における分割処理は、１フレーム分の入力時間に相当する時間を要するので、画像遅延部１１１からのフレームは、ブロック分割部２２からのブロックのフレーム（現フレーム）よりＮ−１個前のフレーム（前フレーム）となる。

移動量検出部３１は、画像遅延部１１１からの前フレームを参照フレームとするブロックマッチング処理により、ブロック分割部２２からの現フレームのブロックの動きベクトルを検出する。移動量検出部３１は、検出した動きベクトルをブロック分配部１２１に供給する。

ブロック分配部１２１は、ブロック分割部１１のブロック分割部２２から供給されたフレームの各ブロックと移動量検出部３１から供給されたそのブロックの移動量とを、ブロック処理部１３の、その移動量に応じた処理を行うブロック処理部１３１−１とブロック処理部１３１−２のいずれかに供給する（分配する）。

具体的には、ブロック分配部１２１は、１フレーム間の水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の移動量が２ピクセル以上である場合、または水平方向および垂直方向の移動量がともに２ピクセル未満でかつ１ピクセル以上である場合、移動量とブロックを、ブロック処理部１３１−１に供給する。

ブロック分配部１２１はまた、１フレーム間の水平方向および垂直方向の移動量が１ピクセル未満である場合、また、ブロック分割部２２から供給されたブロックに対応する前フレームのブロックについて２画素間の画素数の間引き処理が施されている場合、移動量とブロックを、ブロック処理部１３１−２に供給する。

なお、分配先決定のための上記の条件はあくまでも一例であり、他の条件であってもよい。

ブロック処理部１３のブロック処理部１３１−１は、移動量検出部１２のブロック分配部１２１から供給されたブロックに対して、画素数を、同様にブロック分配部１２１から供給された移動量に応じて間引く処理（空間方向間引き処理）を行う。

具体的には、１フレーム間の水平方向（Ｘ軸方向）の移動量が２ピクセル以上である場合、ブロック処理部１３１−１は、そのブロックに対して、図２２および図２３に示したような４画素間の画素数の間引きを行い、１フレーム間の垂直方向（Ｙ軸方向）の移動量が２ピクセル以上である場合、図２４および図２５に示したような４画素間の画素数の間引きを行う。

また水平方向および垂直方向の移動量が２ピクセル未満で１ピクセル以上の場合、図２９および図３０に示したような、２画素間の画素数の間引きを行う。

ブロック処理部１３１−２は、移動量検出部１２のブロック分配部１２１からブロックが供給されたとき（前フレームのブロックに対して２画素間の画素数の間引き処理が施されている場合、または１フレーム間の移動量が１ピクセル未満である場合）、前フレームのブロックに対して２画素間の画素数の間引き処理が施されている場合には、現フレームのブロックに対応する前フレーム（この例の場合、１個前のフレーム）のブロックをそのまま使用する旨を表すフラグを出力部１４１に供給する。

また、１フレーム間の移動量が１ピクセル未満であり、さらに前フレームの対応するブロックとの差分が十分に小さい場合には、ブロック処理部１３１−２は、前フレームのブロックをそのまま使用する旨を表すフラグを出力部１４１に供給し、前フレームの対応するブロックとの差分が大きい場合には現フレームのブロックの内容を表現しうる更新情報を出力１４１に供給する。更新情報としては、例えば、前フレームのブロックとの差分などがあるが、現フレームのブロックを表現できるものであればどのようなものであってもよい。

なお、この方法は一実施例に過ぎず、前フレームのブロックとの差分データを出力したりしても構わない。

出力部１４１は、ブロック処理部１３から供給された、それぞれ所定の処理でデータ量が削減された各ブロックについてのデータ、および移動量検出部１２のブロック分配部１２１から供給されたブロックを、ストリームデータとしてまとめて出力する。

ストリームデータのフォーマットは、図３２に示したものと同様である。ただし図１９の例では、図中、陰が付されている部分には、データ量が削減された、Ｎ枚のフレームのブロックについてのデータと、そのブロック処理を示すフラグが格納されたが、この例の場合、データ量が削減された１枚のフレームのブロックについてのデータと、そのブロック処理を示すフラグが格納される。

次に、図４４の動画像変換装置２の移動量検出部１２およびブロック処理部１３の動作を、図４５のフローチャートを参照して説明する。

ステップＳ２１において、移動量検出部１２の移動量検出部３１は、ブロック分割部１１のブロック分割部２２から、ブロック（検索対象ブロック）の供給と、画像遅延部１１１から、検索対象ブロックのフレームの１（＝２−１）つ前のフレーム（参照フレーム）の供給を受け、それを入力する。

次に、ステップＳ２２において、移動量検出部３１は、供給された検索対象ブロックと参照フレームから、検索対象ブロックの動きベクトルを検出し、ブロック分配部１２１に供給する。

ステップＳ２３において、ブロック分配部１２１は、検索対象ブロックに対応する前フレームのブロックに対して、２画素間の画素数の間引き処理（後述するステップＳ２８でのブロック処理部１３１−１の処理）が施されたか否かを判定する。ブロック分配部１２１は、内蔵する記憶部（図示せず）に、前フレームのブロックの移動量を記憶しているので、その移動量からそのブロックに施されたブロック処理の内容を把握することができる。

ステップＳ２３で、前フレームのブロックに対して、２画素間の画素数の間引き処理が施されていると判定された場合、ステップＳ２４に進み、ブロック分配部１２１は、ブロック分割部２２からのブロックと移動量検出部３１からの移動量を、ブロック処理部１３１−２に供給する。ブロック処理部１３１−２はこのとき、前フレームのブロックをそのまま使用する旨を示すフラグを出力部１４に供給する。出力部１４は、前フレームのブロックをストリームデータに組み込む。

ステップＳ２３で、前フレームのブロックに対して２画素間の画素数の間引き処理が施されていないと判定された場合、ステップＳ２５に進み、ブロック分配部１２１は、移動量検出部３１から供給された動きベクトルの水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の大きさ（１フレーム間のＸ軸方向またはＹ軸方向の移動量）が、２ピクセル以上であるか否かを判定し、少なくともいずれか一方が２ピクセル以上であると判定した場合、ステップＳ２６に進む。

ステップＳ２６において、ブロック分配部１２１は、ブロック分割部２２からのブロックと移動量検出部３１からの移動量をブロック処理部１３１−１に供給する。ブロック処理部１３１−１はこのとき、ブロック分配部１２１から供給されたブロックに対して、４画素間の画素数の間引き処理を施し、その結果得られたデータを出力部１４１に供給する。

ステップＳ２５で、いずれの移動量も２ピクセル以上ではないと判定された場合、ステップＳ２７に進み、ブロック分配部１２１は、移動量検出部３１から供給された１フレーム間のＸ軸方向およびＹ軸方向の移動量がともに１ピクセル以上であるか否かを判定し、１ピクセル以上であると判定した場合（２ピクセル未満で、１ピクセル以上である場合）、ステップＳ２８に進む。

ステップＳ２８において、ブロック分配部１２１は、ブロック分割部２２からのブロックと移動量検出部３１からの移動量をブロック処理部１３１−１に供給する。ブロック処理部１３１−１はこのとき、ブロック分配部１２１から供給されたブロックに対して、２画素間の画素数の間引き処理を施し、その結果得られたデータを出力部１４１に供給する。

ステップＳ２７で、移動量がともに１ピクセル以上ではないと判定された場合、ブロック分配部１２１はブロック分割部２２からのブロックと移動量検出部３１からの移動量をブロック処理部１３１−２に供給する。その後、ステップＳ２９に進み、ブロック処理部１３１−２は前フレームのブロックをそのまま使用できるか否かを判定する。たとえば、対応する前フレームのブロックとの差分が十分に小さければ画像の変化が少ないことから、前フレームのブロックをそのまま使用することができる。

ステップＳ２９で、前フレームのブロックをそのまま使用できると判定された場合、ステップＳ２４に進み、ブロック処理部１３１−２は、前フレームのブロックをそのまま使用する旨を示すフラグを出力部１４に供給する。

ステップＳ２９で、前フレームのブロックをそのまま使用できないと判定された場合、ステップＳ３０に進み、ブロック処理部１３１−２は、更新情報を送信する旨を示すフラグと入力されたブロックに関する更新情報を、出力部１４に直接供給する。更新情報としては前フレームのブロックとの差分などが考えられる。

以上のように、図４４の例では、各ブロック処理を１フレーム単位で行っているため、図１９の例の場合のように、Ｎ個のブロック単位で処理する場合に比べ、各フレームの特徴を正確に反映した変換処理を行うことができる。

またこの例では、移動量の大きいブロックは、フレームレートを落とさず、画素数の間引き処理により最適な空間解像度で出力される。また、ほぼ静止しているブロックは、空間解像度を落とさず、画像が変化するまでフレーム数を間引くことで最適なフレームレートで出力される。

さらに、移動量の小さいブロックについて、画素数の間引き量を小さくし、フレームレートを落とすことで、最適な空間解像度で、かつ最適なフレームレートで出力することができる。これらの処理は、視覚特性に鑑みて実現されており、処理による劣化を人が知覚するのが困難だと思われる最大の間引きを実現している。

なお図４４の例では、移動量検出部３１が、画像遅延部１１１から供給されたフレームを参照フレームとして移動量を検出していたが、移動量を外部から取得できるようにすれば、図４６に示すように、画像遅延部１１１および移動量検出部３１を省くことができる。

また、実際の処理は画像の任意の領域毎に画像処理が施されればよく、必ずしもブロック単位でなくてもよい。たとえば画像から同一の性質を持つ領域を検出し、その領域毎に移動量に応じた処理が施されるようにしてもよい。

また、その図示は省略するが、図３９の場合と同様に、出力部１４１の後段に、復元部７１を設けることができる。それにより、再生可能な映像を得ることが可能となる。

次に、図４７にその構成例を示す他の動画像変換装置１について説明する。この動画像変換装置１は、CG(Computer Graphics)などで生成されたデータを入力とし、オブジェクト毎に指定されている動きデータに基づいて最適なフレームレートと最適な空間解像度を決定し、オブジェクト毎にこのフレームレートと空間解像度に従ってレンダリングを行い、動画像データに動画像変換する。

ここで、オブジェクトデータは、オブジェクトの形状、材質、位置などを数値として表すデータであり、たとえば多数の三角形ポリゴンの集まりとして表されている。動きデータは、オブジェクトの時間的な動きを表すデータであり、たとえば時刻ｔをパラメータとする曲線式で表されている。出力されるストリームデータのフレームレートは、受信する表示装置（図示せず）などが表示可能な最大のフレームレートで決定される。

制御部２１１は、入力されるオブジェクト毎に指定されている動きデータに応じて最適なフレームレートと最適な空間解像度を求め、それに従ってレンダリング部２１２を制御する。

具体的には制御部２１１は、外部から入力されるオブジェクト毎の動きデータから、現フレームにおける移動速度を求め、オブジェクトの最適なフレームレートと最適な空間解像度を計算する。

ここで、最適なフレームレートとは、フレーム間の変化がある閾値以下になるレートであり、移動速度の小さいオブジェクトでは低フレームレートになり、移動速度の大きいオブジェクトでは高フレームレートになる。最適な空間解像度とは、超解像効果が得られる空間解像度であり、オブジェクトのテクスチャなどの空間解像度が復元可能となる最低の空間解像度である。

制御部２１１は、出力のストリームデータのフレームレートで駆動されており、現フレームがフレーム間引きの対象でありレンダリングが必要ない場合には、フレーム間引きフラグを、レンダリング部２１２に供給する。一方、現フレームがレンダリング対象の場合には、制御部２１１は、最適な空間解像度情報をレンダリング部２１２に供給する。

レンダリング部２１２は、制御部２１１から与えられる信号に従い、入力されるオブジェクトデータをレンダリングして画像に変換する。

具体的にはレンダリング部２１２は、制御部２１１よりフレーム間引きフラグが入力された場合、オブジェクトのレンダリングを行わず、前フレームのデータと同じであることを示すフラグを出力部２１３に出力する。このとき出力部２１３は、前フレームデータをストリームデータに組み込む。

制御部２１１より空間解像度情報が入力された場合、レンダリング部２１２は、その解像度に従ってオブジェクトをレンダリングし、画像データを出力部２１３に供給する。

なおこのときのレンダリング手段は、２次元画像が得られる方法であらばどのような方法でも構わない。

出力部２１３は、オブジェクト毎のレンダリング部２１２からの出力をストリームデータとしてまとめ出力する。

なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

ブロックの法則を説明する図である。 解像度変換処理の原理を説明する図である。 サンプリング位置を説明する図である。 折り返し成分を説明する図である。 折り返し成分の位相の変化を説明する図である。 折り返し成分の位相の変化を説明する他の図である。 折り返し成分の位相の変化を説明する他の図である。 折り返し成分の位相の変化を説明する他の図である。 折り返し成分の位相の変化を説明する他の図である。 折り返し成分の位相の回転間隔を説明する図である。 折り返し成分の位相の回転間隔を説明する他の図である。 折り返し成分を説明する他の図である。 折り返し成分の位相の回転間隔を説明する他の図である。 超解像度効果を得るための折り返し成分の位相を説明する図である。 超解像度効果を得ることができない速度範囲を示す図である。 超解像度効果を得ることができない速度範囲を示す他の図である。 超解像度効果を得ることができない速度範囲を示す他の図である。 本発明を適用した動画像変換装置の構成例を示すブロック図である。 図１８のブロック変換部、移動量検出部、ブロック処理部の構成例を示すブロック図である。 図１９の移動量検出部３１の構成例を示すブロック図である。 図１９の移動量検出部１９の他の構成例を示すブロック図である。 図１９のブロック処理部の動作を説明する図である。 図１９のブロック処理部の動作を説明する他の図である。 図１９のブロック処理部の動作を説明する他の図である。 図１９のブロック処理部の動作を説明する他の図である。 図１９のブロック処理部の動作を説明する他の図である。 図１９のブロック処理部の動作を説明する他の図である。 図１９のブロック処理部の動作を説明する他の図である。 図１９のブロック処理部の動作を説明する他の図である。 図１９のブロック処理部の動作を説明する他の図である。 図１９のブロック処理部の動作を説明する他の図である。 ストリームデータのフォーマットを示す図である。 図３２の斜線部分のデータ内容を示す図である。 図３２の斜線部分の他のデータ内容を示す図である。 図３２の斜線部分の他のデータ内容を示す図である。 図１９の移動量検出部とブロック処理部の動作を説明するフローチャートである。 本発明を適用した他の動画像変換装置の構成例を示すブロック図である。 本発明を適用した他の動画像変換装置の構成例を示すブロック図である。 本発明を適用した他の動画像変換装置の構成例を示すブロック図である。 図３９の復元部の構成例を示すブロック図である。 図３９の復元部の動作を説明する図である。 図３９の復元部の動作を説明する他の図である。 図３９の復元部の動作を説明する他の図である。 本発明を適用した他の動画像変換装置の構成例を示すブロック図である。 図４４の移動量検出部とブロック処理部の動作を説明するフローチャートである。 本発明を適用した他の動画像変換装置の構成例を示すブロック図である。 本発明を適用した他の動画像変換装置の構成例を示すブロック図である。

符号の説明

１ 動画像変換装置， １１ ブロック分割部， １２ 移動量検出部， １３ ブロ
ック処理部， １４ 出力部， ２１ 画像蓄積部， ２２ ブロック分割部， ３１ 移動量検出部， ３２ ブロック分配部， ３３ 遅延器， ４１ 拡大処理部， ４２ 拡大処理部， ４３ ブロックマッチング部， ５１ ブロック処理部， ７１ 復元部， ９１ 分配部， ８２ ブロック拡張部， ８３ 合成部， １１１ 画像遅延部， １２１ ブロック分配部， １３１ ブロック処理部， １４１ 出力部， ２１１ 制御部， ２１２ レンダリング部， ２１３ 出力部

Claims (44)

1. 動画像データの領域毎に画像変換を行う動画像変換方法において、
   領域毎の移動速度に基づきフレームレートと、空間解像度を決定する決定ステップと、
   前記フレームレートと空間解像度にしたがって前記画像データを変換する変換ステップと
   を有することを特徴とする動画像変換方法。
2. 前記フレームレートは、移動速度に基づき少なくとも２段階に設定され、前記移動速度が速い領域では高フレームレートに、前記移動速度が遅い領域では低フレームレートに設定される
   ことを特徴とする請求項１に記載の動画像変換方法。
3. 前記空間解像度は、前記移動速度に基づき少なくとも２段階に設定され、前記移動速度が速い領域では低空間解像度に設定され、前記移動速度が遅い領域では高空間解像度に設定される
   ことを特徴とする請求項１に記載の動画像変換方法。
4. 前記変換ステップは、前記移動速度が速い領域では空間方向の圧縮処理を、前記移動速度が遅い領域では時間方向の圧縮処理を行う
   ことを特徴とする請求項１に記載の動画像変換方法。
5. 前記変換ステップは、前記移動速度に応じて空間方向の圧縮処理と時間方向の圧縮処理を同時に行う
   ことを特徴とする請求項１に記載の動画像変換方法。
6. 前記空間方向の圧縮処理は、画素数の間引き処理である
   ことを特徴とする請求項４に記載の動画像変換方法。
7. 前記時間方向の圧縮処理は、フレームの間引き処理である
   ことを特徴とする請求項４に記載の動画像変換方法。
8. 各領域内の画素の移動量を検出して前記領域の移動速度を求める移動速度算出ステップをさらに含み、前記決定ステップは、前記移動速度算出ステップでの処理で算出された各領域の移動速度に基づいて、前記フレームレートと前記空間解像度を決定する
   ことを特徴とする請求項４に記載の動画像変換方法。
9. 前記移動速度算出ステップは、領域毎にブロックマッチングによる動きベクトルの検出を行い、検出した前記動きベクトルを前記移動速度とする
   ことを特徴とする請求項８に記載の動画像変換方法。
10. 前記移動速度算出ステップは、連続するＮ（Ｎは整数）フレームの全部あるいは一部を用いて、前記連続するＮフレームの各フレームに対して同じ移動速度を出力する
    ことを特徴とする請求項８に記載の動画像変換方法。
11. 前記変換ステップは、前記移動速度が所定の閾値Ｔ１より大きいときに前記空間方向の圧縮処理を行う
    ことを特徴とする請求項４に記載の動画像変換方法。
12. 前記変換ステップは、前記移動速度が所定の閾値Ｔ２より小さいときに前記時間方向の圧縮処理を行う
    ことを特徴とする請求項４に記載の動画像変換方法。
13. 前記変換ステップは、前記移動速度が所定の閾値Ｔ３とＴ４の間にあるときに前記空間方向および時間方向の圧縮を同時に行う
    ことを特徴とする請求項５に記載の動画像変換方法。
14. 前記決定ステップは、領域ごとの移動速度ならびに過去の決定結果に基づき、フレームレートと空間解像度を決定する
    ことを特徴とする請求項１に記載の動画像変換方法。
15. 前記変換ステップは、同一領域における過去の処理内容が前記空間方向の圧縮処理であり、かつ前記移動速度が所定の閾値V1より大きい時に前記空間方向の圧縮処理を行う
    ことを特徴とする請求項１４に記載の動画像変換方法。
16. 前記変換ステップは、同一領域における過去の処理内容が前記時間方向の圧縮処理であり、かつ前記移動速度が所定の閾値V2より小さい時に前記時間方向の圧縮処理を行う
    ことを特徴とする請求項１４に記載の動画像変換方法。
17. 前記変換ステップは、同一領域における過去の処理内容が前記空間方向および時間方向の圧縮を同時に行う圧縮処理であり、かつ前記移動速度が所定の閾値V3とV4の間にある時に前記空間方向および時間方向の圧縮処理を同時に行う
    ことを特徴とする請求項１４に記載の動画像変換方法。
18. 前記決定ステップは、人の視覚特性に鑑みて、それ以上高フレームレート、高空間解像度であっても、人が画質の差を認識することが困難であるフレームレート、ならびに空間解像度に決定する
    ことを特徴とする請求項１に記載の動画像変換方法。
19. 前記動画像データは、高フレームレート、かつ高空間解像度で撮像された動画像データであり、
    前記移動速度は、前記動画像データの領域毎に検出されたフレーム間の移動量である
    ことを特徴とする請求項１に記載の動画像変換方法。
20. 前記動画像データは、CG(Computer Graphics)処理によって生成された動画像データであり、
    前記移動速度は、前記動画像データのオブジェクト毎、あるいは領域毎に予め付加されている
    ことを特徴とする請求項１に記載の動画像変換方法。
21. 動画像データを入力する第１の入力手段と、
    前記動画像データの領域毎の移動速度を入力する第２の入力手段と、
    前記移動速度に基づきフレームレートと空間解像度を決定する決定手段と、
    前記フレームレートと空間解像度にしたがって前記画像データを変換する変換手段と
    を備えることを特徴とする動画像変換装置。
22. 前記フレームレートは、移動速度に基づき少なくとも２段階に設定され、前記移動速度が速い領域では高フレームレートに設定され、前記移動速度が遅い領域では低フレームレートに設定される
    ことを特徴とする請求項２１に記載の動画像変換装置。
23. 前記空間解像度は、前記移動速度に基づき少なくとも２段階に設定され、前記移動速度が速い領域では低空間解像度に設定され、前記移動速度が遅い領域では高空間解像度に設定される
    ことを特徴とする請求項２１に記載の動画像変換装置。
24. 前記変換手段は、前記移動速度が速い領域では空間方向の圧縮処理を、前記移動速度が遅い領域では時間方向の圧縮処理を行う
    ことを特徴とする請求項２１に記載の動画像変換装置。
25. 前記変換手段は、前記移動速度に応じて空間方向の圧縮処理と時間方向の圧縮処理を同時に行う
    ことを特徴とする請求項２１に記載の動画像変換装置。
26. 前記空間方向の圧縮処理は、画素数の間引き処理である
    ことを特徴とする請求項２４に記載の動画像変換装置。
27. 前記時間方向の圧縮処理は、フレームの間引き処理である
    ことを特徴とする請求項２４に記載の動画像変換装置。
28. 各領域内の画素の移動量を検出して前記領域の移動速度を求める移動速度算出手段をさらに備え、
    前記決定手段は、前記移動速度算出手段により算出された各領域の移動速度に基づいて、前記フレームレートと前記空間解像度を決定する
    ことを特徴とする請求項２４に記載の動画像変換装置。
29. 前記移動速度算出手段は、領域毎にブロックマッチングによる動きベクトルの検出を行い、検出した前記動きベクトルを前記移動速度とする
    ことを特徴とする請求項２８に記載の動画像変換装置。
30. 前記移動速度算出手段は、連続するＮ（Ｎは整数）フレームの全部あるいは一部を用いて、前記連続するＮフレームの各フレームに対して同じ移動速度を出力する
    ことを特徴とする請求項２８に記載の動画像変換装置。
31. 前記変換手段は、前記移動速度が所定の閾値Ｔ１より大きいときに前記空間方向の圧縮処理を行う
    ことを特徴とする請求項２４に記載の動画像変換装置。
32. 前記変換手段は、前記移動速度が所定の閾値Ｔ２より小さいときに前記時間方向の圧縮処理を行う
    ことを特徴とする請求項２４に記載の動画像変換装置。
33. 前記変換手段は、前記移動速度が所定の閾値Ｔ３とＴ４の間にあるときに前記空間方向および時間方向の圧縮を同時に行う
    ことを特徴とする請求項２５に記載の動画像変換装置。
34. 前記決定手段は、領域ごとの移動速度ならびに過去の決定結果に基づき、フレームレートと空間解像度を決定する
    ことを特徴とする請求項２１に記載の動画像変換装置。
35. 前記変換手段は、同一領域における過去の処理内容が前記空間方向の圧縮処理であり、かつ前記移動速度が所定の閾値V1より大きい時に前記空間方向の圧縮処理を行う
    ことを特徴とする請求項３４に記載の動画像変換装置。
36. 前記変換手段は、同一領域における過去の処理内容が前記時間方向の圧縮処理であり、かつ前記移動速度が所定の閾値V2より小さい時に前記時間方向の圧縮処理を行う
    ことを特徴とする請求項３４に記載の動画像変換装置。
37. 前記変換手段は、同一領域における過去の処理内容が前記空間方向および時間方向の圧縮を同時に行う圧縮処理であり、かつ前記移動速度が所定の閾値V3とV4の間にある時に前記空間方向および時間方向の圧縮処理を同時に行う
    ことを特徴とする請求項３４に記載の動画像変換装置。
38. 前記決定手段は、人の視覚特性に鑑みて、それ以上高フレームレート、高空間解像度であっても、人が画質の差を認識することが困難であるフレームレート、ならびに空間解像度に決定する
    ことを特徴とする請求項２１に記載の動画像変換装置。
39. 前記動画像データは、高フレームレート、かつ高空間解像度で撮像された動画像データであり、
    前記移動速度は、前記動画像データの領域毎に検出されたフレーム間の移動量である
    ことを特徴とする請求項２１に記載の動画像変換装置。
40. 前記動画像データは、CG(Computer
    Graphics)処理によって生成された動画像データであり、
    前記移動速度データは、前記動画像データのオブジェクト毎、あるいは領域毎に予め付加されている
    ことを特徴とする請求項２１に記載の動画像変換装置。
41. 画像を任意の領域に分割して記述する動画像データフォーマットにおいて、
    各領域データは、フレームレートを表す第１のタグデータと、空間解像度を表す第２のタグデータと、前記フレームレートと空間解像度に変換された画像データで構成され、
    前記フレームレートと空間解像度は、各前記領域の移動速度に基づき決定されたフレームレートと空間解像度である
    ことを特徴とする動画像データフォーマット。
42. 前記フレームレートは、移動速度に基づき少なくとも２段階に設定され、前記移動速度が速い領域では高フレームレートに設定され、前記移動速度が遅い領域では低フレームレートに設定される
    ことを特徴とする請求項４１に記載の動画像データフォーマット。
43. 前記空間解像度は、前記移動速度に基づき少なくとも２段階に設定され、前記移動速度が速い領域では低空間解像度に設定され、前記移動速度が遅い領域では高空間解像度に設定される
    ことを特徴とする請求項４１に記載の動画像データフォーマット。
44. 前記フレームレートと、空間解像度の決定は、人の視覚特性に鑑みて、それ以上高フレームレート、高空間解像度であっても人が画質の差を認識することが困難であるフレームレート、ならびに空間解像度に決定される
    ことを特徴とする請求項４１に記載の動画像データフォーマット。

Images