JP2004088244A - 画像処理装置、画像処理方法、および画像フレームデータ記憶媒体、並びにコンピュータ・プログラム - Google Patents

Abstract

【課題】処理フレームレートの異なる画像表示装置に最適な画像データの生成、および再生処理を実行する装置および方法を提供する。
【解決手段】低フレームレートの画像データを、高フレームレートの時間的に連続する複数画像に基づいて生成し、複数の階層からなる画像フレームデータを提供する。本構成により、再生フレームレートに応じたモーションブラを発生することが可能となり、動きに違和感のない再生フレームレートに適応した画像の再生、表示が可能となる。また、高フレームレートの階層データは、間引きデータとして設定可能となり、送信あるいは記憶データ量が削減される。
【選択図】　図１０

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、画像処理方法、および画像フレームデータ記憶媒体、並びにコンピュータ・プログラムに関する。さらに詳細には、異なるフレームレートに対応した様々な表示装置に表示するための画像データを生成し、表示装置に最適なフレームレートでの画像表示を可能とした画像処理装置、画像処理方法、および画像フレームデータ記憶媒体、並びにコンピュータ・プログラムに関する。
【０００２】
【従来の技術】
動画像を撮影して、それを表示するトータルシステムとしては、米国や日本ではＮＴＳＣ方式、欧州ではＰＡＬ方式が一般的である。最近では、１フレーム当たりの画素数の多いハイデフィニション（ＨＤ）方式も一般化しつつある。これらの動画像は、１秒間に２５から６０枚程度の画像を表示している。人間の目には、連続的に表示されることで、あたかもディスプレイ上で、撮影対象物体が動いているように見える。
【０００３】
また、インターネットの普及により、動画像データをインターネット上で配信して、それを各個人が受信し、例えばパーソナルコンピュータ（ＰＣ）のディスプレイ等、各個人の表示装置で表示することが日常的に行われるようになってきた。このようなデータ配信においては、動画像データが膨大であるため圧縮が行われる。圧縮の方式として一般的なものにはＭＰＥＧ２やＭＰＥＧ４がある。ＭＰＥＧ２の詳細は、例えば、「ポイント図解式、最新ＭＰＥＧ教科書。藤原洋著。ＩＳＢＮ　４−７５６１−０２４７−６」に述べられている。
【０００４】
ＭＰＥＧ４の詳細は、例えば、「ＭＰＥＧ−４のすべて。工業調査会。ＩＳＢＮ　４−７６９３−１１６７−２」に述べられている。しかしながら、各個人が所有する表示装置によって処理可能、すなわち表示可能なデータレートには差があるため、ＭＰＥＧ４の規格の中には、このような場合に対応した規格も決められている。即ち、幾つかの階層に分けて、動画像データを圧縮し、伝送（あるいは蓄積）する方式が決められている。これは、一般にスケーラビリティと呼ばれる。これについて、以下で詳しく述べる。
【０００５】
データ送信側の処理としては、まずオリジナルの高解像度の動画像から、低解像度の動画像を作成し、作成した低解像度の動画像を圧縮して第１の階層で「低解像度の動画像圧縮データ」の送信を実行する。さらに、オリジナルの高解像度の動画像とオリジナルの高解像度の動画像に基づいて作成した低解像度の動画像の差分データを圧縮して第２の階層で「オリジナルの高解像度の動画像と低解像度の動画像の差分圧縮データ」を送信する。
【０００６】
データ受信側の処理について説明する。データ受信側の処理可能なデータレートが低い場合には、第１の階層、すなわち「低解像度の動画像圧縮データ」のみを受信し、第２の階層のデータは無視する。第１の階層、すなわち低解像度の動画像データを受信した画像表示装置は、第１の階層すなわち低解像度の動画像圧縮データを伸長して、低解像度の動画像を表示することができる。
【０００７】
また、データ受信側の処理可能なデータレートが高く、巨大なデータレートを受け取ることが出来るデータ受信側では、第１の階層に流れるデータと第２の階層に流れるデータ、すなわち、「低解像度の動画像圧縮データ」と、「オリジナルの高解像度の動画像と低解像度の動画像の差分圧縮データ」の両方を受け取る。
【０００８】
データを受信した受信側では、まず、第１の階層に流れるデータを伸長して、低解像度の動画像を復元する。そして、第２の階層に流れるデータを伸長して、「オリジナルの高解像度の動画像」と「上記低解像度の動画像」の差分データを復元する。さらに、復元した「低解像度の動画像」と「『オリジナルの高解像度の動画像』と『上記低解像度の動画像』の差分データ」より、「高解像度の動画像」を復元する。この復元された「高解像度の動画像」を表示することで、オリジナルの高解像度の動画像を表示、視聴することができる。
【０００９】
このようにして、表示装置の処理可能なデータレートが低い場合であっても、高い場合であっても、それぞれの処理を実行することで、低解像度の動画像、あるいは高解像度の動画像を見ることができるような仕組みになっている。
【００１０】
上述した説明は、空間方向、即ち、１フレームを構成している画素数についてのスケーラビリティの差異に基づく処理構成についあての説明であったが、時間方向のスケーラビリティも規格化されている。これについて、以下で詳しく述べる。
【００１１】
データ送信側の処理としては、まずオリジナルの高フレームレートの動画像から、間引いて低フレームレートの動画像を作成し、作成した低フレームレートの動画像を圧縮して第１の階層で「低フレームレートの動画像圧縮データ」を送信する。さらに、「オリジナルの高フレームレートの動画像」と「上記低フレームレートの動画像」の差分データ、即ち、間引かれたフレームを圧縮して第２の階層で「オリジナルの高フレームレートの動画像と低フレームレートの動画像の差分データ」を送信する。
【００１２】
データ受信側の処理について説明する。データ受信側の処理可能なデータレートが低い場合には、第１の階層に流れるデータ、すなわち「低フレームレートの動画像圧縮データ」のみを受信し、第２の階層のデータは無視する。さらに、第１の階層に流れるデータ、すなわち「低フレームレートの動画像圧縮データ」を伸長して、低フレームレートの動画像を表示することが出来る。
【００１３】
一方、データ受信側の処理可能なデータレートが高く、巨大なデータレートを受け取ることが出来る受信側では、第１の階層に流れるデータ、すなわち「低フレームレートの動画像圧縮データ」と第２の階層に流れるデータ、すなわち「オリジナルの高フレームレートの動画像と低フレームレートの動画像の差分データ」の両方を受信する。
【００１４】
次に、第１の階層に流れるデータを伸長して、低フレームレートの動画像を復元する。そして、第２の階層に流れるデータを伸長して、「オリジナルの高フレームレートの動画像」と「上記低フレームレートの動画像」の差分データを復元する。復元した「低フレームレートの動画像」と「『オリジナルの高フレームレートの動画像』と『上記低フレームレートの動画像』の差分データ」より、「高フレームレートの動画像」を復元する。この復元された「高フレームレートの動画像」を表示することで、オリジナルの高フレームレートの動画像を表示、視聴することができる。
【００１５】
このようにして、表示装置の処理可能なフレームレートが低い場合であっても、高い場合であっても、それぞれの処理を実行することで、低フレームレートの動画像、あるいは高フレームレートの動画像を見ることができるような仕組みになっている。
【００１６】
本発明において、問題としているのは、フレームレートについてである。従って、空間方向のスケーラビリティは、本発明とは分野が異なる。時間方向のスケーラビリティについては、本発明に関係してくるので、以下で、さらに具体例を用いて説明していくことにする。
【００１７】
オリジナルの高フレームレートの動画像が１２０フレーム／秒で撮影された動画像であるとする。当然、１枚１枚の画像は、１／１２０秒で撮影されている。つまり、各画像の露出時間は１／１２０秒である。この動画像から、低フレームレートの動画像を作成する。つまり、連続する４枚の画像から３枚を捨て去り、残りの１枚のみを保持する。これにより、３０フレーム／秒の動画像を作成できる。この処理について、図１を用いて説明する。
【００１８】
図１において、横軸が時間（秒）を示している。画像群１０１が、オリジナルの高フレームレートの動画像の各画像フレームを示しており、１０１−１〜１０１−１３まで１３枚の画像フレームデータを示している。画像フレームデータ１０１−１は、この動画像の最初の画像であり、図に示すように、時刻０から時刻１／１２０秒までの間、露光されることで作られた画像である。１０１−２は、２番目の画像であり、時刻１／１２０秒から２／１２０秒までの間、露光されることで作られた画像である。１０１−３以降も同様であり、各々が露光時間１／１２０に設定された高フレームレートの連続する画像フレームデータである。
【００１９】
また、図１において、画像群１０２は、画像群１０１から画像を間引いて作成された低フレームレートの動画像である。画像フレームデータ１０２−１は、この動画像の最初の画像フレームデータであり、画像群１０１における画像フレームデータ１０１−１とまったく同じ画像である。画像フレームデータ１０２−２は、２番目の画像であり、画像群１０１における画像フレームデータ１０１−５とまったく同じ画像である。画像フレームデータ１０２−３以降も同様であり、画像フレームデータ１０２−ｎは、画像群１０１における画像フレームデータ１０１−（４×ｎ−３）とまったく同じ画像である。
【００２０】
図１において、画像群１０３は、高フレームレートの画像群１０１から低フレームレートの画像群１０２を作成したときに、間引かれた画像群である。つまり、画像フレームデータ１０１−２、１０１−３、１０１−４、１０１−６、１０１−７、１０１−８、…、１０１−（４×ｎ−２）、１０１−（４×ｎ−１）、１０１−（４×ｎ）、…によって構成される画像群である。
【００２１】
画像データ送信側においては、第１の階層データとして、画像群１０２に示した低フレームレートの動画像を圧縮して伝送する。さらに第２の階層データとして、画素群１０３に示した画像群、すなわち、高フレームレートの画像群１０１から低フレームレートの画像群１０２を作成したときに、間引かれた画像群を圧縮して伝送する。
【００２２】
画像データ受信側における処理について説明する。まず、３０フレーム／秒でしか表示能力のない表示装置による表示を行なう画像データ受信側における処理について説明する。この場合は、第１の階層で送られてくるデータ、すなわち画像群１０２に示した低フレームレートの動画像のみを受け取り、これを伸長して、画像群１０２に示す低フレームレート（３０フレーム／秒）の動画像を復元する。そして、これを表示することで低フレームレート（３０フレーム／秒）の動画像の表示が可能となる。
【００２３】
次に受信側が１２０フレーム／秒で表示する能力がある表示装置による表示を行なう場合の処理について説明する。
【００２４】
この場合は、第１の階層と第２の階層で送られてくるデータの両方を受信する。すなわち画像群１０２に示した低フレームレートの動画像データと、高フレームレートの画像群１０１から低フレームレートの画像群１０２を作成したときに、間引かれた画像群１０３である。
【００２５】
受信データの処理としては、まず、第１の階層から送られてくるデータを伸長して、１０２に示す低フレームレート（３０フレーム／秒）の動画像を復元する。次に、第２の階層から送られてくるデータを伸長して、１０３に示す画像群を復元する。復元された１０２と１０３を連結して、１０１を作成する。そして、この１０１を１２０フレーム／秒で表示する。この処理によって、高フレームレート、すなわち１２０フレーム／秒での表示が可能となる。
【００２６】
このようにすることで、処理可能なフレームレートの低い表示装置しか持たない受信者は、低フレームレートの動画像を表示でき、高フレームレートの表示装置を持つ受信者は、高フレームレートの動画像を表示できる。時間方向のスケーラビリティを持つ階層構造でデータを送信すると、フレームレートの劣る表示装置しか持たない受信者でも、フレームレートは低くなるという欠点はあるものの、表示することができる。これが、時間方向のスケーラビリティを持つ階層構造でデータを送信することのメリットである。
【００２７】
このように、現状でも、「受信側の表示装置の表示できる最大のフレームレートによって、間引かれた動画像を表示する」という方式は既存技術として存在する。ただし、この手法に従った画像処理には問題点がある。上記例において、例えば受信側が３０フレーム／秒でしか表示能力がなかった場合についての問題点について説明する。
【００２８】
表示される動画像は、低フレームレートの画像群１０２で示された動画像となる。この動画像は、１／１２０秒という高速で１枚撮影し、続く３／１２０秒の間の情報は一切撮影せず、そして、その後、１／１２０秒という高速で１枚撮影し、続く３／１２０秒の間の情報は一切撮影しないという動画像である。このような動画像を表示装置に表示した場合、動きの滑らかさがなくなってしまう。
【００２９】
これは、１／１２０秒単位での撮影画像を１／３０秒単位での表示画像として適用することに起因する。表示装置に画像を表示した場合の表示の滑らかさを保持させるためには、表示能力に適合した画像フレームを適用することが必要となる。例えば、受信側が３０フレーム／秒でしか表示能力がない表示装置を適用する場合、露出時間が１／３０秒である画像を、１／３０秒単位で連続に撮影した動画像を用いることが表示の滑らかさを保持させるためには必要となる。
【００３０】
図２乃至図９を参照して具体例を示して説明する。図２〜図７に示す動画像は、左から右に高速に移動している車を撮影したものである。各画像には、図１と同じ画像フレームデータ番号１０１−１〜２４を付してある。それぞれの画像フレームデータは、１／１２０秒の露光時間で撮影されている。
【００３１】
なお、各画像は横長の画像となっているが、これは紙面の都合上横長にしたものであり、通常、縦横比は３：４程度の比率である。また、各画像は、１／１２０秒という露出時間なので、車が１／１２０秒の間において移動した距離だけモーションブラ（被写体の動きによる「ぼけ」）が起きている。モーションブラにより車の輪郭等はボケるはずであるが、ここでは、分かりやすく図を見せるために、輪郭等をはっきりさせている。
【００３２】
１２０フレーム／秒の高フレームレートの表示処理能力のある画像表示装置においては、図２乃至図７に示す画像フレームデータ１０１−１〜１０１−２４が１／１２０秒毎に準じ切り変わり表示されることにより、滑らかな動きのある表示が可能となる。
【００３３】
一方、３０フレーム／秒でしか表示能力のない受信側の表示装置では、先に説明したように、１２０フレーム／秒の高フレームレートの画像フレームデータから間引かれて残った画像のみが表示されることになる。すなわち、図８、図９に示すように画像フレームデータ１０２−１、１０２−２、１０２−３、…のみが１／３０秒単位で表示される。
【００３４】
つまり、図１の画像群１０１の１０１−１、１０１−５、１０１−９…のみが表示される。図８、図９に示すように、これでは、車の動きが不自然になってしまう。つまり、図８、図９において、画像フレームデータ１０２−１の車の表示位置Ｓ１から画像フレームデータ１０２−２の車の表示位置Ｓ２地点まで、画像フレームデータ１０２−２の車の表示位置Ｓ３地点から画像フレームデータ１０２−３の車の表示位置Ｓ４地点まで、画像フレームデータ１０２−３の車の表示位置Ｓ５地点から画像フレームデータ１０２−４の車の表示位置Ｓ６地点まで、画像フレームデータ１０２−４の車の表示位置Ｓ７地点から画像フレームデータ１０２−５の車の表示位置Ｓ８地点まで、および、画像フレームデータ１０２−５の車の表示位置Ｓ９地点から画像フレームデータ１０２−６の車の表示位置Ｓ１０地点まで、車が進んでいるときの情報が一切、画像に表れていないため、動画像の表示における車の動きが不自然になってしまう。
【００３５】
上述したように、受信側の表示装置の表示できる最大のフレームレートによって、動画像をそのフレームレートで表示するために、複数の階層を使ってデータを転送あるいは蓄積する方式は、従来から存在していた。しかしながら、従来の方式において低フレームレートの画像表示装置において表示対象として選択する画像は、単に、オリジナルの高フレームレートの動画像（図１の画像群１０１）から間引いた動画像（図１の画像群１０２）であり、この結果、表示画像の動きに不自然な動きが発生してしまうという表示上の問題があった。
【００３６】
【発明が解決しようとする課題】
本発明は、このような状況に鑑みてなされたものであり、受信側の表示装置の表示できる最大のフレームレートが低フレームレートである場合であっても、そのフレームレートで表示した際に、表示画像の動きの不自然さの発生を防止することを可能とした画像処理装置、画像処理方法、および画像フレームデータ記憶媒体、並びにコンピュータ・プログラムを提供することを目的とする。
【００３７】
本発明は、複数の階層を設定したフレームレートデータを適用することにより、画像データを転送あるいは蓄積し、これらのデータを適用した処理を実行することで、表示画像の動きの不自然さを発生させない画像処理装置、画像処理方法、および画像フレームデータ記憶媒体、並びにコンピュータ・プログラムを提供することを目的とする。
【００３８】
【課題を解決するための手段】
本発明の第１の側面は、
異なるフレームレートに基づく画像再生処理に適用する画像フレームデータを生成する画像処理装置であり、
高フレームレートで取得した時間的に連続する複数の画像フレームデータの合成処理により低フレームレートの画像フレームデータを生成する画像フレーム変換処理手段と、
高フレームレートの画像フレームデータ中、前記低フレームレートの画像フレームデータを利用して復元可能な画像フレームデータの間引き処理を行なう画像フレーム選択処理手段とを有し、
前記低フレームレートの画像フレームデータを下位階層データとし、前記高フレームレートの画像フレームデータの間引き処理後データを上位階層データとして、該複数階層のデータを異なるフレームレートに基づく画像再生処理に適用する画像フレームデータとして設定する構成を有することを特徴とする画像処理装置にある。
【００３９】
さらに、本発明の画像処理装置の一実施態様において、前記画像フレーム変換処理手段は、前記高フレームレートの画像フレームデータの合成処理により中フレームレートの画像フレームデータを生成し、さらに、生成した中フレームレートの画像フレームデータの合成処理により低フレームレートの画像フレームデータを生成する構成であり、前記画像フレーム選択処理手段は、前記中フレームレートの画像フレームデータ中、前記低フレームレートの画像フレームデータを利用して復元可能な画像フレームデータの間引き処理を行なう構成でり、前記低フレームレートの画像フレームデータを下位階層データとし、前記中フレームレートの画像フレームデータの間引き処理後データを中位階層データとし、前記高フレームレートの画像フレームデータの間引き処理後データを上位階層データとして、該複数階層のデータを異なるフレームレートに基づく画像再生処理に適用する画像フレームデータとして設定する構成を有することを特徴とする。
【００４０】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに圧縮処理手段を有し、該圧縮処理手段は、前記複数階層のデータの圧縮処理を実行する構成であることを特徴とする。
【００４１】
さらに、本発明の画像処理装置の一実施態様において、前記画像フレーム変換処理手段は、高フレームレートで取得した時間的に連続する複数の画像フレームデータ｛Ａ_ｘ〜Ａ_ｘ＋ｎ｝に基づいて、１つの低フレームレートの画像フレームデータ｛Ｂ_ｘ｝を下記式、
Ｂ_ｘ＝（Ａ_ｘ＋Ａ_ｘ＋１・・＋Ａ_ｘ＋ｎ）／ｎ
に基づいて生成する処理を実行する構成であることを特徴とする。
【００４２】
さらに、本発明の第２の側面は、
複数階層データの画像データに基づいて、表示装置の処理フレームレートに応じた画像フレームデータを生成する画像処理装置であり、
下位階層データに含まれる低フレームレートの画像フレームデータと、上位階層データに含まれる間引き後の高フレームレートの画像フレームデータに基づいて、間引きされた高フレームレートの画像フレームデータを復元するフレームデータ復元処理手段と、
前記上位階層データに含まれる間引き後の高フレームレートの画像フレームデータと、前記フレームデータ復元処理手段によって復元された間引きされた高フレームレートの画像フレームデータを選択出力する選択出力手段と、
を有することを特徴とする画像処理装置にある。
【００４３】
さらに、本発明の画像処理装置の一実施態様において、前記フレームデータ復元処理手段は、下位階層データに含まれる低フレームレートの画像フレームデータと、上位階層データに含まれる間引き後の中フレームレートの画像フレームデータに基づいて、間引きされた中フレームレートの画像フレームデータを復元するとともに、復元した中フレームレートの画像フレームデータと、さらに上位階層データに含まれる間引き後の高フレームレートの画像フレームデータに基づいて、間引きされた高フレームレートの画像フレームデータを復元する処理を実行する構成であることを特徴とする。
【００４４】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに伸長処理手段を有し、該伸長処理手段は、前記複数階層のデータの伸長処理を実行する構成であることを特徴とする。
【００４５】
さらに、本発明の第３の側面は、
異なるフレームレートに基づく画像再生処理に適用する画像フレームデータを格納した画像フレームデータ記憶媒体であって、
高フレームレートで取得した時間的に連続する複数の画像フレームデータの合成処理により生成した低フレームレートの画像フレームデータを下位階層データとし、
前記高フレームレートの画像フレームデータ中、前記低フレームレートの画像フレームデータを利用して復元可能な画像フレームデータを間引き処理した後のデータを上位階層データとし、
複数階層のデータを異なるフレームレートに基づく画像再生処理に適用する画像フレームデータとして格納したことを特徴とする画像フレームデータ記憶媒体にある。
【００４６】
さらに、本発明の画像フレームデータ記憶媒体の一実施態様において、前記複数階層のデータは圧縮データとして格納したことを特徴とする。
【００４７】
さらに、本発明の第４の側面は、
異なるフレームレートに基づく画像再生処理に適用する画像フレームデータを生成する画像処理方法であり、
高フレームレートで取得した時間的に連続する複数の画像フレームデータの合成処理により低フレームレートの画像フレームデータを生成する画像フレーム変換処理ステップと、
高フレームレートの画像フレームデータ中、前記低フレームレートの画像フレームデータを利用して復元可能な画像フレームデータの間引き処理を行なう画像フレーム選択処理ステップとを有し、
前記低フレームレートの画像フレームデータを下位階層データとし、前記高フレームレートの画像フレームデータの間引き処理後データを上位階層データとして、該複数階層のデータを異なるフレームレートに基づく画像再生処理に適用する画像フレームデータを生成することを特徴とする画像処理方法にある。
【００４８】
さらに、本発明の画像処理方法の一実施態様において、前記画像フレーム変換処理ステップは、前記高フレームレートの画像フレームデータの合成処理により中フレームレートの画像フレームデータを生成し、さらに、生成した中フレームレートの画像フレームデータの合成処理により低フレームレートの画像フレームデータを生成するステップを含み、前記画像フレーム選択処理ステップは、前記中フレームレートの画像フレームデータ中、前記低フレームレートの画像フレームデータを利用して復元可能な画像フレームデータの間引き処理を行なうステップを含み、前記低フレームレートの画像フレームデータを下位階層データとし、前記中フレームレートの画像フレームデータの間引き処理後データを中位階層データとし、前記高フレームレートの画像フレームデータの間引き処理後データを上位階層データとして、該複数階層のデータを異なるフレームレートに基づく画像再生処理に適用する画像フレームデータとして生成することを特徴とする。
【００４９】
さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに圧縮処理ステップを有し、該圧縮処理ステップは、前記複数階層のデータの圧縮処理を実行することを特徴とする。
【００５０】
さらに、本発明の画像処理方法の一実施態様において、前記画像フレーム変換処理ステップは、高フレームレートで取得した時間的に連続する複数の画像フレームデータ｛Ａ_ｘ〜Ａ_ｘ＋ｎ｝に基づいて、１つの低フレームレートの画像フレームデータ｛Ｂ_ｘ｝を下記式、
Ｂ_ｘ＝（Ａ_ｘ＋Ａ_ｘ＋１・・＋Ａ_ｘ＋ｎ）／ｎ
に基づいて生成する処理を実行することを特徴とする。
【００５１】
さらに、本発明の第５の側面は、
複数階層データの画像データに基づいて、表示装置の処理フレームレートに応じた画像フレームデータを生成する画像処理方法であり、
下位階層データに含まれる低フレームレートの画像フレームデータと、上位階層データに含まれる間引き後の高フレームレートの画像フレームデータに基づいて、間引きされた高フレームレートの画像フレームデータを復元するフレームデータ復元処理ステップと、
前記上位階層データに含まれる間引き後の高フレームレートの画像フレームデータと、前記フレームデータ復元処理ステップによって復元された間引きされた高フレームレートの画像フレームデータを選択出力する選択出力ステップと、
を有することを特徴とする画像処理方法にある。
【００５２】
さらに、本発明の画像処理方法の一実施態様において、前記フレームデータ復元処理ステップは、下位階層データに含まれる低フレームレートの画像フレームデータと、上位階層データに含まれる間引き後の中フレームレートの画像フレームデータに基づいて、間引きされた中フレームレートの画像フレームデータを復元するとともに、復元した中フレームレートの画像フレームデータと、さらに上位階層データに含まれる間引き後の高フレームレートの画像フレームデータに基づいて、間引きされた高フレームレートの画像フレームデータを復元する処理を実行するステップを含むことを特徴とする。
【００５３】
さらに、本発明の画像処理方法の一実施態様において、前記画像処理方法は、さらに伸長処理ステップを有し、該伸長処理ステップは、前記複数階層のデータの伸長処理を実行することを特徴とする。
【００５４】
さらに、本発明の第６の側面は、
異なるフレームレートに基づく画像再生処理に適用する画像フレームデータを生成する画像処理を実行するコンピュータ・プログラムであって、
高フレームレートで取得した時間的に連続する複数の画像フレームデータの合成処理により低フレームレートの画像フレームデータを生成する画像フレーム変換処理ステップと、
高フレームレートの画像フレームデータ中、前記低フレームレートの画像フレームデータを利用して復元可能な画像フレームデータの間引き処理を行なう画像フレーム選択処理ステップと、
前記低フレームレートの画像フレームデータを下位階層データとし、前記高フレームレートの画像フレームデータの間引き処理後データを上位階層データとして複数階層のデータを異なるフレームレートに基づく画像再生処理に適用する画像フレームデータとして設定するステップと、
を有することを特徴とするコンピュータ・プログラムにある。
【００５５】
さらに、本発明の第７の側面は、
複数階層データの画像データに基づいて、表示装置の処理フレームレートに応じた画像フレームデータを生成する画像処理を実行するコンピュータ・プログラムであって、
下位階層データに含まれる低フレームレートの画像フレームデータと、上位階層データに含まれる間引き後の高フレームレートの画像フレームデータに基づいて、間引きされた高フレームレートの画像フレームデータを復元するフレームデータ復元処理ステップと、
前記上位階層データに含まれる間引き後の高フレームレートの画像フレームデータと、前記フレームデータ復元処理ステップによって復元された間引きされた高フレームレートの画像フレームデータを選択出力する選択出力ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
【００５６】
【作用】
本発明の構成によれば、異なる処理フレームレートを持つ表示装置において最適なフレームレートでの表示に適応する画像データを複数の階層からなる画像フレームデータとして提供可能となり、また複数の階層データに基づいて異なるフレームレートでの画像再生が可能となる。さらに、本発明の構成においては、低フレームレートの画像データを、高フレームレートの時間的に連続する複数画像に基づいて生成する構成としたので、それぞれの再生フレームレートに応じたモーションブラを発生することが可能となり、動きに違和感のない再生フレームレートに適応した画像の再生、表示が実行可能となる。
【００５７】
また、本発明の構成に従えば、複数の階層からなる画像フレームデータ中、高位のフレームレートの画像群の階層データは、間引きされた画像フレームデータとして設定可能となり、送信あるいは記憶データ量を削減することが可能となる。
【００５８】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００５９】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【００６０】
【発明の実施の形態】
以下、図面を参照しながら、本発明の装置および方法の詳細について説明する。
【００６１】
まず、本発明の構成の概略について説明する。本発明の構成においては、画像データ送信側からの送信画像中、低フレームレートの動画像を送る階層（第１の階層）において、モーションブラ（被写体の動きによる「ぼけ」）のかかった画像を送信する。
【００６２】
低フレームレートの表示処理を行なう非用事装置においては、この第１の階層から送られてくるデータのみから動画像データを復元すると、モーションブラのかかった画像より成る動画像を表示することが出来る。これにより、受信側の表示装置の表示できる最大のフレームレートに限界がある場合、例えば低フレームレートの画像データの表示のみが可能な構成であっても、なめらかな動きの動画像を表示することを可能とした。本発明の実施例についての詳細を以下で述べる。
【００６３】
前述した従来例の説明においては、動画像の送信データとして２つの階層を使う場合について述べてきたが、本発明を説明するにあたり、３つ以上の階層を使うことも可能であることを示すために、３つの階層でデータを送信する構成例について説明することにする。なお、本発明の構成は、２以上の複数階層のデータ送受信構成において適用できるものである。
【００６４】
本実施例における画像データの表示処理装置の表示処理態様として、
（１）３０フレーム／秒のフレームレート
（２）６０フレーム／秒のフレームレート
（３）１２０フレーム／秒のフレームレート
の低、中、高の３種類のフレームレートを想定する。
【００６５】
受信側が３０フレーム／秒の低フレームレートでしか表示できない表示装置を適用した表示を行なう場合には、第１の階層（下位階層）のデータのみを利用して、３０フレーム／秒の動画像をなめらかに表示する。受信側が６０フレーム／秒の中フレームレートでしか表示できない表示装置を適用した表示を行なう場合には、第１の階層（下位階層）と第２の階層（中位階層）のデータのみを利用して、６０フレーム／秒の動画像をなめらかに表示する。受信側が１２０フレーム／秒の高フレームレートで表示できる表示装置を適用した表示を行なう場合には、第１の階層（下位階層）と第２の階層（中位階層）と第３の階層（上位階層）のデータを利用して、１２０フレーム／秒の動画像をなめらかに表示する。このように、各種のフレームレートに適合した表示画像の生成、送受信、表示処理を実現する装置および方法について説明する。
【００６６】
まず、動画像データの生成、送信処理について説明する。動画像データのオリジナル画像は高速撮影が可能なカメラで、フレームレートが１２０フレーム／秒の動画像を撮影して取得したものとする。各画像は、１／１２０秒の露出時間をかけて撮影されている。これをオリジナル動画像とする。
【００６７】
次に、このオリジナル動画像から、フレームレートが６０フレーム／秒であり、かつ各画像が１／６０秒の露出時間をかけて撮影された場合とまったく同一の動画像を作成する。さらに、フレームレートが３０フレーム／秒であり、かつ各画像が１／３０秒の露出時間をかけて撮影された場合とまったく同一の動画像を作成する。
【００６８】
上述の処理によって、フレームレートが３０フレーム／秒の動画像データからなる第１の階層データ、フレームレートが６０フレーム／秒であり、かつ各画像が１／６０秒の露出時間をかけて撮影された場合とまったく同一の動画像データを第２の階層データ、さらに、フレームレートが１２０フレーム／秒であり、かつ各画像が１／１２０秒の露出時間をかけて撮影された場合とまったく同一の動画像データを第３の階層のデータとして伝送する。
【００６９】
図１０に、上述した３つの階層、すなわち第１の階層、第２の階層、および、第３の階層のデータを生成する手順を説明するフローチャートを示す。まず、図１０のステップＳ１０１において、オリジナルの１２０フレーム／秒の高フレームレート動画像を入力する。ここで、オリジナルの動画像を構成している各画像をＡ１、Ａ２、…、Ａｎ、…とする。即ち、Ａ１が、この動画像の最初の画像であり、時刻０から１／１２０秒までの間、露光されることで作られた画像である。Ａ２は、２番目の画像であり、１／１２０秒から２／１２０秒までの間、露光されることで作られた画像である。Ａ３以降も同様である。
【００７０】
ステップＳ１０１の後、ステップＳ１０２に進む。ステップＳ１０２では、フレームレートが６０フレーム／秒であり、かつ各画像が１／６０秒の露出時間をかけて撮影された場合とまったく同一の動画像を作成する。この動画像の各画像を、Ｂ１、Ｂ２、…、Ｂｍ、…とする。
【００７１】
１／６０秒の露出時間をかけて撮影された場合とまったく同一の動画像の具体的な生成方法について説明する。
【００７２】
オリジナルの１２０フレーム／秒の高フレームレート動画像を構成する画像フレームデータＡ１と画像フレームデータＡ２の平均値「（Ａ１＋Ａ２）÷２」を算出し、これを６０フレーム／秒の中フレームレート動画像を構成する画像フレームデータＢ１とする。具体的には、高フレームレート動画像を構成する画像フレームデータＡ１の各画素の画素値と、画像フレームデータＡ２の対応画素の画素値との加算値の１／２を、６０フレーム／秒の中フレームレート動画像を構成する画像フレームデータＢ１の各画素の画素値として設定して画像フレームデータＢ１を生成する。
【００７３】
画像フレームデータＡ１は、時刻０から１／１２０秒までの間、露光されることで作られた画像であり、画像フレームデータＡ２は、１／１２０秒から２／１２０秒までの間、露光されることで作られた画像であるから、これら２つの画像を加算することは、時刻０から２／１２０秒までの間、露光されることで作られる画像と等価である。なお、（Ａ１＋Ａ２）を２で割っているのは、明るさを変更しないためである。
【００７４】
この処理によって、画像フレームデータＢ１を、時刻０から１／６０秒までの間、露光されることで作られた画像、すなわち１／６０秒の露出時間をかけて撮影された場合とまったく同一の動画像として作成することができる。
【００７５】
同様に、オリジナルの１２０フレーム／秒の高フレームレート動画像を構成する画像フレームデータＡ３とＡ４の平均値「（Ａ３＋Ａ４）÷２」を６０フレーム／秒の中フレームレート動画像を構成する画像フレームデータＢ２とする。Ａ３は、時刻２／１２０秒から３／１２０秒までの間、露光されることで作られた画像であり、Ａ４は、３／１２０秒から４／１２０秒までの間、露光されることで作られた画像であるから、これら２つの画像を加算することは、時刻２／１２０秒から４／１２０秒までの１／６０秒間、露光されることで作られる画像と等価である。なお、（Ａ３＋Ａ４）を２で割っているのは、明るさを変更しないためである。
【００７６】
以下、同様にして、オリジナルの１２０フレーム／秒の高フレームレート動画像を構成する画像フレームデータＡ_２ｍとＡ_２ｍ＋１の平均値「（Ａ_２ｍ＋Ａ_２ｍ＋１）÷２」を６０フレーム／秒の中フレームレート動画像を構成する画像フレームデータＢｍとする。
【００７７】
このようにして、フレームレートが６０フレーム／秒であり、かつ各画像が１／６０秒の露出時間をかけて撮影された場合とまったく同一の動画像（Ｂ１、Ｂ２、…、Ｂｍ、…）を作成する。なお、Ｂ１が、この動画像の最初の画像であり、時刻０から１／６０秒までの間、露光されることで作られた画像である。Ｂ２は、２番目の画像であり、１／６０秒から２／６０秒までの間、露光されることで作られた画像である。Ｂ３以降も同様である。
【００７８】
ステップＳ１０２の後、ステップＳ１０３に進む。ステップＳ１０３では、フレームレートが３０フレーム／秒であり、かつ各画像が１／３０秒の露出時間をかけて撮影された場合とまったく同一の動画像を作成する。この動画像の各画像を、Ｃ１、Ｃ２、…、Ｃｋ、…とする。
【００７９】
具体的には、ステップＳ１０２において生成した６０フレーム／秒の中フレームレート動画像を構成する画像フレームデータＢ１とＢ２の平均値「（Ｂ１＋Ｂ２）÷２」を算出し、これを３０フレーム／秒の中フレームレート動画像を構成する画像フレームデータＣ１とする。具体的には、中フレームレート動画像を構成する画像フレームデータＢ１の各画素の画素値と、画像フレームデータＢ２の対応画素の画素値との加算値の１／２を、３０フレーム／秒の低フレームレート動画像を構成する画像フレームデータＣ１の各画素の画素値として設定して画像フレームデータＣ１を生成する。
【００８０】
画像フレームデータＢ１は、時刻０から１／６０秒までの間、露光された場合と同等の画像であり、画像フレームデータＢ２は、１／６０秒から２／６０秒までの間、露光され露光された場合と同等の画像であるから、これら２つの画像を加算することは、時刻０から２／６０秒までの１／３０秒間、露光されることで作られる画像と等価となる。なお、（Ｂ１＋Ｂ２）を２で割っているのは、明るさを変更しないためである。
【００８１】
同様に、６０フレーム／秒の中フレームレート動画像を構成する画像フレームデータＢ３とＢ４の平均値「（Ｂ３＋Ｂ４）÷２」を３０フレーム／秒の低フレームレート動画像を構成する画像フレームデータＣ２とする。Ｂ３は、時刻２／６０秒から３／６０秒までの間、露光されることで作られた画像であり、Ｂ４は、３／６０秒から４／６０秒までの間、露光されることで作られた画像であるから、これら２つの画像を加算することは、時刻２／６０秒から４／６０秒までの１／３０秒間、露光されることで作られる画像と等価である。なお、（Ｂ３＋Ｂ４）を２で割っているのは、明るさを変更しないためである。
【００８２】
以下、同様にして、６０フレーム／秒の中フレームレート動画像を構成する画像フレームデータＢ_２ｋとＢ_２ｋ＋１の平均値「（Ｂ_２ｋ＋Ｂ_２ｋ＋１）÷２」を３０フレーム／秒の低フレームレート動画像を構成する画像フレームデータＣｋとする。
【００８３】
このようにして、フレームレートが３０フレーム／秒であり、かつ各画像が１／３０秒の露出時間をかけて撮影された場合とまったく同一の動画像（Ｃ１、Ｃｃ、…、Ｃｋ、…）を作成する。なお、Ｃ１が、この動画像の最初の画像であり、時刻０から１／３０秒までの間、露光されることで作られた画像である。Ｃ２は、２番目の画像であり、１／３０秒から２／３０秒までの間、露光されることで作られた画像である。Ｃ３以降も同様である。
【００８４】
ステップＳ１０３の後、ステップＳ１０４に進む。ステップＳ１０４では、第１の階層のデータ、すなわち、３０フレーム／秒の低フレームレート動画像の圧縮データを生成する。すなわち、ステップＳ１０３において生成した画像群｛Ｃ１、Ｃ２、…、Ｃｋ、…｝に対して、圧縮を行う。例えば、ＭＣ（動き補償）とＤＣＴ（離散コサイン変換）による圧縮処理を適用することが可能である。なお、ＭＣやＤＣＴは、圧縮の分野で行われる常套手段であり、その詳細説明を省略する。
【００８５】
ステップＳ１０４の後、ステップＳ１０５に進む。ステップＳ１０５では、第２の階層のデータ、すなわち、６０フレーム／秒の中フレームレート動画像の圧縮データを生成する。すなわち、ステップＳ１０２において生成した画像群｛Ｂ１、Ｂ２、…、Ｂｍ、…｝に対して、圧縮を行う。
【００８６】
第２の階層のデータを受信側で使う時には、必ず、第１の階層のデータも受信するようにしているので、この圧縮において、第１の階層のデータをヒントに使用しながら圧縮を行っても良い。つまり、第１の階層のデータから復元することの出来る３０フレーム／秒の低フレームレート動画像を構成する画像群｛Ｃ１、Ｃ２、…、Ｃｋ、…｝をヒントにして、圧縮を行っても良い。Ｃ１＝（Ｂ１＋Ｂ２）÷２であるから、第２の階層のデータ内に６０フレーム／秒の中フレームレートの画像フレームデータＢ２に関する情報が一切なくても、画像フレームデータＢ１に関するデータがあれば、Ｂ２＝（２×Ｃ１）−Ｂ１として画像フレームデータＢ２が復元できる。
【００８７】
つまり、画像フレームデータＢ２に関しては、第２の階層のデータとして送信する必要はない。同様に考えて、Ｂ４、Ｂ６、Ｂ８、…に関しては、第２の階層のデータとして送信する必要はない。そこで、６０フレーム／秒の中フレームレートの画像群中の画像フレームデータ画像Ｂ１、Ｂ３、Ｂ５、…という画像群のみを考え、この画像群に対して、圧縮を行う。例えば、ＭＣ（動き補償）とＤＣＴ（離散コサイン変換）により圧縮を行えば良い。もちろん、ＭＣには、参照となる基準画像が必要であるが、この基準画像は画像群｛Ｂ１、Ｂ３、Ｂ５、…｝の中の画像である必要はなく、画像群｛Ｃ１、Ｃ２、…、Ｃｋ、…｝の中の画像であっても良い。これは、スケーラビリティという方式を導入するときに、下位の階層に対応する画像のＭＣによる圧縮において上位の階層の画像を基準画像に使っても良いという既知の事実であり、詳細説明を省略する。
【００８８】
ステップＳ１０５の後、ステップＳ１０６に進む。ステップＳ１０６では、第３の階層のデータ、すなわち、１２０フレーム／秒の高フレームレート動画像の圧縮データを生成する。具体的には、画像群｛Ａ１、Ａ２、…、Ａｎ、…｝に対して、圧縮を行う。第３の階層のデータを受信側で使う時には、必ず、第１の階層および第２の階層のデータも受信するようにしているので、この圧縮において、第１の階層および第２の階層のデータをヒントに使用しながら圧縮を行っても良い。
【００８９】
つまり、第１の階層のデータから復元することの出来る３０フレーム／秒の低フレームレート画像群｛Ｃ１、Ｃ２、…、Ｃｋ、…｝、および、第２の階層のデータから復元することの出来る６０フレーム／秒の中フレームレート画像群｛Ｂ１、Ｂ２、…、Ｂｍ、…｝をヒントにして、圧縮を行っても良い。Ｂ１＝（Ａ１＋Ａ２）÷２であるから、１２０フレーム／秒の高フレームレート画像データからなる第３の階層のデータ内に１２０フレーム／秒の高フレームレートの画像フレームデータＡ２に関する情報が一切なくても、画像フレームデータＡ１に関するデータがあれば、Ａ２＝（２×Ｂ１）−Ａ１として画像フレームデータＡ２が復元できる。
【００９０】
つまり、画像フレームデータＡ２に関しては、第３の階層のデータとして送信する必要はない。同様に考えて、Ａ４、Ａ６、Ａ８、…に関しては、第３の階層のデータとして送信する必要はない。そこで、１２０フレーム／秒の高フレームレートの画像群中の画像フレームデータＡ１、Ａ３、Ａ５、…という画像群のみを考え、この画像群に対して、圧縮を行う。例えば、ＭＣ（動き補償）とＤＣＴ（離散コサイン変換）を適用した圧縮を行えば良い。もちろん、ＭＣには、参照となる基準画像が必要であるが、この基準画像は画像群｛Ａ１、Ａ３、Ａ５、…｝の中の画像である必要はなく、画像群｛Ｃ１、Ｃ２、…、Ｃｋ、…｝や画像群｛Ｂ１、Ｂ２、…、Ｂｍ、…｝の中の画像であっても良い。
【００９１】
ステップＳ１０６の後、ステップＳ１０７に進む。ステップＳ１０７では、ステップＳ１０４、Ｓ１０５、Ｓ１０６で作成した第１の階層のデータ、第２の階層のデータ、および、第３の階層のデータを送信する。あるいは、蓄積メディアに記録して、その蓄積メディアを配布する。
【００９２】
次に、図１０を参照して説明した処理を実行する画像処理装置の構成例について図１１を参照して説明する。図１０の処理フローを参照して説明した処理は、ソフトウェアおよびハードウェアによる複合構成によって処理可能であり、具体的には、例えばＰＣ等、ＣＰＵの制御手段と、ＲＡＭ、ＲＯＭ等のメモリ部を備えたデータ処理装置によって処理可能である。ＰＣ等によって実現されるデータ処理装置の構成については、後段で説明する。ここでは、ＰＣ等におけるＣＰＵによって実行する機能をブロック化して示した図１１の機能ブロック図を参照して、図１０に示すフローを実現する処理装置構成について説明する。
【００９３】
画像処理装置に対して入力する画像フレームデータは、図１１の左上部に示す高フレームレートのオリジナルの１２０フレーム／秒の高フレームレート画像データＡ１、Ａ２、…、Ａｎ、…である。
【００９４】
画像フレームレート変換処理部３１１は、高フレームレート画像データＡ１、Ａ２、…、Ａｎ、…を入力し、フレームレートが６０フレーム／秒であり、かつ各画像が１／６０秒の露出時間をかけて撮影された場合とまったく同一の動画像Ｂ１、Ｂ２、…、Ｂｍ、…を作成する。具体的には、オリジナルの１２０フレーム／秒の高フレームレート動画像を構成する画像フレームデータＡ_２ｍとＡ_２ｍ＋１の平均値「（Ａ_２ｍ＋Ａ_２ｍ＋１）÷２」を６０フレーム／秒の中フレームレート動画像を構成する画像フレームデータＢｍとする処理により６０フレーム／秒のフレームレートの動画像Ｂ１、Ｂ２、…、Ｂｍ、…を生成する。
【００９５】
画像フレームレート変換処理部３１２は、中フレームレート画像データＢ１、Ｂ２、…、Ｂｎ、…を入力し、フレームレートが３０フレーム／秒であり、かつ各画像が１／３０秒の露出時間をかけて撮影された場合とまったく同一の動画像Ｃ１、Ｃ２、…、Ｃｋ、…を作成する。具体的には、入力する６０フレーム／秒の中フレームレート動画像を構成する画像フレームデータＢ_２ｋとＢ_２ｋ＋１の平均値「（Ｂ_２ｋ＋Ｂ_２ｋ＋１）÷２」を３０フレーム／秒の低フレームレート動画像を構成する画像フレームデータＣｋとする処理により３０フレーム／秒のフレームレートの動画像Ｃ１、Ｃ２、…、Ｃｋ、…を生成する。
【００９６】
画像フレーム選択部３１３は、オリジナルの高フレームレート画像データＡ１、Ａ２、…、Ａｎ、…を入力して、出力すべき第３階層のデータの構成データとして１つおきのフレームデータＡ１、Ａ３、Ａ５…を選択して圧縮処理部Ａ３１４に出力する。
【００９７】
圧縮処理部Ａ３１４は、高フレームレート画像データを構成する１つおきのフレームデータＡ１、Ａ３、Ａ５…を入力して、例えば、ＭＣ（動き補償）とＤＣＴ（離散コサイン変換）を適用した圧縮、例えばＭＰＥＧ圧縮を実行して圧縮データとしての第３の階層のデータ｛Ａ１、Ａ３、Ａ５、…｝を生成して出力する。
【００９８】
また、画像フレーム選択部３１５は、画像フレームレート変換処理部３１１から中フレームレート画像データＢ１、Ｂ２、…、Ｂｎ、…を入力して、出力すべき第２階層のデータの構成データとして１つおきのフレームデータＢ１、Ｂ３、Ｂ５…を選択して圧縮処理部Ｂ３１６に出力する。
【００９９】
圧縮処理部Ｂ３１６は、中フレームレート画像データを構成する１つおきのフレームデータＢ１、Ｂ３、Ｂ５…を入力して、例えば、ＭＣ（動き補償）とＤＣＴ（離散コサイン変換）を適用した圧縮、例えばＭＰＥＧ圧縮を実行して圧縮データとしての第２の階層のデータ｛Ｂ１、Ｂ３、Ｂ５、…｝を生成して出力する。
【０１００】
圧縮処理部Ｃ３１７は、画像フレームレート変換処理部３１２から低フレームレート画像データＣ１、Ｃ２、…、Ｃｎ、…を入力して、他の圧縮処理部と同様の例えばＭＰＥＧ圧縮を実行して圧縮データとしての第１の階層のデータ｛Ｃ１、Ｃ２、Ｃ３、…｝を生成して出力する。
【０１０１】
なお、これらの複数階層のデータは、インターネット等の通信網を介して配信して、様々な画像表示装置を有するユーザに対して提供するか、あるいは、ＣＤ、ＤＶＤ、フラッシュメモリ等の半導体メモリ等各種の記憶媒体にデータを格納した画像フレームデータ記憶媒体としてユーザに提供することが可能である。
【０１０２】
ＣＤ、ＤＶＤ、フラッシュメモリ等の半導体メモリ等各種の記憶媒体に格納するデータは、高フレームレートで取得した時間的に連続する複数の画像フレームデータの合成処理により生成した中位または低位のフレームレートの画像フレームデータからなる中位、下位階層データと、高位または中位フレームレートの画像フレームデータ中、低フレームレートの画像フレームデータを利用して復元可能な画像フレームデータを間引き処理した後のデータからなる上位、中位階層データとを含む複数階層のデータとなる。
【０１０３】
次に、上述した複数階層のデータを受信し、受信データに基づいて表示装置に対して出力する画像データを生成するデータ受信側の処理について説明する。
【０１０４】
まず、受信側が３０フレーム／秒のフレームレートでしか表示できない画像表示装置に対して出力する画像データを生成する場合の処理について、図１２に示すフローチャートを参照しながら、説明する。
【０１０５】
データ受信側においては、まず、図１２のステップＳ２０１において、第１の階層のデータ、すなわち、３０フレーム／秒の低フレームレート画像群｛Ｃ１、Ｃ２、…、Ｃｋ、…｝の圧縮データを受信する。もし蓄積メディアによる配布であるならば、その蓄積メディアを再生して、第１の階層のデータを取り出す。
【０１０６】
ステップＳ２０１のデータ受信処理の後、ステップＳ２０２に進む。ステップＳ２０２では、第１の階層のデータを伸長して、画像群｛Ｃ１、Ｃ２、…、Ｃｋ、…｝を復元する。これは、具体的には、例えば、ＭＣとＩＤＣＴ（逆離散コサイン変換）を適用した伸長処理として実行される。
【０１０７】
ステップＳ２０２の伸長処理の後、ステップＳ２０３に進む。ステップＳ２０３では、ステップＳ２０２で復元された画像群｛Ｃ１、Ｃ２、…、Ｃｋ、…｝を、１／３０秒単位で、Ｃ１から順番に表示装置で表示していく。
【０１０８】
画像群｛Ｃ１、Ｃ２、…、Ｃｋ、…｝より成る動画像は、フレームレートが３０フレーム／秒であり、かつ各画像が１／３０秒の露出時間をかけて撮影したと同等の動画像であり、動作のある物体を撮影している場合には、１／３０秒のモーションブラが各画像にはかかっており、それを３０フレーム／秒で表示することになるので、表示画像の動きは自然なものとなる。
【０１０９】
次に、図１２を参照して説明した処理を実行する画像処理装置の構成例について図１３を参照して説明する。図１２の処理フローを参照して説明した処理は、ソフトウェアおよびハードウェアによる複合構成によって処理可能であり、具体的には、例えばＰＣ等、ＣＰＵの制御手段と、ＲＡＭ、ＲＯＭ等のメモリ部を備えたデータ処理装置によって処理可能である。ＰＣ等によって実現されるデータ処理装置の構成については、後段で説明する。ここでは、ＰＣ等におけるＣＰＵによって実行する機能をブロック化して示した図１３の機能ブロック図を参照して、図１２に示すフローを実現する処理装置構成について説明する。
【０１１０】
受信側が３０フレーム／秒のフレームレートでしか表示できない画像表示装置としての表示部５１２に対して出力する画像データを生成する場合、入力データは、第１の階層のデータ、すなわち、３０フレーム／秒の低フレームレート画像群｛Ｃ１、Ｃ２、…、Ｃｋ、…｝の圧縮データである。伸長処理部Ｃ５１１は、この第１の階層のデータを伸長して、画像群｛Ｃ１、Ｃ２、…、Ｃｋ、…｝を復元する。これは、具体的には、例えば、ＭＣとＩＤＣＴ（逆離散コサイン変換）を適用した伸長処理として実行される。
【０１１１】
伸長処理データとしての画像群｛Ｃ１、Ｃ２、…、Ｃｋ、…｝は、表示部５１２に出力され、１／３０秒単位で、Ｃ１から順番に表示装置で表示される。すなわち、表示装置の処理フレームに応じた３０フレーム／秒での表示処理が実行される。
【０１１２】
次に、受信側が６０フレーム／秒のフレームレートでしか表示できない画像表示装置に表示する画像データを生成する場合の処理について、図１４に示すフローチャートを参照しながら、説明する。
【０１１３】
データ受信側においては、まず、図１４のステップＳ３０１において、第１の階層のデータおよび第２の階層のデータ、すなわち、３０フレーム／秒の低フレームレート画像群｛Ｃ１、Ｃ２、…、Ｃｋ、…｝の圧縮データと、６０フレーム／秒の中フレームレート画像群｛Ｂ１、Ｂ３、Ｂ５…｝の圧縮データを受信する。もし蓄積メディアによる配布であるならば、その蓄積メディアを再生して、第１の階層のデータおよび第２の階層のデータを取り出す。
【０１１４】
ステップＳ３０１のデータ受信処理の後、ステップＳ３０２に進む。ステップＳ３０２では、第１の階層のデータを伸長して、画像群｛Ｃ１、Ｃ２、…、Ｃｋ、…｝を復元する。これは、具体的には、例えば、ＭＣとＩＤＣＴ（逆離散コサイン変換）により伸長を行う。
【０１１５】
ステップＳ３０２の伸長処理の後、ステップＳ３０３に進む。ステップＳ３０３では、第２の階層のデータを伸長して、画像群｛Ｂ１、Ｂ３、Ｂ５、…｝を復元する。これは、具体的には、例えば、ＭＣとＩＤＣＴ（逆離散コサイン変換）により伸長を行う。この際、もし必要ならば、ステップＳ３０２において復元された画像群｛Ｃ１、Ｃ２、…、Ｃｋ、…｝を適用して、画像群｛Ｂ１、Ｂ３、Ｂ５、…｝を復元する。
【０１１６】
ステップＳ３０３の処理の後、ステップＳ３０４に進む。ステップＳ３０４では、第２階層データとして受信している６０フレーム／秒の中フレームレート画像群｛Ｂ１、Ｂ３、Ｂ５…｝に含まれない画像群｛Ｂ２、Ｂ４、Ｂ６、…｝を計算する。これは、具体的には、ステップＳ３０２で復元した３０フレーム／秒の低フレームレート画像群｛Ｃ１、Ｃ２、Ｃ３…｝と、ステップＳ３０３で復元した６０フレーム／秒の中フレームレート画像群｛Ｂ１、Ｂ３、Ｂ５…｝とを適用した計算処理：Ｂ２＝（２×Ｃ１）−Ｂ１、Ｂ４＝（２×Ｃ２）−Ｂ３、Ｂ６＝（２×Ｃ３）−Ｂ５により算出する。
【０１１７】
ステップＳ３０４において、６０フレーム／秒の中フレームレート画像群が連続フレームとして再現されると、ステップＳ３０５に進む。ステップＳ３０５では、ステップＳ３０３およびステップＳ３０４で復元された６０フレーム／秒の中フレームレートの画像群｛Ｂ１、Ｂ２、Ｂ３、Ｂ４、…、Ｂｍ、…｝を、１／６０秒単位で、Ｂ１から順番に表示装置で表示していく。
【０１１８】
画像群｛Ｂ１、Ｂ２、Ｂ３、Ｂ４、…、Ｂｍ、…｝より成る動画像は、フレームレートが６０フレーム／秒であり、かつ各画像が１／６０秒の露出時間をかけて撮影された動画像と同等の画像であり、動作のある物体を撮影している場合には、１／６０秒のモーションブラが各画像にはかかっており、それを６０フレーム／秒で表示することになるので、表示画像の動きは自然なものとなる。
【０１１９】
次に、図１４を参照して説明した処理を実行する画像処理装置の構成例について図１５を参照して説明する。図１４の処理フローを参照して説明した処理は、ソフトウェアおよびハードウェアによる複合構成によって処理可能であり、具体的には、例えばＰＣ等、ＣＰＵの制御手段と、ＲＡＭ、ＲＯＭ等のメモリ部を備えたデータ処理装置によって処理可能である。ＰＣ等によって実現されるデータ処理装置の構成については、後段で説明する。ここでは、ＰＣ等におけるＣＰＵによって実行する機能をブロック化して示した図１５の機能ブロック図を参照して、図１４に示すフローを実現する処理装置構成について説明する。
【０１２０】
受信側が６０フレーム／秒のフレームレートでしか表示できない画像表示装置としての表示部５２５に対して出力する画像データを生成する場合、入力データは、第１の階層のデータ、すなわち、３０フレーム／秒の低フレームレート画像群｛Ｃ１、Ｃ２、…、Ｃｋ、…｝の圧縮データと、第２の階層のデータ、すなわち、間引きされた６０フレーム／秒の中フレームレート画像群｛Ｂ１、Ｂ３、Ｂ５…｝の圧縮データである。
【０１２１】
伸長処理部Ｃ５２１は、第１の階層のデータを伸長して、画像群｛Ｃ１、Ｃ２、…、Ｃｋ、…｝を復元する。伸長処理部Ｂ５２２は、第２の階層のデータを伸長して、画像群｛Ｂ１、Ｂ３、Ｂ５…｝を復元する。これは、具体的には、例えば、ＭＣとＩＤＣＴ（逆離散コサイン変換）を適用した伸長処理として実行される。
【０１２２】
フレームデータ復元処理部５２３は、第１の階層のデータを伸長して取得される画像群｛Ｃ１、Ｃ２、…、Ｃｋ、…｝と、第２の階層のデータを伸長して取得される画像群｛Ｂ１、Ｂ３、Ｂ５…｝を入力し、第２の階層のデータ、すなわち６０フレーム／秒の中フレームレート画像群｛Ｂ１、Ｂ３、Ｂ５…｝に含まれない画像群｛Ｂ２、Ｂ４、Ｂ６、…｝を算出して出力する。これは、具体的には、３０フレーム／秒の低フレームレート画像群｛Ｃ１、Ｃ２、Ｃ３…｝と、６０フレーム／秒の中フレームレート画像群｛Ｂ１、Ｂ３、Ｂ５…｝とを適用した計算処理：Ｂ２＝（２×Ｃ１）−Ｂ１、Ｂ４＝（２×Ｃ２）−Ｂ３、Ｂ６＝（２×Ｃ３）−Ｂ５により間引きされた画像群｛Ｂ２、Ｂ４、Ｂ６、…｝を算出して出力する処理である。
【０１２３】
選択出力部５２４は、伸長処理部Ｂ５２２の復元した画像群｛Ｂ１、Ｂ３、Ｂ５…｝と、フレームデータ復元処理部５２３の復元した間引きされた画像群｛Ｂ２、Ｂ４、Ｂ６、…｝を入力し、それぞれをフレームレート単位、ここでは、１／６０秒毎に表示部５２５に交互に出力する。
【０１２４】
表示部５２５は、復元された６０フレーム／秒の中フレームレートの画像群｛Ｂ１、Ｂ２、Ｂ３、Ｂ４、…、Ｂｍ、…｝を、１／６０秒単位で、すなわち、表示装置の処理フレームに応じた６０フレーム／秒での表示を実行する。
【０１２５】
次に、受信側が１２０フレーム／秒のフレームレートで表示できる画像表示装置に表示する画像データを生成する場合の処理について、図１６に示すフローチャートを参照しながら、説明する。
【０１２６】
データ受信側においては、まず、図１６のステップＳ４０１において、第１の階層のデータ、第２の階層のデータおよび第３の階層のデータ、すなわち、３０フレーム／秒の低フレームレート画像群｛Ｃ１、Ｃ２、…、Ｃｋ、…｝の圧縮データと、６０フレーム／秒の中フレームレート画像群｛Ｂ１、Ｂ３、Ｂ５…｝の圧縮データと、１２０フレーム／秒の高フレームレート画像群｛Ａ１、Ａ３、Ａ５…｝の圧縮データとを受信する。もし蓄積メディアによる配布であるならば、その蓄積メディアを再生して、第１の階層のデータ、第２の階層のデータおよび第３の階層のデータを取り出す。
【０１２７】
ステップＳ４０１のデータ受信処理の後、ステップＳ４０２に進む。ステップＳ４０２では、第１の階層のデータを伸長して、画像群｛Ｃ１、Ｃ２、…、Ｃｋ、…｝を復元する。これは、具体的には、例えば、ＭＣとＩＤＣＴ（逆離散コサイン変換）により伸長を行う。
【０１２８】
ステップＳ４０２の伸長処理の後、ステップＳ４０３に進む。ステップＳ４０３では、第２の階層のデータを伸長して、画像群｛Ｂ１、Ｂ３、Ｂ５、…｝を復元する。これは、具体的には、例えば、ＭＣとＩＤＣＴ（逆離散コサイン変換）により伸長を行う。この際、もし必要ならば、ステップ３２において復元された画像群｛Ｃ１、Ｃ２、…、Ｃｋ、…｝を使用して、画像群｛Ｂ１、Ｂ３、Ｂ５、…｝を復元する。
【０１２９】
ステップＳ４０３の処理の後、ステップＳ４０４に進む。ステップＳ４０４では、第２階層データとして受信している６０フレーム／秒の中フレームレート画像群｛Ｂ１、Ｂ３、Ｂ５…｝に含まれない画像群｛Ｂ２、Ｂ４、Ｂ６、…｝を計算する。これは、具体的には、ステップＳ４０２で復元した３０フレーム／秒の低フレームレート画像群｛Ｃ１、Ｃ２、Ｃ３…｝と、ステップＳ４０３で復元した６０フレーム／秒の中フレームレート画像群｛Ｂ１、Ｂ３、Ｂ５…｝とを適用した計算処理：Ｂ２＝（２×Ｃ１）−Ｂ１、Ｂ４＝（２×Ｃ２）−Ｂ３、Ｂ６＝（２×Ｃ３）−Ｂ５により算出される。
【０１３０】
ステップＳ４０４において、６０フレーム／秒の中フレームレート画像群が連続フレームとして再現されると、ステップＳ４０５に進む。ステップＳ４０５では、第３の階層データを伸長して、画像群｛Ａ１、Ａ３、Ａ５、…｝を復元する。これは、具体的には、例えば、ＭＣとＩＤＣＴ（逆離散コサイン変換）により伸長を行う。この際、もし必要ならば、ステップＳ４０２において復元された画像群｛Ｃ１、Ｃ２、…、Ｃｋ、…｝やステップＳ４０３、ステップＳ４０４において復元された画像群｛Ｂ１、Ｂ２、…、Ｂｍ、…｝を使用して、画像群｛Ａ１、Ａ３、Ａ５、…｝を復元する。
【０１３１】
ステップＳ４０５におけるデータ復元処理の後、ステップＳ４０６に進む。ステップＳ４０６では、第３階層データとして受信している１２０フレーム／秒の高フレームレート画像群｛Ａ２、Ａ４、Ａ６、…｝を計算する。これは、具体的には、ステップＳ４０３，Ｓ４０４で復元した６０フレーム／秒の中フレームレート画像群｛Ｂ１、Ｂ２、Ｂ３…｝と、ステップＳ４０５で復元した１２０フレーム／秒の高フレームレート画像群｛Ａ１、Ａ３、Ａ５…｝とを適用した計算処理：Ａ２＝（２×Ｂ１）−Ａ１、Ａ４＝（２×Ｂ２）−Ａ３、Ａ６＝（２×Ｂ３）−Ａ５により算出する。
【０１３２】
ステップＳ４０６において、１２０フレーム／秒の高フレームレート画像群が連続フレームとして再現されると、ステップＳ４０７に進む。ステップＳ４０７では、ステップＳ４０５およびステップＳ４０６で復元された画像群｛Ａ１、Ａ２、Ａ３、Ａ４、…、Ａｎ、…｝を、１／１２０秒単位で、Ａ１から順番に表示装置で表示していく。
【０１３３】
画像群｛Ａ１、Ａ２、Ａ３、Ａ４、…、Ａｎ、…｝より成る動画像は、フレームレートが１２０フレーム／秒であり、かつ各画像が１／１２０秒の露出時間をかけて撮影された動画像であり、動きのある物体を撮影している場合には、１／１２０秒のモーションブラが各画像にはかかっており、それを１２０フレーム／秒で表示するので、動きが自然なものとなる。
【０１３４】
次に、図１６を参照して説明した処理を実行する画像処理装置の構成例について図１７を参照して説明する。図１６の処理フローを参照して説明した処理は、ソフトウェアおよびハードウェアによる複合構成によって処理可能であり、具体的には、例えばＰＣ等、ＣＰＵの制御手段と、ＲＡＭ、ＲＯＭ等のメモリ部を備えたデータ処理装置によって処理可能である。ＰＣ等によって実現されるデータ処理装置の構成については、後段で説明する。ここでは、ＰＣ等におけるＣＰＵによって実行する機能をブロック化して示した図１７の機能ブロック図を参照して、図１６に示すフローを実現する処理装置構成について説明する。
【０１３５】
受信側が１２０フレーム／秒のフレームレートで表示できる画像表示装置としての表示部５５８に対して出力する画像データを生成する場合、入力データは、第１の階層のデータ、すなわち、３０フレーム／秒の低フレームレート画像群｛Ｃ１、Ｃ２、…、Ｃｋ、…｝の圧縮データと、第２の階層のデータ、すなわち、間引きされた６０フレーム／秒の中フレームレート画像群｛Ｂ１、Ｂ３、Ｂ５…｝の圧縮データと、第３の階層のデータ、すなわち、間引きされた１２０フレーム／秒の高フレームレート画像群｛Ａ１、Ａ３、Ａ５…｝の圧縮データである。
【０１３６】
伸長処理部Ｃ５５１は、第１の階層のデータを伸長して、画像群｛Ｃ１、Ｃ２、…、Ｃｋ、…｝を復元する。伸長処理部Ｂ５５２は、第２の階層のデータを伸長して、画像群｛Ｂ１、Ｂ３、Ｂ５…｝を復元する。伸長処理部Ｂ５５３は、第３の階層のデータを伸長して、画像群｛Ａ１、Ａ３、Ａ５…｝を復元する。これは、具体的には、例えば、ＭＣとＩＤＣＴ（逆離散コサイン変換）を適用した伸長処理として実行される。
【０１３７】
フレームデータ復元処理部５５４は、第１の階層のデータを伸長して取得される画像群｛Ｃ１、Ｃ２、…、Ｃｋ、…｝と、第２の階層のデータを伸長して取得される画像群｛Ｂ１、Ｂ３、Ｂ５…｝を入力し、第２の階層のデータ、すなわち６０フレーム／秒の中フレームレート画像群｛Ｂ１、Ｂ３、Ｂ５…｝に含まれない画像群｛Ｂ２、Ｂ４、Ｂ６、…｝を算出して出力する。これは、具体的には、３０フレーム／秒の低フレームレート画像群｛Ｃ１、Ｃ２、Ｃ３…｝と、６０フレーム／秒の中フレームレート画像群｛Ｂ１、Ｂ３、Ｂ５…｝とを適用した計算処理：Ｂ２＝（２×Ｃ１）−Ｂ１、Ｂ４＝（２×Ｃ２）−Ｂ３、Ｂ６＝（２×Ｃ３）−Ｂ５により間引きされた画像群｛Ｂ２、Ｂ４、Ｂ６、…｝を算出して出力する処理である。
【０１３８】
選択出力部５５５は、伸長処理部Ｂ５５２の復元した画像群｛Ｂ１、Ｂ３、Ｂ５…｝と、フレームデータ復元処理部５５４の復元した間引きされた画像群｛Ｂ２、Ｂ４、Ｂ６、…｝を入力し、フレーム順に並べた中フレームレート画像群｛Ｂ１、Ｂ２、Ｂ３…｝をフレームデータ復元処理部５５６に出力する。
【０１３９】
フレームデータ復元処理部５５６は、選択出力部５５５から入力する中フレームレート画像群｛Ｂ１、Ｂ２、Ｂ３…｝と、伸長処理部Ａ５５３において第３の階層のデータを伸長して取得される間引きされた画像群｛Ａ１、Ａ３、Ａ５、…｝を入力し、受信した第３の階層のデータ｛Ａ１、Ａ３、Ａ５、…｝に含まれない画像群｛Ａ２、Ａ４、Ａ６、…｝を算出して出力する。これは、具体的には、６０フレーム／秒の低フレームレート画像群｛Ｂ１、Ｂ２、Ｂ３…｝と、１２０フレーム／秒の中フレームレート画像群｛Ａ１、Ａ３、Ａ５…｝とを適用した計算処理：Ａ２＝（２×Ｂ１）−Ａ１、Ａ４＝（２×Ｂ２）−Ａ３、Ａ６＝（２×Ｂ３）−Ａ５により間引きされた画像群｛Ａ２、Ａ４、Ａ６、…｝を算出して出力する処理である。
【０１４０】
選択出力部５５７は、伸長処理部Ａ５５３の復元した画像群｛Ａ１、Ａ３、Ａ５…｝と、フレームデータ復元処理部５５６の復元した間引きされた画像群｛Ａ２、Ａ４、Ａ６、…｝を入力し、フレーム順に並べた高フレームレート画像群｛Ａ１、Ａ２、Ａ３…｝をフレームレート単位、ここでは、１／１２０秒毎に表示部５５８に交互に出力する。
【０１４１】
表示部５５８は、復元された１２０フレーム／秒の中フレームレートの画像群｛Ａ１、Ａ２、Ａ３、Ａ４、…｝を、１／１２０秒単位で、すなわち、表示装置の処理フレームに応じた１２０フレーム／秒での表示を実行する。
【０１４２】
次に、図１８乃至図３０を参照して、上記画像群｛Ａ１、Ａ２、…、Ａｎ、…｝、｛Ｂ１、Ｂ２、…、Ｂｍ、…｝、｛Ｃ１、Ｃ２、…、Ｃｋ、…｝が、どのような画像として、それぞれ表示装置に表示されるかを説明する。
【０１４３】
図１８乃至図２３に示す画像フレームデータ２０１−１〜２４は、フレームレートが１２０フレーム／秒であり、かつ各画像が１／１２０秒の露出時間をかけて撮影された動画像の各表示フレームを示している。動画像は、左から右に高速に移動している車を撮影したものである。図中の２０１−１、２０１−２、…が、それぞれ画像Ａ１、Ａ２、…である。各画像は、１／１２０秒という露出時間なので、車が１／１２０秒間で動いた距離だけモーションブラが起きている。
【０１４４】
図１８乃至図２３に示す画像フレームデータ２０１−１〜２４は、図１６を参照して説明した処理に従って、第１階層データ〜第３階層データに基づいて生成された画像フレームデータである。すなわち、３０フレーム／秒の低フレームレート画像群｛Ｃ１、Ｃ２、…、Ｃｋ、…｝の圧縮データと、間引きされた６０フレーム／秒の中フレームレート画像群｛Ｂ１、Ｂ３、Ｂ５…｝の圧縮データと、間引きされた１２０フレーム／秒の高フレームレート画像群｛Ａ１、Ａ３、Ａ５…｝の圧縮データに基づいて生成した高フレームレート画像群｛Ａ１、Ａ２、Ａ３、Ａ４、Ａ５…｝を順次表示したものである。
【０１４５】
これらの高フレームレート画像群｛Ａ１、Ａ２、Ａ３、Ａ４、Ａ５…｝は、１／１２０秒という露出時間で撮影したオリジナル画像に相当し、車が１／１２０秒間で動いた距離だけモーションブラが起きており、動きに違和感のない高フレームレート画像として表示される。
【０１４６】
図２４乃至図２９に示す画像フレームデータ２０２−１〜１２は、フレームレートが６０フレーム／秒であり、かつ各画像が１／６０秒の露出時間をかけて撮影された動画像に相当する画像の各表示フレームを示している。図中の２０２−１、２０２−２、…が、それぞれ画像Ｂ１、Ｂ２、…に対応する。各画像は、１／６０秒という露出時間で撮影された画像と等価なので、車が１／６０秒間で動いた距離だけモーションブラが起きている。
【０１４７】
図２４乃至図２９に示す画像フレームデータ２０２−１〜１２は、図１８を参照して説明した処理に従って、第１階層データ〜第２階層データに基づいて生成された画像フレームデータである。すなわち、３０フレーム／秒の低フレームレート画像群｛Ｃ１、Ｃ２、…、Ｃｋ、…｝の圧縮データと、間引きされた６０フレーム／秒の中フレームレート画像群｛Ｂ１、Ｂ３、Ｂ５…｝の圧縮データに基づいて生成した中フレームレート画像群｛Ｂ１、Ｂ２、Ｂ３、Ｂ４…｝を順次表示したものである。
【０１４８】
これらの中フレームレート画像群｛Ｂ１、Ｂ２、Ｂ３、Ｂ４…｝は、１／６０秒という露出時間で撮影した動画像に相当し、車が１／６０秒間で動いた距離だけモーションブラが起きており、動きに違和感のない中フレームレート画像として表示される。
【０１４９】
すなわち、ここで表示される中フレームレート画像群｛Ｂ１、Ｂ２、Ｂ３、Ｂ４…｝は、前述したようにオリジナルの１２０フレーム／秒の高フレームレート動画像を構成する画像フレームデータＡ_２ｍとＡ_２ｍ＋１の平均値「（Ａ_２ｍ＋Ａ_２ｍ＋１）÷２」を６０フレーム／秒の中フレームレート動画像を構成する画像フレームデータＢｍとして生成した画像群であり、表示画像中の移動体は、１／６０秒間で動いた距離だけモーションブラが起きており、動きに違和感のない中フレームレート画像として表示される。
【０１５０】
図３０、図３１に示す画像フレームデータ２０３−１〜６は、フレームレートが３０フレーム／秒であり、かつ各画像が１／３０秒の露出時間をかけて撮影された動画像に相当する画像の各表示フレームを示している。図中の２０３−１、２０３−２、…が、それぞれ画像Ｃ１、Ｃ２、…に対応する。各画像は、１／３０秒という露出時間で撮影された画像と等価なので、車が１／３０秒間で動いた距離だけモーションブラが起きている。
【０１５１】
図３０乃至図３１に示す画像フレームデータ２０３−１〜６は、図１６を参照して説明した処理に従って、第１階層データに基づいて生成された画像フレームデータである。すなわち、３０フレーム／秒の低フレームレート画像群｛Ｃ１、Ｃ２、…、Ｃｋ、…｝の圧縮データに基づいて生成した低フレームレート画像群｛Ｃ１、Ｃ２、Ｃ３…｝を順次表示したものである。
【０１５２】
これらの低フレームレート画像群｛Ｃ１、Ｃ２、Ｃ３…｝は、１／３０秒という露出時間で撮影した動画像に相当し、車が１／３０秒間で動いた距離だけモーションブラが起きており、動きに違和感のない低フレームレート画像として表示される。
【０１５３】
すなわち、ここで表示される低フレームレート画像群｛Ｃ１、Ｃ２、Ｃ３…｝は、前述したようにオリジナルの１２０フレーム／秒の高フレームレート動画像を構成する画像フレームデータＡ_２ｍとＡ_２ｍ＋１の平均値「（Ａ_２ｍ＋Ａ_２ｍ＋１）÷２」を６０フレーム／秒の中フレームレート動画像を構成する画像フレームデータＢｍとして生成し、さらに、このように生成した６０フレーム／秒の中フレームレート動画像を構成する画像フレームデータＢ_２ｋとＢ_２ｋ＋１の平均値「（Ｂ_２ｋ＋Ｂ_２ｋ＋１）÷２」を３０フレーム／秒の低フレームレート動画像を構成する画像フレームデータＣｋとして生成した画像群であり、表示画像中の移動体は、１／３０秒間で動いた距離だけモーションブラが起きており、動きに違和感のない低フレームレート画像として表示される。
【０１５４】
上述したように、本発明の構成においては、それぞれ異なる処理フレームレートを持つ表示装置において、オリジナルの高フレームレート画像の時間的に連続する複数画像に基づいて生成した複数の階層のフレームレート画像を送信または提供データとして適用し、これらの提供データに基づいて複数の異なる表示フレームレートに適応した画像データを生成することが可能となる。
【０１５５】
また、各フレームレートの再生画像には、それぞれの再生フレームレートに応じたモーションブラを発生することが可能となり、動きに違和感のない再生フレームレートに適応した画像の再生、表示が実行される。
【０１５６】
また、上述した説明から理解されるように、複数階層データにおいて、最低フレームレート画像に相当する画像群のデータ以外の高フレームレートまたは中フレームレートの画像群の階層データは、間引きされた画像フレームデータを送信するのみでよく、データ量を削減することが可能となる。
【０１５７】
具体的には、中フレームレートの画像フレームデータＢ１（図中の２０２−１）から、高フレームレートの画像フレームデータＡ１（図中の２０１−１）を引くことで、高フレームレートの画像フレームデータＡ２（図中の２０１−２）を求めることが出来るので、第３の階層のデータとして、高フレームレートの画像フレームデータＡ２に関するデータを送る必要がない。
【０１５８】
また、低フレームレートの画像フレームデータＣ１（図中の２０３−１）から、中フレームレートの画像フレームデータＢ１（図中の２０２−１）を引くことで、中フレームレートの画像フレームデータＢ２（図中の２０２−２）を求めることが出来るので、第２の階層のデータとして、中フレームレートの画像フレームデータＢ２に関するデータは送る必要はない。
【０１５９】
このように本発明を適用することで、第１の階層のデータのみを利用して、各画像が１／３０秒のモーションブラのかかった３０フレーム／秒の動画像をなめらかに表示することができ、また、第１の階層と第２の階層のデータのみを利用して、各画像が１／６０秒のモーションブラのかかった６０フレーム／秒の動画像をなめらかに表示することができる。
【０１６０】
受信側が１２０フレーム／秒のフレームレートで表示できる場合には、第１の階層と第２の階層と第３の階層のデータを利用して、各画像が１／１２０秒のモーションブラのかかった１２０フレーム／秒の動画像をなめらかに表示することができる。
【０１６１】
なお、上述した実施例においては、高フレームレートの画像データとして１２０フレーム／秒、中フレームレートの画像データとして６０フレーム／秒、低フレームレートの画像データとして３０フレーム／秒の３種類のフレームレートの画像を処理する例を示したが、本発明の構成は、実施例に示した３つのフレームレート以外の様々な異なるフレームレートの組み合わせにおいて同様に適用可能であり、また同様の効果を発揮する。
【０１６２】
図３２を参照して、複数のフレームレートの組み合わせにおける送信データの構成例について説明する。図３２（ａ）は、高フレームレートの画像データとして１２０フレーム／秒、低フレームレートの画像データとして４０フレーム／秒の２種類のフレームレートの画像を再生するために送信データとして設定する画像フレームデータを示すものである。
【０１６３】
低フレームレートの画像データである４０フレーム／秒の画像データは、高フレームレートの画像データに基づいて生成する。Ｑ１＝Ｐ１であり、Ｑ２＝（Ｐ２＋Ｐ３＋Ｐ４）／３、Ｑ３＝（Ｐ５＋Ｐ６＋Ｐ７）／３・・として生成する。
【０１６４】
この場合の送信データは、第１階層データが、４０フレーム／秒の各フレームデータ｛Ｑ１、Ｑ２、Ｑ３．．．｝を圧縮したデータとなる。第２階層データは、１２０フレーム／秒の各フレームデータからデータ受信側において、算出可能なフレームデータを間引いたデータ、すなわち、図に示すフレームデータＰ３，Ｐ６，Ｐ９を間引いた結果としてのフレームデータ｛Ｐ１、Ｐ２、Ｐ４．．．｝の圧縮データとなる。
【０１６５】
図３２（ｂ）は、高フレームレートの画像データとして１２０フレーム／秒、低フレームレートの画像データとして３０フレーム／秒の２種類のフレームレートの画像を再生するために送信データとして設定する画像フレームデータを示すものである。
【０１６６】
低フレームレートの画像データである３０フレーム／秒の画像データは、高フレームレートの画像データに基づいて生成する。Ｒ１＝Ｐ１であり、Ｒ２＝（Ｐ２＋Ｐ３＋Ｐ４＋Ｐ５）／４、Ｒ３＝（Ｐ６＋Ｐ７＋Ｐ８＋Ｐ９）／４・・として生成する。
【０１６７】
この場合の送信データは、第１階層データが、３０フレーム／秒の各フレームデータ｛Ｒ１、Ｒ２、Ｒ３．．．｝を圧縮したデータとなる。第２階層データは、１２０フレーム／秒の各フレームデータからデータ受信側において、算出可能なフレームデータを間引いたデータ、すなわち、図に示すフレームデータＰ４，Ｐ８，Ｐ１２を間引いた結果としてのフレームデータ｛Ｐ１、Ｐ２、Ｐ３、Ｐ５．．．｝の圧縮データとなる。このように、本発明の構成は、様々なフレームレートの画像データ送信に適用可能である。
【０１６８】
次に、上述した複数階層からなる画像データを生成して送信する処理を実行する画像処理装置、および上述した複数階層からなる画像データを受信して各表示装置の処理フレームレートに応じた画像データを生成して表示する処理を実行する画像処理装置のハードウェア構成例を図３３を参照して説明する。
【０１６９】
前述したように、図１０、図１２、図１４、図１６に示す処理は、ソフトウェアおよびハードウェアによる複合構成によって実行可能であり、具体的には、例えばＰＣ等、ＣＰＵの制御手段と、ＲＡＭ、ＲＯＭ等のメモリ部を備えたデータ処理装置によって処理可能である。ＰＣ等によって実現されるデータ処理装置の構成の具体例について図３３を参照して説明する。
【０１７０】
画像処理装置７００のメイン・コントローラであるＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）７０１は、オペレーティング・システム（ＯＳ）の制御下で、各種のアプリケーションを実行する。ビデオカメラ７１３で撮影された例えばフレームレートが１２０フレーム／秒の動画像が外部機器インターフェース７０６を介して一度ＨＤＤ７１１へダウンロードされる。
【０１７１】
ＣＰＵ７０１は、オリジナル取得画像から複数階層の画像データ生成処理を実行する場合には、例えば、ＨＤＤ７１１にダウンロードされた動画像から、第１の階層、第２の階層、および第３の階層のデータを生成するアプリケーション・プログラム（図１０の処理フロー）を実行して、複数階層の画像データを生成する。
【０１７２】
また、複数階層の画像データを受信して表示処理フレームレートに応じた画像データを生成する場合には、ＣＰＵ７０１は、ネットワーク・インターフェース７０５を介して、送信されてきた第１の階層のデータ、第２の階層のデータ、第３の階層のデータから、表示能力に応じて、フレームレートが３０フレーム／秒の動画像、または６０フレーム／秒の動画像、あるいは、１２０フレーム／秒の動画像を生成するアプリケーション・プログラム（図１２、または図１４、または図１６のフローに対応）を実行する。
【０１７３】
図に示す通り、ＣＰＵ７０１は、バス７０７によって他の機器類（後述）と相互接続されている。メモリ７０２は、ＣＰＵ７０１において実行されるプログラム・コードを格納したり、実行中の作業データを一時保管するために使用される記憶装置である。同図に示すメモリ７０２は、ＲＯＭなどの不揮発性メモリ及びＤＲＡＭなどの揮発性メモリの双方を含むものと理解されたい。
【０１７４】
ディスプレイ・コントローラ７０３は、ＣＰＵ７０１が発行する描画命令を実際に処理するための専用コントローラである。ディスプレイ・コントローラ７０３において処理された描画データは、例えばフレーム・バッファ（図示しない）に一旦書き込まれた後、ディスプレイ７０８によって画面出力される。例えば、ＨＤＤ７１１から再生された画像や、ＣＰＵ７０１により処理された画像は、ディスプレイ７０８で画面表示され、ユーザはその表示画像を見ることが出来る。
【０１７５】
入力機器インターフェース７０４は、キーボード７０９やマウス７１０などのユーザ入力機器を画像表示装置７００に接続するための装置である。ユーザは、キーボード７０９やマウス７１０を介して、画像を処理するためや表示するためのコマンドなどを入力することができる。
【０１７６】
ネットワーク・インターフェース７０５は、Ｅｔｈｅｒｎｅｔなどの所定の通信プロトコルに従って、システム７００をＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などの局所的ネットワーク、さらにはインターネットのような広域ネットワークに接続することができる。ネットワーク上では、複数のホスト端末やサーバー（図示しない）がトランスペアレントな状態で接続され、分散コンピューティング環境が構築されている。ネットワーク上では、ソフトウェア・プログラムやデータ・コンテンツなどの配信サービスを行うことができる。即ち、第１の階層、第２の階層、および第３の階層のデータを配信および受信することが出来る。
【０１７７】
外部機器インターフェース７０６は、１２０フレーム／秒の動画像を撮影できるビデオカメラや、ハード・ディスク・ドライブ（ＨＤＤ）７１１やメディア・ドライブ７１２などの外部装置を画像処理装置７００に接続するための装置である。
【０１７８】
ＨＤＤ７１１は、記憶媒体としての磁気ディスクを固定的に搭載した外部記憶装置であり（周知）、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。また、ランダムアクセスも可能である。ソフトウェア・プログラムを実行可能な状態でＨＤＤ７１１上に置くことをプログラムのシステムへの「インストール」と呼ぶ。通常、ＨＤＤ７１１には、ＣＰＵ７０１が実行すべきオペレーティング・システムのプログラム・コードや、アプリケーション・プログラム、デバイス・ドライバなどが不揮発的に格納されている。例えば、前述した画像処理フロー（図１０、図１２、図１４、あるいは図１６）に対応する処理プログラムを、ＨＤＤ７１１上にインストールすることができる。
【０１７９】
メディア・ドライブ７１２は、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）やＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ　ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）などの可搬型メディアを装填して、そのデータ記録面にアクセスするための装置である。可搬型メディアは、主として、ソフトウェア・プログラムやデータ・ファイルなどをコンピュータ可読形式のデータとしてバックアップすることや、これらをシステム間で移動（すなわち販売・流通・配布を含む）する目的で使用される。画像処理を行うためのアプリケーション・プログラムを、これら可搬型メディアを利用して複数の機器間で物理的に流通・配布することができる。
【０１８０】
なお、図８に示すような画像処理装置７００の一例は、米ＩＢＭ社のパーソナル・コンピュータ”ＰＣ／ＡＴ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ／Ａｄｖａｎｃｅｄ　Ｔｅｃｈｎｏｌｏｇｙ）”の互換機又は後継機である。勿論、他のアーキテクチャを備えたコンピュータを、本実施形態に係る画像処理装置７００として適用することも可能である。
【０１８１】
なお、上述した実施例においては、画像データの送信側で画像圧縮を行い、受信側で伸長を行うようにした構成例を説明したが、本発明のポイントは、各階層から復元される画像が、適切なモーションブラを含んでいる点であり、送受信されるデータは、圧縮されていることが必須となるものではない。つまり、各階層のデータを圧縮をしないで送信しても良い。
【０１８２】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１８３】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１８４】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ），ＭＯ（Ｍａｇｎｅｔｏ　ｏｐｔｉｃａｌ）ディスク，ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１８５】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１８６】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【０１８７】
【発明の効果】
以上、説明したように、本発明の構成に従えば、異なる処理フレームレートを持つ表示装置において最適なフレームレートでの表示に適応する画像データを複数の階層からなる画像フレームデータとして提供可能となり、また複数の階層データに基づいて異なるフレームレートでの画像再生が可能となる。さらに、本発明の構成においては、低フレームレートの画像データを、高フレームレートの時間的に連続する複数画像に基づいて生成する構成としたので、それぞれの再生フレームレートに応じたモーションブラを発生することが可能となり、動きに違和感のない再生フレームレートに適応した画像の再生、表示が実行可能となる。
【０１８８】
また、本発明の構成に従えば、複数の階層からなる画像フレームデータ中、高位のフレームレートの画像群の階層データは、間引きされた画像フレームデータとして設定可能となり、送信あるいは記憶データ量を削減することが可能となる。
【図面の簡単な説明】
【図１】異なるフレームレートの画像データの表示を可能とする送受信データ構成について説明する図である。
【図２】高フレームレート（１／１２０秒）の画像データの表示例について説明する図である。
【図３】高フレームレート（１／１２０秒）の画像データの表示例について説明する図である。
【図４】高フレームレート（１／１２０秒）の画像データの表示例について説明する図である。
【図５】高フレームレート（１／１２０秒）の画像データの表示例について説明する図である。
【図６】高フレームレート（１／１２０秒）の画像データの表示例について説明する図である。
【図７】高フレームレート（１／１２０秒）の画像データの表示例について説明する図である。
【図８】低フレームレート（１／６０秒）の画像データの表示例について説明する図である。
【図９】低フレームレート（１／６０秒）の画像データの表示例について説明する図である。
【図１０】複数の階層からなる送信データを生成する処理手順を説明するフロー図である。
【図１１】複数の階層からなる送信データを生成する画像処理装置構成を示すブロック図である。
【図１２】画像データを受信して、低フレームレートの出力画像データを生成する処理手順を説明するフロー図である。
【図１３】画像データを受信して、低フレームレートの出力画像データを生成する処理を実行する画像処理装置の構成を示すブロック図である。
【図１４】複数の階層からなる画像データを受信して、中フレームレートの出力画像データを生成する処理手順を説明するフロー図である。
【図１５】複数の階層からなる画像データを受信して、中フレームレートの出力画像データを生成する処理を実行する画像処理装置の構成を示すブロック図である。
【図１６】複数の階層からなる画像データを受信して、高フレームレートの出力画像データを生成する処理手順を説明するフロー図である。
【図１７】複数の階層からなる画像データを受信して、高フレームレートの出力画像データを生成する処理を実行する画像処理装置の構成を示すブロック図である。
【図１８】本発明に係る処理を適用して生成した高フレームレート（１／１２０秒）の画像データの表示例について説明する図である。
【図１９】本発明に係る処理を適用して生成した高フレームレート（１／１２０秒）の画像データの表示例について説明する図である。
【図２０】本発明に係る処理を適用して生成した高フレームレート（１／１２０秒）の画像データの表示例について説明する図である。
【図２１】本発明に係る処理を適用して生成した高フレームレート（１／１２０秒）の画像データの表示例について説明する図である。
【図２２】本発明に係る処理を適用して生成した高フレームレート（１／１２０秒）の画像データの表示例について説明する図である。
【図２３】本発明に係る処理を適用して生成した高フレームレート（１／１２０秒）の画像データの表示例について説明する図である。
【図２４】本発明に係る処理を適用して生成した中フレームレート（１／６０秒）の画像データの表示例について説明する図である。
【図２５】本発明に係る処理を適用して生成した中フレームレート（１／６０秒）の画像データの表示例について説明する図である。
【図２６】本発明に係る処理を適用して生成した中フレームレート（１／６０秒）の画像データの表示例について説明する図である。
【図２７】本発明に係る処理を適用して生成した中フレームレート（１／６０秒）の画像データの表示例について説明する図である。
【図２８】本発明に係る処理を適用して生成した中フレームレート（１／６０秒）の画像データの表示例について説明する図である。
【図２９】本発明に係る処理を適用して生成した中フレームレート（１／６０秒）の画像データの表示例について説明する図である。
【図３０】本発明に係る処理を適用して生成した低フレームレート（１／３０秒）の画像データの表示例について説明する図である。
【図３１】本発明に係る処理を適用して生成した低フレームレート（１／３０秒）の画像データの表示例について説明する図である。
【図３２】様々なフレームレートに対応する画像データ送信における本発明の適用例について説明する図である。
【図３３】本発明に係る画像処理装置の構成例を示す図である。
【符号の説明】
１０１　画像群
１０１−１〜ｎ　画像フレームデータ
１０２　画像群
１０２−１〜ｎ　画像フレームデータ
１０３　画像群
１０３−１〜ｎ　画像フレームデータ
３１１　画像フレームレート変換処理部
３１２　画像フレームレート変換処理部
３１３　画像フレーム選択部
３１４　圧縮処理部Ａ
３１５　画像フレーム選択部
３１６　圧縮処理部Ｂ
３１７　圧縮処理部Ｃ
５１１　伸長処理部Ｃ
５１２　表示部
５２１　伸長処理部Ｃ
５２２　伸長処理部Ｂ
５２３　フレームデータ復元処理部
５２４　選択出力部
５２５　表示部
５５１　伸長処理部Ｃ
５５２　伸長処理部Ｂ
５５３　伸長処理部Ａ
５５４　フレームデータ復元処理部
５５５　選択出力部
５５４　フレームデータ復元処理部
５５５　選択出力部
５５６　フレームデータ復元処理部
５５７　選択出力部
５５８　表示部
７００　画像処理装置
７０１　ＣＰＵ
７０２　メモリ
７０３　ディスプレイコントローラ
７０４　入力機器インターフェース
７０５　ネットワークインターフェース
７０６　外部機器インターフェース
７０７　バス
７０８　ディスプレイ
７０９　キーボード
７１０　マウス
７１１　ＨＤＤ
７１２　メディアドライブ
７１３　ビデオカメラ

Claims (18)

1. 異なるフレームレートに基づく画像再生処理に適用する画像フレームデータを生成する画像処理装置であり、
   高フレームレートで取得した時間的に連続する複数の画像フレームデータの合成処理により低フレームレートの画像フレームデータを生成する画像フレーム変換処理手段と、
   高フレームレートの画像フレームデータ中、前記低フレームレートの画像フレームデータを利用して復元可能な画像フレームデータの間引き処理を行なう画像フレーム選択処理手段とを有し、
   前記低フレームレートの画像フレームデータを下位階層データとし、前記高フレームレートの画像フレームデータの間引き処理後データを上位階層データとして、該複数階層のデータを異なるフレームレートに基づく画像再生処理に適用する画像フレームデータとして設定する構成を有することを特徴とする画像処理装置。
2. 前記画像フレーム変換処理手段は、
   前記高フレームレートの画像フレームデータの合成処理により中フレームレートの画像フレームデータを生成し、さらに、生成した中フレームレートの画像フレームデータの合成処理により低フレームレートの画像フレームデータを生成する構成であり、
   前記画像フレーム選択処理手段は、
   前記中フレームレートの画像フレームデータ中、前記低フレームレートの画像フレームデータを利用して復元可能な画像フレームデータの間引き処理を行なう構成でり、
   前記低フレームレートの画像フレームデータを下位階層データとし、前記中フレームレートの画像フレームデータの間引き処理後データを中位階層データとし、前記高フレームレートの画像フレームデータの間引き処理後データを上位階層データとして、該複数階層のデータを異なるフレームレートに基づく画像再生処理に適用する画像フレームデータとして設定する構成を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理装置は、
   さらに圧縮処理手段を有し、該圧縮処理手段は、
   前記複数階層のデータの圧縮処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
4. 前記画像フレーム変換処理手段は、
   高フレームレートで取得した時間的に連続する複数の画像フレームデータ｛Ａ_ｘ〜Ａ_ｘ＋ｎ｝に基づいて、１つの低フレームレートの画像フレームデータ｛Ｂ_ｘ｝を下記式、
   Ｂ_ｘ＝（Ａ_ｘ＋Ａ_ｘ＋１・・＋Ａ_ｘ＋ｎ）／ｎ
   に基づいて生成する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
5. 複数階層データの画像データに基づいて、表示装置の処理フレームレートに応じた画像フレームデータを生成する画像処理装置であり、
   下位階層データに含まれる低フレームレートの画像フレームデータと、上位階層データに含まれる間引き後の高フレームレートの画像フレームデータに基づいて、間引きされた高フレームレートの画像フレームデータを復元するフレームデータ復元処理手段と、
   前記上位階層データに含まれる間引き後の高フレームレートの画像フレームデータと、前記フレームデータ復元処理手段によって復元された間引きされた高フレームレートの画像フレームデータを選択出力する選択出力手段と、
   を有することを特徴とする画像処理装置。
6. 前記フレームデータ復元処理手段は、
   下位階層データに含まれる低フレームレートの画像フレームデータと、上位階層データに含まれる間引き後の中フレームレートの画像フレームデータに基づいて、間引きされた中フレームレートの画像フレームデータを復元するとともに、復元した中フレームレートの画像フレームデータと、さらに上位階層データに含まれる間引き後の高フレームレートの画像フレームデータに基づいて、間引きされた高フレームレートの画像フレームデータを復元する処理を実行する構成であることを特徴とする請求項５に記載の画像処理装置。
7. 前記画像処理装置は、
   さらに伸長処理手段を有し、該伸長処理手段は、
   前記複数階層のデータの伸長処理を実行する構成であることを特徴とする請求項５に記載の画像処理装置。
8. 異なるフレームレートに基づく画像再生処理に適用する画像フレームデータを格納した画像フレームデータ記憶媒体であって、
   高フレームレートで取得した時間的に連続する複数の画像フレームデータの合成処理により生成した低フレームレートの画像フレームデータを下位階層データとし、
   前記高フレームレートの画像フレームデータ中、前記低フレームレートの画像フレームデータを利用して復元可能な画像フレームデータを間引き処理した後のデータを上位階層データとし、
   複数階層のデータを異なるフレームレートに基づく画像再生処理に適用する画像フレームデータとして格納したことを特徴とする画像フレームデータ記憶媒体。
9. 前記複数階層のデータは圧縮データとして格納したことを特徴とする請求項８に記載の画像フレームデータ記憶媒体。
10. 異なるフレームレートに基づく画像再生処理に適用する画像フレームデータを生成する画像処理方法であり、
    高フレームレートで取得した時間的に連続する複数の画像フレームデータの合成処理により低フレームレートの画像フレームデータを生成する画像フレーム変換処理ステップと、
    高フレームレートの画像フレームデータ中、前記低フレームレートの画像フレームデータを利用して復元可能な画像フレームデータの間引き処理を行なう画像フレーム選択処理ステップとを有し、
    前記低フレームレートの画像フレームデータを下位階層データとし、前記高フレームレートの画像フレームデータの間引き処理後データを上位階層データとして、該複数階層のデータを異なるフレームレートに基づく画像再生処理に適用する画像フレームデータを生成することを特徴とする画像処理方法。
11. 前記画像フレーム変換処理ステップは、
    前記高フレームレートの画像フレームデータの合成処理により中フレームレートの画像フレームデータを生成し、さらに、生成した中フレームレートの画像フレームデータの合成処理により低フレームレートの画像フレームデータを生成するステップを含み、
    前記画像フレーム選択処理ステップは、
    前記中フレームレートの画像フレームデータ中、前記低フレームレートの画像フレームデータを利用して復元可能な画像フレームデータの間引き処理を行なうステップを含み、
    前記低フレームレートの画像フレームデータを下位階層データとし、前記中フレームレートの画像フレームデータの間引き処理後データを中位階層データとし、前記高フレームレートの画像フレームデータの間引き処理後データを上位階層データとして、該複数階層のデータを異なるフレームレートに基づく画像再生処理に適用する画像フレームデータとして生成することを特徴とする請求項１０に記載の画像処理方法。
12. 前記画像処理方法は、
    さらに圧縮処理ステップを有し、該圧縮処理ステップは、
    前記複数階層のデータの圧縮処理を実行することを特徴とする請求項１０に記載の画像処理方法。
13. 前記画像フレーム変換処理ステップは、
    高フレームレートで取得した時間的に連続する複数の画像フレームデータ｛Ａ_ｘ〜Ａ_ｘ＋ｎ｝に基づいて、１つの低フレームレートの画像フレームデータ｛Ｂ_ｘ｝を下記式、
    Ｂ_ｘ＝（Ａ_ｘ＋Ａ_ｘ＋１・・＋Ａ_ｘ＋ｎ）／ｎ
    に基づいて生成する処理を実行することを特徴とする請求項１０に記載の画像処理方法。
14. 複数階層データの画像データに基づいて、表示装置の処理フレームレートに応じた画像フレームデータを生成する画像処理方法であり、
    下位階層データに含まれる低フレームレートの画像フレームデータと、上位階層データに含まれる間引き後の高フレームレートの画像フレームデータに基づいて、間引きされた高フレームレートの画像フレームデータを復元するフレームデータ復元処理ステップと、
    前記上位階層データに含まれる間引き後の高フレームレートの画像フレームデータと、前記フレームデータ復元処理ステップによって復元された間引きされた高フレームレートの画像フレームデータを選択出力する選択出力ステップと、
    を有することを特徴とする画像処理方法。
15. 前記フレームデータ復元処理ステップは、
    下位階層データに含まれる低フレームレートの画像フレームデータと、上位階層データに含まれる間引き後の中フレームレートの画像フレームデータに基づいて、間引きされた中フレームレートの画像フレームデータを復元するとともに、復元した中フレームレートの画像フレームデータと、さらに上位階層データに含まれる間引き後の高フレームレートの画像フレームデータに基づいて、間引きされた高フレームレートの画像フレームデータを復元する処理を実行するステップを含むことを特徴とする請求項１４に記載の画像処理方法。
16. 前記画像処理方法は、
    さらに伸長処理ステップを有し、該伸長処理ステップは、
    前記複数階層のデータの伸長処理を実行することを特徴とする請求項１４に記載の画像処理方法。
17. 異なるフレームレートに基づく画像再生処理に適用する画像フレームデータを生成する画像処理を実行するコンピュータ・プログラムであって、
    高フレームレートで取得した時間的に連続する複数の画像フレームデータの合成処理により低フレームレートの画像フレームデータを生成する画像フレーム変換処理ステップと、
    高フレームレートの画像フレームデータ中、前記低フレームレートの画像フレームデータを利用して復元可能な画像フレームデータの間引き処理を行なう画像フレーム選択処理ステップと、
    前記低フレームレートの画像フレームデータを下位階層データとし、前記高フレームレートの画像フレームデータの間引き処理後データを上位階層データとして複数階層のデータを異なるフレームレートに基づく画像再生処理に適用する画像フレームデータとして設定するステップと、
    を有することを特徴とするコンピュータ・プログラム。
18. 複数階層データの画像データに基づいて、表示装置の処理フレームレートに応じた画像フレームデータを生成する画像処理を実行するコンピュータ・プログラムであって、
    下位階層データに含まれる低フレームレートの画像フレームデータと、上位階層データに含まれる間引き後の高フレームレートの画像フレームデータに基づいて、間引きされた高フレームレートの画像フレームデータを復元するフレームデータ復元処理ステップと、
    前記上位階層データに含まれる間引き後の高フレームレートの画像フレームデータと、前記フレームデータ復元処理ステップによって復元された間引きされた高フレームレートの画像フレームデータを選択出力する選択出力ステップと、
    を有することを特徴とするコンピュータ・プログラム。

Images