JP2016174273A - 画像処理装置、画像処理システム、及び、プログラム - Google Patents

Abstract

【課題】画像圧縮ないし復号に伴う表示遅延を抑制する。【解決手段】フレーム単位の画像データを提供する情報処理装置とネットワークを介して接続された画像処理装置であって、情報処理装置からフレーム単位の画像データを受信する通信手段と、通信手段により受信したフレーム単位の画像データを表示可能な画像データとして復号する復号手段と、復号手段により復号された画像データを表示する表示手段と、復号手段により復号された画像データを表示手段に表示する際、表示する２以上の画像データ間に中間フレームを挿入する制御手段とを備える。【選択図】図２

Description

本発明は、画像処理装置、画像処理システム、及び、プログラムに関する。

近年、サーバから配信された映像を表示するサイネージシステムや互いのカメラ映像を共有するテレビ会議など、動画像を送受信することで機能を実現するシステムが増えている。動画像は非圧縮データの場合、容量が非常に大きくなるためデータの圧縮処理が施されることが多い。中でもＨ．２６４という圧縮処理の規格が広く普及しており、専用のデコーダでＨＷ処理する技術が既に知られている。

上記に関し、例えば特許文献１には、Ｈ．２６４の映像を倍速再生、ランダム再生時に再生開始のレスポンス速度を向上させることが目的で、映像の符号化時にフレーム構成と参照メモリに格納するフレームの選択を行い、倍速再生、ランダム再生時に必要なフレームのみ復号する技術が開示されている。

しかし、従来のＨ．２６４デコーダの中には、再生の滑らかさを確保するために、内部的に数フレーム分のデータをバッファリングする処理に起因して、再生を指示してから実際に再生されるまでに遅延が発生し、リアルタイムな再生に支障が出るという問題がある。

本発明は、このような実情に鑑みてなされたものであって、画像圧縮ないし復号に伴う再生遅延を抑制することを目的とする。

上述した目的を達成するため、本発明は、フレーム単位の画像データを提供する情報処理装置とネットワークを介して接続された画像処理装置であって、情報処理装置からフレーム単位の画像データを受信する通信手段と、通信手段により受信したフレーム単位の画像データを表示可能な画像データとして復号する復号手段と、復号手段により復号された画像データを表示する表示手段と、復号手段により復号された画像データを表示手段に表示する際、表示する２以上の画像データ間に中間フレームを挿入する制御手段とを備えることを特徴とする。

本発明によれば、画像圧縮ないし復号に伴う再生遅延を抑制することが可能となる。

本発明の実施形態に関する背景技術を説明するためのシステム構成例を示す概略図である。 本発明の実施形態における画像処理の概略を示す模式図である。 本発明の実施形態における画像処理装置を含む画像処理システムの機能ブロック図である。 本発明の実施形態における処理シーケンス図である。 本発明の実施形態における再生速度調整処理を説明するための模式図である。 本発明の実施形態におけるｆｒａｍｅ_ｎｕｍの設定変更を説明するための模式図である。 本発明の実施形態におけるｆｒａｍｅ_ｎｕｍを設定する手順を示すフローチャートである。 本発明の実施形態におけるＰＯＣ_ＬＳＢの設定変更を説明するための模式図である。 本発明の実施形態におけるサーバ側でスキップフレームを挿入する処理シーケンス図である。 本発明の実施形態における装置側で使用するスキップフレームを保持する処理シーケンス図である。 本発明の実施形態におけるスキップフレームを２枚以上挿入する処理の概略を示す模式図である。 本発明の実施形態におけるスキップフレームを２枚以上挿入する場合における再生速度の調整について説明するための模式図である。 従来技術の問題点を説明するための模式図である。

本発明の実施形態の画像処理装置に関し以下図面を用いて説明するが、本発明の趣旨を越えない限り、何ら本実施形態に限定されるものではない。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化ないし省略する。なお、本実施形態における画像処理装置として、プロジェクター等の投影装置を例に説明するが、画像処理装置としては、投影装置に限定されず、インタラクティブ表示装置や、本実施形態における画像処理機能を有するパーソナルコンピュータやスマートフォン等の情報処理端末等であってもよい。

また、本実施形態における画像処理装置を含む画像処理システムにおいて、当該画像処理装置における制御手段の機能を、当該画像処理装置とネットワークにより接続される画像配信サーバが備えていてもよい。さらに、上記の画像処理システムを構成するサーバは１台に限定されず、複数台であってもよい。なお、本実施形態における画像処理装置と、サーバが接続されたシステム構成は一例であって、用途や目的に応じて様々なシステム構成例があることは言うまでもない。

まず、本実施形態の背景技術となる映像のストリーミング配信の概要について図１を参照して説明する。ここでは、情報処理装置としての画像配信サーバ２０が映像コンテンツを有しており、画像配信サーバ２０から配信された映像を、画像処理装置３０としてのプロジェクターや、ユーザが所持するスマートフォン等の情報処理端末１０を用いて表示するサイネージシステムを例として説明する。

近年のサイネージシステムでは、インタラクティブに映像コンテンツが変化する機能が備わっている。例えば、通行者が表示されている画面の一部をタッチするとタッチされた箇所に関する詳細情報が表示される等の機能がある。

ところで、画像配信サーバ２０から映像コンテンツの配信を受けるサイネージシステムにインタラクティブな機能を取り入れると、スマートフォン１０等への操作による入力信号を画像配信サーバ２０に通知し、画像配信サーバ２０ではその入力に対応して映像コンテンツに変化を与えた上で配信する必要がある。

このような場合に、例えばスマートフォン１０側で映像を受信してから映像が表示されるまでの遅延時間が長いと、サイネージシステムを利用する上で、操作に対する応答が遅く操作性の悪いシステムとなってしまう。本実施形態はこのような問題点を解決するというものである。

上記のような従来技術の問題点について図１３を参照して説明する。従来のＨ．２６４デコーダの中には、映像の滑らかさを確保するために内部で数フレーム分、データのバッファリングを行うものがある。ここでは、ネットワークから映像データを受信して順次再生するシステムにおいて、ネットワーク環境に負荷がかかっている等の理由から映像データの到着が遅れる場合を例として説明する。

例えばバッファリングを行わない場合に映像データの到着が遅れると、再生するデータがなくなり映像が途切れてしまう。逆にバッファリングを行っている場合は映像が途切れたとしても、バッファに貯まっている映像を再生することで映像の途切れを回避することができる。

しかし、上述のような従来技術においては、再生開始に際し、一定量のフレームデータがバッファに貯まるまでは映像再生処理を開始しないため、映像再生を指示してから実際に表示されるまでの遅延が大きくなってしまう。図１３に示す事例においては、３枚目の映像データがバッファに格納された段階で１枚目の映像データのデコードを開始しているため、再生指示から映像が表示されるまでの遅延時間が長くなってしまう。

そこで、本実施形態では図２に示すような処理を行っている。本実施形態における処理の概略としては、映像ストリームの間にスキップフレームという中間フレームを挿入することによって、通常時よりも早くバッファを埋めることで再生処理の開始を通常よりも早めるというものである。

スキップフレームは前フレームとの差分情報がない所謂Ｐフレームのことをいう。Ｈ．２６４では映像符号のデータ量を減らすために、基準となるＩフレームと前後のフレームとの変化量で表現されたＰフレームとＢフレームが存在する。Ｐフレームは前フレームとの差分であり、Ｂフレームは前後フレームとの差分であるが、本実施形態では、前フレームとの差分情報がない所謂Ｐフレームをスキップフレームとして用いている。スキップフレームをデコードして再生した場合は、その直前のフレームと全く同じ画像が表示される。

図２に示す例では、本来の映像データの隙間にスキップフレームを１枚デコーダに入力する。このようにすることで、２枚目の映像データがバッファに格納された段階で、バッファ内には３枚分の映像データが蓄積されるので、デコードを開始することができる。スキップフレームはデータサイズが非常に小さいため、スキップフレームを挿入することによってネットワーク帯域が圧迫されることはない。

次に、本実施形態における情報処理装置としての画像配信サーバ２０と画像処理装置３０とがネットワーク４０により接続された画像処理システムの機能ブロックについて図３を参照して説明する。なお、ネットワーク４０はＬＡＮやＷＡＮなどのネットワークであればよく、また、有線でも無線でもよい。

画像配信サーバ２０は、サーバ側通信部２１と、画像データ生成部２２を備える。サーバ側通信部２１は、フレーム単位の映像データや所定の制御パラメータ等のデータを画像処理装置３０に送信する通信手段である。画像データ生成部２２は、画像処理装置３０に表示させるフレーム単位の画像データを生成する画像データ生成手段である。

画像処理装置３０は、装置側通信部３１と、制御部３２と、記憶部３３と、デコーダ３４と、表示部３５と、パラメータ調整部３６を備える。

装置側通信部３１は、画像配信サーバ２０からフレーム単位の画像データを受信する通信手段である。

デコーダ３４は、装置側通信部３１により受信したフレーム単位の画像データを表示可能な画像データとして復号する復号手段である。デコーダ３４は、復号したフレーム単位の画像データを逐次バッファに格納し、フレーム単位の画像データが所定数格納されたときに、所定数格納された画像データを表示部３５に表示する。

制御部３２は、デコーダ３４により復号された画像データを表示部３５に表示する際、表示する２以上の画像データ間に中間フレームを挿入する制御手段である。制御部３２は、２以上の画像データ間に２以上の中間フレームを挿入することもできる。制御部３２は、装置側通信部３１により受信してデコーダ３４により復号された画像データをそのまま表示部３５に表示することもできる。

表示部３５は、デコーダ３４により復号された画像データを表示する表示手段である。表示部３５は、制御部３２により、２以上の画像データ間に２以上の中間フレームが挿入されたとき、２以上の画像データ、２以上の中間フレームを含む画像データの表示速度を、２以上の中間フレームが挿入されないときの２以上の画像データの表示速度と同じであるかのように表示することができる。表示部３５による上記処理の詳細は図５を用いて後述する。

パラメータ調整部３６は、装置側通信部３１により受信したフレーム単位の画像データに含まれる、デコーダ３４によるフレーム単位の画像データの復号順を規定する復号順制御パラメータを調整するパラメータ調整手段である。

パラメータ調整部３６は、装置側通信部３１により受信したフレーム単位の画像データが基準フレームであるとき、該画像データに含まれる復号順制御パラメータを初期化し、基準フレームの画像データの次に復号される、中間フレームを含むフレーム単位の画像データごとに昇順に復号順制御パラメータを設定することができる。復号順制御パラメータの詳細については図６及び図７を参照して後述する。

また、パラメータ調整部３６は、装置側通信部３１により受信したフレーム単位の画像データに含まれる、フレーム単位の画像データの表示部３５への表示順を既定する表示順制御パラメータを調整するパラメータ調整手段としても機能する。

パラメータ調整部３６は、２以上の画像データ間に挿入される中間フレームのフレーム数に応じて、２以上の画像データ及び中間フレームの表示順制御パラメータを昇順に設定することができる。表示順制御パラメータの詳細については図８を参照して後述する。

次に、本実施形態における画像処理手順について図４を参照して説明する。ここでは、画像を配信するユーザを管理者として説明する。まず管理者は、サーバ側通信部２１を介して画像配信サーバ２０に画像処理装置３０への画像配信を指示する［１−１］。

画像配信サーバ２０の画像データ生成部２２は配信画像を生成して［１−２］、生成した１フレーム分の画像データを画像処理装置３０に対してサーバ側通信部２１を介して送信する［１−３］［１−４］。

画像処理装置３０の装置側通信部３１は、受け取ったフレームの画像データを制御部３２に与える［１−５］。

制御部３２が受け取ったデータをデコーダ３４に与えると［１−６］、デコーダ３４のバッファに画像データが格納される。

その後、制御部３２は、記憶部３３からスキップフレームのフレームデータを読み込む［１−８］。

そして、制御部３２は、パラメータ調整部３６に対して、復号順制御パラメータとしての『ｆｒａｍｅ＿ｎｕｍ』、又は表示順制御パラメータとしての『ＰＯＣ＿ＬＳＢ』の設定変更を依頼する［１−９］［１−１０］。

制御部３２は、スキップフレームをデコーダ３４に与えると［１−１１］、デコーダ３４のバッファにスキップフレームの画像データが格納される。

デコーダ３４は、スキップフレームの画像データとともに、バッファに所定量の画像データが格納されると、表示部３５に画像データを表示させる［１−７］［１−１２］。

次に、スキップフレームを２つのフレーム単位の画像データ間に挿入した場合における画像データの表示速度を調整する処理について、ここでは複数の画像フレームデータからなる映像データの再生速度の調整として図５を参照して説明する。

ここでは、３０ｆｐｓの映像データを再生する例を用いて説明する。２つのフレーム単位の画像データ間にスキップフレームを挿入することなく３０ｆｐｓで再生する場合、当然１／３０秒ごとに１枚の画像フレームを表示することになる（図５（ａ）参照）。

この映像シーケンスに１フレームごとにスキップフレームを単純に挿入するのみでは、同じ再生間隔で映像を再生すると、映像のフレーム数は元の倍になっているため１／２の速度でスロー再生しているように見えてしまう。そこで本実施形態では、倍の再生速度である６０ｆｐｓ相当で再生することによって、結果的にユーザには３０ｆｐｓで再生しているように見せることができる（図５（ｂ）参照）。

なお、６０ｆｐｓで再生しても、スキップフレームは前フレームと同じ画像を再生するため実質的に１秒間に３０枚しか絵が変わらないことになる。これにより、ユーザの目に見える映像はスキップフレームを入れる前と解像度及び再生速度が変わらない状態を維持したまま再生遅延を抑制することができる。

次に、復号順制御パラメータとしての『ｆｒａｍｅ＿ｎｕｍ』の設定変更について図６及び図７を参照して説明する。『ｆｒａｍｅ＿ｎｕｍ』は、スキップフレームの挿入に伴って、フレーム単位の画像データにおいて変更する必要があるパラメータである。

Ｈ．２６４では、１枚の画像を複数のスライスと呼ばれる公知のデータ単位で構成している。各スライスにはヘッダ情報が付加されており、そのヘッダ情報中に、『ｆｒａｍｅ＿ｎｕｍ』が含まれている。『ｆｒａｍｅ＿ｎｕｍ』は、画像フレームのデコード（復号）順を管理するためのパラメータであり、デコーダ３４はこの数字の低いものから順番にデコード処理を実施することになる。

例として、再生する画像の１枚目から『ｆｒａｍｅ＿ｎｕｍ』が０から順に振られており、保持しているスキップフレームの『ｆｒａｍｅ＿ｎｕｍ』も０番に設定されているものとする。『ｆｒａｍｅ＿ｎｕｍ』を調整することなく、スキップフレームを画像データ間に挿入すると、図６に示すように『ｆｒａｍｅ＿ｎｕｍ』が先頭から『０→０→１→０→２』という順番になってしまい、正しい順番でデコードされない。そこで、本実施形態では、２枚目の画像以降の画像の『ｆｒａｍｅ＿ｎｕｍ』を昇順になるように数字を設定変更することによりデコード順を調整することができる。

図７を参照して、具体的な『ｆｒａｍｅ＿ｎｕｍ』の設定手順について説明する。まず基準フレームとしてのＩフレームを受信したときは（ステップＳ１、ＹＥＳ）、パラメータ調整部３６は『ｆｒａｍｅ＿ｎｕｍ』を０に初期化する（ステップＳ２）。

そして、パラメータ調整部３６は、受信したフレームの『ｆｒａｍｅ＿ｎｕｍ』を０に初期化した『ｎｅｘｔ＿ｆｒａｍｅ＿ｎｕｍ』の値に変更する（ステップＳ３）。Ｉフレーム以外のフレームを受信したときは（ステップＳ１、ＮＯ）、当該受信フレームの『ｆｒａｍｅ＿ｎｕｍ』を既にバッファに貯まっているフレームの『ｆｒａｍｅ＿ｎｕｍ』の次にデコードされるように『ｎｅｘｔ＿ｆｒａｍｅ＿ｎｕｍ』の値に変更する（ステップＳ３）。

そして、パラメータ調整部３６は、次のフレームには、前の『ｆｒａｍｅ＿ｎｕｍ』を１インクリメントした値を設定する（ステップＳ４）。そうすることで、スキップフレーム込みでも昇順の『ｆｒａｍｅ＿ｎｕｍ』でデコーダ３４に画像データを与えることができる。

次に、表示順制御パラメータとしての『ＰＯＣ＿ＬＳＢ』の設定変更について図８を参照して説明する。『ＰＯＣ＿ＬＳＢ』も『ｆｒａｍｅ＿ｎｕｍ』同様に、スキップフレームの挿入に伴って、フレーム単位の画像データにおいて変更する必要があるパラメータである。

スライスヘッダの要素の中に、『ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ』というパラメータが含まれているが、これを本実施形態では『ＰＯＣ＿ＬＳＢ』として説明する。図６に示した『ｆｒａｍｅ＿ｎｕｍ』は映像のデコード順を決めるパラメータであったが、『ＰＯＣ＿ＬＳＢ』は映像の表示順を決定するパラメータである。

パラメータ調整部３６は、図６を用いて説明した場合と同様にスキップフレームを挿入した分だけ、昇順に並ぶように『ＰＯＣ＿ＬＳＢ』を設定する。『ＰＯＣ＿ＬＳＢ』を調整しないでスキップフレームを挿入した場合の問題点と、『ＰＯＣ＿ＬＳＢ』を調整してスキップフレームを挿入した場合の効果については『ｆｒａｍｅ＿ｎｕｍ』の調整におけるものと同様であるため説明を省略する。

次に、画像配信サーバ２０側でスキップフレームを挿入する処理手順について図９を参照して説明する。ここでは、図４で説明した手順と異なる処理手順について説明し、重複する手順についての説明は省略するものとする。

すなわち、本手順では、画像配信サーバ２０の画像データ生成部２２が配信するフレーム単位の画像データの生成に加えて、その後にスキップフレームを挿入する［２−１］。

このように、画像配信サーバ２０側でスキップフレームを挿入しておくことによって、画像処理装置３０において特別な処理が不要となるため、通常再生と同じシーケンスで再生遅延を抑制することができる。

次に、画像処理装置３０で使用するスキップフレームの保持手順について図１０を参照して説明する。ここでも、図４で説明した手順と異なる処理手順について説明し、重複する手順についての説明は省略するものとする。

図５のようにクライアント側でスキップフレームを挿入する場合、事前にスキップフレームを保持しておく必要がある。ここでは、スキップフレームを保持するための方法について述べる。

サーバ側通信部２１は、画像データ生成部２２において生成されたスキップフレームを画像処理装置３０に送信する［３−２］〜［３−４］。

画像処理装置３０において、装置側通信部３１が受信したスキップフレームが記憶部３３に記憶される［３−５］。以降の処理を図４で説明した処理手順と同様に行うことにより、画像処理装置３０側でスキップフレームを挿入して、再生遅延を抑制することができる。

次に、スキップフレームを２枚以上挿入する処理について図１１を参照して説明する。図２では、フレーム単位の画像データの間にスキップフレームを１枚入れる場合の例を示したが、スキップフレームの挿入枚数は２枚以上であってもよい。複数のスキップフレームを挿入することによってより早くデコードを開始することができる。

図１２に示したようにスキップフレームを複数枚挿入した場合の再生速度の調整について図１２を参照して説明する。

ここでは、図５で説明したように３０ｆｐｓで再生する場合を例として説明する。スキップフレームを挿入しない場合の再生間隔は１／３０ｓｅｃとなる。他方、ここではｎ枚のスキップフレームを挿入した場合の再生間隔を本図に示した通り１／（３０＊（ｎ＋１））ｓｅｃとする。これにより図５で説明した場合と同様に見かけ上は３０ｆｐｓの速度で映像を表示しているように見える。

上記を一般化して、ｘｆｐｓの速度に対してｎ枚のスキップフレームを挿入する場合の表示間隔ｔは次式の通りとなる。
ｔ＝１／（ｘ＊（ｎ＋１））ｓｅｃ

なお、見かけ上は３０ｆｐｓであっても内部的にはそれ以上のフレームレートで動作する必要があるため、スキップフレームの挿入枚数はデコーダの処理能力に応じて決定することが好ましい。例えば、デコーダの処理能力が、再生速度すなわちフレームレートで表すとして１２０ｆｐｓの場合、３０ｆｐｓのフレームレートにおいて挿入可能なスキップフレームの挿入枚数は３枚であることが好ましい。

なお、上述する各実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、上述した本実施形態の画像処理装置における各処理を、ハードウェア、又は、ソフトウェア、あるいは、両者の複合構成を用いて実行することも可能である。

なお、ソフトウェアを用いて処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させることが可能である。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

１０ 情報処理端末
２０ 画像配信サーバ
２１ サーバ側通信部
２２ 画像データ生成部
３０ 画像処理装置
３１ 装置側通信部
３２ 制御部
３３ 記憶部
３４ デコーダ
３５ 表示部
３６ パラメータ調整部
４０ ネットワーク

特許５５０９２６２号公報

Claims (8)

1. フレーム単位の画像データを提供する情報処理装置とネットワークを介して接続された画像処理装置であって、
   前記情報処理装置から前記フレーム単位の画像データを受信する通信手段と、
   前記通信手段により受信した前記フレーム単位の画像データを表示可能な画像データとして復号する復号手段と、
   前記復号手段により復号された画像データを表示する表示手段と、
   前記復号手段により復号された画像データを前記表示手段に表示する際、表示する２以上の画像データ間に中間フレームを挿入する制御手段と
   を備えることを特徴とする画像処理装置。
2. 前記制御手段は、前記２以上の画像データ間に２以上の前記中間フレームを挿入することを特徴とする請求項１記載の画像処理装置。
3. 前記表示手段は、前記制御手段により、前記２以上の画像データ間に２以上の前記中間フレームが挿入されたとき、前記２以上の画像データ、２以上の前記中間フレームを含む画像データの表示速度を、２以上の前記中間フレームが挿入されないときの前記２以上の画像データの表示速度と同じであるかのように表示することを特徴とする請求項２記載の画像処理装置。
4. 前記通信手段により受信した前記フレーム単位の画像データに含まれる、前記復号手段による前記フレーム単位の画像データの復号順を規定する復号順制御パラメータを調整するパラメータ調整手段を備え、
   前記パラメータ調整手段は、前記通信手段により受信した前記フレーム単位の画像データが基準フレームであるとき、該画像データに含まれる前記復号順制御パラメータを初期化し、前記基準フレームの画像データの次に復号される、前記中間フレームを含むフレーム単位の画像データごとに昇順に前記復号順制御パラメータを設定することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
5. 前記パラメータ調整手段は、前記通信手段により受信した前記フレーム単位の画像データに含まれる、前記フレーム単位の画像データの前記表示手段への表示順を既定する表示順制御パラメータを調整する機能を備え、
   前記パラメータ調整手段は、前記２以上の画像データ間に挿入される前記中間フレームのフレーム数に応じて、前記２以上の画像データ及び前記中間フレームの前記表示順制御パラメータを昇順に設定することを特徴とする請求項１から４の何れか１項に記載の画像処理装置。
6. 前記中間フレームは、前記フレーム単位の画像データとともに前記情報処理装置にて生成され、
   前記通信手段により、前記フレーム単位の画像データとともに前記情報処理装置から受信した前記中間フレームを記憶する記憶手段を備えることを特徴とする請求項１から５の何れか１項に記載の画像処理装置。
7. フレーム単位の画像データを提供する情報処理装置と画像処理装置とがネットワークを介して接続された画像処理システムであって、
   前記フレーム単位の画像データを生成する画像データ生成手段と、
   前記画像データ生成手段により生成されたフレーム単位の画像データを表示可能な画像データとして復号する復号手段と、
   前記復号手段により復号された画像データを表示する表示手段と、
   前記復号手段により復号された画像データを前記表示手段に表示する際、表示する２以上の画像データ間に中間フレームを挿入する制御手段と
   を備えることを特徴とする画像処理システム。
8. フレーム単位の画像データを提供する情報処理装置とネットワークを介して接続された画像処理装置に実行させるコンピュータ読取可能なプログラムであって、
   前記情報処理装置から前記フレーム単位の画像データを受信して記憶部に記憶する処理と、
   前記記憶部に記憶された前記フレーム単位の画像データを表示可能な画像データとして復号する処理と、
   復号された前記画像データを表示手段に表示する処理と、
   復号された前記画像データを前記表示手段に表示する際、表示する２以上の画像データ間に中間フレームを挿入する処理と
   を含むことを特徴とするプログラム。