JP2007243982A

JP2007243982A - データ再生装置及びデータ再生方法

Info

Publication number: JP2007243982A
Application number: JP2007119408A
Authority: JP
Inventors: Yoshinori Matsui; 義徳松井
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2001-03-29
Filing date: 2007-04-27
Publication date: 2007-09-20
Anticipated expiration: 2022-03-28
Also published as: JP4544640B2

Abstract

【課題】受信端末にて、ユーザの好みに応じて、送信側から提供されるビデオストリームを、伝送エラーに対する耐性の高いものとするか、あるいは映像品質のよいものとするかを選択可能とする。
【解決手段】サーバ１００ａを、同一の画像データの符号化データとして、Ｉフレームの周期が異なる複数のビデオストリームを格納したデータ格納部１２０、及び受信端末からの指令信号Ｓｃに応じて、該複数のビデオストリームのうちの所定のビデオストリームを送信するデータ送信部１１０を有するものとし、受信端末２００ａを、ユーザの設定内容に基づいて、サーバ１００ａ側に用意されている複数のビデオストリームを指定するデータ指定信号Ｓｃをサーバ１００ａへ送信するものとした。
【選択図】図１

Description

本発明は、データ再生装置及びデータ再生方法に関し、特に、画像データの受信側にて、ユーザの好みや伝送エラーの発生状況に応じて、受信側で取得する画像データの伝送エラー耐性及び映像品質を切替え可能とするデータ再生処理に関するものである。

近年、映像音声データの圧縮符号化方式に関する国際標準規格ＭＰＥＧ−４（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ，Ｐｈａｓｅ４，ＩＳ０／ＩＥＣ１４４９６）の制定に伴い、狭帯域における映像音声データの配信が可能になった。例えば、６４ｋbit/sの帯域幅を有する伝送路では、１画面の横方向の画素数が１７６個，縦方向の画素数が１４４個であり、かつフレームレートが５〜６フレーム／秒である映像データと、電話品質なみの音声データとを同時に伝送可能である。

上記ＭＰＥＧ−４ビデオ規格により規定されているシンプルプロファイルでは、１シーンを構成する個々の物体の画像であるＶＯＰ（ｖｉｄｅｏｏｂｊｅｃｔｐｌａｎｅ）として、それぞれ符号化タイプが異なる、Ｉ−ＶＯＰ及びＰ−ＶＯＰが使用される。ここで、Ｉ−ＶＯＰは、その画像データの圧縮処理あるいは伸張処理に際して他のＶＯＰの画像データを参照しないものである。したがって、Ｉ−ＶＯＰに対する符号化処理あるいは復号化処理は、他のＶＯＰの画像データとは関係なく、単独で行うことが可能である。一方、Ｐ−ＶＯＰは、処理対象となるＰ−ＶＯＰの画像データの圧縮処理あるいは伸張処理を行う際、対象Ｐ−ＶＯＰの直前に位置するＩ−ＶＯＰあるいはＰ−ＶＯＰの画像データに基づいて予測して得られる予測データと、対象Ｐ−ＶＯＰの画像データとの差分成分を求め、該差分成分を符号化あるいは復号化するものである。

Ｉ−ＶＯＰの繰り返し周期は、広帯域を使用するデジタル衛星放送では、Ｉ−ＶＯＰが約0.5秒に1回現れる周期とすることが一般的である。つまり、日本のテレビ放送では１秒間のフレーム数は約３０であるから、１５フレーム毎にＩ−ＶＯＰが出現することになる。一方、狭帯域では、符号化された画像データ（符号化データ）の符号量の多いＩ−ＶＯＰの繰返し周期を長くし、符号化データの符号量の少ないＰ−ＶＯＰやＢ−ＶＯＰ（つまりその符号化あるいは復号化の際に他のＶＯＰの画像データを参照するもの）の出現頻度をできるだけ高くするほうが、Ｉ−ＶＯＰの出現頻度を高くするより、映像品質の改善効果が大きい。しかし、Ｉ−ＶＯＰの繰返し周期を長くする、つまりＩ−ＶＯＰの出現頻度を低くすることは、エラー耐性の面からは好ましいものではなく、パケットロスの発生時には画像の乱れが長期間続くことになる。なお、上述したＭＰＥＧ−４におけるＶＯＰは、ＭＰＥＧ−１,２におけるフレームに相当するものである。

また、無線網における受信端末の規格を定める国際標準化団体３ＧＰＰ(Third Generation Partnership Project、http://www.3gpp.org)は、サーバと受信端末の間でビデオデータを伝送するためのプロトコルとしてはＲＴＰ／ＵＤＰ／ＩＰ(real time transport protocol/user datagram protocol/internet protocol)を使用し、また受信端末からサーバにデータを要求するためのプロトコルとしては、ＲＴＳＰ／ＴＣＰ／ＩＰ(real time streaming protocol/transmission control protocol/ internet protocol)を使用することを規定している。さらに、３ＧＰＰの規格では、シーン記述言語として、ＳＭＩＬ(Synchronization Multimedia Markup Language, http://www.w3.org)が使用可能となっている。

図１８は、インターネットを利用して画像データを配信するための従来のデータ伝送システムを示している。
このデータ伝送システム２０は、上記符号化データであるビデオストリームをパケット化してパケットデータを送信するサーバ２０ａと、上記ビデオストリームを受信して、画像データを再生する受信端末２０ｂと、上記パケットデータを上記サーバ２０ａから受信端末２０ｂへ伝送するためのインターネットなどのネットワーク１１とを有している。

この通信システム２０では、まず、受信端末２０ｂとサーバ２０ａとの間で、サーバ２０ａに対するデータ要求を行うためのメッセージＭesの通信がＲＴＳＰ／ＴＣＰ／ＩＰにより行われ、これにより、受信端末２０ｂからデータ要求信号Ｄauがサーバ２０ａへ送信される。すると、サーバ２０ａからは、ビデオストリームＤstrが、データ伝送プロトコルであるRTP/UDP/IPにより受信端末２０ｂに伝送される。受信端末２０ｂでは、受信したビデオストリームＤstrの復号化処理が行われ、画像データが再生される。

図１９は、ＭＰＥＧ規格に対応した符号化処理を行う従来の画像符号化装置を説明するための図であり、図１９（ａ）はその構成を示すブロック図である。
この画像符号化装置１００は、図１８に示すサーバ２０ａを構成するものであり、Ｉ−ＶＯＰの符号化時には原画像データＤｖをそのまま圧縮符号化し、Ｐ−ＶＯＰの符号化時には原画像データＤｖとその予測データＤｐとの差分データＤvdを圧縮符号化し、符号化データＤｅを出力する符号化器１０２と、該符号化器１０２にて原画像データＤｖ及び差分データＤvdの圧縮により得られた圧縮データＤｃ及び圧縮差分データＤcdを伸張して、Ｉ−ＶＯＰに対応する局所復号化データＤｄ及びＰ−ＶＯＰに対応する局所復号化差分データＤddを出力する復号化器１０３と、上記原画像データＤｖとその予測データＤｐとの減算処理により上記差分データＤvdを作成する減算器１０１とを有している。

上記画像符号化装置１００は、上記局所復号化差分データＤddに予測データＤｐを加算してＰ−ＶＯＰに対応する局所復号化データＤdpを作成する加算器１０４と、上記Ｉ−ＶＯＰに対応する局所復号化データＤｄ及び上記Ｐ−ＶＯＰに対応する局所復号化データＤdpを参照データとして記録するフレームメモリ１０５とを備え、該フレームメモリ１０５から読み出された画像データが、予測データＤｐとして上記減算器１０１及び加算器１０４に供給されるものである。

次に上記従来の画像符号化装置１００の動作について簡単に説明する。
画像符号化装置１００では、図１９（ｂ）に示すように、外部から入力された原画像データＤｖがＶＯＰ毎に符号化される。
例えば、最初のＶＯＰデータＶ（１）はＩ−ＶＯＰとして符号化され、第２番目から第５番目のＶＯＰデータＶ（２）〜Ｖ（５）がＰ−ＶＯＰとして符号化され、第６番目のＶＯＰデータＶ（６）はＩ−ＶＯＰとして、第７番目から第１０番目のＶＯＰデータＶ（７）〜Ｖ（１０）は、Ｐ−ＶＯＰとして符号化される。

符号化処理が開始されると、まず、最初のＶＯＰデータＶ（１）は、Ｉ−ＶＯＰとして符号化される。つまり、Ｉ−ＶＯＰに対応する原画像データＤｖは符号化器１０２にて圧縮符号化され、符号化データＤｅとして出力される。このとき、上記符号化器１０２からは、原画像データＤｖの圧縮により得られた圧縮データＤｃが復号化器１０３に出力される。すると、復号化器１０３では、圧縮データＤｃに対する伸張処理が行われてＩ−ＶＯＰの局所復号化データＤｄが生成される。そして、該復号化器１０３から出力された局所復号化データＤｄは、参照データとしてフレームメモリ１０５に格納される。

次に、第２番目のＶＯＰデータＶ（２）はＰ−ＶＯＰとして符号化される。つまり、Ｐ−ＶＯＰに対応する原画像データＤｖは上記符号化器１０２前段の減算器１０１に入力され、該減算器１０１では、上記フレームメモリ１０５から予測データＤｐとして読み出された画像データと、上記Ｐ−ＶＯＰに対応する原画像データＤｖとの差分データＤvdが生成される。そして、差分データＤvdは符号化器１０２にて圧縮符号化され、符号化データＤｅとして出力される。

また、このとき、上記符号化器１０２からは、差分データＤvdの圧縮により得られた圧縮差分データＤcdが復号化器１０３に出力される。すると、復号化器１０３では、圧縮差分データＤcdに対する伸張処理が行われて局所復号化差分データＤddが生成される。加算器１０４では、上記復号化器１０３から出力された局所復号化差分データＤddと、上記フレームメモリ１０５から読み出された画像データである予測データＤｐとの加算処理により、Ｐ−ＶＯＰに対応する局所復号化データＤdpが生成される。そして、加算器１０４から出力された局所復号化データＤdpは参照データとしてフレームメモリ１０５に格納される。

その後、上記第３番目〜第５番目のＶＯＰデータＶ（３）〜Ｖ（５）は、上記第２番目のＶＯＰデータと同様、Ｐ−ＶＯＰとして符号化される。さらに、上記第６番目のＶＯＰデータＶ（６）は第１番目のＶＯＰデータＶ（１）と同様、Ｉ−ＶＯＰとして符号化され、これに続く第７番目〜第１０番目のＶＯＰデータＶ（７））〜Ｖ（１０）は、上記第２番目のＶＯＰデータＶ（２）と同様、Ｐ−ＶＯＰとして符号化される。
このように上記画像符号化装置１００では、原画像データＤｖに対する符号化処理がＩ−ＶＯＰの周期を５ＶＯＰとして行われる。

図２０は、従来の画像復号化装置を説明するためのブロック図である。
この画像復号化装置２００は、図１９（ａ）に示す画像符号化装置１００から出力された符号化データＤｅを復号化するものであり、上記データ伝送システム２０における受信端末２０ｂのデコード部を構成するものである。
つまり、この画像復号化装置２００は、上記画像符号化装置１００からの符号化データＤｅに対する伸張復号処理をＶＯＰ単位で行い、Ｉ−ＶＯＰの復号化時には原画像データＤｖに相当する復号化データＤｄを出力し、Ｐ−ＶＯＰの復号化時には、原画像データＤｖとその予測データＤｐとの差分データＤvdに相当する復号化差分データＤddを出力する復号化器２０１と、上記復号化差分データＤddに予測データＤｐを加算してＰ−ＶＯＰに対応する復号化データＤdecpを生成する加算器２０２と、上記Ｉ−ＶＯＰに対応する復号化データＤｄ及び上記Ｐ−ＶＯＰに対応する復号化データＤdecpを参照データとして記録するフレームメモリ２０３とを備え、該フレームメモリ２０３から上記予測データＤｐとして読み出された画像データが、上記加算器２０２に供給されるものである。

次に、従来の画像復号化装置２００の動作について簡単に説明する。
復号化処理が開始されると、この画像復号化装置２００では、上記画像符号化装置１００からの符号化データＤｅがＶＯＰ毎に復号化される。

つまり、Ｉ−ＶＯＰに対応する符号化データＤｅが復号化器２０１に入力されると、該復号化器２０１では、該符号化データＤｅに対する伸張復号化が行われて、原画像データＤｖに相当する復号化データＤｄが生成される。そして、該復号化データＤｄは、上記画像復号化装置２００から出力されるとともに、参照データとしてフレームメモリ２０３に格納される。

また、Ｐ−ＶＯＰに対応する符号化データＤｅが復号化器２０１に入力されると、該復号化器２０１では、該符号化データＤｅに対する伸張復号化が行われて、原画像データＤｖとその予測データＤｐとの差分データＤvdに相当する復号化差分データＤddが生成される。該復号化差分データＤddが加算器２０２に入力されると、該加算器２０２では、該復号化差分データＤddと、上記フレームメモリ２０３から予測データＤｐとして読み出された画像データとを加算する加算処理が行われて、Ｐ−ＶＯＰに対応する復号化データＤdecpが生成される。そして、該復号化データＤdecpは、上記画像復号化装置２００から出力されるとともに、参照データとしてフレームメモリ２０３に格納される。

ところが、図１８に示すような従来のデータ伝送システム２０では、以下のような問題があった。
つまり、ＲＴＰ／ＵＤＰ／ＩＰを用いたデータの伝送では、プロトコルの特性によって、配信サーバから送出されたデータが受信端末に到着しないことがある。その要因の１つには、受信したパケット中にビット誤りが発生すると、ＵＤＰにおける誤り検出機構により、着信したパケットが破棄されることがあげられる。特に、サーバから受信端末までの伝送経路に無線伝送路が含まれる伝送システムでは、受信端末での電波強度が弱い場合、受信した伝送データを正しく復調できず、このような場合に、上記受信データのビット誤りが発生することとなる。

また、受信端末では、１フレーム（ＶＯＰ）分のデータ（ビデオストリーム）がそろわないと、その映像フレームに対する復号化処理を行うことができない。このため、伝送誤りが発生した場合の対応方法として、例えば、伝送誤りが発生したときには、正常にデータが受信されなかったフレーム（ＶＯＰ）のデータを破棄し、その後Ｉフレーム（Ｉ−ＶＯＰ）のデータが正常に受信されるまで、既にデータが正常に受信された映像フレームを表示し、そしてＩフレームのデータが正常に受信されたとき、このＩフレームから復号処理を再開するという方法が用いられる。この対応方法では、映像の乱れはないが、Ｉフレームを受信するまで表示画像の動きが止まることとなる。

さらに、伝送誤りが発生した場合のその他の方法として、正常にデータが受信されなかったフレーム（ＶＯＰ）のデータを、直前の正しく受信され復号化されたフレーム（ＶＯＰ）のデータで代用し、このフレームのデータを、以降のフレームの復号化に使用するという方法がある。この方法では、データが正常に受信されなかったフレーム以外のフレームでは、表示画像の動きが止まることがないため、スムーズな表示が行われる。しかしながら、復号化の対象となる対象フレームのデータは、符号化処理の際に参照したフレームとは異なるフレームを参照して復号化されるため、表示内容が大きく乱れる可能性がある。視聴者の嗜好にもよるが、一般的には、伝送誤りが発生したときには、対象フレームに対する、破棄された参照フレームのデータを、参照フレーム以外の他のフレームのデータに置き換える方法を用いるより、伝送誤りの発生後にＩフレームのデータが正常に受信されるまで、伝送誤りの発生直前のフレームを表示する方法を用いる方が、再生画像としては違和感は少ないものが得られる。

ところが、従来の受信端末は、伝送誤りが発生した場合の対応方法として、上記いずれかの方法を実行するように予め設定されており、このため、伝送誤りが発生した場合に表示される画像に対して、視聴者が大きな違和感を抱くことがあるという問題があった。
さらに、データ圧縮に伴う映像品質の劣化を抑えるには、Ｉフレーム（Ｉ−ＶＯＰ）の出現頻度をできる限り少なくするべきであるが、一方で、伝送エラーの発生により異常な状態となった復号化処理を、素早く正常な復号化処理に復帰させるという観点からすると、Ｉフレーム（Ｉ−ＶＯＰ）の出現頻度をあまり少なくすることはできないという問題もあった。

本発明は、上記のような課題を解決するためになされたもので、伝送誤りが発生した場合に表示される画像を、視聴者にとって違和感のほとんどないものとすることができるデータ再生装置，データ再生方法、該データ再生方法をソフトウエアにより行うためのプログラム、及び該プログラムを格納したデータ記録媒体を得ることを目的とする。

本発明に係るデータ再生装置は、複数の、エラー耐性の異なる各画像データのうちのいずれかを受信して再生するデータ再生装置であって、上記複数の画像データのエラー耐性強度を示す補助データを受信する補助データ受信部と、受信すべき画像データに関する条件と、上記補助データが示す上記各画像データのエラー耐性強度とに基づいて、上記複数の画像データのうちの１つを指定するデータ指定信号を生成するデータ指定部と、該データ指定信号を送信するデータ送信部と、該送信されたデータ指定信号に基づいて上記複数の画像データのうちから選択され、送信された画像データを受信する画像データ受信部とを備えたことを特徴とするものである。

本発明は、上記データ再生装置において、上記複数の、エラー耐性の異なる各画像データは、デジタル映像信号を画面内画素値相関を用いて符号化してなる画面内符号化データと、デジタル映像信号を画面間画素値相関を用いて符号化してなる画面間符号化データとを含み、上記各画像データにおける上記画面内符号化データの出願間隔が異なるものであることを特徴とするものである。

本発明は、上記データ再生装置において、上記複数の、エラー耐性の異なる複数の画像データは、デジタル映像信号を符号化してなる第１，及び第２の画像符号化データであり、上記第１の画像符号化データは、１フレームに対応する符号化データがフレームより小さいデータ単位毎にパケット化されているものであり、上記第２の画像符号化データは、１フレームに対応する符号化データが、フレーム毎にあるいはフレームより大きいデータ単位毎にパケット化されているものであることを特徴とするものである。

本発明は、上記データ再生装置において、上記複数の、エラー耐性の異なる各画像データは、同一の画像系列に対応するものであって、それぞれのフレームレートが異なるものであることを特徴とするものである。

本発明は、上記データ再生装置において、上記複数の、エラー耐性の異なる各画像データは、同一の画像系列に対応するものであって、該各画像データに対する伝送プロトコルが異なるものであることを特徴とするものである。

本発明は、上記データ再生装置において、上記画像データ受信部にて受信された画像データを復号化する復号化部と、設定された動作条件に応じて、上記復号化部の動作モードを切り替える制御部とを備えたことを特徴とするものである。

本発明は、上記データ再生装置において、上記複数の、エラー耐性の異なる各画像データは、デジタル映像信号を画面内画素値相関を用いて符号化してなる画面内符号化データと、デジタル映像信号を画面間画素値相関を用いて符号化してなる画面間符号化データとを含み、上記各画像データにおける上記画面内符号化データの出現間隔が異なるものであり、上記制御部は、上記動作条件が、画面内符号化データの出現間隔が既定値より短い画像データを受信する動作条件であるとき、上記復号化部の動作モードを、伝送エラーが発生した時に、その後画面内符号化データが正常に受信されるまで、復号処理を一旦停止する第１の復号モードとし、上記動作条件が、画面内符号化データの出現間隔が既定値以上の画像データを受信する動作条件であるとき、上記復号化部の動作モードを、伝送エラーが発生した時に、その後画面内符号化データが正常に受信されるまで、画面間符号化データを、その伝送エラーにより復号不可能となった部分を除いて復号化する第２の復号モードとするものであることを特徴とするものである。

本発明は、上記データ再生装置において、上記第２の復号モードは、伝送エラーの発生によりデータが欠落したフレーム以外のフレームの画像データを復号化するものであることを特徴とするものである。

本発明は、上記データ再生装置において、上記画像データは、フレームより小さいデータ単位毎にパケット化されたものであり、上記第２の復号モードは、伝送エラーの発生によりデータが欠落したパケット以外のパケットの画像データを復号化するものであることを特徴とするものである。

本発明に係るデータ再生装置は、複数の、エラー耐性の異なる各画像データのうちのいずれかを受信して再生するデータ再生装置であって、上記複数の画像データのエラー耐性強度を示す補助データを受信する補助データ受信部と、受信した画像データのエラー発生率を検出するエラー検出部と、上記検出した画像データのエラー発生率、及び上記補助データが示す各画像データのエラー耐性強度に基づいて、上記複数の画像データのうちの１つを指定するデータ指定信号を生成するデータ指定部と、該データ指定信号を送信するデータ送信部と、該送信されたデータ指定信号に基づいて上記複数の画像データのうちから選択され、送信された画像データを受信する画像データ受信部とを備えたことを特徴とするものである。

本発明に係るデータ再生方法は、複数の、エラー耐性の異なる各画像データのうちのいずれかを受信して再生するデータ再生方法であって、上記複数の画像データのエラー耐性強度を示す補助データを受信する補助データ受信ステップと、受信すべき画像データに関する条件と、上記補助データが示す上記各画像データのエラー耐性強度とに基づいて、上記複数の画像データのうちの１つを指定するデータ指定信号を生成するデータ指定ステップと、該データ指定信号を送信するデータ送信ステップと、該送信されたデータ指定信号に基づいて上記複数の画像データのうちから選択され、送信された画像データを受信する画像データ受信ステップとを含むことを特徴とするものである。

本発明に係るデータ再生方法は、複数の、エラー耐性の異なる各画像データのうちのいずれかを受信して再生するデータ再生方法であって、上記複数の画像データのエラー耐性強度を示す補助データを受信する補助データ受信ステップと、受信した画像データのエラー発生率を検出するエラー検出ステップと、上記検出した画像データのエラー発生率と、上記補助データが示す上記各画像データのエラー耐性強度とに基づいて、上記複数の画像データのうちの１つを指定するデータ指定信号を生成するデータ指定ステップと、該データ指定信号を送信するデータ送信ステップと、該送信されたデータ指定信号に基づいて上記複数の画像データのうちから選択され、送信された画像データを受信する画像データ受信ステップとを含むことを特徴とするものである。

本発明に係るデータ記録媒体は、複数の、エラー耐性の異なる各画像データのうちのいずれかを受信して再生するデータ再生処理をコンピュータにより行うためのデータ再生プログラムを格納したデータ記録媒体であって、上記データ再生プログラムは、上記複数の画像データのエラー耐性強度を示す補助データを受信する補助データ受信ステップと、受信すべき画像データに関する条件と、上記補助データが示す上記各画像データのエラー耐性強度とに基づいて、上記複数の画像データのうちの１つを指定するデータ指定信号を生成するデータ指定ステップと、該データ指定信号を送信するデータ送信ステップと、該送信されたデータ指定信号に基づいて上記複数の画像データのうちから選択され、送信された画像データを受信する画像データ受信ステップとを含むものであることを特徴とするものである。

本発明に係るデータ記録媒体は、複数の、エラー耐性の異なる各画像データのうちのいずれかを受信して再生するデータ再生処理をコンピュータにより行うためのデータ再生プログラムを格納したデータ記録媒体であって、上記データ再生プログラムは、上記複数の画像データのエラー耐性強度を示す補助データを受信する補助データ受信ステップと、受信した画像データのエラー発生率を検出するエラー検出ステップと、上記検出した画像データのエラー発生率と、上記補助データが示す上記各画像データのエラー耐性強度とに基づいて、上記複数の画像データのうちの１つを指定するデータ指定信号を生成するデータ指定ステップと、該データ指定信号を送信するデータ送信ステップと、該送信されたデータ指定信号に基づいて上記複数の画像データのうちから選択され、送信された画像データを受信する画像データ受信ステップとを含むものであることを特徴とするものである。

本発明に係るデータ再生装置は、画像データを受信して再生するデータ再生装置であって、上記画像データを受信する画像データ受信部と、上記画像データ受信部にて受信された画像データを復号化する復号化部と、設定された条件に応じて、上記復号化部の動作モードを切り替える制御部とを備えたことを特徴とするものである。

本発明は、上記データ再生装置において、上記画像データのエラー耐性強度を示す補助データを受信する補助データ受信部を備えたことを特徴とするものである。

本発明は、上記データ再生装置において、上記画像データは、デジタル映像信号を画面内画素値相関を用いて符号化してなる画面内符号化データと、デジタル映像信号を画面間画素値相関を用いて符号化してなる画面間符号化データとを含むものであり、上記補助データは、上記画像データにおける画面内符号化データの出現間隔を示すものであることを特徴とするものである。

本発明は、上記データ再生装置において、上記画像データは、デジタル映像信号を画面内画素値相関を用いて符号化してなる画面内符号化データと、デジタル映像信号を画面間画素値相関を用いて符号化してなる画面間符号化データとを含むものであり、上記画像データ受信部は、上記画像データにおける画面内符号化データの出現間隔を算出する演算部を有するものであることを特徴とするものである。

本発明は、上記データ再生装置において、上記画像データは、デジタル映像信号を画面内画素値相関を用いて符号化してなる画面内符号化データと、デジタル映像信号を画面間画素値相関を用いて符号化してなる画面間符号化データとを含むものであり、上記制御部は、上記画面内符号化データの出現間隔が、上記設定条件が示す既定値より短い画像データを受信する場合、上記復号化部の動作モードを、伝送エラーが発生した時に、その後画面内符号化データが正常に受信されるまで、復号処理を一旦停止する第１の復号モードとし、上記画面内符号化データの出現間隔が、上記設定条件が示す既定値以上の画像データを受信する場合、上記復号化部の動作モードを、伝送エラーが発生した時に、伝送エラーにより復号不可能となった部分を除いて復号化する第２の復号モードとするものであることを特徴とするものである。

本発明は、上記データ再生装置において、上記画像データは、デジタル映像信号を画面内画素値相関を用いて符号化してなる画面内符号化データと、デジタル映像信号を画面間画素値相関を用いて符号化してなる画面間符号化データとを含むものであり、上記制御部は、伝送エラーが発生した時の、上記復号化部の復号動作を、該伝送エラーの発生したフレームの復号時間と、その後に復号される画面内符号化フレームの復号時間との時間差に応じて切り替えるものであることを特徴とするものである。

本発明は、上記データ再生装置において、上記制御部は、伝送エラーが発生したとき、上記伝送エラーの発生したフレームの復号時から、その後に復号される画面内符号化フレームの復号時までの時間差が、上記設定された条件が示す一定の基準値より小さい第１の場合、上記復号化部の復号動作を、上記伝送エラーの発生したフレームの復号時からその後に画面内符号化フレームに対する復号が行われるまでの間は、画像データに対する復号処理を停止するよう制御し、上記伝送エラーの発生したフレームの復号時から、その後に復号される画面内符号化フレームの復号時までの時間差が、上記設定された条件が示す一定の基準値以上である第２の場合、上記復号化部の復号動作を、上記伝送エラーの発生したフレームの復号時からその後に画面内符号化フレームに対する復号が行われるまでの間は、画面間符号化データをその伝送エラーの発生により復号不可能となった部分を除いて復号化する復号処理を行うよう制御するものであることを特徴とするものである。

本発明は、上記データ再生装置において、上記第２の場合に行われる復号処理は、伝送エラーの発生によりデータが欠落したフレーム以外のフレームの画像データを復号化するものであることを特徴とするものである。

本発明は、上記データ再生装置において、上記画像データは、フレームより小さいデータ単位毎にパケット化されたものであり、上記第２の場合に行われる復号処理は、伝送エラーの発生によりデータが欠落したパケット以外のパケットの画像データを復号化するものであることを特徴とするものである。

本発明に係るデータ再生方法は、画像データを受信して再生するデータ再生方法であって、上記画像データを受信する画像データ受信ステップと、上記画像データ受信部にて受信された画像データを復号化する復号化ステップと、設定された条件に応じて、上記復号化部の動作モードを切り替える制御ステップとを含むことを特徴とするものである。

本発明に係るデータ記録媒体は、画像データを受信して再生するデータ再生処理をコンピュータにより行うためのデータ再生プログラムを格納したデータ記録媒体であって、上記データ再生プログラムは、上記画像データを受信する画像データ受信ステップと、上記画像データ受信部にて受信された画像データを復号化する復号化ステップと、設定された条件に応じて、上記復号化部の動作モードを切り替える制御ステップとを含むものであることを特徴とするものである。

本発明に係るデータ再生装置は、複数のビデオストリームを切り替えて表示するデータ再生装置であって、上記ビデオストリームを構成するＲＴＰパケットを受信し、上記ＲＴＰパケットからＲＴＰタイムスタンプを抽出し、上記ＲＴＰタイムスタンプに対応する上記データ再生装置上の表示時刻を算出する受信部と、受信中の、第１のビデオストリームを構成するＲＴＰパケットからエラーを検出するエラー検出部と、上記エラー検出部にてエラーが検出された場合に、第２のビデオストリームの送信要求を行う送受信部と、上記受信部によって算出された表示時刻を解析する解析部と、表示するビデオストリームを切り替える制御部とを備え、上記受信部は、上記第２のビデオストリームの送信要求が行われた後に、上記第１のビデオストリームを構成するＲＴＰパケットと、上記第２のビデオストリームを構成するＲＴＰパケットとを受信して、上記第１のビデオストリームのＲＴＰタイムスタンプから第１の表示時刻を、上記第２のビデオストリームのＲＴＰタイムスタンプから第２の表示時刻を算出し、上記解析部は、上記第１の表示時刻と上記第２の表示時刻とを比較して、上記第２の表示時刻が上記第１の表示時刻より大きいか否かを判定し、上記制御部は、上記第２の表示時刻が上記第１の表示時刻より大きいとき、表示するビデオストリームを上記第２のビデオストリームに切り替えることを特徴とする。

本発明は、上記データ再生装置において、上記送受信部は、上記第２の表示時刻が上記第１の表示時刻より大きいとき、上記第１のビデオストリームに対する送信停止を要求することを特徴とする。

本発明は、上記データ再生装置において、上記受信部は、上記第２の表示時刻が上記第１の表示時刻より大きいとき、上記第１のビデオストリームを構成するＲＴＰパケットの受信を停止することを特徴とする。

本発明は、上記データ再生装置において、上記受信部は、上記第２の表示時刻が上記第１の表示時刻より大きいとき、上記第２の表示時刻以降の、上記第１のビデオストリームを構成するＲＴＰパケットを破棄することを特徴とする。

本発明に係るデータ再生方法は、複数のビデオストリームを切り替えて表示するデータ再生方法であって、上記ビデオストリームを構成するＲＴＰパケットを受信するステップと、受信中の、第１のビデオストリームを構成するＲＴＰパケットからエラーを検出するステップと、上記エラーが検出された場合に、第２のビデオストリームの送信要求を行うステップと、上記第２のビデオストリームの送信要求が行われた後に、上記第１のビデオストリームを構成するＲＴＰパケットと、上記第２のビデオストリームを構成するＲＴＰパケットとを受信するステップと、上記第１のビデオストリームを構成するＲＴＰパケットからＲＴＰタイムスタンプを抽出して、該ＲＴＰタイムスタンプに対応する上記データ再生装置上の第１の表示時刻を算出すると共に、上記第２のビデオストリームを構成するＲＴＰパケットからＲＴＰタイムスタンプを抽出して、該ＲＴＰタイムスタンプに対応する上記データ再生装置上の第２の表示時刻を算出するステップと、上記第１の表示時刻と上記第２の表示時刻とを比較して、上記第２の表示時刻が上記第１の表示時刻より大きいか否かを判定するステップと、上記第２の表示時刻が上記第１の表示時刻より大きいとき、表示するビデオストリームを上記第２のビデオストリームに切り替えるステップとを含むことを特徴とする。

本発明に係るデータ再生プログラムは、複数のビデオストリームを受信して表示するデータ再生処理をコンピュータにより行うためのデータ再生プログラムであって、上記ビデオストリームを構成するＲＴＰパケットを受信するステップと、受信中の、第１のビデオストリームを構成するＲＴＰパケットからエラーを検出するステップと、上記エラーが検出された場合に、第２のビデオストリームの送信要求を行うステップと、上記第２のビデオストリームの送信要求が行われた後に、上記第１のビデオストリームを構成するＲＴＰパケットと、上記第２のビデオストリームを構成するＲＴＰパケットとを受信するステップと、上記第１のビデオストリームを構成するＲＴＰパケットからＲＴＰタイムスタンプを抽出して、該ＲＴＰタイムスタンプに対応する上記データ再生装置上の第１の表示時刻を算出すると共に、上記第２のビデオストリームを構成するＲＴＰパケットからＲＴＰタイムスタンプを抽出して、該ＲＴＰタイムスタンプに対応する上記データ再生装置上の第２の表示時刻を算出するステップと、上記第１の表示時刻と上記第２の表示時刻とを比較して、上記第２の表示時刻が上記第１の表示時刻より大きいか否かを判定するステップと、上記第２の表示時刻が上記第１の表示時刻より大きいとき、表示するビデオストリームを上記第２のビデオストリームに切り替えるステップとを含むことを特徴とする。

本発明に係るデータ記録媒体は、複数のビデオストリームを受信して表示するデータ再生処理をコンピュータにより行うためのデータ再生プログラムを格納する記録媒体であって、上記データ再生プログラムは、上記ビデオストリームを構成するＲＴＰパケットを受信するステップと、受信中の、第１のビデオストリームを構成するＲＴＰパケットからエラーを検出するステップと、上記エラーが検出された場合に、第２のビデオストリームの送信要求を行うステップと、上記第２のビデオストリームの送信要求が行われた後に、上記第１のビデオストリームを構成するＲＴＰパケットと、上記第２のビデオストリームを構成するＲＴＰパケットとを受信するステップと、上記第１のビデオストリームを構成するＲＴＰパケットからＲＴＰタイムスタンプを抽出して、該ＲＴＰタイムスタンプに対応する上記データ再生装置上の第１の表示時刻を算出すると共に、上記第２のビデオストリームを構成するＲＴＰパケットからＲＴＰタイムスタンプを抽出して、該ＲＴＰタイムスタンプに対応する上記データ再生装置上の第２の表示時刻を算出するステップと、上記第１の表示時刻と上記第２の表示時刻とを比較して、上記第２の表示時刻が上記第１の表示時刻より大きいか否かを判定するステップと、上記第２の表示時刻が上記第１の表示時刻より大きいとき、表示するビデオストリームを上記第２のビデオストリームに切り替えるステップとを含むことを特徴とする。

本発明は、上記データ再生装置が携帯電話機であることを特徴とする。

以上のように、本発明に係るデータ再生装置によれば、複数の、エラー耐性の異なる各画像データのうちのいずれかを受信して再生するデータ再生装置であって、上記複数の画像データのエラー耐性強度を示す補助データを受信する補助データ受信部と、受信すべき画像データに関する条件と、上記補助データが示す上記各画像データのエラー耐性強度とに基づいて、上記複数の画像データのうちの１つを指定するデータ指定信号を生成するデータ指定部と、該データ指定信号を送信するデータ送信部と、該送信されたデータ指定信号に基づいて上記複数の画像データのうちから選択され、送信された画像データを受信する画像データ受信部とを備えたことを特徴とするので、伝送エラーの発生時における表示画像に対してユーザが抱く違和感が小さくなるよう、受信端末に提供されるビデオストリームを選択することができる。

本発明によれば、上記データ再生装置において、上記複数の、エラー耐性の異なる各画像データは、デジタル映像信号を画面内画素値相関を用いて符号化してなる画面内符号化データと、デジタル映像信号を画面間画素値相関を用いて符号化してなる画面間符号化データとを含み、上記各画像データにおける上記画面内符号化データの出現間隔が異なるものであることを特徴とするので、ビデオストリームにおけるＩフレームの出現間隔の選択により、伝送エラーの発生状況やユーザの好みに応じたエラー耐性を有する画像データを選択することができる。

本発明によれば、上記データ再生装置において、上記複数の、エラー耐性の異なる複数の画像データは、デジタル映像信号を符号化してなる第１，及び第２の画像符号化データであり、上記第１の画像符号化データは、１フレームに対応する符号化データがフレームより小さいデータ単位毎にパケット化されているものであり、上記第２の画像符号化データは、１フレームに対応する符号化データが、フレーム毎にあるいはフレームより大きいデータ単位毎にパケット化されているものであることを特徴とするので、画像符号化データのパケットサイズの選択により、伝送エラー耐性の高いビデオストリームと、映像品質のよいビデオストリームとを切り換えることができる。

本発明によれば、上記データ再生装置において、上記複数の、エラー耐性の異なる各画像データは、同一の画像系列に対応するものであって、それぞれのフレームレートが異なるものであることを特徴とするので、フレームレートの選択により、伝送エラー耐性の高いビデオストリームと、映像品質のよいビデオストリームとを切り換えることができる。

本発明によれば、上記データ再生装置において、上記複数の、エラー耐性の異なる各画像データは、同一の画像系列に対応するものであって、該各画像データに対する伝送プロトコルが異なるものであることを特徴とするので、プロトコルの選択により異なるエラー耐性の画像データを選択可能となる。

本発明によれば、上記データ再生装置において、上記画像データ受信部にて受信された画像データを復号化する復号化部と、設定された動作条件に応じて、上記復号化部の動作モードを切り替える制御部とを備えたことを特徴とするので、エラー発生時の表示画像の違和感を、動作条件の設定により小さくすることができる。

本発明によれば、上記データ再生装置において、上記複数の、エラー耐性の異なる各画像データは、デジタル映像信号を画面内画素値相関を用いて符号化してなる画面内符号化データと、デジタル映像信号を画面間画素値相関を用いて符号化してなる画面間符号化データとを含み、上記各画像データにおける上記画面内符号化データの出現間隔が異なるものであり、上記制御部は、上記動作条件が、画面内符号化データの出現間隔が既定値より短い画像データを受信する動作条件であるとき、上記復号化部の動作モードを、伝送エラーが発生した時に、その後画面内符号化データが正常に受信されるまで、復号処理を一旦停止する第１の復号モードとし、上記動作条件が、画面内符号化データの出現間隔が既定値以上の画像データを受信する動作条件であるとき、上記復号化部の動作モードを、伝送エラーが発生した時に、その後画面内符号化データが正常に受信されるまで、画面間符号化データを、その伝送エラーにより復号不可能となった部分を除いて復号化する第２の復号モードとするものであることを特徴とするので、エラー発生時の復号動作を、動作条件の設定に応じた、表示画像の違和感の小さいものとできる。

本発明によれば、上記データ再生装置において、上記第２の復号モードは、伝送エラーの発生によりデータが欠落したフレーム以外のフレームの画像データを復号化するものであることを特徴とするので、伝送エラーの発生時にも、データが欠落したフレーム以外のフレームの表示が可能となり、スムースな画像表示を行うことができる。

本発明によれば、上記データ再生装置において、上記画像データは、フレームより小さいデータ単位毎にパケット化されたものであり、上記第２の復号モードは、伝送エラーの発生によりデータが欠落したパケット以外のパケットの画像データを復号化するものであることを特徴とするので、伝送エラーの発生時には、エラー発生によりデータが欠落したフレームであってもその一部の表示が可能となり、よりスムースな画像表示が可能となる。

本発明に係るデータ再生装置によれば、複数の、エラー耐性の異なる各画像データのうちのいずれかを受信して再生するデータ再生装置であって、上記複数の画像データのエラー耐性強度を示す補助データを受信する補助データ受信部と、受信した画像データのエラー発生率を検出するエラー検出部と、上記検出した画像データのエラー発生率、及び上記補助データが示す各画像データのエラー耐性強度に基づいて、上記複数の画像データのうちの１つを指定するデータ指定信号を生成するデータ指定部と、該データ指定信号を送信するデータ送信部と、該送信されたデータ指定信号に基づいて上記複数の画像データのうちから選択され、送信された画像データを受信する画像データ受信部とを備えたことを特徴とするので、例えばビデオストリームにおけるＩフレームの出現間隔を伝送エラーの発生率に応じて変更することができ、これにより、伝送エラーの発生時における表示画像の違和感を小さく抑えることができる。

本発明に係るデータ再生方法によれば、複数の、エラー耐性の異なる各画像データのうちのいずれかを受信して再生するデータ再生方法であって、上記複数の画像データのエラー耐性強度を示す補助データを受信する補助データ受信ステップと、受信すべき画像データに関する条件と、上記補助データが示す上記各画像データのエラー耐性強度とに基づいて、上記複数の画像データのうちの１つを指定するデータ指定信号を生成するデータ指定ステップと、該データ指定信号を送信するデータ送信ステップと、該送信されたデータ指定信号に基づいて上記複数の画像データのうちから選択され、送信された画像データを受信する画像データ受信ステップとを含むことを特徴とするので、伝送エラーの発生時における表示画像に対してユーザが抱く違和感が小さくなるよう、受信端末に提供されるビデオストリームを選択することができ、これにより、伝送エラーの発生時における表示画像の違和感を小さく抑えることができる。

本発明に係るデータ再生方法によれば、複数の、エラー耐性の異なる各画像データのうちのいずれかを受信して再生するデータ再生方法であって、上記複数の画像データのエラー耐性強度を示す補助データを受信する補助データ受信ステップと、受信した画像データのエラー発生率を検出するエラー検出ステップと、上記検出した画像データのエラー発生率と、上記補助データが示す上記各画像データのエラー耐性強度とに基づいて、上記複数の画像データのうちの１つを指定するデータ指定信号を生成するデータ指定ステップと、該データ指定信号を送信するデータ送信ステップと、該送信されたデータ指定信号に基づいて上記複数の画像データのうちから選択され、送信された画像データを受信する画像データ受信ステップとを含むことを特徴とするので、例えばビデオストリームにおけるＩフレームの出現間隔を伝送エラーの発生率に応じて変更することができ、これにより、伝送エラーの発生時における表示画像の違和感を小さく抑えることができる。

本発明に係るデータ記録媒体によれば、複数の、エラー耐性の異なる各画像データのうちのいずれかを受信して再生するデータ再生処理をコンピュータにより行うためのデータ再生プログラムを格納したデータ記録媒体であって、上記データ再生プログラムは、上記複数の画像データのエラー耐性強度を示す補助データを受信する補助データ受信ステップと、受信すべき画像データに関する条件と、上記補助データが示す上記各画像データのエラー耐性強度とに基づいて、上記複数の画像データのうちの１つを指定するデータ指定信号を生成するデータ指定ステップと、該データ指定信号を送信するデータ送信ステップと、該送信されたデータ指定信号に基づいて上記複数の画像データのうちから選択され、送信された画像データを受信する画像データ受信ステップとを含むものであることを特徴とするので、受信端末でのユーザ設定などにより、伝送エラーの発生時における表示画像の違和感を小さく抑えることができる復号処理を、ソフトウエアにより実現可能となる。

本発明に係るデータ記録媒体によれば、複数の、エラー耐性の異なる各画像データのうちのいずれかを受信して再生するデータ再生処理をコンピュータにより行うためのデータ再生プログラムを格納したデータ記録媒体であって、上記データ再生プログラムは、上記複数の画像データのエラー耐性強度を示す補助データを受信する補助データ受信ステップと、受信した画像データのエラー発生率を検出するエラー検出ステップと、上記検出した画像データのエラー発生率と、上記補助データが示す上記各画像データのエラー耐性強度とに基づいて、上記複数の画像データのうちの１つを指定するデータ指定信号を生成するデータ指定ステップと、該データ指定信号を送信するデータ送信ステップと、該送信されたデータ指定信号に基づいて上記複数の画像データのうちから選択され、送信された画像データを受信する画像データ受信ステップとを含むものであることを特徴とするので、例えば、伝送エラーの発生率に応じたＩフレームの出現間隔の変更により、伝送エラーの発生時における表示画像の違和感を小さく抑えることができる復号化処理を、ソフトウエアにより実現することができる。

本発明に係るデータ再生装置によれば、画像データを受信して再生するデータ再生装置であって、上記画像データを受信する画像データ受信部と、上記画像データ受信部にて受信された画像データを復号化する復号化部と、設定された条件に応じて、上記復号化部の動作モードを切り替える制御部とを備えたことを特徴とするので、エラー発生時には、復号化部の動作モードを、表示画像の違和感の少ないものに変更可能となる。

本発明によれば、上記データ再生装置において、上記画像データのエラー耐性強度を示す補助データを受信する補助データ受信部を備えたことを特徴とするので、エラー発生時には、復号化部の動作モードを、受信中の画像データのエラー耐性強度に基づいて、表示画像の違和感の少ないものに変更可能となる。

本発明によれば、上記データ再生装置において、上記画像データは、デジタル映像信号を画面内画素値相関を用いて符号化してなる画面内符号化データと、デジタル映像信号を画面間画素値相関を用いて符号化してなる画面間符号化データとを含むものであり、上記補助データは、上記画像データにおける画面内符号化データの出現間隔を示すものであることを特徴とするので、エラー発生時には、復号化部の動作モードを、受信中の画像データにおける画面内符号化データの出現間隔に基づいて、表示画像の違和感の少ないものに変更することができる。

本発明によれば、上記データ再生装置において、上記画像データは、デジタル映像信号を画面内画素値相関を用いて符号化してなる画面内符号化データと、デジタル映像信号を画面間画素値相関を用いて符号化してなる画面間符号化データとを含むものであり、上記画像データ受信部は、上記画像データにおける画面内符号化データの出現間隔を算出する演算部を有するものであることを特徴とするので、エラー発生時には、復号化部の動作モードを、受信中の画像データにおける画面内符号化データの出現間隔に基づいて、表示画像の違和感の少ないものに変更することができる。

本発明によれば、上記データ再生装置において、上記画像データは、デジタル映像信号を画面内画素値相関を用いて符号化してなる画面内符号化データと、デジタル映像信号を画面間画素値相関を用いて符号化してなる画面間符号化データとを含むものであり、上記制御部は、上記画面内符号化データの出現間隔が、上記設定条件が示す既定値より短い画像データを受信する場合、上記復号化部の動作モードを、伝送エラーが発生した時に、その後画面内符号化データが正常に受信されるまで、復号処理を一旦停止する第１の復号モードとし、上記画面内符号化データの出現間隔が、上記設定条件が示す既定値以上の画像データを受信する場合、上記復号化部の動作モードを、伝送エラーが発生した時に、伝送エラーにより復号不可能となった部分を除いて復号化する第２の復号モードとするものであることを特徴とするので、エラー発生時の復号動作を、受信端末側の設定条件に応じた、表示画像の違和感の小さいものとできる。

本発明によれば、上記データ再生装置において、上記画像データは、デジタル映像信号を画面内画素値相関を用いて符号化してなる画面内符号化データと、デジタル映像信号を画面間画素値相関を用いて符号化してなる画面間符号化データとを含むものであり、上記制御部は、伝送エラーが発生した時の、上記復号化部の復号動作を、該伝送エラーの発生したフレームの復号時間と、その後に復号される画面内符号化フレームの復号時間との時間差に応じて切り替えるものであることを特徴とするので、伝送エラーの発生の復号動作を、伝送エラー発生時に表示される画像の違和感のより少ないものとできる。

本発明によれば、上記データ再生装置において、上記制御部は、伝送エラーが発生したとき、上記伝送エラーの発生したフレームの復号時から、その後に復号される画面内符号化フレームの復号時までの時間差が、上記設定された条件が示す一定の基準値より小さい第１の場合、上記復号化部の復号動作を、上記伝送エラーの発生したフレームの復号時からその後に画面内符号化フレームに対する復号が行われるまでの間は、画像データに対する復号処理を停止するよう制御し、上記伝送エラーの発生したフレームの復号時から、その後に復号される画面内符号化フレームの復号時までの時間差が、上記設定された条件が示す一定の基準値以上である第２の場合、上記復号化部の復号動作を、上記伝送エラーの発生したフレームの復号時からその後に画面内符号化フレームに対する復号が行われるまでの間は、画面間符号化データをその伝送エラーの発生により復号不可能となった部分を除いて復号化する復号処理を行うよう制御するものであることを特徴とするので、伝送エラーの発生時には、画像の乱れのない表示と、動きの滑らかな表示とのうちでより違和感の少ない方の表示を行うことが可能となる。

本発明によれば、上記データ再生装置において、上記第２の場合に行われる復号処理は、伝送エラーの発生によりデータが欠落したフレーム以外のフレームの画像データを復号化するものであることを特徴とするので、伝送エラーの発生から、その後に画面内符号化フレームの復号が行われるまでの時間が比較的長い場合には、伝送エラーの発生時の復号動作を、データが欠落したフレーム以外のフレームの表示を行う、スムースな画像表示の可能なものとできる。

本発明によれば、上記データ再生装置において、上記画像データは、フレームより小さいデータ単位毎にパケット化されたものであり、上記第２の場合に行われる復号処理は、伝送エラーの発生によりデータが欠落したパケット以外のパケットの画像データを復号化するものであることを特徴とするので、伝送エラーの発生から、その後に画面内符号化フレームの復号が行われるまでの時間が比較的長い場合には、伝送エラーの発生時の復号動作を、エラー発生によりデータが欠落したフレームであってもその一部の表示を行う、よりスムースな画像表示が可能なものとできる。

本発明に係るデータ再生方法によれば、画像データを受信して再生するデータ再生方法であって、上記画像データを受信する画像データ受信ステップと、上記画像データ受信部にて受信された画像データを復号化する復号化ステップと、設定された条件に応じて、上記復号化部の動作モードを切り替える制御ステップとを含むことを特徴とするので、エラー発生時には、復号化部の動作モードを、表示画像の違和感の少ないものに変更することができる。

本発明に係るデータ記録媒体によれば、画像データを受信して再生するデータ再生処理をコンピュータにより行うためのデータ再生プログラムを格納したデータ記録媒体であって、上記データ再生プログラムは、上記画像データを受信する画像データ受信ステップと、上記画像データ受信部にて受信された画像データを復号化する復号化ステップと、設定された条件に応じて、上記復号化部の動作モードを切り替える制御ステップとを含むものであることを特徴とするので、エラー発生時には、復号モードを、表示画像の違和感の少ないものに変更する復号処理を、ソフトウエアにより実現することができる。

以下、本発明の実施の形態について説明する。
（実施の形態１）
図１は、本発明の実施の形態１によるデータ伝送システムを説明するための図であり、図１（ａ）は該システムの構成を、図１（ｂ）は、該システムでのデータ伝送処理を示している。
この実施の形態１のデータ伝送システム１０ａは、所定のビデオストリーム（画像符号化データ）を送出するサーバ１００ａと、該サーバ１００ａから送出されたビデオストリームを受信して映像データを再生する受信端末（クライアント端末）２００ａと、該ビデオストリームをサーバ１００ａから受信端末２００ａへ伝送するためのネットワーク１１とを有している。

ここで、上記サーバ１００ａは、同一の画像系列のデジタル映像信号を、異なる符号化条件でもって符号化して得られる複数のビデオストリームを格納するとともに、上記各ビデオストリームの属性が記述されたＳＭＩＬデータを格納したデータ格納部１２０と、該データ格納部１２０に格納されているデータを、ネットワーク１１上に送出するデータ送信部１１０ａとから構成されている。また、上記データ格納部１２０にはハードディクスなどの大容量記憶装置が用いられている。

また、この実施の形態１では、上記複数のビデオストリームは、上記同一の画像系列に対応するエラー耐性の異なる複数の画像データである。具体的には、複数のビデオストリームはそれぞれ、デジタル映像信号を画面内画素値相関を用いて符号化してなる符号量の大きい画面内符号化データと、デジタル映像信号を画面間画素値相関を用いて符号化してなる符号量の少ない画面間符号化データとを含み、上記各画像データにおける画面内符号化データの出現間隔、言い換えるとＩフレーム（Ｉ−ＶＯＰ）の周期が異なるものである。
そして、上記ハードディスクなどのデータ格納部１２０には、Ｉフレームの周期が異なる、つまりＩフレームの周期が１０秒，５秒，２秒，１秒であるビデオストリームがビデオファイルＤｖ１〜Ｄｖ４として格納され、上記ＳＭＩＬデータＤａとしてＳＭＩＬファイルＦSD１が格納されている。

図２（ａ）は、このＳＭＩＬファイルＦSD１の記述内容を示している。
ＳＭＩＬファイルＦSD１の各行の先頭に記述される<smil>、</smil>、<body>、</body>、<switch>、</switch>、<video>等の文字列は、要素（エレメント）と呼ばれ、その要素に続く、記述の内容を宣言するものである。
例えば、smil要素７１０ａ及び/smil要素７１０ｂは、smil要素を含む行と/smil要素を含む行との間に位置する行が、ＳＭＩＬ規格に従って記述されたものであることを宣言するものである。
body要素７２０ａ及び/body要素７２０ｂは、body 要素を含む行と/body要素を含む行との間に位置する行では、再生されるビデオデータの属性，例えば所在場所を示す情報（ＵＲＬ），符号化パラメータ（Ｉフレームの周期）に関する情報などが記述されていることを宣言するものである。

switch要素７３０ａ及び/ switch 要素７３０ｂは、switch 要素を含む行と/switch要素を含む行との間に位置する複数のvideo要素はそのうちの１つが選択されるべきものであることを宣言するものである。video要素は、このvideo要素を含む行７０１〜７０４の記述により、動画像データが指定されることを宣言するものである。
例えば、ＳＭＩＬファイルＦSD１における各video要素の項目には、Ｉフレームの出現間隔（Ｉフレームの周期）が、i-frame-interval属性として記載されており、この属性に基づいて、ユーザ設定の内容に最も適合するvideo要素が選択される。i-frame-interval属性の具体値としては“1s”，“2s”，“5s”，“10s”があり、ビデオデータファイルは、具体的なi-frame-interval属性値が小さいものほど、エラー耐性強度の高いものとなっている。なお、ここではＩフレームの出現間隔が異なるビデオデータファイルを４つ示しているが、これは、２つでも３つでも、あるいは５つ以上でもあってもよいことは言うまでもない。

また、各video要素の項目に含まれる属性値は、i-frame-interval属性に限らず、エラー耐性強度を直接示すsystem-error-resilient-level属性であってもよい。
例えば、図５(a)は、ＳＭＩＬファイルの他の例として、エラー耐性強度が異なる４つのビデオデータファイルを示すＳＭＩＬファイルＦSD２を示している。

このＳＭＩＬファイルＦSD２は、switch 要素７３１ａを含む行と/switch要素７３１ｂを含む行との間に記述された、エラー耐性強度が異なる４つのvideo要素７１１〜７１４に関する項目を含んでいる。また、各video要素の項目には、エラー耐性強度が、system-error-resilient-level属性として記載されており、この属性に基づいて、ユーザ設定の内容に最も適合するvideo要素が選択される。

ここでは、上記各video要素７１１，７１２，７１３，７１４におけるsystem-error-resilient-level属性の具体値はそれぞれ、“１”，“２”，“３”，“４”である。

図３は上記システムを構成するサーバ１００ａ及びクライアント端末２００ａの詳細な構成を示す図である。
上記サーバ１００ａを構成するデータ送信部１１０ａは、クライアント端末２００ａからＨＴＴＰにより送信されたＳＭＩＬデータの要求メッセージＭdrを受け、該要求に従ってデータ格納部１２０からＳＭＩＬファイルＤａを読み出し、読み出したＳＭＩＬファイルＤａをＨＴＴＰによりＳＭＩＬデータＤsmとして送信するＨＴＴＰ送受信部１０１と、クライアント端末２００ａからＲＴＳＰにより送信されたデータ要求メッセージＭrtspを受け、要求されたビデオファイル名を示すデータ指定信号Ｓｃを出力するＲＴＳＰメッセージ送受信部１０２と、該データ指定信号Ｓｃを受け、該データ指定信号Ｓｃが示すビデオデータファイル名に相当するビデオストリームＤｅをデータ格納部１２０から読み出し、読み出したビデオストリームをＲＴＰによりＲＴＰデータＤrtpとして伝送するＲＴＰデータ送信部１０３とを有している。

また、上記クライアント端末２００ａは、ユーザの操作により種々のユーザ操作信号Ｓop1，Ｓop2，Ｓerrを出力するユーザ操作部２１３と、該ユーザ操作信号Ｓop1に基づいて上記ＳＭＩＬデータの要求メッセージＭdrをＨＴＴＰにより送信するとともに、上記サーバ１００ａからＨＴＴＰにより送信されたＳＭＩＬデータＤsmを受信するＨＴＴＰ送受信部２１１と、該ＳＭＩＬデータＤsmを解析するとともに、その解析結果、及び上記ユーザ操作により設定されたエラー耐性強度の具体的なレベル（数値）を示すレベル信号Ｓerrに基づいて、所定のデータを指定するデータ指定信号Ｓｃを出力するＳＭＩＬデータ解析部２１２とを有している。

ここで、ＳＭＩＬデータ解析部２１２は、上記レベル信号Ｓerrに基づいて、サーバ側に用意されている、Ｉフレームの周期が異なる複数のビデオデータのうちの所要のものを決定し、該決定されたビデオデータを指定する指定信号Ｓｃを出力するものである。

上記クライアント端末２００ａは、上記データ指定信号ＳｃをＲＴＳＰメッセージ信号Ｍrtspとして送信するとともに、該信号Ｍrtspの応答信号Ｓackを受信するＲＴＳＰメッセージ送受信部２１４と、上記サーバ１００ａから送信されたＲＴＰデータＤrtpを受信してビデオストリームＤｅを出力するＲＴＰデータ受信部２１６と、該ビデオストリームＤｅを復号化して画像データＤdecを出力するデコード部２１０と、該画像データＤdecに基づいて画像表示を行うとともに、上記ユーザ操作信号Ｓop２に応じた表示を行う表示部２１８とを有している。

以下、上記ユーザ操作部２１３における、上記エラー耐性の設定を行うための構成について具体的に説明する。
図４（ａ）は、受信端末２００ａにおける、取得すべき画像データのエラー耐性強度を設定するための画面（エラー耐性設定画面）を示している。なお、ここでは、上記受信端末２００ａは、携帯電話などの携帯端末２０１ａとする。
例えば、携帯端末２０１ａのボタン操作部２１の操作により、端末の初期メニューにおける複数の項目のうちの、各種の初期設定を行うための項目〔設定〕を選択し、さらに、より具体的な項目〔ストリーミング受信設定〕，項目〔エラー耐性強度設定〕の選択を順次行うと、図４（ａ）に示すエラー耐性設定画面２２ｂが、携帯電話の表示パネル２２の中央に表示される。

なお、図４（ａ）中、２２ａは、電波強度を示す画面、２２ｃは、操作の案内をする画面であり、画面２２ｃには、ボタン操作部２１の上下カーソルキー２１ａ，２１ｃの操作により、エラー耐性設定画面２２ｂに示されたエラー耐性強度のレベルを選択し、かつ、確定ボタン２１ｅの操作により、選択されたレベルを確定すべきことが示されている。
このエラー耐性設定画面２２ｂは、取得すべき画像データのエラー耐性強度のレベルとして、予め設定されたエラー耐性強度〔高レベル〕、あるいは予め設定されたエラー耐性強度〔低レベル〕のいずれかを設定する画面である。また、携帯端末２０１ａでは、エラー耐性強度〔高レベル〕，〔低レベル〕にはそれぞれ、エラー耐性強度値として、０〜１００の整数値のうちの８０，２０が対応付けられている。そして、ユーザ操作、つまりボタン操作部２１の上下カーソルキー２１ａ，２１ｃの操作により、エラー耐性強度〔高レベル〕及びエラー耐性強度〔低レベル〕のいずれかが選択され、確定ボタン２１ｅの操作により、選択されたレベルが確定されると、確定されたレベルに対応するエラー耐性強度値が、端末のエラー耐性強度値として保持される。

次に動作について説明する。
このデータ伝送システム１０ａでは、図１（ｂ）に示すように、受信端末２００ａからサーバ１００ａへ、ＳＭＩＬデータを要求するＳＭＩＬ要求信号Ｓd1（図３に示すＳＭＩＬ要求メッセージＭrd）がＨＴＴＰにより送信され、その応答として、サーバ１００ａからＳＭＩＬデータＤsmがＨＴＴＰ信号Ｄsdにより受信端末２００ａに送信される。
その後、受信端末２００ａでは、ＳＭＩＬデータＤsmの解析結果及びユーザ設定の内容に基づいて、必要とするビデオストリームを指定するメッセージＭrtspをＲＴＳＰ信号Ｓd2としてサーバ１００ａへ送信する処理が行われる。そして、その応答信号Ｓackがサーバ１００ａからＲＴＳＰにより受信端末２００ａに送信された後、サーバ１００ａから、所定のビデオストリームＤstrがＲＴＰデータＤrtpとして受信端末２００ａに送信される。

以下、上記サーバ１００ａと受信端末２００ａとの間でのデータ伝送処理について詳述する。
まず、受信端末（クライアント端末）２００ａでは、所望の画像データに対応するＳＭＩＬデータの要求を行う前に、ユーザ操作部２１３に対するユーザの操作により種々の設定が行われる。
例えば、上記受信端末２００ａが図４（ａ）に示す携帯端末２０１ａである場合、ユーザは、携帯端末２０１ａのボタン操作部２１の操作により、端末の初期メニューにおける複数の項目のうちの、各種の初期設定を行うための項目〔設定〕を選択し、さらに、より具体的な項目〔ストリーミング受信設定〕，項目〔エラー耐性強度設定〕の選択を順次行う。すると、操作信号Ｓop2に応じて、表示部２１８，つまり携帯端末の表示パネル２２には、図４（ａ）に示すエラー耐性設定画面２２ｂが表示される。

このエラー耐性設定画面２２ｂには、取得すべき画像データのエラー耐性強度のレベル選択の候補として、エラー耐性強度〔高レベル〕及びエラー耐性強度〔低レベル〕が表示されている。
例えば、ユーザによる、ボタン操作部２１の上下カーソルキー２１ａ，２１ｃの操作により、エラー耐性強度〔低レベル〕が選択され、確定ボタン２１ｅの操作により、選択されたエラー耐性強度〔低レベル〕が確定されると、該エラー耐性強度〔低レベル〕に対応する整数値“２０”が、携帯端末のエラー耐性強度値として保持される。

そして、ユーザが、受信端末２００ａの表示部２１８に画像データ選択画面（図示せず）を表示させ、この画像データ選択画面にて、取得したい画像データを指定する操作を行うと、この操作に応じた操作信号Ｓop1がＨＴＴＰ送受信部２１１に入力され、ＨＴＴＰ送受信部２１１からは、指定した画像データに関連するＳＭＩＬデータを要求する信号Ｓd1（図３に示すＳＭＩＬ要求メッセージＭdr）（図１（ｂ）参照）がサーバ１００ａに送信される。すると、サーバ１００ａでは、そのＨＴＴＰ送受信部１０１により、クライアント端末２００ａからのＳＭＩＬデータの要求信号Ｓd1が受信され、該ＨＴＴＰ送受信部１０１では、上記ＳＭＩＬデータ要求信号Ｓd1に応じて、データ格納部１２０からＳＭＩＬファイルＤａを読出し、これをＳＭＩＬデータＤsmとしてＨＴＴＰにより送信する処理が行われる。このＳＭＩＬデータＤsmはネットワーク１１を介して受信端末（クライアント端末）２００ａへ伝送され、そのＨＴＴＰ送受信部２１１にて受信される。

すると、受信端末２００ａでは、上記受信されたＳＭＩＬデータＤsmはＳＭＩＬデータ解析部２１２にて解析され、４つのビデオデータファイルのうち、ユーザ設定の内容に最も適合するものが選択され、選択されたビデオデータファイルを示す指定信号ＳｃがＲＴＳＰメッセージ送受信部２１４に出力される。該ＲＴＳＰメッセージ送受信部２１４では、指定信号ＳｃをＲＴＳＰによりＲＴＳＰメッセージ信号Ｍrtspとしてサーバ１００ａへ送信する処理が行われる。

以下、上記ＳＭＩＬデータ解析部２１２にて、ＳＭＩＬファイルに記述されている４つのビデオデータファイルから、ユーザにより設定されたエラー耐性レベルに対応するビデオデータファイルを選択する処理について、具体的に説明する。
まず、ＳＭＩＬデータ解析部２１２では、ＳＭＩＬファイルにおける各video要素７０１〜７０４を数値化する処理が行われる。
具体的には、Ｎ（Ｎ：自然数）個のvideo要素がＳＭＩＬファイルに記述されている場合、各video要素に対して、以下の計算式（１）に基づいて、数値化レベルＹ（Ｙ：０以上の整数）を付与する。
Ｙ＝１００・（ｎ−１）／（Ｎ−１）・・・（１）
ここで、数値化レベルＹは、Ｎ個のvideo要素のうちで、対応するビデオデータファイルのエラー耐性強度が低い方から第ｎ番目であるvideo要素に付与される値である。
なお、上記計算式（１）により算出された計算値が、整数値でない場合には、数値化レベルＹは、該計算値以上で、これに最も近い整数値とされる。
ここでは、Ｎ＝４であるので、４つのvideo要素７０１〜７０４には、対応するエラー耐性強度の高い方から順に、整数値“１００”，“６７”，“３３”，“０”が付与される、つまり、video要素７０４には整数値Ｙv4（＝１００）が、video要素７０３には整数値Ｙv3（＝６７）が、video要素７０２には整数値Ｙv2（＝３３）が、video要素７０１には整数値Ｙv1（＝０）が付与される。

なお、Ｎ＝２である場合は、対応するエラー耐性強度の高い方のvideo要素には整数値“１００”が、対応するエラー耐性強度の低い方のvideo要素には整数値“０”が付与される。Ｎ＝３である場合は、３つのvideo要素には、対応するエラー耐性強度の高い方から順に、整数値“１００”，“５０”，“０”が付与され、Ｎ＝５である場合は、５つのvideo要素には、対応するエラー耐性強度の高い方から順に、整数値“１００”，“７５”，“５０”，“２５”，“０”が付与される。

そして、携帯端末にてユーザにより設定されている、取得すべき画像データのエラー耐性強度の値（ユーザ設定値）Ｘus１（＝２０）と、上記各video要素７０１〜７０４に対して付与された整数値とを比較する処理が行われ、エラー耐性強度のユーザ設定値Ｘus１（＝２０）に最も近い整数値Ｙv2（＝３３）が付与されているvideo要素７０２が、選択される（図２（ｂ）参照）。

上記のようにして、受信端末２００ａにて、ＳＭＩＬファイルに示されているエラー耐性の異なるビデオデータファイルから、受信端末でのユーザ設定に応じたものが指定され、指定されたビデオデータファイルを示す指定信号ＳｃがＲＴＳＰメッセージ信号Ｍrtspとしてサーバ１００ａへ送信されると、サーバ１００ａでは、受信端末２００ａからのＲＴＳＰメッセージ信号ＭrtspはＲＴＳＰメッセージ送受信部１０２にて受信され、上記指定信号ＳｃがＲＴＰデータ送信部１０３に出力される。すると、該送信部１０３では、データ格納部１２０に格納されている複数のビデオファイルの中から、該指定信号Ｓｃに基づいて所定のビデオファイルを選択してＲＴＰデータＤrtpとして送信する処理が行われる。

そして、上記ＲＴＰデータＤrtpがネットワーク１１を介して受信端末２００ａに伝送されると、該受信端末２００ａでは、ＲＴＰデータＤrtpがＲＴＰデータ受信部２１６にて受信され、ビデオストリームＤｅがデコード部２１０に出力される。デコード部２１０ではビデオストリームＤｅの復号化処理により画像データＤdecが生成されて表示部２１８に出力される。表示部２１８では、画像データＤdecに基づいて画像表示が行われる。

このように本実施の形態１のデータ伝送システム１０ａでは、サーバ１００ａを、同一の画像系列に対応する画像データの符号化データとして、Ｉフレームの周期が異なる複数のビデオストリームを格納したデータ格納部１２０と、受信端末からの指定信号Ｓｃに応じて、該複数のビデオストリームのうちの所定のビデオストリームを送信するデータ送信部１１０とを有するものとし、受信端末２００ａを、ユーザの設定内容に基づいて、サーバ１００ａ側に用意されている複数のビデオストリームのうちの、所要のエラー耐性を有するものを指定する指定信号Ｓｃをサーバ１００ａへ送信するものとしたので、ユーザの好みに応じて、送信側から提供されるビデオストリームを、伝送エラーに対する耐性の高いものとするか、あるいは映像品質のよいものとするかを選択することができる。

なお、上記実施の形態１では、ＳＭＩＬデータにおける各ビデオファイルに関する記述を示す記述要素として<video>を用いているが、これは<ref>であってもよい。
また、上記実施の形態１では、データ要求を行うプロトコルとしてＲＴＳＰを用い、ビデオデータを伝送するプロトコルとしてＲＴＰを用いているが、これらは他のプロトコルであってもよい。
また、上記実施の形態１では、サーバに用意されている符号化条件の異なる複数のビデオストリームに関する情報をＳＭＩＬデータに含めて伝送する場合を示したが、上記複数のビデオストリームに関する情報は、ＳＤＰ（ｓｅｓｓｉｏｎｄｅｓｃｒｉｐｔｉｏｎｐｒｏｔｏｃｏｌ）データやＭＰＥＧ−４Ｓｙｓｔｅｍデータ（ＭＰＥＧ−４におけるシーン記述データ）などに含めて伝送するようにしてもよい。

さらに、上記実施の形態１では、ビデオストリームのエラー耐性強度をＩフレーム周期により示す場合について説明したが、ビデオストリームのエラー耐性強度は、Ｉフレーム周期以外の、ＭＰＥＧ−４映像符号化規格で規定されるさまざまなエラー耐性モードを記述するための情報により示すようにしてもよい。
例えば、ビデオストリームのエラー耐性モードを記述するための情報は、ビデオストリームにおけるビデオパケットのサイズを表す情報、あるいはＨＥＣ（ＨｅａｄＥｘｔｅｎｓｉｏｎＣｏｄｅ）の使用有無（つまりＶＯＰヘッダ情報がビデオパケットのヘッダに含まれているか否か）を示す情報であってもよく、さらに、データパーティショニング（つまり重要な情報をパケットの先頭に配置すること）の使用の有無やＲＶＬＣ（ＲｅｖｅｒｓｉｂｌｅＶａｒｉａｂｌｅＬｅｎｇｔｈＣｏｄｅ）、つまりパケットの先頭だけでなく後端からも可変長符号の解読が可能なデータ構造の使用の有無を示す情報であってもよい。

また、上記実施の形態１では、各video要素の項目に含まれる属性として、i-frame-interval属性や、エラー耐性強度を直接示すsystem-error-resilient-level（error-protection-1eve1ともいう。）属性を示したが、これらの属性値は、予め、エラー耐性強度のレベルに比例した０〜１００の整数値に変換したものであってもよく、この場合は、上記実施の形態１のように、受信端末にて、エラー耐性強度に関する属性値を、０〜１００の整数値に対応付ける数値化を行う必要はない。

また、上記実施の形態１では、受信すべき画像データのエラー耐性強度のレベルを設定する方法として、エラー耐性強度〔高レベル〕及びエラー耐性強度〔低レベル〕のいずれかを選択する方法（図４（ａ））について示したが、受信端末における、受信すべき画像データのエラー耐性強度のレベルを設定する方法は、一定範囲内のエラー耐性強度のレベルをスライドバーなどを用いて指定する方法であってもよい。

図４（ｂ）は、スライドバーを用いてエラー耐性強度のレベルを設定する携帯端末２０１ｂを説明するための図であり、該携帯端末２０１ｂにおけるエラー耐性設定画面２２ｄを示している。なお、図４（ｂ）中、図４（ａ）と同一符号は、実施の形態１の携帯端末２０１ａにおけるものと同一のものを示している。
例えば、携帯端末２０１ｂのボタン操作部２１の操作により、上記実施の形態１における携帯端末２０１ａでの操作と同様に、端末の初期メニューにおける複数の項目のうちの、各種の初期設定を行うための項目〔設定〕を選択し、さらに、より具体的な項目〔ストリーミング受信設定〕，項目〔エラー耐性強度設定〕の選択を順次行うと、図４（ｂ）に示すエラー耐性設定画面２２ｄが、携帯端末の表示パネル２２の中央に表示され、エラー耐性設定画面２２ｄの下側には、操作の案内をする画面２２ｅが表示される。

ここで、上記エラー耐性設定画面２２ｄは、取得すべき画像データのエラー耐性強度のレベルを、スライドバー２２ｄ１により設定する画面である。また、このエラー耐性設定画面２２ｄでは、上記スライドバー２２ｄ１を左右方向に移動可能な範囲が示されており、この移動範囲２２ｄ２における左端位置Ｌｐ，右端位置Ｒｐがそれぞれ、エラー耐性強度〔最低レベル〕を指定する位置，エラー耐性強度〔最高レベル〕を指定する位置であり、上記左端位置Ｌｐ及び右端位置Ｒｐの中間点Ｍｐは、エラー耐性強度〔中レベル〕を指定する位置である。

そして、この携帯端末２０１ｂのユーザ操作部２１３では、スライドバーの位置に応じて、エラー耐性強度レベルとして、０〜１００の整数値が、下記の計算式（２）に基づいて、算出される。
Ｘ＝Ｌｓ・（１／Ｒｓ）・１００・・・（２）
ここで、Ｘはエラー耐性強度レベル、Ｒｓは上記スライド範囲２２ｄ２における左端位置Ｌｐ及び右端位置Ｒｐの間の距離（スライド長）、Ｌｓは上記スライドバー２２ｄ１の、上記左端位置Ｌｐからの距離（スライド距離）である。
例えば、上記スライド長Ｒｓが５０mm、スライドバー２２ｄ１のスライド距離Ｌｓが１５mmである場合、上記計算式（２）より、上記エラー耐性強度レベルＸは、Ｘus１（＝（１５／５０）・１００＝３０）となる。なお、計算式（２）より算出されたエラー耐性強度レベルの計算値が、整数値でない場合には、エラー耐性強度レベルは、該計算値以上でこれに最も近い整数値とされる。

また、上記画面２２ｅには、ボタン操作部２１の左右カーソルキー２１ｂ，２１ｄの操作により、エラー耐性設定画面２２ｅに示されたスライドバー２２ｄ１を移動させてエラー耐性強度のレベルを指定し、かつ、ボタン操作部２１の確定ボタン２１ｅの操作により、指定されたエラー耐性強度のレベルを確定すべきことが示されている。
そして、ユーザ操作、つまりボタン操作部２１の左，右カーソルキー２１ｂ，２１ｄにより、スライドバー２２ｄ１のスライド距離Ｌｓが指定され、確定ボタン２１ｅの操作により、指定されたスライド距離が確定されると、上記計算式（２）に基づいてエラー耐性強度が計算され、その計算値が、携帯端末のエラー耐性強度値として保持される。

また、この場合も、携帯端末にてユーザにより設定されている、取得すべき画像データのエラー耐性強度の値（ユーザ設定値）Ｘus１（＝３０）に基づいて、上記各video要素７１１〜７１４のうちの１つを決定する処理では、上記実施の形態１で示したように、エラー耐性強度のユーザ設定値Ｘus１に最も近い整数値Ｙv2（＝３３）が付与されているvideo要素７１２が選択される（図２（ｂ）参照）。

なお、ユーザ設定値に基づいて、上記各video要素７１１〜７１４のうちの１つを決定する処理は、上記実施の形態１のように、ユーザ設定値Ｘus１に最も近い整数値が付与されているvideo要素が選択される処理に限らず、図５（ｂ）に示すように、例えば、ユーザ設定値Ｘus２（＝４０）以上で、かつ該設定値に最も近い整数値Ｙv3(＝６７）が付与されているvideo要素７１３を選択するようにしてもよい。

また、上記実施の形態１では、ユーザが、受信端末にて、受信すべき画像データに対するエラー耐性強度を設定する場合について説明したが、受信端末は、受信すべき画像データに対するエラー耐性強度を、受信電波の状態に応じて自動的に設定するものであってもよい。

さらに、上記実施の形態１では、同一の画像系列に対応するエラー耐性の異なる複数の画像データとして、Ｉフレームに対応する符号化データの出現間隔の異なるものを示したが、これらのエラー耐性の異なる複数の画像データは、それぞれフレームレートが異なるもの、該各画像データに対する伝送プロトコルが異なるもの、あるいは、パケット化する際のデータ単位の大きさの異なるものであってもよい。

例えば、フレームレートが高い画像データは、フレームレートが低い画像データに比べてエラー耐性強度が高いものであり、再送や重複伝送を含む伝送プロトコルにより伝送される画像データは、再送や重複伝送を含まない伝送プロトコルにより伝送される画像データに比べて、エラー耐性強度が高いものである。また、パケット化の際のデータ単位が小さい画像データは、パケット化の際のデータ単位が大きい画像データに比べて、エラー耐性強度が高いものである。

以下、パケット化する際のデータ単位の大きさの異なる複数の画像データについて具体的に説明する。
図６は、同一の画像系列に対応するエラー耐性の異なる２つの画像データとして、デジタル映像信号Ｓdvを符号化してなる、パケット化する際のデータ単位の大きさの異なる第１及び第２の画像符号化データを示している。

すなわち、図６（ａ）に示す第１の画像符号化データＤ１は、各フレームＦ１〜Ｆ３に対応するデジタル映像信号を、符号化器Ｅncにて、１フレームの符号化データが１つのビデオパケットＶＰa1に格納されるよう符号化して得られた、エラー耐性強度の低いものである。このようなエラー耐性の低い第１の画像符号化データＤ１では、フレームＦ２に対応する符号化データの伝送中にて伝送エラーが発生した場合、エラー部Ｐerrを含むパケットＶＰa1の符号化データ、つまりフレームＦ２の符号化データがすべて復号化できなくなる。

また、図６（ｂ）に示す第２の画像符号化データＤ２は、各フレームＦ１〜Ｆ３に対応するデジタル映像信号を、符号化器Ｅncにて、１フレームに対応する符号化データが、３つのビデオパケットＶＰb1〜ＶＰb3に分散して格納されるよう符号化して得られた、エラー耐性強度の高いものである。このようなエラー耐性の高い第２の画像符号化データＤ２では、フレームＦ２に対応する符号化データの伝送中に伝送エラーが発生しても、エラー部Ｐerrが含まれるパケットＶＰb3に対応する符号化データの復号化ができなくなるだけで、他のパケットＶＰb1及びＶＰb2に対応する符号化データの復号化は可能である。
なお、画像符号化データは、上記のように、フレーム毎に、あるいはフレームより小さいデータ単位毎にパケットされているものに限らず、フレームより大きいデータ単位毎にパケット化されているものであってもよい。

（実施の形態２）
図７は本発明の実施の形態２によるデータ伝送システムを説明するための図であり、該システムのサーバ及びクライアント端末の構成を示している。
この実施の形態２のデータ伝送システム１０ｂは、実施の形態１のシステム１０ａにおけるクライアント端末２００ａに代えて、ユーザにより設定された、受信すべき画像データのエラー耐性強度と、サーバ１００ａからのＲＴＰデータＤrtpの伝送エラーの発生率とに基づいて、最適なエラー耐性強度を有するビデオストリームを決定し、決定したビデオストリームを指定する指定信号Ｓｃをサーバ１００ａに送信するクライアント端末２００ｂを備えたものである。

つまり、この実施の形態２の受信端末２００ｂは、最初に受信する画像データを、ユーザにより設定されたエラー耐性強度に基づいて、ＳＭＩＬファイルに示される複数のビデオデータファイルから選択したものとし、受信開始後は、受信される画像データのエラー発生率に応じて、受信中の所定のエラー耐性強度を有する画像データを、ＳＭＩＬファイルに示される複数のビデオデータファイルから選択したものに切替えるものである。

以下、この実施の形態２のクライアント端末２００ｂについて詳述する。
このクライアント端末２００ｂは、クライアント端末２００ａにおけるＲＴＰデータ受信部２１６，及びＳＭＩＬデータ解析部２１２とは、それぞれ異なった動作を行うＲＴＰデータ受信部２１６ｂ，及びＳＭＩＬデータ解析部２１２ｂを有している。なお、このクライアント端末２００ｂにおけるＨＴＴＰ送受信部２１１，ＲＴＳＰメッセージ送受信部２１４，デコード部２１０，ユーザ操作部２１３，及び表示部２１８は、実施の形態１のクライアント端末２００ａにおけるものと同一のものである。

上記ＲＴＰデータ受信部２１６ｂは、ＲＴＰデータＤrtpを受信するとともに、ＲＴＰデータＤrtpにおけるＲＴＰパケットのタイムスタンプ情報Ｉtsを出力し、さらに該ＲＴＰデータの伝送エラーの発生率を検出して、このエラー発生率を示すエラー信号Ｒerrを出力するものである。また、上記ＳＭＩＬデータ解析部２１２ｂは、エラー信号Ｒerrが示すエラー発生率と、一定の閾値との比較結果に応じて、ＲＴＰデータとしてサーバから供給されるビデオストリームを、符号化条件（つまりエラー耐性強度）が異なる他のビデオストリームに切り換えるための指定信号ＳｃをＲＴＳＰメッセージ送受信部２１４に出力するものである。なお、上記一定の閾値は、この受信端末２００ｂに対して予め設定されている端末固有の基準値である。

ここで、上記ＲＴＰデータ受信部２１６ｂでは、ＲＴＰパケット（ＲＴＰデータ）のヘッダ部に含まれるシーケンス番号情報に基づいて上記パケットロス率がエラー発生率として計算される。また、ＳＭＩＬデータ解析部２１２ｂでは、パケットロス率が大きくなってきた時、Ｉフレーム周期の短いビデオストリームを選択し、一方、パケットロス率が低い時は、Ｉフレーム周期の長いビットストリームを選択するための指定信号Ｓｃが出力される。

以下、上記エラー発生率の計算を具体的に説明する。
上記ＲＴＰパケットには、そのヘッダ部に含まれるシーケンス番号情報が示す、パケット伝送順の連続したシーケンス番号が付与されている。ＲＴＰ受信部２１６ｂは、一定の単位時間毎に受信すべきＲＴＰパケットの総数Ｎａを、その単位時間の最初に受信したＲＴＰパケットのシーケンス番号と、該単位時間の最後に受信したＲＴＰパケットのシーケンス番号から算出するとともに、実際にこの単位時間内に受信されたＲＴＰパケットの総数Ｎｒをカウントし、その時点でのエラー発生率Ｅrateを、下記の計算式（３）により求める。
Ｅrate ＝Ｎｒ／Ｎａ・・・（３）
次に動作について説明する。
この実施の形態２のデータ伝送システム１０ｂの動作は、受信端末２００ｂのＳＭＩＬデータ解析部２１２ｂ及びＲＴＰデータ受信部２１６ｂの動作のみ、実施の形態１のデータ伝送システム１０ａの動作と異なっている。
つまり、受信端末２００ｂでは、実施の形態１の受信端末２００ａと同様、所望の画像データに対応するＳＭＩＬデータの要求を行う前に、ユーザ操作部２１３に対するユーザの操作により種々の設定が行われる。
つまり、ユーザは、図４（ａ）に示すエラー耐性設定画面２２ｂにて、受信すべき画像データのエラー耐性強度のレベルを設定する。そして、ユーザが、画像データ選択画面（図示せず）にて、取得したい画像データを指定する操作を行うと、この操作に応じた操作信号Ｓop1がＨＴＴＰ送受信部２１１に入力され、ＨＴＴＰ送受信部２１１からは、指定した画像データに関連するＳＭＩＬデータを要求する信号Ｓd1（ＳＭＩＬ要求メッセージＭdr）（図１（ｂ）参照）がサーバ１００ａに送信される。

すると、サーバ１００ａでは、そのＨＴＴＰ送受信部１０１により、受信端末２００ｂからのＳＭＩＬデータの要求信号Ｓd1が受信され、該ＨＴＴＰ送受信部１０１では、上記ＳＭＩＬデータ要求信号Ｓd1に応じたＳＭＩＬファイルＤａを、データ格納部１２０から読出し、これをＳＭＩＬデータＤsmとしてＨＴＴＰにより送信する処理が行われる。このＳＭＩＬデータＤsmはネットワーク１１を介して受信端末２００ｂへ伝送され、そのＨＴＴＰ送受信部２１１にて受信される。

受信端末２００ｂでは、上記受信されたＳＭＩＬデータＤsmはＳＭＩＬデータ解析部２１２ｂにて解析され、４つのビデオデータファイルのうち、ユーザ設定の内容に最も適合するものが選択され、選択されたビデオデータファイルを示す指定信号ＳｃがＲＴＳＰメッセージ送受信部２１４に出力される。該ＲＴＳＰメッセージ送受信部２１４では、指定信号ＳｃがＲＴＳＰによりＲＴＳＰメッセージ信号Ｍrtspとしてサーバ１００ａへ送信する処理が行われる。

すると、サーバ１００ａでは、受信端末２００ｂからのＲＴＳＰメッセージ信号ＭrtspはＲＴＳＰメッセージ送受信部１０２にて受信され、上記指定信号ＳｃがＲＴＰデータ送信部１０３に出力される。すると、該送信部１０３では、データ格納部１２０に格納されている複数のビデオファイルの中から、該指定信号Ｓｃに基づいて所定のビデオファイルを選択してＲＴＰデータＤrtpとして送信する処理が行われる。

そして、上記ＲＴＰデータＤrtpがネットワーク１１を介して受信端末２００ｂに伝送されると、該受信端末２００ｂでは、ＲＴＰデータＤrtpがＲＴＰデータ受信部２１６ｂにて受信され、ビデオストリームＤｅがデコード部２１０に出力される。デコード部２１０ではビデオストリームＤｅの復号化処理により画像データＤdecが生成されて表示部２１８に出力される。表示部２１８では、画像データＤdecに基づいて画像表示が行われる。

このようにサーバ１００ａから受信端末２００ｂへＲＴＰデータＤrtpが伝送されている状態で、上記ＲＴＰデータ受信部２１６ｂにて、ＲＴＰデータＤrtpの伝送エラーの発生率が検出され、このエラー発生率を示すエラー信号Ｒerrが上記ＳＭＩＬデータ解析部２１２ｂに出力される。

すると、ＳＭＩＬデータ解析部２１２ｂでは、エラー信号Ｒerrが示すエラー発生率と、この受信端末２００ｂ固有の基準値である一定の閾値との比較結果に基づいて、ＲＴＰデータとしてサーバ１００ａから供給されるビデオストリームを、符号化条件（つまりエラー耐性強度）が異なる他のビデオデータに切り換えるための指定信号ＳｃがＲＴＳＰメッセージ送受信部２１４に出力される。すると、ＲＴＳＰメッセージ送受信部２１４では、該指定信号ＳｃをＲＴＳＰによりＲＴＳＰメッセージ信号Ｍrtspとしてサーバ１００ａへ送信する処理が行われる。

サーバ１００ａでは、受信端末２００ｂからのＲＴＳＰメッセージ信号ＭrtspがＲＴＳＰメッセージ送受信部１０２にて受信され、上記指定信号ＳｃがＲＴＰデータ送信部１０３に出力される。すると、該送信部１０３では、データ格納部１２０に格納されている複数のビデオファイルの中から、該指定信号Ｓｃにより示されるビデオファイルを選択してＲＴＰデータＤrtpとして送信する処理が行われる。

以下、上記画像データの伝送中における、エラー発生率を計算する処理、並びに、算出されたエラー発生率に応じて、ストリームを切替える処理について、具体的に説明する。
上記ＳＭＩＬデータ解析部２１２ｂは、ＳＭＩＬファイルに記述されている各video要素に関する情報、及び該各video要素に対応する画像データ（ビデオストリーム）の受信状態を示す情報を記録するワークメモリ（図示せず）を有している。

図８（ａ）は、このワークメモリに記録されている情報を示している。
ここで、上記ワークメモリには、図５（ａ）に示すＳＭＩＬファイルＦSD２における、video要素７１１〜７１４に関する情報が記録されており、このメモリに記録されている項目の数（エントリ数）は、ＳＭＩＬファイルＦSD２における、<switch>要素７３１ａ及び</switch>要素７３１ｂの間に記述されたエレメント数（つまりvideo要素の数）に一致している。

各項目（エントリ）には、図８（ａ）に示すように、対応するビデオストリームのネットワーク上での所在場所を示すＵＲＬ（サーバアドレス）と、対応するビデオストリームが有するエラー耐性強度と、対応するビデオストリームが、受信されて再生されている受信（再生）状態であるか、受信も再生もされていない非受信（非再生）状態であるかを示す実行フラグと、対応するビデオストリームに関する、最新のタイムスタンプとが含まれている。
エントリ番号〔２〕の項目Ｅ２では、実行フラグの値が“１”となっており、これは、この項目Ｅ２に対応するビデオストリームが、現在、受信（再生）が行われていることを示している。また、エントリ番号〔１〕，〔３〕，〔４〕の項目Ｅ１，Ｅ３，Ｅ４では、実行フラグの値が“０”となっており、これは、これらの項目Ｅ１，Ｅ３，Ｅ４に対応するビデオストリームが、現在、受信（再生）が行われていないことを示している。

また、各項目Ｅ１〜Ｅ４におけるエラー耐性強度の値は、“０”，“３３”，“６７”，“１００”となっており、これらの値は、実施の形態１で説明したように、計算式（１）を用いて、ＳＭＩＬファイルＦSD2における、system-error-resilient-level属性の値に基づいて算出されたものである。

また、各項目Ｅ１〜Ｅ４における最新タイムスタンプは、受信した最新のRTPパケットのヘッダに付与されているタイムスタンプにより随時更新されるものであり、特定の項目に対応するビデオストリームを、他の項目に対応するビデオストリームに切り替える際、データ要求タイミングの決定に用いるものである。
図８（ａ）では、項目Ｅ１，Ｅ３，Ｅ４における最新タイムスタンプの値は“０”であり、この値“０”は、これらの項目に対応するビデオストリームはまだ受信されていないことを示している。また、項目Ｅ２における最新タイムスタンプの値は“３０６００００”である。ＭＰＥＧ-４では、タイムスタンプは９０ｋＨｚのクロックを用いて設定されているため、この値“３０６００００”は、３４秒に相当する。

また、図８（ｂ）は、受信端末２００ｂにおけるエラー発生率とエラー耐性強度との関連付けを示している。
この関連付けに関する情報は、ＳＭＩＬデータ解析部２１２ｂの情報記憶部（図示せず）に、受信端末固有のテーブル情報Ｒteとして記録されているものである。ここでは、エラー発生率（閾値）Ｅth（Ｅth＝０）パーセント，Ｅth（０＜Ｅth≦３）パーセント，Ｅth（３＜Ｅth≦６）パーセント，Ｅth（６＜Ｅth）パーセントはそれぞれ、エラー耐性強度が最低レベルであるビデオストリーム、エラー耐性強度の数値化レベルが“３０”であるビデオストリーム、エラー耐性強度の数値化レベルが“６０”であるビデオストリーム、エラー耐性強度が最高のビデオストリームに対応している。つまり、このテーブル情報では、エラー発生率０パーセント，３パーセント，６パーセントが、エラー発生率に応じてビデオストリームを切替える際の閾値となっている。

次に、エラー発生率の変動に応じてビデオストリームの切替えを行う際のＳＭＩＬデータ解析部２１２ｂの動作について説明する。
なお、受信端末におけるエラー耐性強度の設定値Ｘus２は、図５（ｂ）に示すように“４０”であり、また、ＳＭＩＬファイルＦSD２に示されている各video要素に対応するビデオストリームのうちで、そのエラー耐性強度の数値化レベルがエラー耐性強度の設定値Ｘus２に最も近いものを、受信すべきビデオストリームとして選択するものとする。また、ＳＭＩＬファイルＦSD２に示されている各video要素に付与されているエラー耐性強度の数値化レベルＹは、上記計算式（１）により算出されたものである。つまり、video要素７１４には整数値Ｙs4（＝１００）が、video要素７１３には整数値Ｙs3（＝６７）が、video要素７１２には整数値Ｙs2（＝３３）が、video要素７１１には整数値Ｙs1（＝０）が付与されている。従って、受信端末２００ｂは、最初に受信するビデオストリームとして、video要素７１２に対応する、エラー耐性強度の数値化レベルＹがＹs2（＝３３）であるビデオストリームを要求して、受信することとなる。

まず、受信端末２００ｂのＳＭＩＬデータ解析部２１２ｂでは、ワークメモリに、エントリ〔２〕に対応する実行フラグの値“１”が書き込まれる。
そして、受信端末２００ｂのＲＴＳＰメッセージ送受信部２１４では、エントリ〔２〕に対応するビデオストリーム、つまりvideo要素７１２に示されるビデオストリームを要求するデータ要求メッセージを、RTSPにより送信する処理が行われる。

その後、受信端末２００ｂに、video要素７１２に対応するビデオストリームが入力されると、ＲＴＰデータ受信部２１６ｂでは、video要素７１２に対応するビデオストリームが受信され、該ビデオストリームに対応する最初に受信したＲＴＰパケットのタイムスタンプ情報Ｉtsが、ＳＭＩＬデータ解析部２１２ｂに出力される。
すると、ＳＭＩＬデータ解析部２１２ｂでは、ワークメモリに記録されている、エントリ〔２〕に対応するタイムスタンプの値が、順次最新の値に更新される。

そして、ＲＴＰデータ受信部２１６ｂにて、一定時間（例えば10秒間）、受信状況を観測した結果、エラー発生率がゼロである場合、ＳＭＩＬデータ解析部２１２ｂでは、図８（ｂ）に示すテーブル情報Ｒteに基づいて、ＳＭＩＬファイルに示されているビデオストリームのうちの、エラー耐性強度が最低のビデオストリームが選択され、このビデオストリームを、受信すべき画像データとして指定する指定信号が、ＲＴＳＰメッセージ送受信部２１４に出力される。

このとき、ＳＭＩＬデータ解析部２１２ｂでは、エントリ〔２〕に対応する実行フラグの値を“０”に、エントリ〔１〕に対応する実行フラグの値を“１”にする変更する処理が行われる。
その後、ＲＴＳＰメッセージ送受信部２１４では、エントリ〔１〕に対応するＵＲＬ（サーバアドレス）に対して、ＲＴＳＰにより、データ要求が行われ、その際、エントリ〔２〕に対応する最新タイムスタンプに基づいて、要求するデータ（ビデオストリーム）の先頭位置が指定される。

図９は、ＲＴＳＰによるシーケンス、つまりメッセージ交換の例を示す図である。
ビデオストリームの切替えを行う場合、まず、受信端末２００ｂのＲＴＳＰメッセージ送受信部２１４から、エントリ〔１〕に対応するＵＲＬ（サーバアドレス）に対して、ＲＴＳＰにより、video要素７１１が示すビデオストリームに対するDESCRIBE要求メッセージ（DESCRIBE rtsp://s.com/s1.mp4 RTSP/1.0）Ｓm1が送信される。すると、上記ＵＲＬに対応するサーバ１００ａのＲＴＳＰメッセージ送受信部１０２からは、上記DESCRIBE要求メッセージＳm1に対する応答メッセージ（RTSP/1.0 200 OK）Ｒm1が受信端末２００ｂに対して送信される。この応答メッセージＲm1には、video要素７１１が示すビデオストリームに対するＳＤＰデータＤsdが含まれている。

続いて、受信端末２００ｂのＲＴＳＰメッセージ送受信部２１４から、エントリ〔１〕に対応するＵＲＬ（サーバアドレス）に対して、ＲＴＳＰにより、video要素７１１が示すビデオストリームに対する第１のSETUP要求メッセージ（SETUP rtsp://s.com/s1.mp4/trackID=1 RTSP/1.0）Ｓm2及び第２のSETUP要求メッセージ（SETUP rtsp://s.com/s1.mp4/trackID=2 RTSP/1.0）Ｓm3が送信される。すると、上記ＵＲＬに対応するサーバ１００ａのＲＴＳＰメッセージ送受信部１０２からは、上記第１，第２のSETUP要求メッセージＳm2，Ｓm3に対する応答メッセージ（RTSP/1.0 200 OK）Ｒm2，Ｒm3が受信端末２００ｂに対して送信される。

その後、受信端末２００ｂのＲＴＳＰメッセージ送受信部２１４から、エントリ〔１〕に対応するＵＲＬ（サーバアドレス）に対して、ＲＴＳＰにより、video要素７１１が示すビデオストリームに対するＰＬＡＹ要求メッセージ（PLAY rtsp://s.com/s1.mp4 RTSP/1.0）Ｓm4が送信される。ＰＬＡＹ要求の際には、要求データの先頭位置を情報（Range:npt=37-）により指定する。現在受信中のビデオストリームに対する最新の受信ＲＴＰパケットのタイムスタンプ値は、ビデオストリームに対する表示時刻が３４秒であることを示しているため、要求データの先頭位置は、３４秒以降とする。ここでは、ビデオストリームの切替えに対する処理遅延時間を３秒程度と想定して、要求データの先頭位置を、表示時刻が３７秒である位置としている。

上記ＰＬＡＹ要求メッセージＳm4に対しては、上記ＵＲＬに対応するサーバ１００ａのＲＴＳＰメッセージ送受信部１０２から、応答メッセージ（RTSP/1.0 200 OK）Ｒm4が受信端末２００ｂに対して送信される。このとき、同時に、上記サーバ１００ａのＲＴＰ送信部１０３では、ビデオストリーム（video要素７１１）のＲＴＰパケットをＲＴＰにより受信端末に送信する処理が開始され（時刻Ｔs2）、受信端末２００ａのＲＴＰデータ受信部２１６ｂでは、該ＲＴＰパケットを受信する処理が開始される（時刻Ｔr2）。

また、ＲＴＳＰメッセージ送受信部２１４では、ＲＴＰデータ受信部２１６ｂにて受信された、エントリ〔１〕に対するＲＴＰパケットのタイムスタンプが、エントリ〔２〕に対するＲＴＰパケットのタイムスタンプの値以下であるか否かの判定が行われ、エントリ〔１〕に対するＲＴＰパケットのタイムスタンプが、エントリ〔２〕に対するＲＴＰパケットのタイムスタンプの値以下であれば、エントリ〔２〕に対するサーバに対して、TEARDOWN要求メッセージＳm5を発行する処理が行われる。同時に、エントリ〔２〕に対するＲＴＰパケットを受信する処理が停止される（時刻Ｔr3）。

言いかえると、ビデオストリーム（s1.mp4）に対応する、最初に受信したＲＴＰパケットのタイムスタンプ値から計算される表示時刻（T1）が、ビデオストリーム（s2.mp4）に対応する、既に受信している最新のＲＴＰパケットのタイムスタンプ値から計算される表示時刻（T2）よりも小さい場合のみ、ＲＴＰデータ受信部２１６ｂは、ビデオストリーム（s1.mp4）に対応するＲＴＰパケットの受信を停止する。これにより、ビデオストリームの切替えの際に、切替え後のビデオストリームの再生が、切替えの前のビデオストリームの再生に続けて途切れなく行われることとなる。

一方、エントリ〔２〕に対するサーバ１００ａでは、ＲＴＰデータ送信部１０３は上記TEARDOWN要求メッセージ（TEARDOWN rtsp://s.com/s2.mp4 RTSP/1.0）Ｓm5の受信により、エントリ〔２〕に対するＲＴＰパケットの送信を停止し（時刻Ｔs3）、TEARDOWN要求メッセージＳm5に対する応答メッセージＲm5を受信端末２００ｂに送信する処理が行われる。

受信端末２００ｂのＲＴＰデータ受信部２１６ｂは、エントリ〔１〕に対するＲＴＰパケットのタイムスタンプと重なるタイムスタンプを持つ、エントリ〔２〕に対するＲＴＰパケットを破棄する。
一方、受信状況の観測結果、エラー発生率が５パーセントとなった場合は、図８（ｂ）に示すテーブル情報Ｒteに基づいて、エラー耐性強度の数値化レベルが“６０”に近いものが選択され、受信中のビデオストリームを、エントリ〔３〕に対応するビデオストリームに切り替える処理が行われる。
なお、図９中、時刻Ｔs1は、ビデオストリーム（s2.mp4）の送信開始時刻、時刻Ｔs4は、ビデオストリーム（s1.mp4）の送信停止時刻、時刻Ｔr1は、ビデオストリーム（s2.mp4）の受信開始時刻、時刻Ｔr4は、ビデオストリーム（s1.mp4）の受信停止時刻である。

図１０は、上記受信端末でのビデオストリームの切替処理を、具体的なＲＴＰパケットを例に挙げて説明するための図である。
図１０（ａ）は、ビデオストリーム（s2.mp4）に対応する受信バッファに格納されている、最後に受信した数個のＲＴＰパケットＰ２(k-s)〜Ｐ２(k+3)を示しており、図１０（ｂ）は、ビデオストリーム（s1.mp4）に対応する受信バッファに格納されている、最初に受信した数個のＲＴＰパケットＰ１(j)〜Ｐ１(j+m)を示している。なお、ここで、ＲＴＰパケットＰ２(k)，Ｐ２(k+1)，Ｐ２(k+2)，Ｐ２(k+3)のタイムスタンプの値から計算される表示時刻Ｔ２(k)，Ｔ２(k+1)，Ｔ２(k+2)，Ｔ２(k+3)は、それぞれ、３６．００（秒），３６．５０（秒），３７．００（秒），３７．５０（秒）であり、ＲＴＰパケットＰ１(j)，Ｐ１(j+1)，Ｐ１(j+2)，Ｐ１(j+3) ，Ｐ１(j+4)のタイムスタンプの値から計算される表示時刻Ｔ１(j)，Ｔ１(j+1)，Ｔ１(j+2)，Ｔ１(j+3) ，Ｔ１(j+4)は、それぞれ、３７．００（秒），３７．２５（秒），３７．５０（秒），３７．７５（秒），３８．００（秒）である。

具体的には、ＲＴＰデータ受信部２１６ｂは、ビデオストリーム（s1.mp4）の受信をＲＴＰパケットＰ１(j)から開始し、ビデオストリーム（s2.mp4）の受信を、ＲＴＰパケットＰ２(k+3)を受信した時点で終了する。そして、タイムスタンプ値（表示時刻）がビデオストリーム（s1.mp4）のものと重なる、ビデオストリーム（s2.mp4）に対応するＲＴＰパケットＰ２(k+2)，Ｐ２(k+3)は破棄する。

図１１は、上記受信端末でのビデオストリームの切替処理のフローを示す図である。
ＳＭＩＬデータ解析部２１２ｂが、エラー発生率に基づいて、受信すべきビデオストリームをビデオストリーム（s2.mp4）からビデオストリーム（s1.mp4）に切り替えることを決定すると、図１１に示すビデオストリームの切替処理が開始される。

まず、ＲＴＰデータ受信部２１６ｂでは、切替後のビデオストリーム（s1.mp4）に対応する、ＲＴＰパケットＰｓ１を受信する処理が行われるとともに、ＳＭＩＬデータ解析部２１２ｂでは、変数Ｔａに、最初に受信したＲＴＰパケットＰｓ１のタイムスタンプ値Ｔｓ１から算出される表示時刻（切替後データの表示時刻）が設定される（ステップＳ１）。

次に、ＳＭＩＬデータ解析部２１２ｂでは、変数Ｔｂに、切替前のビデオストリーム（s2.mp4）に対応する、最後に受信したＲＴＰパケットＰｓ２のタイムスタンプ値Ｔｓ２から算出される表示時刻（切替前データの表示時刻の最大値）が設定される（ステップＳ２）。
次に、ＳＭＩＬデータ解析部２１２ｂでは、上記変数Ｔａ、つまり上記表示時刻（切替後データの表示時刻）が、上記変数Ｔｂ、つまり上記表示時刻（切替前データの表示時刻の最大値）以下であるか否かの判定が行われる（ステップＳ３）。

上記ステップＳ３での判定の結果、上記変数Ｔａが上記変数Ｔｂ以下でないとき、さらに、切替前のビデオストリームに対応するＲＴＰパケットを受信したか否かの判定が行われる（ステップＳ４）。
上記ステップＳ４での判定の結果、切替前のビデオストリームに対応するＲＴＰパケットを受信していないときは、再度ステップＳ４での判定が行われる。
一方、上記ステップＳ４での判定の結果、切替前のビデオストリームに対応するＲＴＰパケットを受信したときは、ステップＳ２にて、上記変数Ｔｂに、最後に受信したＲＴＰパケットＰｓ２のタイムスタンプ値Ｔｓ２から得られる表示時刻を設定する処理が行われる。

また、上記ステップ３での判定の結果、上記変数Ｔａが上記変数Ｔｂ以下であるときは、ＲＴＰデータ受信部２１６ｂでは、切替前のビデオストリーム（s2.mp4）に対応する、ＲＴＰパケットＰｓ２を受信する処理が停止され、かつ、切替前のビデオストリーム（s2.mp4）に対応する、タイムスタンプ値がビデオストリーム（s1.mp4）のものと重なるＲＴＰパケットＰｓ２を破棄する処理が行われ、さらにＲＴＳＰメッセージ送受信部２１４では、切替前のビデオストリーム（s2.mp4）に対応する、ＲＴＰパケットＰｓ２の送信を停止する要求メッセージの発行が行われる（ステップＳ５）。

図１２は、上記ビデオストリームの切替時の、受信端末のＲＴＳＰメッセージ送受信部２１４及びＲＴＰデータ受信部２１６ｂでの処理を、表示時刻に従って具体的に説明する模式図である。
ＲＴＰデータ受信部２１６ｂのエラー発生率計算部２１６ｂ１では、ＲＴＰパケットの受信中、例えば、５秒に１回の間隔で、エラー発生率を計算する処理Ｐ１が行われる。
そして、例えば、エラー発生率の変動により、現在受信中のビデオストリーム（例えばs2.mp4）の他のビデオストリーム（例えばs1.mp4）への切替を決定する処理Ｐ２が行われると（時刻Ｔp2）、ＲＴＳＰメッセージ送受信部２１４では、ビデオストリーム（s1.mp4）に対するDESCRIBE要求メッセージ、SETUP要求メッセージ，PLAY要求メッセージを発行する処理Ｐ３が行われる。

その後、ＲＴＰデータ受信部２１６ｂでは、ビデオストリーム（s1.mp4）に対するＲＴＰパケットＰ１(j)を受信すると、この最初に受信したＲＴＰパケットＰ１(j)のタイムスタンプ値に相当する表示時刻（３７．００秒）を、切替え前のビデオストリーム（s2.mp4）に対する、この時点で受信している最新のＲＴＰパケットＰ２(k+2)のタイムスタンプ値に相当する表示時刻（３７．００秒）と比較する処理Ｐ４が、図１１に示す処理フローに従って行われる（時刻Ｔp4）。

この比較処理Ｐ４の結果、ビデオストリーム（s1.mp4）に対応する、最初に受信したＲＴＰパケットＰ１(j)のタイムスタンプ値と重なるタイムスタンプ値が付与されている、ビデオストリーム（s2.mp4）に対応するＲＴＰパケットが受信されている場合、ビデオストリーム（s2.mp4）に対応するＲＴＰパケットの受信を停止する処理Ｐ５が行われる（時刻Ｔp5）。このため、受信停止処理Ｐ５の後に送信されてくるＲＴＰパケットＰ２(k+4)〜Ｐ２(k+n)は、この受信端末では、受信されない。また、切替え前のビデオストリーム（s2.mp4）に対応する、受信されたＲＴＰパケットＰ２(k+2)及びＰ２(k+3)のタイムスタンプ値に相当する表示時刻は、切替え後のビデオストリーム（s1.mp4）に対応する、最初に受信したＲＴＰパケットＰ１(j)のタイムスタンプ値に相当する表示時刻より大きいので、これらのＲＴＰパケットＰ２(k+2)及びＰ２(k+3)は、ＲＴＰデータ受信部２１６ｂにて破棄される。
さらに、上記ＲＴＰデータ受信部２１６ｂでの受信停止処理Ｐ５と並行して、ＲＴＳＰメッセージ送受信部２１４では、ビデオストリーム（s2.mp4）に対するTEARDOWN要求メッセージを発行する処理Ｐ６が行われる。

なお、図１２中、Ｐ２(k-r)は、ビデオストリーム（s2.mp4）に対応する先頭のＲＴＰパケットであり、Ｐ２(k-7)〜Ｐ２(k+3)は、受信停止処理Ｐ５の開始の数秒前から受信停止処理Ｐ５の開始直前までの間に受信したビデオストリーム（s2.mp4）に対応するＲＴＰパケットであり、これらのＲＴＰパケットＰ２(k-7)，Ｐ２(k-6)，Ｐ２(k-5)，Ｐ２(k-4)，Ｐ２(k-3)，Ｐ２(k-2)，Ｐ２(k-1)，Ｐ２(k)，Ｐ２(k+1)にはそれぞれ、表示時刻３２．５０（秒），３３．００（秒），３３．５０（秒），３４．００（秒），３４．５０（秒），３５．００（秒），３５．５０（秒），３６．００（秒），３６．５０（秒）に相当するタイムスタンプ値が付与されている。

また、Ｐ１(j+1)〜Ｐ１(j+3)は、ビデオストリーム（s1.mp4）に対応する、最初に受信したＲＴＰパケットＰ１(j)に続くＲＴＰパケットであり、これらのＲＴＰパケットＰ１(j+1)〜Ｐ１(j+3)には、表示時刻３７．２５（秒），３７．５０（秒），３７．７５（秒）に相当するタイムスタンプ値が付与されている。また、Ｐ１(j+m)は、ビデオストリーム（s1.mp4）に対応する、最後に受信したＲＴＰパケットである。

なお、ＲＴＰパケットのヘッダに書かれたタイムスタンプ値は、ＲＴＳＰによる送信メッセージにおけるRTP-Infoフィールドに記述されているtimestampにより、その初期値が与えられるものであるため、上記比較処理では、異なるビデオストリームに対応するＲＴＰパケットの間で、単純にタイムスタンプ値同士が比較されるのではなく、タイムスタンプ値に相当する表示時刻同士が比較される。

また、上記表示時刻Ｔｄは、下記の計算式（４）により算出される。
Ｔｄ＝Ｔｈ＋（Ｐts−Ｐtsi）／Ｓts ・・・（４）
ここで、Ｔｈは、ＰＬＡＹ応答メッセージにおけるRangeフィールドに指定されている再生データの先頭位置を示す時刻であり、Ｐtsは、各パケットに付与されているタイムスタンプ（パケットタイムスタンプ）の値であり、Ｐtsiは、上記タイムスタンプの初期値であり、Ｓtsはタイムスケールであり、該タイムスケールは、DESCRIBE要求の応答としてサーバから返されるSDP情報中にて指定されている。

このように本実施の形態２のデータ伝送システム１０ｂでは、実施の形態１の受信端末２００ａのＲＴＰデータ受信部２１６に代えて、サーバ１００ａからのＲＴＰデータＤrtpを受信するとともに、受信したＲＴＰパケットの解析により、受信端末におけるＲＴＰパケットのロス率（伝送エラー率）を示すエラー信号ＲerrをＳＭＩＬデータ解析部２１２ｂに出力するＲＴＰデータ受信部２１６ｂを備え、データ解析手段２１２ｂでは、該パケットのロス率の変動に応じて、サーバ１００ａから提供されるビデオストリームを、伝送エラー耐性の高いものあるいは映像品質の高いものに切り換えることをサーバに指令する信号（データ指定信号）Ｓｃを発生するので、受信端末２００ｂでは、伝送エラーの発生率が高いときには、サーバ側に用意されているビデオストリームのうちで、Ｉフレーム周期の短いエラー耐性の高いものを受信することができ、伝送エラーの発生率が低いときには、サーバ側に用意されているビデオストリームのうちで、Ｉフレーム周期の長い映像品質の高いものを受信することができる。

なお、上記実施の形態２では、ＳＭＩＬファイルが、図５（ａ）に示す、エラー耐性強度が異なる４つのビデオデータファイルを示すもの（ＳＭＩＬファイルＦSD２）である場合について説明したが、ＳＭＩＬファイルは、図１３（ａ）に示すように、エラー耐性強度が異なる３つのvideo要素を示し、各video要素には、エラー耐性強度が、system-protocol属性として記載されているもの（ＳＭＩＬファイルＦSD３）であってもよい。

すなわち、図１３（ａ）に示すＳＭＩＬファイルＦSD３は、switch 要素７３２ａを含む行と/switch要素７３２ｂを含む行との間に記述された、エラー耐性強度が異なる３つのvideo要素７２１〜７２３に関する項目を含んでいる。また、各video要素の項目には、エラー耐性強度が、system-protocol属性として記載されており、この属性に基づいて、ユーザ設定の内容に最も適合するvideo要素が選択される。

ここでは、上記各video要素７２１，７２２，７２３におけるsystem-protocol属性の具体値はそれぞれ、“nop”，“ret”，“fec+ret”である。該属性値“nop"は、video要素７２１に対応するビデオストリーム（s1.mp4）は、通常のデータ伝送プロトコルであるＲＴＰにより伝送されるものであることを示している。また、上記属性値“ret"は、video要素７２２に対応するビデオストリーム（s2.mp4）は、通常のデータ伝送プロトコルであるＲＴＰに対してエラー耐性を持たせた再送（ret：retransmission）を行う方法により伝送されるものであることを示している。さらに、上記属性値“fec+ret" は、video要素７２３に対応するビデオストリーム（s3.mp4）は、上記エラー耐性を持たせた、再送（ret：retransmission）を行う伝送方法よりさらに高いエラー耐性を持たせた、再送、及び重複伝送（fec = forward error correction）を行う方法により伝送されるものであることを示している。

つまり、system-protocol属性値“nop”が付与されているvideo要素７２１に対応するビデオストリーム（s1.mp4）は、再送も重複伝送も行われないものであるため、エラー耐性が上記３つのvideo要素に対応するビデオストリームのうちで最も弱いものである。
従って、受信端末にてエラー耐性強度が〔弱レベル〕に設定されている場合、受信すべきビデオストリームとして、上記video要素７２１に対応するものが選択される。また、受信端末におけるエラー耐性強度の設定がない場合には、最初に受信するビデオストリームとしては、該video要素７２１に対応するもの(s1．mp4)が選択され、該ビデオストリーム(s1．mp4)の受信後に、伝送エラーの発生率が増大した場合、受信中のビデオストリームが、system-protocol属性値“ret ”あるいは“ret + fec”が付与されているvideo要素７２２，７２３に対応するビデオストリーム（s2.mp4）あるいは(s3．mp4)に切替えられる。
なお、上記video要素７２２に対応する、再送を行う伝送方法により伝送されるビデオストリーム（s2.mp4）は、重複伝送を行う伝送方法により伝送されるもの、つまりそのvideo要素のsystem-protocol属性値が“fec”であるものとしてもよい。

また、ＳＭＩＬデータ解析部２１２ｂでは、上記図１３（ａ）に示すＳＭＩＬファイルＦSD３が入力された場合、該ＳＭＩＬファイルに基づいて、ＳＭＩＬファイルの記載情報を、図１３（ｂ）に示すように、ワークメモリ（図示せず）に記憶する処理が行われる。
すなわち、上記ワークメモリには、図１３（ａ）に示すＳＭＩＬファイルＦSD３における、video要素７２１〜７２３に関する情報が記録される。ここで、該ワークメモリに記録される項目の数（エントリ数）は、ＳＭＩＬファイルＦSD３における、<switch>要素７３２ａ及び</switch>要素７３２ｂの間に記述されたエレメント数（つまりvideo要素の数）に一致している。

各項目（エントリ）には、図１３（ｂ）に示すように、対応するビデオストリームのネットワーク上での所在場所を示すＵＲＬ（サーバアドレス）と、対応するビデオストリームの伝送プロトコルと、対応するビデオストリームが、受信されて再生されている受信（再生）状態であるか、受信も再生もされていない非受信（非再生）状態であるかを示す実行フラグと、対応するビデオストリームに関する、最新のタイムスタンプとが含まれている。

エントリ〔１〕の項目Ｅ１では、実行フラグの値が“１”となっており、これは、この項目Ｅ１に対応するビデオストリームが、現在、受信（再生）が行われていることを示している。また、エントリ〔２〕，〔３〕の項目Ｅ２，Ｅ３では、実行フラグの値が“０”となっており、これは、これらの項目Ｅ２，Ｅ３に対応するビデオストリームが、現在、受信（再生）が行われていないことを示している。

また、各項目Ｅ１〜Ｅ３におけるプロトコル種別を示す具体的な値は、“nop”，“ret”，“fec + ret”となっており、これらの値は、上記ＳＭＩＬファイルＦSD３における、system-protocol属性の値と一致している。
また、各項目Ｅ１〜Ｅ３における最新タイムスタンプは、受信した最新のRTPパケットのヘッダに付与されているタイムスタンプにより随時更新されるものであり、特定項目に対応するビデオストリームを、他の項目に対応するビデオストリームに切り替える際、データ要求タイミングの決定に用いるものである。

図１３（ｂ）では、項目Ｅ２，Ｅ３における最新タイムスタンプの値は“０”であり、この値“０”は、これらの項目に対応するビデオストリームはまだ受信されていないことを示している。また、項目Ｅ１における最新タイムスタンプの値は“３０６００００”である。ＭＰＥＧ−４では、タイムスタンプは９０ｋＨｚのクロックを用いて設定されているため、この値“３０６００００”は、３４秒に相当する。
また、図１３（ｃ）は、エラー発生率とプロトコルとの関連付けを示している。

この関連付けに関する情報は、ＳＭＩＬデータ解析部２１２ｂの情報記憶部（図示せず）に、受信端末固有のテーブル情報Ｒtpとして記録されているものである。ここでは、エラー発生率Ｅth（Ｅth＝０）パーセント，Ｅth（０＜Ｅth≦３）パーセント，Ｅth（３＜Ｅth）パーセントはそれぞれ、nopプロトコルにより伝送されるビデオストリーム、retプロトコルにより伝送されるビデオストリーム、fec + retプロトコルにより伝送されるビデオストリームに対応している。つまり、このテーブル情報では、エラー発生率０パーセント，３パーセントが、エラー発生率に応じてビデオストリームを切替える際の閾値となっている。

そして、ＳＭＩＬデータ解析部２１２ｂでは、エラー発生率の変動に応じたビデオストリームの切替えが、図１３（ｃ）に示すエラー発生率とプロトコルとの関連付けに基づいて行われる。また、シームレスな再生を行うためのビデオストリームの切替えは、上記実施の形態２と同様、図９〜図１２により説明した処理と同様に行われる。

また、上記実施の形態２では、受信端末として、同一の画像系列に対応するエラー耐性の異なる複数の画像データのうちの、最初に受信すべき画像データのエラー耐性強度をユーザが設定するものを示したが、最初に受信すべき画像データのエラー耐性強度は、受信端末固有のデフォルト値としてもよい。

この場合、受信端末は、例えば、ＳＭＩＬファイルＦSD２により示された複数のvideo要素７１１〜７１４のうちの、エラー耐性強度のデフォルト値に適したvideo要素のビデオストリームを要求し、該ビデオストリームを受信することとなり、その後は、該受信端末では、ビデオストリームの受信中におけるエラー発生率に応じて、受信中のビデオストリームが適切なエラー耐性強度を有するビデオストリームに切替えられることとなる。
また、上記実施の形態２では、ビデオストリームの切替えを、受信中のビデオストリームに対するエラー発生率に応じて行うものを示したが、ビデオストリームの切替えを、受信中の電波強度に応じて行うようにしてもよい。

（実施の形態３）
図１４は本発明の実施の形態３によるデータ伝送システムを説明するための図であり、該システムのサーバ及びクライアント端末の構成を示している。
なお、図１４中、図３と同一符号は実施の形態１のデータ伝送システム１０ａにおけるものと同一のものを示している。

この実施の形態３のデータ伝送システム１０ｃは、上記実施の形態１のシステム１０ａにおけるクライアント端末２００ａに代えて、サーバからのＲＴＰデータ（ＲＴＰパケット）の伝送エラーの発生率やパケット到着時刻などの送信状況に関する情報Ｄrrをサーバ１００ｃに伝送するクライアント端末２００ｃを備え、さらに実施の形態１のシステム１０ａにおけるサーバ１００ａに代えて、クライアント端末２００ｃからの送信状況に関する情報Ｄrrに基づいて、ＲＴＰデータとしてサーバから供給されるビデオストリームを、符号化条件が異なる他のビデオストリームに切り換えるサーバ１００ｃを備えたものである。

上記クライアント端末２００ｃは、クライアント端末２００ａにおけるＲＴＰデータ受信部２１６ａに代えて、ＲＴＰデータＤrtpを受信するとともに、該ＲＴＰデータの伝送エラーの発生率及びＲＴＰパケットの到着時刻などの送信状況を検出するＲＴＰデータ受信部２１６ｃを備えるとともに、この送信状況を示す情報Ｄrrをレシーバレポートとしてサーバ１００ｃに送信するＲＴＣＰレポート送受信部２１９を備えたものである。

また、上記サーバ１００ｃは、サーバから送信したＲＴＰパケットの個数やシーケンス番号に関する情報Ｄsrをセンダーレポートとして受信端末２００ｃのＲＴＣＰレポート送受信部２１９へ送信するとともに、送受信部２１９からのレシーバレポートを受信するＲＴＣＰレポート送受信部１０４を備えるとともに、実施の形態１のサーバにおけるＲＴＰデータ送信部１０３に代えて、レシーバレポートとしての情報Ｄrrを受け、伝送エラーの発生頻度及びＲＴＰパケットの到着時刻などの送信状況に基づいて、ＲＴＰデータとして送信されるビデオストリームを、符号化条件が異なる他のビデオストリームに切り換えるＲＴＰデータ送信部１０３ｃを備えたものである。

なお、上記ＲＴＣＰレポート送受信部１０４及び２１９は、上記センダーレポート及びレシーバレポートをＲＴＣＰ（ｒｅａｌｔｉｍｅｃｏｎｔｒｏｌｐｒｏｔｏｃｏｌ）により送受信するものである。また、レシーバレポートは、配信サーバに例えば5秒毎など一定周期で通知される。また、サーバにてビデオストリームを切り換えるタイミングは、一般的にはＩフレームが出現するタイミングで行うことが好ましい。

次に動作について説明する。
この実施の形態３のデータ伝送システム１０ｃの動作は、受信端末２００ｃかからのレシーバレポートに基づいて、サーバ１００ｃにて、ＲＴＰデータとして受信端末へ伝送されるビデオストリームを、符号化条件の異なるものに切り換える点のみ、実施の形態１のデータ送信システム１０ａの動作と異なっている。

つまり、受信端末２００ｃのＲＴＰデータ受信部２１６ｃでは、受信されたＲＴＰデータＤrtpの伝送エラーの発生率が検出され、このエラー発生率を示すエラー信号Ｒerrが上記ＲＴＣＰレポート送受信部２１９に出力される。
上記ＲＴＣＰレポート送受信部２１９からは、レシーバレポートＤrrとして、伝送エラーの発生頻度及びＲＴＰパケットの到着時刻などに関する情報がサーバ１００ｃに送信される。

すると、サーバ１００ｃのＲＴＣＰレポート送受信部１０４では、レシーバレポートＤrrとして受信した情報に基づいて、ＲＴＰデータＤrtpの伝送エラーの発生率及びパケットの到着遅延時間が検出され、このエラー発生率及び到着遅延時間を示す情報Ｄrrが、ＲＴＰデータ送信部１０３ｃに出力される。

該ＲＴＰデータ送信部１０３ｃでは、エラー発生率及びパケット到着遅延時間の増減に応じて、データ格納部１２０に格納されている複数のビデオファイルの中から、所定のエラー耐性を有するビデオファイルが選択され、ＲＴＰデータＤrtpとして受信端末２００ｃに送信される。

このように本実施の形態３のデータ伝送システム１０ｃでは、実施の形態１のシステム１０ａにおけるクライアント端末２００ａに代えて、サーバからのＲＴＰデータ（ＲＴＰパケット）の伝送エラーの発生率やパケット到着時刻などの送信状況に関する情報Ｄrrをサーバ１００ｃに伝送するクライアント端末２００ｃを備え、さらに実施の形態１のシステム１０ａにおけるサーバ１００ａに代えて、クライアント端末２００ｃからの送信状況に関する情報Ｄrrに基づいて、ＲＴＰデータとしてサーバから供給されるビデオストリームを、符号化条件が異なる他のビデオストリームに切り換えるサーバ１００ｃを備えたので、サーバ１００ｃでは、受信端末２００ｃからのレシーバレポートに基づいて、伝送エラーの発生率が高いときには、複数のビデオストリームのうちで、Ｉフレーム周期の短いエラー耐性の高いものを送信することができ、伝送エラーの発生率が低いときには、複数のビデオストリームのうちで、Ｉフレーム周期の長い映像品質の高いものを送信することができる。

（実施の形態４）
図１５は本実施の形態４のデータ伝送システムを説明するための図であり、該システムのサーバ及びクライアント端末の構成を示している。
なお、図１５中、図３と同一符号は実施の形態１のデータ伝送システム１０ａにおけるものと同一のものを示している。
この実施の形態４のデータ伝送システム１０ｄは、実施の形態１のシステム１０ａにおけるクライアント端末２００ａに代えて、ユーザが設定した動作内容に応じて、復号処理及び表示処理を変更するクライアント端末２００ｄを備えたものである。

つまり、このクライアント端末２００ｄは、実施の形態１のクライアント端末２００ａのデコード部２１０及び表示部２１８に代えて、制御信号Ｃ１に基づいて、ビデオストリームの復号処理を行う動作モードを変更するデコード部２１０ｄ、及び制御信号Ｃ２に基づいて画像データＤdecの表示処理を行う動作モードを変更する表示部２１８ｄを備え、ユーザの設定内容を示す設定信号Ｓerrに基づいてデコーダ部２１０ｄ及び表示部２１８ｄの動作モードを上記制御信号Ｃ１及びＣ２により制御する制御部２２０を備えたものである。

次に動作について説明する。
この実施の形態４のデータ伝送システム１０ｄの動作は、受信端末２００ｄにてユーザの設定内容に応じて、ビデオストリームの復号化処理モード及び画像データの表示処理モードが変更される点のみ、実施の形態１のシステム１０ａの動作と異なっている。

つまり、ユーザのユーザ操作部２１３に対する操作により、受信端末２００ｄで再生されるべきビデオストリームとして、Ｉフレーム周期が受信端末固有の一定の基準周期より小さいものが設定されている場合には、デコード部２１０ｄは、制御部２２０からの制御信号Ｃ１により、その動作モードが、伝送エラーの発生時にはＩフレームのビデオストリームが正常に受信されるまで復号処理を一旦停止する第１の復号動作モードに設定される。また、この場合、表示部２１８ｄは、制御部２２０からの制御信号Ｃ２により、その動作モードが、伝送エラーの発生時には次のＩフレームのビデオストリームが正常に受信されるまで、伝送エラーの発生の直前に復号化された画像データを表示する第１の表示動作モードに設定される。

一方、ユーザのユーザ操作部２１３に対する操作により、受信端末２００ｄで再生されるべきビデオストリームとして、Ｉフレーム周期が受信端末固有の一定の基準周期以上のものが設定されている場合には、デコード部２１０ｄは、制御部２２０からの制御信号Ｃ１により、その動作モードが、伝送エラーの発生時には、伝送エラーによりデータが欠落したフレームの復号化処理のみスキップして、伝送エラーの発生後には正常にデータが受信されたフレームから復号化処理を行う第２の復号動作モードに設定される。この第２の復号動作モードでは、伝送エラーの発生後には正常にデータが受信されたフレームがＰフレームであるとき、伝送エラーの発生直前に復号化されたフレームを参照して復号化処理が行われる。また、この場合、表示部２１８ｄは、制御部２２０からの制御信号Ｃ２により、その動作モードが、伝送エラーの発生にかかわらずデータの復号化処理が行われたフレームをすべて表示する第２の表示動作モードに設定される。

このように本実施の形態４のデータ伝送システム１０ｄでは、ユーザが受信端末にて設定した、受信端末で要求されるビデオストリームのエラー耐性に関する条件に応じて、受信端末におけるデコード部２１０ｄ及び表示部２１８ｄの動作モードを変更するようにした、つまり、受信端末で受信すべきビデオストリームを、Ｉフレームの周期が一定の基準値より短いビデオストリームとするという条件が設定されている場合には、伝送エラーの発生時にはＩフレームのビデオストリームが正常に受信されるまで、復号処理を一旦停止するとともに、伝送エラーの発生の直前に復号化された画像データを表示し、受信端末で受信すべきビデオストリームをＩフレームの周期が一定の基準値以上のビデオストリームとするという条件が設定されている場合には、伝送エラーによりデータが欠落したフレーム以外のフレームに対する復号化処理のみを行うとともに、データの復号化処理が行われたフレームをすべて表示するので、ユーザが設定した、受信すべきビデオストリームのエラー耐性（つまりＩフレームの間隔）に応じて、デコード部及び表示部の動作モードを、エラー発生時の表示画像の違和感が小さい動作モードとすることができる。

なお、上記実施の形態４では、データ送信システムとして、受信端末側にてユーザが設定したビデオストリームに関する条件に応じて、受信端末における復号化処理モード及び表示処理モードを変更するものを示したが、データ送信システムは、サーバから通知される、サーバから送信されるビデオストリームに関するＩフレームの出現間隔（Ｉフレームの周期）に基づいて、受信端末にてデコード部２１０ｄ及び表示部２１８ｄの動作モードを変更するものであってもよい。この場合、Ｉフレームの出現間隔を示す情報は、ＳＭＩＬ，ＳＤＰ，ＲＴＳＰなどを使用してサーバから受信端末に送信することができる。

また、上記実施の形態４では、デコード部２１０ｄの第２の復号動作モードとして、伝送エラーの発生時には、伝送エラーによりデータが欠落したフレームの復号化処理のみスキップして、伝送エラーの発生後には正常にデータが受信されたフレームから復号化処理を行う動作モードを示したが、上記第２の復号動作モードはこれに限るものではない。

例えば、図６（ｂ）に示すように、１フレームのビデオストリームが、複数のビデオパケットに分散して格納されている場合は、上記第２の復号動作モード、つまりＩフレーム周期が受信端末固有の一定の基準周期以上のものが設定されているときの復号動作モードは、伝送エラーによりデータが欠落したビデオパケット以外のパケットのデータに対する復号化処理のみを行うモードとしてもよい。
また、この場合、画像データの表示モードは、上記実施の形態４の第２の表示動作モードと同様、少なくともその一部のデータに対する復号化処理が行われたフレームはすべて表示するモードとしてもよい。

さらに、上記実施の形態４では、制御部が、デコード部の動作モードを、受信端末でのユーザ設定に応じて、上記第１の復号動作モードから第２の復号動作モードに切替えるものを示したが、制御部によるデコード部の動作の制御は、これに限るものではなく、例えば、受信端末でのユーザ設定以外の条件に応じて行われるものであってもよい。

例えば、伝送エラーが発生した時点では、次にＩフレームのビデオストリームが復号されるまでの時間は、Ｉフレームの周期が既知であることから算出可能である。このため、上記制御部は、伝送エラーが発生したとき、デコード部の復号動作を、伝送エラーの発生したフレームの復号時から、その後に復号化されるＩフレームの復号時までの時間差に応じて、例えば、伝送エラーの発生したフレームの復号時から、その後のＩフレームの復号時までの間は、復号処理を停止する復号動作と、伝送エラーの発生したフレームの復号時から、その後のＩフレームの復号時までの間は、画面間符号化データを、その伝送エラーの発生により復号不可能な部分を除いて復号化する復号動作のいずれとするかの判定を行い、デコード部を、伝送エラー発生後の復号動作が、この判定により決定された復号動作となるよう制御するものであってもよい。

具体的には、上記制御部は、伝送エラーが発生した時、上記伝送エラーの発生したフレームの復号時から、その後のＩフレームの復号時までの時間差が、上記端末固有の既定値より小さいとき、デコード部の復号動作が、上記伝送エラーの発生したフレームの復号時からその後にＩフレームが復号されるまでの間は、画像データに対する復号処理を停止する動作となり、一方、上記伝送エラーの発生したフレームの復号時から、その後のＩフレームの復号時までの時間差が、上記端末固有の既定値以上であるとき、デコード部の復号動作が、上記伝送エラーの発生したフレームの復号時からその後にＩフレームが復号されるまでの間は、上記伝送エラーの発生したフレーム以外のフレームに対応する画像データのみを復号化する動作となるよう、デコード部を制御する。

ここで、上記各フレームの画像データが、図６（ｂ）に示すように、フレームより小さいデータ単位毎にパケット化されている場合は、上述した伝送エラーの発生したフレーム以外のフレームに対する復号処理のみを行う復号動作は、受信した画像データにおける、伝送エラーの発生したパケット以外のパケットに対する復号処理のみを行うものとしてもよい。

また、上記各実施の形態では、ＲＴＳＰを使ってサーバに視聴者の表示画像に関する嗜好（Ｉフレームの周期の短いものがよいかＩフレームの周期の長いものがよいかなど）を通知してもよい。また、視聴者の嗜好を通知するためのプロトコルは、他の伝送プロトコルであるＣＣ／ＰＰ（ｃｏｍｐｏｓｉｔｅｃａｐａｂｉｌｉｔｙ／ｐｒｅｆｅｒｅｎｃｅｐｒｏｆｉｌｅｓ）を使ってもよい。このとき、サーバでは、ＳＭＩＬを使ってビデオストリームの侯補を受信端末へ通知するようにしてもよい。

さらに、上記各実施の形態では、サーバから受信端末に伝送されるデータが映像データである場合について説明したが、上記伝送データは、音声データやテキストデータであってもよく、つまり、音声データやテキストデータをＲＴＰ／ＵＤＰ／ＩＰで伝送する場合にも、上記各実施の形態と同様の効果が得られる。

例えば、同一のコンテンツに対応する、エラー耐性の異なる複数の音声データ、あるいは複数のテキストデータから、受信端末にてユーザにより設定された、あるいは受信端末のデフォルト値として設定された、受信すべきデータに対するエラー耐性強度に適したものが選択され、選択された音声データ，あるいはテキストデータが受信端末にて再生されることとなる。ここで、複数の音声データ（テキストデータ）が異なるエラー耐性を有する場合の一例としては、複数の音声データ（テキストデータ）の一つが、以前に復号処理が施された音声フレーム（テキストフレーム）のデータを参照して復号するフレームを利用し、他の１つがこのようなフレームを利用しない場合が挙げられる。

また、上記同一のコンテンツに対応する、エラー耐性強度の異なる複数の音声データ、あるいは複数のテキストデータは、データ伝送プロトコルが異なるものであってもよい。そして、音声データあるいはテキストデータに関する伝送プロトコルの異なる一例としては、ＩＥＴＦ（ＩｎｔｅｒｎｅｔＥｎｇｉｎｅｅｒｉｎｇＴａｓｋＦｏｒｃｅ）で定められているＦＥＣ（ＦｏｒｗａｒｄＥｒｒｏｒＣｏｒｒｅｃｔｉｏｎ、ＲＦＣ２７３３）の冗長度が異なるものが挙げられる。

（実施の形態５）
図２１は、本発明の実施の形態５によるデータ伝送システムを説明するための図であり、図２１（ａ）は該システムの構成を、図２１（ｂ）は、該システムでのデータ伝送処理を示している。
この実施の形態５のデータ伝送システム１０ｅは、所定のビデオストリーム（画像符号化データ）を送出するサーバ１００ｅと、該サーバ１００ｅから送出されたビデオストリームを受信して映像データを再生する受信端末（クライアント端末）２００ｅと、該ビデオストリームをサーバ１００ｅから受信端末２００ｅへ伝送するためのネットワーク１１とを有している。

ここで、上記サーバ１００ｅは、複数の画像系列のデジタル映像信号を、決められた符号化条件でもって符号化して得られる複数のビデオストリームを格納するとともに、対応するビデオストリームの属性が記述されたＳＭＩＬデータを格納したデータ格納部１２０ｅと、該データ格納部１２０ｅに格納されているデータを、ネットワーク１１上に送出するデータ送信部１１０ｅとから構成されている。また、上記データ格納部１２０ｅにはハードディクスなどの大容量記憶装置が用いられている。

また、この実施の形態５では、上記複数のビデオストリームは、異なる画像系列に対応する、それぞれ決められたエラー耐性を有する画像データである。具体的には、複数のビデオストリームはそれぞれ、デジタル映像信号を画面内画素値相関を用いて符号化してなる符号量の大きい画面内符号化データと、デジタル映像信号を画面間画素値相関を用いて符号化してなる符号量の少ない画面間符号化データとを含み、それぞれ決められた画面内符号化データの出現間隔、言い換えるとＩフレーム（Ｉ−ＶＯＰ）の周期を有するものである。

そして、上記ハードディスクなどのデータ格納部１２０ｅには、例えば、Ｉフレームの周期が５秒，２秒であるビデオストリームがビデオファイルＤva，Ｄvbとして格納され、上記ＳＭＩＬデータＤaa，Ｄabとして、対応するビデオファイルＤva，Ｄvbの属性などを記述したＳＭＩＬファイルが格納されている。ここで、各ビデオストリーム（ビデオファイル）Ｄva，Ｄvbの属性であるＩフレーム（Ｉ−ＶＯＰ）の出現間隔は、それぞれ、５秒，２秒となっている。

図２２は上記システムを構成するサーバ１００ｅ及びクライアント端末２００ｅの詳細な構成を示す図である。
上記サーバ１００ｅを構成するデータ送信部１１０ｅは、クライアント端末２００ｅからＨＴＴＰにより送信されたＳＭＩＬデータの要求メッセージＭdrを受け、該要求に従ってデータ格納部１２０ｅからＳＭＩＬファイルＤａを読み出し、読み出したＳＭＩＬファイルＤａをＨＴＴＰによりＳＭＩＬデータＤsmとして送信するＨＴＴＰ送受信部１０１と、クライアント端末２００ｅからＲＴＳＰにより送信されたデータ要求メッセージＭrtspを受け、その応答信号Ｓackを出力するとともに、要求されたビデオファイル名を示すデータ指定信号Ｓｃを出力するＲＴＳＰメッセージ送受信部１０２と、該データ指定信号Ｓｃを受け、該データ指定信号Ｓｃが示すビデオデータファイル名に相当するビデオストリームＤｅをデータ格納部１２０ｅから読み出し、読み出したビデオストリームをＲＴＰによりＲＴＰデータＤrtpとして伝送するＲＴＰデータ送信部１０３とを有している。なお、この実施の形態５のデータ送信部１１０ｅにおけるＨＴＴＰ送受信部１０１，ＲＴＳＰメッセージ送受信部１０２，及びＲＴＰデータ送信部１０３は、実施の形態１のデータ送信部１１０ａにおけるものと同一のものである。

また、上記クライアント端末２００ｅは、ユーザの操作により種々のユーザ操作信号Ｓop1，Ｓop2，Ｓop3を出力するユーザ操作部２１３と、該ユーザ操作信号Ｓop1に基づいて、ユーザ指定のビデオデータに対応するＳＭＩＬデータの要求メッセージＭdrをＨＴＴＰにより送信するとともに、上記サーバ１００ｅからＨＴＴＰにより送信されたＳＭＩＬデータＤsmを受信するＨＴＴＰ送受信部２１１と、該ＳＭＩＬデータＤsmを解析するとともに、その解析結果に基づいて、ユーザ指定のビデオデータを指定するデータ指定信号Ｓｃを出力するＳＭＩＬデータ解析部２１２ｅとを有している。

上記クライアント端末２００ｅは、上記データ指定信号ＳｃをＲＴＳＰメッセージ信号Ｍrtspとして送信するとともに、該信号Ｍrtspの応答信号Ｓackを受信するＲＴＳＰメッセージ送受信部２１４と、上記サーバ１００ｅから送信されたＲＴＰデータＤrtpを受信してビデオストリームＤｅを出力するＲＴＰデータ受信部２１６とを有している。

さらに上記クライアント端末２００ｅは、該ビデオストリームＤｅを復号化して画像データＤdecを出力するとともに、制御信号Ｃ１に基づいて、ビデオストリームの復号処理を行う動作モードを変更するデコード部２１０ｅと、該画像データＤdecに基づいて画像表示を行うとともに、制御信号Ｃ２に基づいて画像データＤdecの表示処理を行う動作モードを変更する表示部２１８ｅと、デコーダ部２１０ｅ及び表示部２１８ｅの動作モードを上記制御信号Ｃ１及びＣ２により制御する制御部２２０ｅとを有している。なお、該表示部２１８ｅは、上記ユーザ操作信号Ｓop２に応じた表示も行うものである。

また、このクライアント端末２００ｅでは、受信中の画像データにおける画面内符号化データの出現間隔と比較される既定値がデフォルト値として設定されており、エラー発生時には、受信中の画像データにおける画面内符号化データの出現間隔と上記既定値との比較結果に応じて、上記復号化部の動作モードが切替えられる。具体的には、上記画面内符号化データの出現間隔が、上記既定値より短い画像データを受信する場合、上記復号化部の動作モードは、伝送エラーの発生時に、その後画面内符号化データが正常に受信されるまで、復号処理を一旦停止する第１の復号モードとされ、上記画面内符号化データの出現間隔が、上記設定条件が示す既定値以上の画像データを受信する場合、上記復号化部の動作モードは、伝送エラーの発生時に、伝送エラーにより復号不可能となった部分を除いて復号化する第２の復号モードとされる。

なお、受信端末は、上記受信中の画像データにおける画面内符号化データの出現間隔と比較される既定値をデフォルト値として有するものに限らず、上記受信端末は、該既定値を、ユーザ操作により設定可能なものであってもよい。

次に動作について説明する。
このデータ伝送システム１０ｅでは、ユーザがユーザ操作部２１３ｅにて、所定のビデオファイルを要求する操作を行うと、この操作信号Ｓop1に基づいて、図２１（ｂ）に示すように、受信端末２００ｅのＨＴＴＰ送受信部２１１からサーバ１００ｅへ、ユーザ指定のビデオファイルに対応するＳＭＩＬデータを要求するＳＭＩＬ要求信号Ｓd1（図２２に示すＳＭＩＬ要求メッセージＭrd）がＨＴＴＰにより送信され、その応答として、サーバ１００ｅのＨＴＴＰ送受信部１０１からＳＭＩＬデータＤsmがＨＴＴＰ信号Ｄsdにより受信端末２００ｅに送信される。なお、ユーザがユーザ操作部２１３ｅにて、所要の画像系列のビデオファイルを指定する操作は、図４(a)に示す携帯端末を用いて説明した操作と同様に行われる。

その後、受信端末２００ｅでは、ＲＴＳＰメッセージ送受信部２１４が、ＳＭＩＬデータＤsmの解析結果に対応するデータ指定信号Ｓｃに基づいて、ユーザの必要とするビデオストリームを指定するメッセージＭrtspをＲＴＳＰ信号Ｓd2としてサーバ１００ｅへ送信する処理を行う。そして、その応答信号Ｓackがサーバ１００ｅのＲＴＳＰメッセージ送受信部１０２からＲＴＳＰにより受信端末２００ｅに送信された後、サーバ１００ｅからは、ＲＴＰデータ送信部１０３により、所定のビデオストリームＤstrがＲＴＰデータＤrtpとして受信端末２００ｅに送信される。

このようにして、上記ＲＴＰデータＤrtpがネットワーク１１を介して受信端末２００ａに伝送されると、該受信端末２００ａでは、ＲＴＰデータＤrtpがＲＴＰデータ受信部２１６にて受信され、ビデオストリームＤｅがデコード部２１０ｅに出力される。デコード部２１０ｅではビデオストリームＤｅの復号化処理により画像データＤdecが生成されて表示部２１８ｅに出力される。表示部２１８ｅでは、画像データＤdecに基づいて画像表示が行われる。

そして、この実施の形態４のデータ伝送システム１０ｅでは、上記ビデオストリームの伝送中にエラーが発生した場合は、受信端末２００ｅにて、デフォルト値として設定されている画面内符号化データの出現間隔（つまりＩフレームの周期）と、受信しているビデオストリームの属性値であるＩフレームの周期との比較結果に応じて、復号化部２１０ｅの動作モード及び表示部２１８ｅの動作モードが制御部２２０ｅからの制御信号Ｃ１，Ｃ２に基づいて変更される。

つまり、受信端末２００ｅにて、Ｉフレーム周期（Ｉ−ＶＯＰの周期）が受信端末での既定値（一定の基準周期）より短いビデオストリームを受信している場合には、デコード部２１０ｅは、制御部２２０ｅからの制御信号Ｃ１により、その動作モードが、伝送エラーの発生時にはＩフレームのビデオストリームが正常に受信されるまで復号処理を一旦停止する第１の復号動作モードに設定される。また、この場合、表示部２１８ｅは、制御部２２０ｅからの制御信号Ｃ２により、その動作モードが、伝送エラーの発生時には次のＩフレームのビデオストリームが正常に受信されるまで、伝送エラーの発生の直前に復号化された画像データを表示する第１の表示動作モードに設定される。

一方、受信端末２００ｅにて、Ｉフレーム周期が受信端末での既定値（一定の基準周期）以上のビデオストリームを受信している場合には、デコード部２１０ｅは、制御部２２０ｅからの制御信号Ｃ１により、その動作モードが、伝送エラーの発生時には、伝送エラーによりデータが欠落したフレームの復号化処理のみスキップして、伝送エラーの発生後には正常にデータが受信されたフレームから復号化処理を行う第２の復号動作モードに設定される。この第２の復号動作モードでは、伝送エラーの発生後には正常にデータが受信されたフレームがＰフレームであるとき、伝送エラーの発生直前に復号化されたフレームを参照して復号化処理が行われる。また、この場合、表示部２１８ｅは、制御部２２０ｅからの制御信号Ｃ２により、その動作モードが、伝送エラーの発生にかかわらずデータの復号化処理が行われたフレームをすべて表示する第２の表示動作モードに設定される。

このように本実施の形態５のデータ伝送システム１０ｅでは、受信端末にデフォルト値として設定されているIフレーム周期の既定値と、受信しているビデオストリームのＩフレーム周期の値とに応じて、受信端末におけるデコード部２１０ｅ及び表示部２１８ｅの動作モードを変更するようにした、つまり、受信端末で受信するビデオストリームのＩフレーム周期の値が、受信端末にデフォルト値として設定されている既定値より短い場合には、伝送エラーの発生時にはＩフレームのビデオストリームが正常に受信されるまで、復号処理を一旦停止するとともに、伝送エラーの発生の直前に復号化された画像データを表示し、受信端末で受信するビデオストリームのＩフレーム周期の値が、受信端末にデフォルト値として設定されている既定値以上の場合には、伝送エラーによりデータが欠落したフレーム以外のフレームに対する復号化処理のみを行うとともに、データの復号化処理が行われたフレームをすべて表示するので、受信するビデオストリームのエラー耐性（つまりＩフレームの間隔）に応じて、デコード部及び表示部の動作モードを、エラー発生時の表示画像の違和感が小さいものとすることができる。

なお、上記実施の形態５では、受信するビデオストリームの属性値であるＩフレームの出現間隔（Ｉフレームの周期）は、サーバ１００ｅから、ＳＭＩＬファイルとして受信端末へ供給される場合について示したが、受信するビデオストリームのＩフレームの出現間隔（Ｉフレームの周期）は、ＳＤＰやＲＴＳＰなどを使用してサーバから受信端末に送信するようにしてもよい。

また、受信するビデオストリームのＩフレームの出現間隔（Ｉフレームの周期）は、サーバから端末へ送信する場合に限らず、例えば、受信端末２００ｅのＲＴＰデータ受信部２１６にて、受信したビデオストリームに含まれる情報から算出するようにしてもよい。

また、上記実施の形態５では、デコード部２１０ｅの第２の復号動作モードとして、伝送エラーの発生時には、伝送エラーによりデータが欠落したフレームの復号化処理のみスキップして、伝送エラーの発生後には正常にデータが受信されたフレームから復号化処理を行う動作モードを示したが、上記第２の復号動作モードはこれに限るものではない。

例えば、図６（ｂ）に示すように、１フレームのビデオストリームが、複数のビデオパケットに分散して格納されている場合は、上記第２の復号動作モードは、伝送エラーによりデータが欠落したビデオパケット以外のパケットのデータに対する復号化処理のみを行うモードとしてもよい。
また、この場合、画像データの表示モードは、上記実施の形態５の第２の表示動作モードと同様、少なくともその一部のデータに対する復号化処理が行われたフレームはすべて表示するモードとしてもよい。

さらに、上記実施の形態５では、受信中のビデオストリームのＩフレームの出現間隔と、受信端末でのデフォルト値（既定値）との大小関係に応じて、エラー発生時におけるデコード部の動作モードを切替えるものを示したが、デコード部の動作モードの切替えは、これに限るものではない。
例えば、伝送エラーが発生した時点では、次にＩフレームのビデオストリームが復号されるまでの時間は、Ｉフレームの周期が既知であることから算出可能である。このため、上記制御部は、伝送エラーが発生したとき、デコード部の復号動作を、伝送エラーの発生したフレームの復号時から、その後に復号されるＩフレームの復号時までの時間差に応じて、例えば、伝送エラーの発生したフレームの復号時から、その後のＩフレームの復号時までの間は、復号処理を停止する復号動作と、伝送エラーの発生したフレームの復号時から、その後のＩフレームの復号時までの間は、画面間符号化データを、その伝送エラーの発生により復号不可能な部分を除いて復号化する復号動作のいずれとするかの判定を行い、デコード部を、伝送エラー発生後の復号動作が、この判定により決定された復号動作となるよう制御するものであってもよい。

具体的には、上記制御部は、伝送エラーが発生したとき、上記伝送エラーの発生したフレームの復号時から、その後のＩフレームの復号時までの時間差が、上記受信端末でのデフォルト値（既定値）より小さい場合、上記復号化部の復号動作が、上記伝送エラーの発生したフレームの復号時からその後にＩフレームが復号されるまでの間は、画像データに対する復号処理を停止する動作となり、上記伝送エラーの発生したフレームの復号時から、その後のＩフレームの復号時までの時間差が、上記受信端末でのデフォルト値（既定値）以上である場合、上記復号化部の復号動作が、上記伝送エラーの発生したフレームの復号時からその後にＩフレームが復号されるまでの間は、画面間符号化データをその伝送エラーの発生により復号不可能となった部分を除いて復号化する動作となるよう、デコード部を制御する。

ここで、画面間符号化データをその伝送エラーの発生により復号不可能となった部分を除いて復号化する復号動作は、伝送エラーの発生したフレーム以外のフレームに対する復号処理のみを行う復号動作である。
なお、上記各フレームの画像データが、図６（ｂ）に示すように、フレームより小さいデータ単位毎にパケット化されている場合は、伝送エラーが発生したフレーム以外のフレームを復号化する復号動作は、受信した画像データにおける、伝送エラーの発生したパケット以外のパケットを復号化するものとしてもよい。

さらに、上記実施の形態５では、サーバから受信端末に伝送されるデータが映像データである場合について説明したが、上記伝送データは、音声データやテキストデータであってもよく、つまり、音声データやテキストデータをＲＴＰ／ＵＤＰ／ＩＰで伝送する場合にも、上記実施の形態５と同様の効果が得られる。

また、上記実施の形態２ないし４では、サーバに対して、端末でのユーザ設定に基づいて画像データを要求し、該要求に応じて送信された画像データを再生するデータ再生装置として、インターネットなどのネットワークを介してサーバに接続可能な受信端末を示し、実施の形態５では、受信された画像データのＩフレーム周期の値と、受信端末で設定されている既定値との大小関係に応じて、エラー発生時の復号動作を切替える受信端末を示したが、上記実施の形態２〜５の受信端末の具体的なものとしては、ＰＣ（パーソナルコンピュータ）や、上記実施の形態１で受信端末の具体例として示した携帯電話などが挙げられる。

（実施の形態６）
以下、本発明の実施の形態６として、上記実施の形態２のデータ再生装置と同様に、サーバに対して、ユーザ設定により指定したエラー耐性強度を有する画像データを要求する携帯電話について説明する。
図１６は、この実施の形態６の携帯電話を説明するための図である。
この実施の形態５の携帯電話３００は、種々の信号処理を行う信号処理部３０２と、アンテナ３０１で受信された無線信号Ｎを受信信号として信号処理部３０２に出力するとともに、信号処理部３０２にて生成された送信信号を無線信号Ｎとしてアンテナ３０１から送信する無線通信部３０３とを有している。

また、上記携帯電話３００は、画像表示を行う液晶パネル（ＬＣＤ）３０６と、音声の入力を行うためのマイク３０８と、音声信号を再生するスピーカ３０７と、上記信号処理部３０２にて処理された画像信号を受け、上記液晶表示部（ＬＣＤ）３０６を、画像信号に基づいて画像表示が行われるよう制御する表示制御部３０４と、マイク３０８からの入力音声信号を信号処理部３０２に出力するとともに、信号処理部３０２にて処理された音声信号をスピーカ３０７に出力する音声入出力部３０５とを有している。なお、ここでは説明の簡略化のため、携帯電話のボタン操作部は図示していない。

ここで、上記信号処理部３０２は、上記実施の形態２のデータ再生装置２００ｂと同一のデータ再生処理を行うものである。つまり、上記信号処理部３０２は、実施の形態２の受信端末側における、ＨＴＴＰ送受信部２１１，ＲＴＳＰメッセージ送受信部２１４、ＳＭＩＬデータ解析部２１２ｂ、ＲＴＰデータ受信部２１６ｂ、デコード部２１０，及びユーザ操作部２１３に相当する部分を有している。また、この実施の形態６の携帯電話３００における表示制御部３０４及び液晶パネル（ＬＣＤ）３０６は、上記実施の形態２の表示部２１８に相当するものである。

このような構成を有する携帯電話３００では、ユーザにより、受信すべき画像データに対するエラー耐性強度が設定され、特定のコンテンツに対応する画像データの再生を行うための操作が行われると、サーバからは、エラー耐性強度のユーザ設定値に適したビデオストリームがＲＴＰパケットにより順次送信され、携帯電話では、サーバからのビデオストリームの再生が行われるとともに、該ビデオストリームの受信中における伝送エラー発生率に応じて、ビデオストリームを切替える処理が行われる。

なお、上記実施の形態６では、携帯電話として、上記実施の形態２のデータ再生装置と同一のデータ再生処理を行うものを示したが、この携帯電話は、上記実施の形態３ないし５のデータ伝送システムにおけるデータ再生装置（受信端末）２００ｃ，２００ｄ，２００ｅと同一のデータ再生処理を行うものであってもよい。

さらに、上記各実施の形態では、データ再生装置（受信端末）あるいはデータ送信装置（サーバ）をハードウエアにより実現したものを示したが、これらの装置はソフトウエアにより実現してもよい。この場合、上記各実施の形態で示したデータ再生処理あるいはデータ送信処理を行うためのプログラムをフレキシブルディスク等のデータ記憶媒体に記録しておくことにより、上記データ再生装置（受信端末）及びデータ送信装置（サーバ）を、独立したコンピュータシステムにおいて構築することが可能となる。

図１７は、上記各実施の形態のデータ再生処理あるいはデータ送信処理をソフトウエアにより行うためのプログラムを格納した記録媒体、及び該記録媒体を含むコンピュータシステムを説明するための図である。
図１７（ａ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスク本体を示し、図１７（ｂ）は、該フレキシブルディスク本体の物理フォーマットの例を示している。

上記フレキシブルディスクＦＤは、上記フレキシブルディスク本体ＤをフレキシブルディスクケースＦＣ内に収容した構造となっており、該フレキシブルディスク本体Ｄの表面には、同心円状に外周から内周に向かって複数のトラックＴｒが形成され、各トラックＴｒは円周方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクＦＤは、上記フレキシブルディスク本体Ｄの上に割り当てられた領域（セクタ）Ｓｅに、上記プログラムとしてのデータが記録されたものとなっている。
また、図１７（ｃ）は、フレキシブルディスクＦＤに上記プログラムを記録するための構成、及びフレキシブルディスクＦＤに格納したプログラムを用いてソフトウエアによるデータ再生処理あるいはデータ送信処理を行うための構成を示している。

上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしてのデータを、フレキシブルディスクドライブＦDDを介してフレキシブルディスクＦＤに書き込む。また、フレキシブルディスクＦＤに記録されたプログラムにより、上記データ再生装置あるいはデータ送信装置をコンピュータシステムＣｓ中に構築する場合は、フレキシブルディスクドライブＦDDによりプログラムをフレキシブルディスクＦＤから読み出し、コンピュータシステムＣｓにロードする。

なお、上記説明では、データ記録媒体としてフレキシブルディスクを示したが、データ記録媒体として光ディスクを用いてもよく、この場合も上記フレキシブルディスクの場合と同様にソフトウェアによるデータ再生処理あるいはデータ送信処理を行うことができる。さらに、上記データ記録媒体は上記光ディスクやフレキシブルディスクに限るものではなく、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであればどのようなものでもよく、これらのデータ記録媒体を用いる場合でも、上記フレキシブルディスク等を用いる場合と同様にソフトウェアによるデータ再生処理あるいはデータ送信処理を実施することができる。

本発明は、画像データのデータ再生処理を行うデータ再生装置及びデータ再生方法として有用であり、特に、画像データの受信側にて、ユーザの好みや伝送エラーの発生状況に応じて、受信側で取得する画像データの伝送エラー耐性及び映像品質を切替え可能とするデータ再生処理を行うものとして、有用である。

本発明の実施の形態１によるデータ伝送システムを説明するための図であり、該システムの構成（図（ａ））、及び該システムにおけるデータ送信処理（図（ｂ））を示している。上記実施の形態１のデータ伝送システムにて用いられるＳＭＩＬファイルＦSD１の記述内容の一例を示す図である。上記実施の形態１のデータ伝送システムを構成するサーバ１００ａ及びクライアント端末２００ａの詳細な構成を示す図である。上記実施の形態１の受信端末２００ａにおける具体的なエラー耐性強度の設定方法を説明する図であり、２つのエラー耐性強度の一方を選択する方法（図（ａ））と、スライドバーによりエラー耐性強度を指定する方法（図（ｂ））を示している。上記実施の形態１のデータ伝送システムにて用いられる、図２に示すＳＭＩＬファイルとは異なるＳＭＩＬファイルＦSD２の記述内容（図（ａ））、及びユーザ設定値Ｘus２に基づいたvideo要素の具体的な選択の方法（図（ｂ）)を示す図である。上記実施の形態１におけるエラー耐性の異なる複数の画像データの他の例として、１フレームを１ビデオパケットとするビデオストリーム（図（ａ））と、１フレームを３ビデオパケットとするビデオストリーム（図（ｂ））とを示す図である。本発明の実施の形態２によるデータ伝送システムを説明するための図であり、上記システムを構成するサーバ及びクライアント端末の詳細な構成を示している。上記実施の形態２で用いるＳＭＩＬファイルＦSD２の記述情報に対応する、ワークメモリにおける記憶内容（図（ａ））、及びエラー発生率とエラー耐性強度とを関連付けるテーブル（図（ｂ））を示す図である。上記実施の形態２にてビデオストリームの切替えを行う際の、ＲＴＳＰメッセージの交換の例を示す図である。上記実施の形態２にてビデオストリームの切替えを行う際、切替え前、及び切替え後のビデオストリームに対応する受信バッファに格納されるＲＴＰパケット（図（ａ），（ｂ））を示す図である。上記実施の形態２における受信端末でのビデオストリームの切替処理のフローを示す図である。上記実施の形態２における、上記ビデオストリームの切替時に受信端末のＲＴＳＰメッセージ送受信部２１４及びパケットＲＴＰデータ受信部２１６ｂにて行われる処理を、表示時刻に従って具体的に示す模式図である。上記実施の形態２で用いられる、伝送プロトコルが異なるビデオストリームに関する情報を示すＳＭＩＬファイルの記述（図（ａ））、該記述に対応する、ワークメモリにおける記憶内容（図（ｂ））、及びエラー発生率とプロトコルとを関連付けるテーブル（図（ｃ））を示す図である。本発明の実施の形態３によるデータ伝送システムを説明するための図であり、上記システムを構成するサーバ及びクライアント端末の詳細な構成を示している。本発明の実施の形態４によるデータ伝送システムを説明するための図であり、上記システムを構成するサーバ及びクライアント端末の詳細な構成を示している。本発明の実施の形態６によるデータ再生装置としての携帯電話を説明するための図である。上記各実施の形態のデータ再生処理及びデータ送信処理をコンピュータシステムにより行うためのプログラムを格納したデータ記憶媒体（図（ａ），（ｂ））、及び上記コンピュータシステム（図（ｃ））を説明するための図である。インターネットを利用して画像データを配信するための通信システムを説明するための図である。従来の画像符号化装置を説明するための図であり、該画像符号化装置の構成（図（ａ））、及び該画像符号化装置におけるＶＯＰ単位の符号化処理（図（ｂ））を示している。従来の画像復号化装置を説明するためのブロック図である。本発明の実施の形態５によるデータ伝送システムを説明するための図であり、図２１（ａ）は該システムの構成を、図２１（ｂ）は、該システムでのデータ伝送処理を示している。上記実施の形態５のシステムを構成するサーバ１００ｅ及びクライアント端末２００ｅの詳細な構成を示す図である。

符号の説明

１０ａ，１０ｂ，１０ｃ，１０ｄ，１０ｅネットワークシステム
１１ネットワーク
２１ボタン操作部
２１ａ〜２１ｄカーソルキー
２１ｅ確定ボタン
２２ａ電波強度表示画面
２２ｂ，２２ｄエラー耐性設定画面
２２ｃ，２２ｅ操作案内画面１００ａ，１００ｃサーバ
１０１ＨＴＴＰ送信手段
１０２ＲＴＳＰメッセージ受信手段
１０３ＲＴＰデータ送信手段
１０４，２１９ＲＴＣＰレポート送受信手段
１１０ａ，１１０ｃ，１００ｅ送信装置
１２０データ格納部
２００ａ，２００ｂ，２００ｃ，２００ｄ，２００ｅ受信端末
２０１ａ，２０１ｂ携帯端末
２１１ＨＴＴＰ受信手段
２１２，２１２ｂ，２１２ｅＳＭＩＬデータ解析手段
２１３ユーザ操作部
２１４ＲＴＳＰメッセージ受信手段
２１６，２１６ｂ，２１６ｃＲＴＰデータ受信手段
２１０，２１０ｄ，２１０ｅデコード部
２１８，２１８ｄ，２１８ｅ表示部
２２０，２２０ｅ制御部
３００携帯電話
３０１アンテナ
３０２信号処理部
３０３無線通信部
３０４表示制御部
３０５音声入力出力部
３０６液晶パネル（ＬＣＤ）
３０７スピーカ
３０８マイク
Ｃｓコンピュータ・システム
ＦＤフレキシブルディスク
ＦDD フレキシブルディスクドライブ
ＦSD１〜ＦSD３ＳＭＩＬファイル

Claims

複数のビデオストリームを切り替えて表示するデータ再生装置であって、
上記ビデオストリームを構成するＲＴＰパケットを受信し、上記ＲＴＰパケットからＲＴＰタイムスタンプを抽出し、上記ＲＴＰタイムスタンプに対応する上記データ再生装置上の表示時刻を算出する受信部と、
受信中の、第１のビデオストリームを構成するＲＴＰパケットからエラーを検出するエラー検出部と、
上記エラー検出部にてエラーが検出された場合に、第２のビデオストリームの送信要求を行う送受信部と、
上記受信部によって算出された表示時刻を解析する解析部と、
表示するビデオストリームを切り替える制御部とを備え、
上記受信部は、上記第２のビデオストリームの送信要求が行われた後に、上記第１のビデオストリームを構成するＲＴＰパケットと、上記第２のビデオストリームを構成するＲＴＰパケットとを受信して、上記第１のビデオストリームのＲＴＰタイムスタンプから第１の表示時刻を、上記第２のビデオストリームのＲＴＰタイムスタンプから第２の表示時刻を算出し、
上記解析部は、上記第１の表示時刻と上記第２の表示時刻とを比較して、上記第２の表示時刻が第１の表示時刻より大きいか否かを判定し、
上記制御部は、上記第２の表示時刻が上記第１の表示時刻より大きいとき、表示するビデオストリームを上記第２のビデオストリームに切り替える、
ことを特徴とするデータ再生装置。
請求項１記載のデータ再生装置において、
上記送受信部は、上記第２の表示時刻が上記第１の表示時刻より大きいとき、上記第１のビデオストリームの送信停止を要求する、
ことを特徴とするデータ再生装置。
請求項１記載のデータ再生装置において、
上記受信部は、上記第２の表示時刻が上記第１の表示時刻より大きいとき、上記第１のビデオストリームを構成するＲＴＰパケットの受信を停止する、
ことを特徴とするデータ再生装置。
請求項１記載のデータ再生装置において、
上記受信部は、上記第２の表示時刻が上記第１の表示時刻より大きいとき、上記第２の表示時刻以降の、上記第１のビデオストリームを構成するＲＴＰパケットを破棄する、
ことを特徴とするデータ再生装置。
複数のビデオストリームを切り替えて表示するデータ再生方法であって、
上記ビデオストリームを構成するＲＴＰパケットを受信するステップと、
受信中の、第１のビデオストリームを構成するＲＴＰパケットからエラーを検出するステップと、
上記エラーが検出された場合に、第２のビデオストリームの送信要求を行うステップと、
上記第２のビデオストリームの送信要求が行われた後に、上記第１のビデオストリームを構成するＲＴＰパケットと、上記第２のビデオストリームを構成するＲＴＰパケットとを受信するステップと、
上記第１のビデオストリームを構成するＲＴＰパケットからＲＴＰタイムスタンプを抽出して、該ＲＴＰタイムスタンプに対応する上記データ再生装置上の第１の表示時刻を算出すると共に、上記第２のビデオストリームを構成するＲＴＰパケットからＲＴＰタイムスタンプを抽出して、該ＲＴＰタイムスタンプに対応する上記データ再生装置上の第２の表示時刻を算出するステップと、
上記第１の表示時刻と上記第２の表示時刻とを比較して、上記第２の表示時刻が上記第１の表示時刻より大きいか否かを判定するステップと、
上記第２の表示時刻が上記第１の表示時刻より大きいとき、表示するビデオストリームを上記第２のビデオストリームに切り替えるステップとを含む、
ことを特徴とするデータ再生方法。
複数のビデオストリームを受信して表示するデータ再生処理をコンピュータにより行うためのデータ再生プログラムであって、
上記ビデオストリームを構成するＲＴＰパケットを受信するステップと、
受信中の、第１のビデオストリームを構成するＲＴＰパケットからエラーを検出するステップと、
上記エラーが検出された場合に、第２のビデオストリームの送信要求を行うステップと、
上記第２のビデオストリームの送信要求が行われた後に、上記第１のビデオストリームを構成するＲＴＰパケットと、上記第２のビデオストリームを構成するＲＴＰパケットとを受信するステップと、
上記第１のビデオストリームを構成するＲＴＰパケットからＲＴＰタイムスタンプを抽出して、該ＲＴＰタイムスタンプに対応する上記データ再生装置上の第１の表示時刻を算出すると共に、上記第２のビデオストリームを構成するＲＴＰパケットからＲＴＰタイムスタンプを抽出して、該ＲＴＰタイムスタンプに対応する上記データ再生装置上の第２の表示時刻を算出するステップと、
上記第１の表示時刻と上記第２の表示時刻とを比較して、上記第２の表示時刻が上記第１の表示時刻より大きいか否かを判定するステップと、
上記第２の表示時刻が上記第１の表示時刻より大きいとき、表示するビデオストリームを上記第２のビデオストリームに切り替えるステップとを含む、
ことを特徴とするデータ再生プログラム。
複数のビデオストリームを受信して表示するデータ再生処理をコンピュータにより行うためのデータ再生プログラムを格納するデータ記録媒体であって、
上記データ再生プログラムは、
上記ビデオストリームを構成するＲＴＰパケットを受信するステップと、
受信中の、第１のビデオストリームを構成するＲＴＰパケットからエラーを検出するステップと、
上記エラーが検出された場合に、第２のビデオストリームの送信要求を行うステップと、
上記第２のビデオストリームの送信要求が行われた後に、上記第１のビデオストリームを構成するＲＴＰパケットと、上記第２のビデオストリームを構成するＲＴＰパケットとを受信するステップと、
上記第１のビデオストリームを構成するＲＴＰパケットからＲＴＰタイムスタンプを抽出して、該ＲＴＰタイムスタンプに対応する上記データ再生装置上の第１の表示時刻を算出すると共に、上記第２のビデオストリームを構成するＲＴＰパケットからＲＴＰタイムスタンプを抽出して、該ＲＴＰタイムスタンプに対応する上記データ再生装置上の第２の表示時刻を算出するステップと、
上記第１の表示時刻と上記第２の表示時刻とを比較して、上記第２の表示時刻が上記第１の表示時刻より大きいか否かを判定するステップと、
上記第２の表示時刻が上記第１の表示時刻より大きいとき、表示するビデオストリームを上記第２のビデオストリームに切り替えるステップとを含む、
ことを特徴とするデータ記録媒体。
請求項１に記載のデータ再生装置において、
上記データ再生装置は、携帯電話機である、
ことを特徴とするデータ再生装置。