JP2004007327A - Data reproducing device and data repeater - Google Patents

Data reproducing device and data repeater Download PDF

Info

Publication number
JP2004007327A
JP2004007327A JP2002190839A JP2002190839A JP2004007327A JP 2004007327 A JP2004007327 A JP 2004007327A JP 2002190839 A JP2002190839 A JP 2002190839A JP 2002190839 A JP2002190839 A JP 2002190839A JP 2004007327 A JP2004007327 A JP 2004007327A
Authority
JP
Japan
Prior art keywords
data
server
information
message
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002190839A
Other languages
Japanese (ja)
Inventor
Yoshinori Matsui
松井 義徳
Yoji Notoya
能登屋 陽司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2002190839A priority Critical patent/JP2004007327A/en
Publication of JP2004007327A publication Critical patent/JP2004007327A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To enable a receiving terminal to receive and reproduce contents data from the head of an unreproduced part when a server as a transmitting source of the contents data is switched in a state that the contents data from the server are reproduced by the receiving terminal. <P>SOLUTION: A receiving terminal 100a for receiving and reproducing contents data transmitted from the server is provided with a time information storing processing part 105a for generating unreproduced range information Ir for specifying the range of the unreproduced part in the contents data on the basis of the time information of reproducing processing which is imparted to each fixed data unit of the contents data. When a message for requesting the switching of the server S being the data transmitting source is received, the unreproduced range information is added to a message for requesting the contents data and the resultant message is transmitted to a new transmitting source server. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
この発明は、データ再生装置及びデータ中継装置に関し、特に、データを受信端末にて受信し再生している状態で、該データの送信元であるサーバを、他のサーバに切り換えるサーバ切換処理に関するものである。
【0002】
【従来の技術】
画像データあるいは音声データなどのコンテンツデータを受信端末にて受信し再生している状態では、上記コンテンツデータの供給源であるサーバ(以下特定サーバともいう。)を他のサーバ(以下代替サーバともいう。)に切り換える処理は、上記特定サーバからのREDIRECT要求により行われる。このREDIRECT要求は、RTSP(Real Time Streaming Protocol)、つまりサーバと受信端末との間でメッセージ交換を行うためのプロトコルにおけるメソッドの1つであり、データの送信側が受信側に向かって発行するメソッドである。なお、上記RTSPは、IETF(Internet Engineering Task Force)などのインターネット標準化グループにより標準化案(RFC2326)が進められ、実装化が進んでいる。
【0003】
また、RTSPのメソッドとしては、上記REDIRECT要求の他に、サーバと端末との間でのセッションの設定(データの通信可能な状態の確立)を行うSETUP要求,サーバに対して受信側でのデータの再生を要求するPLAY要求,さらにセッションの開放(データの通信可能な状態の解除)を行うためのTEARDOWN要求等がある。
【0004】
上記REDIRECT要求には、代替サーバのURL(Universal Resource Locator)を示すLocation情報が必ず含まれており、受信端末は、このREDIRECT要求を受信すると、現在のサーバ(特定サーバ)と受信端末との間のセッションを終了し、代替サーバとのセッションを確立して、代替サーバからの送信データを受信して再生する。
【0005】
図11は、従来の受信端末を説明するためのブロック図である。
従来の受信端末200は、サーバSから送信された、画像データ及び音声データの少なくとも一方を含むコンテンツデータを、インターネットなどのネットワークを介して受信し再生するものである。この受信端末200は、サーバSとの間でRTSPメッセージMの交換を行うRTSP交換部201と、該RTSP交換部201からの制御信号Ctに基づいて、サーバSからRTPパケットに格納して送信されたコンテンツデータ(以下RTPパケットデータともいう。)Dpを受信するRTP受信部202とを有している。
【0006】
ここで、上記RTSP交換部201は、RTSPメッセージMの交換により得られる情報に基づいて、RTPパケットを識別するID番号を示す識別情報であるSSRC(Synchronization Source)や、RTP受信部202でのデータ受信動作を制御する動作指示情報を上記制御信号Ctとして出力するものである。なお、各パケットのID番号を示すSSRC(パケット識別情報)は、サーバから供給されるRTPパケットの属性情報の1つであり、1つのサーバから送出される、同一コンテンツデータを格納したRTPパケットのID番号はすべて同一の値となっている。また、上記コンテンツデータは、画像情報及び音声情報を含むオーディオビデオデータ(AVデータ)であり、上記RTP受信部202は、各RTPパケットに格納されているコンテンツデータを取り出して、各フレームに対応するAVデータDrを出力するものである。
【0007】
上記受信端末200は、該AVデータDrを復号化して復号化済AVデータDdを出力する復号部203と、該復号化済AVデータDdに基づいて画像表示及び音声再生を行う表示部204とを有している。
【0008】
なお、上記サーバSは、受信端末200との間でメッセージ交換を行うRTSP交換部Smと、該RTSP交換部Smからの制御信号Csに基づいて、所要データをRTPパケットに格納して受信端末200へ送信するRTP送出部Sdとを有している。
【0009】
次に動作について説明する。
図12は、サーバと受信端末との間で行われる、RTSPメッセージMの交換及びRTPパケットDpの送出を示す図である。なお、図12では、説明の便宜上、サーバSとして、RTSP交換部Sa1及びRTP送信部Sa2を有する特定サーバSaと、RTSP交換部Sb1及びRTP送信部Sb2を有する代替サーバSbとを示しており、また、説明の簡略化のため、コンテンツデータを要求するDESCRIBE要求と受信端末でのデータ再生を要求するPLAY要求との間のメッセージ交換は省略している。
【0010】
まず、受信端末200のRTSP交換部201から、RTSPメッセージMとして、サーバ(svr−A.com)Saに対して、該サーバに保持されているファイルデータ(v.mp4)を要求するDESCRIBE要求(DESCRIBE rtsp://svr−A.com/v.mp4)T1が発行されると、サーバSaでは、このDESCRIBE要求T1がRTSP交換部Sa1にて受信され、この要求T1に対する応答(RTSP/1.0 OK)が受信端末200に対して発行される。その後、サーバSaと受信端末200との間では、さらにメッセージMの交換が行われる。
【0011】
そして、受信端末200のRTSP交換部201から、RTSPメッセージMとして、サーバ(svr−A.com)Saに対して、上記ファイルデータ(v.mp4)の再生を要求するPLAY要求(PLAY rtsp://svr−A.com/v.mp4)T2が発行されると、サーバSaでは、このPLAY要求T2がRTSP交換部Sa1により受信され、続いてRTSP交換部Sa1によりこの要求T2に対する応答(RTSP/1.0 OK)A1が受信端末200に対して発行される。その後、サーバSaでは、RTSP交換部Sa1からRTP送出部Sa2に対して、ファイルデータ(v.mp4)の受信端末への送出を指示する送出命令A2が発行される。
【0012】
すると、サーバSaのRTP送出部Sa2からは、ファイルデータ(v.mp4)がRTPパケットに格納されてRTPパケットデータDaとして受信端末200へ送信される。
【0013】
上記RTPパケットデータDaは、受信端末200のRTP受信部202にて、そのRTSP交換部201からの制御信号Ctに基づいて受信され、各フレームに対応するオーディオビデオデータ(AVデータ)Drが出力される。このAVデータDrは、復号部203にて復号化され、復号化済AVデータDdが表示部204に出力される。該表示部204では、復号化済AVデータDdに基づいて画像表示及び音声再生が行われる。
【0014】
このように受信端末200にてサーバSaからの送信データDaが受信され、再生されている状態にて、サーバSaから、RTSPメッセージMとして、REDIRECT要求(REDIRECT rtsp://svr−A.com/v.mp4)A3が発行されると、このREDIRECT要求A3は受信端末200のRTSP交換部201にて受信される。このREDIRECT要求A3は、現在のサーバ(特定サーバ)Saとのセッションを終了し、代替サーバSbとのセッションを確立して、代替サーバからのコンテンツデータを受信して再生することを要求するものであり、該REDIRECT要求A3には、代替サーバのURL(Universal Resource Locator)を示すLocation情報(Location:rtsp://svr−B.com/v.mp4)が含まれている。
【0015】
そして、RTSP交換部201からは、サーバSaに対してREDIRECT要求A3を承認する応答(RTSP/1.0 OK)T3が発行され、さらに、サーバSaに対して、セッションの終了を要求するTEARDOWN要求(TEARDOWN rtsp://svr−A.com/v.mp4)T4が発行される。すると、サーバSaでは、このTEARDOWN要求T4を承認する応答(RTSP/1.0 OK)A4の発行とともに、上記サーバSaからのRTPパケットデータDaの送信を終了する処理が行われる。
【0016】
受信端末200のRTSP交換部201では、サーバSaからのTEARDOWN要求T4に対する応答A4が受信された後、TEARDOWN要求T4に含まれる代替サーバSbのLocation情報に基づいて、RTSPメッセージMとして、サーバ(svr−B.com)Sbに対して、該サーバSbに保持されているファイルデータ(v.mp4)を要求するDESCRIBE要求(DESCRIBE rtsp://svr−B.com/v.mp4)T5が発行される。
【0017】
すると、サーバSbでは、このDESCRIBE要求T5がRTSP交換部Sb1にて受信され、RTSP交換部Sb1からはこの要求T5に対する応答が受信端末200へ発行される。その後、サーバSbと受信端末200との間では、さらにメッセージMの交換が行われる。
【0018】
そして、RTSP交換部201から、RTSPメッセージMとして、サーバ(svr−B.com)Sbに対して、ファイルデータ(v.mp4)の受信端末での再生を要求するPLAY要求(PLAY rtsp://svr−B.com/v.mp4)T6が発行されると、サーバSbでは、このPLAY要求T6がRTSP交換部Sb1にて受信され、RTSP交換部Sb1からはこの要求T6に対する応答(RTSP/1.0 OK)A5が受信端末200に対して発行される。その後、サーバSbでは、そのRTSP交換部Sb1からRTP送出部Sb2に対して、ファイルデータ(v.mp4)の受信端末200への送出を指示する送出命令A6が発行される。
【0019】
すると、RTP送出部Sb2からは、ファイルデータ(v.mp4)Dbが、RTPパケットに格納されてRTPパケットデータDpとして受信端末200へ送信される。
【0020】
上記RTPパケットデータDbは、受信端末200のRTP受信部202にて、該RTSP交換部201からの制御信号Ctに基づいて受信され、各フレームに対応するオーディオビデオデータ(AVデータ)Drが出力される。このAVデータDrは、復号部203にて復号化され、復号化済AVデータDdが表示部204に出力される。該表示部204では、復号化済AVデータDdに基づいて画像表示及び音声再生が行われる。
【0021】
このように従来の受信端末200では、サーバSaからREDIRECT要求を受信すると、現在のサーバ(特定サーバ)Saとのセッションを終了し、代替サーバSbとのセッションを確立するサーバ切り換え処理が行われ、その後、代替サーバからのコンテンツデータの受信及び再生が開始される。
【0022】
【発明が解決しようとする課題】
ところが、従来の受信端末200では、コンテンツデータを特定のサーバSaから受信して再生している状態で、REDIRECT要求によって、データの供給源である特定サーバが代替サーバに切り替わると、代替サーバからのコンテンツデータの受信及び再生はその先頭部分から行われることとなるという問題がある。
【0023】
以下具体的に説明する。ここでは一例として、受信端末200にて、再生時間が全体で10分であるコンテンツデータの再生処理が、コンテンツデータの先頭位置からの再生時間が6分である位置まで行われたとき、サーバSaからのREDIRECT要求が受信され、該コンテンツデータの送信サーバが、特定サーバSaから代替サーバSbに切り書えられる場合を挙げる。
【0024】
この場合、従来の受信端末200は、サーバSbに対してコンテンツデータを単に要求するだけであるため、サーバSbからはコンテンツデータがその先頭部分から送信される。このため、受信端末200では、コンテンツデータの受信及び再生はその先頭部分から行われることになる。この結果、受信端末200では、コンテンツデータの最初の6分間に相当する部分は既に視聴済みであるにも拘わらず、この部分が再度再生されることとなる。つまり、リダイレクト要求によりサーバの切り換えが行われた場合には、受信端末では、効率のよい再生を行うことができず、しかも、余分な通信料も発生するという課題がある。
【0025】
なお、再生位置を指定するためのタイムバーを備えた受信端末では、ユーザがタイムバーを調整することによって、サーバ切換え後に再生位置を、既に再生された部分が再生されないよう設定することも可能であるが、受信端末が必ずしもそのようなユーザインタフェースを備えているとは限らない。また、コンテンツによっては、ユーザ操作による再生位置の調整が許されないものもあり得る。
【0026】
この発明は、上記のような問題点を解決するためになされたもので、データ送信元から供給されたコンテンツデータを受信端末にて受信して再生している最中に、リダイレクト要求によって、上記コンテンツデータの送信元であるサーバが切り替わった場合には、該コンテンツデータの受信及び再生を、サーバの切り替わった時点でのデータ再生位置から続けて行うことができるデータ再生装置及びデータ再生方法を提供することを目的とする。
【0027】
また、本発明は、データ送信元から供給されたコンテンツデータを中継して受信端末に送信している最中に、データ送信元であるサーバからのリダイレクト要求によって、該コンテンツデータの送信元であるサーバが切り替わった場合には、該コンテンツデータの受信端末への送信を、送信サーバの切り替わった時点でのデータ送信位置から続けて行うことができるデータ中継装置及びデータ中継方法を得ることを目的とする。
【0028】
【課題を解決するための手段】
この発明(請求項1)に係るデータ再生装置は、少なくとも画像情報または音声情報のいずれか一方を含むデータを要求し、該要求に応じて送信されたデータを、受信しつつ再生するデータ再生装置であって、メッセージの送受信により、データを受信可能な状態を確立して、上記データの受信動作を制御する制御信号を出力するメッセージ送受信部と、上記データを、上記制御信号に基づいて受信するデータ受信部と、上記データに対して一定のデータ単位毎に付与されている、再生処理に関する時刻情報に基づいて、上記データにおける未再生部分の範囲を指定する未再生レンジ情報を生成するレンジ情報生成部とを備え、上記メッセージ送受信部は、上記データ要求の対象となるサーバを切り換えることを要求するメッセージを受けたとき、上記未再生レンジ情報が指定する未再生部分のデータを新たなサーバから要求するメッセージを、送信するものであることを特徴とするものである。
【0029】
この発明(請求項2)は、請求項1記載のデータ再生装置において、上記時刻情報は、上記データに対して、上記データ単位であるフレーム毎に付与されている、該フレームの表示時刻を示す情報であることを特徴とするものである。
【0030】
この発明(請求項3)は、請求項1記載のデータ再生装置において、上記データ受信部は、パケットに格納された上記データを受信するものであり、上記時刻情報は、上記各パケットに対して付与された時刻情報であることを特徴とするものである。
【0031】
この発明(請求項4)は、請求項3記載のデータ再生装置において、上記レンジ情報生成部は、上記データ受信部により受信された最新のパケットに付与されている最新時刻情報と、データの受信可能な状態が確立された後に最初に受信されたパケットに付与されている第1の初期時刻情報、及び上記メッセージ送受信部によるメッセージの送受信により取得された、上記データの受信可能な状態が確立された後に最初に受信すべきパケットに付与されている第2の初期時刻情報のいずれかの初期時刻情報とに基づいて、上記未再生レンジ情報を生成するものであることを特徴とするものである。
【0032】
この発明(請求項5)に係るデータ再生方法は、少なくとも画像情報または音声情報のいずれか一方を含むデータを要求し、該要求に応じて送信されたデータを、受信しつつ再生するデータ再生方法であって、メッセージの送受信により、データを受信可能な状態を確立して、上記データの受信動作を制御する制御信号を生成するメッセージ送受信ステップと、上記データを受信可能な状態が確立された後、上記制御信号に基づいて、上記データを受信するデータ受信ステップと、上記データに対して一定のデータ単位毎に付与されている、再生処理に関する時刻情報に基づいて、上記データにおける未再生部分の範囲を指定する未再生レンジ情報を生成するレンジ情報生成ステップとを含み、上記メッセージ送受信ステップは、上記データ要求の対象となるサーバを切り換えることを要求するメッセージを受けたとき、上記未再生レンジ情報が指定する未再生部分のデータを新たなサーバから要求するメッセージを、送信するものであることを特徴とするものである。
【0033】
この発明(請求項6)に係るデータ中継装置は、ネットワークを介して複数のサーバと接続され、上記複数のサーバーのうちの特定サーバに対して、少なくとも画像情報または音声情報のいずれか一方を含むデータを要求し、該要求に応じて上記特定サーバから送信されるデータを中継して、送信するデータ中継装置であって、上記特定サーバとの間でのメッセージ交換により、上記特定サーバからの送信データを受信可能な状態を確立して、上記送信データの受信動作を制御する受信制御信号を出力するサーバ側メッセージ交換部と、上記特定サーバから送信される上記データを上記受信制御信号に基づいて受信するデータ受信部と、上記データに対して一定のデータ単位毎に付与されている、再生処理に関する時刻情報に基づいて、上記データにおける未再生部分の範囲を指定する未再生レンジ情報を生成するレンジ情報生成部とを備え、上記サーバ側メッセージ交換部は、上記特定サーバから、上記データの供給源であるサーバを該特定のサーバから他の代替サーバに切り換えることを要求するメッセージを受けたとき、該代替サーバに対して、上記データを要求するメッセージを、該メッセージに上記未再生レンジ情報を付加して送信するものであることを特徴とするものである。
【0034】
この発明(請求項7)は、請求項6記載のデータ中継装置において、上記受信されたデータを一時的に格納するバッファと、送信先との間でのメッセージ交換により、上記バッファに格納されているデータを送信可能な状態を確立して、該データの送信動作を制御する送信制御信号を出力する端末側メッセージ交換部と、上記バッファに格納されているデータを、上記送信制御信号に基づいて送信するデータ送信部とを備えたことを特徴とするものである。
【0035】
この発明(請求項8)は、請求項7記載のデータ中継装置において、上記データ受信部は、上記データの供給源であるサーバから送信されたパケットに格納されている上記データを受信するものであり、上記データ送信部は、上記データの送信先での上記データの再生処理が途切れないよう、上記代替サーバから送出される上記データを格納したパケットに付与されている属性情報を、上記特定サーバから送出される上記データを格納したパケットに付与されている属性情報に書き換える属性情報書換え部を有し、上記代替サーバから送出される上記データを格納したパケットを、その属性情報を上記特定サーバから送出される上記データを格納したパケットの属性情報に書き換えて送出するものであることを特徴とするものである。
【0036】
この発明(請求項9)に係るデータ中継方法は、ネットワーク上の複数のサーバのうちの特定サーバに対して、少なくとも画像情報または音声情報のいずれか一方を含むデータを要求し、該要求に応じて上記特定サーバから送信されるデータを、中継して送信するデータ中継方法であって、上記特定サーバに対するメッセージ交換により、上記特定サーバからの送信データを受信可能な状態を確立して、上記送信データの受信動作を制御する受信制御信号を生成するメッセージ交換ステップと、上記送信データの受信可能な状態が確立された後、上記特定サーバから送信される上記データを、上記受信制御信号に基づいて受信するデータ受信ステップと、上記データに対して一定のデータ単位毎に付与されている、再生処理に関する時刻情報に基づいて、上記データにおける未再生部分の範囲を指定する未再生レンジ情報を生成するレンジ情報生成ステップとを含み、上記メッセージ交換ステップは、上記データの供給源であるサーバを上記特定のサーバから他の代替サーバに切り換えることを要求する、該特定サーバからのメッセージが発行されたとき、該代替サーバに対して、上記データを要求するメッセージを、該メッセージに上記未再生レンジ情報を付加して送信するものであることを特徴とするものである。
【0037】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
(実施の形態1)
図1は、本発明の実施の形態1によるデータ再生装置を説明するためのブロック図である。
この実施の形態1のデータ再生装置(以下、受信端末ともいう。)100aは、サーバSから送信された、画像データ及び音声データを含むコンテンツデータを、インターネットなどのネットワークを介して受信し再生するとともに、コンテンツデータの供給源であるサーバを第1のサーバ(特定サーバ)から第2のサーバ(代替サーバ)に切り換えることを要求するリダイレクト要求がサーバから発行されたとき、代替サーバに対するPLAY要求として、コンテンツデータの再生すべき範囲を示す情報を含む要求を行うものである。
【0038】
以下詳述すると、この実施の形態1のデータ再生装置(受信端末)100aは、従来の受信端末200と同様、ネットワーク上の種々のサーバSとの間でRTSPメッセージMの交換を行うRTSP交換部101と、該RTSP交換部101から出力された制御信号Ctに基づいて、サーバSからRTPパケットに格納して送信されるコンテンツデータ(RTPパケットデータ)Dpを受信するRTP受信部102aと、上記RTSP交換部101及びRTP受信部102aにて取得された時間情報を記憶するとともに、該時間情報に基づいて、コンテンツデータにおける未再生部分の範囲を示す未再生レンジ情報Irを生成する時間情報記憶処理部105aとを有している。
【0039】
ここで、上記RTSP交換部101は、RTSPメッセージMの交換により、所定のサーバと受信端末との間でのセッション(サーバからの送信データを受信可能な状態)を確立し、該確立したセッションに対するタイムスタンプ初期値Vinfoを示す時間情報Tsiを上記時間情報記憶処理部105aへ出力するものである。また、このRTSP交換部101では、特定サーバSaに対しては、PLAY要求として該時間情報記憶処理部105aから読み出された再生レンジ情報を含むPLAY要求が発行され、また代替サーバSbに対しては、PLAY要求として該時間情報記憶処理部105aから読み出された上記未再生レンジ情報Irを含むPLAY要求が発行される。ここで、上記再生レンジ情報はコンテンツデータの再生時間に関する情報であり、上記タイムスタンプ初期値Vinfoを示す時間情報Tsiは、PLAY要求に対する受信端末100aへの応答に含まれるRTPInfoフィールドに含まれる情報であり、具体的には、セッションの確立後に最初に受信すべきパケットに付与されているタイムスタンプの値を示す情報である。
【0040】
また、上記RTP受信部102aは、サーバからのRTPパケットデータDpを受信して、各フレームに対応するオーディオビデオデータ(AVデータ)Drを出力するとともに、各RTPパケットに付与されているタイムスタンプ情報Tspを上記時間情報記憶処理部105aに出力するものである。
【0041】
さらに、上記時間情報記憶処理部105aは、上記RTPinfoフィールドに含まれる時間情報Tsiにより指定されたタイムスタンプ初期値Vinfo、及び各RTPパケットに付与されたタイムスタンプの値を記憶するメモリ(図示せず)を有し、該メモリに記憶されたタイムスタンプの値から、上記未再生レンジ情報Irを生成するものである。
【0042】
そして、上記受信端末100aは、従来の受信端末200と同様、RTP受信部102aからのAVデータDrを復号化して復号化済AVデータDdを出力する復号部103と、該復号化済AVデータDdに基づいて画像表示及び音声再生を行う表示部104aとを有している。
【0043】
図2は、上記時間情報記憶処理部105aのメモリのデータ記憶領域を示す図である。
上記時間情報記憶処理部105aのメモリは、最新のタイムスタンプの値Vpを記憶する第1の記憶領域Aと、RTPパケットのタイムスタンプの初期値Vp1を記憶する第2の記憶領域Bと、RTPInfoフィールドの情報により指定されたタイムスタンプの初期値Vinfoを記憶する第3の記憶領域Cと、タイムスタンプ以外の情報を記録する第4の記憶領域Dとを有している。
【0044】
つまり、第1の記憶領域Aは、RTP受信部102aにてRTPパケットが受信される度に、該受信されたRTPパケットのタイムスタンプの値を最新のタイムスタンプの値Vpとして記憶する領域である。また、第2の記憶領域Bは、受信端末100aとサーバSとの間でセッションが確立された後、最初に受信したRTPパケットのタイムスタンプの値を、RTPパケットのタイムスタンプの初期値Vp1として記憶する領域である。さらに上記第4の記憶領域Dは、上記受信端末からのREDIRECT要求に対する、サーバからの応答に含まれるSDP(Session Description Protocol)情報Isdpなどを記録する領域である。SDP情報Isdpには、図5(b)に示すように、セッション全体に関する情報Ise、ビデオストリームに関する情報Ivi、及びオーディオストリームに関する情報Iauなどが含まれている。上記情報Ivi及びIauにはそれぞれ、タイムスタンプの値と時間の単位(1秒)との比率に関するスケール情報(MP4V−ES/90000)Isv及びスケール情報(AMR/8000)Isaが含まれている。またセッション全体に関する情報Iseには、このセッションにおけるコンテンツデータ全体の再生時間を示す再生時間情報(t=0.0000−60.000)Irtが含まれており、ここでは、コンテンツデータは、0秒から60秒までの範囲で再生されることが示されている。
【0045】
具体的には上記スケール情報(MP4V−ES/90000)Isvは、ビデオストリームのタイムスタンプの値「90000」が、1秒に相当することを示している。また上記スケール情報(AMR/8000)Isaは、オーディオストリームのタイムスタンプの値「8000」が、1秒に相当することを示している。
【0046】
なお、RTP/UDP(User Datagram Protocol)によるパケット伝送は、パケットの送信経路によって、パケットがその送信順に受信端末に到着するとは限らないものであるため、RTPパケットの到着順序がその送信順序と入れ替わった場合は、RTP受信部102aでは、受信されたRTPパケットの到着順序が、RTPパケットに付与されているシーケンス番号に基づいて、送信順序と一致するよう変更される。
【0047】
そして、上記再生位置記憶処理部105aで行われる演算処理は、上記各記憶領域A〜Cに記憶されたタイムスタンプの値を用いたタイムスタンプ減算処理、該減算処理の結果を、1秒を基準とする、コンテンツデータの再生済部分の範囲を示す時間情報(再生済レンジ情報)に変換するタイムスタンプ変換処理、及び該再生済レンジ情報から、コンテンツデータの未再生部分の時間レンジを示す未再生レンジ情報Irを求める未再生部分算出処理を含むものである。
【0048】
具体的には、上記タイムスタンプ減算処理は、上記第3の記憶領域Cにタイムスタンプの初期値Vinfoが記憶されている場合は、該初期値Vinfoと第1の記憶領域Aに記憶されている最新のタイムスタンプの値Vpとの減算処理によりタイムスタンプの差分値ΔVinfo(=Vp−Vinfo)を求め、上記第3の記憶領域Cにタイムスタンプの初期値Vinfoが記憶されていない場合は、上記第2の記憶領域Bに記憶されているタイムスタンプの初期値Vp1と第1の記憶領域Aに記憶されている最新のタイムスタンプの値Vpとの減算処理によりタイムスタンプの差分値ΔVp1(=Vp−Vp1)を求める処理である。また、タイムスタンプ変換処理は、タイムスタンプの差分値ΔVinfoあるいはΔVp1を、スケール情報IsaあるいはIsvを用いて、1秒を基準とする再生済部分の時間長(例えば20秒)に変換するものである。さらに、未再生部分算出処理は、タイムスタンプ変換処理により求めた再生済部分の時間レンジ情報に基づいて、コンテンツデータの未再生部分の時間レンジ(t=20.000−60.000)を示す未再生レンジ情報Irを求める処理である。
【0049】
次に動作について説明する。
なお、以下では、コンテンツデータとしてファイル(v.mp4)のデータを供給するサーバを、第1のサーバ(svr−A.com)Saから第2のサーバ(svr−B.com)Sbに切り換える場合について説明する。
【0050】
図4は、実施の形態1のデータ再生装置100aの動作を説明するための図である。図5(a)は、DESCRIBE要求とPLAY要求との間の、図4では省略されているSetpu要求のなどのメッセージを示している。なお、図4では、図12と同様、説明の便宜上、サーバSとして、RTSP交換部Sa1及びRTP送信部Sa2を有する特定サーバSaと、RTSP交換部Sb1及びRTP送信部Sb2を有する代替サーバSbとを示している。
【0051】
受信端末100aのRTSP交換部101から、RTSPメッセージMとして、サーバ(svr−A.com)Saのファイルデータ(v.mp4)を要求するDESCRIBE要求(DESCRIBE rtsp://svr−A.com/v.mp4)T1が発行されると、第1のサーバSaでは、このDESCRIBE要求T1がRTSP交換部Sa1により受信され、該RTSP交換部Sa1からは、この要求T1に対する応答A11(図5(a)参照)が発行され、その後、サーバSaと受信端末100aとの間ではメッセージ交換が行われる。
【0052】
上記DESCRIBE要求T1に対する応答A11には、図5(a)に示すように、SDP情報Isdpが含まれている。RTSP交換部101に上記応答A11が受信されると、RTSP交換部101では、上記応答A11に含まれるSDP情報Isdpの解析が行われ、SDP情報Isdpにおける、コンテンツの再生時間情報、ビデオデータに関するタイムスタンプのスケール情報Isv及びオーディオデータに関するタイムスタンプのスケール情報Isaなどが時間情報記憶処理部105aに出力される。時間情報記憶処理部105aでは、これらの情報が第4の記憶領域Dに記録される。
【0053】
その後、図5(a)に示すように、サーバSaに対するビデオデータのSetup要求T12、これに対する受信端末100aへの応答A12、サーバSaに対するオーディオデータのSetup要求T13、及びこれに対する受信端末100aへの応答A13が行われる。
【0054】
そして、RTSP交換部101から、RTSPメッセージMとして、サーバ(svr−A.com)Saのファイルデータ(v.mp4)の再生を要求する、再生レンジ情報(Range:0.000−60.000)を含むPLAY要求(PLAY rtsp://svr−A.com/v.mp4)T2aが発行される。ここで、再生レンジ情報は、時間情報記憶処理部105aから読み出された情報である。
【0055】
すると、サーバSaでは、このPLAY要求T2aがRTSP交換部Sa1にて受信され、RTSP交換部Sa1からは、この要求T2aに対する応答A1aが発行される。この応答A1aは、再生レンジ情報(Range:0.000−60.000)を含むものであり、さらに上記応答A1aのRTPinfoフィールドには、このセッションにて最初に送信されるRTPパケットのタイムスタンプの値(タイムスタンプ初期値)を示す時間情報Tsiが含まれている。RTSP交換部101から出力された時間情報Tsiは、時間情報記憶処理部105aに入力され、その第3の記憶領域Cには、時間情報Tsiが示すタイムスタンプ初期値Vinfoが記憶される。なお、サーバからは画像情報及び音声情報を含むコンテンツデータが送信されているため、RTPinfoフィールドには、画像に関するタイムスタンプ初期値Vinfo1と音声に関するタイムスタンプ初期値Vinfo2とが指定されているが、未再生レンジ情報Irは、少なくとも一方のタイムスタンプ初期値があれば生成することができる。従って、以降の説明では、画像及び音声に関するタイムスタンプ初期値Vinfo1及びVinfo2は区別せずに、タイムスタンプ初期値Vinfoとして説明する。
【0056】
その後、サーバSaのRTSP変換部Sa1からそのRTP送出部Sa2に対して、ファイル(v.mp4)のデータの受信端末への送出を指示する命令(送出命令)A2が発行されると、RTP送出部Sa2からは、ファイル(v.mp4)のデータがRTPパケットに格納されてRTPパケットデータDaとして受信端末100aへ送信される。
【0057】
上記RTPパケットデータDaは、受信端末100aのRTP受信部102aにて、該RTSP交換部101からの制御信号Ctに基づいて受信され、各フレームに対応するオーディオビデオデータ(AVデータ)Drが出力される。このとき、各RTPパケットに付与されているタイムスタンプを示す情報Tspは、RTP受信部102aから時間情報記憶処理部105aに出力され、その第1及び第2の記憶領域A及びBに記憶される。つまり、第1の記憶領域Aには、確立されたセッションにて最近受信したRTPパケットのタイムスタンプの値Vpが記録され、第2の記憶領域Bには、確立されたセッションにて最初に受信したRTPパケットのタイムスタンプの値(初期値)Vp1が記録される。
【0058】
また、上記RTP受信部102aから出力されたAVデータDrは、復号部103にて復号化され、復号化済AVデータDdが表示部104aに出力される。該表示部104aでは、復号化済AVデータDdに基づいて画像表示及び音声再生が行われる。
【0059】
このように受信端末100aにてサーバSaからの送信データDaが受信され、再生されている状態にて、サーバSaから、RTSPメッセージとして、REDIRECT要求A3が発行されると、受信端末100aでは、該REDIRECT要求A3が受信端末100aのRTSP交換部101にて受信される。このREDIRECT要求A3は、現在のサーバSaとのセッションを終了し、代替サーバSbとのセッションを確立して、代替サーバからのデータを受信して再生することを示す要求であり、このREDIRECT要求A3には、代替サーバのURL(Universal Resource Locator)を示すLocation情報(rtsp://svr−B.com/v.mp4)が含まれている。
【0060】
またこのとき、RTSP交換部101から時間情報記憶処理部105aに、REDIRECT要求A3が受信されたことが通知されると、時間情報記憶処理部105aでは、代替サーバSbに対して要求するコンテンツデータの時間範囲を示すレンジ情報を生成する演算処理が行われる。
【0061】
図3はこの再生レンジ情報を生成する処理を示すフローチャートである。
時間情報記憶処理部105aでは、第3の記憶領域Cにタイムスタンプの初期値Vinfoが記憶されているか否かの判定が行われ(ステップS1)、第3の記憶領域Cにタイムスタンプの初期値Vinfoが記憶されている場合、第1の記憶領域Aに記憶されている最新のタイムスタンプの値Vpから、第3の記憶領域Cに記憶されているタイムスタンプの初期値Vinofを減算する演算処理が行われる(ステップS2)。一方、第3の記憶領域Cにタイムスタンプの初期値Vinfoが記憶されていない場合、第1の記憶領域Aに記憶されている最新のタイムスタンプの値Vpから、第2の記憶領域Bに記憶されているタイムスタンプの初期値Vp1を減算する演算処理が行われる(ステップS3)。
【0062】
その後、上記減算処理により得られたタイムスタンプの差分値ΔVinfo(=Vp−Vinfo)あるいはΔVp1(=Vp−Vp1)を、第4の記憶領域Dに格納されているタイムスタンプのスケール情報を用いて、1秒を基準とする時間情報に変換するスケーリング処理が行われ、未再生レンジ情報、つまりサーバSaからの送信データDaであるコンテンツデータにおける未再生部分の範囲を示す情報が生成される。
【0063】
そして、RTSP交換部101からは、REDIRECT要求A3を承認する応答T3が発行され、さらに、サーバSaに対して、セッションの終了を要求するTEARDOWN要求T4が発行される。サーバSaでは、このTEARDOWN要求T4を承認する応答A4の発行とともに、RTPパケットデータDaの送信を終了する処理が行われる。
【0064】
受信端末100aのRTSP交換部101では、サーバSaからのTEARDOWN要求T4に対する応答A4が受信された後、REDIRECT要求A3に含まれる代替サーバSbのLocation情報に基づいて、RTSPメッセージMとして、サーバ(svr−B.com)Sbのファイルデータ(v.mp4)を要求するDESCRIBE要求(DESCRIBE rtsp://svr−B.com/v.mp4)T5が発行される。
【0065】
すると、このDESCRIBE要求T5はサーバSbのRTSP交換部Sb1にて受信され、該RTSP交換部Sb1からはこの要求T5に対する応答(図示せず)が受信端末100aへ発行され、その後、サーバSbと受信端末100aとの間ではさらにメッセージ交換が行われる。
【0066】
そして、受信端末100aのRTSP交換部101から、RTSPメッセージMとして、サーバ(svr−B.com)Sbのファイルデータ(v.mp4)の再生を要求する、未再生レンジ情報(Range:ntp=360.0−)を含むPLAY要求(PLAY rtsp://svr−B.com/v.mp4)T6aが発行されると、このPLAY要求T6aがサーバSbのRTSP交換部Sb1にて受信される。この要求T6aに対する応答A5が受信端末100aに発行された後、サーバSbではRTSP交換部Sb1からRTP送出部Sb2に対して、ファイルデータ(v.mp4)の受信端末100aへの送出を指示する送出命令A6が発行される。
【0067】
すると、RTP送出部Sb2では、RTSP交換部Sb1からの制御信号Csに基づいて、ファイルデータ(v.mp4)の、上記未再生レンジ情報により指定された未再生部分をRTPパケットに格納して、RTPパケットデータDbとして受信端末100aへ送信する処理が行われる。
【0068】
上記送信データDbは、受信端末100aのRTP受信部102aにて、該RTSP交換部101からの制御信号Ctに基づいて受信され、該RTP受信部102aから、各フレームに対応するオーディオビデオデータ(AVデータ)Drが出力される。このAVデータDrは復号部103にて復号化され、復号化済AVデータDdが表示部104に出力される。該表示部104では、復号化済AVデータDdに基づいて画像表示及び音声再生が行われる。
【0069】
このように本実施の形態1では、サーバに対して要求したデータを受信して再生する受信端末100aにおいて、上記データに対して一定のデータ単位毎に付与されている、再生処理に関する時刻情報に基づいて、上記データにおける未再生部分の範囲を指定する未再生レンジ情報を生成する時間情報記憶処理部105aを備え、上記データ送信元であるサーバを切り換えることを要求するメッセージ(REDIRECT要求)を受けたとき、新たな送信元サーバに対して、上記データを要求するメッセージ(DESCRIBE要求)を、該メッセージに上記未再生レンジ情報を付加して送信するので、受信端末100aにてサーバからの所要データの再生が行われている最中に、上記データの送信元であるサーバが切り替わったとき、受信端末100aでは、上記データをその未再生部分の先頭から受信して再生することができる。言い換えると、サーバの切換え後にコンテンツデータの再生済部分が再度受信されて再生されるのを回避することができ、通信費用の削減、さらに、再生された画像や音声の効率的な視聴が可能となる。
【0070】
なお、上記実施の形態1では、受信端末100aは、サーバSaから、コンテンツデータの送信元であるサーバを該サーバSaから他のサーバSbに切り換えることを要求するメッセージ(REDIRECT要求)A3を受けた直後に、つまり、REDIRECT要求A3に対するサーバSaへの応答T3に続いて、サーバSaに対して、セッションの終了を要求するメッセージ(TEARDOWN要求)T4を発行するものとしているが、受信端末100aは、TEARDOWN要求T4をREDIRECT要求A3を受けた直後に発行するのではなく、サーバSbからのコンテンツデータDbが受信端末100aにて受信されたことが確認された後に、サーバSaに対して発行するものであってもよい。
【0071】
この場合、受信端末100aでは、サーバSaからのコンテンツデータとサーバSbからのコンテンツデータとを、該コンテンツデータを格納しているパケットの種々のフィールドに含まれる情報に基づいて区別することが可能である。
【0072】
例えば、インターネット上でデータを伝送するための代表的な伝送プロトコルとして、RTP(Real Time Transport Protocol)、TCP/IP(Transmission Control Protocol / Internet Protocol)やUDP/IP(User Datagram Protocol / Internet Protocol)などが用いられており、パケットには、上記RTP,TCP,UDP,IPなどの各伝送プロトコルに対応するヘッダ、つまりRTPヘッダ,TCPヘッダ,UDPヘッダ,IPヘッダが含まれている。
【0073】
このため、受信端末100aでは、サーバSaからのコンテンツデータとサーバSbからのコンテンツデータとを、TCPヘッダやUDPヘッダに含まれる送信先ポート番号を示す情報、RTPヘッダに含まれるSSRC(Session Resource)やPT(ペイロードタイプ)を示す情報、あるいはIPヘッダの送信元IPアドレスを示す情報に基づいて区別することができる。ここで、上記SSRCはRTPパケットを識別する識別IDである。
【0074】
(実施の形態2)
図6は本発明の実施の形態2によるデータ再生装置を説明するためのブロック図である。
この実施の形態2のデータ再生装置(受信端末)100bは、実施の形態1のデータ再生装置100aにおけるRTP受信部102a,表示部104a,及び時間情報記憶処理部105aに代えて、上記RTP受信部102aとは異なるデータ受信処理を行うRTP受信部102b,上記表示部104aとは異なるデータ表示処理を行う表示部104b,及び上記時間情報記憶処理部105aとは異なる時間情報記憶処理を行う時間情報記憶処理部105bを備えたものである。
【0075】
つまり、上記RTP受信部102bは、従来のデータ再生装置200におけるRTP受信部202と同一のものである。上記表示部104bは、復号化済AVデータDdに基づいて画像表示及び音声再生を行うとともに、各フレームに付与されたタイムスタンプ情報Tsfを出力するものである。上記再生位置記憶処理部105bは、上記時間情報記憶処理部105aと同様、第1〜第4の記憶領域A〜Dを有する。第1の記憶領域Aには、設定されたセッションに対応する最新のフレームに付与されたタイムスタンプの値Vfが記憶され、第2の記憶領域Bには、設定されたセッションに対応する最初に表示されるフレームに付与されたタイムスタンプの値Vf1が記憶される。第3の記憶領域C及び第4の記憶領域Dには、実施の形態1の時間情報記憶処理部105aと同様、それぞれ、RTPinfoフィールドの情報Tsiにより指定されたタイムスタンプの初期値Vinfo、及びその他の情報が記憶される。
【0076】
この実施の形態2のデータ再生装置100bのその他の構成は実施の形態1のデータ再生装置100aと同一である。
このような構成の実施の形態2のデータ再生装置(受信端末)100bでは、コンテンツデータの再生中に、コンテンツデータの送信元サーバを現在のサーバから他のサーバに切り換えることを要求するREDIRECT要求が発行されたとき、RTPinfoフィールドにより指定されたRTPパケットのタイムスタンプの初期値Vinfo、及び再生されるフレームに付与されたタイムスタンプの値Vf1,Vfnに基づいて、コンテンツデータにおける未再生部分の範囲を示す未再生レンジ情報を生成し、他のサーバに対して、該未再生レンジ情報を含むPLAY要求を発行するので、実施の形態1と同様、コンテンツデータの再生中に、サーバの切換え要求に従ってサーバが切り換えられた後は、コンテンツデータの受信及び再生を、サーバの切り替わった時点での再生位置から続けて行うことができる。
【0077】
なお、上記各実施の形態では、設定されたセッションに対応するタイムスタンプの初期値及び最新の値として、受信したRTPパケットに付与されたタイムスタンプ、あるいは各フレームに対して付与された表示時刻を示すタイムスタンプを用いるものを示したが、設定されたセッションにおけるタイムスタンプの初期値及び最新の値としては、各フレームに対する復号時刻を示すタイムスタンプを用いてもよい。
【0078】
(実施の形態3)
図7は、本発明の実施の形態3によるデータ中継装置を説明するためのブロック図である。なお、図中、図1と同一の符号は、実施の形態1のデータ再生装置100aにおけるものと同一のものを示す。
この実施の形態3のデータ中継装置100cは、データ送信元からデータ受信端末へ供給されるデータを中継するゲートウエイ装置であり、インターネットなどのネットワーク上の複数のサーバ(A)Sa,(B)Sb,・・・,(X)Sx及び受信端末200に接続されるものである。
【0079】
図8は、上記実施の形態3によるデータ中継装置の具体的な構成を示すブロック図である。
このゲートウエイ装置100cは、ネットワーク上の種々のサーバSとの間でRTSPメッセージMの交換を行うサーバ側RTSP交換部101c1と、該サーバ側RTSP交換部101c1から出力された制御信号Csに基づいて、サーバSからRTPパケットに格納して送信されたコンテンツデータ(RTPパケットデータ)Dsを受信するRTP受信部102c1と、上記サーバ側RTSP交換部101c1及びRTP受信部102c1から出力された時間情報Tsi及びTspを記憶するとともに、該時間情報Tsi及びTspに基づいて、コンテンツデータの未再生部分の時間範囲を示す未再生レンジ情報Irを生成する時間情報記憶処理部105cとを有している。
【0080】
ここで、上記サーバ側RTSP交換部101c1は、サーバSとの間でのRTSPメッセージMsの交換により、サーバSと本データ中継装置100cとの間でのセッションを確立し、該確立したセッションに対するタイムスタンプ初期値Vinfoを示す時間情報Tsiを上記時間情報記憶処理部105cへ出力し、該時間情報記憶処理部105cから読み出された未再生レンジ情報Irを、PLAY要求に含めてサーバSへ送るものである。上記タイムスタンプ初期値Vinfoを示す時間情報Tsiは、実施の形態1と同様、受信端末200からのPLAY要求に対するサーバSからの応答に含まれるRTPInfoフィールドにて指定された情報である。
【0081】
また、上記RTP受信部102c1は、サーバSからのRTPパケットDsを受信して、該RTPパケットに格納されている各フレームに対応するオーディオビデオデータ(AVデータ)Drを出力するとともに、各RTPパケットに付与されているタイムスタンプを示す時間情報Tspを上記時間情報記憶処理部105cに出力するものである。
【0082】
さらに、上記時間情報記憶処理部105cは、上記RTPinfoフィールドの情報Tsiにより指定されたタイムスタンプ初期値Vinfo、及び各RTPパケットに付与されたタイムスタンプの値Vp,Vp1を記憶するメモリ(図示せず)を有し、該メモリに記憶されたタイムスタンプの値から、コンテンツデータの未再生部分の時間範囲を示す未再生レンジ情報Irを生成するものである。この時間情報記憶処理部105cにおける未再生レンジ情報Irの生成処理は、実施の形態1のデータ再生装置100aの時間情報記憶処理部105aにおけるものと同一である。
【0083】
そして、上記ゲートウエイ装置100cは、RTP受信部102c1からのAVデータDrを一時的に格納するバッファ106と、サーバ側RTSP交換部101c1からのメッセージ情報Mpに基づいて、受信端末200との間で、データ通信のためのセッションを確立する処理を行う端末側RTSP交換部101c2と、端末側RTSP交換部101c2からの制御信号Ctに基づいて、上記バッファ106に格納されているデータDrをRTPパケットに格納してRTPパケットデータDtとして受信端末200へ送信するRTP送信部102c2とを有している。
【0084】
このRTP送信部102c2は、上記受信端末におけるコンテンツデータの再生処理が途切れないよう、サーバ切替え後のサーバから送出されるRTPパケットに付与されている、タイムスタンプ値,シーケンス番号値,SSRCの値,PTの値などの属性値を、サーバ切替え前のサーバから送出されるRTPパケットに付与されているそれぞれの属性値に書き換える属性情報書換え部(図示せず)を有し、属性情報が書き換えられたRTPパケットを上記受信端末200に送出するものである。
【0085】
次に動作について説明する。
図9は上記実施の形態3のデータ中継装置の動作フローを示す図である。
なお、以下では、コンテンツデータとしてファイル(v.mp4)のデータを供給するサーバを、第1のサーバ(svr−A.com)Saから第2のサーバ(svr−B.com)Sbに切り換える場合について説明する。
【0086】
受信端末200から、RTSPメッセージMtとして、サーバ(svr−A.com)Saのファイルデータ(v.mp4)を要求するDESCRIBE要求(DESCRIBE rtsp://svr−A.com/v.mp4)T11が発行されると、ゲートウエイ装置100cの端末側RTSP交換部101c2では、該DESCRIBE要求T11が受信され、この要求T11を示すメッセージ情報Mpがサーバ側RTSP交換部101c1に伝送される。サーバ側RTSP交換部101c1では、サーバSaに対して、このメッセージ情報Mpが示すDESCRIBE要求T11をRTSPメッセージMsとして送信する処理が行われる。サーバSaでは、このDESCRIBE要求T11が受信されると、この要求T11に対する応答(図示せず)が発行され、この応答は、本データ中継装置100cのサーバ側RTSP交換部101c1及び端末側RTSP交換部101c2を介して受信端末200に送信される。
【0087】
その後は、サーバSaと受信端末200との間では、ゲートウエイ装置100cを介してさらにメッセージ交換が行われる。
そして、ゲートウエイ装置100cと受信端末200との間、及びゲートウエイ装置100cとサーバSaとの間での通信のためのセッション(RTPによるデータ通信が可能な状態)が設定されると、受信端末200から、RTSPメッセージMtとして、サーバ(svr−A.com)Saのファイルデータ(v.mp4)の再生を要求する、再生レンジ情報(Range:0.000−60.000)を含むPLAY要求(PLAY rtsp://svr−A.com/v.mp4)T12が発行される。ゲートウエイ装置100cの端末側RTSP交換部101c2では、該PLAY要求T12が受信され、この要求T12を示すメッセージ情報Mpがサーバ側RTSP交換部101c1に伝送される。
【0088】
さらに、サーバ側RTSP交換部101c1からPLAY要求T12がサーバSaにRTSPメッセージMsとして送信されると、サーバSaでは、このPLAY要求T12が受信され、この要求T12に対する応答(OK)A11が発行される。この応答A11は、再生レンジ情報(Range:0.000−60.000)を含むものであり、さらにこの応答A11のRTPinfoフィールド情報には、このセッションにて最初に送信されるRTPパケットのタイムスタンプの値(タイムスタンプ初期値)Vinfoを示す時間情報Tsiが含まれている。このタイムスタンプ初期値Vinfoを示す時間情報Tsiは、時間情報記憶処理部105cに入力され、タイムスタンプ初期値Vinfoが該時間情報記憶処理部105cにおけるメモリの第3の記憶領域Cに記憶される。
【0089】
上記サーバ側RTSP交換部101c1からは、上記応答A11を示すメッセージ情報Mpが端末側RTSP交換部101c2に送信され、端末側RTSP交換部101c2からは、メッセージ情報Mpが示す応答A11がRTSPメッセージMtとして受信端末200に送信される。
その後、サーバSaからは、受信端末200により要求されたコンテンツデータである、画像情報及び音声情報を含むファイルデータ(v.mp4)が、RTPパケットに格納されてRTPパケットデータDsaとしてゲートウエイ装置100cへ送信される。
【0090】
上記RTPパケットデータDsaは、ゲートウエイ装置100cのRTP受信部102c1にて、上記サーバ側RTSP交換部101c1からの制御信号Csに基づいて受信され、各フレームに対応するオーディオビデオデータ(AVデータ)Drが出力される。このとき、各RTPパケットに付与されているタイムスタンプの値を示す時間情報Tspは、RTP受信部102c1から時間情報記憶処理部105cに出力され、そのメモリにおける第1及び第2の記憶領域A及びB(図2参照)に記憶される。第2の記憶領域Bには、このセッションにて最初に受信したRTPパケットのタイムスタンプの値(初期値)Vp1が記録され、第1の記憶領域Aには、このセッションにて受信した最新のRTPパケットのタイムスタンプの値Vpが記憶される。
【0091】
また、上記RTP受信部102c1から出力されたAVデータDrは、バッファ106に順次格納され、該バッファ106に格納されたAVデータDrは、RTP送信部102c2により、RTPパケットに格納されてRTPパケットデータDtaとして受信端末200へ送信される。
【0092】
このようにコンテンツデータがサーバSaからゲートウエイ装置100cを中継して受信端末200に送信され、受信端末200にて、RTPパケットデータDtaとして受信されたコンテンツデータが再生されている状態にて、サーバSaから、RTSPメッセージMsとしてREDIRECT要求A12が発行されると、ゲートウエイ装置100cではそのサーバ側RTSP交換部101c1により該REDIRECT要求A12が受信される。このREDIRECT要求A12は、現在のサーバ(第1のサーバ)Saとのセッションを終了し、代替サーバ(第2のサーバ)Sbとのセッションを確立して、代替サーバSbから供給されるデータを受信して再生することを要求するものであり、このREDIRECT要求A12には、代替サーバ(第2のサーバ)SbのURL(Universal Resource Locator)を示すLocation情報(rtsp://svr−B.com/v.mp4)が含まれている。
【0093】
またこのとき、サーバ側RTSP交換部101c1から時間情報記憶処理部105cには、REDIRECT要求A12が受信されたことが通知される。すると、該時間情報記憶処理部105cでは、第2のサーバSbに対して要求するコンテンツデータの未再生部分の時間範囲を示す未再生レンジ情報Irを生成する演算処理が行われる。この未再生レンジ情報Irを生成する処理は、実施の形態1の時間情報記憶処理部105aにおける処理と同一である。
【0094】
そして、ゲートウエイ装置100cのサーバ側RTSP交換部101c1からは、REDIRECT要求A12を承認する応答(OK)T13がサーバSaに発行され、さらに、サーバSaに対して、セッションの終了を要求するTEARDOWN要求T14が発行される。サーバSaでは、このTEARDOWN要求T14を承認する応答(OK)A13の発行とともに、RTPパケットデータDsの送信を終了する処理が行われる。
【0095】
ゲートウエイ装置100cのサーバ側RTSP交換部101c1では、TEARDOWN要求T14に対するサーバSaからの応答A13が受信された後、REDIRECT要求A12に含まれる代替サーバSbのLocation情報に基づいて、RTSPメッセージMsとして、サーバ(svr−B.com)Sbのファイルデータ(v.mp4)を要求するDESCRIBE要求(DESCRIBE rtsp://svr−B.com/v.mp4)T15が発行される。
【0096】
すると、サーバSbでは、このDESCRIBE要求T15が受信され、この要求T15に対する応答(図示せず)がゲートウエイ装置100cに対して発行され、その後、サーバSbとゲートウエイ装置100cとの間では、さらにメッセージ交換が行われる。
【0097】
そして、ゲートウエイ装置100cのサーバ側RTSP交換部101c1から、RTSPメッセージMsとして、サーバ(svr−B.com)Sbのファイルデータ (v.mp4)の再生を要求する、上記未再生レンジ情報Irを含むPLAY要求(PLAYrtsp://svr−B.com/v.mp4)T16が発行されると、サーバSbでは、このPLAY要求T16が受信され、この要求T16に対する応答A14が発行される。
【0098】
その後、サーバSbからは、ファイルデータ(v.mp4)の、上記未再生レンジ情報Irにより示された部分が、RTPパケットに格納されてRTPパケットデータDsbとしてゲートウエイ装置100cへ送信される。
【0099】
上記RTPパケットデータDsbは、ゲートウエイ装置100cのRTP受信部102c1にて、上記サーバ側RTSP交換部101c1からの制御信号Csに基づいて受信され、各フレームに対応するオーディオビデオデータ(AVデータ)Drが出力される。このAVデータDrは、バッファ106にて一時的に保持される。該バッファ106に格納されたAVデータDrは、RTP送信部102c2により、RTPパケットに格納されてRTPパケットデータDtとして受信端末200へ送信される。
【0100】
この際、RTP送信部102c2では、上記受信端末200におけるコンテンツデータの再生処理が途切れないよう、代替サーバSbから送出されるRTPパケットに付与されている、タイムスタンプ値、シーケンス番号値、SSRCの値、PTの値などの属性値が、サーバSaから送出されるRTPパケットに付与されているそれぞれの属性値に書き換えられ、属性値が書き換えられたRTPパケットが上記受信端末200に送出される。
【0101】
このように本実施の形態3では、サーバからのコンテンツデータを受信し、受信したコンテンツデータを受信端末へ送信する中継処理を行うゲートウエイ装置100cにおいて、サーバからのRTPパケットに付与されているタイムスタンプを記億し、コンテンツデータの送信サーバの切換を要求するリダイレクト要求が発行されたとき、受信端末が要求したコンテンツデータのうちの、未送信部分の範囲を示すレンジ情報を、上記記憶したタイムスタンプの値から生成し、新たなサーバに対しては、受信端末が要求したコンテンツデータのうちの、上記未送信部分を要求するので、リダイレクト要求によって受信端末でのコンテンツデータの再生途中で送信サーバが切り替わった際、受信端末では、要求したコンテンツデータの、未送信済部分の先頭から受信することができる。
【0102】
また、この実施の形態3では、RTP受信部102c1からのAVデータDrを一時的に格納するバッファ106を備えているので、受信端末200では、サーバとデータ中継装置との間のネットワークによるジッタの影響を受けにくくなるという効果がある。
【0103】
さらに、この実施の形態3では、上記RTP送信部102c2が、送信サーバが切り替わったとき、受信端末200でのコンテンツデータの再生処理が途切れないよう、新たなサーバSbから送出されるRTPパケットに付与されている属性値を、以前のサーバSaから送出されるRTPパケットに付与されている属性値に書き換えるので、受信端末では、送信サーバからのコンテンツデータが再生されている途中で、送信サーバが切り替わった場合でも、上記コンテンツデータの再生が途切れることなく行われることとなり、再生画像の表示状態が乱れたり、再生音声に雑音が含まれたりするのを回避できる。
【0104】
なお、上記実施の形態3では、データ中継装置(ゲートウエイ装置)100cは、第1のサーバSaから、コンテンツデータの送信元であるサーバを該サーバSaから第2のサーバSbに切り換えることを要求するメッセージ(REDIRECT要求)A12を受けた直後に、つまり、REDIRECT要求A12に対するサーバSaへの応答T13に続いて、サーバSaに対して、セッションの終了を要求するメッセージ(TEARDOWN要求)T14を発行するものとしているが、データ中継装置100cは、TEARDOWN要求T14をREDIRECT要求A12を受けた直後に発行するのではなく、サーバSbからのコンテンツデータDsbがデータ中継装置100cにて受信されたことが確認された後に、サーバSaに対して発行するものであってもよい。
【0105】
この場合、データ中継装置100cでは、上記実施の形態1で説明したように、サーバSaからのコンテンツデータDsaとサーバSbからのコンテンツデータDsbとを、TCPヘッダやUDPヘッダに含まれる送信先ポート番号を示す情報、RTPヘッダに含まれるSSRC(Session Resource)やPT(ペイロードタイプ)を示す情報、あるいはIPヘッダの送信元IPアドレスを示す情報に基づいて区別することができる。
【0106】
なお、上記実施の形態1及び2では、サーバに対して要求したデータを受信しつつ再生するデータ再生装置として、インターネットなどのネットワークを介してサーバに接続可能な受信端末を示したが、この受信端末の具体的なものとしては、PC(パーソナルコンピュータ)や携帯電話などが挙げられる。
【0107】
(実施の形態4)
以下、本発明の実施の形態4として、上記実施の形態1のデータ再生装置と同様に、サーバに対して要求したデータを受信しつつ再生する携帯電話について説明する。
図10は、この実施の形態4の携帯電話を説明するための図である。
この実施の形態4の携帯電話300は、種々の信号処理を行う信号処理部302と、アンテナ301で受信された無線信号Nを受信信号として信号処理部302に出力するとともに、信号処理部302にて生成された送信信号を無線信号Nとしてアンテナ301から送信する無線通信部303とを有している。
【0108】
また、上記携帯電話300は、画像表示を行う液晶パネル(LCD)306と、音声の入力を行うためのマイク308と、音声信号を再生するスピーカ307と、上記信号処理部302にて処理された画像信号を受け、上記液晶パネル(LCD)306を、該画像信号に基づいて画像表示が行われるよう制御する表示制御部304と、マイク308からの入力音声信号を信号処理部302に出力するとともに、信号処理部302にて処理された音声信号をスピーカ307に出力する音声入出力部305とを有している。なお、ここでは説明の簡略化のため、携帯電話のボタン操作部は図示していない。
【0109】
ここで、上記信号処理部302は、上記実施の形態1のデータ再生装置100aと同一のデータ再生処理を行うものである。つまり、上記信号処理部302は、実施の形態1の受信端末側における、RTSP交換部101、RTP受信部102a、復号部103、及び時間情報記憶処理部105aに相当する信号処理部を有している。また、この実施の形態4の携帯電話300における表示制御部304及び液晶パネル(LCD)306は、上記実施の形態1の表示部104aに相当するものである。
【0110】
このような構成を有する携帯電話300では、サーバに対して要求したデータを受信しつつ再生している状態で、上記データの送信元であるサーバを切り換えることを要求するメッセージを受けたとき、新たな送信元サーバに対して、上記データを要求するメッセージを、該メッセージに上記データにおける未再生部分の範囲を指定する未再生レンジ情報を付加して送信するデータ要求処理が行われる。
【0111】
なお、上記実施の形態4では、携帯電話として、上記実施の形態1のデータ再生装置と同一のデータ再生処理を行うものを示したが、この携帯電話は、上記実施の形態2のデータ再生装置100bと同一のデータ再生処理を行うものであってもよい。
【0112】
【発明の効果】
以上のように本発明(請求項1)に係るデータ再生装置によれば、少なくとも画像情報または音声情報のいずれか一方を含むデータを要求し、該要求に応じて送信されたデータを、受信しつつ再生するデータ再生装置であって、メッセージの送受信により、データを受信可能な状態を確立して、上記データの受信動作を制御する制御信号を出力するメッセージ送受信部と、上記データを、上記制御信号に基づいて受信するデータ受信部と、上記データに対して一定のデータ単位毎に付与されている、再生処理に関する時刻情報に基づいて、上記データにおける未再生部分の範囲を指定する未再生レンジ情報を生成するレンジ情報生成部とを備え、上記メッセージ送受信部は、上記データ要求の対象となるサーバを切り換えることを要求するメッセージを受けたとき、上記未再生レンジ情報が指定する未再生部分のデータを新たなサーバから要求するメッセージを、送信するものであることを特徴とするので、サーバ切換要求によって、データ再生装置にてサーバからの所要データが再生されている途中で、該所要データの送信サーバが切り替わったときには、データ再生装置では、上記所要データをその未再生部分の先頭から受信して再生することができる。これにより、サーバの切替り後に所要データの再生済部分が再度受信されて再生されるのを回避することができ、通信費用の削減、さらに、再生された画像や音声の効率的な視聴が可能となる。
【0113】
本発明(請求項2)によれば、請求項1記載のデータ再生装置において、上記時刻情報は、上記データに対して、上記データ単位であるフレーム毎に付与されている、該フレームの表示時刻を示す情報であることを特徴とするので、サーバの切替り後には、上記所要データの未再生部分の先頭フレームから再生画像の表示を行うことができる。
【0114】
本発明(請求項3)によれば、請求項1記載のデータ再生装置において、上記データ受信部は、パケットに格納された上記データを受信するものであり、上記時刻情報は、上記各パケットに対して付与された時刻情報であることを特徴とするので、サーバの切替り後には、上記所要データの未再生部分を格納した先頭のパケットから受信することができる。
【0115】
本発明(請求項4)によれば、請求項3記載のデータ再生装置において、上記レンジ情報生成部は、上記データ受信部により受信された最新のパケットに付与されている最新時刻情報と、データの受信可能な状態が確立された後に最初に受信されたパケットに付与されている第1の初期時刻情報、及び上記メッセージ送受信部によるメッセージの送受信により取得された、上記データの受信可能な状態が確立された後に最初に受信すべきパケットに付与されている第2の初期時刻情報のいずれかの初期時刻情報とに基づいて、上記未再生レンジ情報を生成するものであることを特徴とするので、第2の初期時刻情報が得られる場合は第2の初期時刻情報を用い、第2の初期時刻情報が得られない場合は第1の初期時刻情報を用いることができる。
【0116】
本発明(請求項5)に係るデータ再生方法によれば、少なくとも画像情報または音声情報のいずれか一方を含むデータを要求し、該要求に応じて送信されたデータを、受信しつつ再生するデータ再生方法であって、メッセージの送受信により、データを受信可能な状態を確立して、上記データの受信動作を制御する制御信号を生成するメッセージ送受信ステップと、上記データを受信可能な状態が確立された後、上記制御信号に基づいて、上記データを受信するデータ受信ステップと、上記データに対して一定のデータ単位毎に付与されている、再生処理に関する時刻情報に基づいて、上記データにおける未再生部分の範囲を指定する未再生レンジ情報を生成するレンジ情報生成ステップとを含み、上記メッセージ送受信ステップは、上記データ要求の対象となるサーバを切り換えることを要求するメッセージを受けたとき、上記未再生レンジ情報が指定する未再生部分のデータを新たなサーバから要求するメッセージを、送信するものであることを特徴とするので、サーバ切換要求によって、受信端末にてサーバからの所要データが再生されている途中で、該所要データの送信サーバが切り替わったときには、受信端末では、上記所要データをその未再生部分の先頭から受信して再生することができ、これにより、サーバの切替り後のデータ受信に要する通信費用の削減、さらに、再生された画像や音声の効率的な視聴が可能となる。
【0117】
本発明(請求項6)に係るデータ中継装置によれば、ネットワークを介して複数のサーバと接続され、上記複数のサーバーのうちの特定サーバに対して、少なくとも画像情報または音声情報のいずれか一方を含むデータを要求し、該要求に応じて上記特定サーバから送信される該データを中継して、送信するデータ中継装置であって、上記特定サーバとの間でのメッセージ交換により、上記特定サーバからの送信データを受信可能な状態を確立して、上記送信データの受信動作を制御する受信制御信号を出力するサーバ側メッセージ交換部と、上記特定サーバから送信される上記データを上記受信制御信号に基づいて受信するデータ受信部と、上記データに対して一定のデータ単位毎に付与されている、再生処理に関する時刻情報に基づいて、上記データにおける未再生部分の範囲を指定する未再生レンジ情報を生成するレンジ情報生成部とを備え、上記サーバ側メッセージ交換部は、上記特定サーバから、上記データの供給源であるサーバを該特定のサーバから他の代替サーバに切り換えることを要求するメッセージを受けたとき、該代替サーバに対して、上記データを要求するメッセージを、該メッセージに上記未再生レンジ情報を付加して送信するものであることを特徴とするので、サーバ切換要求によって、受信端末にてサーバからの所要データが再生されている途中で、該所要データの送信サーバが切り替わったときには、データ中継装置では、上記所要データをその未再生部分の先頭から受信して受信端末に送信することができ、これにより、受信端末の構成変更を招くことなく、サーバの切替り後のデータ受信に要する通信費用の削減、さらに、再生された画像や音声の効率的な視聴が可能となる。
【0118】
本発明(請求項7)によれば、請求項6記載のデータ中継装置において、上記受信されたデータを一時的に格納するバッファと、送信先との間でのメッセージ交換により、上記バッファに格納されているデータを送信可能な状態を確立して、該データの送信動作を制御する送信制御信号を出力する端末側メッセージ交換部と、上記バッファに格納されているデータを、上記送信制御信号に基づいて送信するデータ送信部とを備えたことを特徴とするので、サーバ切換要求によって、受信端末にてサーバからの所要データが再生されている途中で、該所要データの送信サーバが切り替わった場合でも、データ中継装置と受信端末との間で確立されているセッション(つまりデータ中継装置から受信端末へのデータ送信可能な状態)が終了されることはない。このため、所要データの送信サーバが切り替わったときでも、データ中継装置と受信端末の間でセッションの終了及び確立のためのメッセージ交換を行う必要はない。
【0119】
本発明(請求項8)によれば、請求項7記載のデータ中継装置において、上記データ受信部は、上記データの供給源であるサーバから送信されたパケットに格納されている上記データを受信するものであり、上記データ送信部は、上記データの送信先での上記データの再生処理が途切れないよう、上記代替サーバから送出される上記データを格納したパケットに付与されている属性情報を、上記特定サーバから送出される上記データを格納したパケットに付与されている属性情報に書き換える属性情報書換え部を有し、上記代替サーバから送出される上記データを格納したパケットを、その属性情報を上記特定サーバから送出される上記データを格納したパケットの属性情報に書き換えて送出するものであることを特徴とするので、サーバ切換要求によって、受信端末にてサーバからの所要データが再生されている途中で、該所要データの送信サーバが切り替わった場合でも、受信端末では、所要データの再生が途切れることなく行われることとなり、再生画像の表示状態が乱れたり、再生音声に雑音が含まれたりするのを回避できる。
【0120】
本発明(請求項9)に係るデータ中継方法によれば、ネットワーク上の複数のサーバのうちの特定サーバに対して、少なくとも画像情報または音声情報のいずれか一方を含むデータを要求し、該要求に応じて上記特定サーバから送信される該データを、中継して送信するデータ中継方法であって、上記特定サーバに対するメッセージ交換により、上記特定サーバからの送信データを受信可能な状態を確立して、上記送信データの受信動作を制御する受信制御信号を生成するメッセージ交換ステップと、上記送信データの受信可能な状態が確立された後、上記特定サーバから送信される上記データを、上記受信制御信号に基づいて受信するデータ受信ステップと、上記データに対して一定のデータ単位毎に付与されている、再生処理に関する時刻情報に基づいて、上記データにおける未再生部分の範囲を指定する未再生レンジ情報を生成するレンジ情報生成ステップとを含み、上記メッセージ交換ステップは、上記データの供給源であるサーバを上記特定のサーバから他の代替サーバに切り換えることを要求する、該特定サーバからのメッセージが発行されたとき、該代替サーバに対して、上記データを要求するメッセージを、該メッセージに上記未再生レンジ情報を付加して送信するものであることを特徴とするので、サーバ切換要求によって、受信端末にてサーバからの所要データが再生されている途中で、該所要データの送信サーバが切り替わったときには、データ中継装置では、上記所要データをその未再生部分の先頭から受信して受信端末に送信することができ、これにより、受信端末の構成変更を招くことなく、サーバの切替り後のデータ受信に要する通信費用の削減、さらに、再生された画像や音声の効率的な視聴が可能となる。
【図面の簡単な説明】
【図1】本発明の実施の形態1によるデータ再生装置を説明するためのブロック図である。
【図2】上記実施の形態1のデータ再生装置における時間情報記憶処理部の記憶領域を示す図である。
【図3】上記実施の形態1のデータ再生装置における時間情報記憶処理部での演算処理のフローを示す図である。
【図4】サーバと受信端末との間で所定のプロトコルに従って行われる、RTSPメッセージM及びパケットデータDのアクセスを示す図である。
【図5】上記実施の形態1のデータ再生装置とサーバとのメッセージ交換の詳細(図(a))、及び該データ再生装置に対するREDIRECT要求に含まれるSDP情報(図(b))を示す図である。
【図6】本発明の実施の形態2によるデータ再生装置を説明するためのブロック図である。
【図7】本発明の実施の形態3によるデータ中継装置を説明するためのブロック図である。
【図8】上記実施の形態3のデータ中継装置の具体的な構成を示すブロック図である。
【図9】上記実施の形態3のデータ中継装置とサーバの間、及び該データ中継装置と受信端末との間でのメッセージ及びデータのアクセスを示す図である。
【図10】本発明の実施の形態4によるデータ再生装置としての携帯電話を説明するための図である。
【図11】従来のデータ再生装置を説明するためのブロック図である。
【図12】サーバと受信端末との間で所定のプロトコルに従って行われる、RTSPメッセージM及びパケットデータDのアクセスを示す図である。
【符号の説明】
100a,100b 受信端末(データ再生装置)
100c ゲートウエイ装置(データ中継装置)
101,Sa1,Sb1,Sm RTSP交換部
101c1 サーバ側RTSP交換部
101c2 端末側RTSP交換部
102a,102b,102c1 RTP受信部
102c2,Sa2,Sb2,Sd RTP送出部
103 復号部
104a,104b 表示部
105a,105b,105c 時間情報記憶処理部
106 バッファ
300 携帯電話
301 アンテナ
302 信号処理部
303 無線通信部
304 表示制御部
305 音声入出力部
306 液晶パネル(LCD)
307 スピーカ
308 マイク
S サーバ
Sa 特定サーバ
Sb 代替サーバ
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a data reproducing device and a data relay device, and more particularly to a server switching process for switching a server that is a data transmission source to another server while receiving and reproducing data at a receiving terminal. It is.
[0002]
[Prior art]
In a state where content data such as image data or audio data is received and reproduced by the receiving terminal, a server (hereinafter also referred to as a specific server), which is a source of the content data, is used as another server (hereinafter also referred to as a substitute server). The process of switching to (.) Is performed by a REDIRECT request from the specific server. This REDIRECT request is one of the methods in the RTSP (Real Time Streaming Protocol), that is, one of the methods in a protocol for exchanging messages between the server and the receiving terminal, and is a method issued by the data transmission side toward the reception side. is there. The RTSP has been standardized (RFC2326) by an Internet standardization group such as the IETF (Internet Engineering Task Force), and the RTSP is being implemented.
[0003]
The RTSP method includes, in addition to the above-described REDIRECT request, a SETUP request for setting a session between the server and the terminal (establishing a state in which data can be communicated), and a data request on the receiving side to the server. PLAY request for requesting playback of a file, and a TEARDOWN request for releasing a session (release of a data communicable state).
[0004]
The REDIRECT request always contains Location information indicating the URL (Universal Resource Locator) of the alternative server. When the receiving terminal receives the REDIRECT request, the receiving terminal sends a request between the current server (specific server) and the receiving terminal. , The session with the substitute server is established, and the transmission data from the substitute server is received and reproduced.
[0005]
FIG. 11 is a block diagram for explaining a conventional receiving terminal.
The conventional receiving terminal 200 receives and reproduces content data including at least one of image data and audio data transmitted from the server S via a network such as the Internet. The receiving terminal 200 exchanges an RTSP message M with the server S. The RTSP exchanging unit 201 exchanges the RTSP message M with the server S. And an RTP receiving unit 202 that receives the content data (hereinafter also referred to as RTP packet data) Dp.
[0006]
Here, based on the information obtained by exchanging the RTSP message M, the RTSP exchanging unit 201 transmits an SSRC (Synchronization Source), which is identification information indicating an ID number for identifying an RTP packet, and data in the RTP receiving unit 202. The operation instruction information for controlling the reception operation is output as the control signal Ct. Note that SSRC (packet identification information) indicating the ID number of each packet is one of the attribute information of the RTP packet supplied from the server, and is one of the RTP packets transmitted from one server and storing the same content data. All ID numbers have the same value. Further, the content data is audio video data (AV data) including image information and audio information, and the RTP receiving unit 202 extracts the content data stored in each RTP packet and corresponds to each frame. It outputs AV data Dr.
[0007]
The receiving terminal 200 includes a decoding unit 203 that decodes the AV data Dr and outputs decoded AV data Dd, and a display unit 204 that performs image display and audio reproduction based on the decoded AV data Dd. Have.
[0008]
The server S stores the required data in an RTP packet based on an RTSP exchange unit Sm for exchanging messages with the reception terminal 200 and a control signal Cs from the RTSP exchange unit Sm. And an RTP transmission unit Sd for transmitting to
[0009]
Next, the operation will be described.
FIG. 12 is a diagram illustrating the exchange of the RTSP message M and the transmission of the RTP packet Dp performed between the server and the receiving terminal. In FIG. 12, for convenience of explanation, a specific server Sa having an RTSP exchange unit Sa1 and an RTP transmission unit Sa2 and an alternative server Sb having an RTSP exchange unit Sb1 and an RTP transmission unit Sb2 are shown as servers S. For simplicity of description, message exchange between a DESCRIBE request for requesting content data and a PLAY request for requesting data reproduction at a receiving terminal is omitted.
[0010]
First, the RTSP exchange unit 201 of the receiving terminal 200 requests the server (svr-A.com) Sa as the RTSP message M to request the server (svr-A.com) Sa for the file data (v.mp4) held in the server. When the DESCRIBE rtsp: //svr-A.com/v.mp4) T1 is issued, the server Sa receives the DESCRIBE request T1 at the RTSP exchange section Sa1, and responds to the request T1 (RTSP / 1. 0 OK) is issued to the receiving terminal 200. After that, the message M is further exchanged between the server Sa and the receiving terminal 200.
[0011]
Then, a PLAY request (PLAY rtsp: /) for requesting the server (svr-A.com) Sa to reproduce the file data (v.mp4) as the RTSP message M from the RTSP exchange unit 201 of the receiving terminal 200. /Svr-A.com/v.mp4) T2 is issued, in the server Sa, the PLAY request T2 is received by the RTSP exchange unit Sa1, and subsequently, the RTSP exchange unit Sa1 responds to the request T2 (RTSP / 1.0 OK) A1 is issued to the receiving terminal 200. Thereafter, in the server Sa, a transmission instruction A2 for instructing transmission of the file data (v.mp4) to the receiving terminal is issued from the RTSP exchange unit Sa1 to the RTP transmission unit Sa2.
[0012]
Then, the file data (v.mp4) is stored in the RTP packet from the RTP sending unit Sa2 of the server Sa and transmitted to the receiving terminal 200 as RTP packet data Da.
[0013]
The RTP packet data Da is received by the RTP receiving unit 202 of the receiving terminal 200 based on the control signal Ct from the RTSP exchange unit 201, and audio video data (AV data) Dr corresponding to each frame is output. You. The AV data Dr is decoded by the decoding unit 203, and the decoded AV data Dd is output to the display unit 204. The display unit 204 performs image display and audio reproduction based on the decoded AV data Dd.
[0014]
In this way, in a state where the transmission data Da from the server Sa is received and reproduced by the receiving terminal 200, a REDIRECT request (REDIRECT rtsp: ///svr-A.com/) is sent from the server Sa as an RTSP message M. v.mp4) When A3 is issued, the REDIRECT request A3 is received by the RTSP exchange unit 201 of the receiving terminal 200. The REDIRECT request A3 requests that the session with the current server (specific server) Sa be terminated, a session with the alternative server Sb is established, and content data from the alternative server be received and reproduced. Yes, the REDIRECT request A3 includes Location information (Location: rtsp: //svr-B.com/v.mp4) indicating the URL (Universal Resource Locator) of the alternative server.
[0015]
Then, the RTSP exchange unit 201 issues a response (RTSP / 1.0 OK) T3 for approving the REDIRECT request A3 to the server Sa, and further, a TEARDDOWN request for requesting the server Sa to end the session. (TEARDOWN rtsp: //svr-A.com/v.mp4) T4 is issued. Then, the server Sa issues a response (RTSP / 1.0 OK) A4 acknowledging the TEARDOWN request T4, and performs a process of terminating the transmission of the RTP packet data Da from the server Sa.
[0016]
After receiving the response A4 to the TEARDOWN request T4 from the server Sa, the RTSP exchange unit 201 of the receiving terminal 200 receives the server (svr) as the RTSP message M based on the location information of the alternative server Sb included in the TEARDOWN request T4. -B.com) Sb, a DESCRIBE request (DESCRIBE rtsp: ///svr-B.com/v.mp4) T5 for requesting the file data (v.mp4) held in the server Sb is issued. You.
[0017]
Then, in the server Sb, the DESCRIBE request T5 is received by the RTSP exchange unit Sb1, and a response to the request T5 is issued from the RTSP exchange unit Sb1 to the receiving terminal 200. After that, the message M is further exchanged between the server Sb and the receiving terminal 200.
[0018]
Then, from the RTSP exchange unit 201, as a RTSP message M, a PLAY request (PLAY rtsp: ///) to request the server (svr-B.com) Sb to reproduce the file data (v.mp4) at the receiving terminal. svr-B.com/v.mp4) T6 is issued, the server Sb receives the PLAY request T6 at the RTSP exchange unit Sb1, and the RTSP exchange unit Sb1 responds to the request T6 (RTSP / 1). .0.0 OK) A5 is issued to the receiving terminal 200. After that, in the server Sb, the RTSP exchange unit Sb1 issues a transmission instruction A6 for instructing the RTP transmission unit Sb2 to transmit the file data (v.mp4) to the reception terminal 200.
[0019]
Then, the file data (v.mp4) Db is stored in the RTP packet from the RTP sending unit Sb2 and transmitted to the receiving terminal 200 as RTP packet data Dp.
[0020]
The RTP packet data Db is received by the RTP receiving unit 202 of the receiving terminal 200 based on the control signal Ct from the RTSP exchange unit 201, and audio-video data (AV data) Dr corresponding to each frame is output. You. The AV data Dr is decoded by the decoding unit 203, and the decoded AV data Dd is output to the display unit 204. The display unit 204 performs image display and audio reproduction based on the decoded AV data Dd.
[0021]
As described above, in the conventional receiving terminal 200, when the REDIRECT request is received from the server Sa, a server switching process for terminating the session with the current server (specific server) Sa and establishing a session with the alternative server Sb is performed. Thereafter, reception and reproduction of the content data from the alternative server are started.
[0022]
[Problems to be solved by the invention]
However, in the conventional receiving terminal 200, when a specific server which is a data supply source is switched to an alternative server by a REDIRECT request in a state where content data is received from a specific server Sa and is being played back, the content is transmitted from the alternative server. There is a problem that the reception and reproduction of the content data are performed from the beginning.
[0023]
This will be specifically described below. Here, as an example, when the reception terminal 200 performs the reproduction process of the content data whose reproduction time is 10 minutes in total to the position where the reproduction time from the top position of the content data is 6 minutes, the server Sa Is received, and the transmission server of the content data can be switched from the specific server Sa to the alternative server Sb.
[0024]
In this case, since the conventional receiving terminal 200 simply requests the server Sb for the content data, the content data is transmitted from the head of the server Sb. For this reason, in the receiving terminal 200, the reception and reproduction of the content data are performed from the head portion. As a result, in the receiving terminal 200, although the part corresponding to the first six minutes of the content data has already been viewed, this part is reproduced again. In other words, when the server is switched by the redirect request, the receiving terminal cannot perform efficient reproduction, and there is a problem that an extra communication fee is generated.
[0025]
In a receiving terminal provided with a time bar for designating a playback position, the user can adjust the time bar so that the playback position can be set so that a portion that has already been played will not be played back after the server is switched. However, the receiving terminal does not always have such a user interface. Further, depending on the content, there may be a case where the adjustment of the reproduction position by the user operation is not allowed.
[0026]
The present invention has been made in order to solve the above problems, and while receiving and playing back content data supplied from a data transmission source at a receiving terminal, a redirection request is used. Provided is a data reproducing apparatus and a data reproducing method capable of continuously receiving and reproducing the content data from the data reproducing position at the time when the server is switched when the server that is the source of the content data is switched. The purpose is to do.
[0027]
Further, according to the present invention, while relaying the content data supplied from the data transmission source to the receiving terminal, the content data is transmitted by a redirect request from the server which is the data transmission source. It is an object of the present invention to provide a data relay device and a data relay method capable of continuously transmitting content data to a receiving terminal from a data transmission position at the time of switching of a transmission server when a server is switched. I do.
[0028]
[Means for Solving the Problems]
A data reproducing apparatus according to the present invention (claim 1) requests data including at least one of image information and audio information, and reproduces data transmitted in response to the request while receiving the data. A message transmitting / receiving unit that establishes a data receivable state by transmitting / receiving a message, and outputs a control signal for controlling the data receiving operation, and receives the data based on the control signal A data receiving unit, and range information for generating unreproduced range information specifying a range of an unreproduced portion in the data based on time information relating to a reproduction process, which is given to the data for each predetermined data unit. Generating unit, wherein the message transmitting / receiving unit receives a message requesting to switch a server to which the data request is applied. Can, a message requesting data unplayed portion where the non-playback range information is specified from the new server, is characterized in that it is intended to transmit.
[0029]
According to a second aspect of the present invention, in the data reproducing apparatus according to the first aspect, the time information indicates a display time of the frame, which is given to the data for each frame as the data unit. It is characterized by being information.
[0030]
According to a third aspect of the present invention, in the data reproducing apparatus according to the first aspect, the data receiving section receives the data stored in a packet, and the time information is transmitted to each of the packets. It is characterized in that the time information is provided.
[0031]
According to a fourth aspect of the present invention, in the data reproducing apparatus according to the third aspect, the range information generating unit includes: a latest time information added to a latest packet received by the data receiving unit; The first initial time information attached to the packet received first after the possible state is established, and the data receivable state acquired by transmitting and receiving a message by the message transmitting / receiving unit are established. The non-reproduced range information is generated based on any of the initial time information of the second initial time information added to the packet to be received first after the transmission. .
[0032]
A data reproducing method according to the present invention (claim 5) requests data including at least one of image information and audio information, and reproduces data transmitted in response to the request while receiving the data. A message transmission / reception step of establishing a data receivable state by transmitting / receiving a message and generating a control signal for controlling the data receiving operation; and after the data receivable state is established. A data receiving step of receiving the data based on the control signal, and a time period of unreproduced portion of the data based on time information related to a reproduction process, which is given to the data for each predetermined data unit. A range information generating step of generating unplayed range information specifying a range, wherein the message transmitting / receiving step comprises: When receiving a message requesting to switch the server to be requested, a message requesting data from a new server for the unreproduced portion specified by the unreproduced range information is transmitted. Is what you do.
[0033]
A data relay device according to the present invention (claim 6) is connected to a plurality of servers via a network, and includes at least one of image information and audio information for a specific server among the plurality of servers. A data relay device for requesting data, relaying and transmitting data transmitted from the specific server in response to the request, and transmitting the data from the specific server by exchanging a message with the specific server. Establishing a state in which data can be received, a server-side message exchange unit that outputs a reception control signal for controlling the reception operation of the transmission data, and the data transmitted from the specific server based on the reception control signal. Based on the data receiving unit to receive, and the time information related to the reproduction process, which is given to the data for each fixed data unit, A range information generation unit that generates unreproduced range information that specifies the range of the unreproduced part in the data. The server-side message exchange unit specifies, from the specific server, a server that is a supply source of the data. When a message requesting to switch to another alternative server is received from the server, a message requesting the data is transmitted to the alternative server by adding the unplayed range information to the message. It is characterized by having.
[0034]
According to a seventh aspect of the present invention, in the data relay device according to the sixth aspect, a buffer temporarily storing the received data and a message stored in the buffer by exchanging a message with a transmission destination. A terminal-side message exchange unit that outputs a transmission control signal that controls a data transmission operation by establishing a state in which data that can be transmitted is transmitted, and stores data stored in the buffer based on the transmission control signal. And a data transmission unit for transmitting.
[0035]
According to an eighth aspect of the present invention, in the data relay device according to the seventh aspect, the data receiving section receives the data stored in a packet transmitted from a server that is a source of the data. The data transmitting unit may transmit attribute information attached to a packet storing the data transmitted from the alternative server to the specific server so that a reproduction process of the data at a transmission destination of the data is not interrupted. The attribute information rewriting unit for rewriting the attribute information attached to the packet storing the data transmitted from the server, the packet storing the data transmitted from the alternative server, and the attribute information from the specific server It is characterized in that the data to be transmitted is rewritten to attribute information of a packet storing the transmitted data and transmitted.
[0036]
A data relay method according to the present invention (claim 9) requests data including at least one of image information and audio information from a specific server among a plurality of servers on a network, and responds to the request. A data relay method for relaying data transmitted from the specific server and transmitting the data by exchanging a message with the specific server to establish a state in which data transmitted from the specific server can be received. A message exchange step of generating a reception control signal for controlling the data reception operation, and after a receivable state of the transmission data is established, the data transmitted from the specific server is based on the reception control signal. A data receiving step to be received, and time information relating to a reproduction process, which is given to the data for each fixed data unit A range information generating step of generating unreproduced range information for specifying a range of an unreproduced portion in the data, wherein the message exchanging step includes, from the specific server, a server that is a source of the data. When a message is issued from the specific server requesting switching to the alternative server, a message requesting the data is transmitted to the alternative server by adding the unplayed range information to the message. It is characterized by the following.
[0037]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described.
(Embodiment 1)
FIG. 1 is a block diagram for explaining a data reproducing apparatus according to Embodiment 1 of the present invention.
The data reproducing apparatus (hereinafter, also referred to as a receiving terminal) 100a according to the first embodiment receives and reproduces content data including image data and audio data transmitted from the server S via a network such as the Internet. At the same time, when a redirect request is issued from the server requesting to switch the server that is the supply source of the content data from the first server (specific server) to the second server (alternate server), the PLAY request is issued to the alternative server. , A request including information indicating the range in which the content data is to be reproduced.
[0038]
To be more specific, the data reproducing apparatus (receiving terminal) 100a according to the first embodiment, like the conventional receiving terminal 200, exchanges an RTSP message M with various servers S on a network. 101, an RTP receiving unit 102a for receiving content data (RTP packet data) Dp stored in an RTP packet and transmitted from the server S based on the control signal Ct output from the RTSP exchange unit 101; A time information storage processing unit that stores the time information acquired by the exchange unit 101 and the RTP receiving unit 102a, and generates unreproduced range information Ir indicating the range of the unreproduced part in the content data based on the time information. 105a.
[0039]
Here, the RTSP exchange unit 101 establishes a session (a state in which data transmitted from the server can be received) between the predetermined server and the receiving terminal by exchanging the RTSP message M, and responds to the established session. The time information Tsi indicating the time stamp initial value Vinfo is output to the time information storage processing unit 105a. Further, in the RTSP exchange unit 101, a PLAY request including the reproduction range information read from the time information storage processing unit 105a is issued as a PLAY request to the specific server Sa. Issues a PLAY request including the unreproduced range information Ir read from the time information storage processing unit 105a as a PLAY request. Here, the reproduction range information is information relating to the reproduction time of the content data, and the time information Tsi indicating the time stamp initial value Vinfo is information included in the RTPInfo field included in a response to the PLAY request to the receiving terminal 100a. Yes, specifically, this is information indicating the value of the time stamp given to the packet to be received first after the session is established.
[0040]
The RTP receiving unit 102a receives the RTP packet data Dp from the server, outputs audio / video data (AV data) Dr corresponding to each frame, and outputs time stamp information added to each RTP packet. Tsp is output to the time information storage processing unit 105a.
[0041]
Further, the time information storage processing unit 105a stores a time stamp initial value Vinfo specified by the time information Tsi included in the RTP info field and a memory (not shown) for storing a time stamp value added to each RTP packet. ), And generates the unreproduced range information Ir from the value of the time stamp stored in the memory.
[0042]
The receiving terminal 100a, like the conventional receiving terminal 200, decodes the AV data Dr from the RTP receiving unit 102a and outputs the decoded AV data Dd, and the decoded AV data Dd. And a display unit 104a that performs image display and sound reproduction based on the image.
[0043]
FIG. 2 is a diagram showing a data storage area of the memory of the time information storage processing unit 105a.
The memory of the time information storage processing unit 105a includes a first storage area A for storing the latest time stamp value Vp, a second storage area B for storing an initial value Vp1 of the time stamp of the RTP packet, and RTPInfo. It has a third storage area C for storing an initial value Vinfo of a time stamp specified by field information, and a fourth storage area D for storing information other than the time stamp.
[0044]
That is, the first storage area A is an area for storing the time stamp value of the received RTP packet as the latest time stamp value Vp every time the RTP packet is received by the RTP receiving unit 102a. . In addition, the second storage area B stores the value of the time stamp of the first received RTP packet after the session is established between the receiving terminal 100a and the server S as the initial value Vp1 of the time stamp of the RTP packet. This is an area to store. Further, the fourth storage area D is an area for recording SDP (Session Description Protocol) information Isdp included in a response from the server in response to the REDIRECT request from the receiving terminal. As shown in FIG. 5B, the SDP information Isdp includes information Ise on the entire session, information Ivi on a video stream, information Iau on an audio stream, and the like. The information Ivi and Iau respectively include scale information (MP4V-ES / 90000) Isv and scale information (AMR / 8000) Isa relating to the ratio between the time stamp value and the time unit (1 second). In addition, the information Is regarding the entire session includes reproduction time information (t = 0.0000-60.000) Irt indicating the reproduction time of the entire content data in this session. In this case, the content data is 0 seconds. It is shown that playback is performed in the range from to 60 seconds.
[0045]
Specifically, the scale information (MP4V-ES / 90000) Isv indicates that the time stamp value “90000” of the video stream corresponds to one second. The scale information (AMR / 8000) Isa indicates that the time stamp value “8000” of the audio stream corresponds to one second.
[0046]
In the packet transmission by RTP / UDP (User Datagram Protocol), since the packets do not always arrive at the receiving terminal in the order of transmission depending on the transmission path of the packets, the arrival order of the RTP packets is switched with the transmission order. In this case, the RTP receiving unit 102a changes the arrival order of the received RTP packets based on the sequence number assigned to the RTP packet so as to match the transmission order.
[0047]
The arithmetic processing performed by the reproduction position storage processing unit 105a is a time stamp subtraction processing using the time stamp values stored in the storage areas A to C, and the result of the subtraction processing is based on one second. Time stamp conversion processing for converting to time information (reproduced range information) indicating the range of the reproduced portion of the content data, and unreproduced indicating the time range of the unreproduced portion of the content data from the reproduced range information This includes an unreproduced portion calculation process for obtaining the range information Ir.
[0048]
Specifically, in the time stamp subtraction processing, when the initial value Vinfo of the time stamp is stored in the third storage area C, the initial value Vinfo and the initial value Vinfo are stored in the first storage area A. A difference value ΔVinfo (= Vp−Vinfo) of the time stamp is obtained by subtraction processing from the latest time stamp value Vp. If the initial value Vinfo of the time stamp is not stored in the third storage area C, The time stamp difference value ΔVp1 (= Vp1) is obtained by subtracting the initial time stamp value Vp1 stored in the second storage area B from the latest time stamp value Vp stored in the first storage area A. −Vp1). In the time stamp conversion process, the difference value ΔVinfo or ΔVp1 of the time stamp is converted into a time length (for example, 20 seconds) of the reproduced portion based on 1 second using the scale information Isa or Isv. . Furthermore, the unreproduced portion calculation processing is based on the time range information of the reproduced portion obtained by the time stamp conversion process, and indicates the time range (t = 20.000-60.000) of the unreproduced portion of the content data. This is processing for obtaining reproduction range information Ir.
[0049]
Next, the operation will be described.
In the following, the case where the server that supplies the data of the file (v.mp4) as the content data is switched from the first server (svr-A.com) Sa to the second server (svr-B.com) Sb Will be described.
[0050]
FIG. 4 is a diagram for explaining the operation of the data reproducing device 100a according to the first embodiment. FIG. 5A shows a message between the DESCRIBE request and the PLAY request, such as a Setpu request, which is omitted in FIG. In FIG. 4, as in FIG. 12, for convenience of description, as the server S, a specific server Sa having an RTSP exchange unit Sa1 and an RTP transmission unit Sa2, and an alternative server Sb having an RTSP exchange unit Sb1 and an RTP transmission unit Sb2. Is shown.
[0051]
From the RTSP exchange unit 101 of the receiving terminal 100a, a DESCRIBE request (DESCRIBE rtsp: ///svr-A.com/v) requesting the file data (v.mp4) of the server (svr-A.com) Sa as the RTSP message M. When the first server Sa issues the DESCRIBE request T1 by the RTSP exchange unit Sa1, the RTSP exchange unit Sa1 sends a response A11 to the request T1 (FIG. 5 (a)). Then, a message is exchanged between the server Sa and the receiving terminal 100a.
[0052]
The response A11 to the DESCRIBE request T1 includes the SDP information Isdp as shown in FIG. When the response A11 is received by the RTSP exchange unit 101, the RTSP exchange unit 101 analyzes the SDP information Isdp included in the response A11. The RTD exchange unit 101 analyzes the content reproduction time information and the time related to the video data in the SDP information Isdp. The scale information Isv of the stamp and the scale information Isa of the time stamp related to the audio data are output to the time information storage processing unit 105a. In the time information storage processing unit 105a, these pieces of information are recorded in the fourth storage area D.
[0053]
Thereafter, as shown in FIG. 5A, a setup request T12 for video data to the server Sa, a response A12 to the receiving terminal 100a in response thereto, a setup request T13 to audio data to the server Sa, and a request to the receiving terminal 100a in response thereto. Response A13 is performed.
[0054]
Then, the reproduction range information (Range: 0.000-60.000) that requests the reproduction of the file data (v.mp4) of the server (svr-A.com) Sa as the RTSP message M from the RTSP exchange unit 101. Is issued (PLAY rtsp: //svr-A.com/v.mp4) T2a. Here, the reproduction range information is information read from the time information storage processing unit 105a.
[0055]
Then, in the server Sa, the PLAY request T2a is received by the RTSP exchange unit Sa1, and the RTSP exchange unit Sa1 issues a response A1a to the request T2a. The response A1a includes reproduction range information (Range: 0.000-60.000). The RTPinfo field of the response A1a further includes the time stamp of the RTP packet transmitted first in this session. Time information Tsi indicating a value (time stamp initial value) is included. The time information Tsi output from the RTSP exchange unit 101 is input to the time information storage processing unit 105a, and the third storage area C stores the time stamp initial value Vinfo indicated by the time information Tsi. Since content data including image information and audio information is transmitted from the server, an initial time stamp value Vinfo1 for the image and an initial time stamp value Vinfo2 for the audio are specified in the RTPinfo field. The reproduction range information Ir can be generated if there is at least one time stamp initial value. Therefore, in the following description, the time stamp initial values Vinfo1 and Vinfo2 relating to images and sounds will be described as the time stamp initial value Vinfo without distinction.
[0056]
After that, when an instruction (transmission instruction) A2 for instructing transmission of the file (v.mp4) data to the receiving terminal is issued from the RTSP conversion unit Sa1 of the server Sa to the RTP transmission unit Sa2, the RTP transmission is performed. From the unit Sa2, the data of the file (v.mp4) is stored in the RTP packet and transmitted to the receiving terminal 100a as RTP packet data Da.
[0057]
The RTP packet data Da is received by the RTP receiving unit 102a of the receiving terminal 100a based on the control signal Ct from the RTSP exchange unit 101, and audio video data (AV data) Dr corresponding to each frame is output. You. At this time, information Tsp indicating a time stamp given to each RTP packet is output from the RTP receiving unit 102a to the time information storage processing unit 105a, and stored in the first and second storage areas A and B. . That is, in the first storage area A, the time stamp value Vp of the RTP packet recently received in the established session is recorded, and in the second storage area B, the time stamp value received first in the established session is recorded. The value (initial value) Vp1 of the time stamp of the RTP packet is recorded.
[0058]
The AV data Dr output from the RTP receiving unit 102a is decoded by the decoding unit 103, and the decoded AV data Dd is output to the display unit 104a. The display unit 104a performs image display and audio reproduction based on the decoded AV data Dd.
[0059]
When the transmission data Da from the server Sa is received and reproduced in the receiving terminal 100a in this way, when the server Sa issues a REDIRECT request A3 as an RTSP message, the receiving terminal 100a causes the The REDIRECT request A3 is received by the RTSP exchange unit 101 of the receiving terminal 100a. The REDIRECT request A3 is a request indicating that the current session with the server Sa is terminated, a session with the alternative server Sb is established, and data from the alternative server is received and reproduced. Contains Location information (rtsp: //svr-B.com/v.mp4) indicating the URL (Universal Resource Locator) of the alternative server.
[0060]
At this time, when the RTSP exchange unit 101 notifies the time information storage processing unit 105a that the REDIRECT request A3 has been received, the time information storage processing unit 105a transmits the content data requested to the alternative server Sb. An arithmetic process for generating range information indicating a time range is performed.
[0061]
FIG. 3 is a flowchart showing a process for generating the reproduction range information.
The time information storage processing unit 105a determines whether the initial value Vinfo of the time stamp is stored in the third storage area C (step S1), and stores the initial value of the time stamp in the third storage area C. When Vinfo is stored, an arithmetic process of subtracting the initial value Vinof of the time stamp stored in the third storage area C from the latest time stamp value Vp stored in the first storage area A Is performed (step S2). On the other hand, if the time stamp initial value Vinfo is not stored in the third storage area C, the latest time stamp value Vp stored in the first storage area A is stored in the second storage area B. An arithmetic process of subtracting the initial value Vp1 of the time stamp is performed (step S3).
[0062]
Thereafter, the difference value ΔVinfo (= Vp−Vinfo) or ΔVp1 (= Vp−Vp1) of the time stamp obtained by the above subtraction process is used by using the time stamp scale information stored in the fourth storage area D. A scaling process for converting the information into time information based on one second is performed, and unreproduced range information, that is, information indicating the range of the unreproduced portion in the content data that is the transmission data Da from the server Sa is generated.
[0063]
Then, a response T3 for approving the REDIRECT request A3 is issued from the RTSP exchange unit 101, and a TEARDOWN request T4 for requesting the server Sa to end the session is issued. In the server Sa, a process of ending the transmission of the RTP packet data Da is performed together with the issuance of the response A4 for approving the TEARDOWN request T4.
[0064]
After receiving the response A4 to the TEARDOWN request T4 from the server Sa, the RTSP exchange unit 101 of the receiving terminal 100a converts the server (svr) as an RTSP message M based on the Location information of the alternative server Sb included in the REDIRECT request A3. -B.com) A DESCRIBE request (DESCRIBE rtsp: ///svr-B.com/v.mp4) T5 requesting the file data (v.mp4) of Sb is issued.
[0065]
Then, this DESCRIBE request T5 is received by the RTSP exchange unit Sb1 of the server Sb, and a response (not shown) to the request T5 is issued from the RTSP exchange unit Sb1 to the receiving terminal 100a. Message exchange is further performed with the terminal 100a.
[0066]
Then, the non-playback range information (Range: ntp = 360) requesting the playback of the file data (v.mp4) of the server (svr-B.com) Sb as the RTSP message M from the RTSP exchange unit 101 of the receiving terminal 100a. When the PLAY request (PLAY rtsp: //svr-B.com/v.mp4) T6a including the PLAY request T6a is issued, the PLAY request T6a is received by the RTSP exchange unit Sb1 of the server Sb. After the response A5 to this request T6a is issued to the receiving terminal 100a, the server Sb sends the RTSP exchange unit Sb1 to the RTP sending unit Sb2 instructing the RTP sending unit Sb2 to send the file data (v.mp4) to the receiving terminal 100a. Instruction A6 is issued.
[0067]
Then, based on the control signal Cs from the RTSP exchange unit Sb1, the RTP sending unit Sb2 stores the unplayed portion of the file data (v.mp4) specified by the unplayed range information in the RTP packet, A process of transmitting the RTP packet data Db to the receiving terminal 100a is performed.
[0068]
The transmission data Db is received by the RTP receiving unit 102a of the receiving terminal 100a based on the control signal Ct from the RTSP exchanging unit 101, and the RTP receiving unit 102a outputs audio-video data (AV) corresponding to each frame. Data) Dr is output. The AV data Dr is decoded by the decoding unit 103, and the decoded AV data Dd is output to the display unit 104. The display unit 104 performs image display and audio reproduction based on the decoded AV data Dd.
[0069]
As described above, in the first embodiment, in the receiving terminal 100a that receives and reproduces data requested from the server, the time information related to the reproduction processing, which is given to the data for each predetermined data unit, A time information storage processing unit 105a for generating unreproduced range information for designating a range of an unreproduced part in the data, and receiving a message (REDIRECT request) requesting to switch the server which is the data transmission source. Then, a message (DESCRIBE request) requesting the data is transmitted to a new transmission source server by adding the unreproduced range information to the message. When the server that is the source of the above data is switched during playback of In end 100a, you can receive and reproduce the data from the beginning of the unplayed portion. In other words, it is possible to prevent the reproduced portion of the content data from being received and reproduced again after the server is switched, thereby reducing the communication cost, and enabling efficient viewing of the reproduced images and sounds. Become.
[0070]
In the first embodiment, the receiving terminal 100a receives, from the server Sa, a message (REDIRECT request) A3 requesting to switch the server that is the transmission source of the content data from the server Sa to another server Sb. Immediately, that is, following the response T3 to the server Sa in response to the REDIRECT request A3, a message (TEARDOWN request) T4 for requesting the server Sa to end the session is issued. The TEARDOWN request T4 is not issued immediately after receiving the REDIRECT request A3, but is issued to the server Sa after it is confirmed that the content data Db from the server Sb has been received by the receiving terminal 100a. There may be.
[0071]
In this case, the receiving terminal 100a can distinguish between the content data from the server Sa and the content data from the server Sb based on information included in various fields of the packet storing the content data. is there.
[0072]
For example, as typical transmission protocols for transmitting data on the Internet, RTP (Real Time Transport Protocol), TCP / IP (Transmission Control Protocol / Internet Protocol), and UDP / IP (User Datagram Protocol) such as Is used, and the packet includes a header corresponding to each transmission protocol such as RTP, TCP, UDP, and IP, that is, an RTP header, a TCP header, a UDP header, and an IP header.
[0073]
For this reason, the receiving terminal 100a converts the content data from the server Sa and the content data from the server Sb into information indicating the destination port number included in the TCP header or the UDP header, and SSRC (Session Resource) included in the RTP header. And PT (payload type), or information indicating the source IP address of the IP header. Here, the SSRC is an identification ID for identifying an RTP packet.
[0074]
(Embodiment 2)
FIG. 6 is a block diagram for explaining a data reproducing apparatus according to Embodiment 2 of the present invention.
The data reproducing apparatus (receiving terminal) 100b according to the second embodiment is different from the data reproducing apparatus 100a according to the first embodiment in that the RTP receiving section 102a, the display section 104a, and the time information storage processing section 105a are replaced with the RTP receiving section. RTP receiver 102b that performs data reception processing different from 102a, display 104b that performs data display processing different from display 104a, and time information storage that performs time information storage different from time information storage processor 105a. The processing unit 105b is provided.
[0075]
That is, the RTP receiving unit 102b is the same as the RTP receiving unit 202 in the conventional data reproducing device 200. The display unit 104b performs image display and audio reproduction based on the decoded AV data Dd, and outputs time stamp information Tsf assigned to each frame. The reproduction position storage processing unit 105b has first to fourth storage areas A to D, similarly to the time information storage processing unit 105a. The first storage area A stores a time stamp value Vf given to the latest frame corresponding to the set session, and the second storage area B stores the time stamp value Vf corresponding to the set session. The time stamp value Vf1 assigned to the displayed frame is stored. In the third storage area C and the fourth storage area D, as in the case of the time information storage processing unit 105a of the first embodiment, the initial value Vinfo of the time stamp specified by the information Tsi of the RTP info field, and the like, respectively. Is stored.
[0076]
Other configurations of the data reproducing apparatus 100b of the second embodiment are the same as those of the data reproducing apparatus 100a of the first embodiment.
In the data reproducing apparatus (receiving terminal) 100b according to the second embodiment having such a configuration, during the reproduction of the content data, a REDIRECT request requesting to switch the source server of the content data from the current server to another server is issued. When issued, the range of the unplayed portion in the content data is determined based on the initial value Vinfo of the time stamp of the RTP packet specified by the RTP info field and the time stamp values Vf1 and Vfn given to the frame to be played. Unplayed range information shown is generated, and a PLAY request including the unplayed range information is issued to another server. Therefore, similar to the first embodiment, during playback of content data, a server is switched in accordance with a server switching request. After is switched, reception and playback of content data It can be followed from the reproduction position at the time of switching the server.
[0077]
In each of the above embodiments, the time stamp added to the received RTP packet or the display time given to each frame is used as the initial value and the latest value of the time stamp corresponding to the set session. Although the time stamp using the indicated time stamp is shown, a time stamp indicating the decoding time for each frame may be used as the initial value and the latest value of the time stamp in the set session.
[0078]
(Embodiment 3)
FIG. 7 is a block diagram illustrating a data relay device according to the third embodiment of the present invention. In the figure, the same reference numerals as those in FIG. 1 indicate the same components as those in the data reproducing apparatus 100a according to the first embodiment.
The data relay device 100c according to the third embodiment is a gateway device that relays data supplied from a data transmission source to a data reception terminal, and includes a plurality of servers (A) Sa and (B) Sb on a network such as the Internet. ,..., (X) Sx and the receiving terminal 200.
[0079]
FIG. 8 is a block diagram showing a specific configuration of the data relay device according to the third embodiment.
This gateway device 100c is based on a server-side RTSP exchange unit 101c1 for exchanging an RTSP message M with various servers S on the network and a control signal Cs output from the server-side RTSP exchange unit 101c1. An RTP receiving unit 102c1 for receiving content data (RTP packet data) Ds stored in an RTP packet and transmitted from the server S, and time information Tsi and Tsp output from the server-side RTSP exchange unit 101c1 and the RTP receiving unit 102c1. And a time information storage processing unit 105c that generates unreproduced range information Ir indicating a time range of the unreproduced portion of the content data based on the time information Tsi and Tsp.
[0080]
Here, the server-side RTSP exchange unit 101c1 establishes a session between the server S and the data relay device 100c by exchanging the RTSP message Ms with the server S, and sets a time for the established session. The time information Tsi indicating the stamp initial value Vinfo is output to the time information storage processing unit 105c, and the unplayed range information Ir read from the time information storage processing unit 105c is included in the PLAY request and sent to the server S. It is. The time information Tsi indicating the time stamp initial value Vinfo is information specified in the RTPInfo field included in the response from the server S to the PLAY request from the receiving terminal 200, as in the first embodiment.
[0081]
Further, the RTP receiving unit 102c1 receives the RTP packet Ds from the server S, outputs audio video data (AV data) Dr corresponding to each frame stored in the RTP packet, and outputs each RTP packet. Is output to the time information storage processing unit 105c.
[0082]
Further, the time information storage processing unit 105c stores a time stamp initial value Vinfo specified by the information Tsi of the RTP info field and time stamp values Vp and Vp1 assigned to each RTP packet (not shown). ), And generates unreproduced range information Ir indicating the time range of the unreproduced portion of the content data from the value of the time stamp stored in the memory. The process of generating the unreproduced range information Ir in the time information storage processing unit 105c is the same as that in the time information storage processing unit 105a of the data reproduction device 100a according to the first embodiment.
[0083]
The gateway device 100c communicates with the receiving terminal 200 based on the buffer 106 for temporarily storing the AV data Dr from the RTP receiving unit 102c1 and the message information Mp from the server-side RTSP exchanging unit 101c1. Based on a control signal Ct from the terminal-side RTSP exchange unit 101c2 for performing a process for establishing a session for data communication and the data Dr stored in the buffer 106 into an RTP packet based on a control signal Ct from the terminal-side RTSP exchange unit 101c2. And an RTP transmission unit 102c2 for transmitting the RTP packet data Dt to the reception terminal 200.
[0084]
The RTP transmission unit 102c2 performs the time stamp value, the sequence number value, the value of the SSRC, and the value added to the RTP packet transmitted from the server after the server switching so that the reproduction process of the content data in the receiving terminal is not interrupted. It has an attribute information rewriting unit (not shown) for rewriting attribute values such as PT values to respective attribute values added to the RTP packet sent from the server before the server switching, and the attribute information is rewritten. The RTP packet is transmitted to the receiving terminal 200.
[0085]
Next, the operation will be described.
FIG. 9 is a diagram showing an operation flow of the data relay device of the third embodiment.
In the following, the case where the server that supplies the data of the file (v.mp4) as the content data is switched from the first server (svr-A.com) Sa to the second server (svr-B.com) Sb Will be described.
[0086]
From the receiving terminal 200, a DESCRIBE request (DESCRIBE rtsp: ///svr-A.com/v.mp4) T11 requesting the file data (v.mp4) of the server (svr-A.com) Sa as the RTSP message Mt. When issued, the terminal-side RTSP exchange unit 101c2 of the gateway device 100c receives the DESCRIBE request T11, and the message information Mp indicating the request T11 is transmitted to the server-side RTSP exchange unit 101c1. The server-side RTSP exchange unit 101c1 performs a process of transmitting a DESCRIBE request T11 indicated by the message information Mp to the server Sa as an RTSP message Ms. When the server Sa receives the DESCRIBE request T11, the server Sa issues a response (not shown) to the request T11. The response is based on the server-side RTSP exchange unit 101c1 and the terminal-side RTSP exchange unit of the data relay apparatus 100c. It is transmitted to the receiving terminal 200 via 101c2.
[0087]
Thereafter, message exchange is further performed between the server Sa and the receiving terminal 200 via the gateway device 100c.
When a session (a state in which data communication by RTP is possible) for communication between the gateway device 100c and the receiving terminal 200 and between the gateway device 100c and the server Sa are set, the receiving terminal 200 PLAY request (PLAY rtsp) including reproduction range information (Range: 0.000-60.000) for requesting reproduction of the file data (v.mp4) of the server (svr-A.com) Sa as the RTSP message Mt. ///Svr-A.com/v.mp4) T12 is issued. The PLAY request T12 is received by the terminal-side RTSP exchange unit 101c2 of the gateway device 100c, and message information Mp indicating the request T12 is transmitted to the server-side RTSP exchange unit 101c1.
[0088]
Further, when the PLAY request T12 is transmitted from the server-side RTSP exchange unit 101c1 to the server Sa as an RTSP message Ms, the server Sa receives the PLAY request T12 and issues a response (OK) A11 to the request T12. . The response A11 includes reproduction range information (Range: 0.000-60.000), and the RTPinfo field information of the response A11 further includes a time stamp of an RTP packet transmitted first in this session. (Time stamp initial value) Vinfo. The time information Tsi indicating the time stamp initial value Vinfo is input to the time information storage processing unit 105c, and the time stamp initial value Vinfo is stored in the third storage area C of the memory in the time information storage processing unit 105c.
[0089]
The server-side RTSP exchange unit 101c1 sends message information Mp indicating the response A11 to the terminal-side RTSP exchange unit 101c2, and the terminal-side RTSP exchange unit 101c2 sends the response A11 indicated by the message information Mp as an RTSP message Mt. Sent to receiving terminal 200.
Thereafter, from the server Sa, the file data (v.mp4) including the image information and the audio information, which is the content data requested by the receiving terminal 200, is stored in the RTP packet and is transmitted to the gateway device 100c as the RTP packet data Dsa. Sent.
[0090]
The RTP packet data Dsa is received by the RTP receiving unit 102c1 of the gateway device 100c based on the control signal Cs from the server-side RTSP exchange unit 101c1, and audio-video data (AV data) Dr corresponding to each frame is converted. Is output. At this time, the time information Tsp indicating the value of the time stamp given to each RTP packet is output from the RTP receiving unit 102c1 to the time information storage processing unit 105c, and the first and second storage areas A and B (see FIG. 2). In the second storage area B, the time stamp value (initial value) Vp1 of the RTP packet received first in this session is recorded, and in the first storage area A, the latest RTP packet received in this session is received. The time stamp value Vp of the RTP packet is stored.
[0091]
The AV data Dr output from the RTP receiving unit 102c1 is sequentially stored in the buffer 106, and the AV data Dr stored in the buffer 106 is stored in the RTP packet by the RTP transmitting unit 102c2 and stored in the RTP packet data. It is transmitted to the receiving terminal 200 as Dta.
[0092]
As described above, the content data is transmitted from the server Sa to the receiving terminal 200 via the gateway device 100c, and the content data received as the RTP packet data Dta is reproduced at the receiving terminal 200. Then, when the REDIRECT request A12 is issued as the RTSP message Ms, the server side RTSP exchange unit 101c1 of the gateway device 100c receives the REDIRECT request A12. The REDIRECT request A12 terminates the session with the current server (first server) Sa, establishes a session with the substitute server (second server) Sb, and receives data supplied from the substitute server Sb. The REDIRECT request A12 includes Location information (rtsp: ///svr-B.com/) indicating the URL (Universal Resource Locator) of the alternative server (second server) Sb. v.mp4) is included.
[0093]
At this time, the server side RTSP exchange unit 101c1 notifies the time information storage processing unit 105c that the REDIRECT request A12 has been received. Then, the time information storage processing unit 105c performs an arithmetic process of generating unplayed range information Ir indicating a time range of an unplayed portion of the content data requested to the second server Sb. The process of generating the unreproduced range information Ir is the same as the process in the time information storage processing unit 105a of the first embodiment.
[0094]
Then, from the server-side RTSP exchange unit 101c1 of the gateway device 100c, a response (OK) T13 for approving the REDIRECT request A12 is issued to the server Sa, and a TEARDOWN request T14 for requesting the server Sa to end the session. Is issued. The server Sa issues a response (OK) A13 acknowledging the TEARDOWN request T14 and performs a process of terminating the transmission of the RTP packet data Ds.
[0095]
In the server-side RTSP exchange unit 101c1 of the gateway device 100c, after the response A13 from the server Sa to the TEARDOWN request T14 is received, the server-side RTSP exchange unit 101c1 generates an RTSP message Ms based on the location information of the alternative server Sb included in the REDIRECT request A12. (DESCRIBE rtsp: //svr-B.com/v.mp4) T15 for requesting (svr-B.com) Sb file data (v.mp4) is issued.
[0096]
Then, the server Sb receives the DESCRIBE request T15, issues a response (not shown) to the request T15 to the gateway device 100c, and thereafter further exchanges a message between the server Sb and the gateway device 100c. Is performed.
[0097]
The server-side RTSP exchange unit 101c1 of the gateway device 100c includes, as the RTSP message Ms, the unreproduced range information Ir for requesting the reproduction of the file data (v.mp4) of the server (svr-B.com) Sb. When the PLAY request (PLAYrtsp: //svr-B.com/v.mp4) T16 is issued, the server Sb receives the PLAY request T16 and issues a response A14 to the request T16.
[0098]
Thereafter, the portion indicated by the unreproduced range information Ir of the file data (v.mp4) is stored in the RTP packet from the server Sb and transmitted to the gateway device 100c as the RTP packet data Dsb.
[0099]
The RTP packet data Dsb is received by the RTP receiving unit 102c1 of the gateway device 100c based on the control signal Cs from the server-side RTSP exchange unit 101c1, and audio-video data (AV data) Dr corresponding to each frame is converted. Is output. The AV data Dr is temporarily stored in the buffer 106. The AV data Dr stored in the buffer 106 is stored in an RTP packet by the RTP transmitting unit 102c2 and transmitted to the receiving terminal 200 as RTP packet data Dt.
[0100]
At this time, in the RTP transmission unit 102c2, the time stamp value, the sequence number value, and the value of the SSRC added to the RTP packet transmitted from the alternative server Sb so that the reproduction process of the content data in the reception terminal 200 is not interrupted. , PT values and the like are rewritten to the respective attribute values added to the RTP packet transmitted from the server Sa, and the RTP packet with the rewritten attribute value is transmitted to the receiving terminal 200.
[0101]
As described above, in the third embodiment, in the gateway device 100c that receives the content data from the server and performs the relay process of transmitting the received content data to the receiving terminal, the time stamp added to the RTP packet from the server When a redirect request for switching the transmission server of the content data is issued, the range information indicating the range of the untransmitted portion of the content data requested by the receiving terminal is stored in the stored time stamp. Of the content data requested by the receiving terminal to the new server, so the transmitting server requests the redirecting request while the content data is being reproduced on the receiving terminal by the redirect request. When switching, the receiving terminal sends the requested content data, It can be received from the minute of the head.
[0102]
Further, in the third embodiment, the buffer 106 for temporarily storing the AV data Dr from the RTP receiving unit 102c1 is provided, so that the receiving terminal 200 can reduce the jitter caused by the network between the server and the data relay device. There is an effect that it is hard to be affected.
[0103]
Further, in the third embodiment, when the transmission server is switched, the RTP transmission unit 102c2 adds the RTP packet transmitted from the new server Sb so that the reproduction process of the content data in the reception terminal 200 is not interrupted. Is changed to the attribute value added to the RTP packet sent from the previous server Sa, so that the receiving terminal switches at the receiving terminal while the content data from the transmitting server is being reproduced. Even in this case, the reproduction of the content data is performed without interruption, and it is possible to prevent the display state of the reproduced image from being disturbed and the reproduced sound from including noise.
[0104]
In the third embodiment, the data relay device (gateway device) 100c requests the first server Sa to switch the server that is the source of the content data from the server Sa to the second server Sb. Immediately after receiving the message (REDIRECT request) A12, that is, following the response T13 to the server Sa in response to the REDIRECT request A12, issuing a message (TEARDOWN request) T14 requesting the server Sa to end the session. However, it was confirmed that the data relay device 100c did not issue the TEARDOWN request T14 immediately after receiving the REDIRECT request A12, but received the content data Dsb from the server Sb at the data relay device 100c. Later, for the server Sa It may be the one to be issued.
[0105]
In this case, as described in the first embodiment, the data relay device 100c converts the content data Dsa from the server Sa and the content data Dsb from the server Sb into the destination port numbers included in the TCP header and the UDP header. Can be distinguished based on information indicating the SSRC (Session Resource) or PT (payload type) included in the RTP header, or information indicating the source IP address of the IP header.
[0106]
In the first and second embodiments, the receiving terminal that can be connected to the server via a network such as the Internet is shown as a data reproducing apparatus that receives and reproduces data requested from the server. Specific examples of the terminal include a PC (personal computer) and a mobile phone.
[0107]
(Embodiment 4)
Hereinafter, as Embodiment 4 of the present invention, a mobile phone that plays back data while receiving data requested from a server, as in the data playback device of Embodiment 1, will be described.
FIG. 10 is a diagram for explaining the mobile phone according to the fourth embodiment.
The mobile phone 300 according to the fourth embodiment includes a signal processing unit 302 that performs various signal processing and a radio signal N received by the antenna 301 as a received signal to the signal processing unit 302, and the signal processing unit 302 And a wireless communication unit 303 that transmits the generated transmission signal as a wireless signal N from the antenna 301.
[0108]
The mobile phone 300 is processed by the liquid crystal panel (LCD) 306 for displaying images, the microphone 308 for inputting audio, the speaker 307 for reproducing audio signals, and the signal processing unit 302. A display control unit 304 that receives an image signal and controls the liquid crystal panel (LCD) 306 to display an image based on the image signal, and outputs an input audio signal from a microphone 308 to a signal processing unit 302. And an audio input / output unit 305 that outputs the audio signal processed by the signal processing unit 302 to the speaker 307. Here, for simplicity of explanation, the button operation unit of the mobile phone is not shown.
[0109]
Here, the signal processing section 302 performs the same data reproduction processing as the data reproduction apparatus 100a of the first embodiment. That is, the signal processing unit 302 has a signal processing unit corresponding to the RTSP exchange unit 101, the RTP receiving unit 102a, the decoding unit 103, and the time information storage processing unit 105a on the receiving terminal side of the first embodiment. I have. The display control unit 304 and the liquid crystal panel (LCD) 306 in the mobile phone 300 according to the fourth embodiment correspond to the display unit 104a according to the first embodiment.
[0110]
In the mobile phone 300 having such a configuration, when a message requesting to switch the server from which the data is transmitted is received while the data requested to the server is being reproduced while being received, a new A data request process for transmitting a message requesting the data to the transmission source server by adding unreproduced range information designating a range of the unreproduced portion in the data to the message is transmitted.
[0111]
In the fourth embodiment, a mobile phone that performs the same data playback processing as that of the data playback apparatus of the first embodiment is described. However, the mobile phone has a data playback apparatus of the second embodiment. The same data reproduction processing as that of 100b may be performed.
[0112]
【The invention's effect】
As described above, according to the data reproducing apparatus of the present invention (claim 1), a request for data including at least one of image information and audio information is received, and data transmitted in response to the request is received. A data transmitting / receiving unit that establishes a data receivable state by transmitting and receiving a message, and outputs a control signal for controlling a data receiving operation; and A data receiving unit that receives a signal based on a signal, and an unplayed range that designates a range of an unplayed portion in the data based on time information about a playback process, which is given to the data for each fixed data unit. And a range information generating section for generating information, wherein the message transmitting / receiving section requests to switch a server to which the data request is applied. When a message is received, a message requesting data of an unreproduced part specified by the unreproduced range information from a new server is transmitted. When the required data transmission server is switched while the required data is being reproduced from the server, the data reproducing apparatus can receive and reproduce the required data from the head of the unreproduced portion. As a result, it is possible to prevent the reproduced portion of the required data from being received and reproduced again after the server is switched, thereby reducing the communication cost and efficiently viewing the reproduced images and sounds. It becomes.
[0113]
According to the present invention (claim 2), in the data reproducing apparatus according to claim 1, the time information is added to the data for each frame which is the data unit, and the display time of the frame is provided. Therefore, after the server is switched, a reproduced image can be displayed from the first frame of the unreproduced portion of the required data.
[0114]
According to the present invention (claim 3), in the data reproducing apparatus according to claim 1, the data receiving section receives the data stored in a packet, and the time information is stored in each of the packets. Since it is characterized by the time information assigned thereto, after the server is switched, it can be received from the first packet storing the unreproduced portion of the required data.
[0115]
According to the present invention (claim 4), in the data reproducing apparatus according to claim 3, the range information generating unit includes: a latest time information added to a latest packet received by the data receiving unit; The first initial time information attached to the packet received first after the receivable state of the data is established, and the receivable state of the data obtained by transmitting and receiving the message by the message transmitting / receiving unit are The unreproduced range information is generated based on any one of the second time information added to the packet to be received first after the establishment. When the second initial time information can be obtained, the second initial time information can be used, and when the second initial time information cannot be obtained, the first initial time information can be used. .
[0116]
According to the data reproducing method of the present invention (claim 5), a data requesting data including at least one of image information and audio information, and reproducing data while receiving data transmitted in response to the request. A reproducing method, comprising: a message transmitting / receiving step of generating a control signal for controlling a data receiving operation by establishing a data receivable state by transmitting / receiving a message; and establishing a data receivable state. After that, based on the control signal, a data receiving step of receiving the data, and based on time information relating to a reproduction process, which is given to the data for each predetermined data unit, the unreproduced data in the data is not reproduced. A range information generating step of generating unreproduced range information for designating a range of a portion, wherein the message transmitting / receiving step comprises: Receiving a message requesting to switch the server to which the data request is applied, transmits a message requesting data of an unplayed portion specified by the unplayed range information from a new server. Therefore, when the transmission server of the required data is switched during the reproduction of the required data from the server at the receiving terminal in response to the server switching request, the receiving terminal converts the required data into the unreproduced portion. The data can be received and reproduced from the beginning, thereby reducing the communication cost required for data reception after the server is switched, and also enabling efficient viewing of reproduced images and sounds.
[0117]
According to the data relay device of the present invention (claim 6), the data relay device is connected to a plurality of servers via a network, and at least one of image information and audio information is transmitted to a specific server among the plurality of servers. A data relay device for requesting data including, and relaying and transmitting the data transmitted from the specific server in response to the request, wherein the specific server is exchanged with the specific server. A server-side message exchange unit that outputs a reception control signal for controlling a reception operation of the transmission data by establishing a state in which transmission data from the server can be received, and transmits the data transmitted from the specific server to the reception control signal. A data receiving unit for receiving data based on the time information relating to the reproduction processing, which is given to the data for each predetermined data unit. A range information generation unit that generates unreproduced range information that specifies a range of an unreproduced portion in the data, wherein the server-side message exchange unit specifies, from the specific server, a server that is a supply source of the data. When a message requesting to switch to another alternative server is received from the server, a message requesting the data is transmitted to the alternative server by adding the unplayed range information to the message. Since the required data is being reproduced from the server at the receiving terminal by the server switching request, when the transmission server of the required data is switched, the data relay device transmits the required data. It can be received from the beginning of the unreproduced part and transmitted to the receiving terminal, which causes a change in the configuration of the receiving terminal. Without reduction of the communication cost required for data reception after Ri switching server further enables efficient viewing of the reproduced image and audio.
[0118]
According to the present invention (claim 7), in the data relay device according to claim 6, the received data is temporarily stored in the buffer and the buffer is stored in the buffer by message exchange between the transmission destination and the buffer. A terminal-side message exchange unit that outputs a transmission control signal that controls a data transmission operation by establishing a state in which data that can be transmitted is transmitted, and converts the data stored in the buffer into the transmission control signal. Data transmission unit that transmits the required data from the server during the reproduction of the required data from the server at the receiving terminal by the server switching request. However, the session established between the data relay device and the receiving terminal (that is, a state in which data can be transmitted from the data relay device to the receiving terminal) is terminated. Not with. Therefore, even when the transmission server of the required data is switched, there is no need to exchange messages for terminating and establishing a session between the data relay device and the receiving terminal.
[0119]
According to the present invention (claim 8), in the data relay device according to claim 7, the data receiving unit receives the data stored in a packet transmitted from a server that is a supply source of the data. Wherein the data transmitting unit transmits the attribute information attached to the packet storing the data transmitted from the alternative server, so that the data reproduction process at the transmission destination of the data is not interrupted. An attribute information rewriting unit that rewrites attribute information attached to the packet storing the data transmitted from the specific server, and specifies the attribute information of the packet storing the data transmitted from the alternative server; The feature is that the data sent from the server is rewritten to the attribute information of the stored packet and sent out. In response to a request, even if the transmission server of the required data is switched while the required data is being reproduced from the server at the receiving terminal, the required data is reproduced without interruption at the receiving terminal. It is possible to prevent the display state of the image from being disturbed and the reproduced sound from including noise.
[0120]
According to the data relay method of the present invention (claim 9), a data request including at least one of image information and audio information is requested to a specific server among a plurality of servers on the network, A data relay method for relaying and transmitting the data transmitted from the specific server in response to the message, by exchanging a message with the specific server to establish a state in which data transmitted from the specific server can be received. A message exchange step of generating a reception control signal for controlling a reception operation of the transmission data, and, after a state in which the transmission data can be received is established, the data transmitted from the specific server, the reception control signal A data receiving step for receiving data based on the data, and a time related to a reproduction process, which is given to the data for each predetermined data unit. Generating range information that specifies the range of an unreproduced portion in the data based on the information. The message exchanging step includes: transmitting the server that is the source of the data to the specific server. When a message from the specific server is issued, requesting to switch to another alternative server, a message requesting the data is sent to the alternative server, and the unplayed range information is added to the message. When the required data is being reproduced from the server at the receiving terminal in response to the server switching request and the transmission server of the required data is switched, the data relay device , The required data can be received from the beginning of the unreproduced part and transmitted to the receiving terminal. , Without causing the configuration change of the receiving terminal, reduction in communication cost required for data reception after Ri switching server further enables efficient viewing of the reproduced image and audio.
[Brief description of the drawings]
FIG. 1 is a block diagram for explaining a data reproducing device according to a first embodiment of the present invention.
FIG. 2 is a diagram showing a storage area of a time information storage processing unit in the data reproducing apparatus according to the first embodiment.
FIG. 3 is a diagram showing a flow of an arithmetic processing in a time information storage processing unit in the data reproducing apparatus of the first embodiment.
FIG. 4 is a diagram showing access of an RTSP message M and packet data D performed between a server and a receiving terminal according to a predetermined protocol.
FIG. 5 is a diagram showing details of message exchange between the data reproducing apparatus and the server according to the first embodiment (FIG. (A)), and SDP information (FIG. (B)) included in a REDIRECT request to the data reproducing apparatus; It is.
FIG. 6 is a block diagram illustrating a data reproducing device according to a second embodiment of the present invention.
FIG. 7 is a block diagram illustrating a data relay device according to a third embodiment of the present invention.
FIG. 8 is a block diagram showing a specific configuration of a data relay device according to the third embodiment.
FIG. 9 is a diagram showing access of messages and data between the data relay device and the server and between the data relay device and the receiving terminal according to the third embodiment.
FIG. 10 is a diagram for explaining a mobile phone as a data reproducing device according to a fourth embodiment of the present invention.
FIG. 11 is a block diagram for explaining a conventional data reproducing apparatus.
FIG. 12 is a diagram showing access of an RTSP message M and packet data D performed between a server and a receiving terminal according to a predetermined protocol.
[Explanation of symbols]
100a, 100b receiving terminal (data reproducing device)
100c gateway device (data relay device)
101, Sa1, Sb1, Sm RTSP exchange unit
101c1 RTSP exchange part on server side
101c2 Terminal side RTSP exchange unit
102a, 102b, 102c1 RTP receiver
102c2, Sa2, Sb2, Sd RTP sending unit
103 Decoding unit
104a, 104b display unit
105a, 105b, 105c Time information storage processing unit
106 buffers
300 mobile phone
301 antenna
302 signal processing unit
303 wireless communication unit
304 display control unit
305 Voice input / output unit
306 Liquid crystal panel (LCD)
307 Speaker
308 microphone
S server
Sa specific server
Sb substitute server

Claims (9)

少なくとも画像情報または音声情報のいずれか一方を含むデータを要求し、該要求に応じて送信されたデータを、受信しつつ再生するデータ再生装置であって、
メッセージの送受信により、データを受信可能な状態を確立して、上記データの受信動作を制御する制御信号を出力するメッセージ送受信部と、
上記データを、上記制御信号に基づいて受信するデータ受信部と、
上記データに対して一定のデータ単位毎に付与されている、再生処理に関する時刻情報に基づいて、上記データにおける未再生部分の範囲を指定する未再生レンジ情報を生成するレンジ情報生成部とを備え、
上記メッセージ送受信部は、上記データ要求の対象となるサーバを切り換えることを要求するメッセージを受けたとき、上記未再生レンジ情報が指定する未再生部分のデータを新たなサーバから要求するメッセージを、送信するものであることを特徴とするデータ再生装置。
A data reproduction device that requests data including at least one of image information and audio information, and that reproduces data transmitted in response to the request while receiving the data.
A message transmitting and receiving unit that establishes a state in which data can be received by transmitting and receiving a message, and outputs a control signal for controlling the data receiving operation;
A data receiving unit that receives the data based on the control signal;
A range information generating unit that generates unreproduced range information that specifies a range of an unreproduced portion in the data, based on time information related to a reproduction process, which is given to the data for each predetermined data unit. ,
The message transmitting / receiving unit, when receiving a message requesting to switch the server targeted for the data request, transmits a message requesting data of an unplayed portion specified by the unplayed range information from a new server. A data reproducing apparatus characterized in that
請求項1記載のデータ再生装置において、
上記時刻情報は、上記データに対して、上記データ単位であるフレーム毎に付与されている、該フレームの表示時刻を示す情報であることを特徴とするデータ再生装置。
The data reproducing apparatus according to claim 1,
The data reproducing device, wherein the time information is information indicating a display time of the frame, which is added to the data for each frame as the data unit.
請求項1記載のデータ再生装置において、
上記データ受信部は、パケットに格納された上記データを受信するものであり、
上記時刻情報は、上記各パケットに対して付与された時刻情報であることを特徴とするデータ再生装置。
The data reproducing apparatus according to claim 1,
The data receiving unit receives the data stored in the packet,
The data reproducing apparatus according to claim 1, wherein the time information is time information given to each of the packets.
請求項3記載のデータ再生装置において、
上記レンジ情報生成部は、
上記データ受信部により受信された最新のパケットに付与されている最新時刻情報と、データの受信可能な状態が確立された後に最初に受信されたパケットに付与されている第1の初期時刻情報、及び上記メッセージ送受信部によるメッセージの送受信により取得された、上記データの受信可能な状態が確立された後に最初に受信すべきパケットに付与されている第2の初期時刻情報のいずれかの初期時刻情報とに基づいて、上記未再生レンジ情報を生成するものであることを特徴とするデータ再生装置。
The data reproducing apparatus according to claim 3,
The range information generation unit includes:
Latest time information given to the latest packet received by the data receiving unit, and first initial time information given to a packet first received after a data receivable state is established; And any one of the initial time information of the second initial time information added to the packet to be received first after the state in which the data can be received, which is obtained by transmitting and receiving the message by the message transmitting and receiving unit. A data reproducing apparatus for generating the unreproduced range information based on the information.
少なくとも画像情報または音声情報のいずれか一方を含むデータを要求し、該要求に応じて送信された該データを、受信しつつ再生するデータ再生方法であって、
メッセージの送受信により、データを受信可能な状態を確立して、上記データの受信動作を制御する制御信号を生成するメッセージ送受信ステップと、
上記データを受信可能な状態が確立された後、上記制御信号に基づいて、上記データを受信するデータ受信ステップと、
上記データに対して一定のデータ単位毎に付与されている、再生処理に関する時刻情報に基づいて、上記データにおける未再生部分の範囲を指定する未再生レンジ情報を生成するレンジ情報生成ステップとを含み、
上記メッセージ送受信ステップは、上記データ要求の対象となるサーバを切り換えることを要求するメッセージを受けたとき、上記未再生レンジ情報が指定する未再生部分のデータを新たなサーバから要求するメッセージを、送信するものであることを特徴とするデータ再生方法。
A data reproducing method of requesting data including at least one of image information and audio information, and reproducing the data transmitted in response to the request while receiving the data,
A message transmitting / receiving step of establishing a state in which data can be received by transmitting / receiving a message, and generating a control signal for controlling the data receiving operation;
After the state in which the data can be received is established, based on the control signal, a data receiving step of receiving the data,
A range information generating step of generating unreproduced range information for specifying a range of an unreproduced portion in the data, based on time information relating to a reproducing process, which is given to the data for each predetermined data unit. ,
The message transmitting / receiving step includes, when receiving a message requesting to switch a server to which the data request is applied, transmitting a message requesting data of an unplayed portion specified by the unplayed range information from a new server. A data reproducing method characterized by performing the following.
ネットワークを介して複数のサーバと接続され、上記複数のサーバーのうちの特定サーバに対して、少なくとも画像情報または音声情報のいずれか一方を含むデータを要求し、該要求に応じて上記特定サーバから送信される該データを中継して、送信するデータ中継装置であって、
上記特定サーバとの間でのメッセージ交換により、上記特定サーバからの送信データを受信可能な状態を確立して、上記送信データの受信動作を制御する受信制御信号を出力するサーバ側メッセージ交換部と、
上記特定サーバから送信される上記データを上記受信制御信号に基づいて受信するデータ受信部と、
上記データに対して一定のデータ単位毎に付与されている、再生処理に関する時刻情報に基づいて、上記データにおける未再生部分の範囲を指定する未再生レンジ情報を生成するレンジ情報生成部とを備え、
上記サーバ側メッセージ交換部は、上記特定サーバから、上記データの供給源であるサーバを該特定のサーバから他の代替サーバに切り換えることを要求するメッセージを受けたとき、該代替サーバに対して、上記データを要求するメッセージを、該メッセージに上記未再生レンジ情報を付加して送信するものであることを特徴とするデータ中継装置。
It is connected to a plurality of servers via a network, requests data including at least one of image information and audio information from a specific server among the plurality of servers, and responds to the request from the specific server. A data relay device that relays the data to be transmitted and transmits the data,
A message exchange between the specific server and a server-side message exchange unit that establishes a state in which transmission data from the specific server can be received and outputs a reception control signal for controlling a reception operation of the transmission data; ,
A data receiving unit that receives the data transmitted from the specific server based on the reception control signal,
A range information generating unit that generates unreproduced range information that specifies a range of an unreproduced portion in the data, based on time information related to a reproduction process, which is given to the data for each predetermined data unit. ,
The server-side message exchange unit, when receiving a message from the specific server requesting to switch the server that is the data supply source from the specific server to another alternative server, for the alternative server, A data relay device for transmitting a message requesting the data with the unplayed range information added to the message.
請求項6記載のデータ中継装置において、
上記受信されたデータを一時的に格納するバッファと、
送信先との間でのメッセージ交換により、上記バッファに格納されているデータを送信可能な状態を確立して、該データの送信動作を制御する送信制御信号を出力する端末側メッセージ交換部と、
上記バッファに格納されているデータを、上記送信制御信号に基づいて送信するデータ送信部とを備えたことを特徴とするデータ中継装置。
The data relay device according to claim 6,
A buffer for temporarily storing the received data,
A terminal-side message exchange unit that establishes a state in which data stored in the buffer can be transmitted by message exchange between the transmission destination and a transmission control signal that controls a transmission operation of the data,
A data transmission unit for transmitting data stored in the buffer based on the transmission control signal.
請求項7記載のデータ中継装置において、
上記データ受信部は、上記データの供給源であるサーバから送信されたパケットに格納されている上記データを受信するものであり、
上記データ送信部は、上記データの送信先での上記データの再生処理が途切れないよう、上記代替サーバから送出される上記データを格納したパケットに付与されている属性情報を、上記特定サーバから送出される上記データを格納したパケットに付与されている属性情報に書き換える属性情報書換え部を有し、上記代替サーバから送出される上記データを格納したパケットを、その属性情報を上記特定サーバから送出される上記データを格納したパケットの属性情報に書き換えて送出するものであることを特徴とするデータ中継装置。
The data relay device according to claim 7,
The data receiving unit is for receiving the data stored in a packet transmitted from a server that is a source of the data,
The data transmitting unit transmits, from the specific server, attribute information attached to a packet storing the data transmitted from the alternative server, so that a reproduction process of the data at a transmission destination of the data is not interrupted. And an attribute information rewriting unit for rewriting attribute information attached to the packet storing the data. The packet storing the data transmitted from the alternative server is transmitted from the specific server. A data relay device that rewrites the data into attribute information of a packet storing the data and transmits the packet.
ネットワーク上の複数のサーバのうちの特定サーバに対して、少なくとも画像情報または音声情報のいずれか一方を含むデータを要求し、該要求に応じて上記特定サーバから送信されるデータを、中継して送信するデータ中継方法であって、
上記特定サーバに対するメッセージ交換により、上記特定サーバからの送信データを受信可能な状態を確立して、上記送信データの受信動作を制御する受信制御信号を生成するメッセージ交換ステップと、
上記送信データの受信可能な状態が確立された後、上記特定サーバから送信される上記データを、上記受信制御信号に基づいて受信するデータ受信ステップと、
上記データに対して一定のデータ単位毎に付与されている、再生処理に関する時刻情報に基づいて、上記データにおける未再生部分の範囲を指定する未再生レンジ情報を生成するレンジ情報生成ステップとを含み、
上記メッセージ交換ステップは、上記データの供給源であるサーバを上記特定のサーバから他の代替サーバに切り換えることを要求する、該特定サーバからのメッセージが発行されたとき、該代替サーバに対して、上記データを要求するメッセージを、該メッセージに上記未再生レンジ情報を付加して送信するものであることを特徴とするデータ中継方法。
Requests data including at least one of image information and audio information to a specific server among a plurality of servers on the network, and relays data transmitted from the specific server in response to the request. A data relaying method for transmitting,
A message exchange step of establishing a state capable of receiving transmission data from the specific server by message exchange with respect to the specific server, and generating a reception control signal for controlling a reception operation of the transmission data;
After the receivable state of the transmission data is established, the data transmitted from the specific server, a data receiving step of receiving based on the reception control signal,
A range information generating step of generating unreproduced range information for specifying a range of an unreproduced portion in the data, based on time information relating to a reproducing process, which is given to the data for each predetermined data unit. ,
The message exchange step includes, when a message from the specific server is issued, requesting to switch a server that is a source of the data from the specific server to another alternative server; A data relay method, wherein a message requesting the data is transmitted by adding the unplayed range information to the message.
JP2002190839A 2001-06-29 2002-06-28 Data reproducing device and data repeater Pending JP2004007327A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002190839A JP2004007327A (en) 2001-06-29 2002-06-28 Data reproducing device and data repeater

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2001198529 2001-06-29
JP2002126983 2002-04-26
JP2002190839A JP2004007327A (en) 2001-06-29 2002-06-28 Data reproducing device and data repeater

Publications (1)

Publication Number Publication Date
JP2004007327A true JP2004007327A (en) 2004-01-08

Family

ID=30449006

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002190839A Pending JP2004007327A (en) 2001-06-29 2002-06-28 Data reproducing device and data repeater

Country Status (1)

Country Link
JP (1) JP2004007327A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005303927A (en) * 2004-04-15 2005-10-27 Sony Corp Information processing system, information processing apparatus and method, recording medium, and program
JP2007214989A (en) * 2006-02-10 2007-08-23 Nec Infrontia Corp Ip telephone exchange system, and method and program for driving ip telephone exchange system
JP2009010897A (en) * 2007-06-29 2009-01-15 Saxa Inc Voip telephone system, transfer processing method and transfer processing program in voip telephone system
JP2014532233A (en) * 2011-09-30 2014-12-04 アルカテル−ルーセント Systems and methods for mobility and multihoming content search applications

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005303927A (en) * 2004-04-15 2005-10-27 Sony Corp Information processing system, information processing apparatus and method, recording medium, and program
JP2007214989A (en) * 2006-02-10 2007-08-23 Nec Infrontia Corp Ip telephone exchange system, and method and program for driving ip telephone exchange system
JP4632964B2 (en) * 2006-02-10 2011-02-16 Necインフロンティア株式会社 IP telephone exchange system, IP telephone exchange method and program
JP2009010897A (en) * 2007-06-29 2009-01-15 Saxa Inc Voip telephone system, transfer processing method and transfer processing program in voip telephone system
JP2014532233A (en) * 2011-09-30 2014-12-04 アルカテル−ルーセント Systems and methods for mobility and multihoming content search applications
US9215283B2 (en) 2011-09-30 2015-12-15 Alcatel Lucent System and method for mobility and multi-homing content retrieval applications

Similar Documents

Publication Publication Date Title
JP2008527850A (en) Interactive multimedia data distribution system
JP4649091B2 (en) Communication terminal, server device, relay device, broadcast communication system, broadcast communication method, and program
KR102284721B1 (en) Method and apparatus for displaying application data in wireless communication system
JP4308555B2 (en) Receiving device and information browsing method
JP2002330381A (en) Data reproduction method, data receiving terminal and data receiving method
WO2011095056A1 (en) Audio processing method and device for remote desktop protocol
KR20030003098A (en) Data regenerating device and data transmitting device
KR100614276B1 (en) Interactive Broadcasting System
JP2004038575A (en) Data transmitting and receiving system, data transmitting and receiving method, information providing device, information providing method, data transmitting device, and data receiving method
WO2002098109A1 (en) Packet reception apparatus and packet reception method
KR101208382B1 (en) Efficient interworking between circuit-switched and packet-switched multimedia services defining a maximum packet size attribute
JP2001242876A (en) Method and device for receiving and reproducing data and method and device for transmitting data
JP2006352319A (en) Communication system and communication method
JP5552171B2 (en) Live media stream time shift
JP2004007327A (en) Data reproducing device and data repeater
JP4544029B2 (en) Portable terminal, streaming communication system, streaming communication method, and streaming communication program
JP2008028599A (en) Reproduction method of multimedia data, and main communication apparatus, sub-communication apparatus, and program for execution of the method
JP5532638B2 (en) Data distribution system
JP3906678B2 (en) Data communication system, data transmission apparatus, data reception apparatus and method, and computer program
JP4794640B2 (en) Transmitting apparatus and media data transmitting method
JP2019211638A (en) Processing device, output device, synchronization control system, and these control methods, as well as programs
JP2010245756A (en) Communication network system, method of reproducing content, and server
KR100585718B1 (en) Multimedia streaming service method for mobile communication terminal
Bhalla et al. One Architecture Overview
JP2002152256A (en) Address converter and its method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080129

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080527