【０００１】
【発明の属する技術分野】
本発明は、音声データ、映像データ、テキストデータ又は静止画データなどのメディアデータのパケットデータを送信するメディアサーバー、メディア受信端末装置及びメディア配信システムに関する。
【０００２】
【従来の技術】
インターネット又は無線通信網などのパケット通信回線を通して、画像データ又は音声データなどのディジタルデータ（マルチメディアデータ）を伝送する場合、ＩＥＴＦ（Ｉｎｔｅｒｎｅｔ Ｅｎｇｉｎｅｅｒｉｎｇ Ｔａｓｋ Ｆｏｒｃｅ）で定められたＲＴＰ（Ｒｅａｌ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）／ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）が広く用いられている。
【０００３】
ＲＴＰ／ＵＤＰは、リアルタイム性を必要とするＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）電話機、ストリーミングアプリケーション又は受信端末装置へ片方向にデータを配信するブロードキャストアプリケーション及びマルチキャストアプリケーションに好適であり、広く用いられている。
【０００４】
次に、ＲＴＰ／ＵＤＰが放送マルチキャストで用いられる場合について説明する。
【０００５】
サーバーは、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）などの符号化方式で符号化された画像データ又は音楽データをペイロードとして、パケット作成時刻及びパケットの順序を表すシーケンス番号などを付与してＲＴＰパケットデータを構成しクライアントの受信端末装置に送信する。
【０００６】
受信端末装置は、サーバーから受信したＲＴＰパケットデータのペイロードから画像データ又は音楽データなどのメディアデータを再生する。
【０００７】
パケット通信回線においては、ネットワークの輻輳又はパケットデータのビット誤りのため、パケットデータが受信できなかったり、正しく受信できなかったりすることがある。特に、パケット通信回線においては、重要なパケットデータが欠落すると画質及び音質の著しい劣化を招くことになる。
【０００８】
ここで、ＲＴＰパケットデータのフォーマットについて図８を用いて説明する。ＲＴＰパケットデータ８００は、ＲＴＰヘッダとＲＴＰペイロードから構成される。ＲＴＰヘッダの０ビット目から８ビット目までには、バージョン情報等が格納される。ＲＴＰヘッダの９ビット目から１５ビット目までには、ペイロードタイプ（ＰＴ）の情報が格納される。ＲＴＰヘッダの１６ビット目から３１ビット目までには、シーケンス番号（ＳＮ）が格納される。以降、タイムスタンプ（ＴＳ）、ＳＳＲＣが３２ビットずつ格納される。これにＲＴＰペイロードが続き、メディアデータがＲＴＰペイロードとして格納される。
【０００９】
タイムスタンプ（ＴＳ）には再生する時刻に関する情報が格納されている。ＳＳＲＣには、ＲＴＰパケットデータを送信する送信装置を識別する一意の値が格納されている。ペイロードタイプ（ＰＴ）の値は、ＲＴＰパケットデータの伝送以前にあらかじめ通知されており、通知されていないＰＴ値が受信された場合には、無関係なセッションのパケットデータと判断することができる。
【００１０】
ＲＴＰパケットデータ中のシーケンス番号（ＳＮ）の情報にはパケットデータが生成された順序が連続して記録されているので、これらのシーケンス番号をパケットデータの受信毎に確認し、番号の不連続を検出した時点で受信できなかったパケットデータが存在することを検出することが可能である。
【００１１】
特に、ブロードキャストアプリケーション及びマルチキャストアプリケーションでは、片方向の通信であるため、パケットデータが欠落を検出しても、受信端末装置はサーバーに対して再送を要求したりできない。
【００１２】
そのため、ＲＴＰパケットデータの欠落を未然に防ぐため、サーバーから複数個の一のＲＴＰパケットデータを送信することが提案されている。例えば、特許文献１に記載の技術によれば、ＲＴＰパケットデータの送信時において、ＲＴＰパケットデータを複製して複数の複製パケットデータを生成し、複数の同一のＲＴＰパケットデータを送信することにより、再送を行わずにＲＴＰパケットデータの破棄を防止するようにしている。
【００１３】
【特許文献１】
特開２００１−２６８１２１号公報
【００１４】
【発明が解決しようとする課題】
しかしながら、特許文献１に記載の技術においては、ＲＴＰパケットデータを複製して複数の複製パケットデータを生成し、複数の同一のＲＴＰパケットデータを送信するため、次のような課題がある。
【００１５】
受信端末装置は、受信したＲＴＰパケットデータのパケット廃棄率およびパケット廃棄数を算出し、送信側に受信報告パケット（ＲＲパケット）として送信する必要がある。受信端末装置において、パケット廃棄の判定は、ＲＴＰパケットデータに付与されたシーケンス番号（ＳＮ）が連続かどうかを検査することによって行われ、シーケンス番号（ＳＮ）が不連続であった場合にパケット廃棄があったと判定される。
【００１６】
したがって、ＲＴＰパケットデータを複製して複数の複製パケットデータを生成し、複数の同一のＲＴＰパケットデータを送信する場合には、複数の同一のＲＴＰパケットデータに同一のシーケンス番号（ＳＮ）が付与されるため、実際に伝送路上で輻輳等の影響により複製されたＲＴＰパケットデータのうち一部が廃棄されても、シーケンス番号（ＳＮ）は不連続にならないから、受信端末装置ではパケットロス（廃棄）とは判定されないことになる。
【００１７】
以上のように、従来の特許文献１に記載の技術においては、パケットロス数に関する統計情報を正確に算出できないため、受信端末装置が統計情報を正確に把握することができないという問題がある。
【００１８】
本発明は、かかる点に鑑みてなされたものであり、パケットロス数に関する統計情報を正確に算出することによりメディア受信端末装置がパケットロス数に関する統計情報を正確に把握することができるメディアサーバー、メディア受信端末装置及びメディア配信システムを提供することを目的をする。
【００１９】
【課題を解決するための手段】
請求項１に係るメディアサーバーは、メディアデータを構成するＲＴＰパケットデータを通信網に送出するメディアサーバーであって、前記メディアデータの１伝送単位から１つの前記ＲＴＰパケットデータのペイロードを生成するペイロード生成手段と、前記ペイロードを複製して１又は複数の複製ペイロードを生成するペイロード複製手段と、前記ペイロード及び前記複製ペイロードのシーケンス番号を送出する順序で決定するシーケンス番号決定手段と、前記ペイロード及び前記複製ペイロードに決定された前記シーケンス番号を付与するシーケンス番号付与手段と、を具備する構成を採る。
【００２０】
この構成によれば、ペイロードを複製して１又は複数の複製ペイロードを生成し、前記ペイロード及び前記複製ペイロードのシーケンス番号を送出する順序で決定するため、パケットロス数に関する統計情報を正確に算出することができるから、メディア受信端末装置がパケットロス数に関する統計情報を正確に把握することができる。
【００２１】
請求項２に係るメディアサーバーは、メディアデータを構成するＲＴＰパケットデータを通信網に送出するメディアサーバーであって、前記メディアデータの１伝送単位から１つのＲＴＰパケットデータのペイロードを生成するペイロード生成手段と、前記ペイロードを複製して１又は複数の複製ペイロードを生成するペイロード複製手段と、前記ペイロード及び前記複製ペイロードのシーケンス番号を送出する順序で決定するシーケンス番号決定手段と、前記ペイロード及び前記複製ペイロードの再生すべき時刻を表すタイムスタンプ情報を決定するタイムスタンプ決定手段と、前記ＲＴＰパケットデータの伝送に用いる全てのペイロード識別子を記憶しておく複数ペイロード識別子記憶手段と、前記ペイロード識別子のうちの適切なペイロード識別子を選択するペイロード識別子選択手段と、前記ペイロード又は前記複製ペイロードと前記シーケンス番号と前記ペイロード識別子と前記タイムスタンプとから前記ＲＴＰパケットデータを構成するパケット構成手段と、前記パケット構成手段で構成された前記ＲＴＰパケットデータを送出するパケット送信手段と、を具備する構成を採る。
【００２２】
この構成によれば、ペイロードを複製して１又は複数の複製ペイロードを生成し、前記ペイロード及び前記複製ペイロードのシーケンス番号を送出する順序で決定するため、パケットロス数に関する統計情報を正確に算出することができるから、メディア受信端末装置がパケットロス数に関する統計情報を正確に把握することができる。
【００２３】
請求項３に係るメディアサーバーは、請求項１又は請求項２に記載の発明において、前記パケット送信手段が、ブロードキャストアドレスを用いて、前記ブロードキャストアドレスの指定するネットワークに接続された全てのメディア受信端末装置にメディアデータを送信する構成を採る。
【００２４】
この構成によれば、ペイロードを複製して１又は複数の複製ペイロードを生成し、前記ペイロード及び前記複製ペイロードのシーケンス番号を送出する順序で決定するため、パケットロス数に関する統計情報を正確に算出することができるから、メディア受信端末装置がパケットロス数に関する統計情報を正確に把握することができる。
【００２５】
請求項４に係るメディアサーバーは、請求項１又は請求項２に記載の発明において、前記パケット送信手段が、マルチキャストアドレスを用いて、前記マルチキャストアドレスの指定するネットワークに接続され、かつ、マルチキャスト配信の受信を希望した全てのメディア受信端末装置にメディアデータを送信する構成を採る。
【００２６】
この構成によれば、ペイロードを複製して１又は複数の複製ペイロードを生成し、前記ペイロード及び前記複製ペイロードのシーケンス番号を送出する順序で決定するため、パケットロス数に関する統計情報を正確に算出することができるから、メディア受信端末装置がパケットロス数に関する統計情報を正確に把握することができる。
【００２７】
請求項５に係るメディア受信端末装置は、メディアサーバーから送信されるメディアデータのＲＴＰパケットデータを受信するパケット受信手段と、前記パケット受信手段により受信された前記ＲＴＰパケットデータに基づいて前記メディアデータを再生するメディア再生手段と、を具備するメディア受信端末装置であって、前記パケット受信手段により受信した前記ＲＴＰパケットデータのシーケンス番号が連続か否かを検査することによりパケットロスを検出するパケットロス検出手段を具備する構成を採る。
【００２８】
この構成によれば、ペイロード及び前記ペイロードの複製である複数の複製ペイロードのシーケンス番号を送出する順序で決定することにより生成されたパケットデータを受信し、パケットロス数に関する統計情報を正確に算出することができるから、メディア受信端末装置がパケットロス数に関する統計情報を正確に把握することができる。
【００２９】
請求項６に係るメディア受信端末装置は、メディアサーバーから送信されるメディアデータのＲＴＰパケットデータを受信するパケット受信手段と、前記パケット受信手段により受信された前記ＲＴＰパケットデータに基づいて前記メディアデータを再生するメディア再生手段と、を具備するメディア受信端末装置であって、前記パケット受信手段により受信したＲＴＰパケットデータのペイロード識別子を基にオリジナルパケットデータと複製パケットデータを分離する分離手段と、前記オリジナルパケットデータを格納するオリジナルパケット格納手段と、前記複製パケットデータを格納する複製パケット格納手段と、前記パケット受信手段により受信した前記ＲＴＰパケットデータのシーケンス番号が連続か否かを検査することによりパケットロスを検出するパケットロス検出手段と、前記パケットロスがない時に前記オリジナルパケット格納手段の前記オリジナルパケットデータのみを用いてパケットデータを再構成して前記メディア再生手段に与え、かつ、前記パケットロスがある時にロスした前記オリジナルパケットデータに対応する前記複製パケットを前記複製パケット格納手段より取り出しパケットデータを再構成して前記メディア再生手段に与えるパケット再構成手段と、を具備する構成を採る。
【００３０】
この構成によれば、ペイロード及び前記ペイロードの複製である複数の複製ペイロードのシーケンス番号を送出する順序で決定することにより生成されたパケットデータを受信し、パケットロス数に関する統計情報を正確に算出することができるから、メディア受信端末装置がパケットロス数に関する統計情報を正確に把握することができる。
【００３１】
請求項７に係るメディア受信端末装置は、請求項６記載の発明において、前記分離手段が、予め通知されたオリジナルパケットデータのペイロード識別子に基づいて前記オリジナルパケットデータと前記複製パケットデータとを分離する構成を採る。
【００３２】
この構成によれば、ペイロード及び前記ペイロードの複製である複数の複製ペイロードのシーケンス番号を送出する順序で決定することにより生成されたパケットデータを受信し、パケットロス数に関する統計情報を正確に算出することができるから、メディア受信端末装置がパケットロス数に関する統計情報を正確に把握することができる。
【００３３】
請求項８に係るメディア受信端末装置は、請求項６記載の発明において、前記分離手段が、前記メディアデータの受信開始後に最初に受信した前記メディアデータの前記ペイロード識別子をオリジナルパケットデータのペイロード識別子と判定して当該ペイロード識別子に基づいて前記オジナルパケットデータと前記複製パケットデータとを分離する構成を採る。
【００３４】
この構成によれば、ペイロード及び前記ペイロードの複製である複数の複製ペイロードのシーケンス番号を送出する順序で決定することにより生成されたパケットデータを受信し、パケットロス数に関する統計情報を正確に算出することができるから、メディア受信端末装置がパケットロス数に関する統計情報を正確に把握することができまた、受信の時のパケットデータの待ち時間を短縮することができる。
【００３５】
請求項９に係るメディア配信システムは、請求項３に記載のメディアサーバーと、請求項５から請求項８のいずれかに記載のメディア受信端末装置と、を具備し、前記メディアサーバーは前記メディアデータを無線網を介して前記メディア受信端末装置に送信する構成を採る。
【００３６】
この構成によれば、ペイロードを複製して１又は複数の複製ペイロードを生成し、前記ペイロード及び前記複製ペイロードのシーケンス番号を送出する順序で決定するため、パケットロス数に関する統計情報を正確に算出することができるから、メディア受信端末装置がパケットロス数に関する統計情報を正確に把握することができる。
【００３７】
請求項１０に係るメディア配信システムは、請求項４に記載のメディアサーバーと、請求項５から請求項８のいずれかに記載のメディア受信端末装置と、を具備し、前記メディアサーバーは前記メディアデータを無線網を介して前記メディア受信端末装置に送信する構成を採る。
【００３８】
この構成によれば、ペイロードを複製して１又は複数の複製ペイロードを生成し、前記ペイロード及び前記複製ペイロードのシーケンス番号を送出する順序で決定するため、パケットロス数に関する統計情報を正確に算出することができるから、メディア受信端末装置がパケットロス数に関する統計情報を正確に把握することができる。
【００３９】
請求項１１に係るメディアデータ送信方法は、メディアデータを構成するＲＴＰパケットデータを通信網に送出するメディアサーバーにおけるメディア送信方法であって、前記メディアデータの１伝送単位から１つの前記ＲＴＰパケットデータのペイロードを生成するペイロード生成ステップと、前記ペイロードを複製して１又は複数の複製ペイロードを生成するペイロード複製ステップと、前記ペイロード及び前記複製ペイロードのシーケンス番号を送出する順序で決定するシーケンス番号決定ステップと、前記ペイロード及び前記複製ペイロードに決定された前記シーケンス番号を付与するシーケンス番号付与ステップと、を具備するようにした。
【００４０】
この方法によれば、ペイロードを複製して１又は複数の複製ペイロードを生成し、前記ペイロード及び前記複製ペイロードのシーケンス番号を送出する順序で決定するため、パケットロス数に関する統計情報を正確に算出することができるから、メディア受信端末装置がパケットロス数に関する統計情報を正確に把握することができる。
【００４１】
【発明の実施の形態】
本発明の骨子は、メディアデータの１伝送単位から１つのＲＴＰパケットデータのペイロードを生成し、前記ペイロードを複製して１又は複数の複製ペイロードを生成し、前記ペイロード及び前記複製ペイロードのシーケンス番号を送出する順序で決定し、前記ペイロード及び前記複製ペイロードに決定された前記シーケンス番号を付与することである。
【００４２】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００４３】
（実施の形態１）
図１は、本発明の実施の形態１に係るメディアサーバーの構成を示すブロック図である。
【００４４】
図１に示すように、本発明の実施の形態１に係るメディアサーバー１００は、メディア格納部１１０、ＲＴＰ送信部１２０、ＵＤＰ送信部１３０及びＩＰ送信部１４０を具備している。
【００４５】
メディア格納部１１０は、ビデオデータ、音声データ、テキストデータ又は静止画データなどのメディアデータと再生するべき時刻情報とを格納するものである。ＲＴＰ送信部１２０は、メディア格納部１１０からメディアデータを受けてメディアデータの１伝送単位ごとにＲＴＰパケットデータを構成し送出する。ＵＤＰ送信部１３０は、ＲＴＰ送信部１２０から受けるＲＴＰパケットデータをＵＤＰパケットデータに変換して送出する。ＩＰ送信部１４０は、ＵＤＰ送信部１３０からのＵＤＰパケットデータをＩＰパケットデータに変換して送信する。
【００４６】
ＲＴＰ送信部１２０は、ペイロード生成部１２１、タイムスタンプ決定部１２２、複数ペイロードタイプ記憶部１２３、ペイロードタイプ選択部１２４、シーケンス番号決定部１２５、ペイロードタイムスタンプ複製部１２６及びＲＴＰパケット構成部１２７を具備している。
【００４７】
ペイロード生成部１２１は、メディア格納部１１０からメディアデータを受けてメディアデータの１伝送単位ごとにＲＴＰパケットデータのペイロードを生成してＲＴＰパケット構成部１２７に与える。タイムスタンプ決定部１２２は、ペイロード生成部１２１が受けるメディアデータの再生すべき時刻を表すタイムスタンプ情報をメディア格納部１１０から受けて、ＲＴＰパケットデータのタイムスタンプ情報を決定して一定周期ごとにＲＴＰパケット構成部１２７に与える。
【００４８】
複数ペイロードタイプ記憶部１２３は、ＲＴＰパケットデータの伝送に用いる全てのペイロードタイプ（ＰＴ）｛ペイロード識別子｝を記憶しておく。ペイロードタイプ選択部１２４は、複数ペイロードタイプ記憶部１２３に記憶されているペイロードタイプ（ＰＴ）のうちの適切なペイロードタイプ（ＰＴ）を選択してＲＴＰパケット構成部１２７に与える。シーケンス番号（ＳＮ）決定部１２５は、ペイロード及び複製ペイロードのシーケンス番号（ＳＮ）を送出する順序で決定してＲＴＰパケット構成部１２７に与える。
【００４９】
ＲＴＰパケット構成部１２７は、ペイロード生成部１２１からのペイロード及びタイムスタンプ決定部１２２からのタイムスタンプ情報を受けてペイロードタイムスタンプ複製部１２６に与え、かつ、制御信号をペイロードタイムスタンプ複製部１２６に与える。ペイロードタイムスタンプ複製部１２６は、ＲＴＰパケット構成部１２７からペイロード、タイムスタンプ及び制御信号を受けて、制御信号に基づいてペイロード及びタイムスタンプを複製して１又は複数の複製ペイロード及び複製タイムスタンプを生成してＲＴＰパケット構成部１２７に与える。
【００５０】
この場合に、ＲＴＰパケット構成部１２７は、タイムスタンプの値が一定周期ごとに変わるから、前記一定周期ごとのＲＴＰパケットデータの数に基づいて複製ペイロード及び複製タイムスタンプの数を指示する制御信号をペイロードタイムスタンプ複製部１２６に与え、かつ、ペイロードタイムスタンプ複製部１２６から複製ペイロード及び複製タイムスタンプを受ける。また、ＲＴＰパケット構成部１２７は、ペイロード、ペイロードタイムスタンプ情報、ペイロードタイプ、複製ペイロード及び複製タイムスタンプなどに基づいて、ＲＴＰパケットデータを構成してＵＤＰ送信部１３０に与える。
【００５１】
次に、本発明の実施の形態１に係るメディアサーバー１００の動作の１具体例について、図面を参照して説明する。
【００５２】
ここで、ＲＴＰパケットデータのフォーマットについて図２を用いて説明する。ＲＴＰパケットデータ２００は、ＲＴＰヘッダとＲＴＰペイロードから構成される。ＲＴＰヘッダの０ビット目から８ビット目までには、バージョン情報等が格納される。ＲＴＰヘッダの９ビット目から１５ビット目までには、ペイロードタイプ（ＰＴ）の情報が格納される。ＲＴＰヘッダの１６ビット目から３１ビット目までには、シーケンス番号（ＳＮ）が格納される。シーケンス番号（ＳＮ）は、シーケンス番号決定部１２５によりＲＴＰペイロードが送出される順序で決定される。以降、タイムスタンプ（ＴＳ）、ＳＳＲＣが３２ビットづつ格納される。これにＲＴＰペイロードが続き、メディアデータがＲＴＰペイロードとして格納される。
【００５３】
タイムスタンプ（ＴＳ）には再生する時刻に関する情報が格納されている。ＳＳＲＣには、ＲＴＰパケットデータを送信する送信装置を識別する一意の値が格納されている。ペイロードタイプ（ＰＴ）の値は、ＲＴＰパケットデータの伝送以前にあらかじめ通知されており、通知されていないＰＴ値が受信された場合には、無関係なセッションのパケットデータと判断することができる。
【００５４】
ＲＴＰパケットデータ中のシーケンス番号（ＳＮ）の情報にはパケットデータが生成された順序が連続して記録されているので、これらのシーケンス番号をパケットデータの受信毎に確認し、番号の不連続を検出した時点で受信できなかったパケットデータ（パケットロス）が存在することを検出することが可能である。
【００５５】
図３に示す実際のパケットデータの送信例においては、ＳＮ＝１からＳＮ＝３までのＲＴＰパケットデータはペイロードタイプ（ＰＴ）＝９６で送信するオリジナルパケットデータであり、ＴＳ＝ＴＳ１が付与される。ＳＮ＝４からＳＮ＝６までのＲＴＰパケットデータはペイロードタイプ（ＰＴ）＝９７で送信され、ＴＳはＴＳ１が付与される。つまり、ＲＴＰパケットデータとしては、ＳＮ＝１からＳＮ＝３までのＲＴＰパケットデータと、ＳＮ＝４からＳＮ＝６までのＲＴＰパケットデータは、メディアデータとしては同じであるが、ＳＮが異なるためＲＴＰパケットデータとしては異なることになる。同様に、ＳＮ＝７からＳＮ＝９までのＲＴＰパケットデータはＰＴ＝９８で送信され、ＴＳはＴＳ１が付与される。
【００５６】
次に、ＰＴを事前に通知する方法として、ＩＥＴＦでＲＦＣ２３２７として標準化されているＳＤＰ（Ｓｅｓｓｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ Ｐｒｏｔｏｃｏｌ）を用いる例について説明する。受信端末装置は実際のメディアデータの受信及び再生を開始する前に、メディアサーバー１００から定期的に送信されるＳＤＰファイルを取得し、ＳＤＰファイルを解釈する。
【００５７】
図４は、取得したＳＤＰファイルの例を説明するための図である。「ｍ＝ｖｉｄｅｏ １０２４ ＲＴＰ／ＡＶＰ ９６−９８」は、メディアデータの種類としてビデオデータが送信されることを示し、その伝送はペイロードタイプ（ＰＴ）９６から９８が用いられることを表す。「ａ＝ＲＴＰｍａｐ：９６−９８ Ｈ２６３−２０００／９００００」はビデオデータをＲＴＰペイロードにマッピングするためのペイロードフォーマットとしてＨ２６３−２０００を用いることなどを表す。「ａ＝ｆｍｔｐ：９６ ｏｒｉｇｉｎａｌ＝１」は、ペイロードタイプが９６であるストリームデータが、重複伝送しない場合のＲＴＰパケットデータであることを表し、その他（この場合は９７、９８）のペイロードタイプを持つＲＴＰパケットデータはペイロードが複製されたストリームデータであることを表す。
【００５８】
（実施の形態２）
次に、本発明の実施の形態２について、図面を参照して詳細に説明する。図５は、本発明の実施の形態２に係るメディア受信端末装置の構成を示すブロック図である。
【００５９】
図５に示すように、本発明の実施の形態２に係るメディア受信端末装置５００は、ＩＰ受信部５１０、ＵＤＰ受信部５２０、ＲＴＰ受信部５３０、メディア再生部５４０、統計情報記憶部５５０及び統計情報表示部５６０を具備している。メディア再生部５４０は、再生バッファ５４１を有している。
【００６０】
ＩＰ受信部５１０は、メディアサーバー１００からのＩＰパケットデータを受信してＵＤＰパケットデータに変換してＵＤＰ受信部５２０に与える。ＵＤＰ受信部５２０は、ＵＤＰパケットデータを受けてＲＴＰパケットデータに変換してＲＴＰパケットデータをＲＴＰ受信部５３０に与える。ＲＴＰ受信部５３０は、ＲＴＰパケットデータを受信してＲＴＰパケットデータを再構築してメディア再生部５４０の再生バッファ５４１に与える。メディア再生部５４０は、再生バッファ５４１に記憶されたＲＴＰパケットデータのペイロードに含まれるメディアデータをタイムスタンプ（ＴＳ）を基に再生する。
【００６１】
また、ＲＴＰ受信部５３０は、統計情報を統計情報記憶部５５０に与えて記憶させる。統計情報表示部５６０は、統計情報記憶部５５０に記憶された統計情報を表示する。
【００６２】
ＲＴＰ受信部５３０は、ＲＴＰパケット受信部５３１、パケットデータ分離部５３２、オリジナルパケット格納部５３３、複製パケット格納部５３４、パケットロス検出部５３５、パケット再構成部５３６及び統計値算出部５３７を具備している。
【００６３】
ＲＴＰパケット受信部５３１は、ＵＤＰ受信部５２０からのＲＴＰパケットデータを受信し受信処理してパケットデータ分離部５３２に与える。パケットデータ分離部５３２は、受信したＲＴＰパケットデータのペイロードタイプ（Ｐ）値を基にＲＴＰパケットデータをオリジナルパケットデータと複製パケットデータとに分離し、オリジナルパケットデータをオリジナルパケット格納部５３３に与え、かつ、複製パケットデータを複製パケット格納部５３４に与える。
【００６４】
オリジナルパケット格納部５３３は、パケットデータ分離部５３２からのオリジナルパケットデータを格納する。複製パケット格納部５３４は、パケットデータ分離部５３２からの複製パケットデータを格納する。パケットロス検出部５３５は、ＲＴＰパケット受信部５３１が受信したＲＴＰパケットデータのシーケンス番号（ＳＮ）値が連続であるか否かを検査することにより、パケットロスがあるか否かを判断してパケットロスがあるシーケンス番号（ＳＮ）値をパケット再構成部５３６及び統計値算出部５３７に与える。すなわち、パケットロス検出部５３５は、ＲＴＰパケットデータのシーケンス番号（ＳＮ）値が連続であるか否かを検査することにより、欠落したシーケンス番号（ＳＮ）値がある場合に当該シーケンス番号（ＳＮ）に対応したＲＴＰパケットデータがロスしたと判断して、パケットロスがあるシーケンス番号（ＳＮ）値をパケット再構成部５３６及び統計値算出部５３７に与える。
【００６５】
パケット再構成部５３６は、パケットロス検出部５３５からのパケットロスがあるシーケンス番号（ＳＮ）値の報告がない時にはオリジナルパケット格納部５３３からオリジナルパケットデータを読み出してメディア再生部５４０の再生バッファ５４１に与える。また、パケット再構成部５３６は、パケットロス検出部５３５からのパケットロスがあるシーケンス番号（ＳＮ）値の報告がある時には複製パケット格納部５３４から複製パケットデータを読み出してメディア再生部５４０の再生バッファ５４１に与える。
【００６６】
統計値算出部５３７は、パケットロス検出部５３５からのパケットロスがあるシーケンス番号（ＳＮ）値の報告を受けて、パケットロス率又はパケットロス数等のパケットロス数に関する統計値を算出して統計情報記憶部５５０に与える。
【００６７】
次に、本発明の実施の形態２に係るメディア受信端末装置５００のパケット再構成部５３６の動作の１具体例について、図５と共に図６を参照して説明する。
【００６８】
ステップＳＴ６０１においてパケット再構成部５３６はパケットロスの検出か否かを判断し、すなわち、パケットロス検出部５３５からのパケットロスがあるシーケンス番号（ＳＮ）値の報告を受けたか否かを判断する。ステップＳＴ６０１においてパケットロスの検出がない時には、オリジナルパケット格納部５３３からオリジナルパケットデータを読み出してメディア再生部５４０の再生バッファ５４１に与える（ステップＳＴ６０２）。
【００６９】
ステップＳＴ６０１においてパケットロスの検出がある時には、パケットロスがあるシーケンス番号（ＳＮ）値の報告に対応した複製パケットデータを受信したかを判断する（ステップＳＴ６０３）。ステップＳＴ６０３において、複製パケットデータを受信していない時には、タイマーの値が０であるか否かを判断する（ステップＳＴ６０４）。このタイマーは、その値がタイムスタンプ（ＴＳ）により決められる所定の設定期間ごとにリセットされて０とされる。
【００７０】
ステップＳＴ６０４においてタイマーの値が０でない時には、ステップＳＴ６０３に戻る。ステップＳＴ６０４においてタイマーの値が０である時には、ステップＳＴ６０１に戻る。テップＳＴ６０３において、複製パケットデータを受信している時には、パケット再構成部５３６は当該複製パケットデータをメディア再生部５４０の再生バッファ５４１に格納する。
【００７１】
次に、本発明の実施の形態２に係るメディア受信端末装置５００の統計値算出部５３７、統計情報記憶部５５０及び統計情報表示部５６０の動作の１具体例について、図５と共に図７を参照して説明する。
【００７２】
ステップＳＴ７０１において統計値算出部５３７はパケットデータの受信を判断し、パケットデータが受信された場合はステップＳＴ７０２に進む。ステップＳＴ７０２において、受信されたパケットデータのＳＮが前回のＳＮであるＳＮ＿ｌａｓｔに比べて１増分されているかどうか検査する。ステップＳＴ７０２において受信されたパケットデータのＳＮが前回のＳＮであるＳＮ＿ｌａｓｔに比べて１増分されている場合には、パケットロスなく受信されたと判定し、統計情報である「受信パケット数」を１増分し（ステップＳＴ７０３）、その後にステップＳＴ７０６に進む。
【００７３】
ステップＳＴ７０２において受信されたパケットデータのＳＮが前回のＳＮであるＳＮ＿ｌａｓｔに比べて１増分されていない場合には、（ＳＮ−ＳＮ＿ｌａｓｔ―１）個のパケットロスが発生したと判定し、パケットロス数を（ＳＮ−ＳＮ＿ｌａｓｔ―１）増分する（ステップＳＴ７０４）。同様に、統計値算出部５３７は、セッション開始以来のパケットロス総数を（ＳＮ−ＳＮ＿ｌａｓｔ―１）増分する（ステップＳＴ７０５）。次に、統計値算出部５３７は、パケットロス率を、パケットロス数を（受信パケット数＋パケットロス数）で除算することによって算出する（ステップＳＴ７０６）。
【００７４】
次に、統計値算出部５３７は、タイマーの値が０かどうか検査する（ステップＳＴ７０７）。このタイマーは、その値がタイムスタンプ（ＴＳ）により決められる所定の設定期間ごとにリセットされて０とされる。ステップＳＴ７０７においてタイマーの値が０になっていない場合は、統計情報を記憶及び表示する周期に至っていないため、ステップＳＴ７０１に戻る。
【００７５】
ステップＳＴ７０７においてタイマーの値が０になった場合は、統計情報を記憶及び表示する周期になったため、統計情報記憶部５５０及び統計情報表示部５６０はパケットロス数、パケットロス率、受信パケット数及びパケットロス総数などのパケットロス数に関する統計情報を記憶及び表示する（ステップＳＴ７０８）。次に、統計値算出部５３７は、パケットロス総数を除いたパケットロス数、パケットロス率及び受信パケット数などのパケットロス数に関する統計情報を０にリセットし（ステップＳＴ７０９）、タイマーの値を０にリセットする（ステップＳＴ７１０）。
【００７６】
なお、本発明の実施の形態２において、予めオリジナルパケットデータを示すペイロードタイプがＳＤＰによって通知されていたが、ペイロードタイプが通知されない場合であっても、最も早く受信したパケットデータのペイロードタイプをオリジナルパケットデータのペイロードタイプと判定して、以下前述と同様の動作をしてもよい。この場合に、パケットデータ分離部５３２は、メディアデータの受信開始後に最初に受信した前記メディアデータのペイロード識別子をオリジナルパケットデータのペイロード識別子と判定して当該ペイロード識別子に基づいてオジナルパケットデータと複製パケットデータとを分離する。
【００７７】
また、本発明の実施の形態２では、ペイロード識別子は、ＲＴＰパケットデータ内のペイロードタイプ（ＰＴ）のフィールドを用いたが、これに限るものではなく、例えば、ＲＴＰパケットデータのＳＳＲＣフィールドを用いてもよい。
【００７８】
なお、本発明は、図１のメディアサーバー１００と図５のメディア受信端末装置とを組み合わせたメディア配信システムを含むのである。また、メディア配信システムにおいて、メディアサーバー１００のＲＴＰ送信部１２０は、ブロードキャストアドレスを用いて、前記ブロードキャストアドレスの指定するネットワークに接続された全てのメディア受信端末装置にメディアデータを送信するようにしてもよい。
【００７９】
また、メディア配信システムにおいて、メディアサーバー１００のＲＴＰ送信部１２０は、マルチキャストアドレスを用いて、前記マルチキャストアドレスの指定するネットワークに接続され、かつマルチキャスト配信の受信を希望した全てのメディア受信端末装置にメディアデータを送信するようにしてもよい。
【００８０】
【発明の効果】
以上説明したように、本発明によれば、パケットロス数に関する統計情報を正確に算出することによりメディア受信端末装置がパケットロス数に関する統計情報を正確に把握することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係るメディアサーバーの構成を示すブロック図
【図２】本発明の実施の形態１に係るメディアサーバーに用いるパケットデータを説明するための図
【図３】本発明の実施の形態１に係るメディアサーバーの動作を説明するための図
【図４】本発明の実施の形態１に係るメディアサーバーの動作を説明するための他の図
【図５】本発明の実施の形態２に係るメディア受信端末装置の構成を示すブロック図
【図６】本発明の実施の形態２に係るメディア受信端末装置のパケット再構成部の動作の１具体例を説明するためのフロー図
【図７】本発明の実施の形態２に係るメディア受信端末装置の統計値算出部、統計情報記憶部及び統計情報表示部の動作の１具体例を説明するためのフロー図
【図８】従来の技術において用いるパケットデータを説明するための図
【符号の説明】
１００ メディアサーバー
１１０ メディア格納部
１２０ ＲＴＰ送信部
１３０ ＵＤＰ送信部
１４０ ＩＰ送信部
１２１ ペイロード生成部
１２２ タイムスタンプ決定部
１２３ 複数ペイロードタイプ記憶部
１２４ ペイロードタイプ選択部
１２５ シーケンス番号決定部
１２６ ペイロードタイムスタンプ複製部
１２７ ＲＴＰパケット構成部
５００ メディア受信端末装置
５１０ ＩＰ受信部
５２０ ＵＤＰ受信部
５３０ ＲＴＰ受信部
５４０ メディア再生部
５５０ 統計情報記憶部
５６０ 統計情報表示部
５４１ 再生バッファ
５３１ ＲＴＰパケット受信部
５３２ パケットデータ分離部
５３３ オリジナルパケット格納部
５３４ 複製パケット格納部
５３５ パケットロス検出部
５３６ パケット再構成部
５３７ 統計値算出部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a media server, a media receiving terminal device, and a media distribution system that transmit packet data of media data such as audio data, video data, text data, or still image data.
[0002]
[Prior art]
When transmitting digital data (multimedia data) such as image data or audio data via a packet communication line such as the Internet or a wireless communication network, RTP (Real Time Protocol) / UDP defined by the IETF (Internet Engineering Task Force). (User Datagram Protocol) is widely used.
[0003]
RTP / UDP is suitable and widely used for IP (Internet Protocol) telephones, streaming applications, or broadcast applications and multicast applications that distribute data in one direction to receiving terminal devices that require real-time properties.
[0004]
Next, a case where RTP / UDP is used in broadcast multicast will be described.
[0005]
The server composes RTP packet data by using image data or music data encoded by an encoding method such as MPEG (Moving Picture Expert Group) as a payload, adding a packet creation time and a sequence number indicating a packet order, and the like. And sends it to the receiving terminal device of the client.
[0006]
The receiving terminal device reproduces media data such as image data or music data from the payload of the RTP packet data received from the server.
[0007]
In packet communication lines, packet data may not be received or may not be received correctly due to network congestion or packet data bit errors. In particular, in a packet communication line, loss of important packet data leads to remarkable deterioration of image quality and sound quality.
[0008]
Here, the format of the RTP packet data will be described with reference to FIG. The RTP packet data 800 includes an RTP header and an RTP payload. Version information and the like are stored in the 0th to 8th bits of the RTP header. Payload type (PT) information is stored in the ninth to fifteenth bits of the RTP header. A sequence number (SN) is stored in the 16th to 31st bits of the RTP header. Thereafter, the time stamp (TS) and the SSRC are stored in 32-bit units. This is followed by the RTP payload, and the media data is stored as the RTP payload.
[0009]
The time stamp (TS) stores information about the time of reproduction. The SSRC stores a unique value for identifying a transmitting device that transmits RTP packet data. The value of the payload type (PT) is notified in advance before the transmission of the RTP packet data, and if a PT value that is not notified is received, it can be determined that the packet data is for an unrelated session.
[0010]
Since the sequence in which the packet data was generated is continuously recorded in the information of the sequence number (SN) in the RTP packet data, these sequence numbers are checked each time the packet data is received, and the discontinuity of the number is checked. It is possible to detect the presence of packet data that could not be received at the time of detection.
[0011]
In particular, in the broadcast application and the multicast application, since the communication is one-way, even if the packet data is detected as missing, the receiving terminal device cannot request the server to retransmit.
[0012]
Therefore, in order to prevent the loss of RTP packet data, it has been proposed to transmit a plurality of one RTP packet data from a server. For example, according to the technology described in Patent Literature 1, at the time of transmitting RTP packet data, the RTP packet data is duplicated to generate a plurality of duplicate packet data, and a plurality of identical RTP packet data are transmitted. RTP packet data is prevented from being discarded without performing retransmission.
[0013]
[Patent Document 1]
JP 2001-268121 A
[0014]
[Problems to be solved by the invention]
However, the technique described in Patent Document 1 involves the following problem because the RTP packet data is duplicated to generate a plurality of duplicated packet data and transmit a plurality of identical RTP packet data.
[0015]
The receiving terminal device needs to calculate the packet discard rate and the packet discard number of the received RTP packet data and transmit them to the transmitting side as a reception report packet (RR packet). In the receiving terminal device, the packet discard is determined by checking whether the sequence number (SN) given to the RTP packet data is continuous. If the sequence number (SN) is discontinuous, the packet discard is determined. Is determined to have occurred.
[0016]
Therefore, when a plurality of duplicate packet data are generated by duplicating the RTP packet data and a plurality of the same RTP packet data are transmitted, the same sequence number (SN) is assigned to the plurality of the same RTP packet data. Therefore, even if a part of the copied RTP packet data is actually discarded due to the influence of congestion or the like on the transmission path, the sequence number (SN) does not become discontinuous. Is not determined.
[0017]
As described above, in the technique described in the related art, since the statistical information relating to the number of packet losses cannot be calculated accurately, there is a problem that the receiving terminal device cannot grasp the statistical information accurately.
[0018]
The present invention has been made in view of such a point, and a media server that enables a media receiving terminal device to accurately grasp statistical information on the number of packet losses by accurately calculating statistical information on the number of packet losses, It is an object to provide a media receiving terminal device and a media distribution system.
[0019]
[Means for Solving the Problems]
2. The media server according to claim 1, wherein the media server sends RTP packet data constituting the media data to a communication network, and generates one payload of the RTP packet data from one transmission unit of the media data. Means for duplicating the payload to generate one or more duplicate payloads; sequence number determining means for determining the sequence numbers of the payload and the duplicate payload in the order in which they are sent; And a sequence number assigning means for assigning the determined sequence number to the payload.
[0020]
According to this configuration, the payload is duplicated to generate one or a plurality of duplicated payloads, and the payload and the sequence number of the duplicated payload are determined in the transmission order, so that the statistical information on the number of packet losses is accurately calculated. Therefore, the media receiving terminal device can accurately grasp statistical information on the number of packet losses.
[0021]
3. The media server according to claim 2, wherein the media server sends RTP packet data constituting the media data to a communication network, and generates a payload of one RTP packet data from one transmission unit of the media data. Payload duplicating means for duplicating the payload to generate one or a plurality of duplicate payloads; sequence number determining means for determining the sequence number of the payload and the sequence number of the duplicate payload; and the payload and the duplicate payload Time stamp determining means for determining time stamp information indicating a time to be reproduced, a plurality of payload identifier storing means for storing all payload identifiers used for transmitting the RTP packet data, and an appropriate one of the payload identifiers. Na pay A payload identifier selecting means for selecting a payload identifier, a packet configuring means for configuring the RTP packet data from the payload or the duplicate payload, the sequence number, the payload identifier, and the time stamp, and a packet configuring means. And a packet transmitting means for transmitting the RTP packet data.
[0022]
According to this configuration, the payload is duplicated to generate one or a plurality of duplicated payloads, and the payload and the sequence number of the duplicated payload are determined in the transmission order, so that the statistical information on the number of packet losses is accurately calculated. Therefore, the media receiving terminal device can accurately grasp statistical information on the number of packet losses.
[0023]
According to a third aspect of the present invention, in the media server according to the first or second aspect, all of the media receiving terminals connected to a network specified by the broadcast address using the broadcast address by the packet transmission unit. A configuration for transmitting media data to the device is adopted.
[0024]
According to this configuration, the payload is duplicated to generate one or a plurality of duplicated payloads, and the payload and the sequence number of the duplicated payload are determined in the transmission order, so that the statistical information on the number of packet losses is accurately calculated. Therefore, the media receiving terminal device can accurately grasp statistical information on the number of packet losses.
[0025]
According to a fourth aspect of the present invention, in the media server according to the first or second aspect, the packet transmitting means is connected to a network designated by the multicast address using a multicast address, and is configured to perform multicast distribution. A configuration is employed in which media data is transmitted to all media receiving terminal devices that have requested reception.
[0026]
According to this configuration, the payload is duplicated to generate one or a plurality of duplicated payloads, and the payload and the sequence number of the duplicated payload are determined in the transmission order, so that the statistical information on the number of packet losses is accurately calculated. Therefore, the media receiving terminal device can accurately grasp statistical information on the number of packet losses.
[0027]
A media receiving terminal device according to claim 5, wherein the media receiving terminal device receives the RTP packet data of the media data transmitted from the media server, and the media receiving terminal device transmits the media data based on the RTP packet data received by the packet receiving device. A media receiving terminal device comprising: a media playback unit for playing back, wherein packet loss detection for detecting packet loss by checking whether sequence numbers of the RTP packet data received by the packet reception unit are continuous. A configuration having means is adopted.
[0028]
According to this configuration, the packet data generated by determining the sequence numbers of the payload and the plurality of duplicate payloads that are duplicates of the payload in the transmission order is received, and the statistical information on the number of packet losses is accurately calculated. Therefore, the media receiving terminal device can accurately grasp statistical information on the number of packet losses.
[0029]
A media receiving terminal device according to claim 6, wherein the packet receiving unit receives RTP packet data of the media data transmitted from the media server, and the media receiving terminal device transmits the media data based on the RTP packet data received by the packet receiving unit. A media receiving terminal device comprising: a media reproducing unit for reproducing the original packet data and the duplicate packet data based on a payload identifier of the RTP packet data received by the packet receiving unit; Original packet storing means for storing packet data, duplicate packet storing means for storing the duplicate packet data, and checking whether the sequence number of the RTP packet data received by the packet receiving means is continuous or not. Packet loss detecting means for detecting a packet loss, and when there is no packet loss, reconstructing the packet data using only the original packet data of the original packet storage means and providing the packet data to the media reproducing means; and And a packet reconstructing means for extracting the duplicate packet corresponding to the original packet data lost at a certain time from the duplicate packet storage means, reconstructing the packet data, and providing the reconstructed packet data to the media reproducing means.
[0030]
According to this configuration, the packet data generated by determining the sequence numbers of the payload and the plurality of duplicate payloads that are duplicates of the payload in the transmission order is received, and the statistical information on the number of packet losses is accurately calculated. Therefore, the media receiving terminal device can accurately grasp statistical information on the number of packet losses.
[0031]
According to a seventh aspect of the present invention, in the media receiving terminal device according to the sixth aspect, the separating unit separates the original packet data and the duplicate packet data based on a previously notified payload identifier of the original packet data. Take the configuration.
[0032]
According to this configuration, the packet data generated by determining the sequence numbers of the payload and the plurality of duplicate payloads that are duplicates of the payload in the transmission order is received, and the statistical information on the number of packet losses is accurately calculated. Therefore, the media receiving terminal device can accurately grasp statistical information on the number of packet losses.
[0033]
In the media receiving terminal device according to claim 8, in the invention according to claim 6, the separating unit sets the payload identifier of the media data first received after the start of reception of the media data as a payload identifier of original packet data. A configuration is adopted in which the original packet data and the duplicated packet data are separated based on the determined payload identifier.
[0034]
According to this configuration, the packet data generated by determining the sequence numbers of the payload and the plurality of duplicate payloads that are duplicates of the payload in the transmission order is received, and the statistical information on the number of packet losses is accurately calculated. Therefore, the media receiving terminal device can accurately grasp the statistical information on the number of packet losses, and can reduce the waiting time of packet data at the time of reception.
[0035]
A media distribution system according to a ninth aspect includes the media server according to the third aspect, and the media receiving terminal device according to any one of the fifth to eighth aspects, wherein the media server is configured to store the media data. Is transmitted to the media receiving terminal device via a wireless network.
[0036]
According to this configuration, the payload is duplicated to generate one or a plurality of duplicated payloads, and the payload and the sequence number of the duplicated payload are determined in the transmission order, so that the statistical information on the number of packet losses is accurately calculated. Therefore, the media receiving terminal device can accurately grasp statistical information on the number of packet losses.
[0037]
A media distribution system according to a tenth aspect includes the media server according to the fourth aspect, and the media receiving terminal device according to any one of the fifth to eighth aspects, wherein the media server is configured to store the media data. Is transmitted to the media receiving terminal device via a wireless network.
[0038]
According to this configuration, the payload is duplicated to generate one or a plurality of duplicated payloads, and the payload and the sequence number of the duplicated payload are determined in the transmission order, so that the statistical information on the number of packet losses is accurately calculated. Therefore, the media receiving terminal device can accurately grasp statistical information on the number of packet losses.
[0039]
12. The media data transmission method according to claim 11, wherein the media server transmits RTP packet data constituting the media data to a communication network, wherein the media server transmits one RTP packet data from one transmission unit of the media data. A payload generating step of generating a payload, a payload duplicating step of duplicating the payload to generate one or a plurality of duplicate payloads, and a sequence number determining step of determining a sequence number of the payload and a sequence number of the duplicate payload. And a sequence number assigning step of assigning the determined sequence number to the payload and the duplicate payload.
[0040]
According to this method, the payload is duplicated to generate one or a plurality of duplicate payloads, and the payload and the sequence number of the duplicate payload are determined in the order of transmission, so that the statistical information on the number of packet losses is accurately calculated. Therefore, the media receiving terminal device can accurately grasp statistical information on the number of packet losses.
[0041]
BEST MODE FOR CARRYING OUT THE INVENTION
The gist of the present invention is to generate a payload of one RTP packet data from one transmission unit of media data, duplicate the payload to generate one or a plurality of duplicate payloads, and change a sequence number of the payload and the duplicate payload. The sequence number is determined in the transmission order, and the determined sequence number is added to the payload and the duplicate payload.
[0042]
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0043]
(Embodiment 1)
FIG. 1 is a block diagram showing a configuration of the media server according to Embodiment 1 of the present invention.
[0044]
As shown in FIG. 1, the media server 100 according to Embodiment 1 of the present invention includes a media storage unit 110, an RTP transmission unit 120, a UDP transmission unit 130, and an IP transmission unit 140.
[0045]
The media storage unit 110 stores media data such as video data, audio data, text data, or still image data, and time information to be reproduced. The RTP transmission unit 120 receives the media data from the media storage unit 110, and configures and transmits RTP packet data for each transmission unit of the media data. The UDP transmitting section 130 converts the RTP packet data received from the RTP transmitting section 120 into UDP packet data and transmits the same. IP transmitting section 140 converts the UDP packet data from UDP transmitting section 130 into IP packet data and transmits the IP packet data.
[0046]
The RTP transmission unit 120 includes a payload generation unit 121, a time stamp determination unit 122, a multiple payload type storage unit 123, a payload type selection unit 124, a sequence number determination unit 125, a payload time stamp duplication unit 126, and an RTP packet configuration unit 127. are doing.
[0047]
The payload generation unit 121 receives the media data from the media storage unit 110, generates a payload of the RTP packet data for each transmission unit of the media data, and provides the RTP packet configuration unit 127 with the payload. The time stamp determining unit 122 receives time stamp information indicating the time at which the media data received by the payload generating unit 121 is to be reproduced from the media storage unit 110, determines the time stamp information of the RTP packet data, and performs RTP This is provided to the packet configuration unit 127.
[0048]
The multiple payload type storage unit 123 stores all the payload types (PT) {payload identifiers} used for transmitting the RTP packet data. The payload type selection unit 124 selects an appropriate payload type (PT) from the payload types (PT) stored in the multiple payload type storage unit 123 and provides the selected payload type (PT) to the RTP packet configuration unit 127. The sequence number (SN) determining unit 125 determines the sequence number (SN) of the payload and the duplicate payload in the transmission order, and provides the sequence number (SN) to the RTP packet forming unit 127.
[0049]
The RTP packet configuration unit 127 receives the payload from the payload generation unit 121 and the time stamp information from the time stamp determination unit 122 and supplies the payload time stamp duplication unit 126 and a control signal to the payload time stamp duplication unit 126. . The payload time stamp duplication unit 126 receives the payload, the time stamp, and the control signal from the RTP packet configuration unit 127, and duplicates the payload and the time stamp based on the control signal to generate one or more duplicate payloads and duplicate time stamps. This is given to the RTP packet forming unit 127.
[0050]
In this case, since the value of the time stamp changes at regular intervals, the RTP packet configuration unit 127 sends a control signal indicating the number of duplicate payloads and duplicate time stamps based on the number of RTP packet data at each constant period. It is provided to the payload time stamp duplication unit 126 and receives the duplicate payload and the duplication time stamp from the payload time stamp duplication unit 126. Further, the RTP packet forming unit 127 forms RTP packet data based on the payload, the payload time stamp information, the payload type, the duplicate payload, the duplicate time stamp, and the like, and supplies the RTP packet data to the UDP transmitting unit 130.
[0051]
Next, a specific example of the operation of the media server 100 according to Embodiment 1 of the present invention will be described with reference to the drawings.
[0052]
Here, the format of the RTP packet data will be described with reference to FIG. The RTP packet data 200 includes an RTP header and an RTP payload. Version information and the like are stored in the 0th to 8th bits of the RTP header. Payload type (PT) information is stored in the ninth to fifteenth bits of the RTP header. A sequence number (SN) is stored in the 16th to 31st bits of the RTP header. The sequence number (SN) is determined by the sequence number determining unit 125 in the order in which the RTP payload is transmitted. Thereafter, the time stamp (TS) and the SSRC are stored in 32-bit units. This is followed by the RTP payload, and the media data is stored as the RTP payload.
[0053]
The time stamp (TS) stores information about the time of reproduction. The SSRC stores a unique value for identifying a transmitting device that transmits RTP packet data. The value of the payload type (PT) is notified in advance before the transmission of the RTP packet data, and if a PT value that is not notified is received, it can be determined that the packet data is for an unrelated session.
[0054]
Since the sequence in which the packet data was generated is continuously recorded in the information of the sequence number (SN) in the RTP packet data, these sequence numbers are checked each time the packet data is received, and the discontinuity of the number is checked. It is possible to detect the presence of packet data (packet loss) that could not be received at the time of detection.
[0055]
In the actual transmission example of the packet data shown in FIG. 3, the RTP packet data from SN = 1 to SN = 3 is the original packet data transmitted with the payload type (PT) = 96, and TS = TS1 is added. . RTP packet data from SN = 4 to SN = 6 are transmitted with payload type (PT) = 97, and TS1 is assigned to TS. That is, as the RTP packet data, the RTP packet data from SN = 1 to SN = 3 and the RTP packet data from SN = 4 to SN = 6 are the same as the media data, but are different from each other because the SN is different. It will be different as packet data. Similarly, the RTP packet data from SN = 7 to SN = 9 is transmitted with PT = 98, and TS is assigned TS1.
[0056]
Next, as a method of notifying the PT in advance, an example will be described in which SDP (Session Description Protocol) standardized as RFC2327 by IETF is used. Before starting receiving and reproducing the actual media data, the receiving terminal device acquires the SDP file periodically transmitted from the media server 100 and interprets the SDP file.
[0057]
FIG. 4 is a diagram for explaining an example of the acquired SDP file. “M = video 1024 RTP / AVP 96-98” indicates that video data is transmitted as the type of media data, and indicates that transmission uses payload types (PT) 96 to 98. “A = RTPmap: 96-98 H263-2000 / 90000” indicates that H263-2000 is used as a payload format for mapping video data to an RTP payload. “A = fmtp: 96 original = 1” indicates that stream data having a payload type of 96 is RTP packet data when no duplicate transmission is performed, and has other (in this case, 97 and 98) payload types. The RTP packet data indicates that the payload is stream data copied.
[0058]
(Embodiment 2)
Next, a second embodiment of the present invention will be described in detail with reference to the drawings. FIG. 5 is a block diagram showing a configuration of a media receiving terminal device according to Embodiment 2 of the present invention.
[0059]
As shown in FIG. 5, a media receiving terminal device 500 according to Embodiment 2 of the present invention includes an IP receiving unit 510, a UDP receiving unit 520, an RTP receiving unit 530, a media reproducing unit 540, a statistical information storage unit 550, and a An information display unit 560 is provided. The media playback unit 540 has a playback buffer 541.
[0060]
IP receiving section 510 receives the IP packet data from media server 100, converts the received packet data into UDP packet data, and provides it to UDP receiving section 520. The UDP receiving unit 520 receives the UDP packet data, converts it into RTP packet data, and provides the RTP packet data to the RTP receiving unit 530. The RTP receiving unit 530 receives the RTP packet data, reconstructs the RTP packet data, and provides the RTP packet data to the reproduction buffer 541 of the media reproduction unit 540. The media playback unit 540 plays the media data included in the payload of the RTP packet data stored in the playback buffer 541 based on the time stamp (TS).
[0061]
Further, the RTP receiving unit 530 gives the statistical information to the statistical information storage unit 550 and stores it. The statistical information display section 560 displays the statistical information stored in the statistical information storage section 550.
[0062]
The RTP receiving section 530 includes an RTP packet receiving section 531, a packet data separating section 532, an original packet storing section 533, a duplicate packet storing section 534, a packet loss detecting section 535, a packet reconfiguring section 536, and a statistical value calculating section 537. ing.
[0063]
The RTP packet receiving unit 531 receives the RTP packet data from the UDP receiving unit 520, performs reception processing, and provides the RTP packet data to the packet data separating unit 532. The packet data separation unit 532 separates the RTP packet data into original packet data and duplicate packet data based on the payload type (P) value of the received RTP packet data, and provides the original packet data to the original packet storage unit 533. In addition, the copy packet data is provided to the copy packet storage unit 534.
[0064]
The original packet storage unit 533 stores the original packet data from the packet data separation unit 532. The duplicate packet storage unit 534 stores the duplicate packet data from the packet data separation unit 532. The packet loss detecting unit 535 determines whether there is a packet loss by checking whether the sequence number (SN) value of the RTP packet data received by the RTP packet receiving unit 531 is continuous. A lossy sequence number (SN) value is provided to the packet reconfiguration unit 536 and the statistical value calculation unit 537. That is, the packet loss detection unit 535 checks whether the sequence number (SN) value of the RTP packet data is continuous, and if there is a missing sequence number (SN) value, the sequence number (SN) Is determined, the sequence number (SN) value with the packet loss is provided to the packet reconfiguration unit 536 and the statistic value calculation unit 537.
[0065]
When there is no report of a sequence number (SN) value with a packet loss from the packet loss detection unit 535, the packet reconfiguration unit 536 reads the original packet data from the original packet storage unit 533 and stores it in the reproduction buffer 541 of the media reproduction unit 540. give. When the packet loss detecting unit 535 reports a sequence number (SN) value with a packet loss from the packet loss detecting unit 535, the packet reconstructing unit 536 reads the duplicate packet data from the duplicate packet storage unit 534 and reads the duplicate packet data from the reproduction buffer of the media reproducing unit 540. 541.
[0066]
The statistic calculation unit 537 receives the report of the sequence number (SN) value with the packet loss from the packet loss detection unit 535, calculates a statistic related to the number of packet losses such as the packet loss rate or the number of packet losses, and calculates the statistic. This is given to the information storage unit 550.
[0067]
Next, a specific example of the operation of the packet reconfiguration unit 536 of the media reception terminal device 500 according to Embodiment 2 of the present invention will be described with reference to FIG. 5 and FIG.
[0068]
In step ST601, the packet reconfiguration unit 536 determines whether or not a packet loss has been detected, that is, determines whether or not a packet loss detection unit 535 has received a report of a certain sequence number (SN) value. If no packet loss is detected in step ST601, original packet data is read from original packet storage section 533 and provided to playback buffer 541 of media playback section 540 (step ST602).
[0069]
When packet loss is detected in step ST601, it is determined whether duplicate packet data corresponding to the report of the sequence number (SN) value with the packet loss has been received (step ST603). If no duplicate packet data is received in step ST603, it is determined whether or not the value of the timer is 0 (step ST604). The value of this timer is reset to 0 every predetermined period determined by a time stamp (TS).
[0070]
If the value of the timer is not 0 in step ST604, the process returns to step ST603. When the value of the timer is 0 in step ST604, the process returns to step ST601. In step ST603, when receiving the duplicate packet data, the packet reconstructing unit 536 stores the duplicate packet data in the reproduction buffer 541 of the media reproduction unit 540.
[0071]
Next, one specific example of the operation of the statistical value calculating unit 537, the statistical information storage unit 550, and the statistical information display unit 560 of the media receiving terminal device 500 according to Embodiment 2 of the present invention will be described with reference to FIGS. Will be explained.
[0072]
In step ST701, the statistic calculation unit 537 determines the reception of the packet data, and proceeds to step ST702 if the packet data is received. In step ST702, it is checked whether or not the SN of the received packet data is incremented by one compared to the previous SN, SN_last. If the SN of the packet data received in step ST702 is incremented by 1 compared to the previous SN, SN_last, it is determined that the packet data was received without packet loss, and the “number of received packets” that is the statistical information is incremented by 1. (Step ST703), and thereafter, the process proceeds to Step ST706.
[0073]
If the SN of the packet data received in step ST702 is not incremented by 1 compared to the previous SN, SN_last, it is determined that (SN-SN_last-1) packet losses have occurred, and the number of packet losses Is incremented by (SN-SN_last-1) (step ST704). Similarly, statistical value calculating section 537 increments the total number of packet losses since the start of the session by (SN-SN_last-1) (step ST705). Next, statistical value calculation section 537 calculates the packet loss rate by dividing the number of packet losses by (the number of received packets + the number of packet losses) (step ST706).
[0074]
Next, statistical value calculation section 537 checks whether or not the value of the timer is 0 (step ST707). The value of this timer is reset to 0 every predetermined period determined by a time stamp (TS). If the value of the timer is not 0 in step ST707, the process returns to step ST701 because the period for storing and displaying the statistical information has not been reached.
[0075]
When the value of the timer becomes 0 in step ST707, the cycle for storing and displaying the statistical information has come, and the statistical information storage unit 550 and the statistical information display unit 560 have the packet loss number, the packet loss rate, the received packet number, and The statistical information on the number of packet losses such as the total number of packet losses is stored and displayed (step ST708). Next, statistical value calculation section 537 resets statistical information relating to the number of packet losses, such as the number of packet losses excluding the total number of packet losses, the packet loss rate, and the number of received packets, to 0 (step ST709), and resets the timer value to 0. (Step ST710).
[0076]
In the second embodiment of the present invention, the payload type indicating the original packet data is notified in advance by SDP, but even if the payload type is not notified, the payload type of the earliest received packet data is The same operation as described above may be performed after determining the packet data as the payload type. In this case, the packet data separating unit 532 determines the payload identifier of the media data received first after the start of the reception of the media data as the payload identifier of the original packet data, and copies the original packet data with the original packet data based on the payload identifier. Separate from packet data.
[0077]
In the second embodiment of the present invention, the payload identifier uses the payload type (PT) field in the RTP packet data. However, the present invention is not limited to this. For example, using the SSRC field of the RTP packet data may be used. Is also good.
[0078]
The present invention includes a media distribution system in which the media server 100 of FIG. 1 and the media receiving terminal device of FIG. 5 are combined. Further, in the media distribution system, the RTP transmission unit 120 of the media server 100 may use the broadcast address to transmit the media data to all the media receiving terminal devices connected to the network specified by the broadcast address. Good.
[0079]
Further, in the media distribution system, the RTP transmission unit 120 of the media server 100 uses the multicast address to transmit the media to all the media receiving terminal devices connected to the network specified by the multicast address and desiring to receive the multicast distribution. Data may be transmitted.
[0080]
【The invention's effect】
As described above, according to the present invention, the media receiving terminal device can accurately grasp the statistical information on the number of packet losses by accurately calculating the statistical information on the number of packet losses.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a media server according to Embodiment 1 of the present invention.
FIG. 2 is a diagram for explaining packet data used for a media server according to the first embodiment of the present invention.
FIG. 3 is a diagram for explaining an operation of the media server according to the first embodiment of the present invention.
FIG. 4 is another diagram for explaining the operation of the media server according to the first embodiment of the present invention.
FIG. 5 is a block diagram showing a configuration of a media receiving terminal device according to Embodiment 2 of the present invention.
FIG. 6 is a flowchart for explaining one specific example of the operation of the packet reconfiguration unit of the media receiving terminal device according to Embodiment 2 of the present invention.
FIG. 7 is a flowchart for explaining one specific example of the operation of the statistical value calculation unit, the statistical information storage unit, and the statistical information display unit of the media receiving terminal device according to Embodiment 2 of the present invention.
FIG. 8 is a diagram for explaining packet data used in the conventional technique.
[Explanation of symbols]
100 Media Server
110 Media storage
120 RTP transmission unit
130 UDP transmission unit
140 IP transmission unit
121 Payload generator
122 Time stamp determination unit
123 Multiple Payload Type Storage
124 Payload type selector
125 Sequence number determination unit
126 Payload time stamp duplication unit
127 RTP packet component
500 Media receiving terminal device
510 IP receiver
520 UDP receiver
530 RTP receiver
540 Media playback unit
550 Statistical information storage
560 Statistical information display section
541 playback buffer
531 RTP packet receiving unit
532 Packet data separation unit
533 Original packet storage
534 Duplicate packet storage
535 Packet Loss Detector
536 packet reconstruction unit
537 Statistical value calculator
