JP2003169040A - データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム - Google Patents
データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラムInfo
- Publication number
- JP2003169040A JP2003169040A JP2001369731A JP2001369731A JP2003169040A JP 2003169040 A JP2003169040 A JP 2003169040A JP 2001369731 A JP2001369731 A JP 2001369731A JP 2001369731 A JP2001369731 A JP 2001369731A JP 2003169040 A JP2003169040 A JP 2003169040A
- Authority
- JP
- Japan
- Prior art keywords
- data
- packet
- retransmission request
- retransmission
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/1066—Session management
- H04L65/1101—Session protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/40—Network security protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/637—Control signals issued by the client directed to the server or network components
- H04N21/6375—Control signals issued by the client directed to the server or network components for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/30—Definitions, standards or architectural aspects of layered protocol stacks
- H04L69/32—Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
- H04L69/322—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
- H04L69/324—Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the data link layer [OSI layer 2], e.g. HDLC
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Communication Control (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
Abstract
り、高品質なデータ再生を可能とするデータ通信システ
ムを提供する。 【解決手段】 RTP、UDP等のデータ通信プロトコ
ルに従ったパケット伝送において、ARQ機能を付加
し、再送要求の処理タイミングとして、各フレームの先
頭パケットの受信時、各フレームの最終パケットの受信
時、最終処理期限、および一定間隔(τ)毎等の各種タ
イミングでロストパケットの検出処理を実行し、再送要
求を実行する。データ受信端末は、再生処理時間、伝播
遅延時間RTTを考慮し、再生処理に間に合わない場合
には、再生要求処理を実行しない構成とし、無駄な再送
要求パケットおよび再送パケットの出力が防止される。
Description
ム、データ送信装置、データ受信装置、および方法、並
びにコンピュータ・プログラムに関する。さらに詳細に
は、ストリーミングデータ転送におけるエラー耐性を高
めたパケット送信構成を持つデータ通信システム、デー
タ送信装置、データ受信装置、および方法、並びにコン
ピュータ・プログラムに関する。
通信媒体を介した画像、音声データ等のデータ転送が盛
んに行われている。特に、近年においては、インターネ
ット上のデータ転送において、従来から利用されている
ダウンロード型伝送方式に加えて、ストリーム型伝送方
式によるサービスが増加してきている。ダウンロード型
伝送方式においては、映像ファイルや音声ファイルとい
ったマルチメディアデータを伝送する場合、配信サーバ
からデータファイルを一旦受信側端末の記憶媒体にダウ
ンロードして、その後、記憶媒体から再生することにな
る。よって、この方式ではファイルを完全に転送が終わ
るまでは再生できず、長時間再生やリアルタイム再生な
どには不向きである。
送信側から受信端末にデータ転送が行われている間に、
並列して受信データの再生処理を実行するものであり、
インターネット電話・遠隔テレビ会議・ビデオオンデマ
ンドといったインターネットサービスに利用されてい
る。
タのMPEG圧縮処理により生成されるMPEGストリ
ームをIP(Internet Protocol)パケットに格納して
インターネット上を転送させて、PCやPDA、携帯電
話等の各通信端末において受信するシステム等において
使用され、開発が進んでいる。このような技術は、ビデ
オオンデマンドやライブ映像のストリーミング配信、あ
るいはビデオ会議、テレビ電話などのリアルタイム通信
において有効となる。
インターネット技術に、IETF RFC1889で規定されている
プロトコル:RTP(Realtime Transport Protocol)が
ある。RTPに従ったデータ転送では、時間情報として
パケットにタイムスタンプを付加し、タイムスタンプの
参照により送信側と受信側の時間的関係の把握を行な
い、データ受信側において、パケット転送の遅延ゆらぎ
(ジッター)などの影響を受けずに同期をとった再生を
可能としている。
証しているものではない。パケット配送の優先度や設
定、管理などはRTPが提供するトランスポートサービ
スの範疇ではないため、RTPパケットは、他のパケッ
トと同様、ネットワーク上での配送遅延やパケット損失
がおきる可能性がある。しかし、このような事態が起こ
っても、受信側は期待する時間内に到着したパケットだ
けを利用してデータを再生することが可能である。これ
は、映像や音声データが多少のデータ欠損があったとし
ても、データ品質を落とした再生、あるいはデータ補正
処理による再生が可能となるからである。
ケットやエラーの発生したパケットは、受信側でそのま
ま破棄される。つまり、パケット損失やエラーが発生し
た場合は、高品質なデータ配信処理を行なっている場合
でも、受信側で品質を保持した再生が実行されないとい
う問題点がある。特に、有線区間で10−5、無線区間
で10−3以上のエラーがあるといわれている中では、
配信するメディアの品質保持を考慮すると、RTPをそ
のまま利用したデータ転送には問題がある。
ける問題点を解決する1つの案としては、データ転送に
信頼性が高いデータ転送プロトコルであるTCPに従っ
てパケットの再送要求および再送パケット送信を行わせ
る方法が考えられる。しかし、TCPはエラーには強い
が、スループットが低く、遅延が大きいため、再送して
も再生時間に間に合わない可能性があり、リアルタイム
通信の実現を困難とするという問題がある。
ー訂正手法として、例えばFEC(Forward Error Corr
ection)という手段が考えられている。これは誤り訂正
を行うためのFECデータを冗長データとして送信し
て、エラーが発生した場合には、データ受信側におい
て、このFECデータをもとにエラーの修復を実行しよ
うとするものである。先のARQによるパケット再送処
理に比べると再送にかかる遅延がない分、遅延時間を低
く抑えられるが、冗長データを付加するためにスループ
ットが低下するという問題がある。また、ネットワーク
状況に合わせた最適な付加FECデータを決定するのは
難しく、処理時間のオーバーヘッドが常につきまとうな
どの問題が存在する。
点に鑑みてなされたものであり、ビデオオンデマンド
や、遠隔テレビ会議のような、リアルタイム再生が望ま
れるデータ転送処理を効率的に実行可能とかるととも
に、パケット損失等のエラー発生時にも品質の低下を抑
えて高品質なデータ再生を実現するデータ通信システ
ム、データ送信装置、データ受信装置、および方法、並
びにコンピュータ・プログラムを提供することを目的と
する。
データ送信装置およびデータ受信装置からなり、ストリ
ーム型データ転送を実行するデータ通信システムであ
り、データ送信装置は、送信データを格納したデータパ
ケットを送信するパケット送信処理部と、データ受信装
置から受信する再送要求メッセージパケットに従って再
送すべきデータパケットの抽出処理を実行する再送制御
部とを有し、データ受信装置は、前記データ送信装置か
ら受信するデータパケットを受信するパケット受信処理
部と、前記データ送信装置から受信するデータパケット
のエラーまたはロスト・データパケットの検出に基づい
て、前記データ送信装置に対するデータパケット再送要
求としての再送要求メッセージパケットの送信可否を判
定する再送要求処理制御部とを有し、前記再送要求処理
制御部は、再送要求に基づく再送データパケット受信
が、再送データパケット格納データの再生に伴う処理開
始時間前に可能か否かを判定し、可能であるとの判定を
条件として、再送要求送信を決定する構成を有すること
を特徴とするデータ通信システムにある。
実施態様において、前記データ・パケットの格納データ
は、符号化データであり、前記データ受信装置における
前記再送要求処理制御部は、再送要求に基づく再送デー
タパケット受信が、再送データパケット格納データの復
号処理を含む再生に伴う処理開始時間前に可能か否かを
判定する構成であることを特徴とする。
実施態様において、前記再送要求は、再送要求データパ
ケットの識別データとしてのシーケンス番号と、該シー
ケンス番号に対応するデータパケットの重複再送の指定
回数データを格納したメッセージパケットによって構成
され、前記データ送信装置は、再送要求メッセージパケ
ットに指定された重複再送の指定回数データに従って、
指定シーケンス番号のデータパケットの重複送信を実行
する構成を有することを特徴とする。
実施態様において、前記データ送信装置とデータ受信装
置間で転送されるデータパケットは、動画像データであ
り、前記データ受信装置における前記再送要求処理制御
部は、動画像データの1画像フレームの構成データを格
納した複数のデータパケットの終端データパケットの受
信に応じて、該終端データパケットの属する画像フレー
ムの構成データを格納した複数のデータパケット中のエ
ラーまたはロスト・データパケットの検出処理を実行す
る構成であることを特徴とする。
実施態様において、前記データ送信装置とデータ受信装
置間で転送されるデータパケットは、動画像データであ
り、前記データ受信装置における前記再送要求処理制御
部は、動画像データの1画像フレームの構成データを格
納した複数のデータパケットの先頭データパケットの受
信に応じて、該先頭データパケットの属する画像フレー
ムの前フレームの構成データを格納した複数のデータパ
ケット中のエラーまたはロスト・データパケットの検出
処理を実行する構成であることを特徴とする。
実施態様において、前記データ受信装置における前記再
送要求処理制御部は、データパケット格納データの再生
処理開始時間に間に合うための再送要求最終期限に基づ
いて、受信データパケット中のエラーまたはロスト・デ
ータパケットの検出処理を実行する構成であることを特
徴とする。
実施態様において、前記データ受信装置における前記再
送要求処理制御部は、定期的な時間間隔に基づいて、受
信データパケット中のエラーまたはロスト・データパケ
ットの検出処理を実行する構成であることを特徴とす
る。
実施態様において、前記データ受信装置における前記再
送要求処理制御部は、前記データ送信装置とデータ受信
装置における往復伝播遅延(RTT)の計測処理のため
に前記データ送信装置に対するエコーパケットの送信お
よび該エコーパケットに対するエコーリプライパケット
の受信処理制御を実行し、該エコーパケットに基づいて
算出する往復伝播遅延(RTT)に基づいて、再送要求
に基づく再送データパケット受信が、再送データパケッ
ト格納データの再生処理開始時間前に可能か否かを判定
する構成を有することを特徴とする。
実施態様において、前記データ受信装置の生成する再送
要求メッセージパケットは、データパケットを指定する
シーケンス番号指定データ、またはパケットの属するタ
イムスタンプ指定データの少なくともいずれかと、再送
要求範囲を指定するオプション値によって構成され、前
記データ送信装置の再送制御部は、前記データ受信装置
から受信する再送要求メッセージパケットに格納された
データパケットを指定するシーケンス番号指定データ、
またはパケットの属するタイムスタンプ指定データの少
なくともいずれか、およびオプション値に基づいて1以
上の再送パケットの抽出処理を実行する構成を有するこ
とを特徴とする。
実施態様において、前記データパケットは、データ転送
プロトコルとしてのRTPに従ったフォーマットを有
し、前記再送要求は、制御プロトコルとしてのRTCP
に従ったフォーマットを有することを特徴とする。
実施態様において、前記データ受信装置は、複数のデー
タパケットに関する再送要求を1つの再送要求メッセー
ジパケットとしてデータ送信装置に対して送信する構成
であることを特徴とする。
実施態様において、記データ受信装置は、複数のデータ
パケットに関する受信確認を1つの受信確認メッセージ
パケットとしてデータ送信装置に対して送信する構成で
あることを特徴とする。
ム型データ送信を実行するデータ送信装置であり、送信
データを格納したデータパケットの送信処理を実行する
パケット送信処理部と、データ受信装置から受信する再
送要求に従って再送すべきデータパケットの抽出処理を
実行する再送制御部とを有し、前記再送制御部は、デー
タ受信装置から受信する再送要求メッセージパケットに
指定された重複再送の指定回数データに従って、指定デ
ータパケットの重複送信を実行する構成を有することを
特徴とするデータ送信装置にある。
ム型データ送信を実行するデータ送信装置であり、送信
データを格納したデータパケットの送信処理を実行する
パケット送信処理部と、データ受信装置から受信する再
送要求に従って再送すべきデータパケットの抽出処理を
実行する再送制御部とを有し、前記再送制御部は、前記
データ受信装置から受信する再送要求メッセージパケッ
トに格納されたデータパケットを指定するシーケンス番
号指定データ、またはパケットの属するタイムスタンプ
指定データの少なくともいずれか、およびオプション値
に基づいて1以上の再送パケットの抽出処理を実行する
構成を有することを特徴とするデータ送信装置にある。
ム型データ受信を実行するデータ受信装置であり、デー
タ送信装置から受信するデータパケットを受信するパケ
ット受信処理部と、前記データ送信装置から受信するデ
ータパケットのエラーまたはロスト・データパケットの
検出に基づいて、前記データ送信装置に対するデータパ
ケット再送要求としての再送要求メッセージパケットの
送信可否を判定する再送要求処理制御部とを有し、前記
再送要求処理制御部は、再送要求に基づく再送データパ
ケット受信が、再送データパケット格納データの再生に
伴う処理開始時間前に可能か否かを判定し、可能である
との判定を条件として、再送要求送信を決定する構成を
有することを特徴とするデータ受信装置にある。
態様において、前記データ・パケットの格納データは、
符号化データであり、前記再送要求処理制御部は、再送
要求に基づく再送データパケット受信が、再送データパ
ケット格納データの復号処理を含む再生に伴う処理開始
時間前に可能か否かを判定する構成であることを特徴と
する。
態様において、前記データ受信装置は、再送要求データ
パケットの識別データとしてのシーケンス番号と、該シ
ーケンス番号に対応するデータパケットの重複再送の指
定回数データを格納した再送要求メッセージパケットを
生成して前記データ送信装置に送信する構成を有するこ
とを特徴とする。
態様において、前記データ受信装置の受信するデータパ
ケットは、動画像データであり、前記再送要求処理制御
部は、動画像データの1画像フレームの構成データを格
納した複数のデータパケットの終端データパケットの受
信に応じて、該終端データパケットの属する画像フレー
ムの構成データを格納した複数のデータパケット中のエ
ラーまたはロスト・データパケットの検出処理を実行す
る構成であることを特徴とする。
態様において、前記データ受信装置の受信するデータパ
ケットは、動画像データであり、前記再送要求処理制御
部は、動画像データの1画像フレームの構成データを格
納した複数のデータパケットの先頭データパケットの受
信に応じて、該先頭データパケットの属する画像フレー
ムの前フレームの構成データを格納した複数のデータパ
ケット中のエラーまたはロスト・データパケットの検出
処理を実行する構成であることを特徴とする。
態様において、前記再送要求処理制御部は、データパケ
ット格納データの再生処理開始時間に間に合うための再
送要求最終期限に基づいて、受信データパケット中のエ
ラーまたはロスト・データパケットの検出処理を実行す
る構成であることを特徴とする。
態様において、前記再送要求処理制御部は、定期的な時
間間隔に基づいて、受信データパケット中のエラーまた
はロスト・データパケットの検出処理を実行する構成で
あることを特徴とする。
態様において、前記再送要求処理制御部は、前記データ
送信装置とデータ受信装置における往復伝播遅延(RT
T)の計測処理のために前記データ送信装置に対するエ
コーパケットの送信および該エコーパケットに対するエ
コーリプライパケットの受信処理制御を実行し、該エコ
ーパケットに基づいて算出する往復伝播遅延(RTT)
に基づいて、再送要求に基づく再送データパケット受信
が、再送データパケット格納データの再生処理開始時間
前に可能か否かを判定する構成を有することを特徴とす
る。
態様において、前記データ受信装置は、再送要求データ
パケットの識別データとしてのシーケンス番号、または
パケットの属するタイムスタンプ指定データの少なくと
もいずれかと、再送要求範囲を指定するオプションを格
納した再送要求メッセージパケットを生成して前記デー
タ送信装置に送信する構成を有することを特徴とする。
態様において、前記データパケットは、データ転送プロ
トコルとしてのRTPに従ったフォーマットを有し、前
記再送要求は、制御プロトコルとしてのRTCPに従っ
たフォーマットを有することを特徴とする。
態様において、前記データ受信装置は、複数のデータパ
ケットに関する再送要求を1つの再送要求メッセージパ
ケットとしてデータ送信装置に対して送信する構成であ
ることを特徴とする。
態様において、前記データ受信装置は、複数のデータパ
ケットに関する受信確認を1つの受信確認メッセージパ
ケットとしてデータ送信装置に対して送信する構成であ
ることを特徴とする。
信装置およびデータ受信装置からなり、ストリーム型デ
ータ転送を実行するデータ通信方法であり、データ送信
装置において、送信データを格納したデータパケットを
送信するパケット送信処理ステップと、データ受信装置
から受信する再送要求メッセージパケットに従って再送
すべきデータパケットの抽出処理を実行する再送制御処
理ステップとを有し、データ受信装置は、前記データ送
信装置から受信するデータパケットを受信するパケット
受信処理ステップと、前記データ送信装置から受信する
データパケットのエラーまたはロスト・データパケット
の検出に基づいて、前記データ送信装置に対するデータ
パケット再送要求としての再送要求メッセージパケット
の送信可否を判定する再送要求処理制御ステップとを有
し、前記再送要求処理制御ステップは、再送要求に基づ
く再送データパケット受信が、再送データパケット格納
データの再生に伴う処理開始時間前に可能か否かを判定
し、可能であるとの判定を条件として、再送要求送信を
決定することを特徴とするデータ通信方法にある。
態様において、前記データ・パケットの格納データは、
符号化データであり、前記データ受信装置における前記
再送要求処理制御ステップは、再送要求に基づく再送デ
ータパケット受信が、再送データパケット格納データの
復号処理を含む再生に伴う処理開始時間前に可能か否か
を判定するステップを含むことを特徴とする。
態様において、前記再送要求は、再送要求データパケッ
トの識別データとしてのシーケンス番号と、該シーケン
ス番号に対応するデータパケットの重複再送の指定回数
データを格納したメッセージパケットによって構成さ
れ、前記データ送信装置は、再送要求メッセージパケッ
トに指定された重複再送の指定回数データに従って、指
定シーケンス番号のデータパケットの重複送信を実行す
ることを特徴とする。
態様において、前記データ送信装置とデータ受信装置間
で転送されるデータパケットは、動画像データであり、
前記データ受信装置における前記再送要求処理制御ステ
ップは、動画像データの1画像フレームの構成データを
格納した複数のデータパケットの終端データパケットの
受信に応じて、該終端データパケットの属する画像フレ
ームの構成データを格納した複数のデータパケット中の
エラーまたはロスト・データパケットの検出処理を実行
するステップを含むことを特徴とする。
態様において、前記データ送信装置とデータ受信装置間
で転送されるデータパケットは、動画像データであり、
前記データ受信装置における前記再送要求処理制御ステ
ップは、動画像データの1画像フレームの構成データを
格納した複数のデータパケットの先頭データパケットの
受信に応じて、該先頭データパケットの属する画像フレ
ームの前フレームの構成データを格納した複数のデータ
パケット中のエラーまたはロスト・データパケットの検
出処理を実行するステップを含むことを特徴とする。
態様において、前記データ受信装置における前記再送要
求処理制御ステップは、データパケット格納データの再
生処理開始時間に間に合うための再送要求最終期限に基
づいて、受信データパケット中のエラーまたはロスト・
データパケットの検出処理を実行するステップを含むこ
とを特徴とする。
態様において、前記データ受信装置における前記再送要
求処理制御ステップは、定期的な時間間隔に基づいて、
受信データパケット中のエラーまたはロスト・データパ
ケットの検出処理を実行するステップを含むことを特徴
とする。
態様において、前記データ受信装置は、さらに、前記デ
ータ送信装置とデータ受信装置における往復伝播遅延
(RTT)の計測処理のために前記データ送信装置に対
するエコーパケットの送信および該エコーパケットに対
するエコーリプライパケットの受信処理制御ステップを
実行し、前記再送要求処理制御ステップは、該エコーパ
ケットに基づいて算出する往復伝播遅延(RTT)に基
づいて、再送要求に基づく再送データパケット受信が、
再送データパケット格納データの再生処理開始時間前に
可能か否かを判定するステップを含むことを特徴とす
る。
態様において、前記データ受信装置の生成する再送要求
メッセージパケットは、データパケットを指定するシー
ケンス番号指定データ、またはパケットの属するタイム
スタンプ指定データの少なくともいずれかと、再送要求
範囲を指定するオプション値によって構成され、前記デ
ータ送信装置の再送制御ステップは、前記データ受信装
置から受信する再送要求メッセージパケットに格納され
たデータパケットを指定するシーケンス番号指定デー
タ、またはパケットの属するタイムスタンプ指定データ
の少なくともいずれか、およびオプション値に基づいて
1以上の再送パケットの抽出処理を実行することを特徴
とする。
態様において、前記データパケットは、データ転送プロ
トコルとしてのRTPに従ったフォーマットを有し、前
記再送要求は、制御プロトコルとしてのRTCPに従っ
たフォーマットを有することを特徴とする。
態様において、前記データ受信装置は、さらに、複数の
データパケットに関する再送要求を1つの再送要求メッ
セージパケットとしてデータ送信装置に対して送信する
ステップを実行することを特徴とする。
態様において、前記データ受信装置は、さらに、複数の
データパケットに関する受信確認を1つの受信確認メッ
セージパケットとしてデータ送信装置に対して送信する
ステップを実行することを特徴とする。
ム型データ受信処理を実行するコンピュータ・プログラ
ムであって、データ送信装置から受信するデータパケッ
トを受信するパケット受信処理ステップと、前記データ
送信装置から受信するデータパケットのエラーまたはロ
スト・データパケットの検出に基づいて、前記データ送
信装置に対するデータパケット再送要求としての再送要
求メッセージパケットの送信可否を判定する再送要求処
理制御ステップとを有し、前記再送要求処理制御ステッ
プは、再送要求に基づく再送データパケット受信が、再
送データパケット格納データの再生に伴う処理開始時間
前に可能か否かを判定し、可能であるとの判定を条件と
して、再送要求送信を決定するステップを含むことを特
徴とするコンピュータ・プログラムにある。
は、例えば、様々なプログラム・コードを実行可能な汎
用コンピュータ・システムに対して、コンピュータ可読
な形式で提供する記憶媒体、通信媒体、例えば、CDや
FD、MOなどの記録媒体、あるいは、ネットワークな
どの通信媒体によって提供可能なコンピュータ・プログ
ラムである。このようなプログラムをコンピュータ可読
な形式で提供することにより、コンピュータ・システム
上でプログラムに応じた処理が実現される。
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。なお、本明細
書においてシステムとは、複数の装置の論理的集合構成
であり、各構成の装置が同一筐体内にあるものには限ら
ない。
要]まず、図1を参照して、本発明のシステム概要及び
データ送受信処理の概要について説明する。
側端末104は受信側端末121に対して画像、音声等
のデータをパケット化して送信する。転送データは、例
えばビデオカメラ101によって取得された画像、音声
データである。なお、転送データは、CD,DVD等の
記憶媒体から入力されるデータ、あるいは外部ネットワ
ーク、衛星等から受信するデータ等であってもよい。な
お、以下の説明では、1つの例として送信側端末104
から受信側端末121へビデオカメラ101によって取
得された動画像データを転送する構成を中心として説明
する。
画像データは、送信側端末104の符号化装置102に
より符号化、例えばMPEG圧縮処理等による符号化が
なされて、バッファ103に蓄積される。バッファ10
3に蓄積された符号化データは、リアルタイム・トラン
スポート・プロトコル:RTP(Real-time Transport
Protocol)に従ったデータ・パケット(以下パケットと
称する)を生成するRTPパケット作成部106に出力
され、符号化データを格納したRTPパケットのパケッ
ト生成処理が実行される。RTPパケット作成部106
において生成された符号化データを格納したRTPパケ
ットは、RTPプロトコルを通じてRTPパケット出力
ポート110からIPネットワーク111に送出され
る。送信側端末104のRTPパケット作成部106お
よびRTPパケット出力ポートによってパケット送信処
理部が構成される。
ータをペイロードとしたパケットを生成する処理を実行
する。ペイロードデータに対して、RTPヘッダを付加
しパケット化する。RTPパケット構成を図2に示す。
RTPヘッダには、バージョン番号(v)、パディング
(P)、拡張ヘッダ(X)の有無、送信元数(Coun
ter)、マーカ情報(marker bit)、ペイ
ロードタイプ(Payload type)、シーケン
ス番号、タイムスタンプ、同期ソース(送信元)識別子
(SSRC)および貢献ソース(送信元)識別子(CS
RC)の各フィールドが設けられている。データ受信側
において、RTPヘッダに付与されたタイムスタンプに
よりRTPパケットの展開時に処理時間の制御が実行さ
れ、リアルタイム画像、または音声の再生制御が可能と
なる。なお、例えば動画像データの符号化データを格納
したRTPパケットにおいては、1つの画像フレームに
属する複数のRTPパケットに共通のタイムスタンプが
設定され、各フレームを構成する終端パケットには、終
端であることを示す識別フラグがRTPヘッダに格納さ
れる。
にIPヘッダが付与される。図3にIPパケットの構成
中のIPヘッダの詳細を示す。IPv4、IPv6等の
バージョンを示すバージョン、ヘッダ長、さらに、優先
度情報を格納したTOS(Type of Service)フィール
ド、パケットの長さ、パケットの識別子、IP層でのデ
ータ分割(フラグメント)に関する制御情報としてのフ
ラグ、分割(フラグメント)されたデータの場所を示す
断片オフセット、データの破棄までの時間情報を示すT
TL(Time to Live)、上位層で利用されるプロトコル
(4:IP,TCP:7,UDP:17…)ヘッダのチ
ェックサム、送信元IPアドレス、宛て先IPアドレス
を有する。
する。受信側端末121のRTPパケット入力ポート1
12は、IPネットワーク111を介して送信側端末1
04からのRTPパケットを受信する。受信したRTP
パケットは、パケット解析部114においてパケットの
解析が実行される。受信側端末121のRTPパケット
入力ポート112および、パケット解析部114によっ
てパケット受信処理部が構成される。パケット解析部1
14は、具体的にはパケット内のヘッダ部、データ部に
ついての解析が実行される。パケットから取り出された
ペイロードとしてのデータ、すなわち、符号化データ
は、バッファ117に蓄積される。また、パケットから
抽出されたデータのバッファの蓄積位置を示す位置デー
タや、各データに対応するパケットのヘッダ情報は、イ
ンデックスリスト118として蓄積される。
は、インデックスリスト118に蓄積されたヘッダ情報
に基づく時間制御の下にデコーダ120に渡され、デコ
ーダ120によって復号処理が実行される。例えば動画
像を構成する各画像フレームは、複数のパケットに格納
されたデータによって構成され、1つの画像フレームを
構成するデータを格納した複数のRTPパケットのヘッ
ダには、同一のタイムスタンプが格納されるので、イン
デックスリスト118に蓄積されたヘッダ情報のタイム
スタンプを参照して同一タイムスタンプを持つパケット
を1つの画像フレームを構成する符号化データの集合と
して、デコーダ120に渡すことが可能となり、デコー
ダ120は、フレーム毎に復号処理を実行することがで
きる。デコーダ120において復号されたデータは、再
生装置としてのディスプレイ123、またはスピーカ1
22へ渡され、出力再生される。
転送されるパケットが全て滞りなく、また、エラーのな
い状態で送信されれば、受信側端末121におけるリア
ルタイムデータ再生は問題なく実行される。しかし、実
際は、ネットワーク上でのパケット損失の発生、遅延、
転送パケットのデータエラー等、様々な要因に基づく再
生エラーあるいは再生データの品質低下が発生し得る。
121のRTPパケット解析部114においてパケット
損失等のエラーの発生を検出し、パケット損失等のエラ
ー発生が検出された際には、ARQ(Auto Repeat reQu
est)判定部119において、リアルタイム再生シーケ
ンスを考慮したパケット再送要求の可否判定処理を実行
する。ARQ(Auto Repeat reQuest)判定部119
は、データ送信装置から受信するデータパケットのエラ
ーまたはロスト・データパケットの検出に基づいて、デ
ータ送信装置に対するデータパケット再送要求としての
再送要求メッセージパケットの送信可否を判定する再送
要求処理制御部として機能する。ARQ判定部119に
おける具体的な処理については後述する。
実行するとの判定がなされた場合、受信側端末121
は、再送要求パケットを識別するデータを格納した再送
要求NACK(Negative ACKnowledge)−RTCP(Rea
l-time Transport Control Protocol)パケットをRT
CPパケット作成装置116にて作成し、RTCPパケ
ット入出力ポート113を介して、送信側端末104に
対して出力する。
力ポート109において、受信側端末121からの再送
要求を示すNACK−RTCPパケットを受信すると、
受信したNACK−RTCPパケットをRTCPパケッ
ト解析部108において解析し、解析結果をARQ処理
部105へ渡す。ARQ処理部105では、再送要求に
応じたパケットの再送を実行するため、NACK−RT
CPパケットにおいて指定されたパケットをバッファ1
03から抽出し、抽出したパケットを、RTPパケット
出力ポート110を介して再送する制御処理を実行す
る。ARQ処理部105は、データ受信端末装置から受
信する再送要求メッセージパケットに従って再送すべき
データパケットの抽出処理を実行する再送制御部として
機能する。なお、NACK−RTCPパケットに基づく
再送要求に応じたパケット再送処理において、送信側端
末104は、NACK−RTCPパケットに重複送信の
指定がある場合等、必要に応じてARQ処理部105の
判断により再送パケットを重複して送る場合もある。こ
れらの処理の詳細については、後述する。
リームデータが終了したのを検知した場合には、送信側
端末104のRTCPパケット作成部107の生成した
EOS(End Of Stream)メッセージを持つRTCPパ
ケットを受信側端末121へ送り、データストリームの
終了を明示する。
部105において、リアルタイム再生を考慮して、ロス
トパケットに関する再送要求の実行/非実行の処理を決
定する。データ転送における自動再送要求方式であるA
RQ(Automatic Repeat reQuest)は非常に有効な誤り
訂正機能として知られている。ARQの具体的方式とし
ては、例えばSAW(Stop And Wait)方式、GBN(G
o Back N)方式、SR(Selective Repeat)方式など種
々の方法が提案され実現されている。本実施例において
は、ARQ基本アルゴリズムとして、スループット特性
が高い選択再送SR(Selective Repeat)方式エラー訂
正機能として使用する例について説明する。
側で無限のバッファを用意する必要がある。そのため、
受信側のバッファオーバーフローが起こった時点または
起こりそうな時点でSR方式から別の再送方式に変更す
る方法やパケットのコピー伝送を通常から行いオーバー
フローを回避する方法などが提案されている。しかしな
がら、本実施例におけるエラー訂正機能においては、P
HS、TCP、データリンク層などに代表される完全に
データを送信することを第一優先にしているARQと異
なり、データ受信側で実行される受信データの再生処理
時間から想定されるパケット受信最終許容時間までに、
できるだけ必要なデータの受信を実現する事を優先して
いる。よって、SR方式からST方式やGBN方式には
移行せず、SR方式のままARQを行う構成としてい
る。また、バッファフローオーバーにならないよう受信
側はバッファ制御を行い効率よくデータを送信する構成
とする。
トしてしまったパケットの再送要求は、RFC1889 で規定
されているRTCP(Real-time Transport Control Pr
otocol)に従って、NACK(Negative ACKnowledge)
を送ることで実現する。RFC1889ではRTCPパケット
の連続送信間隔を5秒以上あける事を推奨している。こ
こで再送要求を5秒以上間隔を空けたとすると、受信側
のバッファ溢れが生じるだけでなく、そもそもメディア
の再生時間に間に合うように再送することができない。
ストリーミングはリアルタイム性が強い分、*できるだ
け早く再送要求を出す*再送要求を受信したらできるだ
け早いうちに再送するという動作を可能な時間内に実施
しなければならない。そのために、ARQに用いるNA
CKパケットは、データ受信側において能動的に随時必
要に応じてデータ送信側に対して送信することが必要と
なり、推奨値を本発明の場合は適用せず、任意タイミン
グでのNACKパケット送信を実行するものとする。
5%以内になるよう規定している。本発明の実施例に係
る構成の再送パケットは最小単位で16byteと小さ
いため、再送要求によって帯域を圧迫するほどのもので
はないと考えられる。なお、画像データ等の実データ自
体の伝送には、RFC1889で規定されているRTP(パケ
ットフォーマットは図2参照)を用いる例について説明
するが、パケット毎にシーケンス番号を記述しておけ
ば、UDP(User Datagram Protocol)等、他のプロト
コルに従った処理も可能である。
は、処理時間が限定されるため、送信と受信における往
復伝播遅延(RTT)が重要なパラメータとなる。往復
伝播遅延(RTT)が大きい場合、データ受信端末から
データ送信端末に対して再送要求を出しても、再送要求
パケットがデータ送信端末側に到着するまでの時間、デ
ータ送信端末において指定データを格納した再送パケッ
トを抽出して再送処理を実行するまでの時間、再送パケ
ットをデータ受信端末が受信するまでの時間、これらの
処理に時間を要すると、その後、データ受信端末におい
て、デコーダに受信データを渡して復号を行なっても、
リアルタイム再生に間に合わない場合が発生する。無
論、間に合う間に合わないかかわらず再送要求を出して
おく方が、訂正率の向上が達成される可能性は大となる
が、再送要求パケットの送信、再送パケットの再送によ
るネットワークトラフィックの混雑が発生することにな
り、これらの冗長データの伝送によるオーバーヘッドの
問題が発生することになる。
(RTT)をデータ受信端末において、あらかじめ把握
することにより、データ受信端末において、再送要求を
行なってから再送パケットを受信するまでの時間の把握
が可能となり、データ受信端末においてリアルタイム再
生を行なうために必要な最終再送要求時間を割り出すこ
とが可能なる。本発明のシステムでは、受信端末のAR
Q判定部において、往復伝播遅延(RTT)に基づく最
終再送要求時間を判定し、判定に基づいて、再送要求と
してのNACK−RTCPの送信を実行する。
性を保持するためには、常に送信と受信における往復伝
播遅延(RTT)を計測しておく必要がある。本発明の
システムでは、データ受信側端末は、能動的にRTTを
計測し、ネットワーク状況等において変化する送信と受
信における往復伝播遅延(RTT)の更新を実行し、最
新のRTTに基づいて再送要求としてのNACK−RT
CPの送信の実行可否を判定する。
Report)とRR(Receiver Report)により送信側はR
TTの算出が可能となるが、リアルタイム再生の進行状
況に基づいて、再送要求としてのNACK−RTCPパ
ケットを送出するかしないかを判定するのは、データ受
信側端末であり、データ受信側端末において、逐次、ネ
ットワーク状況を反映したRTT情報を取得可能とする
構成が好ましい。従って、本発明のシステムにおいて
は、データ受信端末側から能動的にRTTを算出可能な
構成としている。具体的には、データ受信端末における
ECHOパケットの送信、ECHO−REPLYパケッ
トの受信により、RTTの算出を行なう。これらの処理
については、後段で詳細に説明する。
パケット再送要求としてのNACK−RTCPパケット
を受信すると、NACK−RTCPパケットに指定され
た再送要求パケットを、現在配信中のパケットと共に送
信する。ただし、データ送信端末は、プライオリティを
用いた配信スケジューリング機能を実行し、パケットの
再送は、配信スケジューリングに従って実行される。
として、パケット再送要求としてのNACK−RTCP
パケットのみを使用する構成としても、自動再送要求方
式としてのARQ(Automatic Repeat reQuest)を有効
に活用することができるが、本実施例においては、受信
端末側からのパケット受信確認応答としてのACK(AC
Knowledge)メッセージもデータ送信端末に対する応答
パケットとして送信する。このACK送信により、再送
要求に対応してパケットを保持する送信側のバッファを
能動的に早めにクリアすることが可能となり、バッファ
溢れの恐れを低下させることが可能となる。
終了したことを明示的に示すEOS(End Of Stream)
メッセージを送信端末側は利用できる。EOSメッセー
ジを使うことにより、受信側がストリーミング配信デー
タの終了を認識可能となる。従って、受信側が最終フレ
ームを受け取っているにもかかわらず、次のフレームが
到着しないことによるNACK送出動作を防ぐことがで
きる。
マーにより、データ受信間隔、NACK送出後の経過時
間等を計測可能であり、タイマーによる計測時間が閾値
以上となったことにより、データ終了と判定する処理が
可能であるが、EOSメッセージの受信により、ストリ
ーミング配信データの終了確認が可能となる。従って、
タイマーより先に受信完了状態とすることができる。逆
に、EOSメッセージを利用しない、またはEOSがロ
ストしてしまった場合は、NACKを送出しても送信側
から再送パケットが送られてこないため、タイマーによ
って受信完了状態に移ることになる。
面を参照しながら、データ送信端末における処理の詳細
について説明する。
ローチャートを参照して説明する。図4に示す処理は、
図1の送信側端末104において実行される処理を説明
したフローである。送信側端末は、例えばビデオカメ
ラ、あるいはDVD、CD、ハードディスク等の記憶媒
体から撮り込んだデータをエンコーダにおいてMPEG
圧縮等の符号化処理を実行し、その後、符号化データを
ペイロードとしたパケットを生成する。図4に示すフロ
ーは、このパケット生成処理以降の処理を示している。
いて、送信データをペイロードとしたRTPパケット生
成処理を実行する。RTPパケットは、先に図2を参照
して説明した構成を有しタイムスタンプをヘッダ中に持
つ。例えば動画像データを送信する場合は、同一画像フ
レームに属する符号化データを格納したパケットには同
一のタイムスタンプが設定され、後続フレームに進むに
従って、増分されたタイムスタンプが設定される。
ケンス図を参照して、タイムスタンプの設定例を説明す
る。データ送信側(Sender)に示すタイムスタン
プ12000は、1つの画像フレームを構成する符号化
データをペイロードとして格納した複数のRTPパケッ
ト(シーケンス番号=1〜6)に付与されるタイムスタ
ンプである。その後のタイムスタンプ15000は、後
続画像フレームを構成するRTPパケット(シーケンス
番号=7〜12)と、データ受信側からNACK−RT
CPパケットによる再送要求があり、再送するパケット
(シーケンス番号=4,5)とに設定されるタイムスタ
ンプである。このように、データ送信端末では、例えば
画像フレームを構成するパケットの集合に1つのタイム
スタンプを設定してRTPパケットを生成する。
て説明を続ける。ステップS201で生成したRTPパ
ケットは、ステップS202において、RTPパケット
出力ポートを介して受信端末に向けてIPネットワーク
に出力される。なお、RTPパケットはさらに、先に図
3を用いて説明したIPヘッダが付与され、IPヘッダ
に設定されたアドレスに向けて配信されることになる。
ステップS201、S202のパケット生成、パケット
送信処理は、ストリーミング配信されるデータが終了し
たことを明示的に示すEOS(End Of Stream)を配信
し、予め設定した時間をタイマーで計測して、タイマー
での計測時間が設定時間を超えた場合に、処理を終了す
る。
送要求としてのNACK−RTCPパケットの受信判定
処理、ステップS204のパケット受信確認応答として
のACK−RTCPパケットの受信判定処理、ステップ
S205のRTT時間計測用のECHO−RTCPパケ
ットの受信判定処理は、RTPパケットによる実データ
送信中の割込み処理としてRTPパケットによる実デー
タ送信に並行して逐次実行される処理である。
末からのパケット再送要求であるNACK−RTCPパ
ケットの受信判定処理である。データ受信端末からのパ
ケット再送要求であるNACK−RTCPパケットを受
信した場合は、ステップS211〜S215の処理を実
行する。このステップS211〜S215の処理は、図
1に示すARQ処理部105における処理として実行さ
れる。
装置は、NACK−RTCPパケットを受信する。図6
にデータ受信端末において生成し、データ送信端末の受
信するパケット再送要求であるNACK−RTCPパケ
ットの構成を示す。
すようにヘッダ(HEAD)、フォーマット(FORM
AT)、パケットタイプ、パケット長、送信同期ソース
識別子(RTCP)、タイムスタンプの情報に加えて、
再送要求対象となるパケットの識別子としての再送指定
シーケンス番号、さらに、各再送指定シーケンス番号に
対応するデータとして、「再送回数」、「オプショ
ン」、「重複指定回数」が設定可能である。
を適用したシステムでは、RTCPに従ったコントロー
ル・パケットとして再送要求としてのNACK、受信確
認としてのACK、ストリーミング配信されるデータが
終了したことを明示的に示すEOS、送信と受信におけ
る往復伝播遅延(RTT)を計測する際に使用されるE
CHO、およびECHO−REPLYのパケットが利用
される。これらの各RTCPパケットそれぞれのフォー
マットタイプを一制御メッセージとして、すなわちRT
CPヘッダのPT(Payload Type)として区別をするの
は汎用的ではない。よって、制御メッセージとしては、
フィードバックメッセージ(FM:Feedback Message)と
して定義しPT(Payload Type)に指定する。かつ、R
TCPヘッダ内の[フォーマット]フィールドであるF
MT (Feedback Message Format)にそのパケットフォー
マットの指定をすることで、どのようなフィードバック
メッセージかを決定できる構成とする。
トには1つ以上の再送要求対象となるパケットの識別子
としてのシーケンス番号を付与することができる構成を
持つ。つまり一度のNACKパケットの送信処理で複数
のパケットについての再送要求が可能になる。また、再
送要求パケットのシーケンス番号各々に対して付加され
る「再送回数」は、何回目の再送要求かを明記するフィ
ールドであり、「重複指定回数」は、再送する場合の多
重回数の指定を明記するフィールドであり、「オプショ
ン」はその他の任意の情報を格納するフィールドとして
使用される。
ておけば、NACKを受信したデータ送信側は、同じデ
ータを格納した再送パケットを[3]つ連続で送る処理
を実行する。重要データを格納したパケットについて
は、重複再送を要求することで、再送パケットの受信の
確実性を高めることが可能となる。また、繰り返し、同
一パケットについての再送要求としてのNACKを送信
しているにもかかわらず、受信に成功しない場合や、リ
アルタイム再生に間に合うための再送可能最終時間に出
されるNACKにおいて、「重複指定回数」の設定数を
増加させてデータ送信側に送信することにより、再送パ
ケットの受信の確実性を高めることが可能となり、デー
タ再生品質を向上させることが可能となる。データ受信
側は、このようなNACK−RTCPパケットを送信し
て、データ送信側は、受信したNACK−RTCPパケ
ットに基づくパケット再送処理を実行する。
ロードフォーマット、または受信端末の利用者が意図的
に指定した場合など、パケットに優先度が与えられてい
る場合、優先度が高いパケットやデータに関しての再送
は多重再送処理を行なうことで、再送パケットの受信確
率を高めるようコントロール可能である。また、「再送
回数」フィールドにおいて何回目の再送要求かを明記す
ることで、NACK自身が損失したことを送信側が検知
できる。
ド設定値に従って、例えば図7に示す処理指定を行なう
ことが可能となる。すなわち、 オプション設定値=0 指定シーケンス番号を持つパケットのみの再送要求(デ
フォルト) オプション設定値=1 フレーム先頭パケットから指定シーケンス番号を持つパ
ケットまでの一括再送要求 オプション設定値=2 指定シーケンス番号からフレーム最後尾までのパケット
の一括再送要求 オプション設定値=3 指定タイムスタンプの付与されたパケットの一括再送要
求 オプション設定値=4 タイムスタンプを無視してシーケンス番号のみで検索し
て検索結果のパケットの再送を要求
を参照して説明したように、タイムスタンプとシーケン
ス番号をセットとしたヘッダを持つ1つのRTPパケッ
トに格納した構成を有するが、データ転送処理におい
て、タイムスタンプの変わり目を含んた連続的なエラー
としてのバーストエラーが起こった場合、あるいは、バ
ーストエラーの発生により、フレーム単位でパケットの
損失が発生した場合などにおいては、受信端末側では、
パケット損失の発生したパケットに対応するタイムスタ
ンプとシーケンス番号のセットを特定できない場合が発
生する。このような場合において、特定可能なタイムス
タンプ、あるいはシーケンス番号のいずれか一方のみを
指定して、上記のオプション設定値を設定することによ
り、フレキシブルな態様で再送の必要な1以上のパケッ
ト指定が可能となる。
態様での再送要求パケットの指定が可能であり、NAC
K−RTCPパケットを受信したデータ送信端末のAR
Q処理部105は、オプションフィールドの設定値に従
って、バッファ103に格納済みのパケットから指定パ
ケットを抽出して、再送処理を実行する。
て説明する。ステップS212では、ステップS211
で受信したNACK−RTCPパケットに指定された再
送要求パケットに対応するシーケンス番号を抽出し、ス
テップS213では、オプション指定の抽出を実行す
る。上述したように再送要求パケットの指定態様は、シ
ーケンス番号の直接指定のみならず、タイムスタンプ等
による指定等、様々であり、データ送信端末装置のAR
Q処理部105では、受信したNACK−RTCPパケ
ットに指定されたオプション指定、およびタイムスタン
プ、シーケンス番号を参照して、再送要求パケットを特
定する処理を実行する。
求パケットをバッファ103から抽出する。バッファ1
03には、再送要求に備えて所定時間、送信済みのパケ
ットが保持格納されており、これらの格納パケットから
再送指定のあったパケットを抽出する処理を実行する。
ステップS215で、RTPパケット出力ポートから抽
出パケットが送信される。
TCPパケットを受信しない場合は、ステップS204
でパケット受信応答としてのACK−RTCPパケット
の受信確認を行ない、ACK−RTCPパケットの受信
に基づいて、ステップS208で、受信の確認されたパ
ケットをバッファ103からクリア(削除)する。この
ACKにより、再送要求に対応してパケットを保持する
送信側のバッファを能動的に早めにクリアすることが可
能となり、バッファ溢れの恐れを低下させることが可能
となる。
ータ送信端末の受信するパケット受信確認応答であるA
CK−RTCPパケットの構成を示す。
ようにヘッダ(HEAD)、フォーマット(FORMA
T)、パケットタイプ、パケット長、送信同期ソース識
別子(RTCP)、タイムスタンプの情報に加えて、受
信パケットの識別子としての受信済みシーケンス番号が
格納される。
スタンプ(TIMESTAMP)のみ指定する構成とすることも
可能であり、この場合には、そのタイムスタンプ(TIME
STAMP)の設定されたパケットすべてを受け取った事を
示す。よってこのような場合にはシーケンス番号をすべ
て指定する必要はないため、ACK−RTCPパケット
サイズを小さくすることが可能となり、ネットワークト
ラフィックの増大を低減できる。
を続ける。データ送信端末は、ステップS205におい
て、ECHO−RTCPパケットの受信確認を行ない、
データ受信端末からECHO−RTCPパケットを受信
した場合は、ステップS209において、ECHO−R
EPLY−RTCPパケットをECHO−RTCPパケ
ットを送信してきたデータ受信端末に対して送信する処
理を実行する。
−REPLY−RTCPパケットは、送信端末と受信端
末における往復伝播遅延(RTT)をデータ受信端末に
おいて把握するために用いるRTCPパケットである。
このパケットの送受信によって、データ受信端末におい
て、再送要求を行なってから再送パケットを受信するま
での時間の把握が可能となり、データ受信端末において
リアルタイム再生を行なうために必要な最終再送要求時
間を割り出すことが可能なる。
判定部において、往復伝播遅延(RTT)に基づく最終
再送要求時間を判定し、判定に基づいて、再送要求とし
てのNACK−RTCPの送信の実行可否を決定する。
この判定処理に必要な送信端末と受信端末における往復
伝播遅延(RTT)の最新情報を取得するため、データ
受信端末側は、任意タイミングで、能動的にECHO−
RTCPパケットをデータ送信端末に送信し、データ送
信端末は、ECHO−RTCPパケットの受信に応答し
てECHO−REPLY−RTCPパケットをECHO
−RTCPパケットを送信してきたデータ受信端末に対
して送信する。
の応答として受信するECHO−REPLY−RTCP
パケットを解析することによって、送信端末と受信端末
における往復伝播遅延(RTT)を算出する。このRT
T算出処理については、後段のデータ受信端末の処理の
項目で説明する。
ータ送信端末の受信するECHO−RTCPパケットの
構成、および、データ送信端末において生成し、データ
受信端末に対して送信するECHO−REPLY−RT
CPパケットの構成を示す。
(a)に示すようにヘッダ(HEAD)、フォーマット
(FORMAT)、パケットタイプ、パケット長、送信
同期ソース識別子(RTCP)、およびECHOパケッ
トの識別データとしてのECHO−IDが格納される。
ECHO−REPLY−RTCPパケットは、図9
(b)に示すようにヘッダ(HEAD)、フォーマット
(FORMAT)、パケットタイプ、パケット長、送信
同期ソース識別子(RTCP)、およびECHO−RT
CPパケットに対応するECHO−ID、および、サー
バ処理時間が格納される。
ットとECHO−REPLY−RTCPパケットに入れ
ることにより、データ受信端末側がECHO−REPL
Yを受け取った際に、いつ送信したECHO−RTCP
パケットに対応する返事(ECHO−REPLY)かを
識別することが可能となる。ECHO−REPLY−R
TCPパケットに格納されるサーバ処理時間は、データ
送信端末がデータ受信端末からの再送要求(NACK−
RTCP)を受信してからパケットをデータ送信端末か
ら出力するまでに要する処理時間に相当する時間であ
る。このサーバ処理時間は、ECHO−RTCPパケッ
トを受信した時間からECHO−REPLY−RTCP
パケットを送信するまでの時間として設定するか、ある
いは、予めデータ送信端末において過去の履歴データと
して、実際に、データ送信端末がデータ受信端末からの
再送要求(NACK−RTCP)を受信してからパケッ
トをデータ送信端末から出力するまでに要した時間をメ
モリに格納し、この格納データを適用してもよいし、あ
るいは、ECHO−RTCPパケットを受信した時点に
おけるサーバ(データ送信端末)における処理負荷を算
出して、処理負荷に基づいて算出される予測処理時間を
サーバ処理時間として設定する構成としてもよい。
−RTCPパケットに格納されたサーバ処理時間と、E
CHO−RTCPパケット送信からECHO−REPL
Y−RTCPの受信までの時間とに基づいて、送信端末
と受信端末における往復伝播遅延(RTT)を算出す
る。このRTT算出処理については、後段のデータ受信
端末の処理の項目で説明する。
を続ける。データ送信端末は、ステップS206におい
て、送信対象となるストリーミングデータのパケット送
信がすべて終了したかを判定し、終了と判定した場合
は、ステップS210において、データストリームの終
了を明示するEOS(End Of Stream)メッセージを持
つRTCPパケットを受信側端末へ送信する処理を実行
する。
データ受信端末の受信するEOS−RTCPパケットの
構成を示す。
すようにヘッダ(HEAD)、フォーマット(FORM
AT)、パケットタイプ、パケット長、送信同期ソース
識別子(RTCP)、およびタイムスタンプ(TIME
STAMP)が格納される。データ受信端末は、EOS
−RTCPパケットをデータ送信端末から受信すること
により、ストリーミング配信されるデータの終了を認識
する。受信端末はこの認識処理により、次フレームが到
着しないことによる誤ったNACK送出動作を防ぐこと
ができる。
を続ける。データ送信端末は、ステップS207におい
て、予め設定した時間を計測するタイマーでの計測時間
が設定時間を超えたか否かを判定して、タイマーが設定
時間を超えていない場合は、ステップS203以下の処
理、すなわち、ステップS203のパケット再送要求と
してのNACK−RTCPパケットの受信判定処理以下
の処理を継続して実行する。これは、全パケット送出後
においても、一定時間は、データ受信側からのパケット
再送要求としてのNACK−RTCPパケット、また
は、受信確認応答としてのACK−RTCPパケット、
または、ECHO−RTCPパケットを受信する可能性
があり、これらのパケット受信に対する処理を実行する
ためである。タイマーにおいて、予め設定した時間が経
過した時点で、データ送信を終了する。
ータ受信端末の処理手順を図11に示すフローチャート
を参照して説明する。図11に示す処理は、図1の受信
側端末121において実行される処理を説明したフロー
である。
いて、データ送信端末からの送信開始通知を受信後、ス
テップS301において、データ送信端末からの送信パ
ケット、すなわち符号化データをペイロードとして格納
したRTPパケットを順次、受信する。RTPパケット
は、先に、図2を参照して説明したように、タイムスタ
ンプがヘッダ情報中に格納されている。データ受信端末
は、タイムスタンプに基づいて受信するパケットに含ま
れるフレームを判別することができる。先に説明したよ
うに、動画像データをRTPパケットに符号化データと
して格納して送信する場合、同一の画像フレームに属す
る複数のRTPパケットには同一のタイムスタンプが設
定され、データ受信側端末は、タイムスタンプを参照し
て、フレームの判別が可能となる。
いて、受信したパケットが、nフレーム目(n=1,
2...)の終端パケットであるか否かを判定する。ま
た、ステップS303において、受信したパケットが、
n+1フレーム目の先頭パケットであるか否かを判定す
る。受信したパケットが、nフレーム目(n=1,
2...)の終端パケットである場合、または、n+1フ
レーム目の先頭パケットである場合には、ステップS3
09に進む。
内に未受信のパケット、すなわちロストパケット、ある
いはエラーパケットがあるか否かを判定する。図5を参
照して、ステップS309におけるエラーパケットまた
はロストパケットの検出処理について説明する。
RTCPパケットのデータ転送が行われている例であ
る。図の右方向に時間が流れているとする。ここでは、
90KHzクロックで、動画像データについて、30f
ps(フレーム/秒)のレートでサンプリングして符号
化データをRTPパケットに格納して送信すると仮定し
ている。この場合、RTPパケットのタイムスタンプの
値は、同一画像フレーム内の場合には同じ値になり、9
0K/30=30000ずつカウントアップされる。受
信側は、最小刻みタイマτを実装する。この例では、当
画像データの圧縮フォーマットとして、MOTION JPEG200
0に従った符号化データを伝送しているものとし、フレ
ームにおける最終端パケットが、データ受信端末のRT
Pパケット解析部114にて検知できる。
の設定されたパケットは、パケットのシーケンス番号1
〜6であり、これらが同一フレーム、例えばフレームn
に属するパケットである。データ受信端末では、シーケ
ンス番号6のパケットを受信した時点で、ステップS3
02の判定がYesとなり、ステップS309のロスト
パケット検出処理を実行することになる。この時点で、
データ受信端末は、図5に示すようにシーケンス番号1
〜3,6のパケットを受信しており、シーケンス番号
4,5のロストパケットがあると判定する。なお、ここ
では、ロストパケットについてのみ記載しているが、受
信したパケットについてのエラーパケットとして範囲さ
れた場合についても、ロストパケットと同様の処理、す
なわち再送要求を実行することが可能である。
出されると、ステップS312以下の処理に進み、再送
要求処理としてのNACK−RTCPパケットの送信判
定処理、および判定に基づくNACK−RTCPパケッ
トの送信処理が実行される。これらの判定処理の詳細に
ついては、後述する。ここでは、シーケンス番号4,5
のロストパケットに関するNACK−RTCPパケット
が生成され、先に図6を参照して説明したNACK−R
TCPパケットの再送指定シーケンス番号として4,5
を設定したパケットを再送要求パケットとしてデータ送
信端末に対して送信する。図5におけるNACK−RT
CPパケット送信処理501がこれに相当する。
イムスタンプ(TIMESTAMP)とシーケンス番号の組み合
わせがはっきりしない場合には、先に図7を参照して説
明したオプションを指定して送信する。データ受信端末
では、パケットの送受信情報を随時記録することで、パ
ケットロス率の割り出しが可能となる。このロス率が一
定値以上になった場合には、NACK−RTCPパケッ
ト自体の損失の可能性が考えられるため、おなじNAC
K−RTCPパケットを複数回、重ねて送信する処理を
行なうことで、再送成功率を高めることが可能となる。
あるいは、NACK−RTCPパケットに重複指定回数
を増分して設定する。
ケットを受信すると、次のタイムスタンプを設定したフ
レームデータに併せて、再送パケットを送信する。ここ
では、タイムスタンプ:15000のフレームデータ
(シーケンス番号7〜12)に併せて再送パケット(シ
ーケンス番号4,5)を送信する。なお、再送タイミン
グは、このように次のフレームデータになるとは限ら
ず、処理タイミングによっては、さらに次のあるいはさ
らに遅れたフレームデータとともになる場合もある。こ
れらの再送処理タイミングについては、データ受信端末
側がECHO−RTCPパケット、およびECHO−R
EPLY−RTCPの送受信を実行することにより、送
信端末と受信端末における往復伝播遅延(RTT)を算
出して推測可能となる。この処理については、後述す
る。
イムスタンプ=12000〜24000…において、そ
の最終パケットまたは先頭パケットをデータ受信端末が
受信した場合において、図11のステップS302また
はステップS303の判定が、Yesとなり、ステップ
S309のロストパケット検出処理を実行し、ステップ
S312以下の処理に進み、再送要求処理としてのNA
CK−RTCPパケットの送信判定処理、および判定に
基づくNACK−RTCPパケットの送信処理が実行さ
れる。
NACK−RTCPパケットの送信判定処理について説
明する。リアルタイム再生処理を実現するためには、再
生タイミングに間に合うように、再送要求パケットが受
信端末に届くことが必要となる。ステップS312の再
送要求処理としてのNACK−RTCPパケットの送信
判定処理は、NACK−RTCPパケットを送信した場
合、リアルタイム再生処理に間に合うタイミングで、再
送パケットが受信可能か否かを判定するものである。
信端末と受信端末間における往復伝播遅延(RTT)が
重要なパラメータとなる。往復伝播遅延(RTT)が大
きい場合、データ受信端末からデータ送信端末に対して
再送要求を出しても、再送要求を発信して、再送パケッ
トがデータ送信端末から再送され、データ受信端末にお
いて受信するまでに時間を要すると、その後デコーダに
渡して復号を行なってリアルタイム再生に間に合わない
場合が発生する。本発明のシステムでは、データ受信端
末において、往復伝播遅延(RTT)をあらかじめ把握
し、往復伝播遅延(RTT)に基づいて、NACK−R
TCPパケットの送信判定処理を行なう。
端末側が、任意タイミングで、往復伝播遅延(RTT)
の計測を実行することを可能な構成としている。具体的
には、データ受信端末から、先に説明した図9に示すE
CHO−RTCPパケットを送信し、ECHO−REP
LY−RTCPパケットを受信して、RTTの算出を行
なう。
するECHO−RTCPパケットの送信、ECHO−R
EPLY−RTCPパケットの受信、往復伝播遅延(R
TT)の算出処理について説明する。
ットの送信処理フローである。ECHO−RTCPパケ
ットの送信は、データ受信端末が任意タイミングで能動
的に実行することが可能である。
ットの送信待機状態において、RTTの計測要請が発生
した場合、ステップS502のECHO−RTCPパケ
ットの生成処理に移行する。RTTの計測は、データ受
信が開始された後、例えば図11の処理フローにおい
て、ステップS300の送信開始通知を受信した以降、
定期的に実行する等の設定が可能であり、データ受信側
端末に保有するタイマーで予め定めた計測間隔が経過し
たか否かを計測し、予め定めた計測間隔に対応する時間
が経過した場合に、ARQ判定部119が、ECHO−
RTCPパケットの生成要求をパケット作成部116に
出力し、パケット作成部116がステップS502のE
CHO−RTCPパケットの生成処理を実行するなどの
設定が可能である。この他にも、パケットのロスト状況
を解析し、ロスト状況に応じてECHO−RTCPパケ
ットの生成、送信を実行する構成としてもよく、いずれ
にしても、データ受信端末は、任意タイミングで、EC
HO−RTCPパケットの生成、送信が可能であり、常
に最新の往復伝播遅延(RTT)の算出が可能となる。
TCPパケットは、先に図9(a)を参照して説明した
構成を有する。パケットには、各パケット固有の識別子
としてのECHO−IDが設定される。ステップS50
3で、生成したECHO−RTCPパケットが、RTC
P入出力ポート113を介して、データ送信端末104
に対して送信される。ステップS504では、ECHO
−RTCPパケットを送信した送信時間、および、パケ
ットに設定されたECHO−IDがメモリに記録され
る。
RTCPパケットの受信およびRTT算出処理フローで
ある。ステップS601における、RTCPパケットの
送信待機状態において、ECHO−REPLY−RTC
Pパケットが受信されたと判定(ステップS602でY
es)されると、ステップS603において、ECHO
−REPLY−RTCPパケットの受信時刻がメモリに
記録される。受信するECHO−REPLY−RTCP
パケットは、先に図9(b)を参照して説明した構成を
有する。パケットには、応答対象となった対応するEC
HO−RTCPパケットと同一の識別子としてのECH
O−IDが設定され、さらに、データ送信端末において
算出したサーバ処理時間が格納される。
−REPLY−RTCPパケットからサーバ処理時間が
抽出され、ステップS605において、受信したECH
O−REPLY−RTCPパケットに設定されたECH
O−IDから対応するECHO−RTCPパケットの送
信時間が検索される。
において取得したECHO−REPLY−RTCPパケ
ットの受信時刻、ステップS604において取得したサ
ーバ処理時間、ステップS603において取得したEC
HO−RTCPパケットの送信時間に基づいて、往復伝
播遅延(RTT)の算出処理が実行される。往復伝播遅
延(RTT)の算出は、下式に基づいて実行される。 往復伝播遅延(RTT)=(ECHO-REPLAY受信時刻)-(ECH
O送信時刻)-(サーバ処理時間)
するECHO,ECHO−REPLYパケットも損失す
ることが考えられる。またRTTもネットワークの状況
により常に変動するため、データ受信端末は一定間隔で
ECHO,ECHO−REPLYパケットの送受信処理
を実行してRTTを計測する。
の処理について説明を続ける。図11のフローにおい
て、ステップS312では、再送要求としてのNACK
−RTCPを出力した場合、リアルタイム再生処理に間
に合うタイミングで再送要求パケットの受信が可能か否
かを判定する。上述したECHO,ECHO−REPL
Yパケットの送受信処理により計測されたRTT値と、
各フレームの処理タイミングを計測しているタイマーの
期限に基づいて、再送要求としてのNACK−RTCP
パケットを出しても間に合わないと判断した場合(S3
12でNo)には、NACK−RTCPパケットの送信
処理は実行しない。
レームの符号化データの処理開始までの時間Ta=10
0mmsecである場合、すなわち100mmsec後
にデコーダにデータを渡して復号処理が開始されること
がタイマーの計測により明らかとなっている場合、計測
された最新のRTT値が、該当フレームの符号化データ
の処理開始までの時間Taより大きい値であった場合、
すなわち、100mmsec以上であった場合には、再
送要求としてのNACK−RTCPパケットを送信して
も、再送パケットの受信が、デコード処理開始タイミン
グに間に合わないものと判断して、NACK−RTCP
パケットの送信処理を実行しない。ただし、RTT値が
処理開始までの時間Ta以上であっても、RTT値と時
間:Taの非常に近い値を持つ場合には、ぎりぎり間に
合う可能性もあるためNACKを送出する構成としても
よい。このNACK送出判定の閾値は実装依存である。
ット損失の存在する該当フレームの符号化データの処理
開始までの時間Ta以下であった場合には、再送要求と
してのNACK−RTCPパケットを送信して再送パケ
ットを受信するまでの時間が、デコード処理開始タイミ
ングまでの時間以下であるので、再送パケット受信が処
理に間に合うものと判断して、ステップS313におい
て、NACK−RTCPパケットの送信処理を実行す
る。
処理は、ステップS302の各フレームの終端パケット
受信、ステップS303の各フレームの先頭パケット受
信時のみではなく、ステップS304の各フレームの最
終再送時間の判定でYesの場合、およびステップS3
05のタイマーの最小計測時間τの経過判定でYesの
場合に実行される。
レームの最終再送時間の判定処理、およびステップS3
05のタイマーの最小計測時間τの経過判定処理につい
て説明する。
時間の判定処理は、再送要求としてのNACK−RTC
Pを出力した場合、リアルタイム再生処理に間に合う最
終時間判定処理である。各フレームについて、各フレー
ムの符号化データの処理開始までの時間Taが計測され
ているRTT値と等しくなったとき、すなわち、Ta=
RTTとなった場合に、ステップS304の判定がYe
sとなり、ステップS309の該当フレームに対するロ
ストパケットの検出処理が実行される。これは、最後の
再送要求可能タイミングにロストパケットを検出して、
検出された場合に最後の再送要求を送信するための処理
である。
に、タイムスタンプ=12000の処理開始までの時間
Ta=RTTとなったとき、ステップS304におい
て、タイムスタンプ=12000に対応するフレームに
ついての最終再送時間の判定処理がYesと判定され、
ステップS309において、タイムスタンプ=1200
0のフレームに対するロストパケットの検出処理が実行
され、ロストパケットが検出された場合に、ステップS
313において最後の再送要求を送信する。図5におけ
るNACK−RTCPパケット送信処理505がこれに
相当する。
間τの経過判定処理は、データ受信端末の有するタイマ
ーの計測最小時間:τ毎に、ステップS305の判定が
Yesとなり、ステップS309の該当フレームに対す
るロストパケットの検出処理が実行される。これは、各
計測最小時間:τに対応する受信フレームについて、各
フレームの先頭パケット、最終パケットの検出がなされ
ない場合でもロストパケットを確実に検出して、再送要
求を実行しようとするための処理である。図5における
NACK−RTCPパケット送信処理502,503が
これに相当する。
送信処理502は、そのタイミングまでに受信済みのタ
イムスタンプのフレームを構成するパケット中のロスト
パケットとして、パケット(シーケンス番号=5,1
2)を抽出し、シーケンス番号5,12のロストパケッ
トに関するNACK−RTCPパケットが生成され、先
に図6を参照して説明したNACK−RTCPパケット
の再送指定シーケンス番号として5,12を設定したパ
ケットを再送要求パケットとしてデータ送信端末に対し
て送信する。なお、シーケンス番号5の再送要求は、2
回目となるので、NACK−RTCPパケットのシーケ
ンス番号5に対応する「再送回数」フィールドには、
[2]が設定される。
送信処理503は、そのタイミングまでに受信済みのタ
イムスタンプのフレームを構成するパケット中のロスト
パケットとして、パケット(シーケンス番号=5)を抽
出し、シーケンス番号5のロストパケットに関するNA
CK−RTCPパケットを生成して送信する。なお、シ
ーケンス番号5の再送要求は、3回目となるので、NA
CK−RTCPパケットのシーケンス番号5に対応する
「再送回数」フィールドには、[3]が設定される。
プS302の各フレームの終端パケット受信、ステップ
S303の各フレームの先頭パケット受信時、ステップ
S304の各フレームの最終再送時間の判定、およびス
テップS305のタイマーの最小計測時間τの経過判定
の各タイミングにおいて、ステップS309のロストパ
ケットの検出処理を実行する。なお、これらステップS
302〜S305の4種類のタイミングのいずれかのみ
を実行する構成としてもよい。
ケット検出処理において、ロストパケットが検出されな
かった場合は、各パケットに格納された符号化データの
デコード(復号)処理がデコーダ120において実行さ
れる。ステップS311では、受信済みパケットについ
ての受信確認パケットとしてのACK−RTCPパケッ
トの生成、送信が行われる。ACK−RTCPパケット
は、先に図8を参照して説明した通り、受信済みシーケ
ンス番号を格納したパケットである。このACK−RT
CPパケットを受信したデータ送信端末は、ACK−R
TCPパケットに記録された受信済みシーケンス番号に
対応するパケットをバッファ103からクリアする。
から送信端末へのACK−RTCPパケットの送信は、
タイムスタンプ=15000のフレームデータに関して
は、ACK−RTCPパケット送信処理511において
実行され、タイムスタンプ=18000のフレームデー
タに関しては、ACK−RTCPパケット送信処理51
2において実行され、タイムスタンプ=21000のフ
レームデータに関しては、ACK−RTCPパケット送
信処理513において実行されている。
は、各フレームのタイマー期限切れを確認する。このタ
イマー期限は、リアルタイム再生処理の開始期限を計測
するタイマーによって設定される期限であり、各フレー
ム毎にそのタイミングが設定される。nフレームのタイ
マー期限切れであると判定された場合には、ロストパケ
ットがあった場合であっても、ステップS310のデコ
ード処理に移行することになる。
ら、データストリームの終了を明示するEOS(End Of
Stream)メッセージを持つRTCPパケットを受信し
たか否かを判定し、EOS−RTCPパケット受信でな
い場合は、ステップS301以下の処理を繰り返す。
は、ステップS308において、各フレームのタイマー
期限切れを確認する。このタイマー期限は、リアルタイ
ム再生処理の開始期限を計測するタイマーによって設定
される期限であり、各フレーム毎にそのタイミングが設
定される。タイマー期限切れでない場合は、ステップS
314に進み、再送要求されているロストパケットに関
する再送パケットを受信待機状態であるか否かを判定し
て、待機状態である場合は、ステップS315に進み、
再送パケットの受信待機状態として、ステップS301
のパケット受信以下の処理を実行する。
イマー期限切れの確認処理において、Yesと判定され
た場合、および、ステップS314において、再送パケ
ット受信待機状態でないと判定された場合は、デコー
ド、再生処理へ移行すべき未受信のパケットデータは存
在しないと判定され、受信処理を完了する。
は、リアルタイム配信に適するものの信頼性を保証しな
いRTP等のデータ通信プロトコルに従ったパケット伝
送において、ARQ機能を付加することで、エラー耐性
のある信頼性の高いデータ伝送、リアルタイム再生が可
能となる。なお、上述の実施例では、RTPパケットに
符号化データを格納する構成例を中心として説明した
が、RTPパケットフォーマットに限らず、UDP等、
他のデータ通信プロトコルフォーマットに従ったパケッ
トを用いたデータ通信構成においても、上述の実施例と
同様の各種のコントロールパケットを用いた再送要求処
理を行なうことにより、上述の実施例と同様の構成を実
現可能である。
求の処理タイミングとして、各フレームの先頭パケット
の受信時、各フレームの最終パケットの受信時、最終処
理期限、および一定間隔(τ)毎等の各種タイミングで
ロストパケットの検出処理を実行する構成としたので、
確実なロストパケットの検出が可能となる。
伝播遅延時間RTTを考慮したデータ再送要求処理を実
行するので、無駄な再送要求パケットおよび再送パケッ
トを出すことを防ぐ事ができ、ネットワークの帯域を再
送によって狭めることがない。また、データ受信端末
が、パケットの送受信情報を随時記録し、パケットロス
率の割り出しにより、ロス率が一定値以上になった場
合、おなじNACK−RTCPパケットを複数回、重ね
て送信することで、再送成功率を高めることが可能とな
る。
としてのNACK−RTCPパケットに重複指定回数の
設定を可能としたので、ネットワーク状況に応じて、ま
た受信側の要求に応じて再送パケットの重複送信を要求
することが可能となり、重要データの受信成功率を高め
ることが可能となる。例えば、再生に間に合うための最
終的な再送パケットについて重複再送を要求すること
で、高品質なデータ再生が可能となる。
に関するACKメッセージを、例えば画像のフレーム
毎、またはあるブロック毎に応じて送信側に送信する構
成としたので、パケット毎のACK送信による帯域の寡
占状態の発生が防止され、また、データ送信側は、デー
タ受信側から受信するACKパケットに基づいて、再送
処理のためのパケット格納バッファから、該当パケット
を能動的に破棄でき、バッファ溢れ、バッファ欠如を防
ぐことができる。
施例で述べた一連の処理は、ハードウェア、またはソフ
トウェア、あるいは両者の複合構成によって実行するこ
とが可能である。ソフトウェアによる処理を実行する場
合は、処理シーケンスを記録したプログラムを、専用の
ハードウェアに組み込まれたデータ処理装置内のメモリ
にインストールして実行させるか、あるいは、各種処理
が実行可能な汎用コンピュータにプログラムをインスト
ールして実行させることが可能である。一連の処理をソ
フトウェアによって行う場合には、そのソフトウェアを
構成するプログラムが、例えば汎用のコンピュータやマ
イクロコンピュータ等にインストールされる。
理を実行するデータ送信端末装置、データ受信端末装置
のシステム構成例を示す。本発明のシステムで送受信さ
れるデータは、符号化データであり、データ送信装置で
はエンコード(符号化)処理が実行され、データ受信装
置ではデコード(復号)処理が実行される。符号化され
たデータはパケットとしてネットワークを介して送受信
する。そのため、データ送信側では、パケット生成(パ
ケタイズ処理)を実行し、データ受信側ではパケット展
開(デパケタイズ処理)を実行する。
C)850は、エンコード(符号化)処理、デコード
(復号)処理を実行するとともにパケット生成、展開処
理を実行するコーデック851、通信ネットワークとの
インタフェースとして機能するネットワークインタフェ
ース852、マウス837、キーボード836等の入力
機器との入出力インタフェース853、ビデオカメラ8
33、マイク834、スピーカ835等のAVデータ入
出力機器からのデータ入出力を行なうAVインタフェー
ス854、ディスプレイ832に対するデータ出力イン
タフェースとしてのディスプレイ・インタフェース85
5、各データ入出力インタフェース、コーデック85
1、ネットワークインタフェース852間のデータ転送
制御、その他各種プログラム制御を実行するCPU85
6、CPU856により制御実行される各種プログラム
の格納、データの格納、CPU856のワークエリアと
して機能するRAM、ROMからなるメモリ857、デ
ータ格納、プログラム格納用の記憶媒体としてのHDD
858を有し、それぞれPCIバス859に接続され、
相互のデータ送受信が可能な構成を持つ。
に、例えばビデオカメラ833からの画像データ、マイ
ク834からの音声データを入力し、符号化処理、パケ
ット生成処理(パケタイズ)を実行し、最終的に符号化
データをペイロードとしたパケットを生成する。生成さ
れたパケットは、PCIバス859上に出力され、ネッ
トワークインタフェース852を介してネットワークに
出力され、パケットのヘッダに設定された宛先アドレス
に配信される。
格納されたソフトウェアエンコードプログラムに従って
CPU856の制御により、ビデオカメラ833からの
画像データ、マイク834からの音声データを符号化し
てネットワークインタフェース852を介してネットワ
ークに出力する処理も実行する構成としてもよい。
パケット化されたデータは、ネットワークインタフェー
ス852を介して、バス856上に出力されて、コーデ
ック851に入力される。コーデック851では入力デ
ータのパケット展開処理(デパケタイズ)を実行し、ペ
イロードとして格納された符号化データを抽出後、復号
処理を実行して、ディスプレイ832、スピーカ835
において再生、出力する。
等のデータは、カメラ他の入力機器、例えばスキャナ等
のデータ入力装置、あるいはフロッピー(登録商標)デ
ィスク、CD−ROM(Compact Disc Read Only Memor
y),MO(Magneto optical)ディスク,DVD(Digital
Versatile Disc)、磁気ディスク、半導体メモリなどの
リムーバブル記録媒体から入力可能である。
ラムに限らず、ハードディスクに格納されているプログ
ラム、衛星若しくはネットワークから転送され、受信さ
れてインストールされたプログラム等を、RAM(Rando
m Access Memory)等のメモリにロードして実行すること
も可能である。
は、1つのコンピュータにより処理されるものであって
も良いし、複数のコンピュータによって分散処理される
ものであっても良い。さらに、プログラムは、遠方のコ
ンピュータに転送されて実行されるものであっても良
い。
明について詳解してきた。しかしながら、本発明の要旨
を逸脱しない範囲で当業者が該実施例の修正や代用を成
し得ることは自明である。すなわち、例示という形態で
本発明を開示してきたのであり、限定的に解釈されるべ
きではない。本発明の要旨を判断するためには、冒頭に
記載した特許請求の範囲の欄を参酌すべきである。
成によれば、RTP、UDP等のデータ通信プロトコル
に従ったパケット送信において、ARQ機能を付加し、
再送要求の処理タイミングとして、各フレームの先頭パ
ケットの受信時、各フレームの最終パケットの受信時、
最終処理期限、および一定間隔(τ)毎等の各種タイミ
ングでロストパケットの検出処理を実行し、再送要求を
実行する構成としたので、確実なロストパケットの検出
が可能となり、エラー耐性のある信頼性の高いデータ伝
送、リアルタイム再生が可能となる。
端末において、再生処理時間、伝播遅延時間RTTを考
慮し、デコード処理等を含む再生処理に間に合わない場
合には、再生要求パケットの送信を実行しない構成とし
たので、無駄な再送要求パケットおよび再送パケットを
出すことを防ぐ事ができ、ネットワークの帯域を再送処
理の多発によって狭めてしまうことを防止することが可
能となる。
端末でパケットの送受信情報を随時記録しパケットロス
率の割り出しを可能とした構成においては、データ受信
端末の検出したロス率が一定値以上になった場合に、デ
ータ受信端末が能動的におなじNACKパケットを複数
回、重ねて送信する処理を行なうことで、再送成功率を
高めることが可能となる。
おいて送信する再送要求としてのNACKパケットに重
複指定回数の設定を可能としたため、ネットワーク状況
に応じて、また受信側の要求に応じて再送パケットの重
複送信を要求することが可能となり、重要データの受信
成功率を高めることが可能となる。特に、再生時間に間
に合うための最終的な再送パケットにおいては、そのパ
ケットが万が一損失した場合には、データ不完全のまま
再生することになるため、受信側から重複再送を要求
し、再送成功率を高めることで高品質なデータ再生が可
能となる。
端末側から受信パケットに関するACKメッセージを、
画像のフレーム毎、ブロック毎等、パケット単位ではな
く複数パケット毎に送信する構成とすることで、ACK
パケットによる帯域の寡占状態の発生を防止し、また、
データ送信側では、データ受信側から受信するACKパ
ケットに基づいて、再送処理のためのパケット格納バッ
ファから、該当パケットを能動的に破棄でき、バッファ
溢れ、バッファ欠如を防ぐことが可能となる。
ある。
るRTPパケットフォーマットを示す図である。
るIPパケットヘッダフォーマットを示す図である。
信端末の処理フローを示す図である。
信端末およびデータ受信端末のデータ通信処理を説明す
るタイムシーケンス図である。
るNACK−RTCPパケットフォーマットを示す図で
ある。
るNACK−RTCPパケットにおけるオプション値の
機能について説明する図である。
るACK−RTCPパケットフォーマットを示す図であ
る。
るECHO−RTCP、およびECHO−REPLY−
RTCPパケットフォーマットを示す図である。
れるEOS−RTCPパケットフォーマットを示す図で
ある。
受信端末の処理フローを示す図である。
受信端末のECHO−RTCP、およびECHO−RE
PLY−RTCPパケットを適用したRTT計測処理フ
ローを示す図である。
置のシステム構成例を示す図である。
Claims (39)
- 【請求項1】データ送信装置およびデータ受信装置から
なり、ストリーム型データ転送を実行するデータ通信シ
ステムであり、 データ送信装置は、 送信データを格納したデータパケットを送信するパケッ
ト送信処理部と、 データ受信装置から受信する再送要求メッセージパケッ
トに従って再送すべきデータパケットの抽出処理を実行
する再送制御部とを有し、 データ受信装置は、 前記データ送信装置から受信するデータパケットを受信
するパケット受信処理部と、 前記データ送信装置から受信するデータパケットのエラ
ーまたはロスト・データパケットの検出に基づいて、前
記データ送信装置に対するデータパケット再送要求とし
ての再送要求メッセージパケットの送信可否を判定する
再送要求処理制御部とを有し、 前記再送要求処理制御部は、 再送要求に基づく再送データパケット受信が、再送デー
タパケット格納データの再生に伴う処理開始時間前に可
能か否かを判定し、可能であるとの判定を条件として、
再送要求送信を決定する構成を有することを特徴とする
データ通信システム。 - 【請求項2】前記データ・パケットの格納データは、符
号化データであり、 前記データ受信装置における前記再送要求処理制御部
は、 再送要求に基づく再送データパケット受信が、再送デー
タパケット格納データの復号処理を含む再生に伴う処理
開始時間前に可能か否かを判定する構成であることを特
徴とする請求項1に記載のデータ通信システム。 - 【請求項3】前記再送要求は、再送要求データパケット
の識別データとしてのシーケンス番号と、該シーケンス
番号に対応するデータパケットの重複再送の指定回数デ
ータを格納したメッセージパケットによって構成され、 前記データ送信装置は、再送要求メッセージパケットに
指定された重複再送の指定回数データに従って、指定シ
ーケンス番号のデータパケットの重複送信を実行する構
成を有することを特徴とする請求項1に記載のデータ通
信システム。 - 【請求項4】前記データ送信装置とデータ受信装置間で
転送されるデータパケットは、動画像データであり、 前記データ受信装置における前記再送要求処理制御部
は、 動画像データの1画像フレームの構成データを格納した
複数のデータパケットの終端データパケットの受信に応
じて、該終端データパケットの属する画像フレームの構
成データを格納した複数のデータパケット中のエラーま
たはロスト・データパケットの検出処理を実行する構成
であることを特徴とする請求項1に記載のデータ通信シ
ステム。 - 【請求項5】前記データ送信装置とデータ受信装置間で
転送されるデータパケットは、動画像データであり、 前記データ受信装置における前記再送要求処理制御部
は、 動画像データの1画像フレームの構成データを格納した
複数のデータパケットの先頭データパケットの受信に応
じて、該先頭データパケットの属する画像フレームの前
フレームの構成データを格納した複数のデータパケット
中のエラーまたはロスト・データパケットの検出処理を
実行する構成であることを特徴とする請求項1に記載の
データ通信システム。 - 【請求項6】前記データ受信装置における前記再送要求
処理制御部は、 データパケット格納データの再生処理開始時間に間に合
うための再送要求最終期限に基づいて、受信データパケ
ット中のエラーまたはロスト・データパケットの検出処
理を実行する構成であることを特徴とする請求項1に記
載のデータ通信システム。 - 【請求項7】前記データ受信装置における前記再送要求
処理制御部は、 定期的な時間間隔に基づいて、受信データパケット中の
エラーまたはロスト・データパケットの検出処理を実行
する構成であることを特徴とする請求項1に記載のデー
タ通信システム。 - 【請求項8】前記データ受信装置における前記再送要求
処理制御部は、 前記データ送信装置とデータ受信装置における往復伝播
遅延(RTT)の計測処理のために前記データ送信装置
に対するエコーパケットの送信および該エコーパケット
に対するエコーリプライパケットの受信処理制御を実行
し、 該エコーパケットに基づいて算出する往復伝播遅延(R
TT)に基づいて、再送要求に基づく再送データパケッ
ト受信が、再送データパケット格納データの再生処理開
始時間前に可能か否かを判定する構成を有することを特
徴とする請求項1に記載のデータ通信システム。 - 【請求項9】前記データ受信装置の生成する再送要求メ
ッセージパケットは、 データパケットを指定するシーケンス番号指定データ、
またはパケットの属するタイムスタンプ指定データの少
なくともいずれかと、再送要求範囲を指定するオプショ
ン値によって構成され、 前記データ送信装置の再送制御部は、 前記データ受信装置から受信する再送要求メッセージパ
ケットに格納されたデータパケットを指定するシーケン
ス番号指定データ、またはパケットの属するタイムスタ
ンプ指定データの少なくともいずれか、およびオプショ
ン値に基づいて1以上の再送パケットの抽出処理を実行
する構成を有することを特徴とする請求項1に記載のデ
ータ通信システム。 - 【請求項10】前記データパケットは、データ転送プロ
トコルとしてのRTPに従ったフォーマットを有し、前
記再送要求は、制御プロトコルとしてのRTCPに従っ
たフォーマットを有することを特徴とする請求項1に記
載のデータ通信システム。 - 【請求項11】前記データ受信装置は、 複数のデータパケットに関する再送要求を1つの再送要
求メッセージパケットとしてデータ送信装置に対して送
信する構成であることを特徴とする請求項1に記載のデ
ータ通信システム。 - 【請求項12】前記データ受信装置は、 複数のデータパケットに関する受信確認を1つの受信確
認メッセージパケットとしてデータ送信装置に対して送
信する構成であることを特徴とする請求項1に記載のデ
ータ通信システム。 - 【請求項13】ストリーム型データ送信を実行するデー
タ送信装置であり、 送信データを格納したデータパケットの送信処理を実行
するパケット送信処理部と、 データ受信装置から受信する再送要求に従って再送すべ
きデータパケットの抽出処理を実行する再送制御部とを
有し、 前記再送制御部は、 データ受信装置から受信する再送要求メッセージパケッ
トに指定された重複再送の指定回数データに従って、指
定データパケットの重複送信を実行する構成を有するこ
とを特徴とするデータ送信装置。 - 【請求項14】ストリーム型データ送信を実行するデー
タ送信装置であり、 送信データを格納したデータパケットの送信処理を実行
するパケット送信処理部と、 データ受信装置から受信する再送要求に従って再送すべ
きデータパケットの抽出処理を実行する再送制御部とを
有し、 前記再送制御部は、 前記データ受信装置から受信する再送要求メッセージパ
ケットに格納されたデータパケットを指定するシーケン
ス番号指定データ、またはパケットの属するタイムスタ
ンプ指定データの少なくともいずれか、およびオプショ
ン値に基づいて1以上の再送パケットの抽出処理を実行
する構成を有することを特徴とするデータ送信装置。 - 【請求項15】ストリーム型データ受信を実行するデー
タ受信装置であり、 データ送信装置から受信するデータパケットを受信する
パケット受信処理部と、 前記データ送信装置から受信するデータパケットのエラ
ーまたはロスト・データパケットの検出に基づいて、前
記データ送信装置に対するデータパケット再送要求とし
ての再送要求メッセージパケットの送信可否を判定する
再送要求処理制御部とを有し、 前記再送要求処理制御部は、 再送要求に基づく再送データパケット受信が、再送デー
タパケット格納データの再生に伴う処理開始時間前に可
能か否かを判定し、可能であるとの判定を条件として、
再送要求送信を決定する構成を有することを特徴とする
データ受信装置。 - 【請求項16】前記データ・パケットの格納データは、
符号化データであり、 前記再送要求処理制御部は、 再送要求に基づく再送データパケット受信が、再送デー
タパケット格納データの復号処理を含む再生に伴う処理
開始時間前に可能か否かを判定する構成であることを特
徴とする請求項15に記載のデータ受信装置。 - 【請求項17】前記データ受信装置は、 再送要求データパケットの識別データとしてのシーケン
ス番号と、該シーケンス番号に対応するデータパケット
の重複再送の指定回数データを格納した再送要求メッセ
ージパケットを生成して前記データ送信装置に送信する
構成を有することを特徴とする請求項15に記載のデー
タ受信装置。 - 【請求項18】前記データ受信装置の受信するデータパ
ケットは、動画像データであり、 前記再送要求処理制御部は、 動画像データの1画像フレームの構成データを格納した
複数のデータパケットの終端データパケットの受信に応
じて、該終端データパケットの属する画像フレームの構
成データを格納した複数のデータパケット中のエラーま
たはロスト・データパケットの検出処理を実行する構成
であることを特徴とする請求項15に記載のデータ受信
装置。 - 【請求項19】前記データ受信装置の受信するデータパ
ケットは、動画像データであり、 前記再送要求処理制御部は、 動画像データの1画像フレームの構成データを格納した
複数のデータパケットの先頭データパケットの受信に応
じて、該先頭データパケットの属する画像フレームの前
フレームの構成データを格納した複数のデータパケット
中のエラーまたはロスト・データパケットの検出処理を
実行する構成であることを特徴とする請求項15に記載
のデータ受信装置。 - 【請求項20】前記再送要求処理制御部は、 データパケット格納データの再生処理開始時間に間に合
うための再送要求最終期限に基づいて、受信データパケ
ット中のエラーまたはロスト・データパケットの検出処
理を実行する構成であることを特徴とする請求項15に
記載のデータ受信装置。 - 【請求項21】前記再送要求処理制御部は、 定期的な時間間隔に基づいて、受信データパケット中の
エラーまたはロスト・データパケットの検出処理を実行
する構成であることを特徴とする請求項15に記載のデ
ータ受信装置。 - 【請求項22】前記再送要求処理制御部は、 前記データ送信装置とデータ受信装置における往復伝播
遅延(RTT)の計測処理のために前記データ送信装置
に対するエコーパケットの送信および該エコーパケット
に対するエコーリプライパケットの受信処理制御を実行
し、 該エコーパケットに基づいて算出する往復伝播遅延(R
TT)に基づいて、再送要求に基づく再送データパケッ
ト受信が、再送データパケット格納データの再生処理開
始時間前に可能か否かを判定する構成を有することを特
徴とする請求項15に記載のデータ受信装置。 - 【請求項23】前記データ受信装置は、 再送要求データパケットの識別データとしてのシーケン
ス番号、またはパケットの属するタイムスタンプ指定デ
ータの少なくともいずれかと、再送要求範囲を指定する
オプションを格納した再送要求メッセージパケットを生
成して前記データ送信装置に送信する構成を有すること
を特徴とする請求項15に記載のデータ受信装置。 - 【請求項24】前記データパケットは、データ転送プロ
トコルとしてのRTPに従ったフォーマットを有し、前
記再送要求は、制御プロトコルとしてのRTCPに従っ
たフォーマットを有することを特徴とする請求項15に
記載のデータ受信装置。 - 【請求項25】前記データ受信装置は、 複数のデータパケットに関する再送要求を1つの再送要
求メッセージパケットとしてデータ送信装置に対して送
信する構成であることを特徴とする請求項15に記載の
データ受信装置。 - 【請求項26】前記データ受信装置は、 複数のデータパケットに関する受信確認を1つの受信確
認メッセージパケットとしてデータ送信装置に対して送
信する構成であることを特徴とする請求項15に記載の
データ受信装置。 - 【請求項27】データ送信装置およびデータ受信装置か
らなり、ストリーム型データ転送を実行するデータ通信
方法であり、 データ送信装置において、 送信データを格納したデータパケットを送信するパケッ
ト送信処理ステップと、 データ受信装置から受信する再送要求メッセージパケッ
トに従って再送すべきデータパケットの抽出処理を実行
する再送制御処理ステップとを有し、 データ受信装置は、 前記データ送信装置から受信するデータパケットを受信
するパケット受信処理ステップと、 前記データ送信装置から受信するデータパケットのエラ
ーまたはロスト・データパケットの検出に基づいて、前
記データ送信装置に対するデータパケット再送要求とし
ての再送要求メッセージパケットの送信可否を判定する
再送要求処理制御ステップとを有し、 前記再送要求処理制御ステップは、 再送要求に基づく再送データパケット受信が、再送デー
タパケット格納データの再生に伴う処理開始時間前に可
能か否かを判定し、可能であるとの判定を条件として、
再送要求送信を決定することを特徴とするデータ通信方
法。 - 【請求項28】前記データ・パケットの格納データは、
符号化データであり、 前記データ受信装置における前記再送要求処理制御ステ
ップは、 再送要求に基づく再送データパケット受信が、再送デー
タパケット格納データの復号処理を含む再生に伴う処理
開始時間前に可能か否かを判定するステップを含むこと
を特徴とする請求項27に記載のデータ通信方法。 - 【請求項29】前記再送要求は、再送要求データパケッ
トの識別データとしてのシーケンス番号と、該シーケン
ス番号に対応するデータパケットの重複再送の指定回数
データを格納したメッセージパケットによって構成さ
れ、 前記データ送信装置は、 再送要求メッセージパケットに指定された重複再送の指
定回数データに従って、指定シーケンス番号のデータパ
ケットの重複送信を実行することを特徴とする請求項2
7に記載のデータ通信方法。 - 【請求項30】前記データ送信装置とデータ受信装置間
で転送されるデータパケットは、動画像データであり、 前記データ受信装置における前記再送要求処理制御ステ
ップは、 動画像データの1画像フレームの構成データを格納した
複数のデータパケットの終端データパケットの受信に応
じて、該終端データパケットの属する画像フレームの構
成データを格納した複数のデータパケット中のエラーま
たはロスト・データパケットの検出処理を実行するステ
ップを含むことを特徴とする請求項27に記載のデータ
通信方法。 - 【請求項31】前記データ送信装置とデータ受信装置間
で転送されるデータパケットは、動画像データであり、 前記データ受信装置における前記再送要求処理制御ステ
ップは、 動画像データの1画像フレームの構成データを格納した
複数のデータパケットの先頭データパケットの受信に応
じて、該先頭データパケットの属する画像フレームの前
フレームの構成データを格納した複数のデータパケット
中のエラーまたはロスト・データパケットの検出処理を
実行するステップを含むことを特徴とする請求項27に
記載のデータ通信方法。 - 【請求項32】前記データ受信装置における前記再送要
求処理制御ステップは、 データパケット格納データの再生処理開始時間に間に合
うための再送要求最終期限に基づいて、受信データパケ
ット中のエラーまたはロスト・データパケットの検出処
理を実行するステップを含むことを特徴とする請求項2
7に記載のデータ通信方法。 - 【請求項33】前記データ受信装置における前記再送要
求処理制御ステップは、 定期的な時間間隔に基づいて、受信データパケット中の
エラーまたはロスト・データパケットの検出処理を実行
するステップを含むことを特徴とする請求項27に記載
のデータ通信方法。 - 【請求項34】前記データ受信装置は、さらに、 前記データ送信装置とデータ受信装置における往復伝播
遅延(RTT)の計測処理のために前記データ送信装置
に対するエコーパケットの送信および該エコーパケット
に対するエコーリプライパケットの受信処理制御ステッ
プを実行し、 前記再送要求処理制御ステップは、 該エコーパケットに基づいて算出する往復伝播遅延(R
TT)に基づいて、再送要求に基づく再送データパケッ
ト受信が、再送データパケット格納データの再生処理開
始時間前に可能か否かを判定するステップを含むことを
特徴とする請求項27に記載のデータ通信方法。 - 【請求項35】前記データ受信装置の生成する再送要求
メッセージパケットは、 データパケットを指定するシーケンス番号指定データ、
またはパケットの属するタイムスタンプ指定データの少
なくともいずれかと、再送要求範囲を指定するオプショ
ン値によって構成され、 前記データ送信装置の再送制御ステップは、 前記データ受信装置から受信する再送要求メッセージパ
ケットに格納されたデータパケットを指定するシーケン
ス番号指定データ、またはパケットの属するタイムスタ
ンプ指定データの少なくともいずれか、およびオプショ
ン値に基づいて1以上の再送パケットの抽出処理を実行
することを特徴とする請求項27に記載のデータ通信方
法。 - 【請求項36】前記データパケットは、データ転送プロ
トコルとしてのRTPに従ったフォーマットを有し、前
記再送要求は、制御プロトコルとしてのRTCPに従っ
たフォーマットを有することを特徴とする請求項27に
記載のデータ通信方法。 - 【請求項37】前記データ受信装置は、さらに、 複数のデータパケットに関する再送要求を1つの再送要
求メッセージパケットとしてデータ送信装置に対して送
信するステップを実行することを特徴とする請求項27
に記載のデータ通信方法。 - 【請求項38】前記データ受信装置は、さらに、 複数のデータパケットに関する受信確認を1つの受信確
認メッセージパケットとしてデータ送信装置に対して送
信するステップを実行することを特徴とする請求項27
に記載のデータ通信方法。 - 【請求項39】ストリーム型データ受信処理を実行する
コンピュータ・プログラムであって、 データ送信装置から受信するデータパケットを受信する
パケット受信処理ステップと、 前記データ送信装置から受信するデータパケットのエラ
ーまたはロスト・データパケットの検出に基づいて、前
記データ送信装置に対するデータパケット再送要求とし
ての再送要求メッセージパケットの送信可否を判定する
再送要求処理制御ステップとを有し、 前記再送要求処理制御ステップは、 再送要求に基づく再送データパケット受信が、再送デー
タパケット格納データの再生に伴う処理開始時間前に可
能か否かを判定し、可能であるとの判定を条件として、
再送要求送信を決定するステップを含むことを特徴とす
るコンピュータ・プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001369731A JP3912091B2 (ja) | 2001-12-04 | 2001-12-04 | データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム |
KR20020076260A KR100967377B1 (ko) | 2001-12-04 | 2002-12-03 | 데이터 통신 시스템, 데이터 송신 장치, 데이터 수신 장치, 데이터 통신 방법, 및 컴퓨터 프로그램을 기록한 매체 |
US10/310,212 US7315898B2 (en) | 2001-12-04 | 2002-12-04 | Data communication system, data transmission apparatus, data reception apparatus, data communication method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001369731A JP3912091B2 (ja) | 2001-12-04 | 2001-12-04 | データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003169040A true JP2003169040A (ja) | 2003-06-13 |
JP2003169040A5 JP2003169040A5 (ja) | 2005-03-17 |
JP3912091B2 JP3912091B2 (ja) | 2007-05-09 |
Family
ID=19179073
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001369731A Expired - Lifetime JP3912091B2 (ja) | 2001-12-04 | 2001-12-04 | データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US7315898B2 (ja) |
JP (1) | JP3912091B2 (ja) |
KR (1) | KR100967377B1 (ja) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003244695A (ja) * | 2002-02-14 | 2003-08-29 | Kddi Corp | 映像情報伝送方式、それに用いられる装置およびプログラム |
JP2005006340A (ja) * | 2003-06-13 | 2005-01-06 | Microsoft Corp | ネットワーク通信のための時間指向、ベストエフォート的、穴埋め型再試行方法およびシステム |
JP2005198055A (ja) * | 2004-01-08 | 2005-07-21 | Sony Corp | 受信装置および方法、プログラム、並びに記録媒体 |
JP2005303927A (ja) * | 2004-04-15 | 2005-10-27 | Sony Corp | 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム |
JP2006319423A (ja) * | 2005-05-10 | 2006-11-24 | Toshiba Corp | 送信機及び受信機 |
JP2007019705A (ja) * | 2005-07-06 | 2007-01-25 | Sony Corp | 通信システム、送信装置、送信方法、およびプログラム |
JP2007053745A (ja) * | 2005-07-22 | 2007-03-01 | Sanyo Electric Co Ltd | 受信機及びプログラム |
JP2007325077A (ja) * | 2006-06-02 | 2007-12-13 | Mitsubishi Electric Corp | データ受信装置及びデータ受信方法 |
JP2008079334A (ja) * | 2004-09-21 | 2008-04-03 | Hitachi Communication Technologies Ltd | ノード装置、パケット制御装置、無線通信装置および送信制御方法 |
JP2008079150A (ja) * | 2006-09-22 | 2008-04-03 | Canon Inc | 通信機器及びデータ転送方法 |
WO2008041329A1 (en) * | 2006-10-04 | 2008-04-10 | Fujitsu Limited | Data transfer method |
JP2009027740A (ja) * | 2008-09-09 | 2009-02-05 | Ntt Docomo Inc | 移動通信システム、移動端末及びネットワーク側対向装置 |
US7539174B2 (en) | 2004-03-09 | 2009-05-26 | Ntt Docomo, Inc. | Mobile communication system, mobile station device, and network-side device |
JP2011015214A (ja) * | 2009-07-02 | 2011-01-20 | Canon Inc | 送信装置、送信方法、及びコンピュータプログラム |
WO2011086952A1 (ja) * | 2010-01-14 | 2011-07-21 | 住友電気工業株式会社 | 動画像符号化データの表示方法、装置及び通信システム |
JP2011259183A (ja) * | 2010-06-09 | 2011-12-22 | Nippon Telegr & Teleph Corp <Ntt> | データ配信システムおよびデータ配信方法 |
JP2012170010A (ja) * | 2011-02-16 | 2012-09-06 | Fujitsu Ltd | 通信方法、通信プログラム、および、通信装置 |
WO2013011545A1 (ja) * | 2011-07-15 | 2013-01-24 | 三菱電機株式会社 | 送信装置、受信装置、通信装置、通信システムおよび送信方法 |
JP2014039136A (ja) * | 2012-08-15 | 2014-02-27 | Nippon Hoso Kyokai <Nhk> | 無線通信を行う送信装置、受信装置、送信方法、受信方法及びプログラム |
US8731069B2 (en) | 2005-08-25 | 2014-05-20 | Canon Kabushiki Kaisha | Remote display system and method |
JP2015080198A (ja) * | 2013-09-11 | 2015-04-23 | パナソニックIpマネジメント株式会社 | 通信制御装置および通信制御方法 |
JP2016541210A (ja) * | 2013-09-26 | 2016-12-28 | コーヒレント・ロジックス・インコーポレーテッド | 次世代放送システム及び方法 |
WO2020174994A1 (ja) | 2019-02-26 | 2020-09-03 | パナソニックIpマネジメント株式会社 | カメラ映像伝送再生システム、それを構成するカメラおよびビューア |
JP2022093387A (ja) * | 2019-03-15 | 2022-06-23 | オムロン株式会社 | 制御システム、装置および制御方法 |
Families Citing this family (138)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7576770B2 (en) * | 2003-02-11 | 2009-08-18 | Raymond Metzger | System for a plurality of video cameras disposed on a common network |
US7698450B2 (en) | 2000-11-17 | 2010-04-13 | Monroe David A | Method and apparatus for distributing digitized streaming video over a network |
US6996624B1 (en) * | 2001-09-27 | 2006-02-07 | Apple Computer, Inc. | Reliable real-time transport protocol |
KR100460970B1 (ko) * | 2002-01-10 | 2004-12-09 | 삼성전자주식회사 | 데이터 송수신 시스템 및 방법 |
US7542471B2 (en) | 2002-10-30 | 2009-06-02 | Citrix Systems, Inc. | Method of determining path maximum transmission unit |
US7630305B2 (en) | 2003-07-29 | 2009-12-08 | Orbital Data Corporation | TCP selective acknowledgements for communicating delivered and missed data packets |
US8233392B2 (en) * | 2003-07-29 | 2012-07-31 | Citrix Systems, Inc. | Transaction boundary detection for reduction in timeout penalties |
US8270423B2 (en) | 2003-07-29 | 2012-09-18 | Citrix Systems, Inc. | Systems and methods of using packet boundaries for reduction in timeout prevention |
US7616638B2 (en) | 2003-07-29 | 2009-11-10 | Orbital Data Corporation | Wavefront detection and disambiguation of acknowledgments |
US7565443B2 (en) * | 2002-12-13 | 2009-07-21 | Sap Ag | Common persistence layer |
JP2004289711A (ja) * | 2003-03-25 | 2004-10-14 | Toshiba Corp | 送信装置及び受信装置 |
JP3825416B2 (ja) * | 2003-04-14 | 2006-09-27 | 国立大学法人北陸先端科学技術大学院大学 | データ同期方法、データ同期システム及びデータ同期プログラム |
US7532572B2 (en) * | 2003-05-16 | 2009-05-12 | Ntt Docomo, Inc. | Packet communications system, base station and mobile station |
WO2005006640A1 (en) * | 2003-07-11 | 2005-01-20 | Philips Intellectual Property & Standards Gmbh | Transmission of data packets from a transmitter to a receiver |
US8238241B2 (en) | 2003-07-29 | 2012-08-07 | Citrix Systems, Inc. | Automatic detection and window virtualization for flow control |
US7656799B2 (en) | 2003-07-29 | 2010-02-02 | Citrix Systems, Inc. | Flow control system architecture |
US7698453B2 (en) * | 2003-07-29 | 2010-04-13 | Oribital Data Corporation | Early generation of acknowledgements for flow control |
US8432800B2 (en) | 2003-07-29 | 2013-04-30 | Citrix Systems, Inc. | Systems and methods for stochastic-based quality of service |
US7417989B1 (en) * | 2003-07-29 | 2008-08-26 | Sprint Spectrum L.P. | Method and system for actually identifying a media source in a real-time-protocol stream |
US8437284B2 (en) | 2003-07-29 | 2013-05-07 | Citrix Systems, Inc. | Systems and methods for additional retransmissions of dropped packets |
WO2005027456A1 (ja) * | 2003-09-18 | 2005-03-24 | Nomura Research Institute Co., Ltd. | 通信システム、通信装置、およびデータの再送制御方法 |
US8104065B2 (en) * | 2003-11-13 | 2012-01-24 | Arris Group, Inc. | System to provide markers to affect rendering and navigation of content on demand |
US20070097987A1 (en) * | 2003-11-24 | 2007-05-03 | Rey Jose L | Feedback provision using general nack report blocks and loss rle report blocks |
WO2005086520A1 (ja) | 2004-03-09 | 2005-09-15 | Matsushita Electric Industrial Co., Ltd. | ランダムアクセス方法及び無線通信端末装置 |
US8359349B2 (en) * | 2004-03-18 | 2013-01-22 | Nokia Corporation | System and associated terminal, method and computer program product for uploading content |
US8296436B2 (en) * | 2004-03-22 | 2012-10-23 | Nokia Corporation | Conveying parameters for broadcast/multicast sessions via a communication protocol |
US7839844B2 (en) * | 2004-07-30 | 2010-11-23 | Sony Corporation | System and method for dynamically determining retransmit buffer time |
US7643503B2 (en) * | 2004-07-30 | 2010-01-05 | Sony Corporation | System and method for dynamically determining retransmit buffer time |
US7702750B2 (en) | 2004-09-29 | 2010-04-20 | Citrix Systems, Inc. | System and method for event detection and re-direction over a network using a presentation level protocol |
US8069226B2 (en) | 2004-09-30 | 2011-11-29 | Citrix Systems, Inc. | System and method for data synchronization over a network using a presentation level protocol |
US8130633B2 (en) * | 2004-10-22 | 2012-03-06 | Research In Motion Limited | Method for transferring data in a wireless network |
US7522528B2 (en) * | 2004-11-18 | 2009-04-21 | Qvidium Technologies, Inc. | Low-latency automatic repeat request packet recovery mechanism for media streams |
US7675872B2 (en) * | 2004-11-30 | 2010-03-09 | Broadcom Corporation | System, method, and apparatus for displaying pictures |
US8634413B2 (en) * | 2004-12-30 | 2014-01-21 | Microsoft Corporation | Use of frame caching to improve packet loss recovery |
US8169908B1 (en) * | 2005-01-29 | 2012-05-01 | Lsi Corporation | Method for discarding corrupted data packets in a reliable transport fabric |
JP2006211602A (ja) * | 2005-01-31 | 2006-08-10 | Toshiba Corp | データ送信機及びプログラム |
JP2006245834A (ja) * | 2005-03-02 | 2006-09-14 | Nec Corp | Ip網の通信装置 |
US7752532B2 (en) * | 2005-03-10 | 2010-07-06 | Qualcomm Incorporated | Methods and apparatus for providing linear erasure codes |
CN1845611A (zh) * | 2005-04-08 | 2006-10-11 | 华为技术有限公司 | 基于h.264的视频传输保护方法 |
US7957363B2 (en) * | 2005-05-26 | 2011-06-07 | International Business Machines Corporation | System, method, and service for dynamically selecting an optimum message pathway |
US20060291452A1 (en) * | 2005-06-24 | 2006-12-28 | Motorola, Inc. | Method and apparatus for providing reliable communications over an unreliable communications channel |
US20070061831A1 (en) * | 2005-09-09 | 2007-03-15 | Sbc Knowledge Ventures L.P. | IPTV channel usage and video delivery path monitoring architecture |
TWI277325B (en) * | 2005-10-28 | 2007-03-21 | Ind Tech Res Inst | Packet transmitting method of wireless network |
US7743152B2 (en) * | 2005-10-31 | 2010-06-22 | Qualcomm Incorporated | Method and apparatus for detecting the presence of a terminal in a data session |
US8363675B2 (en) * | 2006-03-24 | 2013-01-29 | Samsung Electronics Co., Ltd. | Method and system for transmission of uncompressed video over wireless communication channels |
US20070234170A1 (en) * | 2006-03-29 | 2007-10-04 | Samsung Electronics Co., Ltd. | Method and system for communication of video information over wireless channels |
US8432938B2 (en) * | 2006-03-29 | 2013-04-30 | Samsung Electronics Co., Ltd. | Method and system for video stream transmission over wireless channels |
JP4798495B2 (ja) * | 2006-05-30 | 2011-10-19 | 日本電気株式会社 | 映像配信品質測定システム、装置および方法 |
JP4930691B2 (ja) * | 2006-05-30 | 2012-05-16 | 日本電気株式会社 | 再現システム、再現装置、再現方法、及びプログラム |
US20070280217A1 (en) * | 2006-06-01 | 2007-12-06 | Texas Instruments Incorporated | Inter-nodal robust mode for real-time media streams in a network |
JP4509068B2 (ja) * | 2006-07-24 | 2010-07-21 | 富士通株式会社 | パケット処理装置 |
JP4921064B2 (ja) * | 2006-07-31 | 2012-04-18 | キヤノン株式会社 | 通信装置、通信方法、通信装置を制御するためのプログラム及びプログラムを格納した記憶媒体 |
JP2008040347A (ja) * | 2006-08-09 | 2008-02-21 | Toshiba Corp | 画像表示装置、画像表示方法および画像表示プログラム |
US8799918B2 (en) * | 2006-09-11 | 2014-08-05 | Microsoft Corporation | Dynamic network load balancing using roundtrip heuristic |
JP4176122B2 (ja) * | 2006-10-24 | 2008-11-05 | 株式会社東芝 | サーバ端末、画面共有方法およびプログラム |
FR2911234B1 (fr) * | 2007-01-05 | 2009-02-20 | Thales Sa | Procede d'envoi de paquets de donnees d'un serveur vers un client, le client utilisant simultanement a un debit constant d les donnees qu'il recoit |
KR100920516B1 (ko) * | 2007-01-10 | 2009-10-09 | 한국전자통신연구원 | 데이터 전송 장치 및 방법 |
KR100859499B1 (ko) * | 2007-01-15 | 2008-09-22 | 강릉대학교산학협력단 | 데이터 송수신 방법 및 그에 따른 통신 시스템 |
US8296662B2 (en) * | 2007-02-05 | 2012-10-23 | Brother Kogyo Kabushiki Kaisha | Image display device |
US8170023B2 (en) * | 2007-02-20 | 2012-05-01 | Broadcom Corporation | System and method for a software-based TCP/IP offload engine for implementing efficient digital media streaming over internet protocol networks |
US8139487B2 (en) * | 2007-02-28 | 2012-03-20 | Microsoft Corporation | Strategies for selecting a format for data transmission based on measured bandwidth |
US7877514B2 (en) * | 2007-05-03 | 2011-01-25 | Samsung Electronics Co., Ltd. | System and method for time-constrained transmission of video in a communication system |
EP2026580A1 (en) * | 2007-06-12 | 2009-02-18 | British Telecommunications public limited company | Video processing |
US7908624B2 (en) * | 2007-06-18 | 2011-03-15 | Broadcom Corporation | System and method for just in time streaming of digital programs for network recording and relaying over internet protocol network |
US7782851B2 (en) * | 2007-06-26 | 2010-08-24 | At&T Intellectual Property I, L.P. | System and method of detecting lost video data packets |
JP4983435B2 (ja) * | 2007-06-27 | 2012-07-25 | 富士通株式会社 | パケット通信品質計測装置及び方法 |
KR100862971B1 (ko) * | 2007-07-26 | 2008-10-13 | 강릉대학교산학협력단 | 무선 센서 네트워크의 노드들에 대한 펌웨어 업데이트 방법 |
JP4447028B2 (ja) * | 2007-08-10 | 2010-04-07 | 富士通株式会社 | 通信制御方法、送信装置、およびコンピュータプログラム |
US7969921B2 (en) * | 2007-08-29 | 2011-06-28 | Samsung Electronics Co., Ltd. | Method and system for data packet communication in wireless communication systems |
US8250181B2 (en) * | 2007-10-19 | 2012-08-21 | Voxer Ip Llc | Method and apparatus for near real-time synchronization of voice communications |
US8099512B2 (en) * | 2007-10-19 | 2012-01-17 | Voxer Ip Llc | Method and system for real-time synchronization across a distributed services communication network |
US8782274B2 (en) * | 2007-10-19 | 2014-07-15 | Voxer Ip Llc | Method and system for progressively transmitting a voice message from sender to recipients across a distributed services communication network |
US8559319B2 (en) * | 2007-10-19 | 2013-10-15 | Voxer Ip Llc | Method and system for real-time synchronization across a distributed services communication network |
US8699383B2 (en) | 2007-10-19 | 2014-04-15 | Voxer Ip Llc | Method and apparatus for real-time synchronization of voice communications |
WO2009052428A1 (en) * | 2007-10-19 | 2009-04-23 | Rebelvox, Llc | Method and system for real-time media synchronisation across a network |
US8205126B2 (en) * | 2007-11-27 | 2012-06-19 | Samsung Electronics Co., Ltd. | System and method for wireless communication of uncompressed video using selective retransmission |
US8255753B2 (en) * | 2007-12-04 | 2012-08-28 | Intel Corporation | Encoding/decoding technique for rebroadcasting lost packets |
KR20090061247A (ko) * | 2007-12-11 | 2009-06-16 | 삼성전자주식회사 | 디지털 방송 수신 장치의 osd 인터페이스 |
US9112632B2 (en) | 2008-01-25 | 2015-08-18 | Cisco Technology, Inc. | Supporting efficient and accurate sync/followup timestamps |
WO2009156917A1 (en) * | 2008-06-23 | 2009-12-30 | Koninklijke Philips Electronics N.V. | Method for communicating in a network and radio stations associated. |
EP2151940A1 (en) * | 2008-08-05 | 2010-02-10 | Nokia Siemens Networks OY | Communication network element and method transmitting data |
WO2010018507A1 (en) | 2008-08-11 | 2010-02-18 | Koninklijke Philips Electronics N.V. | Method for communicating in a network, a secondary station and a system therefor |
KR100998830B1 (ko) | 2008-08-27 | 2010-12-06 | 주식회사 엘지유플러스 | 무선 네트워크에서의 유디피를 이용한 데이터 전송 시스템및 그 방법 |
BRPI0918264A2 (pt) * | 2008-08-28 | 2015-12-15 | Sumitomo Electric Industries | método de distribuição de dados de imagem de filme |
JP5207895B2 (ja) * | 2008-09-17 | 2013-06-12 | キヤノン株式会社 | 送信装置、受信装置、及び方法、プログラム |
KR101048865B1 (ko) | 2009-03-16 | 2011-07-13 | 주식회사 팬택 | 전송계층 성능 향상을 위한 전송계층 제어장치 및 전송속도와 신뢰성을 동시에 보장할 수 있는 패킷 송신 방법 |
WO2010114984A1 (en) * | 2009-04-01 | 2010-10-07 | Atheros Communications, Inc. | Managing transmissions among nodes communicating over a shared communication medium |
JP5332854B2 (ja) * | 2009-04-20 | 2013-11-06 | ソニー株式会社 | 無線送信機、無線送信方法、無線受信機および無線受信方法 |
JP5508819B2 (ja) | 2009-11-13 | 2014-06-04 | オリンパス株式会社 | 受信装置 |
US8661166B2 (en) * | 2009-12-16 | 2014-02-25 | Intel Corporation | DFX software debug feature for IO and other non-memory typed transactions |
US8655909B2 (en) * | 2010-02-25 | 2014-02-18 | Mitsubishi Electric Corporation | Communication apparatus and address learning method |
EP2375614B1 (en) * | 2010-04-09 | 2014-05-07 | Alcatel Lucent | Method for broadcasting multimedia content |
JP5696854B2 (ja) * | 2010-05-19 | 2015-04-08 | 日本電気株式会社 | パケット再送制御装置とパケット再送制御方法 |
JP5465106B2 (ja) * | 2010-06-21 | 2014-04-09 | オリンパス株式会社 | 表示装置及び表示システム |
US20110321015A1 (en) * | 2010-06-23 | 2011-12-29 | Yen Hsiang Chew | Hardware triggering mechanism for software debugger |
CN103201791B (zh) * | 2010-11-05 | 2016-05-11 | 日本电气株式会社 | 信息处理设备 |
US9461777B2 (en) * | 2011-11-21 | 2016-10-04 | Qualcomm Incorporated | Hybrid networking system with seamless path switching of streams |
US10157060B2 (en) | 2011-12-29 | 2018-12-18 | Intel Corporation | Method, device and system for control signaling in a data path module of a data stream processing engine |
IL217306A (en) * | 2012-01-01 | 2016-05-31 | Video Flow Ltd | Package recovery system and method |
JP5722264B2 (ja) * | 2012-03-23 | 2015-05-20 | 株式会社日立ハイテクノロジーズ | データ処理装置、データ容量増加抑制方法 |
US20140073352A1 (en) * | 2012-09-11 | 2014-03-13 | Qualcomm Incorporated | Method for precise location determination |
KR102022042B1 (ko) * | 2012-09-28 | 2019-09-18 | 삼성전자주식회사 | 데이터 전송 방법 및 시스템 |
JP6241622B2 (ja) * | 2012-11-28 | 2017-12-06 | パナソニックIpマネジメント株式会社 | 受信端末および受信方法 |
US9722943B2 (en) | 2012-12-17 | 2017-08-01 | Qualcomm Incorporated | Seamless switching for multihop hybrid networks |
EP2973571B1 (en) * | 2013-03-15 | 2020-04-22 | Intel Corporation | A memory system |
CN103152223B (zh) * | 2013-03-15 | 2016-08-03 | 华为技术有限公司 | 网络性能监测方法及装置 |
JP2014195158A (ja) * | 2013-03-28 | 2014-10-09 | Canon Inc | 通信装置と、当該通信装置を含む通信システム、及びその制御方法とプログラム |
KR102025757B1 (ko) * | 2013-07-10 | 2019-09-27 | 삼성전자주식회사 | 데이터 전송 방법 및 장치, 데이터 수신 방법 및 장치 및 기록 매체 |
KR102171117B1 (ko) * | 2013-08-30 | 2020-10-29 | 삼성전자주식회사 | 패킷 송수신 방법 및 그에 따른 단말, 그에 따른 시스템 |
US10331583B2 (en) | 2013-09-26 | 2019-06-25 | Intel Corporation | Executing distributed memory operations using processing elements connected by distributed channels |
US9733847B2 (en) | 2014-06-02 | 2017-08-15 | Micron Technology, Inc. | Systems and methods for transmitting packets in a scalable memory system protocol |
US9787852B2 (en) * | 2014-06-04 | 2017-10-10 | Alcatel-Lucent Usa Inc. | Sequence number reuse for CDR transport using GTP' |
US10834065B1 (en) | 2015-03-31 | 2020-11-10 | F5 Networks, Inc. | Methods for SSL protected NTLM re-authentication and devices thereof |
CN105072485B (zh) * | 2015-08-26 | 2018-11-13 | 小米科技有限责任公司 | 时延控制方法及装置 |
US10404698B1 (en) | 2016-01-15 | 2019-09-03 | F5 Networks, Inc. | Methods for adaptive organization of web application access points in webtops and devices thereof |
US10148964B2 (en) * | 2016-11-03 | 2018-12-04 | Ujet, Inc. | Image quality management |
US10558575B2 (en) | 2016-12-30 | 2020-02-11 | Intel Corporation | Processors, methods, and systems with a configurable spatial accelerator |
US10515049B1 (en) | 2017-07-01 | 2019-12-24 | Intel Corporation | Memory circuits and methods for distributed memory hazard detection and error recovery |
US10515046B2 (en) | 2017-07-01 | 2019-12-24 | Intel Corporation | Processors, methods, and systems with a configurable spatial accelerator |
US10496574B2 (en) | 2017-09-28 | 2019-12-03 | Intel Corporation | Processors, methods, and systems for a memory fence in a configurable spatial accelerator |
US11086816B2 (en) | 2017-09-28 | 2021-08-10 | Intel Corporation | Processors, methods, and systems for debugging a configurable spatial accelerator |
US20190104169A1 (en) * | 2017-10-03 | 2019-04-04 | Synology Inc. | Methods and computer program products for transceiving files through networks and apparatuses using the same |
US10565134B2 (en) * | 2017-12-30 | 2020-02-18 | Intel Corporation | Apparatus, methods, and systems for multicast in a configurable spatial accelerator |
US11307873B2 (en) | 2018-04-03 | 2022-04-19 | Intel Corporation | Apparatus, methods, and systems for unstructured data flow in a configurable spatial accelerator with predicate propagation and merging |
US10564980B2 (en) | 2018-04-03 | 2020-02-18 | Intel Corporation | Apparatus, methods, and systems for conditional queues in a configurable spatial accelerator |
US10891240B2 (en) | 2018-06-30 | 2021-01-12 | Intel Corporation | Apparatus, methods, and systems for low latency communication in a configurable spatial accelerator |
US11200186B2 (en) | 2018-06-30 | 2021-12-14 | Intel Corporation | Apparatuses, methods, and systems for operations in a configurable spatial accelerator |
US10853073B2 (en) | 2018-06-30 | 2020-12-01 | Intel Corporation | Apparatuses, methods, and systems for conditional operations in a configurable spatial accelerator |
US10678724B1 (en) | 2018-12-29 | 2020-06-09 | Intel Corporation | Apparatuses, methods, and systems for in-network storage in a configurable spatial accelerator |
US11029927B2 (en) | 2019-03-30 | 2021-06-08 | Intel Corporation | Methods and apparatus to detect and annotate backedges in a dataflow graph |
US10915471B2 (en) | 2019-03-30 | 2021-02-09 | Intel Corporation | Apparatuses, methods, and systems for memory interface circuit allocation in a configurable spatial accelerator |
US10817291B2 (en) | 2019-03-30 | 2020-10-27 | Intel Corporation | Apparatuses, methods, and systems for swizzle operations in a configurable spatial accelerator |
US10965536B2 (en) | 2019-03-30 | 2021-03-30 | Intel Corporation | Methods and apparatus to insert buffers in a dataflow graph |
US11037050B2 (en) | 2019-06-29 | 2021-06-15 | Intel Corporation | Apparatuses, methods, and systems for memory interface circuit arbitration in a configurable spatial accelerator |
CN110730053A (zh) * | 2019-09-09 | 2020-01-24 | 晶晨半导体(深圳)有限公司 | 一种基于ts格式和udp传输方式的网络丢包重传方法 |
US11907713B2 (en) | 2019-12-28 | 2024-02-20 | Intel Corporation | Apparatuses, methods, and systems for fused operations using sign modification in a processing element of a configurable spatial accelerator |
CN114095796A (zh) * | 2020-07-30 | 2022-02-25 | 中国移动通信集团终端有限公司 | 无效重传包减少方法、装置、设备及计算机存储介质 |
US20240048277A1 (en) * | 2022-08-03 | 2024-02-08 | Google Llc | Early Retransmission for Hardware Reliable Transport |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04170239A (ja) * | 1990-11-02 | 1992-06-17 | Nec Corp | データ伝送受信装置 |
JPH05160811A (ja) * | 1991-12-06 | 1993-06-25 | Hitachi Ltd | データ転送方式 |
JPH07202856A (ja) * | 1993-11-30 | 1995-08-04 | At & T Corp | パケット再送信装置 |
JPH07283782A (ja) * | 1994-04-08 | 1995-10-27 | Matsushita Electric Ind Co Ltd | 移動通信システム |
JPH07283757A (ja) * | 1994-04-14 | 1995-10-27 | Matsushita Electric Ind Co Ltd | 音声データ通信装置 |
JPH09191314A (ja) * | 1996-01-10 | 1997-07-22 | Mitsubishi Electric Corp | 連続データ伝送方法および連続データ伝送装置 |
JPH09247132A (ja) * | 1996-03-08 | 1997-09-19 | Yazaki Corp | 無線パケット通信装置及び送信装置 |
JPH10200897A (ja) * | 1997-01-08 | 1998-07-31 | Nippon Telegr & Teleph Corp <Ntt> | 動画像伝送装置 |
JPH1132077A (ja) * | 1997-07-10 | 1999-02-02 | Mitsubishi Electric Corp | 送信制御装置、受信制御装置、通信制御システム及び通信制御方法 |
JPH11262054A (ja) * | 1998-03-13 | 1999-09-24 | Toshiba Corp | 無線通信システム及び加入者用無線機 |
JPH11331839A (ja) * | 1998-05-13 | 1999-11-30 | Matsushita Electric Ind Co Ltd | 映像伝送再送の装置及び方法 |
JP2001111618A (ja) * | 1999-10-08 | 2001-04-20 | Nippon Telegr & Teleph Corp <Ntt> | 通信システムとその通信方法、ならびにそのプログラムを記録した媒体 |
JP2001119437A (ja) * | 1998-11-30 | 2001-04-27 | Matsushita Electric Ind Co Ltd | データ伝送方法,データ送信装置,データ受信装置,及びパケットデータ構造 |
JP2001218276A (ja) * | 2000-02-04 | 2001-08-10 | Ntt Docomo Inc | 移動通信システムにおけるデータ通信方法及び装置 |
JP2001298407A (ja) * | 2000-04-13 | 2001-10-26 | Ntt Docomo Inc | マルチキャストサービス提供システムにおける再送制御方法、情報配信装置及び無線端末 |
JP2003515289A (ja) * | 1999-11-15 | 2003-04-22 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ストリーミングデータ受信器における復号器バッファの遅延割当量を制御するためのシステムと方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06237451A (ja) * | 1993-02-10 | 1994-08-23 | Hitachi Ltd | 動画通信方式および端末装置 |
KR0156856B1 (ko) * | 1995-12-30 | 1998-11-16 | 김광호 | 다중 메세지 재전송 처리장치 및 방법 |
DE69736684T2 (de) * | 1996-01-23 | 2007-09-13 | Ntt Mobile Communications Network Inc. | Kommunikationsanordnung und Übertragungsstation mit Fehlerdetektion und Wiederübertragung |
US5768527A (en) * | 1996-04-23 | 1998-06-16 | Motorola, Inc. | Device, system and method of real-time multimedia streaming |
US5918002A (en) * | 1997-03-14 | 1999-06-29 | Microsoft Corporation | Selective retransmission for efficient and reliable streaming of multimedia packets in a computer network |
US6275471B1 (en) * | 1998-05-12 | 2001-08-14 | Panasonic Technologies, Inc. | Method for reliable real-time multimedia streaming |
US6507582B1 (en) * | 1999-05-27 | 2003-01-14 | Qualcomm Incorporated | Radio link protocol enhancements for dynamic capacity wireless data channels |
JP3391316B2 (ja) * | 1999-10-22 | 2003-03-31 | 日本電気株式会社 | ネットワークシステム |
EP1235383A1 (en) * | 2000-11-06 | 2002-08-28 | Matsushita Electric Industrial Co., Ltd. | Transmitter, receiver, and broadcast data distribution method |
US6907460B2 (en) * | 2001-01-18 | 2005-06-14 | Koninklijke Philips Electronics N.V. | Method for efficient retransmission timeout estimation in NACK-based protocols |
US7117521B2 (en) * | 2001-08-31 | 2006-10-03 | Intel Corporation | Method to measure the perceived quality of streaming media |
US8880709B2 (en) * | 2001-09-12 | 2014-11-04 | Ericsson Television Inc. | Method and system for scheduled streaming of best effort data |
US6996624B1 (en) * | 2001-09-27 | 2006-02-07 | Apple Computer, Inc. | Reliable real-time transport protocol |
-
2001
- 2001-12-04 JP JP2001369731A patent/JP3912091B2/ja not_active Expired - Lifetime
-
2002
- 2002-12-03 KR KR20020076260A patent/KR100967377B1/ko not_active IP Right Cessation
- 2002-12-04 US US10/310,212 patent/US7315898B2/en active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04170239A (ja) * | 1990-11-02 | 1992-06-17 | Nec Corp | データ伝送受信装置 |
JPH05160811A (ja) * | 1991-12-06 | 1993-06-25 | Hitachi Ltd | データ転送方式 |
JPH07202856A (ja) * | 1993-11-30 | 1995-08-04 | At & T Corp | パケット再送信装置 |
JPH07283782A (ja) * | 1994-04-08 | 1995-10-27 | Matsushita Electric Ind Co Ltd | 移動通信システム |
JPH07283757A (ja) * | 1994-04-14 | 1995-10-27 | Matsushita Electric Ind Co Ltd | 音声データ通信装置 |
JPH09191314A (ja) * | 1996-01-10 | 1997-07-22 | Mitsubishi Electric Corp | 連続データ伝送方法および連続データ伝送装置 |
JPH09247132A (ja) * | 1996-03-08 | 1997-09-19 | Yazaki Corp | 無線パケット通信装置及び送信装置 |
JPH10200897A (ja) * | 1997-01-08 | 1998-07-31 | Nippon Telegr & Teleph Corp <Ntt> | 動画像伝送装置 |
JPH1132077A (ja) * | 1997-07-10 | 1999-02-02 | Mitsubishi Electric Corp | 送信制御装置、受信制御装置、通信制御システム及び通信制御方法 |
JPH11262054A (ja) * | 1998-03-13 | 1999-09-24 | Toshiba Corp | 無線通信システム及び加入者用無線機 |
JPH11331839A (ja) * | 1998-05-13 | 1999-11-30 | Matsushita Electric Ind Co Ltd | 映像伝送再送の装置及び方法 |
JP2001119437A (ja) * | 1998-11-30 | 2001-04-27 | Matsushita Electric Ind Co Ltd | データ伝送方法,データ送信装置,データ受信装置,及びパケットデータ構造 |
JP2001111618A (ja) * | 1999-10-08 | 2001-04-20 | Nippon Telegr & Teleph Corp <Ntt> | 通信システムとその通信方法、ならびにそのプログラムを記録した媒体 |
JP2003515289A (ja) * | 1999-11-15 | 2003-04-22 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ストリーミングデータ受信器における復号器バッファの遅延割当量を制御するためのシステムと方法 |
JP2001218276A (ja) * | 2000-02-04 | 2001-08-10 | Ntt Docomo Inc | 移動通信システムにおけるデータ通信方法及び装置 |
JP2001298407A (ja) * | 2000-04-13 | 2001-10-26 | Ntt Docomo Inc | マルチキャストサービス提供システムにおける再送制御方法、情報配信装置及び無線端末 |
Cited By (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003244695A (ja) * | 2002-02-14 | 2003-08-29 | Kddi Corp | 映像情報伝送方式、それに用いられる装置およびプログラム |
JP2005006340A (ja) * | 2003-06-13 | 2005-01-06 | Microsoft Corp | ネットワーク通信のための時間指向、ベストエフォート的、穴埋め型再試行方法およびシステム |
JP4694152B2 (ja) * | 2003-06-13 | 2011-06-08 | マイクロソフト コーポレーション | ネットワーク通信のための時間指向、ベストエフォート的、穴埋め型再試行方法およびシステム |
JP2005198055A (ja) * | 2004-01-08 | 2005-07-21 | Sony Corp | 受信装置および方法、プログラム、並びに記録媒体 |
US8155035B2 (en) | 2004-01-08 | 2012-04-10 | Sony Corporation | Reception apparatus and method, program, and recording medium |
US7539174B2 (en) | 2004-03-09 | 2009-05-26 | Ntt Docomo, Inc. | Mobile communication system, mobile station device, and network-side device |
JP2005303927A (ja) * | 2004-04-15 | 2005-10-27 | Sony Corp | 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム |
JP2008079334A (ja) * | 2004-09-21 | 2008-04-03 | Hitachi Communication Technologies Ltd | ノード装置、パケット制御装置、無線通信装置および送信制御方法 |
US8068500B2 (en) | 2004-09-21 | 2011-11-29 | Hitachi, Ltd. | Node device, packet control device, radio communication device, and transmission control method |
JP4571967B2 (ja) * | 2004-09-21 | 2010-10-27 | 株式会社日立製作所 | ノード装置、パケット制御装置、無線通信装置および送信制御方法 |
JP2006319423A (ja) * | 2005-05-10 | 2006-11-24 | Toshiba Corp | 送信機及び受信機 |
JP4688566B2 (ja) * | 2005-05-10 | 2011-05-25 | 富士通東芝モバイルコミュニケーションズ株式会社 | 送信機及び受信機 |
JP2007019705A (ja) * | 2005-07-06 | 2007-01-25 | Sony Corp | 通信システム、送信装置、送信方法、およびプログラム |
JP4517294B2 (ja) * | 2005-07-06 | 2010-08-04 | ソニー株式会社 | 通信システム、送信装置、送信方法、およびプログラム |
JP2007053745A (ja) * | 2005-07-22 | 2007-03-01 | Sanyo Electric Co Ltd | 受信機及びプログラム |
US8731069B2 (en) | 2005-08-25 | 2014-05-20 | Canon Kabushiki Kaisha | Remote display system and method |
JP2007325077A (ja) * | 2006-06-02 | 2007-12-13 | Mitsubishi Electric Corp | データ受信装置及びデータ受信方法 |
US8792520B2 (en) | 2006-09-22 | 2014-07-29 | Canon Kabushiki Kaisha | Communication apparatus and method of transferring data |
JP2008079150A (ja) * | 2006-09-22 | 2008-04-03 | Canon Inc | 通信機器及びデータ転送方法 |
WO2008041329A1 (en) * | 2006-10-04 | 2008-04-10 | Fujitsu Limited | Data transfer method |
JP4625119B2 (ja) * | 2008-09-09 | 2011-02-02 | 株式会社エヌ・ティ・ティ・ドコモ | 移動通信システム、移動端末及びネットワーク側対向装置 |
JP2009027740A (ja) * | 2008-09-09 | 2009-02-05 | Ntt Docomo Inc | 移動通信システム、移動端末及びネットワーク側対向装置 |
JP2011015214A (ja) * | 2009-07-02 | 2011-01-20 | Canon Inc | 送信装置、送信方法、及びコンピュータプログラム |
CN102714728A (zh) * | 2010-01-14 | 2012-10-03 | 住友电气工业株式会社 | 视频图像编码数据的显示方法、设备和通信系统 |
CN102714728B (zh) * | 2010-01-14 | 2015-04-29 | 住友电气工业株式会社 | 视频图像编码数据的显示方法、设备和通信系统 |
JP5549681B2 (ja) * | 2010-01-14 | 2014-07-16 | 住友電気工業株式会社 | 動画像符号化データの表示方法、装置及び通信システム |
WO2011086952A1 (ja) * | 2010-01-14 | 2011-07-21 | 住友電気工業株式会社 | 動画像符号化データの表示方法、装置及び通信システム |
US9219925B2 (en) | 2010-01-14 | 2015-12-22 | Sumitomo Electric Industries, Ltd. | Video image coded data display method, device, and communications system |
JP2011259183A (ja) * | 2010-06-09 | 2011-12-22 | Nippon Telegr & Teleph Corp <Ntt> | データ配信システムおよびデータ配信方法 |
JP2012170010A (ja) * | 2011-02-16 | 2012-09-06 | Fujitsu Ltd | 通信方法、通信プログラム、および、通信装置 |
WO2013011545A1 (ja) * | 2011-07-15 | 2013-01-24 | 三菱電機株式会社 | 送信装置、受信装置、通信装置、通信システムおよび送信方法 |
JPWO2013011545A1 (ja) * | 2011-07-15 | 2015-02-23 | 三菱電機株式会社 | 送信装置、受信装置、通信装置、通信システムおよび送信方法 |
JP2014039136A (ja) * | 2012-08-15 | 2014-02-27 | Nippon Hoso Kyokai <Nhk> | 無線通信を行う送信装置、受信装置、送信方法、受信方法及びプログラム |
JP2015080198A (ja) * | 2013-09-11 | 2015-04-23 | パナソニックIpマネジメント株式会社 | 通信制御装置および通信制御方法 |
JP2016541210A (ja) * | 2013-09-26 | 2016-12-28 | コーヒレント・ロジックス・インコーポレーテッド | 次世代放送システム及び方法 |
WO2020174994A1 (ja) | 2019-02-26 | 2020-09-03 | パナソニックIpマネジメント株式会社 | カメラ映像伝送再生システム、それを構成するカメラおよびビューア |
JP2022093387A (ja) * | 2019-03-15 | 2022-06-23 | オムロン株式会社 | 制御システム、装置および制御方法 |
US11811547B2 (en) | 2019-03-15 | 2023-11-07 | Omron Corporation | Control system in which a plurality of apparatuses in time synchronization with one another are connected to a network |
JP7396393B2 (ja) | 2019-03-15 | 2023-12-12 | オムロン株式会社 | 制御システム、装置および制御方法 |
Also Published As
Publication number | Publication date |
---|---|
KR100967377B1 (ko) | 2010-07-05 |
JP3912091B2 (ja) | 2007-05-09 |
US7315898B2 (en) | 2008-01-01 |
US20030120802A1 (en) | 2003-06-26 |
KR20030045643A (ko) | 2003-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3912091B2 (ja) | データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム | |
JP3757857B2 (ja) | データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム | |
US7263644B2 (en) | Data transmitting/receiving system and method thereof | |
EP1397899B1 (en) | Real-time packetization and retransmission in streaming applications | |
JP3450771B2 (ja) | データ伝送方法,及びデータ送信装置 | |
JP4452983B2 (ja) | 受信装置および方法、プログラム、並びに記録媒体 | |
US20030206549A1 (en) | Method and apparatus for multicast delivery of information | |
US20040098748A1 (en) | MPEG-4 live unicast video streaming system in wireless network with end-to-end bitrate-based congestion control | |
US11070327B2 (en) | Method and apparatus for re-transmitting MMT packet and method and apparatus for requesting MMT packet re-transmission | |
JP2003338841A (ja) | プロトコル、情報処理システムおよび方法、情報処理装置および方法、記録媒体、並びにプログラム | |
KR20080059508A (ko) | 데이터 통신시스템, 데이터 송신장치, 데이터 송신방법 및패킷 사이즈 및 용장도 결정방법 | |
EP1745629A1 (en) | Cooperation between packetized data bit-rate adaptation and data packet re-transmission | |
JP2007134836A (ja) | パケット送信装置、通信システム及びプログラム | |
EP1235414B1 (en) | Data transmitting apparatus and data receiving apparatus | |
JP2005045469A (ja) | マルチメディアコンテンツ受信装置及びマルチメディアコンテンツ受信方法 | |
JP2003179662A (ja) | データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム | |
JP2003324496A (ja) | データ伝送方法,及びパケットデータ構造 | |
JP2008141633A (ja) | データ通信システム、データ受信装置、データ受信方法、データ送信装置およびデータ送信方法 | |
JP4433281B2 (ja) | 受信装置および方法、記録媒体、並びにプログラム | |
EP1450535A1 (en) | A relay for hierarchical retransmissions in multimedia streaming | |
JP2003163691A (ja) | データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム | |
JP3735352B2 (ja) | データ伝送方法,データ送信装置,及びデータ受信装置 | |
JP2005136547A (ja) | 通信システム、受信装置および方法、送信装置および方法、記録媒体、並びにプログラム | |
JP2001320407A (ja) | データ通信装置、データ通信用拡張ボード及びデータ通信方法 | |
JP2006067410A (ja) | 送信装置および方法、プログラム、並びに送受信システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040423 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040423 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060714 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070122 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 3912091 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100209 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110209 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110209 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120209 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120209 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130209 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130209 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140209 Year of fee payment: 7 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |