JP2004007823A - データ伝送方法および装置 - Google Patents

データ伝送方法および装置 Download PDF

Info

Publication number
JP2004007823A
JP2004007823A JP2003294181A JP2003294181A JP2004007823A JP 2004007823 A JP2004007823 A JP 2004007823A JP 2003294181 A JP2003294181 A JP 2003294181A JP 2003294181 A JP2003294181 A JP 2003294181A JP 2004007823 A JP2004007823 A JP 2004007823A
Authority
JP
Japan
Prior art keywords
transmission
frame
packet
transmission path
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003294181A
Other languages
English (en)
Other versions
JP3598110B2 (ja
Inventor
Rolf Hakenberg
ロルフ ハーケンベルク
Carsten Burmeister
カールステン バーマイスター
Thomas Wiebke
トーマス ヴィーブケ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=8168014&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2004007823(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of JP2004007823A publication Critical patent/JP2004007823A/ja
Application granted granted Critical
Publication of JP3598110B2 publication Critical patent/JP3598110B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/12Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/1607Details of the supervisory signal
    • H04L1/1671Details of the supervisory signal the supervisory signal being transmitted together with control information
    • H04L1/1678Details of the supervisory signal the supervisory signal being transmitted together with control information where the control information is for timing, e.g. time stamps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/12Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1809Selective-repeat protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/12Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1829Arrangements specially adapted for the receiver end
    • H04L1/1854Scheduling and prioritising arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/12Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1867Arrangements specially adapted for the transmitter end
    • H04L1/1887Scheduling and prioritising arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40Network security protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2404Monitoring of server processing errors or hardware failure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2408Monitoring of the upstream path of the transmission network, e.g. client requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26216Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving the channel capacity, e.g. network bandwidth
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6375Control signals issued by the client directed to the server or network components for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6377Control signals issued by the client directed to the server or network components directed to server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1101Session protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Communication Control (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

【課題】 データストリームを構成する映像データを授受して非信頼性伝送路上で動作する場合の映像品質を向上させる方法と装置を提供する。
【解決手段】 本発明は複数のデータフレームからなるデータストリームの形で映像データを授受する方法および装置に関する。各フレームには優先度レベルが割り当てられている。非信頼性伝送路を通じてデータフレームが送出され受け側で受け取られなければ、欠けているデータフレームの優先度レベルを優先度閾値と比較し、優先度レベルが優先度閾値より高ければ、欠けているデータフレームを再送する。再送決定は送り側か受け側のどちらかで行われる。好ましい実施形態では、送出される全てのデータフレームの優先度レベルを閾値と比較する。優先度を決定するために、使用可能な伝送路帯域幅の計測に基づいて、つまり、先に送出されたフレームのビットレートに基づいて優先度閾値を算出する。さらに、再送決定時に、再送されるデータフレームの到着時間の推定を行ってもよい。
【選択図】 図8

Description

 本発明はデータ伝送方法及び装置に関し、特にビデオストリーミングアプリケーションに関する。
 映像通信およびマルチメディア通信では、非信頼性伝送路を通じてビデオストリームが配信される多数のアプリケーションが存在する。そのようなアプリケーションの例として、パーソナルコンピュータ、テレビ受像機およびコンピュータカード、MPEGデコーダおよびボード、マルチメディア送受信装置およびセットトップ受信装置、DVD装置、ビデオレコーダおよびCCDカメラ、映像信号装置、フレームグラッバおよびビデオキャプチャボード、産業用および医療用画像化製品、ビデオプリンタ、ビデオプロジェクタなどがある。このように、ソフトウェアとしてもハードウェアとしても多くの種類の消費者市場のビデオストリーミングアプリケーションと専門技術者用アプリケーションが存在していることがわかる。
 ビデオストリームはビデオ映像自身に関する情報だけでなく時刻表示などのメタ情報を含んだフレームと呼ばれる単位ビット列データ(パケット)の流れからなっている。フレームには、映像圧縮方式によって異なる様々なフォーマットの映像情報が含まれる。これらフレームの一部はいわゆる内部符号化フレームまたはIフレームと呼ばれ独立に使用することができ、別の一部はいわゆる予測符号化フレームまたはPフレームと呼ばれ先行フレームに従属する。
 図1は従来のビデオストリーミングシステムを示す。ビデオサーバ110は伝送路150を通じて映像データをビデオクライアント160に伝送する。この目的のために、ビデオサーバ110は、映像源アプリケーション120からほとんど遅延を生ずることなく映像フレームを受け取る送信バッファ装置130を備えている。この内部伝送のビットレートは映像源アプリケーションのビットレートによってのみ制限される。送信バッファ装置130では、最初に、フレームがセグメント化される。すなわち、より下層のプロトコルによって、データパケットがそのパケットの長さによって異なるセグメント数のさらに小さなセグメントに分割される。パケットの長さは可変であり、例えば合計で200バイトであったり2000バイトであったりする。このセグメント化により、各パケットの伝送時間の一部が決まる。
 一旦フレームがセグメント化されると、そのセグメントは使用可能な伝送路のビットレートに応じた所定のタイムスロットで伝送路に送出される。非信頼伝送路150の場合、ビット誤りが発生し、多数のユーザが伝送路を共有しているときには、使用可能な伝送路のビットレートが時間によって変動する。これにより、伝播遅延が大きくなりかつ変動しやすくなる。
 伝送路150へのアクセスは、伝送路アクセス制御装置140の制御により送信バッファ装置130が行う。伝送路150のビットレートは映像源アプリケーション120から受け取るビデオストリームのビットレートより低いので、送出できなかったセグメントが先入れ先出し待ち行列規律に基づいて送信バッファ装置130に一時的に記憶される。送信バッファ装置と伝送路アクセス制御装置は孤立したエンティティであり、映像源アプリケーション120から完全に独立している。したがって、映像源アプリケーション120は、既に送出されたのかあるいはバッファに一時記憶されているのかなどのフレームの状態に関するいかなるフィードバックも受け取らない。全てのデータは送信バッファ装置130により到着順に送出されることになる。
 ビデオサーバ110により送出されたセグメントやプロトコルデータ単位(PDU)はビデオクライアント160の受信バッファ装置170で受け取られる。受信バッファ装置170は受け取ったデータを記憶するバッファを備えており、さらに、セグメントからフレームを再構成する。その後、映像フレームは、例えば、同様の記憶装置等からなる映像表示アプリケーション180に送出される。
 非信頼性リンクを介した映像伝送においては、2つの主要な問題が発生する。第1の問題は伝送路状態の変化のせいでパケットの紛失を発生させるほどビット誤り率が上昇する点である。圧縮ビデオストリームはパケット紛失を非常に起こしやすいので、映像品質が劇的に低下する。第2の問題は映像データの遅延が変動しやすく、時には非常に大きくなることによって、伝送の遅延要件をもはや満たすことができずまたも映像性能が劇的に低下するという状況に至る恐れがある点である。
 パケット紛失を削減するために、従来、いくつかの機構が存在している。その一つは自動再送要求(ARQ)と呼ばれる方法であり、この方法によれば、パケット紛失が受け側で検出され、それが送り側に通知される。その後、送り側が紛失パケットの送出を自動的に繰り返すことによって、欠けている映像フレームが再送される。しかしながら、遅延要件や転送用伝送路の帯域制限のせいで、紛失したパケットの全てが再送可能であるわけではない。さらに、このような従来のシステムはいずれも許容限度を超えるほどの大きな遅延を招く恐れがある。
 上記第2の問題、すなわち、伝送路遅延が変動しやすく時には非常に大きくなること、を克服する従来システムはリアルタイムトランスポートプロトコル(RTP)と称される。表示時間を制御するとともにリアルタイム要件に対処するために、このプロトコルは、映像フレームに対して時刻表示や順序番号などの情報を追加してRTPパケットに収める。この情報は映像フレームを正確な時間に正しい順序で送出するために使用される。受け側は何らかの計測、例えば、遅延ジッタの計測を行い、その結果をRTP制御プロトコル(RTCP)を使ってデータソースに送信することができる。
 両方の問題、すなわち、パケット紛失と伝送路遅延、に対処する一つの手法としては、Iフレームのみを再送し、他のフレームを送出する前に再送されたIフレームが間に合って到着するか否かを判定するようにRTP技術を改良することである。このような再送機構のRTP技術への組み込みは、プロトコル固有のフィールドによって拡張可能な多目的受領確認(MACK)パケットを使用して行うことができる。再送をIフレームに限定するとともにフレームを送出すべきかあるいは廃棄すべきかを決定するタイマ基準の判定を導入することにより、両方の問題に対処できるので、より多くのフレームを表示可能にして映像品質を向上させることができる。“古い”フレーム、すなわち、表示時間の経過後に受け取られるであろうフレームを廃棄することによって、遅延を妥当な範囲内に抑える。
 しかしながら、上記のようなシステムは、全てのフレームを再送するのに使用可能な自由な帯域幅が十分に存在する場合でさえ再送をIフレームに限定するので適応性が低くなる。ある伝送路状態では、先行のPフレームが正しく受け取られなかったために、正しく受け取られていた多数のPフレームがビデオクライアント側で廃棄されてしまう。
 また、このような技術は、廃棄するはずだったフレームが送出され、送出されるはずだったフレームが廃棄されるので、性能が悪い。これは、フレームを送出すべきか廃棄すべきかの判定が、伝送路状態や各パケット長に依存しておらず、各パケットの送出開始時でありしかも全てのパケットにとって同じ時間である固定の推定伝送時間に基づいているからである。この固定の推定伝送時間はフレームが受け取られるはずの時間を算出するのに必要とされる。
 同様にデータストリームの欠けたデータパケットを選択的に再送する方法として、米国特許5,918,002号に開示された方法がある。この方法では、データパケットのデータタイプに基づいて再送の優先順位が与えられる。例えば、親Iフレームは従属する子Pフレームを提供する必要があるので、Iフレームを含むデータパケットに対してPフレームしか含まないデータパケットよりも送出および/または再送に関して高い優先度を割り当てる。さらに、再送要求の順番は優先度に依存するものとする。
 また、IフレームとPフレームの重要性の差を考慮して再生を再開する別の技術として、米国特許5,784,527号に開示された技術がある。
 あるいは、米国特許5,768,527号には、紛失パケットの検出時にクライアント側装置が紛失フレームの重要性によって異なる数の多数の紛失パケットの多重複製を要求する技術が開示されている。
 しかしながら、上記従来技術は、非信頼性伝送路を通じて映像データを送出する際の上述の欠点、すなわち、容量の制限並びに非効率的な伝送路帯域幅の使用による映像ストリーム品質の低下を招く。
 したがって、本発明の目的は、データストリームを構成する映像データを授受して非信頼性伝送路上で動作する場合の映像品質を向上させる方法と装置を提供することである。
 この目的は独立請求項に定義された本発明にしたがって達成される。
 本発明によれば、紛失したデータフレームの再送はそのフレームの優先度レベルと閾値との比較に基づいて行われる。これは、Iフレームしか再送されないという従来技術の教示に優っている。したがって、優先度の閾値を設けることにより、本発明は送出機能を実際の伝送路特性などの多くの要因に適応させることができる。好ましい実施形態によれば、送出される全てのデータフレームの優先度レベルを上記閾値と比較する。したがって、本発明によれば、優先度閾値が固定値であっても映像品質を向上させることができる。
 それ故、本発明は非信頼性リンク(例えば、無線リンク)を通じた圧縮映像(例えば、MPEG4)のストリーミング伝送に適用される場合に特に有利である。
 欠けているデータフレームの優先度レベルを閾値と比較し、その比較結果に基づいてフレームを送出することをサーバ側でもクライアント側でも実行できれば有利である。クライアント側で決定がなされる場合には、その決定が否認されたときは再送要求を発する必要はないが、実際のフレームの優先度を送信する必要がある。これにより、アップリンク方向の伝送路帯域幅を最も有効に利用することができるが、ダウンリンク方向の伝送データはわずかに増加するだけである。他方、送出の決定がサーバ側でなされる時は、サーバは役立つ可能性のあるフィードバック情報を受け取ることができる。さらに、クライアントはより安価な構成を有することになるので有利である。
 本発明の好ましい実施形態は従属請求項で定義される。
 送出の決定がサーバ側でなされた場合、クライアントの再送要求が先行する2つのデータフレームの受取り時間とフレーム長を含んでいるならば有利である。この情報を利用すれば、サーバは最も効率よく伝送路状態に関する知識を更新し、遅延要件を維持するとともに伝送路帯域幅を使用することができる立場にいることができる。
 さらに、従来のシステムと異なり、ビデオストリーミング時にパケットの伝送時間を計測するので、それが全てのパケットについて同じであるとはもはや推定されることはない。したがって、伝送時間の変化により、ビデオストリームの品質を伝送路状態の変化に動的に適応させることができるようになる。
 送出の決定が送り側で行われるか受け側で行われるかにかかわらず、好ましくは多重従属関係の論理的深度に基づいてデータフレームに優先度レベルを割り当てる。この手法により、独立フレーム(Iフレーム)が最も重要なフレームであり、従属フレームはそれほど重要でないことが付随的に考慮される。また、従来技術と異なり、従属フレームの集合もより重要なフレームとそれほど重要でないフレームとに分類することができる。これにより、再送の挙動を従来技術からは得られない程度まで微調整することが可能になる。
 本発明のもう一つの利点は、送出の決定を動的にすることによって映像品質の向上をさらに高めることができる点である。これは、本発明の好ましい実施形態にしたがい、計測された使用可能な伝送路帯域幅に基づいて優先度閾値を算出することによって実現される。さらに、送信ビットレートも計測して使用してもよい。その結果、欠けたパケットの補整をさらに向上させることができる。
 また、再送されたフレームが間に合って到着することが予想される場合にのみ紛失されたフレームを再送するという要件を本発明と結び付けてもよい。特に、複数のユーザ間やアプリケーション間で伝送路帯域幅を共有する場合には、できる限り少ないデータを伝送することが非常に重要である。このことは、特にユーザが使用された帯域幅、すなわち、伝送されたビットに関して支払を行うことから、そうである。伝送路の利用度が高いせいで受け側に間に合って到着しない再送映像パケットがある場合には、帯域幅が浪費されることになる。この帯域幅を、優先度がより高いフレームの再送やあるいは他のユーザやアプリケーションのために利用することができる。
 以下、本発明を図面に基づいてさらに詳細に説明する。
 図2に示すように、ビデオサーバ110は、映像源アプリケーション120と、送信バッファ装置130と、図1の従来のビデオストリーミングシステムの記述の際に説明したものとほぼ同じ機能を有する伝送路アクセス制御装置140とを備えている。同様に、ビデオクライアント160は、受信バッファ装置170と映像表示アプリケーション180を備えている。データはビデオサーバ110から伝送路150を介してビデオクライアント160に伝送される。
 さらに、ビデオクライアント160は受信バッファ装置170に接続された紛失検出装置240を備えている。一旦紛失検出装置240がフレームが欠けていることを検出すると、好ましくは2つの先行データフレームの受取り時間とフレーム長を含んだ再送要求を生成する。この目的のために、紛失検出装置240は通常動作時に最近の2つのパケットの時刻表示とパケット長を記憶する。一旦非受領(NACK)パケットもしくは多目的受領確認(MACK)パケットである再送要求が生成されると、その要求は送信バッファ装置250によってセグメント化され、伝送路アクセス制御装置260の制御により伝送路150を介してビデオサーバ110に送出される。
 ビデオサーバ110では、受信バッファ装置230がそのデータを受け取り、要求を再構成する。その後、要求は制御装置210に送られ、そして再送信バッファ220に送られる。再送信バッファ220は映像源アプリケーション120から送信バッファ装置130へ再送のために送られるIフレームとPフレームを一時的に記憶する。
 最近の2個のパケットの時間と長さに関する情報を受け取ると、制御装置210は優先度の閾値を更新する。映像源アプリケーション120もしくは再送信バッファ220から映像フレームを受け取ると、制御装置210はそのデータフレームに割り当てられた優先度のレベルに基づいて送出の決定を行う。フレームに対する優先度の割当てを図3に詳細に示す。
 図3から明らかなように、本発明によれば、Iフレームは他のフレームから独立して映像表示アプリケーション180に表示されるので、最も高い優先度が与えられている。Iフレームに直に続く最初のPフレームはその先行するIフレームのみに従属する。2番目のPフレームは最初のPフレームに従属するとともに、最初のPフレームがIフレームに従属するので、二重の従属関係になり、したがって、最初のPフレームより重要度が低い。この方式を以降のPフレームに採用し、多重従属関係が深いPフレームほど、すなわち、より後のPフレームほど重要度を低くしてより低い優先度レベルを与えるようにしてもよい。図3の実施形態では、n番目のPフレームに対する優先度が1/nに設定されている。しかしながら、当業者であれば、別の関数従属性を選択できることは理解できるであろう。
 図4に示すように、ビデオストリーム送出プロセスは映像源アプリケーション120から映像フレームを受け取る工程(ステップS410)を有している。その後、ステップS420で、再送要求が受け取られたか否かが検査される。再送要求が受け取られていない場合は、プロセスはステップS440に進み、そうでなければ、上記再送要求からの情報を利用して最初に伝送路の推定値を更新する(ステップS430)。ステップS440では、以後の図面で詳細に説明するように、送出の決定がなされる。
 フレームの伝送時間は2つの部分からなる。一方の部分はフレームの長さに依存せず、他方の部分は長さに依存している。そのうち、フレーム長非依存時間は主にネットワーク遅延、すなわち、伝播遅延と、輻輳に起因する一時記憶遅延からなる。それと異なり、フレーム長依存遅延はセグメント化と使用可能帯域幅によって決まる。次の式はフレームiの伝送遅延を示す。
Figure 2004007823
但し、Diは伝送遅延、l1はフレームのビット長、t1はフレーム長非依存時間、t2はビット当りのフレーム長依存時間である。
 時間t1およびt2が2個のパケットの到着期間内でほぼ一定であると仮定すると、2つの先行フレームの伝送遅延D1およびD2が前もって計測されているとき、上記の式を以下の式のように解くことができる。
Figure 2004007823
 したがって、2つの先行フレームの伝送遅延に基づいて評価される時間t1およびt2から欠けているフレームの伝送遅延を算出することが可能である。この目的のために、紛失検出装置240は最近のフレームの受取り時間とパケット長を記憶している。エラーが発生すると、これらの値と欠けているフレームや正しく受け取られなかったフレームの値がビデオサーバ110に送信される。これは、非受領パケットに受取り側レポートを添付したり多目的受領確認パケットを使用することで実現できる。非受領確認パケットや多目的受領確認パケットにそのような追加情報を補足することによって追加されるオーバーヘッドは無視できるほど小さい。
 ステップS440でフレームの廃棄が決定された場合は、プロセスはステップS460に進む。そのフレームを送信バッファ装置130に送る必要がある場合は、ステップS450が実行される。その後、ステップS470で送信ビットレートが更新され、制御装置210が映像源アプリケーション120または再送信バッファ220から次に受け取るフレームを待つことになる(ステップS410)。
 ステップS440の送出決定を図5に基づいてさらに詳細に説明する。既に遅れすぎているフレームを送出する必要はないので、優先度と閾値を比較する前に、推定到着時間に応じてフレームを送出すべきか廃棄すべきかを決定する機構を導入する。その目的のために、ステップS510で、フレームの到着時間の推定、すなわち、伝送遅延の算出を行う。
 その後、ステップS520で、推定到着時間が映像フレームの表示予定時間より遅れると判定すると、フレームを送出せずに廃棄することになる。そうでない場合は、これから詳細に説明するように、制御装置210が欠けているフレームの優先度を評価する。
 図6に示すように、制御装置210は最初にステップS610でフレームの優先度レベルを取得し、次にステップS620で固定閾値レベルにアクセスする。2種類の優先度レベルが存在し、一つは初めて送出されるフレーム(おそらくは、全てのフレームが初めて送出される)用の優先度レベルであり、もう一つは再送用の優先度レベルである。固定閾値レベルは送出の準備時に伝送路状態とそのときの映像ビットレートにしたがって決定されている。その後、ステップS630で、フレームの優先度レベルが優先度の閾値レベルを超えているか否かが決定される。それが当てはまる場合にのみ、フレームが送出される。そうでない場合には、フレームの廃棄が決定される。
 このプロセスは最小限のオーバーヘッドと実施努力で済むので有利であるが、図7から明らかなようにさらに向上させることも可能である。図7に示すプロセスは、主として固定閾値レベルを使用せず、計測された使用可能な伝送路帯域幅に基づいて優先度閾値を算出する(ステップS710、S720)という点で図6のプロセスと異なる。この方式は、わずかな帯域幅しか使用可能でない場合には、より優先度の高いフレームのみを送出するほうがよいという考えに基づいている。
 使用可能な帯域幅はt2の逆数であるので、使用可能な伝送路帯域幅の計測には上記伝送遅延の計測を使用することができる。すなわち、
Figure 2004007823
 ステップS710で計測された使用可能伝送路帯域幅Bchを、その後、ステップS720で使用し、以下の式にしたがって優先度閾値Pthを算出する。
Figure 2004007823
但し、Bvは再送が全く行われない場合に映像伝送に必要な帯域幅であり、kは上記の機構をシステムに適応させるための係数であって、ビット誤り率は映像伝送に関して一定であると仮定されている。2種類の係数kが存在し、一つは初めての送出(おそらくは、全てのフレームが初めて送出される)用の係数であり、もう一つは再送用の係数である。
 図8に示すように、さらにステップS810で、送出されたフレームのビットレートを計測することにより、優先度決定プロセスをさらに改善させることが可能である。この改善は伝送路状態が悪い場合、すなわち、ビット誤り率が高い場合に再送されるフレーム数が増加するという知見に基づいている。したがって、少なくとも重要なフレームを送出するのに十分な伝送路帯域幅が確保されていることを確認するために、送出されたデータの量を監視するのが有利である。送出フレームのビットレートを推定するために、送出された多数の先行フレームの平均ビットレートを以下の式にしたがって算出する。
Figure 2004007823
 この等式において、Bsは送出フレームのビットレート、pおよびqはそれぞれ最も古い送出フレームと最も新しい送出フレーム、liは予め記憶されているビット長、tpおよびtqはそれぞれ各フレームの伝送時間を示す。
 その後、ステップS820では、ステップS810で計測された送出フレームのビットレートBsを使用し、上述の計算手順と同様にして、優先度閾値Pthを算出する。すなわち、
Figure 2004007823
 優先度決定に基づく送出機構を到着時間推定の機構とともに説明したが、当業者であれば、これらの機構をそれぞれ独立して使用可能であることは理解できるであろう。
 図9はビデオクライアント160でビデオストリームを受け取るプロセスを示す。ステップS920で映像フレームが欠けていることを検出すると、上述したように、ステップS930で再送要求が生成され、ステップS940でそれが送出される。好ましい実施形態では、ビデオサーバ110の制御装置210が再送決定を行っているが、当業者であれば分かるように、欠けているフレームを再送すべきか否かの決定を受け側で同様にして行うこともできる。この目的のためには、ビデオクライアント160は、優先度閾値を算出するとともに欠けているフレームの優先度レベルと閾値とを比較する制御装置(図示せず)を備えることになる。欠けているフレームの再送を決定した場合にのみビデオクライアント160からビデオサーバ110に対して再送要求が送信されることになる。図5ないし図8に示す再送決定ステップS440は、この場合、図9のビデオストリーム受取プロセスの再送要求生成ステップS930の前に組み込まれることになる。
従来のビデオストリーミングシステムを示す図。 本発明の好ましい実施形態にかかるビデオストリーミングシステムを示す図。 上記本発明の好ましい実施形態においてフレームに対する優先度割当てを示すグラフ。 ビデオストリーム送出プロセスを示すフロー図。 図4に示すビデオストリーム送出プロセスにおける再送決定手順を示すフロー図。 図5に示す再送決定手順の一部である優先度決定の第1の例を示すフロー図。 上記優先度決定の第2の例を示すフロー図。 上記優先度決定の第3の例を示すフロー図。 ビデオストリーム受取りプロセスを示すフロー図。
符号の説明
110 ビデオサーバ
120 映像源アプリケーション
130 送信バッファ装置
140 伝送路アクセス制御装置
150 伝送路
160 ビデオクライアント
170 受信バッファ装置
180 映像表示アプリケーション
210 制御装置
220 再送信バッファ
230 受信バッファ装置
240 紛失検出装置
250 送信バッファ装置
260 伝送路アクセス制御装置

Claims (12)

  1.  送信側からパケット単位でデータを受信するデータ伝送方法であって、
     パケットの紛失の有無を決定するステップと、
     伝送路状態と、紛失したパケットの重要度とに基づいて、紛失したパケットの再送要求を行うか否かを決定するステップと、
     前記再送要求を行うと決定した場合に送信側へ前記再送要求を送信するステップと、
     前記再送要求に基づいて送信側から再送されてきたパケットを受信するステップとを備えたことを特徴とするデータ伝送方法。
  2.  前記伝送路状態は、使用可能な伝送路帯域幅であることを特徴とする請求項1記載のデータ伝送方法。
  3.  前記伝送路状態は、伝送路の伝送遅延であることを特徴とする請求項1記載のデータ伝送方法。
  4.  前記伝送路状態は、伝送路のビット誤り率であることを特徴とする請求項1記載のデータ伝送方法。
  5.  前記再送要求を行うか否かの決定は、さらに、先行して受信したパケットのビットレートに基づいてなされることを特徴とする請求項1記載のデータ伝送方法。
  6.  前記再送要求は、非受領(NACK)パケットであることを特徴とする請求項1記載のデータ伝送方法。
  7.  送信側からパケット単位でデータを受信する受信装置であって、
     パケットの紛失の有無を決定し、かつ伝送路状態と、紛失したパケットの重要度とに基づいて、紛失したパケットの再送要求を行うか否かを決定する紛失検出装置と、
     前記再送要求を行うと決定した場合に送信側へ前記再送要求を送信する送信バッファ装置と、
     前記再送要求に基づいて送信側から再送されてきたパケットを受信する受信バッファ装置とを備えたことを特徴とする受信装置。
  8.  前記伝送路状態は、使用可能な伝送路帯域幅であることを特徴とする請求項7記載の受信装置。
  9.  前記伝送路状態は、伝送路の伝送遅延であることを特徴とする請求項7記載の受信装置。
  10.  前記伝送路状態は、伝送路のビット誤り率であることを特徴とする請求項7記載の受信装置。
  11.  前記再送要求を行うか否かの決定は、さらに、先行して受信したパケットのビットレートに基づいてなされることを特徴とする請求項7記載の受信装置。
  12.  前記再送要求は、非受領(NACK)パケットであることを特徴とする請求項7記載の受信装置。
JP2003294181A 2000-03-02 2003-08-18 データ伝送方法および装置 Expired - Fee Related JP3598110B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP00104388A EP1130839B1 (en) 2000-03-02 2000-03-02 Method and apparatus for retransmitting video data frames with priority levels

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2001057722A Division JP4623616B2 (ja) 2000-03-02 2001-03-02 データ伝送方法および装置

Publications (2)

Publication Number Publication Date
JP2004007823A true JP2004007823A (ja) 2004-01-08
JP3598110B2 JP3598110B2 (ja) 2004-12-08

Family

ID=8168014

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2001057722A Expired - Fee Related JP4623616B2 (ja) 2000-03-02 2001-03-02 データ伝送方法および装置
JP2003294181A Expired - Fee Related JP3598110B2 (ja) 2000-03-02 2003-08-18 データ伝送方法および装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2001057722A Expired - Fee Related JP4623616B2 (ja) 2000-03-02 2001-03-02 データ伝送方法および装置

Country Status (4)

Country Link
US (3) US6792470B2 (ja)
EP (2) EP1130839B1 (ja)
JP (2) JP4623616B2 (ja)
DE (1) DE60020672T2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007522727A (ja) * 2004-01-30 2007-08-09 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. データパケットに関する情報を使用してデータパケットの送信順序を決定する方法およびシステム
JP2008312125A (ja) * 2007-06-18 2008-12-25 Canon Inc 映像受信装置及び映像受信装置の制御方法
JP2014090433A (ja) * 2006-04-12 2014-05-15 Tq Delta Llc パケット再送信ならびにメモリの共有
US9069718B2 (en) 2004-10-12 2015-06-30 Tq Delta, Llc Resource sharing in a telecommunications environment

Families Citing this family (149)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020002039A1 (en) 1998-06-12 2002-01-03 Safi Qureshey Network-enabled audio device
US7284064B1 (en) 2000-03-21 2007-10-16 Intel Corporation Method and apparatus to determine broadcast content and scheduling in a broadcast system
GB0016695D0 (en) * 2000-07-08 2000-08-23 Radioscape Ltd Digital transactions for the delivery of media files
US7840691B1 (en) 2000-09-07 2010-11-23 Zamora Radio, Llc Personal broadcast server system for providing a customized broadcast
US7042848B2 (en) * 2001-05-04 2006-05-09 Slt Logic Llc System and method for hierarchical policing of flows and subflows of a data stream
US6901052B2 (en) 2001-05-04 2005-05-31 Slt Logic Llc System and method for policing multiple data flows and multi-protocol data flows
US6904057B2 (en) * 2001-05-04 2005-06-07 Slt Logic Llc Method and apparatus for providing multi-protocol, multi-stage, real-time frame classification
US6944168B2 (en) * 2001-05-04 2005-09-13 Slt Logic Llc System and method for providing transformation of multi-protocol packets in a data stream
US7958532B2 (en) 2001-06-18 2011-06-07 At&T Intellectual Property Ii, L.P. Method of transmitting layered video-coded information
EP1271955A3 (fr) * 2001-06-26 2007-05-02 Koninklijke Philips Electronics N.V. Procédé de transmission par paquet avec requetes en retransmission de paquet et mécanisme de controle relatif à la transmission de telles requètes
US7363569B2 (en) 2001-06-29 2008-04-22 Intel Corporation Correcting for data losses with feedback and response
KR20030004978A (ko) * 2001-07-07 2003-01-15 삼성전자 주식회사 이동 통신시스템에서 초기전송 및 재전송 방법
US8943540B2 (en) 2001-09-28 2015-01-27 Intel Corporation Method and apparatus to provide a personalized channel
EP1301041A1 (en) * 2001-10-05 2003-04-09 Matsushita Electric Industrial Co., Ltd. Video data transmission method and apparatus
US20030078983A1 (en) * 2001-10-23 2003-04-24 Sullivan Terence Sean Message prioritization and buffering in a limited network
JP4549610B2 (ja) 2001-11-08 2010-09-22 ソニー株式会社 通信システム、通信方法、送信装置および方法、受信装置および方法、並びにプログラム
US7075891B2 (en) 2001-11-26 2006-07-11 Lucent Technologies Inc. Method and apparatus for transmitting and receiving data packets to avoid stall during re-sequencing of data packets
JP3757857B2 (ja) * 2001-12-12 2006-03-22 ソニー株式会社 データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
WO2003052612A1 (en) * 2001-12-15 2003-06-26 Thomson Licensing S.A. System and method for delivering data streams of multiple data types at different priority levels
KR100460970B1 (ko) 2002-01-10 2004-12-09 삼성전자주식회사 데이터 송수신 시스템 및 방법
FR2838584A1 (fr) * 2002-04-16 2003-10-17 Koninkl Philips Electronics Nv Systeme de transmission avec controle de congestion au niveau du recepteur pour decider d'eventuelles demandes de retransmission
EP1357694B1 (en) * 2002-04-23 2006-06-21 Lucent Technologies Inc. Automatic retransmission request
US7161904B2 (en) 2002-06-04 2007-01-09 Fortinet, Inc. System and method for hierarchical metering in a virtual router based network switch
KR100537499B1 (ko) 2002-07-26 2005-12-19 삼성전자주식회사 전송제어 파라미터 생성방법 및 프레임 특성에 따른선택적 자동 재전송 방법
WO2004023706A1 (en) * 2002-09-06 2004-03-18 Telefonaktiebolaget Lm Ericsson (Publ) Method and devices for controlling retransmissions in data streaming
JP2006505974A (ja) * 2002-11-07 2006-02-16 松下電器産業株式会社 通信システムにおけるフィードバックを決定する方法
US7386176B2 (en) 2002-11-15 2008-06-10 Ricoh Company, Ltd. Image sending apparatus and image receiving apparatus for sending and receiving code sequence data
US7474792B2 (en) 2002-12-02 2009-01-06 Ricoh Company, Ltd. Image processing apparatus for using distortion amount information
JP2004187099A (ja) * 2002-12-04 2004-07-02 Shinko Electric Ind Co Ltd 通信制御方法、通信システム及び通信装置
US8949922B2 (en) * 2002-12-10 2015-02-03 Ol2, Inc. System for collaborative conferencing using streaming interactive video
US9061207B2 (en) * 2002-12-10 2015-06-23 Sony Computer Entertainment America Llc Temporary decoder apparatus and method
US9314691B2 (en) 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
US20100166056A1 (en) * 2002-12-10 2010-07-01 Steve Perlman System and method for encoding video using a selected tile and tile rotation pattern
US8979655B2 (en) 2002-12-10 2015-03-17 Ol2, Inc. System and method for securely hosting applications
US9077991B2 (en) * 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
US8366552B2 (en) * 2002-12-10 2013-02-05 Ol2, Inc. System and method for multi-stream video compression
US10201760B2 (en) * 2002-12-10 2019-02-12 Sony Interactive Entertainment America Llc System and method for compressing video based on detected intraframe motion
US9108107B2 (en) 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US8964830B2 (en) 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US9227139B2 (en) 2002-12-10 2016-01-05 Sony Computer Entertainment America Llc Virtualization system and method for hosting applications
US9138644B2 (en) * 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
US9192859B2 (en) 2002-12-10 2015-11-24 Sony Computer Entertainment America Llc System and method for compressing video based on latency measurements and other feedback
US9446305B2 (en) 2002-12-10 2016-09-20 Sony Interactive Entertainment America Llc System and method for improving the graphics performance of hosted applications
US8526490B2 (en) * 2002-12-10 2013-09-03 Ol2, Inc. System and method for video compression using feedback including data related to the successful receipt of video content
US20090118019A1 (en) * 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US8549574B2 (en) * 2002-12-10 2013-10-01 Ol2, Inc. Method of combining linear content and interactive content compressed together as streaming interactive video
US8711923B2 (en) 2002-12-10 2014-04-29 Ol2, Inc. System and method for selecting a video encoding format based on feedback data
FR2849734A1 (fr) * 2003-01-06 2004-07-09 Thomson Licensing Sa Systeme de reception de signeaux dvb-t avec reemission isofrequence
JP4133421B2 (ja) 2003-02-20 2008-08-13 株式会社日立製作所 コンテンツ配信システムにおけるコンテンツ受信装置およびコンテンツ差分送信装置、ならびに、コンテンツ配信システム
JP4266733B2 (ja) * 2003-07-10 2009-05-20 三菱電機株式会社 映像受信装置
KR100526183B1 (ko) * 2003-07-15 2005-11-03 삼성전자주식회사 모바일 애드 혹 네트워크 환경에서 효율적인 데이터송수신을 위한 네트워크 장치 및 데이터 전송 방법
US8554860B1 (en) * 2003-09-05 2013-10-08 Sprint Communications Company L.P. Traffic segmentation
US7834904B2 (en) * 2003-10-22 2010-11-16 Sam Systems, Inc. Video surveillance system
US8327411B2 (en) * 2003-12-01 2012-12-04 Sharp Laboratories Of America, Inc. Low-latency random access to compressed video
US20080303903A1 (en) * 2003-12-02 2008-12-11 Connexed Technologies Inc. Networked video surveillance system
KR100541526B1 (ko) * 2004-01-30 2006-01-10 에스케이 텔레콤주식회사 멀티미디어 데이터의 전송품질 측정방법 및 장치
US7620685B2 (en) * 2004-04-21 2009-11-17 Microsoft Corporation Smart shares and transports
US8028323B2 (en) 2004-05-05 2011-09-27 Dryden Enterprises, Llc Method and system for employing a first device to direct a networked audio device to obtain a media item
US8010652B2 (en) * 2004-05-07 2011-08-30 Nokia Corporation Refined quality feedback in streaming services
US20050254508A1 (en) * 2004-05-13 2005-11-17 Nokia Corporation Cooperation between packetized data bit-rate adaptation and data packet re-transmission
US10268352B2 (en) 2004-06-05 2019-04-23 Sonos, Inc. Method and apparatus for managing a playlist by metadata
US20060085827A1 (en) * 2004-10-18 2006-04-20 Toshiro Ozawa Entertainment content preprocessing
US7522528B2 (en) * 2004-11-18 2009-04-21 Qvidium Technologies, Inc. Low-latency automatic repeat request packet recovery mechanism for media streams
EP1825684A1 (en) * 2004-12-10 2007-08-29 Koninklijke Philips Electronics N.V. Wireless video streaming using single layer coding and prioritized streaming
US7477653B2 (en) 2004-12-10 2009-01-13 Microsoft Corporation Accelerated channel change in rate-limited environments
US7370129B2 (en) * 2004-12-15 2008-05-06 Microsoft Corporation Retry strategies for use in a streaming environment
ATE512550T1 (de) 2005-01-17 2011-06-15 Koninkl Philips Electronics Nv System, sender, empfänger, verfahren und software zum senden und empfangen geordneter mengen von videorahmen
JP4187746B2 (ja) * 2005-01-26 2008-11-26 三洋電機株式会社 動画像データ伝送装置
DE102005012668B4 (de) * 2005-03-17 2012-02-16 Bernhard Blöchl Rahmenfehlererkennungs- und -korrekturverfahren für digitales Video
JP2006270450A (ja) * 2005-03-23 2006-10-05 Yamaha Corp 送信装置
JP2006279436A (ja) * 2005-03-29 2006-10-12 Toshiba Corp マルチメディア通信システムおよび再送用データ削除方法
US7765305B2 (en) * 2005-04-07 2010-07-27 Microsoft Corporation Retry request overload protection
KR100657314B1 (ko) * 2005-05-04 2006-12-20 삼성전자주식회사 멀티미디어 스트리밍 송신 장치 및 방법
JP4688566B2 (ja) * 2005-05-10 2011-05-25 富士通東芝モバイルコミュニケーションズ株式会社 送信機及び受信機
KR100720592B1 (ko) 2005-09-01 2007-05-22 엘지전자 주식회사 인트라 프레임의 전송오류 복구 방법
US20070058730A1 (en) * 2005-09-09 2007-03-15 Microsoft Corporation Media stream error correction
US7969997B1 (en) * 2005-11-04 2011-06-28 The Board Of Trustees Of The Leland Stanford Junior University Video communications in a peer-to-peer network
US8537741B2 (en) * 2006-01-13 2013-09-17 Alcatel Lucent Method of header compression over channels with out-of-order delivery
US7609709B2 (en) * 2006-01-23 2009-10-27 Alcatel-Lucent Usa Inc. Video aware traffic management
US7979784B2 (en) * 2006-03-29 2011-07-12 Samsung Electronics Co., Ltd. Method and system for enhancing transmission reliability of video information over wireless channels
KR100763207B1 (ko) * 2006-05-03 2007-10-04 삼성전자주식회사 비압축 aⅴ 데이터를 송수신하는 방법, 장치, 및 전송프레임 구조
US20070270103A1 (en) * 2006-05-16 2007-11-22 Samsung Electronics Co., Ltd. Method and apparatus for transmitting/receiving uncompressed audio/video data
US20070268972A1 (en) * 2006-05-16 2007-11-22 Samsung Electronis Co., Ltd. Method and apparatus for transmitting/receiving uncompressed AV data
US20070291853A1 (en) * 2006-06-19 2007-12-20 Samsung Electronics Co., Ltd. Method and apparatus for transmitting/receiving uncompressed data
JP2008017331A (ja) * 2006-07-07 2008-01-24 Toshiba Corp パケットストリーム送信装置
US7584289B2 (en) * 2006-07-14 2009-09-01 Abroadcasting Company System and method to efficiently broadcast television video and audio streams through the internet from a source in single leading time zone to multiple destinations in lagging time zones
US8411581B2 (en) * 2006-07-25 2013-04-02 Broadcom Corporation Method and system for medium access control (MAC) layer specialization for voice and multimedia data streams
JP4809174B2 (ja) * 2006-09-27 2011-11-09 京セラ株式会社 通信装置及びデータ送信方法
EP1953959A1 (en) * 2007-02-01 2008-08-06 British Telecommunications Public Limited Company Data communication
JP4836871B2 (ja) * 2007-05-31 2011-12-14 Kddi株式会社 符号化画像に優先度を割り当てる映像データ送信装置、プログラム及び方法
US20090002556A1 (en) * 2007-06-11 2009-01-01 Picongen Wireless Inc. Method and Apparatus for Packet Insertion by Estimation
EP2026580A1 (en) * 2007-06-12 2009-02-18 British Telecommunications public limited company Video processing
JP5084362B2 (ja) 2007-06-18 2012-11-28 キヤノン株式会社 データ送信装置、及びデータ送受信システム
CA2712665C (en) * 2007-06-20 2015-11-24 Nokia Siemens Networks Oy Avoiding collisions between semi-persistent allocation and dynamic allocation in radio access networks
US9168457B2 (en) 2010-09-14 2015-10-27 Sony Computer Entertainment America Llc System and method for retaining system state
US9015147B2 (en) 2007-12-20 2015-04-21 Porto Technology, Llc System and method for generating dynamically filtered content results, including for audio and/or video channels
US8316015B2 (en) 2007-12-21 2012-11-20 Lemi Technology, Llc Tunersphere
US20090164576A1 (en) * 2007-12-21 2009-06-25 Jeonghun Noh Methods and systems for peer-to-peer systems
US8117193B2 (en) 2007-12-21 2012-02-14 Lemi Technology, Llc Tunersphere
US20090178096A1 (en) * 2008-01-03 2009-07-09 Microsoft Corporation Intelligent over-transmission of media data segments
CN101946442A (zh) * 2008-02-21 2011-01-12 夏普株式会社 发送装置、接收装置、通信系统和通信方法
JP2009232109A (ja) * 2008-03-21 2009-10-08 Panasonic Corp 無線端末装置および再送方法
FR2930387B1 (fr) * 2008-04-17 2010-09-24 Canon Kk Procede de traitement d'un flux de donnees codes
JP4460011B2 (ja) 2008-05-27 2010-05-12 国立大学法人広島大学 動画像配信システム、動画像配信方法、動画像配信システムにおけるサーバおよび動画像配信システムにおけるユーザ端末
CN101803383A (zh) * 2008-07-17 2010-08-11 松下电器产业株式会社 发送装置、接收装置、速率控制装置、发送方法及接收方法
JP2010056964A (ja) * 2008-08-28 2010-03-11 Canon Inc 受信装置及びその制御方法、プログラム、記録媒体
JP5207895B2 (ja) * 2008-09-17 2013-06-12 キヤノン株式会社 送信装置、受信装置、及び方法、プログラム
JP5104717B2 (ja) * 2008-10-23 2012-12-19 富士通株式会社 データ配信装置、中継装置、データ配信方法およびデータ配信プログラム
US8494899B2 (en) 2008-12-02 2013-07-23 Lemi Technology, Llc Dynamic talk radio program scheduling
JP2010252060A (ja) * 2009-04-16 2010-11-04 Hitachi Ltd 送受信システムにおける送受信方法
US8271106B2 (en) 2009-04-17 2012-09-18 Hospira, Inc. System and method for configuring a rule set for medical event management and responses
JP5585109B2 (ja) * 2010-02-10 2014-09-10 ヤマハ株式会社 映像送信装置
US8463849B2 (en) * 2010-03-09 2013-06-11 Samsung Electronics Co., Ltd Method and apparatus for providing broadcast content and system using the same
FR2958482B1 (fr) * 2010-03-31 2012-04-13 Canon Kk Procede de gestion par un dispositif recepteur d'un flux de donnees transmis par un dispositif emetteur, produit programme d'ordinateur, moyen de stockage et dispositif recepteur correspondants
US8356109B2 (en) * 2010-05-13 2013-01-15 Canon Kabushiki Kaisha Network streaming of a video stream over multiple communication channels
EP2388947A1 (en) * 2010-05-20 2011-11-23 Thomson Licensing Method of determination of transmission quality of a communication link and corresponding apparatus
US8510763B2 (en) * 2010-06-14 2013-08-13 Microsoft Corporation Changing streaming media quality level based on current device resource usage
US9628226B2 (en) 2010-09-30 2017-04-18 Qualcomm Incorporated Block acknowledgement with retransmission policy differentiation
US8761147B2 (en) * 2011-01-17 2014-06-24 Texas Instruments Incorporated Selective protection based on sequence numbers in coexisting networks
KR101187530B1 (ko) * 2011-03-02 2012-10-02 한국과학기술원 모노스코픽, 스테레오 스코픽 및 멀티뷰를 위한 렌더링 방법, 시스템 및 이를 위한 기록매체
JP5632319B2 (ja) * 2011-03-29 2014-11-26 京セラ株式会社 基地局
KR20130003544A (ko) * 2011-06-30 2013-01-09 한국전자통신연구원 단말 장치들 사이의 콘텐츠 동기화 방법 및 시스템
CA2852271A1 (en) 2011-10-21 2013-04-25 Hospira, Inc. Medical device update system
TW201415893A (zh) * 2012-06-29 2014-04-16 Vid Scale Inc 以預測資訊為基礎之訊框優先
JP6106851B2 (ja) * 2012-07-09 2017-04-05 パナソニックIpマネジメント株式会社 通信装置、通信方法、プログラム
WO2014138446A1 (en) 2013-03-06 2014-09-12 Hospira,Inc. Medical device communication method
US9603039B2 (en) * 2013-04-03 2017-03-21 Qualcomm Incorporated Opportunistic media patching for a communication session
US20150066531A1 (en) 2013-08-30 2015-03-05 James D. Jacobson System and method of monitoring and managing a remote infusion regimen
US9662436B2 (en) 2013-09-20 2017-05-30 Icu Medical, Inc. Fail-safe drug infusion therapy system
WO2015066836A1 (zh) * 2013-11-05 2015-05-14 华为技术有限公司 视频业务数据传输方法、数据接收装置和数据发送装置
CN103780907B (zh) * 2014-01-27 2018-01-16 浙江宇视科技有限公司 一种视频数据流量整形的方法和装置
CN105100886B (zh) * 2014-04-22 2019-03-15 腾讯科技(北京)有限公司 网络媒介信息的发布控制方法、及装置、服务器和系统
CA2945647C (en) 2014-04-30 2023-08-08 Hospira, Inc. Patient care system with conditional alarm forwarding
US9724470B2 (en) 2014-06-16 2017-08-08 Icu Medical, Inc. System for monitoring and delivering medication to a patient and method of using the same to minimize the risks associated with automated therapy
KR102198701B1 (ko) * 2014-07-03 2021-01-05 삼성전자주식회사 멀티미디어 시스템에서 정보를 송수신하는 방법 및 장치
US9539383B2 (en) 2014-09-15 2017-01-10 Hospira, Inc. System and method that matches delayed infusion auto-programs with manually entered infusion programs and analyzes differences therein
DE102015205478A1 (de) * 2015-03-26 2016-09-29 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Konfiguration einer Übertragungsverbindung
US10152212B2 (en) 2015-04-10 2018-12-11 Sonos, Inc. Media container addition and playback within queue
EP3420658A1 (en) * 2016-02-26 2019-01-02 Net Insight Intellectual Property AB Retransmission of data in packet networks
CN106067847B (zh) * 2016-05-25 2019-10-22 腾讯科技(深圳)有限公司 一种语音数据传输方法及装置
WO2018008237A1 (ja) * 2016-07-07 2018-01-11 ソニー株式会社 無線通信装置
KR102483269B1 (ko) * 2016-08-29 2023-01-02 삼성전자주식회사 서버 장치, 사용자 단말 장치, 그 제어 방법들 및 스트리밍 시스템
WO2020018389A1 (en) 2018-07-17 2020-01-23 Icu Medical, Inc. Systems and methods for facilitating clinical messaging in a network environment
NZ771914A (en) 2018-07-17 2023-04-28 Icu Medical Inc Updating infusion pump drug libraries and operational software in a networked environment
RU2710282C1 (ru) * 2019-04-24 2019-12-25 Федеральное государственное казенное военное образовательное учреждение высшего образования Академия Федеральной службы охраны Российской Федерации Способ передачи данных
CN110851255B (zh) * 2019-11-07 2022-04-15 之江实验室 一种基于终端设备和边缘服务器协同进行视频流处理的方法
CN115001632A (zh) * 2022-06-09 2022-09-02 咪咕文化科技有限公司 一种信息传输方法、装置、电子设备及可读存储介质
US11589104B1 (en) * 2022-06-17 2023-02-21 Userful Corporation Latency compensation for external networks
CN116471425B (zh) * 2023-04-20 2024-02-06 四川康和圣科技有限公司 一种基于大数据分析的多媒体数据管理系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2173355A1 (en) * 1993-06-09 1994-12-22 Andreas Richter Method and apparatus for multiple media digital communication system
JP3870978B2 (ja) * 1994-06-03 2007-01-24 ソニー株式会社 送信装置および送信方法、並びに受信装置および受信方法
JPH0879128A (ja) * 1994-09-02 1996-03-22 Canon Inc スペクトラム拡散無線通信システム
US5768533A (en) * 1995-09-01 1998-06-16 National Semiconductor Corporation Video coding using segmented frames and retransmission to overcome channel errors
US5768527A (en) * 1996-04-23 1998-06-16 Motorola, Inc. Device, system and method of real-time multimedia streaming
US5956729A (en) * 1996-09-06 1999-09-21 Motorola, Inc. Multimedia file, supporting multiple instances of media types, and method for forming same
JPH10126772A (ja) * 1996-10-18 1998-05-15 Chokosoku Network Computer Gijutsu Kenkyusho:Kk 動画像データ転送方法
US5918002A (en) * 1997-03-14 1999-06-29 Microsoft Corporation Selective retransmission for efficient and reliable streaming of multimedia packets in a computer network
JP3516585B2 (ja) * 1997-03-17 2004-04-05 松下電器産業株式会社 データ処理装置及びデータ処理方法
EP1439705A3 (en) * 1997-03-17 2011-09-14 Panasonic Corporation Method and apparatus for processing, transmitting and receiving dynamic image data
US6085253A (en) * 1997-08-01 2000-07-04 United Video Properties, Inc. System and method for transmitting and receiving data
FI108192B (fi) * 1998-03-19 2001-11-30 Nokia Networks Oy Menetelmä ja laitteisto palvelun laadun kontrolloimiseksi matkaviestinjärjestelmässä
JPH11331839A (ja) * 1998-05-13 1999-11-30 Matsushita Electric Ind Co Ltd 映像伝送再送の装置及び方法
US6104757A (en) * 1998-05-15 2000-08-15 North Carolina State University System and method of error control for interactive low-bit rate video transmission
US6400695B1 (en) * 1998-05-22 2002-06-04 Lucent Technologies Inc. Methods and apparatus for retransmission based access priority in a communications system
US6490705B1 (en) * 1998-10-22 2002-12-03 Lucent Technologies Inc. Method and apparatus for receiving MPEG video over the internet
US6587985B1 (en) * 1998-11-30 2003-07-01 Matsushita Electric Industrial Co., Ltd. Data transmission method, data transmission apparatus, data receiving apparatus, and packet data structure
JP2001016276A (ja) * 1999-06-29 2001-01-19 Canon Inc 通信装置、通信方法、記憶媒体及び通信システム
JP2002204220A (ja) * 2000-10-27 2002-07-19 Matsushita Electric Ind Co Ltd 誤り耐性付与・解釈方法および誤り耐性付与・解釈装置

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8737219B2 (en) 2004-01-30 2014-05-27 Hewlett-Packard Development Company, L.P. Methods and systems that use information about data packets to determine an order for sending the data packets
JP2007522727A (ja) * 2004-01-30 2007-08-09 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. データパケットに関する情報を使用してデータパケットの送信順序を決定する方法およびシステム
US10579291B2 (en) 2004-10-12 2020-03-03 Tq Delta, Llc Resource sharing in a telecommunications environment
US9898220B2 (en) 2004-10-12 2018-02-20 Tq Delta, Llc Resource sharing in a telecommunications environment
US9069718B2 (en) 2004-10-12 2015-06-30 Tq Delta, Llc Resource sharing in a telecommunications environment
US11543979B2 (en) 2004-10-12 2023-01-03 Tq Delta, Llc Resource sharing in a telecommunications environment
US9286251B2 (en) 2004-10-12 2016-03-15 Tq Delta, Llc Resource sharing in a telecommunications environment
US11010073B2 (en) 2004-10-12 2021-05-18 Tq Delta, Llc Resource sharing in a telecommunications environment
US9547608B2 (en) 2004-10-12 2017-01-17 Tq Delta, Llc Resource sharing in a telecommunications environment
US10409510B2 (en) 2004-10-12 2019-09-10 Tq Delta, Llc Resource sharing in a telecommunications environment
US10044473B2 (en) 2006-04-12 2018-08-07 Tq Delta, Llc Packet retransmission and memory sharing
JP2014090433A (ja) * 2006-04-12 2014-05-15 Tq Delta Llc パケット再送信ならびにメモリの共有
US9749235B2 (en) 2006-04-12 2017-08-29 Tq Delta, Llc Packet retransmission
US10484140B2 (en) 2006-04-12 2019-11-19 Tq Delta, Llc Packet retransmission and memory sharing
US10498495B2 (en) 2006-04-12 2019-12-03 Tq Delta, Llc Packet retransmission
US10833809B2 (en) 2006-04-12 2020-11-10 Tq Delta, Llc Techniques for packet and message communication in a multicarrier transceiver environment
US9485055B2 (en) 2006-04-12 2016-11-01 Tq Delta, Llc Packet retransmission and memory sharing
US11362765B2 (en) 2006-04-12 2022-06-14 Tq Delta, Llc Packet retransmission using one or more delay requirements
US9094348B2 (en) 2006-04-12 2015-07-28 Tq Delta, Llc Packet retransmission
US12101188B2 (en) 2006-04-12 2024-09-24 Tq Delta, Llc Multicarrier transceiver that includes a retransmission function and an interleaving function
JP2008312125A (ja) * 2007-06-18 2008-12-25 Canon Inc 映像受信装置及び映像受信装置の制御方法

Also Published As

Publication number Publication date
DE60020672D1 (de) 2005-07-14
EP1361690A2 (en) 2003-11-12
EP1130839A1 (en) 2001-09-05
DE60020672T2 (de) 2005-11-10
EP1361690B1 (en) 2006-01-11
US6877038B2 (en) 2005-04-05
EP1130839B1 (en) 2005-06-08
US6792470B2 (en) 2004-09-14
EP1361690A3 (en) 2004-04-07
US20040025184A1 (en) 2004-02-05
US20020004838A1 (en) 2002-01-10
JP4623616B2 (ja) 2011-02-02
US20050144643A1 (en) 2005-06-30
JP3598110B2 (ja) 2004-12-08
JP2001274861A (ja) 2001-10-05

Similar Documents

Publication Publication Date Title
JP3598110B2 (ja) データ伝送方法および装置
US7164680B2 (en) Scheme for supporting real-time packetization and retransmission in rate-based streaming applications
US7315898B2 (en) Data communication system, data transmission apparatus, data reception apparatus, data communication method, and computer program
EP2061174B1 (en) Data communication system, data transmitting device and method, using probe packets and having a transmission buffer control
EP2529528B1 (en) A method and apparatus for parsing a network abstraction-layer for reliable data communication
KR100537499B1 (ko) 전송제어 파라미터 생성방법 및 프레임 특성에 따른선택적 자동 재전송 방법
US8516346B2 (en) Packet transmission apparatus, communication system and program
US7756127B2 (en) Mobile terminal
US20120300663A1 (en) Method and apparatus for retransmission decision making
US9781488B2 (en) Controlled adaptive rate switching system and method for media streaming over IP networks
US20060164987A1 (en) Adaptive dropping of prioritized transmission packets
JP6685621B2 (ja) マルチキャストネットワークにおいてデータの再送を要求すること
JP5084362B2 (ja) データ送信装置、及びデータ送受信システム
US9525874B2 (en) Transmitting apparatus and transmission method
US10230651B2 (en) Effective intra-frame refresh in multimedia communications over packet networks
WO2003032643A2 (en) Video data transmission method and apparatus
CN115834975B (zh) 一种视频传输方法、装置、设备及介质
JP5522987B2 (ja) 送信装置、送信方法、及びコンピュータプログラム
Arefin et al. Modified SACK-TCP and some application level techniques to support real-time application
Sinky Dynamic Methods to Improve Streaming of H. 264 HD Video Over 802.11 Wireless Networks
Bortoleto et al. Large-scale media delivery using a semi-reliable multicast protocol

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040408

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20040408

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20040427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040831

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040910

R150 Certificate of patent or registration of utility model

Ref document number: 3598110

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080917

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080917

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090917

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090917

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100917

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110917

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120917

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130917

Year of fee payment: 9

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees