JP5425397B2 - 適応型前方誤り訂正を行う装置及び方法 - Google Patents

適応型前方誤り訂正を行う装置及び方法 Download PDF

Info

Publication number
JP5425397B2
JP5425397B2 JP2007544325A JP2007544325A JP5425397B2 JP 5425397 B2 JP5425397 B2 JP 5425397B2 JP 2007544325 A JP2007544325 A JP 2007544325A JP 2007544325 A JP2007544325 A JP 2007544325A JP 5425397 B2 JP5425397 B2 JP 5425397B2
Authority
JP
Japan
Prior art keywords
packets
redundant
fec
data
redundant data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007544325A
Other languages
English (en)
Other versions
JP2008522545A (ja
Inventor
イザット,イザット,ヘクマット
コマー,マリー,ラフューズ
スタール,トマス,アンソニー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2008522545A publication Critical patent/JP2008522545A/ja
Application granted granted Critical
Publication of JP5425397B2 publication Critical patent/JP5425397B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding

Description

本出願は、米国仮出願番号60/632489(代理人整理番号PU040331)、2004年12月2日出願、名称「ADAPTIVE FORWARD ERROR CORRECTION (FEC) FOR VIDEO STREAMING OVERWIRELESS NETWORKS」の利益を請求する。当該米国仮出願番号60/632489の全体は、参照されることにより本願明細書に組み込まれる。
本発明は、一般に前方誤り訂正(FEC)に関する。
しばしば、無線ネットワークの誤りレートは、起こり得る多数の大きいパケットの損失/落ちのためビデオアプリケーションには十分でない。落ちた又は損失したパケットは、しばしば回復されない。しかしパケット回復が実施される方式では、パケットは再送信若しくは前方誤り訂正(FEC)、又は両方の組み合わせを用い回復される。FECは、再送信を要求することなく誤りを訂正するために広く用いられている。FECは、不足データを再構成するために受信機により用いられ得る冗長情報を送信することにより、破損した、落ちた、又は損失したパケットに含まれたデータを回復させる。FECは、再送信を行うより速いデータ回復を提供し、及びフィードバックチャンネルを必要としない。静的FEC技術は、多くの研究者により用いられてきたが、FECオーバーヘッドをチャンネル及びネットワーク状態に適合できない。
無線ネットワークでのFECの使用は、無線ビデオアプリケーションの研究の活発な分野である。FECの1つの利点は、マルチキャストと良く連携することである。また、FECはビデオ符号器との相互作用を必要とせず、及び従って如何なるビデオ符号化技術にも、及び蓄積及びライブビデオの両方に適用可能である。しかしながら、静的FECアルゴリズムは、ネットワーク資源と当該アルゴリズムが付加する、無線ネットワークの限定された帯域を消費する冗長量との間の不釣り合いにより性能を低下し得る。
適応型FEC技術は、ネットワーク性能に利益を与えることが示されている。全ての適応型技術は、利用可能なネットワーク帯域を推定するためにフィードバックを必要とし、そして次に当該フィードバックに基づき冗長量を適応する。フィードバックは、リアルタイムコントロールプロトコル(RTCP)レポートのように明示的であって良く、又は無線送信機の低位レイヤーのパケット再送信の使用のように暗黙的であっても良い。一般に、適応機構は、ネットワーク状態が粗悪な場合、送出する冗長パケット数を増大する。ネットワーク状態が満足できる場合、如何なる冗長パケットも送信される必要がなく、又は少数の冗長パケットしか送信される必要がない。従来手法の多くは、ビットレベルのFECを対象とする。
従来技術のこれら及び他の欠点及び不利点は、適応型前方誤り訂正(FEC)を対象とする本発明により解決される。本発明の適応型FECの1つの適用は、無線ネットワークを介するビデオストリーミングである。
適応型FECの装置が提供される。
本発明の別の態様によると、適応型FECの装置が提供される。装置は、FEC符号器及び適応型FEC装置を有する。FEC符号器は、k個のパケットのソースデータをn個のパケットに符号化する。ここでn>kであり、n個のパケットは冗長パケットを有する。適応型FEC装置は、少なくとも1つのフィードバックメッセージに基づき、符号化されたk個のパケットと共に送信する冗長パケットの数を適応して決定する。少なくとも1つのフィードバックメッセージは、FEC符号化パケットが送信されるべきネットワークの条件又は状態を表示して良い。
本発明のこれら及び他の態様、特徴及び利点は、添付の図面と関連して読まれるべき例である実施例の以下の詳細な説明から明らかになるだろう。
本発明は、以下の例である図に従いより良く理解され得る。
本発明は、無線ネットワークを介するビデオストリーミングの好適な実施例における、適応型前方誤り訂正(FEC)を対象とする。本発明は、ネットワーク状態に基づきFEC強度を動的に調整することによりビデオストリーミング性能を向上する適応型FEC方法及び装置を提供する。無線ネットワークを介して送信される冗長パケットの数は、ネットワーク状態に基づき最適化される。フィードバック信号は、送信側にある適応型FEC装置にネットワーク状態を知らせるために用いられる。フィードバック信号は、受信機、中間ノード又は送信機リンク層から生じ得るがこれらに限定されない。ネットワーク状態の監視は、再送信の試みのような送信機の無線ハードウェアからの情報にアクセスすることにより、又はリアルタイムコントロールプロトコル(RTCP)が用いられる場合はRTCPレポートの使用により、送信側において行われ得る。送信側情報の使用は、ネットワーク資源を節約するためにRTCPレポートが頻繁に送出されないので、ネットワーク状態の変化へのより速い応答を提供する。しかしながら、RTCPレポートはより多くの情報を有し、及び利用可能なネットワーク帯域をより正確に推定するために用いられ得る。フィードバックメッセージの組み合わせもまた用いられて良い。ネットワーク状態に基づき、適応型FEC装置は、どれだけ多くの冗長パケットを送出するかを決定する。ネットワーク状態が粗悪である場合、ネットワーク状態良好な場合より多数の冗長パケットが送出される。理解されるべき点は、本発明が、パケットレベル消失FECに関し記載されるが、他の種類のパケットレベルFECもまた本発明の精神及び範囲を維持しつつ、本発明に従い利用されて良いことである。
以下の記載は、本発明の実施例の原理を説明する。従って、当業者は、本願明細書に記載された実施例で明示的に記載されない又は示されないが、本発明の原理を実施し及び本発明の精神及び範囲に包含される、種々の構成を考案し得る。
本願明細書に記載の全ての例及び条件文は、本発明の原理及び従来技術を発展させるため発明者により考案された概念を理解するため読者を支援する教示目的であり、このような特別に記載された例及び条件への限定ではないと見なされるべきである。
更に、原理、態様及び本発明の実施例を記載する本願明細書の全ての文章は、本発明の特定の例と同様に、構造的及び機能的等価物の両者を包含する。更に、このような等価物は、現在知られている等価物、同様に将来開発される等価物、つまり、構造に拘わらず同一機能を実行する如何なる開発された要素も包含する。
従って、例えば、本願明細書に提示されたブロック図は、本発明の原理を実施する説明のための回路の概念図を表すことが、当業者により理解されるだろう。同様に、如何なるフローチャート、フロー図、状態遷移図、擬似コード、等が、実質的にコンピューター読み取り可能な媒体に存在しコンピューター又はプロセッサーが明示的に示されるか否かに拘わらずコンピューター又はプロセッサーにより実行され得る種々の処理を表すことが、理解される。
図中に示された種々の要素の機能は、専用ハードウェア、適切なソフトウェアに関連付けられたソフトウェアを実行可能なハードウェアの利用を通じて提供されて良い。プロセッサーにより提供される場合、機能は、単一の専用プロセッサーにより、単一の共有プロセッサーにより、又は一部が共有され得る複数の個別プロセッサーにより提供されて良い。更に、「プロセッサー」又は「制御部」の語の明示的な使用は、ソフトウェアを実行可能なハードウェアを排除すると見なされるべきではない。また、これらの語の使用は、デジタルシグナルプロセッサー(「DSP」)ハードウェア、ソフトウェアを格納する読み取り専用メモリー(「ROM」)、ランダムアクセスメモリー(「RAM」)、及び不揮発性記憶を含むが、これらに限定されない。
従来の及び/又は慣習の他のハードウェアもまた、包含される。同様に、図中に示される如何なるスイッチも概念的なものである。それらの機能は、プログラムロジックを通じ、専用ロジックを通じ、プログラム制御及び専用ロジックの相互作用を通じ、又は手動で実施されても良い。個々の技術は、文脈から更に理解されるように、実施者により選択可能である。
本願明細書の請求項では、特定の機能を実行する手段として表現された如何なる要素も、以下の(a)、(b)を含む当該機能を実行する如何なる方法も包含するものとする。例えば(a)当該機能を実行する回路素子の組み合わせ、又は(b)当該機能を実行するために当該ソフトウェアを実行する適切な回路と結合された如何なる形式のソフトウェア、従ってファームウェア、マイクロコード、等を包含する。このような請求項により定められた本発明は、種々の記載された手段により提供される機能が、組み合わされ及び請求項が請求する方法と共に実施されるという事実に基づく。出願人は、従って、これら機能を提供し得る如何なる手段も、本願明細書に示される物の等価物として考える。
パケットレベル消失FECは、無線接続の信頼性を向上するために用いられる。消失は、誤りの正確な位置が知られているので、扱いがより容易である。(n,k)消失FEC方式は、k個のソースパケットをn個(n>k)のパケットに符号化する。符号化は、k個のパケットを有する如何なるサブセットもソースデータを再構成するために十分なものである。
図1を参照すると、例である符号化/復号化FEC処理は、一般に参照番号100により示される。ソースパケット(k個の元のパケット)110は、符号器120へ入力される。そしてn個のパケット130は、符号器120により出力される。n個のパケット130は、k個のパケット131に対応する符号化データと共に、冗長パケット132(つまり図1の影付きブロック)を有する。多数のFECパケットの差し込みは、多数のFECブロックに亘り誤り訂正性能を向上するために用いられて良い。復号器140は、n個のパケット(元のk個のパケット110及び冗長パケットを有する)を復号化し、再構成データ150(元のk個のパケット110と同一である)を得る。
無線ネットワークのパケット損失レートは、時間、ネットワーク状態、ネットワーク負荷、等と共に変動する。従って、適応型前方誤り訂正制御方式は、チャンネルを介し送信される冗長量を調整するために非常に有用である。フィードバックに基づく適応型前方誤り訂正方法及び装置が提供される。ネットワーク状態良好な場合、多数の冗長パケットを送出する必要はない。対照的に、パケット落ちレートが高い(所定の閾より上である)場合、より多くの冗長パケットが送信される。
図2を参照すると、標準的な無線ビデオシステムアーキテクチャは、一般に参照番号200により示される。送信側(要素(205、210、215、220、225及び230)を有する)は、蓄積又はライブコンテンツであって良いFEC保護されたビデオソースである。無線ビデオシステムアーキテクチャ200は、FEC符号器210の入力と信号通信で接続された出力を有するビデオストアを有する。選択的に、ビデオ符号器220の入力と信号通信で接続された出力を有するビデオキャプチャーユニット215は、ビデオストア205の代わりに用いられて良い。ビデオ符号器220はまた、FEC符号器210の入力と信号通信で接続された出力を有する。FEC符号器210の出力は、バッファー225の第1の入力と信号通信で接続される。バッファー225の出力は、無線ネットワークインターフェース230の入力と信号通信で接続される。無線ネットワークインターフェース230の第1の出力は、無線接続(本願明細書で「無線ネットワーク」としても参照される)235と信号通信で接続される。適応型FEC装置240の第1及び第2の入力は、それぞれ無線ネットワークインターフェース230の第2の出力及び無線接続235と信号通信で接続される。FEC装置240の出力は、バッファー225の第2の入力と信号通信で接続される。受信機245は、無線接続235と信号通信で接続される。
送信側のFEC符号器210は、パケットを符号化する。各パケットは、整数個のマクロブロックを有し、及び固定数のバイトを有する。送信側は次に、ビデオデータが無線ネットワークインターフェース230を介し無線ネットワーク235へ渡される前に、ビデオデータをリアルタイムプロトコル/ユーザーデータグラムプロトコル(RTP/UDP)でパックする。
送信側は、休みなく元のパケットを全て送信する。適応型FECブロックは、1つ以上のフィードバックメッセージ(以後、「フィードバックメッセージ」)に基づき送出する冗長パケットの数を決定する。フィードバックメッセージは、受信側から生じ得る。そしてフィードバックメッセージは送信機へRTCPを介し送信されるか、又は送信機の無線再送信情報から得られ得る。無線再送信情報は、パケットが再送信された回数を測定し、及びネットワーク状態の指標として用いられ得る。効果的な適応型手法は、両方の情報をRTCPと共に用い、より長期的観点のネットワーク状態を提供する。同時に送信側情報は、ネットワーク状態への迅速な適応行うために用いられ得る。
適応型FEC装置240は、フィードバックメッセージに基づき送出するパケットの数を決定する。多くの代案の技術は、送出するパケットの品質を決定するために用いられ得る。例えば、本発明のある実施例は、増大/減少関数を利用する。この実施例の原理によると、「満足できる」フィードバックメッセージは、送出する冗長パケットを1乃至0だけ減少する。その他の場合、冗長パケットの数は、1乃至(n−k)個のパケットだけ増加される。良好な適応レートを有するため、大きな値のn−kが用いられるべきである。
別の代案の実施例では、調整は、RTCP受信機レポートを用い行われて良い。特に、部分的損失及び損失パケット累積数RTCP受信機レポートフィールドは、調整に用いられ得る。これらのフィールドは、それぞれ最後の受信機レポート以来の損失パケット数、及び送信の開始以来の損失パケット総数を表す。
多くの実際の802.11無線ローカルエリアネットワーク(WLAN)接続では、実際のスループットは、ある点で及びある場合に一定に安定し、実際には送出装置が当該接続を通じてより多くのデータを転送しようとするので、低下する。これは図3に図示される。図3では、WLAN接続の受信ビットレート対提供送信レートの曲線が、一般に参照番号300により示される。
ビデオ送信機(無線ネットワークインターフェース230に含まれる)が、提供送信レートの増大につれ受信レートが増大するレートでデータを送出している場合、FECは実際の受信情報量を向上するだろう。しかしながら、ビデオ送信機が平坦、又は更に悪くは減少している曲線部分で動作している時、より多くのデータを送出しようとする場合、FECは役に立たず、及び実際の受信ビデオ情報を少なくさせ得る。この理由のため、ビデオ送信機では、ビデオ送信機が実際に図3の曲線のどの部分で動作しているかに関する知識を有することが重要である。ビデオ送信機が曲線の減少部分で動作している場合、ビデオ送信機は、FECデータの量を増加すべきでなく、及びある他の方法で(例えばビットレートを低下させ)性能を向上し、従って動作が曲線の増加部分に達するよう試みるべきである。ビデオ送信機が既に曲線の増加部分で動作している場合、ビデオ送信機は、追加FEC情報を良好な結果に追加し得る。
ビデオ送信機が曲線の何処にあるかを知るある方法は、受信機245からのフィードバック(例えばRTCPレポート)又は無線送信機再送信情報を用いることである。FECが付加されて、ビデオ送信機245がより低いパケットレートを受信する場合、送信機は曲線の減少部分で動作している。FECが付加されて、ビデオ送信機245がより高いパケットレートを受信する場合、送信機は曲線の増加部分で動作している。この情報は、ビデオ送信機があるフィードバック経路を通じて落ちたパケットに関する情報を既に受信していた場合、ビデオ送信機で既に利用可能である。代案として、無線送信機からの媒体アクセス制御(MAC)レベル再送信情報は、既に記載されたように、落ちたパケットの数を推定するために用いられ得る。
図4を参照すると、無線ネットワークを介するビデオストリーミングのための適応型FEC方法は、一般に参照番号400により示される。
機能ブロック405は、ビデオストリームを符号化し、固定サイズのビデオパケット(例えばMPEG2トランスポートパケット)を生成し、そして機能ブロック410へ制御を渡す。機能ブロック405において、送出する冗長パケットの数(以後、変数「X」としても表される)は、ゼロ(0)に等しい。
機能ブロック410は、消失コードFECを用いkソースパケット毎に符号化し、(n−k)個の冗長パケットを有するn個のパケットを生成し、そして次に機能ブロック415へ制御を渡す。機能ブロック415は、最初のk個のソースパケットを送出し、そして決定ブロック420へ制御を渡す。決定ブロック420は、ネットワーク状態を測定し及び決定する。ネットワーク状態が良好である(つまり、所定の閾より上である)場合、制御は機能ブロック425へ渡る。その他、ネットワーク状態が粗悪である(つまり、所定の閾より下である)場合、制御は決定ブロック430へ渡る。
機能ブロック425は、X=max{X−1,0}個の冗長パケットを送出し、そして機能ブロック410へ制御を戻す。つまり、機能ブロック425は、前に送出された数より1個少ない冗長パケットを、ゼロ個の冗長パケットを下限として、送出する。決定ブロック430は、受信ビットレート対提供送信レート(図3に示される曲線)に関し、ビデオ送信機の動作領域を決定する。特に、決定ブロック430は、送信機が図3の曲線の増加領域で動作しているか、又は曲線の非増加領域で動作しているかを決定する。送信機が曲線の非増加領域で動作している場合、制御は決定ブロック440へ渡り、X個の冗長パケットを送出する。そして制御は、機能ブロック410へ戻る。その他、送信機が曲線の増加領域で動作している場合、制御は機能ブロック450へ渡り、X=min{X+1,n−k}個の冗長パケットを送出する。そして制御は、機能ブロック410へ戻る。つまり、機能ブロック450は、前に送出された数より1個多い冗長パケットを、(n−k)個の冗長パケットを上限として、送出する。機能ブロック425、440及び450により機能ブロック410へ戻ることは、ネットワーク状態に基づき送出される冗長パケットの数を適応可能にする。
本発明のこれら及び他の特徴及び利点は、本願明細書の教示に基づき、当業者により直ちに解明され得る。本発明の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途プロセッサー、又はそれらの組合せの種々の形式で実施され得ることが理解される。
最も好ましくは、本発明の教示は、ハードウェア及びソフトウェアの組合せとして実施される。更に、ソフトウェアは、望ましくは、プログラム格納装置に明白に組み込まれたアプリケーションプログラムとして実施される。アプリケーションプログラムは、如何なる適切なアーキテクチャを有する機械にアップロードされ、そして実行されて良い。望ましくは、機械は、1つ以上の中央演算処理装置(「CPU」)、ランダムアクセスメモリー(「RAM」)、及び入力/出力(「I/O」)インターフェースのようなハードウェアを有するコンピュータープラットフォームに実施される。コンピュータープラットフォームはまた、オペレーティングシステム及びマイクロ命令コードを有して良い。本願明細書に記載された種々の処理及び機能は、マイクロ命令コードの一部又はアプリケーションプログラムの一部、又はCPUにより実行され得るそれらの如何なる組合せの何れであって良い。更に、追加データ格納装置及び印刷装置のような種々の他の周辺装置は、コンピュータープラットフォームに接続されて良い。
システムを構成する構成要素のいくつか及び図面に示された方法は、望ましくは、ソフトウェアで実施され、システム構成要素間又は処理機能ブロック間の実際の接続は、本発明がプログラムされる方法に依存して異なり得ることが、更に理解される。本願明細書の教示により、当業者は、本発明のこれら及び同様の実施又は構成を実施可能である。
本願明細書では、説明のための実施例が図を参照して記載されたが、本発明は、これら詳細な実施例に限定されず、及び種々の変化及び変更が、本発明の範囲又は精神から逸脱することなく、当業者によりなされ得ることが理解される。全ての変化及び変更は、特許請求の範囲で定められた本発明の範囲に包含される。
本発明が適用され得る例である符号化/復号化前方誤り訂正(FEC)処理の図を示す。 本発明が適用され得る標準的な無線ビデオシステムアーキテクチャの図を示す。 WLAN接続の受信ビットレート対提供送信レートの曲線を示す。 本発明の原理による、無線ネットワークを介するビデオストリーミングのための適応型FECの方法のフロー図を示す。

Claims (21)

  1. n>kであり、ソースデータのk個のパケットを、冗長データを含むn個のパケットの符号化冗長データに符号化する前方誤り訂正符号器と、
    前記冗長データの量を長期的な観点からネットワークの状態に適合させる場合には受信機からのフィードバックメッセージであるRTCPレポートを利用し、前記冗長データの量を迅速な観点からネットワークの状態に適合させる場合には前記RTCPレポートに係るレイヤーよりも低位のレイヤーに係る再送信情報を利用することで、増加又は減少する関数に基づいて、(n−k)個のうち送信対象とする冗長パケットの数を徐々に増減し、適応化を行うFEC適応型装置と
    を有する送信側の装置。
  2. 前記フィードバックメッセージは、前記符号化冗長データが送信されるネットワークの状態を表す、請求項1記載の装置。
  3. 前記ネットワークは、無線ネットワークである、請求項2記載の装置。
  4. 前記FEC適応型装置は、前記フィードバックメッセージが良好な状態の前記無線ネットワークを示す場合、前記冗長データとなる冗長パケットの数をゼロを最小として1つだけ減らす、請求項3記載の装置。
  5. 前記FEC適応型装置は、前記フィードバックメッセージが良好でない状態の前記無線ネットワークを示す場合、前記冗長データとなる冗長パケットの数を(n−k)を最大として1つだけ増やす、請求項3記載の装置。
  6. 前記ソースデータの前記k個のパケットは、少なくとも一部に、ビデオストリーミングデータを有する、請求項2記載の装置。
  7. 前記RTCPレポートは、損失したパケット部分及び損失したパケットの累積数を特定する、請求項1記載の装置。
  8. 前記ネットワークの状態は、実際に受信したビットレート提案される送信ビットレートに基づいており、かつ所定の閾値比較れる、請求項2記載の装置。
  9. 前記FEC適応型装置は、前記実際の受信ビットレート及び前記提案される送信ビットレートの両方が増加している場合、前記冗長データとして送信する冗長パケットの数を増やす、請求項8記載の装置。
  10. 前記RTCPレポートに係るレイヤーよりも低位のレイヤーが、MACレイヤーである、請求項1記載の装置。
  11. 前記前方誤り訂正符号器は、消失パケットレベルFECを用いて前記k個のパケットのソースデータを符号化する、請求項1記載の装置。
  12. ソースデータのk個のパケットを、冗長データを含むn個のパケットの符号化冗長データに符号化することで(n>k)、無線ネットワークを介するビデオストリーミングの適応型前方誤り訂正(FEC)を行うために送信側の装置が行う方法であって、
    前記冗長データの量を長期的な観点から無線ネットワークの状態に適合させる場合には受信機からのフィードバックメッセージであるRTCPレポートを利用し、前記冗長データの量を迅速な観点から無線ネットワークの状態に適合させる場合には前記RTCPレポートに係るレイヤーよりも低位のレイヤーに係る再送信情報を利用することで、増加又は減少する関数に基づいて、(n−k)個のうち送信対象とする冗長パケットの数を徐々に増減し、FEC適応型装置により適応化を行う段階
    を有する方法。
  13. 前記適応化を行う段階において、前記フィードバックメッセージが良好な状態の前記無線ネットワークを示す場合、前記冗長データとなる冗長パケットの数をゼロを最小として1つだけ減らす、請求項12記載の方法。
  14. 前記適応化を行う段階において、前記フィードバックメッセージが良好でない状態の前記無線ネットワークを示す場合、前記冗長データとなる冗長パケットの数を(n−k)を最大として1つだけ増やす、請求項12記載の方法。
  15. 前記RTCPレポートは、損失したパケット部分及び損失したパケットの累積数を特定する、請求項12記載の方法。
  16. 前記ネットワークの状態は、実際に受信したビットレート提案される送信ビットレート基づいており、かつ所定の閾値比較れる、請求項12記載の方法。
  17. 前記適応化を行う段階において、前記実際の受信ビットレート及び前記提案される送信ビットレートの両方が増加している場合、前記冗長データとして送信する冗長パケットの数を増やす、請求項16記載の方法。
  18. 前記RTCPレポートに係るレイヤーよりも低位のレイヤーが、MACレイヤーである、請求項12記載の方法。
  19. 前記適応化を行う段階において、前記符号化されたn個のパケットが送信された場合より低いパケットレートが受信された場合、前記冗長データとして送信する冗長パケットの数を増加させることを禁止する、請求項12記載の方法。
  20. 前記適応化を行う段階において、前記符号化されたn個のパケットが送信された場合より低いパケットレートが受信された場合、前記冗長データとして送信する冗長パケットの数を減らす、請求項19記載の方法。
  21. 前記n個のパケットの符号化冗長データに符号化する場合において、消失パケットレベルFECを用いて前記k個のパケットのソースデータを符号化する、請求項12記載の方法。
JP2007544325A 2004-12-02 2005-06-14 適応型前方誤り訂正を行う装置及び方法 Expired - Fee Related JP5425397B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US63248904P 2004-12-02 2004-12-02
US60/632,489 2004-12-02
PCT/US2005/020928 WO2006060036A1 (en) 2004-12-02 2005-06-14 Adaptive forward error correction

Publications (2)

Publication Number Publication Date
JP2008522545A JP2008522545A (ja) 2008-06-26
JP5425397B2 true JP5425397B2 (ja) 2014-02-26

Family

ID=34979657

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007544325A Expired - Fee Related JP5425397B2 (ja) 2004-12-02 2005-06-14 適応型前方誤り訂正を行う装置及び方法

Country Status (6)

Country Link
US (1) US8015474B2 (ja)
EP (1) EP1817859A1 (ja)
JP (1) JP5425397B2 (ja)
CN (1) CN101061659B (ja)
BR (1) BRPI0516632A (ja)
WO (1) WO2006060036A1 (ja)

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
EP1552617A2 (en) 2002-10-05 2005-07-13 Digital Fountain, Inc. Systematic encoding and decoding of chain reaction codes
CN1954501B (zh) 2003-10-06 2010-06-16 数字方敦股份有限公司 通过通信信道接收从源发射的数据的方法
JP4971144B2 (ja) 2004-05-07 2012-07-11 デジタル ファウンテン, インコーポレイテッド ファイルダウンロードおよびストリーミングのシステム
US7953114B2 (en) * 2004-08-06 2011-05-31 Ipeak Networks Incorporated System and method for achieving accelerated throughput
US7721184B2 (en) * 2004-08-11 2010-05-18 Digital Fountain, Inc. Method and apparatus for fast encoding of data symbols according to half-weight codes
JP2009504084A (ja) * 2005-08-04 2009-01-29 トムソン ライセンシング 適応的ビデオ配信のためのフィードバックコントロール
US20070106782A1 (en) * 2005-11-10 2007-05-10 Scientific-Atlanta, Inc. Bandwidth management in each network device in a switched digital video environment
US7742407B2 (en) * 2005-11-10 2010-06-22 Scientific-Atlanta, Llc Quality of service management in a switched digital video environment
US20070107024A1 (en) * 2005-11-10 2007-05-10 Scientific-Atlanta, Inc. Atomic channel changes in a switched digital video system
US8099756B2 (en) * 2005-11-10 2012-01-17 Versteeg William C Channel changes between services with differing bandwidth in a switched digital video system
US7873760B2 (en) 2005-11-11 2011-01-18 Versteeg William C Expedited digital signal decoding
KR101292851B1 (ko) 2006-02-13 2013-08-02 디지털 파운튼, 인크. 가변적 fec 오버헤드 및 보호 구간을 이용하는 스트리밍및 버퍼링
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
US7971129B2 (en) 2006-05-10 2011-06-28 Digital Fountain, Inc. Code generator and decoder for communications systems operating using hybrid codes to allow for multiple efficient users of the communications systems
US9178535B2 (en) * 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US20080022320A1 (en) * 2006-06-30 2008-01-24 Scientific-Atlanta, Inc. Systems and Methods of Synchronizing Media Streams
US7725797B2 (en) 2006-07-07 2010-05-25 Scientific-Atlanta, Llc Buffer for storing data and forward error correction (FEC)
US7774672B2 (en) 2006-07-07 2010-08-10 Scientific-Atlanta, Llc Requesting additional forward error correction
US7877660B2 (en) * 2006-07-07 2011-01-25 Ver Steeg William C Transmitting additional forward error correction (FEC) upon request
US7899046B2 (en) * 2006-07-07 2011-03-01 Ver Steeg William C Determining strategy for multicast and/or unicast transmission to correct forward errors
CN101163139B (zh) * 2006-10-11 2010-12-15 国际商业机器公司 拒绝冗余重传的sip消息的方法和设备
US7870465B2 (en) 2006-10-18 2011-01-11 Versteeg William C Reducing channel-change time
CN1937631B (zh) * 2006-10-24 2010-12-08 杭州华三通信技术有限公司 用户数据报协议报文的处理方法及装置
KR20080052043A (ko) * 2006-12-07 2008-06-11 삼성전자주식회사 Av 데이터 스트리밍 방법 및 장치
US20080244667A1 (en) * 2007-03-27 2008-10-02 Osborne Jason C Bandwidth sensitive switched digital video content delivery
US8370889B2 (en) * 2007-03-28 2013-02-05 Kanthimathi Gayatri Sukumar Switched digital video client reverse channel traffic reduction
CN100592670C (zh) * 2007-04-02 2010-02-24 Ut斯达康通讯有限公司 一种在iptv网络中动态自适应前向差错控制的系统及方法
US7930616B2 (en) * 2007-04-12 2011-04-19 Cisco Technology, Inc. Variable forward error correction for optical communication links
US8819110B2 (en) 2007-04-16 2014-08-26 Blackberry Limited System and method for real-time data transmission using adaptive time compression
EP1983675A1 (en) 2007-04-16 2008-10-22 Research In Motion Limited System and method for real-time data transmission using adaptive time compression
EP2019522B1 (en) * 2007-07-23 2018-08-15 Polycom, Inc. Apparatus and method for lost packet recovery with congestion avoidance
US8832766B2 (en) 2007-07-27 2014-09-09 William C. Versteeg Systems and methods of differentiated channel change behavior
US8776160B2 (en) * 2007-07-27 2014-07-08 William C. Versteeg Systems and methods of differentiated requests for network access
JP5075536B2 (ja) * 2007-09-03 2012-11-21 株式会社東芝 Fec送信処理装置、ならびにfec送信処理のための方法およびプログラム
JP5027305B2 (ja) 2007-09-12 2012-09-19 デジタル ファウンテン, インコーポレイテッド 信頼できる通信を可能にするためのソース識別情報の生成および伝達
CN101123588B (zh) * 2007-09-14 2013-01-23 华为技术有限公司 控制冗余数据包传输的方法、媒体网关及系统
CN101662455A (zh) 2008-08-29 2010-03-03 深圳华为通信技术有限公司 数据传输的方法和装置
US8352992B1 (en) * 2008-10-09 2013-01-08 Hewlett-Packard Development Company, L.P. Wireless media streaming
CN101742334B (zh) * 2008-11-10 2013-04-24 华为技术有限公司 修复视频数据流的方法、设备及视频传输系统
US9281847B2 (en) 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
WO2010147263A1 (en) * 2009-06-16 2010-12-23 Lg Electronics Inc. Method of exchanging messages, sink device and source device
WO2010147264A1 (en) * 2009-06-16 2010-12-23 Lg Electronics Inc. Method of exchanging messages and transmitting and receiving devices
WO2010147276A1 (en) * 2009-06-16 2010-12-23 Lg Electronics Inc. Method of controlling devices and tuner device
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
CN102082624A (zh) * 2009-11-26 2011-06-01 中国电信股份有限公司 WiFi编码优化方法及系统
US8856623B1 (en) * 2009-12-29 2014-10-07 F5 Networks, Inc. Methods for implementing adaptive forward error correction and systems thereof
JP5553663B2 (ja) * 2010-03-31 2014-07-16 日立コンシューマエレクトロニクス株式会社 映像送信装置、映像受信装置、映像伝送システム
US20110310980A1 (en) * 2010-06-22 2011-12-22 Qualcomm Mems Technologies, Inc. Apparatus and methods for processing frames of video data across a display interface using a block-based encoding scheme and a tag id
US9049497B2 (en) 2010-06-29 2015-06-02 Qualcomm Incorporated Signaling random access points for streaming video data
US8918533B2 (en) 2010-07-13 2014-12-23 Qualcomm Incorporated Video switching for streaming video data
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9319448B2 (en) 2010-08-10 2016-04-19 Qualcomm Incorporated Trick modes for network streaming of coded multimedia data
US8838680B1 (en) 2011-02-08 2014-09-16 Google Inc. Buffer objects for web-based configurable pipeline media processing
US8958375B2 (en) 2011-02-11 2015-02-17 Qualcomm Incorporated Framing for an improved radio link protocol including FEC
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
US8681866B1 (en) 2011-04-28 2014-03-25 Google Inc. Method and apparatus for encoding video by downsampling frame resolution
US9106787B1 (en) 2011-05-09 2015-08-11 Google Inc. Apparatus and method for media transmission bandwidth control using bandwidth estimation
US10498359B2 (en) 2011-07-14 2019-12-03 Microsoft Technology Licensing, Llc Correction data
US8707141B1 (en) * 2011-08-02 2014-04-22 Cisco Technology, Inc. Joint optimization of packetization and error correction for video communication
CN102300076B (zh) * 2011-08-26 2017-12-05 中兴通讯股份有限公司 会议电视终端动态丢包补偿的方法及会议电视终端
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US8856624B1 (en) 2011-10-27 2014-10-07 Google Inc. Method and apparatus for dynamically generating error correction
US9490850B1 (en) 2011-11-28 2016-11-08 Google Inc. Method and apparatus for decoding packetized data
US9612902B2 (en) 2012-03-12 2017-04-04 Tvu Networks Corporation Methods and apparatus for maximum utilization of a dynamic varying digital data channel
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
CN103368865B (zh) * 2012-04-09 2016-06-29 深圳大学 基于多网络访问接口的自适应通信方法及系统
US9185429B1 (en) 2012-04-30 2015-11-10 Google Inc. Video encoding and decoding using un-equal error protection
US10034023B1 (en) 2012-07-30 2018-07-24 Google Llc Extended protection of digital video streams
US9172740B1 (en) 2013-01-15 2015-10-27 Google Inc. Adjustable buffer remote access
US9311692B1 (en) 2013-01-25 2016-04-12 Google Inc. Scalable buffer remote access
US9225979B1 (en) 2013-01-30 2015-12-29 Google Inc. Remote access encoding
CN105103500A (zh) * 2013-03-20 2015-11-25 富士通株式会社 通信方法、通信装置以及通信程序
EP2827522A1 (en) * 2013-07-15 2015-01-21 Alcatel Lucent Method for a first network node for transmitting or retransmitting data to a second network node and first network node thereof and method for a second network node for receiving data transmitted or retransmitted from a first network node and second network node thereof
CN104348577B (zh) * 2013-08-01 2019-01-08 波利康公司 用于编码多媒体数据的设备和方法
CN103716718B (zh) * 2013-12-16 2017-03-01 广州华多网络科技有限公司 数据包的传输方法及装置
US10104016B2 (en) 2014-12-12 2018-10-16 Hitachi, Ltd. Communication device, communication device system, and communication method
CN105791739B (zh) * 2014-12-23 2019-06-14 中国移动通信集团公司 视频会话协商方法及装置
US10834065B1 (en) 2015-03-31 2020-11-10 F5 Networks, Inc. Methods for SSL protected NTLM re-authentication and devices thereof
KR101701623B1 (ko) * 2015-07-09 2017-02-13 라인 가부시키가이샤 VoIP 통화음성 대역폭 감소를 은닉하는 시스템 및 방법
US10142049B2 (en) 2015-10-10 2018-11-27 Dolby Laboratories Licensing Corporation Near optimal forward error correction system and method
US10404698B1 (en) 2016-01-15 2019-09-03 F5 Networks, Inc. Methods for adaptive organization of web application access points in webtops and devices thereof
CN107196746B (zh) * 2016-03-15 2020-11-27 中兴通讯股份有限公司 实时通信中的抗丢包方法、装置和系统
CN112218172B (zh) * 2016-04-22 2022-06-10 华为技术有限公司 码流传输方法、装置及网络摄像头
CN107483144B (zh) * 2016-06-07 2021-11-23 中兴通讯股份有限公司 前向纠错反馈信息传输方法、装置
CN107634908B (zh) * 2016-07-19 2021-06-08 华为技术有限公司 一种数据传输的方法和设备
US10447430B2 (en) * 2016-08-01 2019-10-15 Sony Interactive Entertainment LLC Forward error correction for streaming data
CN107682112A (zh) * 2017-08-24 2018-02-09 郑州云海信息技术有限公司 一种以太网数据传输的控制方法
CN109524015B (zh) * 2017-09-18 2022-04-15 杭州海康威视数字技术股份有限公司 音频编码方法、解码方法、装置及音频编解码系统
CN111385055B (zh) * 2018-12-27 2023-03-24 杭州海康威视数字技术股份有限公司 一种数据传输方法和装置
CN110299963A (zh) * 2019-06-05 2019-10-01 西安万像电子科技有限公司 数据处理方法及装置
CN114793482A (zh) * 2019-12-05 2022-07-26 索尼集团公司 接收终端和方法
CN113438055B (zh) * 2021-06-24 2022-04-08 西安电子科技大学 基于不等冗余插入的卷积网络编码传输方法
CN114039703B (zh) * 2021-11-26 2023-10-20 北京字节跳动网络技术有限公司 数据传输方法、装置、设备和介质
CN114448569A (zh) * 2022-01-27 2022-05-06 阿里巴巴(中国)有限公司 数据传输方法、设备及计算机存储介质
CN114900716B (zh) * 2022-05-11 2023-09-26 中国电信股份有限公司 云视频数据的传输方法、云平台、云终端及介质
CN115189810B (zh) * 2022-07-07 2024-04-16 福州大学 一种面向低时延实时视频fec编码传输控制方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07336331A (ja) 1994-06-09 1995-12-22 Canon Inc デジタル無線通信システム
US5600663A (en) * 1994-11-16 1997-02-04 Lucent Technologies Inc. Adaptive forward error correction system
US5699365A (en) * 1996-03-27 1997-12-16 Motorola, Inc. Apparatus and method for adaptive forward error correction in data communications
US6145109A (en) * 1997-12-12 2000-11-07 3Com Corporation Forward error correction system for packet based real time media
US6141788A (en) * 1998-03-13 2000-10-31 Lucent Technologies Inc. Method and apparatus for forward error correction in packet networks
US6865233B1 (en) * 1999-02-19 2005-03-08 Telefonaktiebolaget Lm Ericsson (Publ) Method and system for control signalling enabling flexible link adaptation in a radiocommunication system
JP2001045098A (ja) 1999-05-26 2001-02-16 Canon Inc データ通信システム、データ通信装置、データ通信方法及び記憶媒体
JP4101993B2 (ja) 1999-12-03 2008-06-18 三菱電機株式会社 有線無線混在網データ配信装置及び有線無線混在網データ配信方法
JP3841256B2 (ja) * 2000-02-15 2006-11-01 三菱電機株式会社 通信システム及び通信方法及び送信端末
EP1241837B1 (en) * 2000-08-24 2018-02-28 Panasonic Intellectual Property Corporation of America Transmitting/receiving method and device therefor
JP3769468B2 (ja) 2001-03-21 2006-04-26 株式会社エヌ・ティ・ティ・ドコモ 通信品質制御方法、通信品質制御システム、パケット解析装置及びデータ送信端末装置
US20030039226A1 (en) * 2001-08-24 2003-02-27 Kwak Joseph A. Physical layer automatic repeat request (ARQ)
JP4198921B2 (ja) * 2002-02-28 2008-12-17 株式会社エヌ・ティ・ティ・ドコモ 適応無線パラメータ制御方法、QoS制御装置、基地局及び無線通信システム
JP4173755B2 (ja) * 2003-03-24 2008-10-29 富士通株式会社 データ伝送サーバ
US20050009523A1 (en) * 2003-07-07 2005-01-13 Nokia Corporation Protocol using forward error correction to improve handover
US7328393B2 (en) * 2004-04-13 2008-02-05 Cisco Technology, Inc. Forward error correction in packet networks

Also Published As

Publication number Publication date
EP1817859A1 (en) 2007-08-15
US20080134005A1 (en) 2008-06-05
WO2006060036A1 (en) 2006-06-08
US8015474B2 (en) 2011-09-06
CN101061659A (zh) 2007-10-24
JP2008522545A (ja) 2008-06-26
BRPI0516632A (pt) 2008-09-16
CN101061659B (zh) 2015-04-29

Similar Documents

Publication Publication Date Title
JP5425397B2 (ja) 適応型前方誤り訂正を行う装置及び方法
US8996946B2 (en) Application of fountain forward error correction codes in multi-link multi-path mobile networks
US8537675B2 (en) Loss tolerant transmission control protocol
KR101571145B1 (ko) 무선 근거리 네트워크들에서의 신뢰 가능한 멀티캐스트를 위해 병합된 자동 반복 요청으로 적응 순방향 에러 정정을 하기 위한 방법 및 장치
US8495474B2 (en) Method and system for data transmission in a data network
US9413494B2 (en) FEC-based reliable transport control protocols for multipath streaming
JP4368863B2 (ja) 損失耐性のある伝送制御プロトコル
US20130246876A1 (en) Method and Arrangement for Retransmission Control
JP2005198191A (ja) 伝送装置、伝送制御プログラム、及び伝送方法
KR20040023568A (ko) 패킷 기반 통신 시스템을 위한 순방향 에러 보정 시스템및 방법
US8127196B2 (en) Server and client for determining error restoration according to image data transmission, and method of determining error restoration according to image data transmission
KR102002939B1 (ko) 주문형 파일 복구 방법 및 시스템
JP5236735B2 (ja) 送信機及び受信機間の改良されたデータ構造境界同期
Tsai et al. Dynamical combination of byte level and sub-packet level FEC in HARQ mechanism to reduce error recovery overhead on video streaming over wireless networks
Zhai et al. Joint source-channel coding and power adaptation for energy efficient wireless video communications
Tong et al. Adaptation of near-perfect packet-level FEC interleaving in mobile media streaming
Moon et al. Network-adaptive transport error control for video streaming over IEEE 802.11 b WLAN
Chong et al. Network coding/ARQ hybrid adaptive error-control scheme for video transmission over wireless network
Panahi Multipath Local Error Management Technique Over Ad Hoc Networks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110405

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110630

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110707

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120214

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120511

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120518

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120814

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130508

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130611

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131015

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131127

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5425397

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees