JP2014239285A - データ伝送装置及び方法 - Google Patents

データ伝送装置及び方法 Download PDF

Info

Publication number
JP2014239285A
JP2014239285A JP2013119769A JP2013119769A JP2014239285A JP 2014239285 A JP2014239285 A JP 2014239285A JP 2013119769 A JP2013119769 A JP 2013119769A JP 2013119769 A JP2013119769 A JP 2013119769A JP 2014239285 A JP2014239285 A JP 2014239285A
Authority
JP
Japan
Prior art keywords
packet
transmission
packet loss
rate
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013119769A
Other languages
English (en)
Other versions
JP5600774B1 (ja
Inventor
匡彦 北村
Tadahiko Kitamura
匡彦 北村
藤井 竜也
Tatsuya Fujii
竜也 藤井
博之 君山
Hiroyuki Kimiyama
博之 君山
毅 小倉
Takeshi Ogura
毅 小倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2013119769A priority Critical patent/JP5600774B1/ja
Application granted granted Critical
Publication of JP5600774B1 publication Critical patent/JP5600774B1/ja
Publication of JP2014239285A publication Critical patent/JP2014239285A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Error Detection And Correction (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

【課題】 実時間での復号処理時間を推定し、任意の符号化率、パケット消失率、符号長等の最適なパラメタを求め、復号時間を求める。
【解決手段】本発明は、検査行列を用いて伝送データを符号化し、所定のレートで伝送パケットを送出する送信器と、ネットワークと接続され、伝送パケットを受信し、消失パケットの回復処理を行う復号手段を含む受信器と、入力された検査行列に基づいて、受信器の伝送データの復号時間を最小にするためのパラメタ設計を行い、最適なパケット消失率を出力する符号パラメタ設計器と、ネットワークと接続され、符号パラメタ設計器から与えられた最適なパケット消失率と自然発生するパケット消失率との差に基づいて送信器から受信した伝送パケットを意図的確率的に消失させ、該ネットワークを介して受信器に送出する符号化率制御器と、を有する。
【選択図】 図1

Description

本発明は、データ伝送装置及び方法に係り、特に、誤り訂正符号を用いたネットワークのパケットロス率に最適な伝送レートを達成するデータ伝送装置及び方法に関する。
IP(インターネットプロトコル)を用いたネットワークでは、従来の電話網とは異なり、基本的にコネクションレス指向を前提にし、コネクション確立が必要な場合にはTCP(Transmission Control Protocol)など上位層の機能として提供される。このTCPでは、ネットワーク上でパケット消失が発生検知をフィードバック通知(Ack通知)で、消失の補償を再送制御によって実現する。しかし、リアルタイム性が重要視されるような映像伝送等では、再送制御等を行う時間がない。またマルチキャストのような同報配信の場合には、送信機に対する受信機の個数が多いため再送制御が実質的に不可能である。
このような場合には、TCPのような再送制御に基づくパケット消失の補償方式ではなく、コネクションレス方式であるUDP(User Datagram Protocol)と前方誤り訂正(Forward Error Correction: FEC)符号を用いた伝送が用いられる。UDP通信の通信路は2元消失通信路(Binary Erasure Channel: BEC)とみなすことができる。
実際にUDPと共に用いられるFECとして、近年LDPC(Low-density Parity-check)符号が幅広く使用されている。LDPC符号は、符号処理、復号処理共に大きな符号長に対して線型時間で処理ができること、実装が容易であること、符号化率を柔軟に設定できることなどの特徴を持ち合わせる。ここで、符号化率(r)とは、送信される全てのパケット数(n)に対するもとの情報パケット(k)の割合であり、r=k/nである。送信されるパケット全てのパケット数は、元の情報パケット数(=k)とパリティパケット数(=m)の合計となる。定義よりrの範囲は0<r<1であり、符号化率が1に近いとパリティビットが殆どなく、逆に0に近づくにつれてパリティパケットの割合が大きくなり、冗長度が高い。
FECをUDP伝送で用いる場合にはネットワーク上のパケット消失確率によって最適な符号化率を決定する必要がある。実際には、パケットがネットワーク上で消失する割合や転送遅延時間が時間毎に変化するため、再符号化せずに符号化率を変化させることが必要になる(例えば、特許文献1参照)。そのための手法としては、LDPC符号をベースにしたパンクチャ符号方式などが提案されている(例えば、非特許文献1参照)。
パンクチャとは、意図的にいくつかの送信パケットを送らないことで、誤り訂正符号で符号レート(冗長度)を制御するための手法である。誤り訂正符号は、パリティシンボル(本明細書ではパケットがシンボルに相当するので、以下「パケット」と記す)を生成し、元の情報パケットに加えてこのパリティパケットを送信することで、ネットワーク上でいくらかのパケット消失が発生した場合でも、元の情報パケットを復元できる技術である。どのくらいの量のパリティパケットを付加するかが符号化率という指標で表される。この符号化率は、符号化する前に決定することが必要であるため、符号化後にこの符号化率を変更することはできない。符号化率が低い、つまり、元の情報パケットに対してパリティパケットの割合が大きい場合には、多くのパケット消失に対する耐久性を持つが、その一方で、伝送するパケット量は大きくなる。もし、ネットワーク上でそれほどパケット消失が起こらない場合には、符号化率が低い(パリティ量が多い)場合は、無駄なパケットを送っていることになるので、伝送効率は悪くなる。そこで、一度符号化した後に、送信すべきパケットを意図的に送らなくすることで、伝送されるパケット量を抑えることができる。これをパンクチャと言う。誤り訂正符号の観点からすると、符号化率を大きくする(つまり、パリティパケット数を少なくする)ことに相当する。
特開2006-13714号公報
Pishro-Nik, H,Fekri, F., "Results on punctured LDPC codes", Information Theory Workshop, 2004. IEEE, pp.215-219.
上記のようなパンクチャを用いて符号化率を変化させるLDPC符号の場合、ネットワーク上のパケット消失数によってLDPC符号の復号処理時間が異なる。これは、誤り訂正符号は、消失したパケット数だけ回復処理を行うためである。映像伝送のような高ビットレートかつリアルタイム性が求められる場合には、一定の遅延時間以内にLDPC復号を終える必要がある。よって、ネットワークの利用可能帯域が決まっている場合、その帯域においてLDPC復号を最短時間で完了させることが望まれる。
しかしながら、このようなパンクチャによる符号化率が制御可能なLDPC符号を用いてリアルタイム伝送システムを構築する場合、想定されるネットワーク上のパケット消失率の範囲を見極めた上で、前述の要件を満たすようにLDPC符号および伝送のパラメタを決定しなければならない。
本発明は上記の点に鑑みなされたもので、実時間での復号処理時間を推定し、任意の符号化率、パケット消失率、符号長等のパラメタを求め、復号時間を求めることが可能なデータ伝送装置及び方法を提供することを目的とする。
本発明の一態様によれば、誤り訂正符号を用いたネットワークのパケットロス率に最適な伝送レートを求めるデータ伝送システムであって、
検査行列を用いて伝送データを符号化し、所定のレートで伝送パケットを送出する送信器と、
ネットワークと接続され、伝送パケットを受信し、消失パケットの回復処理を行う復号手段を含む受信器と、
入力された検査行列に基づいて、前記受信器の伝送データの復号時間を最小にするためのパラメタ設計を行い、最適なパケット消失率を出力する符号パラメタ設計器と、
前記ネットワークと接続され、前記符号パラメタ設計器から与えられた前記最適なパケット消失率と自然発生するパケット消失率との差に基づいて前記送信器から受信した伝送パケットを意図的確率的に消失させ、該ネットワークを介して前記受信器に送出する符号化率制御器と、
を有し、
前記符号パラメタ設計器は、
行列の非ゼロの位置のみをリストして保持することで疎である検査行列の行と列を生成する検査行列生成手段と、
前記検査行列に基づいて符号長、符号化率、パケット消失率を求め、符号特性として出力する復号処理計測手段と、
与えられたシステムでカバーできるパケット消失率の範囲と前記符号特性に基づいて、符号化率の範囲を求め、前記符号長、前記パケット消失率と共に出力する復号性能評価手段と、
前記符号化率の範囲、前記符号長、前記パケット消失率から回復処理時間のモデルを用いて復号処理時間の推定を行い、前記最適なパケット消失率、前記符号長、前記符号化率を符号パラメタとして出力する復号処理時間モデル手段と、を含むことを特徴とするデータ伝送システムが提供される。
一態様によれば、ダイナミックに変化するネットワークの状態に応じて、伝送遅延のリアルタイム性を保証したうえで最適な符号化率での伝送が可能になる。また、複数のネットワーク伝送経路を持つ伝送システムの場合にも、各ネットワークの特性に最適になるように伝送することが可能になる。
本発明の第1の実施の形態における伝送システムの構成例である。 本発明の第1の実施の形態における検査行列Hの例である。 本発明の第1の実施の形態における図2に対応する2部グラフとパケットの受信状況の例である。 本発明の第1の実施の形態における図2の計算機実装するためのデータ構造である。 本発明の第1の実施の形態におけるLDPC復号器の構成例である。 本発明の第1の実施の形態における復号過程のフローチャートである。 本発明の第1の実施の形態におけるLDPC符号パラメタ設計器の構成例である。 本発明の第1の実施の形態におけるLDPC符号特性の具体例である。 本発明の第1の実施の形態における送信器、符号化率制御器、受信器の構成例である。 従来の映像伝送システムの構成図である。 本発明の第2の実施の形態における映像伝送システムの構成例である。 従来の映像伝送システムで実施されるLDPC符号化処理の例である。 図12におけるLDPCヘッダを含むパケット構造である。 本発明の第2の実施の形態における符号化率制御器の動作のフローチャートである。 本発明の第2の実施の形態における映像受信器のLDPC符号パケット受信メモリの構成例である。 本発明の第2の実施の形態における映像受信器の動作のフローチャートである。 本発明の第3の実施の形態における伝送システムの構成例である。 本発明の第3の実施の形態における1つ映像データから分散データを生成する例である。 本発明の第4の実施の形態における伝送システムの構成例である。
以下、図面と共に本発明の実施の形態を説明する。
本発明では、以下の課題を解決する。
(1)ネットワーク上のパケット消失率の想定範囲が定まり、かつ、許容される伝送時間もしくはネットワークの帯域上限が定まった場合(制約条件)に、LDPC符号の符号長、符号化率を設計すること。
(2)ネットワーク上のパケット消失率がわかった場合(制約条件)に、伝送効率が最大になるパンクチャ(意図的なパケット消失)量を決定すること。ここで、制約条件とは、予め設定された一定のネットワークの利用可能帯域でLDPC復号を最短で終了する、または、予め設定された一定の遅延時間でネットワーク利用帯域を最小にする条件を指す。
(3)ネットワーク上のパケット消失率に応じたパンクチャ機能などを備えた従来のLDPC符号を用いる送信器、受信器系でも目的を達成すること。
(4)ネットワーク上のパケット消失率に応じたパンクチャ機能などを備えない従来のLDPC符号を用いるマルチキャスト伝送系でも目的を達成すること。
(5)上記の(4)の構成とは逆に、LDPC符号を備える分散保存及び分散配置された送信器から単一の受信器へ伝送する系(送信器:受信器=N:1の系)で、目的を達成させること。ここで、伝送路はN通りあり、それぞれでネットワークパケット消失率が異なり、パンクチャ量の制御もそれぞれ独立に行う必要がある場合を含む。
[第1の実施の形態]
本実施の形態では、LDPC符号をパンクチャによってネットワーク伝送の符号化率を制御する伝送方式について説明する。
図1は、本発明の第1の実施の形態における伝送システムの構成例である。
同図に示す伝送システムは、送信器30、ネットワーク40、受信器50、LDPC符号パラメタ設計器10、符号化率制御器20を有する。
LDPC符号パラメタ設計器10は、入力された検査行列に基づいて、LDPC復号時間を最小にするためにパラメタ設計を行う。LDPC符号は、符号長、符号化率、消失パケット数に依存するので、これらのパラメタを最短時間で回復処理が完了するように設定する。
LDPC符号は検査行列Hによって符号が定義される。図2に検査行列の例を示す。この例では、符号長N=10、伝送情報量K=5、符号パリティ数M=5、符号化率R=K/N=0.5、列重みDcol=2のレギュラーLDPC符号である。また、LDPC符号は、図3のように2部グラフとしても表現される。受信されるシンボル(本発明ではパケットと呼ぶ)は変数ノードとして下部に、各パリティ検査方程式は上部のチェックノードとして表現される。図2の行列表現と図3のグラフ表現は同一のものを示している。チェックノードはパリティ検査方程式に相当しており、例えば、図3のチェックノードC1は、検査方程式「ROW1によってCOL1が回復できる』ことを示している。同様に、図3下部の変数ノードは各送信パケットに相当する。したがって、伝送システムにおいて伝送過程が終了した状態では、各パケットの受信状況が変数ノードに対して割り当てられる。受信状態は「受信した」もしくは「受信していない(消失)」のどちらかになる。実際の過程では、受信器がある受信時間を決めて、その時間内で受け取ったパケットに関しては「受信」、そうでない場合は「消失」として割り当てる。実際のLDPC符号では、列重みDcolが3程度に対して符号長Nが非常に大きく設定される。すなわち、行列の非ゼロ要素が非常に疎であり、ほとんどの要素はゼロになる。
LDPC符号の復号処理を実装するにあたっては、上記の疎である行列をメモリ効率よく表現することが求められる。そこで、従来のような単純な2次元配列で示すのではなく、非ゼロの位置のみをリストとしてLDPC符号器(図示せず)及び後述する受信器50内のLDPC復号器に保持することで効率よく疎行列を表現することが可能である。図4にこの方式で表現した図2の検査行列の例を示す。
この表現は、疎である検査行列の行と列の集合(集合ROWおよび集合COL)からなり、それぞれがひとつの行、列の非ゼロの位置を示すリストになっている。なお、集合ROWの要素は、検査行列Hのそれぞれの行毎に、その行の中で"1"が立っている列番号のベクトルとなる。例えば、図4では、集合ROWの要素はROW1からROW5まであり、ROW1は検査行列H(図2)の1行目を表しており、1列目、4列目、7列目、10列目に"1"が立っているので、ROW1=(1,4,5,10)というベクトルとなる。また、集合COLはひとつの受信パケットに相当するため、各要素はその受信状況を示す変数も保持する。具体的にはグラフ変数を用意して、その変数に記録しておく。例えば、C言語などでは、
struct COL{
int col_list[ ];//COLのベクトル
int flag_recv://COLの受信状況

などとする。上記の検査行列Hは、後述するLDPC符号パラメタ設計器10のLDPC検査行列生成部で生成され、受信器50に渡され、以下に示す受信器50のLDPC復号器100で保持される。
次に、受信器50において消失を含むパケットを受信した後のLDPC復号処理について説明する。図5および図6に本発明のLDPC復号過程を示す。
受信器50は、図5に示すようなLDPC復号器100を有する。
LDPC復号器100は、初期化処理部110、回復走査処理部120、回復COLキュー130、回復計算処理部140、受信パケットデータメモリ150、LDPC検査行列リスト表現記憶部160を有する。LDPC検査行列リスト表現記憶部160は、LDPC符号パラメタ設計器10で生成された検査行列Hをリスト形式で保持する。
LDPC復号は、図6に示すように、初期化処理、回復走査処理、回復計算処理の3部に分解して処理される。
まず、初期化処理部110は、LDPC検査行列リスト表現記憶部169の初期化を行い、上記で説明した疎行列のLDPC検査行列リスト表現記憶部160への配置、および受信されたパケットの受信状況の検査を行う(ステップ101)。続く回復走査処理部120は、LDPC検査行列リスト表現記憶部160からパリティ検査方程式の集合に相当する集合ROWから回復処理可能な行要素(検査方程式)を見つけ、それを回復COLキュー130に登録する(ステップ103,Yes、104)。ここで、回復処理可能な行要素とは、一つの行内(つまり、パリティ検査方程式内)に「消失」状態にあるパケットがただ一つだけ含まれる行を指す。回復計算処理部140は、回復COLキュー130から行要素を取得し、回復可能なCOL要素の状態を「消失」から「受信」に変更する(ステップ105)。集合ROWから回復処理可能な行要素がなくなった時点で回復走査処理を終了する(ステップ103,No)。最後の回復計算処理では、回復計算処理部140が、回復COLキュー130に基づいて、受信パケットデータの加法処理を行い、受信パケットデータを受信パケットデータメモリ150に格納する(ステップ106)。なお、受信パケットデータの加法処理は、XOR計算(GF(2)上の加法)になるため、加法と減法が同一となる。
受信状況が図4の場合に上記のLDPC復号処理を具体的な処理を説明する。集合ROWを上部から走査すると、回復COLキュー130には下記のように登録される。
・ROW1によってCOL1が回復できる:
・ROW2によってCOL3が回復できる:
・ROW3によってCOL5が回復できる:
・ROW4によってCOL9が回復できる:
続いて、回復計算処理部140が、この回復COLキュー130に基づいて、下記のような加法計算によってそれぞれの消失したパケットを回復する。
・ROW1: COL1 = COL4 + COL7 + COL10:
・ROW2: COL3 = COL2 + COL6 + COL7:
・ROW3: COL5 = COL1 + COL6 + COL8:
・ROW4: COL9 = COL2 + COL5 + COL10:
以上で、すべての消失したパケットがLDPC復号により回復される。
このように、LDPC復号をはじめとするFECでは、すべてのパケットを受信しなくても伝送されたパケットを復元することが可能になるため、ネットワーク上でのパケット消失率がわかれば送信器30付近において意図的なパケット消失を発生させることでネットワーク伝送レートを変化させることができる。
ただし、LDPC復号処理にかかる時間はLDPCの符号長N、符号化率R、列重みDcol、消失パケット数に依存して変化する。このため、リアルタイム性が重要である伝送システムにおいては、与えられたネットワーク伝送帯域において、LDPC復号時間を最小にするためのパラメタ設計が必要になる。また別の状況では、予め設定されたLDPC復号時間に対して、最小となるネットワーク伝送帯域を求める必要もある。これを求めるために、本発明では、図6に示すようにLDPC符号パラメタ設計部10を用いた伝送システムによってこれを実現する。
LDPC符号パラメタ設計部10の構成を図7に示す。
LDPC符号パラメタ設計部10は、LDPC検査行列生成部11、LDPC復号処理計測部12、LDPC復号性能評価部13、LDPC復号処理時間モデル部14、LDPC符号パラメタ最適化部15を有する。
LDPC検査行列生成部11は、上記の方法により行列の非ゼロの位置のみをリストして保持することで疎である図2に示すような検査行列を生成し、LDPC復号処理計測部12に入力する。
LDPC復号処理計測部12は、LDPC検査行列生成部によって与えられたLDPC検査行列に対して、前述したLDPC復号処理方式を用いてパケット消失率Peを変化させた場合のLDPC復号処理を実行する。
LDPC復号性能評価部13は、LDPC復号処理計測部12から取得したその符号特性の評価を行う。具体的に、符号長N=3000において符号化率Rを変化させた場合の符号特性を図8に示す。これにより、符号長Nおよびその符号化率Rにおけるパケット消失率対回復成功確率の特性が実験的に得られる。本実施の形態では、ランダムパケット消失を発生させ、10万回の試行による計算実験において回復成功確率が1である領域をパラメタとして採用する。なお、ここでは試行回数を10万回としているが、符号特性を調べる上で十分な反復回数であればよく、10万回に限定されるものではない。図8の例では、ネットワークパケット消失率の範囲が0.43である場合には符号化率R=0.5以上を採用する。このように、LDPC復号性能評価部13は、システムでカバーするパケット消失率の範囲が外部(例えば、ユーザまたはネットワーク上の計測装置)から与えられると、対応する符号化率Rの範囲をLDPC復号処理時間モデル部14に出力する。
続いて、LDPC復号処理モデル部14は、LDPC符号長N、符号化率R、パケット消失率Peが与えられるとLDPC復号処理時間の推定を行う。まず、LDPC復号処理時間Tdecは、図6に示した通り初期化処理時間Tinit、回復走査処理時間Tscan、回復計算処理時間Txorに分解できる。
Figure 2014239285
Tinitは疎行列である検査行列のデータを図4のような構造でメモリ(図示せず)に配置し、受信パケットに相当する列要素の受信状況を検査する処理にかかる時間である。したがって、この処理時間は符号長Nに線型増加する。よって、線型増加の係数をCinitとすると、
Figure 2014239285
Tscanは消失したパケットのうちLDPC復号によって回復可能なパケットを走査する処理に関係し線型増加する。本発明では、すべての消失パケットが回復可能である符号特性領域を用いるため、パケット消失率がPeである場合の操作される消失パケット数はPe Nであるため線型増加の係数をCscanとすれば、
Figure 2014239285
Txorは回復される消失パケット数およびパケットサイズLpktに線型増加する。また、ひとつの消失パケットを回復する際の加法計算量は検査行列の行重みDrowに比例する。用いるLDPC符号の検査行列がレギュラー符号(Dcolが全ての列で同じ、かつ、Drowが全ての行で同じである符号。図1の例は全ての行及び全ての列で"1"が立っている数が同じであるのでレギュラー符号となる)、もしくは、厳密に全ての行・列で"1"が立っている数(行重み・列重み)が同じでなくても、例えば、100列のうち99列が列重み3で、1列だけ列重みが2であるような場合(近似)には、行重みは列重みDcolによって表現でき、
Figure 2014239285
よって、線型係数をCxorとすれば、
Figure 2014239285
ここで、パケットサイズLpktおよび列重みDcolを一定にしたLDPC符号を考えると、これらの定数をまとめて、以下のようになる。
Figure 2014239285
以上より、LDPC復号に必要な処理時間Tdecは下記のように表現できる。上記のLDPC復号処理のモデルにおいて、LDPC復号処理計測部12による計測試行の結果から二乗誤差最小になる値を各線型増加の係数Cinit、Cscan、Cxor'として用いる。
Figure 2014239285
ここで、ネットワーク伝送速度をW、伝送データのサイズをSとすると、本発明の受信器50において、伝送データを受信開始してからLDPC復号処理が完了するまでの処理時間Trecvは、
Figure 2014239285
と表される。以上により、ネットワーク伝速度Wが一定における受信処理時間Trecvを最小にするLDPC符号パラメタを決定する場合には、
Figure 2014239285
なるPe, N, Rを決定する。また、受信処理時間Trecvが一定の場合にネットワーク伝速度Wを最小にする場合には、
Figure 2014239285
となるPe, N, Rを決定する。
これよってLDPC符号パラメタ設計器10で決定されたLDPC符号のパラメタおよび検査行列を用いて図1に示すような伝送システムを構成する。
図9に示すように、送信器30はLDPC符号部31、保存部32、送信部33によって構成される。送信器30のLDPC符号部31は、入力された伝送データを前記LDPC符号パラメタ設計器10から与えられたLDPC検査行列を用いてLDPC符号化を行い保存部32に一時蓄積を行う。その後、送信部33が、一定の送信レートで後段の符号化率制御器20に送出する。
符号化率制御装器20は、図9に示すように、パケット消失制御部21を有し、パケット消失制御部21は、LDPC符号パラメタ設計器から与えられた最適なパケット消失率と実際のネットワーク上で自然発生するパケット消失率との差を考慮して、送信器30から送出される伝送パケットを意図的確率的に消失させる。
受信器50は、図9に示すように、受信部51とLDPC復号部52を有し、受信部51は、伝送パケットを受信し、LDPC復号部52は、消失パケットの回復処理を行う。
上記により、従来困難であった実時間での復号処理時間を推定し、LDPC符号復号処理の処理過程を初期化処理、回復走査処理、回復計算処理に分離して、それぞれの処理過程で復号処理時間に寄与する符号率、パケット消失率、符号長の関係性を定式化することによって、計算機上で計測して処理時間の係数を一度求めて、任意の符号化率、パケット消失率、符号長での復号時間を求めることを可能にする。
[第2の実施の形態]
本実施の形態では、第1の実施の形態を映像伝送システムに適用した例を説明する。
図10は、従来の映像伝送システムの構成図を示す。
同図に示す映像伝送システムは、圧縮映像データ、LDPC符号器110を具備する映像送信器100、パケット消失を有するネットワーク300、ネットワーク上のパケット消失率を測定可能なネットワーク計測器210、LDPC復号器220、LDPC符号受信メモリ230を具備する映像受信器200から構成される。
このうち、圧縮映像データ、LDPC符号器110を具備する映像送信器100、および、LDPC復号器220を具備する映像受信器200は図10に示す通り、従来の伝送系で用いられるものである。従来の映像伝送系では、ネットワークのパケット消失状態の最大値を決定し、それをカバーするだけのLDPCを用いた誤り訂正符号の符号化率を静的に設定しでLDPC符号化を行うことで、ネットワーク上のパケット消失を補償する。そのため、ネットワーク上のパケット消失率が時間的に変化し、ほとんど消失しない場合でも符号化率が一定であるため、余分なパリティパケットの伝送が発生しネットワーク効率を悪化させる。
図11に示す構成にすることで、従来の映像伝送系をそのまま用いて、かつ、ネットワーク上のパケット消失率に基づき符号化率を変化させて、ネットワーク効率を落とさずに伝送することが可能になる。これにより、前述の(3)の課題が解決できる。
図11に示す映像伝送システムの符号化率制御器20およびネットワーク計測器310は、LDPC符号器110を具備する映像送信器100およびLDPC復号器220を具備する映像受信器200とは完全に独立して動作する。
従来の映像伝送システムで実施されるLDPC符号化処理を図12に示す。伝送対象の映像圧縮データを一定の小さいパケット(1280バイト)に分割する。これら1パケットがLDPC符号の1シンボルに相当する。その後、第1の実施の形態で示したLDPC符号の設計手法に基づいて算出された符号長、符号化率を用いてLDPC符号化を行い、パリティパケットを生成する。単位パリティパケットのサイズは、先にパケット化した映像データパケットと同等である。次に、映像パケット、パリティパケットに対して、LDPC復号に必要になるLDPCヘッダ(16バイト)を付加し、これらのパケットをUDP/IP方式で映像受信器200へ伝送する。
ここで用いるLDPCヘッダを含む伝送されるパケット構造を図13に示す。LDPCヘッダは、LDPCブロック番号(4バイト)、LDPC内パケット番号(4バイト)、LDPC符号長(4バイト)、LDPCブロック内の映像データパケット数(4バイト)で構成される。LDPCブロック番号はそのパケットが所属するLDPCブロックを識別するために用いられる。これは、例えばネットワーク伝送遅延やジッタが大きい場合に、別のLDPCブロックに属するパケットが届くことがあり、これを混同せずに処理するために必要である。LDPCブロック内パケット番号は、パケット到着およびその順序を保証しないUDP/IP通信において、パケットの位置を識別するのに必要である。LDPC符号長およびLDPCブロック内の映像データパケット数は、単一パケットを見た場合に、そのパケットが映像データを含むパケットであるのか、もしくは、パリティデータを含むパケットであるかの識別をするために必要である。
本実施の形態において、符号化率制御器20で実施される意図的なパケット棄却の方式を図14に示す。はじめに、符号化率制御器20は、ネットワーク計測器310から現在のネットワーク上で発生しているパケット消失率Perrを取得する(ステップ201)。続いて、ユーザ操作により想定範囲のネットワークパケット消失率Peを取得する(ステップ202)。これらの情報から、符号化率制御器20で発生させる意図的なパケット消失率Pdを求める(ステップ203)。Pdは映像受信器200に届く時点でのパケット消失率がPeになるように意図的なパケット消失を発生されるため、以下の通り求められる。
(1-Pe) = (1-Pd)(1-Perr)
Pd = 1 - (1-Pe)/(1-Perr)
続いて、UDPパケット受信を待機した後(ステップ204)、UDP受信を行い(ステップ205)、対象となるパケットであるならば(ステップ206、Yes)、乱数を発生させ、当該乱数に応じて先に求めた確率Pdで到着パケットを棄却する(ステップ207)。
映像受信器200でのLDPC符号パケット受信メモリ230の構成を図15に示す。受信LDPC符号パケットメモリ230は、映像データパケットおよびパリティパケットがすべて格納できるサイズ分のデータ領域、および、各パケットの受信状況を記録する領域から構成される。初期化処理では、すべての受信状況を「未受信」に設定し、データ領域をすべてゼロ値にする。映像データパケットもしくはパリティパケットが到着した場合、IPヘッダ、UDPヘッダ、LDPCヘッダを除去し、LDPCヘッダにあるLDPCブロック内パケット番号に相当するLDPC符号パケット受信メモリ230の場所に格納される。その後、受信状態を「未受信」から「受信」に変更する。
映像受信器200での受信処理を図16に示す。
映像受信器200は、LDPC符号パケット受信メモリ230を確保して初期化を行う(ステップ301)。次に受信時間に関する時限タイマを開始する。この時限タイマは時限になると割り込みを発生させる(ステップ302)。時限タイマ値には、第1の実施の形態で算出したLDPC復号時間が実際の復号処理にかかるとみなし、映像再生時刻までに復号処理が完了するような時刻が設定される。上記の時限タイマに割り込みが発生するまで以下の処理を繰り返す。
映像受信器200はUDPパケット受信待機を経て(ステップ303)、UDPパケットを受信する(ステップ304)。受信したパケットのLDPCヘッダのLDPCブロック番号を参照し、それが現在受信中のものかを確認する(ステップ305)。もし、現在受信中のものでない場合は(ステップ305、No)、そのパケットを無視し、再びUDPパケット受信待機に戻る(ステップ303に移行する)。もし現在受信中のものであれば(ステップ305、Yes)、LDPCブロック内パケット番号を参照し、その番号に相当するLDPC符号パケット受信メモリ230の領域にパケットのペイロード部分のみを格納する(ステップ306)。続いて、同位置の受信状況を「未受信」から「受信」に変更する(ステップ307)。
受信時限タイマによる割り込みが発生した場合は、LDPC符号受信メモリ230の受信状況で「未受信」であるところを「消失」と変更する(ステップ308)。その後、LDPC復号処理を開始する(ステップ309)。
以上により、LDPC復号器220を具備する映像受信器200においてLDPC復号処理が施され、元の映像データが完全に再現される。LDPC復号器220を具備する映像受信器200においては、本実施の形態のように映像送信器と映像受信器の中間に符号化率制御器が挿入されている場合においても、従来の系と同様のLDPC復号処理で対応可能である。
[第3の実施の形態]
図17は、本発明の第3の実施の形態における伝送システムの構成例を示す。
本実施の形態では、N個(Nは1以上)の分散保存データ、送信器30〜30N、符号化率制御器20〜20N、ネットワーク計測器310〜310N、および、LDPC復号器220を具備する受信器200から構成される。
本実施の形態では、分散保存データおよびその送信器30〜30Nを分散配置することで、各送信器30〜30Nの処理負荷を軽減するとともに、受信器200へのネットワークも独立になるため、ネットワーク負荷も軽減することが可能になる。
ひとつの映像データから分散保存データを生成する手段を図18に示す。ここでは例として分散保存数N=3の場合を示している。各第2の実施の形態と同様にして、各送信器30〜30Nは、映像データをパケット分割した後、LDPC符号化しパリティパケットを生成する。映像データパケットおよびここで得られたパリティパケットにLDPCヘッダを付加する。ここで用いるLDPCヘッダは第2の実施の形態で用いたものと同様のものを用いる。続いて、映像データパケットおよびパリティパケットを先頭から順に分散保存ホストに割り当てていく。同様にパリティパケットに関しても先頭から順に分散保存ホストに割り当てていく。これにより、すべての映像データパケットおよびパリティパケットが割り振られたときに、各保存ホストにある映像データパケットおよびパリティパケットが均等になる。以上により送信する映像データが分散的に保存・配置される。
本実施の形態の伝送処理過程および受信処理を説明する。
LDPC復号器220を具備する受信器200から映像データの送信要求がすべての送信器30に送信されると、各送信器30〜30Nは受信器200に向けて自分の保持する分散保存された映像データの送信を開始する。各送信器30〜30Nと受信器200の中間に挿入配置された符号化率制御器20〜20Nおよびネットワーク計測器310〜310Nは、第2の実施の形態と同様の動作でネットワークで発生するパケット消失率に応じた意図的なパケット棄却を行い、符号化率の制御を行う。LDPC復号器220を具備する受信器200では、第2の実施の形態と同様の手段で受信される映像データパケットおよびパリティパケットの受信処理およびLDPC復号処理を施す。
以上により、分散的に配置された複数の送信器30〜30Nから、それぞれのネットワークのパケット消失率の状況に合わせた符号化率で伝送された映像データを受信し、LDPC復号することが可能になる。
本実施の形態によれば、前述の(5)の課題が解決できる。
[第4の実施の形態]
図19は、本発明の第4の実施の形態における伝送システムの構成例を示す。
同図に示す伝送システムは、映像データ、LDPC符号器110を具備する送信器100、マルチキャストルータ400、複数の符号化制御器20〜20N、複数のネットワーク計測器310〜310N、および複数のLDPC復号器220を具備する受信器200〜200Nから構成される。マルチキャストを用いて同一の映像データを複数の受信器200〜200Nに伝送する場合に、各ネットワーク(各マルチキャスト径路)のネットワークパケット消失率に応じた符号化率で伝送するシステムである。
LDPC符号器110を具備する送信器100において、第2の実施の形態と同様の手段を用いて、映像データのパケット化、LDPC符号化によるパリティパケットの生成、LDPCヘッダの付加を行う。その後、LDPC符号器110を具備する送信器100は、これらの映像データパケットおよびパリティパケットをマルチキャストルータ400へ伝送する。
マルチキャストルータ400では、受信器200もしくは下位ルータからのマルチキャストジョインの要求を受け取ると、その受信器200もしくは下位ルータに向けてパケットのコピーを行う。図19ではマルチキャストルータ400配下に直接受信器200が所属する構成である。コピーされたパケットは、それぞれのネットワーク径路を介して最終的にLDPC復号器220を具備する受信器200に到達する。本実施の形態では、マルチキャストルータ400と受信器200の中間に符号化率制御器20およびネットワーク計測器310が挿入さる構成をとる。これにより、第2の実施の形態と同様の処理を行い、各符号化率制御器20〜20Nにおいてネットワークパケット消失率に応じた符号化率の制御が施され、LDPC復号器220を具備する受信器200〜200Nへマルチキャストパケットが伝送される。
それぞれのLDPC復号器220を具備する受信器200〜200Nでは、第2の実施の形態と同様の手段によりLDPC復号処理が実施され、送信された映像データが復元される。本実施の形態では、送信器100とすべての受信器200〜200Nは単一のLDPC符号を用いればよいため、実装および管理が簡易になる。また、ネットワークごとにパケット消失率が変化した場合においても、送信器、受信器の操作を一切変えることなく高効率なネットワーク伝送が実現される。
本実施の形態によれば、前述の課題の(4)が解決できる。
なお、上記の第1〜第4の実施の形態では、LDPC符号を用いて説明しているが、LDPC符号に限定されることなく、誤り訂正符号に適用可能である。
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
10 LDPC符号パラメタ設計器
11 LDPC検査行列生成部
12 LDPC復号処理計測部
13 LDPC復号性能評価部
14 LDPC復号処理時間モデル部
15 LDPC符号パラメタ最適化部
20 符号化率制御器
21 パケット消失制御部
30 送信器
31 LDPC符号部
32 保存部
33 送信部
40 ネットワーク
50 受信器
51 受信部
52 LDPC復号部
100 LDPC復号器
110 初期化処理部
120 回復走査処理部
130 回復COLキュー
140 回復計算処理部
150 受信パケットデータメモリ
160 LDPC検査行列リスト表現記憶部
200 映像受信器
210 ネットワーク計測器
220 LDPC復号器
230 LDPC符号パケット受信メモリ
300 ネットワーク(パケット消失あり)
310 ネットワーク計測器
400 マルチキャストルータ
このうち、圧縮映像データ、LDPC符号器110を具備する映像送信器100、および、LDPC復号器220を具備する映像受信器200は図10に示す通り、従来の伝送系で用いられるものである。従来の映像伝送系では、ネットワークのパケット消失状態の最大値を決定し、それをカバーするだけのLDPCを用いた誤り訂正符号の符号化率を静的に設定しLDPC符号化を行うことで、ネットワーク上のパケット消失を補償する。そのため、ネットワーク上のパケット消失率が時間的に変化し、ほとんど消失しない場合でも符号化率が一定であるため、余分なパリティパケットの伝送が発生しネットワーク効率を悪化させる。

Claims (7)

  1. 誤り訂正符号を用いたネットワークのパケットロス率に最適な伝送レートを求めるデータ伝送システムであって、
    検査行列を用いて伝送データを符号化し、所定のレートで伝送パケットを送出する送信器と、
    ネットワークと接続され、伝送パケットを受信し、消失パケットの回復処理を行う復号手段を含む受信器と、
    入力された検査行列に基づいて、前記受信器の伝送データの復号時間を最小にするためのパラメタ設計を行い、最適なパケット消失率を出力する符号パラメタ設計器と、
    前記ネットワークと接続され、前記符号パラメタ設計器から与えられた前記最適なパケット消失率と自然発生するパケット消失率との差に基づいて前記送信器から受信した伝送パケットを意図的確率的に消失させ、該ネットワークを介して前記受信器に送出する符号化率制御器と、
    を有し、
    前記符号パラメタ設計器は、
    行列の非ゼロの位置のみをリストして保持することで疎である検査行列の行と列を生成する検査行列生成手段と、
    前記検査行列に基づいて符号長、符号化率、パケット消失率を求め、符号特性として出力する復号処理計測手段と、
    与えられたシステムでカバーできるパケット消失率の範囲と前記符号特性に基づいて、符号化率の範囲を求め、前記符号長、前記パケット消失率と共に出力する復号性能評価手段と、
    前記符号化率の範囲、前記符号長、前記パケット消失率から回復処理時間のモデルを用いて復号処理時間の推定を行い、前記最適なパケット消失率、前記符号長、前記符号化率を符号パラメタとして出力する復号処理時間モデル手段と、
    を含むことを特徴とするデータ伝送システム。
  2. 前記符号パラメタ設計器は、
    前記送信器内、または、ネットワーク上に具備される
    請求項1記載のデータ伝送システム。
  3. 映像データをマルチキャスト配信するデータ伝送システムであって、
    入力された検査行列に基づいて、受信器の伝送データの復号時間を最小にするためのパラメタ設計を行うことにより得られた符号長及び符号化率を用いて伝送データを符号化し、伝送パケットを送出する符号器を有する送信器と、
    伝送パケットを受信し、消失パケットの回復処理を行う復号手段を含む複数の受信器と、
    前記伝送パケットを複製し複数の受信器または下位ルータに向けて伝送するマルチキャストルータと、
    前記マルチキャストルータから前記伝送パケットを取得し、与えられたパケットの消失率から意図的なパケットの消失率を求め、該パケットの消失率に基づいて取得した該伝送パケットを棄却する複数の符号化率制御器と、
    前記符号化率制御器から取得した伝送パケットを前記受信器に送出し、現在のネットワーク上で発生しているパケットの消失率を計測し、前記符号化率制御器に出力する複数のネットワーク計測器と、
    を有することを特徴とするデータ伝送システム。
  4. 前記受信器の前記復号手段は、
    疎行列をメモリへ配置し、パケットの受信状況の検査を行う初期化処理手段と、
    前記パケットからら回復処理可能な行要素を見つけ回復キューに格納する回復走査手段と、
    前記回復キューから回復可能な行要素を取得して、前記パケットのデータの加法処理を行い、消失したパケットを復号する回復計算手段と、
    を含む請求項1または3記載のデータ伝送システム。
  5. 誤り訂正符号を用いたネットワークのパケットロス率に最適な伝送レートを求めるデータ伝送方法であって、
    送信器、受信器、符号パラメタ設計器、符号化率制御器を有するシステムにおいて、
    前記送信器が、検査行列を用いて伝送データを符号化し、所定のレートで伝送パケットを送出する伝送パケット送出ステップと、
    前記符号パラメタ設計器が、入力された検査行列に基づいて、前記受信器の伝送データの復号時間を最小にするためのパラメタ設計を行い、最適なパケット消失率を出力する符号パラメタ設計ステップと、
    前記符号化率制御手段が、前記最適なパケット消失率と自然発生するパケット消失率との差に基づいて前記送信器から受信した伝送パケットを意図的確率的に消失させ、該ネットワークを介して前記受信器に送出する符号化率制御ステップと、
    前記受信器が、前記伝送パケットを受信し、消失パケットの回復処理を行う復号ステップと、
    を行い、
    前記符号パラメタ設計ステップにおいて、
    行列の非ゼロの位置のみをリストして保持することで疎である検査行列の行と列を生成する検査行列生成ステップと、
    前記検査行列に基づいて符号長、符号化率、パケット消失率を求め、符号特性として出力する復号処理計測ステップと、
    与えられたシステムでカバーできるパケット消失率の範囲と前記符号特性に基づいて、符号化率の範囲を求め、前記符号長、前記パケット消失率と共に出力する復号性能評価ステップと、
    前記符号化率の範囲、前記符号長、前記パケット消失率から回復処理時間のモデルを用いて復号処理時間の推定を行い、前記最適なパケット消失率、前記符号長、前記符号化率を符号パラメタとして出力する復号処理時間モデルステップと、
    を含むことを特徴とするデータ伝送方法。
  6. 映像データをマルチキャスト配信するデータ伝送方法であって、
    送信器、マルチキャストルータ、複数の符号化率制御器、複数のネットワーク計測器、複数の受信器を有するシステムにおいて、
    前記送信器が、入力された検査行列に基づいて、受信器の伝送データの復号時間を最小にするためのパラメタ設計を行うことにより得られた符号長及び符号化率を用いて伝送データを符号化し、伝送パケットを送出する符号器を有する送信ステップと、
    前記伝送パケットを複製し複数の受信器または下位ルータに向けて伝送するマルチキャストルータと、
    前記符号化率制御器の各々が、前記マルチキャストルータから前記伝送パケットを取得し、与えられたパケットの消失率から意図的なパケットの消失率を求め、該パケットの消失率に基づいて取得した該伝送パケットを棄却する符号化率制御ステップ、
    前記ネットワーク計測器の各々が、取得した伝送パケットを後段の前記受信器に送出し、現在のネットワーク上で発生しているパケットの消失率を計測し、前段の符号化率制御器に出力する複数のネットワーク計測ステップと、
    前記受信器の各々が、前段のネットワーク計測器から伝送パケットを受信し、消失パケットの回復処理を行う復号ステップと、
    を行うことを特徴とするデータ伝送方法。
  7. 前記復号ステップにおいて、
    疎行列をメモリへ配置し、パケットの受信状況の検査を行う初期化処理ステップと、
    前記パケットからら回復処理可能な行要素を見つけ回復キューに格納する回復走査ステップと、
    前記回復キューから回復可能な行要素を取得して、前記パケットのデータの加法処理を行い、消失したパケットを復号する回復計算ステップと、
    を含む請求項5または6記載のデータ伝送方法。
JP2013119769A 2013-06-06 2013-06-06 データ伝送装置及び方法 Expired - Fee Related JP5600774B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013119769A JP5600774B1 (ja) 2013-06-06 2013-06-06 データ伝送装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013119769A JP5600774B1 (ja) 2013-06-06 2013-06-06 データ伝送装置及び方法

Publications (2)

Publication Number Publication Date
JP5600774B1 JP5600774B1 (ja) 2014-10-01
JP2014239285A true JP2014239285A (ja) 2014-12-18

Family

ID=51840354

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013119769A Expired - Fee Related JP5600774B1 (ja) 2013-06-06 2013-06-06 データ伝送装置及び方法

Country Status (1)

Country Link
JP (1) JP5600774B1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020155840A (ja) * 2019-03-18 2020-09-24 株式会社東芝 通信装置及び中継装置
CN112506447A (zh) * 2021-02-01 2021-03-16 成都焱之阳科技有限公司 一种用于视频监控设备的数据无锁缓存方法和服务器
JP7465110B2 (ja) 2020-02-21 2024-04-10 日本放送協会 送信サーバ、送信装置、受信装置及びプログラム
JP7465111B2 (ja) 2020-02-21 2024-04-10 日本放送協会 送信サーバ、送信装置、受信装置及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113810728B (zh) * 2021-08-31 2023-09-26 深圳力维智联技术有限公司 直播数据传输控制方法、装置及直播设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010116616A1 (ja) * 2009-03-30 2010-10-14 日本電気株式会社 ストリーム配信システムにおける中継装置および配信制御方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020155840A (ja) * 2019-03-18 2020-09-24 株式会社東芝 通信装置及び中継装置
JP7199266B2 (ja) 2019-03-18 2023-01-05 株式会社東芝 中継装置
JP7465110B2 (ja) 2020-02-21 2024-04-10 日本放送協会 送信サーバ、送信装置、受信装置及びプログラム
JP7465111B2 (ja) 2020-02-21 2024-04-10 日本放送協会 送信サーバ、送信装置、受信装置及びプログラム
CN112506447A (zh) * 2021-02-01 2021-03-16 成都焱之阳科技有限公司 一种用于视频监控设备的数据无锁缓存方法和服务器

Also Published As

Publication number Publication date
JP5600774B1 (ja) 2014-10-01

Similar Documents

Publication Publication Date Title
KR102133930B1 (ko) 데이터 패킷 송수신 장치 및 방법
KR100458878B1 (ko) Fec 코딩 방식에 기초한 가변길이 패킷 송수신 방법
KR101995221B1 (ko) 통신 시스템에서 패킷 송수신 장치 및 방법
JP6486684B2 (ja) 移動通信システムにおける順方向誤り訂正パケットを送受信する装置及び方法
EP2103026B1 (en) A method to support forward error correction for real-time audio and video data over internet protocol networks
JP5600774B1 (ja) データ伝送装置及び方法
CN107257270B (zh) 基于混合自动重传请求的数据传输方法及系统
US10880202B2 (en) Joint fountain coding and network coding for loss-tolerant information spreading
CN109347604B (zh) 一种基于分批稀疏码的多跳网络通信方法和系统
US8683301B2 (en) Error correction coding for recovering multiple packets in a group in view of limited bandwidth
JP2012147197A (ja) 通信装置、通信方法、及び通信プログラム
CN103650399A (zh) 纠正数据单元的自适应生成
JP2015520990A (ja) 放送及び通信システムにおけるパケット送受信装置及び方法
US7215683B2 (en) Method and apparatus for protecting against packet losses in packet-oriented data transmission
CN101517950A (zh) 减少数据分组的数目以增加纠错分组的数目
CN110545161B (zh) 一种具有冗余的多媒体数据实时传输方法
JPWO2008139882A1 (ja) 通信システムおよび通信方法、並びに、プログラム
Rudow et al. Learning-augmented streaming codes are approximately optimal for variable-size messages
CN109660320B (zh) 网络端到端差错控制传输方法、装置及电子设备
US9319074B2 (en) Communication device, communication method, and communication program
JP2008092213A (ja) 受信機、パケット再送方法及びプログラム
Saxena et al. Dare: Dof-aided random encoding for network coding over lossy line networks
KR102093206B1 (ko) 데이터 인코딩 방법 및 전자장치
JP4814315B2 (ja) 訂正記号に割り当てられたインデックスを求める方法および装置
Lee et al. Forward error correction for reliable teleoperation systems based on haptic data digitization

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140812

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140818

R150 Certificate of patent or registration of utility model

Ref document number: 5600774

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees