JP2005159433A - パケットエラー訂正装置及び方法 - Google Patents

パケットエラー訂正装置及び方法 Download PDF

Info

Publication number
JP2005159433A
JP2005159433A JP2003390914A JP2003390914A JP2005159433A JP 2005159433 A JP2005159433 A JP 2005159433A JP 2003390914 A JP2003390914 A JP 2003390914A JP 2003390914 A JP2003390914 A JP 2003390914A JP 2005159433 A JP2005159433 A JP 2005159433A
Authority
JP
Japan
Prior art keywords
packet
unit
retransmission request
error correction
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003390914A
Other languages
English (en)
Other versions
JP4328602B2 (ja
Inventor
Takeshi Miura
剛 三浦
Makoto Fujita
真 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2003390914A priority Critical patent/JP4328602B2/ja
Priority to US10/853,000 priority patent/US7636298B2/en
Priority to KR1020040049365A priority patent/KR100634946B1/ko
Publication of JP2005159433A publication Critical patent/JP2005159433A/ja
Application granted granted Critical
Publication of JP4328602B2 publication Critical patent/JP4328602B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/12Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18Automatic repetition systems, e.g. Van Duuren systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6377Control signals issued by the client directed to the server or network components directed to server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/12Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1812Hybrid protocols; Hybrid automatic repeat request [HARQ]
    • H04L1/1819Hybrid protocols; Hybrid automatic repeat request [HARQ] with retransmission of additional or different redundancy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1101Session protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4382Demodulation or channel decoding, e.g. QPSK demodulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6375Control signals issued by the client directed to the server or network components for requesting retransmission, e.g. of data packets lost or corrupted during transmission from server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/64322IP
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server

Abstract

【課題】 FECとARQの双方をサポートするデコーダ装置等のパケット受信装置側において、パケットロスト発生時の再送要求の送信タイミングを制御して、不要な再送要求の送信を抑制しつつ、最適な遅延時間で映像や音声の再生を可能とする。
【解決手段】 パケットの欠落が検出された場合に、パケット受信部21で次に受信される冗長パケットに基づいて欠落パケットを復元するためのエラー訂正処理を行なうエラー訂正部22と、パケット送信装置に対して欠落パケットの再送要求を送信しうる再送要求送信部23と、パケットの欠落が検出された場合に、所定時間内にエラー訂正部22により欠落パケットを復元できるか否かに応じて再送要求送信部23によるパケット送信装置への再送要求の送信タイミングを制御する再送要求制御部24とをそなえるように構成する。
【選択図】 図3

Description

本発明は、パケットエラー訂正装置及び方法に関し、例えば、インターネットのようなパケットロス(エラー)の多いネットワーク環境において、エンコーダ装置(パケット送信装置)から送信されるパケットデータ(以下、単に「パケット」という)をデコーダ装置にて受信する場合に、そのエラー耐性を高める技術に関し、特に、ストリーミングデータ転送におけるエラー耐性を高めるのに用いて好適な技術に関する。
昨今、インターネット通信を始めとして様々な通信手段を介した、画像データ、音声データ等のデータ通信の需要が高まっている。特に近年のデータ通信のサービスとして、インターネット上のデータ転送におけるストリーミング配信方式によるサービスが増えてきている。ストリーミング配信方式においては、MPEG(Motion Picture Experts Group)エンコーダ装置からMPEGデコーダ装置にデータ転送が行なわれている間に、リアルタイムで受信データの再生処理を行なっている。このような方式を採用したシステムとして、例えば、VOD(ビデオオンデマンド)やライブ映像のストリーミング配信、あるいはテレビ会議システム等が挙げられる。
そして、かかるリアルタイム通信に適したインターネット技術として、RTP(Real-time Transport Protocol)プロトコル〔後記非特許文献1(IETF RFC1889)参照〕がある。このRTPを利用したデータ通信では、時間情報としてパケットにタイムスタンプを付加し、このタイムスタンプを参照することにより、パケット送信側であるエンコーダ装置とパケット受信側であるデコーダ装置との間で時間関係の把握を行ない、デコーダ装置側において、パケット転送の遅延やゆらぎ(ジッタ)などの影響を受けずに同期をとった再生を可能としている。ただし、RTPは実時間のデータ通信を保証しているものではないため、RTPパケットは、他のパケットと同様、ネットワーク上での配信遅延やパケットロストが起きる可能性がある。
しかし、このような状況下においても、デコーダ装置は期待する時間内に到着したパケットだけを利用してデータを再生することも可能である。これは、映像や音声データに多少のデータ欠損(パケットロスト)があったとしても、データ品質を落とした再生、あるいはデータ補正処理による再生が可能となるからである。なお、再生に間に合わず遅延して配送されたパケットやエラーの発生したパケットは、デコーダ装置側でそのまま破棄される。つまり、パケットロストやエラーが発生した場合は、高品質なデータ配信処理を行なっている場合でも、デコーダ装置側で品質を保持した再生が実行されないという課題がある。
このようなRTPを利用したデータ転送における課題を解決する案としては、データ転送に信頼性の高いデータ転送プロトコルであるTCP (Transmission Control Protocol)を利用して、パケットの再送要求および再送パケット送信を行なわせる方法が考えられる。しかし、TCPはエラー訂正には強いが、スループットが低く、遅延が大きいため、再送しても再生時間に間に合わない可能性があり、リアルタイム通信システムを実現する上では問題がある。
さらに、パケットロストに対応するエラー訂正手法として、例えば、FEC〔Forward Error Correction:後記非特許文献2(IETF RFC2733)参照〕という技術がある。FECのエラー訂正手法について、図7に示す。この図7に示すように、FECでは、エンコーダ装置100側において排他的論理和(XOR)演算に基づいて生成した冗長パケット(パリティ)P1を、送信データ(パケット)D1,D2とともに送信しておくことにより、途中のインターネット等のネットワーク300においてパケットロストが発生しても、デコーダ装置200側においてこの冗長パケットP1からロストしたパケットD1又はD2を復元することができ、エンコーダ装置100側からのパケット再送を必要としない手法である。
このようなFECを利用すると、インターネットのようにパケットロストの多いネットワーク環境においても、信頼性とインタラクティブ性に優れたメディア伝送を実現し、インターネットライブ放送などのサービスが実現可能ではあるが、バースト的にパケットロストが発生するネットワーク環境においては高品質なメディア伝送を実現することは困難である。
そこで、このようなバースト的なパケットロストに対応するエラー訂正手法として、例えば、ARQ(Automatic Repeat Request)という技術がある。ARQのエラー訂正手法について、図8に示す。この図8に示すように、ARQでは、デコーダ装置500側においてパケットロストを検出すると、即時にロストしたパケットの再送要求をデコーダ装置500からエンコーダ装置400側に送信し(矢印600参照)、エンコーダ装置400側においてロストしたパケットの再送を行なう(矢印700参照)技術である。
そして、従来のシステムにおいては、以上のFECとARQのいずれか一方の誤り手法を固定的に使用することが多いため、例えば、FEC技術を利用した場合は伝送率が低くエラー率が高いネットワーク環境においては効果的だが、逆に、伝送率が高くエラー率が低い場合にはFECパケットのオーバヘッドが大きく、伝送効率が悪化するという特質があり、また、伝送率が高くエラー率が低いネットワーク環境においては、ARQ技術を利用するのが効果的だが、伝送率が低くエラー率が高くなると、再送要求に係るやりとりが多くなり、伝送効率が悪化するという特質がある。
そこで、従来、以上のARQの技術とFECの技術とを組み合わせた技術も提案されている。例えば、後記特許文献1(特開2002−9883号公報)及び特許文献2(特開平7−67175号公報)により提案されている技術がそれである。
まず、特許文献1に記載の技術は、通信網システム上で発生する通信データの伝送エラーにより発生する誤りに対して特定の指標値(誤り率や伝送率)を用いて、誤り訂正方法を自動的に切り替えるという技術である。より具体的には、受信データを解読して指標値(誤り率/伝送率)を計算し、当該指標値が閾値以下の場合にはARQ、閾値よりも大きい場合にはFECに誤り訂正方法を自動的に切り替えるようになっている。これにより、データ伝送率や伝送効率の状況によって自動的に最も能率的な誤り訂正方法を選択することが可能となり、網トラフィック負荷を下げることが可能となる(段落0021〜0023参照)。
一方、特許文献2に記載の技術は、必ずしも安定でない無線区間の回線状態に応じて伝送速度を変更し、誤り制御方式をFEC及びARQのいずれか又は双方を併用することにより、最も伝送効率の良いデータ伝送方式を提供するもので、そのために、この技術においては、無線区間の回線状態(誤り発生状況)を監視して、その誤り発生状況に応じて伝送速度を変更し、適用すべき誤り制御方式としてARQとFECのいずれかを選択・決定することが行なわれる。
より具体的には、例えば、伝送速度が9600bpsのときにはARQを用い、それ以外の伝送速度(4800bps又は2400bps)ときには、FECによる訂正が可能か否かを判断して、可能であれば自己訂正を行ない、不可能なときには伝送速度が4800bpsであればARQによる再送要求を行なうようになっている。また、再送回数を監視して、再送回数が多く回線品質が悪い場合には、伝送速度を4800bpsに下げて、ARQ及びFECの併用モードとし、伝送速度が4800bpsのときに再送回数が増加し回線品質がさらに低下した場合には、伝送速度をさらに2400bpsに下げて、FECモードとすることも行なえるようになっている(段落0014及び0015参照)。
このような特許文献2に記載の技術によれば、回線状態に応じてデータ伝送速度及び伝送速度に適した誤り制御方式を選択するので、最も効率的な伝送速度を達成することが可能となる。
特開2002−9883号公報 特開平7−67175号公報 H. Schulzrinne et al.,"RTP:A Transport Protocol for Real-Time Applications", Request for Comments:1889、[online]、1996年1月、IETF Network Working Group、[平成15年11月20日検索]、インターネット<URL: http://www.ietf.org/rfc/rfc1889.txt> J. Rosenberg.et al.,"An RTP Payload Format for Generic Forward Error Correction", Request for Comments:2733、[online]、1999年12月、IETF Network Working Group、[平成15年11月20日検索]、インターネット<URL:http://www.ietf.org/rfc/rfc2733.txt>
しかしながら、上述した従来のシステム、特に、特許文献1及び2に記載の技術においては、FECとARQの双方をサポートしているものの、伝送率等の回線状態に応じていずれか一方の手法を選択的に使用するのが主であり、実時間性の要求される通信を考慮した誤り訂正手法を適用することができない。そのため、ストリーミングデータ転送等のように実時間性の要求される通信においては、最適な遅延時間での映像や音声の再生を行なうことが困難である。また、特許文献1には、前記のように「FECとARQの併用モード」との記載があるが、併用モード時に再送要求をどのようなタイミングで行なうのかが具体的に明示されていないため、不要な再送要求によりネットワーク負荷を増大させてしまうおそれがある。
本発明は、以上のような課題を解決するために創案されたもので、FECとARQの双方をサポートするデコーダ装置等のパケット受信装置側において、パケットロスト発生時の再送要求の送信タイミングを制御して、不要な再送要求の送信を抑制しつつ、最適な遅延時間で映像や音声の再生を可能とする、パケットエラー訂正装置及び方法を提供することを目的とする。
上記の目的を達成するために、本発明のパケットエラー訂正装置は、次の各部をそなえて構成されたことを特徴としている(請求項1)。
(1)複数パケットに1つエラー訂正用の冗長パケットを送信するパケット送信装置からネットワーク経由で該パケットを受信するパケット受信部
(2)該パケット受信部で受信されるパケットの欠落を検出するパケット欠落検出部
(3)該パケット欠落検出部で該パケットの欠落が検出された場合に、該パケット受信部で次に受信される該冗長パケットに基づいて欠落パケットを復元するためのエラー訂正処理を行なうエラー訂正部
(4)該パケット送信装置に対して該欠落パケットの再送要求を送信しうる再送要求送信部
(5)該パケット欠落検出部でパケットの欠落が検出された場合に、所定時間内に該エラー訂正部により欠落パケットを復元できるか否かに応じて該再送要求送信部による該パケット送信装置への該再送要求の送信タイミングを制御する再送要求制御部
ここで、該再送要求制御部は、該パケット欠落検出部でパケットの欠落が検出されると、次の冗長パケットが該パケット受信部で受信されるまでの時間を計算する冗長パケット到着時間計算部と、該冗長パケット到着時間計算部による計算結果が所定の閾値よりも大きいか否かを判定する冗長パケット到着時間判定部と、該冗長パケット到着時間判定部において該計算結果が該閾値よりも大きいと判定されると、該再送要求送信部に対して該再送要求の送信指示を与える到着時間再送要求送信指示部とをそなえて構成されていてもよい(請求項2)。
また、該再送要求制御部は、該パケット欠落検出部で検出されたパケットの欠落数が所定数以上か否かを判定するパケット欠落数判定部と、該パケット欠落数判定部において該パケットの欠落数が該所定数以上である場合に、該再送要求送信部に対して該再送要求の送信指示を与える欠落数再送要求送信指示部とをそなえて構成されていてもよい(請求項3)。
さらに、該再送要求制御部は、該エラー訂正部による該エラー訂正処理により該欠落パケットの復元が成功したか否かを判定するエラー訂正判定部と、該エラー訂正判定部において該欠落パケットの復元が失敗したと判定されると、該パケット送信装置に対して既に該再送要求が送信されているか否かを確認する再送要求送信確認部と、該再送要求送信確認部にて該再送要求が未送信であると確認されると、該再送要求送信部に対して該再送要求の送信指示を与えるエラー訂正結果再送要求送信指示部とをそなえて構成されていてもよい(請求項4)。
また、本発明のパケットエラー訂正方法(請求項5)は、複数パケットに1つエラー訂正用の冗長パケットを送信するパケット送信装置からネットワーク経由で該パケットを受信し、受信パケットの欠落を検出し、該パケットの欠落が検出された場合に、次に受信される該冗長パケットに基づく欠落パケットの復元のためのエラー訂正処理により所定時間内に該欠落パケットを復元できるか否かを判定し、その判定結果に応じて該パケット送信装置への該欠落パケットについての再送要求の送信タイミングを制御することを特徴としている。
上記の本発明によれば、実時間性の要求されるストリーミングデータ配信等において、不必要な再送要求及びこれに対する再送パケットの送信を抑制して、ネットワーク負荷を抑えつつ、最適な遅延時間で映像や音声等のデータの再生を行なうことが可能となる。
〔A〕第1実施形態の説明
図1は本発明の第1実施形態に係るエラー訂正装置が適用される通信システム構成を示すブロック図で、この図1に示すように、本実施形態の通信システムは、例えば、ネットワーク5としてエラーレートの高いIP(Internet Protocol)ネットワークに、MPEGのストリーミングデータをパケットによりライブ配信するMPEGエンコーダ1、このMPEGエンコーダ1が送信したストリーミングデータ(パケット)を受信/デコード/表示等するMPEGデコーダ2及び/又はクライアント端末3、MPEGエンコーダ1/MPEGデコーダ2等の符号化モードやライブ配信アドレス等の設定制御を行なうサーバ4とが接続されて構成されている。
そして、本システムでは、サーバ4がMPEGエンコーダ1に対して符号化モード(MPEG1/2/4、符号化ビットレート、音声あり/なし等)やライブ配信アドレスの設定を行なう。また、MPEGデコーダ2やクライアント端末3(以下、単に「クライアント3」と表記する)に対して、ライブ受信アドレスや再送要求を即時に送信するか否かの閾値(後述)の設定等もこのサーバ4が行なう。
MPEGエンコーダ1は、例えば、監視システム等における監視対象の場所等の遠隔地に設置され、設定された符号化モードで入力映像を符号化し、符号化されたMPEGストリーミングデータ及びエラー訂正用の冗長パケット(FECパケット)を設定されたアドレスに対して配信する。MPEGデコーダ2及び/又はクライアント3では、受信したMPEGストリーミングデータをエラー訂正しつつ、デコード/再生して遠隔地での映像監視を行なうことを可能とする。
このため、本実施形態のMPEGエンコーダ1は例えば図2、MPEGデコーダ2は例えば図3に示すように構成される。なお、パケット送信側のMPEGエンコーダ1の構成は本発明の適用にあたって特殊な構成を有するものである必要はなく、少なくとも再送要求を受けて要求されたパケットを再送する機能をそなえている(ARQをサポートしている)装置であれば同様に適用される。
(A1)MPEGエンコーダ1の説明
図2に示すように、MPEGエンコーダ1は、その要部に着目すると、映像アナログ/デジタル(A/D)変換器11A,音声アナログ/デジタル(A/D)変換器11B,MPEG符号化部12,冗長パケット生成部13,パケット配信部14,パケットバッファ15,再送要求受信部16,パケット再送部17,サーバインタフェース(IF)部18及び設定制御部19をそなえて構成されている。
ここで、映像A/D変換器11Aは、ビデオカメラ装置等からの入力映像(アナログ信号)をデジタル信号に変換するものであり、音声A/D変換器11Bは、入力音声(アナログ信号)をデジタル信号に変換するものであり、MPEG符号化部12は、これらのA/D変換器11A及び11Bから入力されたデジタル映像/音声信号をMPEG符号化するもので、ここでは、符号化後のMPEGストリーミングデータをパケット化する機能も有している。
冗長パケット生成部13は、このMPEG符号化部12で符号化されたMPEGストリーミングデータを基にエラー訂正用の冗長パケット(パリティ)を生成するものであり、パケット配信部14は、MPEG符号化部12からのMPEGストリーミングデータをパケット化して、冗長パケット生成部13からのパケットとともにネットワーク5に送信(配信)するものである。なお、冗長パケットは、例えば、N個(Nは2以上の整数)のMPEGパケットに1個の割合等で周期的に送信されるようになっている。
パケットバッファ15は、再送要求を受信した場合のパケット再送に備えて送信済みのMPEGパケット(コピーパケット)を一定時間保存するものであり、再送要求受信部16は、ネットワーク5経由でMPEGデコーダ2から受信される再送要求を受信するものであり、パケット再送部17は、この再送要求受信部16で再送要求が受信された場合に、パケットバッファ15から再送要求のあったMPEGパケットを読み出して再送要求元のMPEGデコーダ2宛に送信するものである。
サーバIF部18は、ネットワーク5とのインタフェースをとるもので、ネットワーク5経由でサーバ4からの設定情報や制御情報等を受信できるようになっている。そして、設定制御部19は、MPEGエンコーダ1の全体動作を統括的に制御するもので、サーバIF部18で受信したサーバ4からの設定情報や制御情報に応じて、MPEG符号化部12,冗長パケット生成部13,パケット配信部14,パケット再送部17等に対する設定や制御を行なえるようになっている。
具体的に、装置設定に関しては、この設定制御部19により、サーバIF部18にてサーバ4から受信した符号化モードやライブ配信アドレス,冗長パケット生成割合(間隔),再送パケット保存時間等の設定情報を解釈し、符号化モードをMPEG符号化部12に設定し、ライブ配信アドレスをパケット配信部14に設定し、冗長パケット生成割合を冗長パケット生成部13に設定し、再送パケット保存時間をパケットバッファ15に設定するようになっている。
これにより、本MPEGエンコーダ1は、入力された映像/音声を各A/D変換器11A及び11Bにてそれぞれデジタル変換した後、MPEG符号化部12にてサーバ4から設定された符号化モードで符号化を行なう。そして、冗長パケット生成部13にて、複数のMPEGパケットに対してサーバ4から設定された割合で排他的論理和演算に基づいて冗長パケット(パリティ)を生成し、MPEGパケットとともに冗長パケットをパケット配信部14からネットワーク5に配信する。
また、このとき、MPEGエンコーダ1は、MPEGデコーダ2からの再送要求に備えて、配信済みのMPEGパケットをパケットバッファ15に保存しておき、MPEGデコーダ2から再送要求を再送要求受信部16で受信した場合、MPEGデコーダ2が所望するパケットをこのパケットバッファ15から取り出して、パケット再送部17からネットワーク5に配信する。
(A2)MPEGデコーダ2の説明
一方、MPEGデコーダ2(又はクライアント3。以下、同じ。)は、その要部に着目すると、図3に示すように、エラー訂正装置20として、パケット受信部21,エラー訂正部22,再送要求送信部23及びパケット抜け判定部24をそなえるとともに、MPEG復号化部25,映像デジタル/アナログ(D/A)変換器26A,音声デジタル/アナログ(D/A)変換器26B,サーバIF部27及び設定制御部28をそなえて構成されている。
ここで、パケット受信部21は、MPEGエンコーダ1が送信したパケットをネットワーク5から受信するものであり、エラー訂正部22は、パケットの欠落(パケット抜け)が発生した場合に、次にパケット受信部21にて受信される冗長パケットに基づいて欠落パケットを復元するためのエラー訂正処理(FEC)を行なうものである。なお、パケット抜けの発生は、例えば後述するようにRTPのパケット番号(シーケンス番号)を監視することにより認識できる。
また、再送要求送信部23は、パケット抜け判定部24からの再送要求送信指示に従ってMPEGエンコーダ1に対して再送要求を送信するものであり、パケット抜け判定部(パケット欠落検出部,再送要求制御部)24は、パケット受信部21で受信されるパケットの欠落(パケット抜け)を検出するとともに、パケット抜けが検出された場合に、所定時間内にエラー訂正部22により欠落パケットを復元できるか否かに応じて再送要求送信部23によるMPEGエンコーダ1への再送要求の送信タイミングを制御するものである。
即ち、本パケット抜け判定部24は、後述するようにパケット抜けが発生しても直ぐに冗長パケットを受信できてFECによるエラー訂正が可能な場合があることに着目して、パケット抜けが発生した時点でMPEGエンコーダ1に対して再送要求を即時に送信するか否かを判断するもので、ここでは、例えば、次の冗長パケットが到着する時間を冗長パケットの送信間隔に基づいて判断し、その判断結果に応じて再送要求送信部23による再送要求の送信タイミングを制御(変更)し得るようになっている。
さらに、MPEG復号化部25は、受信したMPEGストリーミングデータを送信側(MPEGエンコーダ1)の符号化モードに対応する復号化モードでMPEG復号化するものであり、映像D/A変換器26Aは、このMPEG復号化部25によってMPEG復号化されたデジタル映像データをアナログ化してモニタ装置等の映像表示装置へ出力するものであり、音声D/A変換器26Bは、MPEG復号化部25によってMPEG復号化されたデジタル音声データをアナログ化してスピーカ等の音声出力装置へ出力するものである。
サーバIF部27は、ネットワーク5とのインタフェースをとるもので、MPEGエンコーダ1と同様に、サーバ4からの設定情報や制御情報を受信できるようになっている。そして、設定制御部28は、このサーバIF部27にて受信された設定情報や制御情報に応じてパケット受信部21やMPEG復号化部25等に対する設定や制御を行なうものである。
これにより、まず、装置設定に関しては、サーバIF部27にてサーバ4から受信したライブ受信アドレスを設定制御部28にて解釈し、そのアドレスをパケット受信部21に設定する。パケット受信部21で受信したパケットは、パケット抜け判定部24でパケット抜けの有無が判定され、パケット抜けがない場合は、MPEG復号化部25でMPEG復号化された後、映像及び音声の各D/A変換器26A及び26Bにてそれぞれ映像及び音声の再生出力が行なわれる。
一方、パケット抜けの発生をパケット抜け判定部24が認識した場合には、直ぐにはMPEG復号化部25によるMPEG復号化は行なわず、次の冗長パケットを受信するまで待ってエラー訂正部22によるエラー訂正(FEC)を行なうか、再送要求送信部23からMPEGエンコーダ1に対して再送要求を送信して欠落パケットを受信するまで待ってから、MPEG復号化を行なう。
以下、より詳細な動作について、図4に示すフローチャート(ステップS1〜S13)を参照しながら詳述する。なお、以下において、MPEGエンコーダ1は、MPEGパケットN個に対して冗長パケットを1個送信するものとし、送信パケットにはRTPヘッダを付加して、UDP(User Datagram Protocol)送信するものとする。また、MPEGデコーダ2からの再送要求があった場合には要求のあったパケットを再送するものとする。
まず、図4に示すように、MPEGデコーダ2は、ネットワーク5上に配信されているパケットをパケット受信部21にて受信し(ステップS1)、受信したパケットがMPEGパケットか冗長パケットかを判定する(ステップS2)。MPEGパケットである場合(ステップS2でYesの場合)、MPEGデコーダ2は、例えば、RTPのシーケンス番号(パケット番号)から前回受信したパケットの次のパケットか、そうでないかを判断して、パケット抜けが発生しているか否かを判断する(ステップS3)。その結果、パケット抜けが発生していなければ、受信パケット(MPEGパケット)は、そのままMPEG復号化部25に出力される(ステップS3のNoルート)。
一方、パケット抜けが発生している場合は、パケット抜け判定部24により、再送要求を直ぐに送信するかどうかを判定する。即ち、ロストしたパケットに対して即時で再送要求を送信すると、その後に受信される冗長パケットによりエラー訂正(復元)できる可能性があり、復元できた場合は再送要求処理自体が無駄なものとなる。また、ネットワーク5に不要な再送要求(パケット)を流すことになり、ネットワーク5の負荷を高めてしまうことにもなる。
しかしながら、MPEGエンコーダ1の送信レートが低レートな場合は、冗長パケットを受信するまで待っていると冗長パケットの受信に長時間を要してしまう(最大Nパケット分)ため、その分、映像/音声の再生遅延時間が増大してしまう。
例えば、システムレート=6Mbps(メガビット毎秒)、パケット長=1024バイト、冗長パケット生成間隔(割合)=10パケットに1個の場合は、
(1024[bytes]*8[bits/byte] / 6,000,000[bits/sec] )*10 = 0.01365[sec]
となり、13.65 msec(ミリ秒)後には冗長パケットが到着するが、例えば、システムレート=25kbps(キロビット毎秒)、パケット長=512バイト、冗長パケット生成間隔=10パケットに1個の場合は、
(512[bytes]*8[bits/byte] / 25,000[bits/sec] )*10 = 1.6384[sec]
となり、1.64sec(秒)経過するまで冗長パケットが到着しない。
そこで、本実施形態のパケット抜け判定部24は、パケット抜けの発生を認識すると、上記のようなレート計算を行ない(ステップS4)、次の冗長パケットが到着するまでの時間(冗長パケットの送信間隔)によって、再送要求を即時で配信するかどうかを判断する(ステップS5)。その閾値はシステムとしての遅延時間をどのくらいまでに許容するかによるので、例えば、サーバ4から適宜に設定することが可能である。一例としては、100[msec]程度が考えられる。また、上記のシステムレートや冗長パケット生成間隔もサーバ4からの設定が可能である。なお、図4においては、パケット抜けの発生を認識する毎にレート計算を行なう流れになっているが、一度計算した結果をその後一定期間固定的に使用するようにしてもよい。
上記判断の結果、冗長パケット到着までの時間が閾値よりも短く、直ぐに冗長パケットが到着するような場合には、パケット抜け判定部24は、再送要求送信部23に対して再送要求の送信指示は出さず(ステップS5のNoルート)、閾値よりも長く、冗長パケットの到着を待っていると遅延時間が大きくなるような場合には、再送要求送信部23に対して再送要求の送信指示を与えて再送要求をMPEGエンコーダ1へ送信させる(ステップS5のYesルートからステップS6)。
つまり、本実施形態のパケット抜け判定部24は、パケット抜けが検出されると、次の冗長パケットがパケット受信部21で受信されるまでの時間を計算する冗長パケット到着時間計算部241、この冗長パケット到着時間計算部241による計算結果が所定の閾値よりも大きいか否かを判定する冗長パケット到着時間判定部242、この冗長パケット到着時間判定部242において上記計算結果が閾値よりも大きいと判定されると、再送要求送信部23に対して再送要求の送信指示を与える到着時間再送要求送信指示部243としての各機能を兼ね備えていることになる(図3及び図4参照)。
その後、MPEGデコーダ2は、MPEG復号化部25による復号化(デコード)が可能な状態にある(復号単位のパケットグループのパケットが揃った)か否かを判定し(ステップS7)、デコード不能状態であれば、上記ステップS1以降の処理をデコード可能な状態になるまで繰り返し(ステップS7のNoルート)、デコード可能な状態となれば、MPEG復号化部25によるMPEG復号化を行なう(ステップS7のYesルートからステップS8)。
一方、受信パケットが冗長パケットであった場合(ステップS2でNoの場合)、MPEGデコーダ2は、まず、過去に受信したNパケット内にパケットロストがあったか否かをチェックし(ステップS9)、ロストがなかった場合(ステップS9でNoの場合)は、エラー訂正の必要がないので、その冗長パケットを破棄する。ロストがあった場合は、エラー訂正部22にて、当該冗長パケットを使用してパケット復元処理を行なう(ステップS9のYesルートからステップS10)。
これにより、パケット復元が成功した場合(ステップS11でNoの場合)は、復元パケット以降の現在までのパケットがMPEG復号化部25に渡されて、MPEG復号化が行なわれる。パケット復元できなかった場合(ステップS11でYesの場合)は、パケットロストと判断した時に再送要求送信部23により既に再送要求を送信しているか否かをチェックする(ステップS12)。
その結果、再送要求を送信済みの場合は、MPEGエンコーダ1からの再送が期待できるので、このタイミングでは再送要求は送信しない(ステップS12のNoルート)。逆に、再送要求を未送信の場合は、MPEGエンコーダ1からの再送が期待できないので、このタイミングで再送要求を送信する(ステップS12のYesルートからステップS13)。
つまり、本実施形態のパケット抜け判定部24は、エラー訂正部22によるエラー訂正処理により欠落パケットの復元が成功したか否かを判定するエラー訂正判定部244、このエラー訂正判定部244において欠落パケットの復元が失敗したと判定されると、MPEGエンコーダ1に対して既に再送要求が送信されているか否かを確認する再送要求送信確認部245、この再送要求送信確認部245にて再送要求が未送信であると確認されると、再送要求送信部23に対して再送要求の送信指示を与えるエラー訂正結果再送要求送信指示部246としての各機能を兼ね備えていることになる(図3及び図4参照)。
以上の処理により、エラーレートの高いIPネットワーク等のネットワーク5において実時間性の要求されるストリーミングデータ転送を行なう場合に、パケットロストが発生しても、MPEGデコーダ2において、冗長パケットの送信間隔に応じてMPEGエンコーダ1へ再送要求を送信するタイミングを制御して、不必要な再送を抑制してネットワーク5の負荷を抑えつつ、最適な遅延時間でストリーミングデータ(映像/音声)の再生を行なうことが可能となる。
なお、上述した例では、冗長パケットの送信間隔により再送要求の送信タイミングを制御しているが、MPEGパケットの送信間隔に基づいて前記のようなレート計算を行なうことでも、上記と同様の作用効果が得られる。
〔B〕第2実施形態の説明
上述した第1実施形態では、冗長パケットの送信間隔によって再送要求を即時で送信するかどうかを判断したが、低レートの場合でもロストしたパケット(番号)によっては直後に冗長パケットを受信する可能性がある。例えば図5に示すように、N=10個のMPEGパケットに1個の冗長パケット(FECパケット)を送信する場合、パケット番号1番や2番あるいは11番や12番のように1つの冗長パケットで復元可能なパケットグループの中で早い段階で送信されるものと、パケット番号9番や10番あるいは19番や20番のように1つの冗長パケットで復元可能なパケットグループの中で遅い段階で送信されるものとでは、パケットロストした場合に冗長パケットを受信するまでの時間に大きな違いが生じる。
そこで、本第2実施形態のMPEGデコーダ2(クライアント3)では、パケット抜け判定部24において、パケット抜けの発生を認識した時点で即時に再送要求を送信するか、冗長パケット受信後に再送要求を送信するかを、パケット抜けの生じたパケット番号を基に次の冗長パケット到達までの時間で判断する。なお、他の構成については上述した第1実施形態と同一もしくは同様で、既述の符号と同一符号を付したものは特に断らない限り、既述のものと同一もしくは同様のものである。
例えば、システムレート=100kbps、パケット長=512バイト、冗長パケット生成間隔=10パケットに1個で、図5に示す1番や11番のパケットがロストした場合は、
(512[bytes]*8[bits/byte] / 100,000[bits/sec] )*10 = 409.6[msec]
となり、409.6msec経過するまで冗長パケットが到着しない。
一方、同じ条件(システムレート=100kbps、パケット長=512バイト、冗長パケット生成間隔=10パケットに1個)で、図5に示す10番や20番のパケットがロストした場合は、
(512[bytes]*8[bits/byte] / 100,000[bits/sec] )*1 = 40.96[msec]
となり、40.96msec後には冗長パケットが到着することになる。
従って、本実施形態のパケット抜け判定部24は、ロストしたパケット番号を基に冗長パケットが到着するまでの時間を求めて、その到着時間によって再送要求送信部23から再送要求を即時で送信する否かを判断する。このようにすることで、第1実施形態の場合よりも再送要求の要否判断の精度を向上することができる。なお、当該判断の基準となる閾値も、第1実施形態と同様、システムとしての遅延時間をどのくらいまでに許容するかによるため、本実施形態においても、サーバ4から適宜に設定することが可能である。一例としては、この場合も、100[msec]程度が考えられる。
そして、パケット抜け判定部24は、次の冗長パケットの到着時間が当該閾値よりも大きければ、冗長パケットの到着に時間がかかるものと判断して、再送要求送信部23に対して再送要求の送信指示を与え、閾値よりも小さければ、冗長パケットの到着を待つため再送要求送信部23に対して再送要求の送信指示は出さない。なお、他の動作は図4に示すフローチャートにより説明した動作に従う。
以上の処理により、本実施形態では、第1実施形態と同様の効果ないし利点が得られるほか、再送要求の要否判断の精度が向上するので、第1実施形態の場合よりもより効果的に、不要な再送要求を抑制しつつ、実時間性の要求されるストリーミングデータ(映像/音声)の再生遅延時間を最適化することが可能となる。
〔C〕第3実施形態の説明
次に、本第3実施形態では、MPEGエンコーダ1から配信されたMPEGパケットの一部がロストした場合に、MPEGデコーダ2(又はクライアント3)において、パケットのロスト度合い(欠落数)によってMPEGエンコーダ1に対する再送要求の送信タイミングを変更する動作について説明する。なお、MPEGエンコーダ1及びMPEGデコーダ2(クライアント3)の構成自体は、特に断らない限り、いずれも図2及び図3により前述した構成と同一もしくは同様であり、MPEGエンコーダ1の動作も第1実施形態と同一もしくは同様である。
そして、本第3実施形態のMPEGデコーダ2は、例えば図6に示すフローチャート(ステップS21〜S32)に従って動作する。即ち、この場合も、MPEGデコーダ2は、ネットワーク5上に配信されているパケットをパケット受信部21にて受信し(ステップS21)、受信したパケットがMPEGパケットか冗長パケットかを判定し(ステップS22)、MPEGパケットである場合(ステップS22でYesの場合)は、例えば、RTPのシーケンス番号から前回受信したパケットの次のパケットか、そうでないかを判断して、パケット抜けが発生しているか否かを判断する(ステップS23)。
その結果、パケット抜けが発生していなければ、受信パケット(MPEGパケット)は、そのままMPEG復号化部25に出力されるが(ステップS23のNoルート)、パケット抜けが発生している場合は、パケット抜け判定部24により、RTPのシーケンス番号からパケットのロスト度合い(欠落数)を判断して、エラー訂正部22(FEC)による復元が可能か否かを判断する(ステップS23のYesルートからステップS24)。
例えば、直前に受信したパケットのシーケンス番号をM(Mは自然数)とすると、M以下の番号は過去に受信済みのパケットであり、正常なパケットはM+1、1つパケットロストした場合はM+2、M+3以上の番号は複数のパケットがロスしたことを意味する。ここで、MPEGエンコーダ1からN個のMPEGパケットに1個の割合で冗長パケットを付加・送信している場合、N個のうち1個までのエラーはFECにより復元可能であるが、2個以上のパケットが欠落した場合の復元(修復)は不可能である。
そのため、パケット抜け判定部24は、複数パケットのロストが発生した場合、その時点で復元不能と判断できるので、即時に再送要求送信部23からMPEGエンコーダ1宛に再送要求を送信させる(ステップS24のYesルートからステップS25)。なお、パケットの受信順逆転等の発生により、その後に所望のパケット番号のパケットを正常に受信できる可能性はあるが、確率的に低い。
一方、N個のパケットから成るパケットグループの中でパケットロストが1以下であれば、パケット抜け判定部24は、その時点で再送要求送信部23に対して再送要求の送信指示は出さず、次の冗長パケットを受信するまで再送要求の送信を待機することになる(ステップS24のNoルート)。なお、図6に示す他のステップS26〜S32での処理はいずれも図4により前述したステップS7〜S13での処理と同様である。
つまり、本実施形態のパケット抜け判定部24は、パケットの欠落数が所定数(2)以上か否かを判定するパケット欠落数判定部247としての機能と、このパケット欠落数判定部247においてパケットの欠落数が所定数以上である場合に、再送要求送信部23に対して再送要求の送信指示を与える欠落数再送要求送信指示部248としての機能を兼ね備えていることになる(図3及び図6参照)。
以上のようにして、パケットロストが発生した場合に、MPEGデコーダ2において、その度合いによって再送要求を送信するタイミングを制御(変更)することで、第1実施系形態と同様の効果ないし利点が得られるほか、この場合は、より早い段階で再送要求の要否判断が可能となるので、より最適な遅延時間でストリーミングデータ(映像/音声)の再生を行なうことが可能となる。
以上説明した本発明の実施形態によれば、MPEGエンコーダ1から送信されたパケットがロストした場合に、MPEGデコーダ2において、所定時間内にFEC(エラー訂正部22)によってロストしたパケットを復元できるか否か(具体的には、エラー訂正用の冗長パケットの送信間隔や到着時間、パケットロストの度合い)に応じて、MPEGエンコーダ1への再送要求の送信タイミングを制御(変更)するので、不必要な再送要求及びこれに対する再送パケットの送信を抑制してネットワーク負荷を抑えつつ、最適な遅延時間で実時間性の要求される映像/音声等のストリーミングデータ再生を行なうことが可能となる。
なお、本発明は、上述した実施形態に限定されず、本発明の趣旨を逸脱しない範囲で種々変形して実施できることはいうまでもない。
例えば、上述した実施形態では、パケット抜けが発生した場合に必ず再送要求の要否判断を行なっているが、当該判断を省略して、FECによるエラー訂正ができなかった場合にのみ再送要求の送信を行なうようにしてもよい。
また、上述した実施形態では転送されるストリーミングデータがMPEGにより符号化したデータ(MPEGパケット)である場合について述べたが、勿論、他の符号化方式による符号化データについても本発明は同様に適用できる。
さらに、上述した実施形態においては、本発明をMPEGデコーダ2又はクライアント3に適用した場合について説明したが、パケットを受信する装置であれば同様に適用でき、上述した実施形態と同様の作用効果を得ることができる。
〔D〕付記
(付記1)
複数パケットに1つエラー訂正用の冗長パケットを送信するパケット送信装置からネットワーク経由で該パケットを受信するパケット受信部と、
該パケット受信部で受信されるパケットの欠落を検出するパケット欠落検出部と、
該パケット欠落検出部で該パケットの欠落が検出された場合に、該パケット受信部で次に受信される該冗長パケットに基づいて欠落パケットを復元するためのエラー訂正処理を行なうエラー訂正部と、
該パケット送信装置に対して該欠落パケットの再送要求を送信しうる再送要求送信部と、
該パケット欠落検出部でパケットの欠落が検出された場合に、所定時間内に該エラー訂正部により欠落パケットを復元できるか否かに応じて該再送要求送信部による該パケット送信装置への該再送要求の送信タイミングを制御する再送要求制御部とをそなえて構成されたことを特徴とする、パケットエラー訂正装置。
(付記2)
該再送要求制御部が、
該パケット欠落検出部でパケットの欠落が検出されると、次の冗長パケットが該パケット受信部で受信されるまでの時間を計算する冗長パケット到着時間計算部と、
該冗長パケット到着時間計算部による計算結果が所定の閾値よりも大きいか否かを判定する冗長パケット到着時間判定部と、
該冗長パケット到着時間判定部において該計算結果が該閾値よりも大きいと判定されると、該再送要求送信部に対して該再送要求の送信指示を与える到着時間再送要求送信指示部とをそなえて構成されたことを特徴とする、付記1記載のパケットエラー訂正装置。
(付記3)
該再送要求制御部が、
該パケット欠落検出部で検出されたパケットの欠落数が所定数以上か否かを判定するパケット欠落数判定部と、
該パケット欠落数判定部において該パケットの欠落数が該所定数以上である場合に、該再送要求送信部に対して該再送要求の送信指示を与える欠落数再送要求送信指示部とをそなえて構成されたことを特徴とする、付記1記載のパケットエラー訂正装置。
(付記4)
該再送要求制御部が、
該エラー訂正部による該エラー訂正処理により該欠落パケットの復元が成功したか否かを判定するエラー訂正判定部と、
該エラー訂正判定部において該欠落パケットの復元が失敗したと判定されると、該パケット送信装置に対して既に該再送要求が送信されているか否かを確認する再送要求送信確認部と、
該再送要求送信確認部にて該再送要求が未送信であると確認されると、該再送要求送信部に対して該再送要求の送信指示を与えるエラー訂正結果再送要求送信指示部とをそなえて構成されたことを特徴とする、付記1〜3のいずれか1項に記載のパケットエラー訂正装置。
(付記5)
複数パケットに1つエラー訂正用の冗長パケットを送信するパケット送信装置からネットワーク経由で該パケットを受信し、
受信パケットの欠落を検出し、
該パケットの欠落が検出された場合に、次に受信される該冗長パケットに基づく欠落パケットの復元のためのエラー訂正処理により所定時間内に該欠落パケットを復元できるか否かに応じて該パケット送信装置への該欠落パケットについての再送要求の送信タイミングを制御することを特徴とする、パケットエラー訂正方法。
(付記6)
該パケットの欠落が検出されると、次の冗長パケットが受信されるまでの時間を計算し、その計算結果が所定の閾値よりも大きいか否かを判定し、該計算結果が該閾値よりも大きいと判定されると該再送要求を送信させることを特徴とする、付記5記載のパケットエラー訂正方法。
(付記7)
該パケットの欠落数が所定数以上か否かを判定し、該欠落数が該所定数以上である場合に、該再送要求を送信させることを特徴とする、付記5記載のパケットエラー訂正方法。
(付記8)
該エラー訂正処理により該欠落パケットの復元が成功したか否かを判定し、該欠落パケットの復元が失敗したと判定されると、該パケット送信装置に対して既に該再送要求が送信されているか否かを確認し、該再送要求が未送信であると、該再送要求を送信させることを特徴とする、付記5〜7のいずれか1項に記載のパケットエラー訂正方法。
以上詳述したように、本発明によれば、不必要な再送要求及びこれに対する再送パケットの送信を抑制してネットワーク負荷を抑えつつ、最適な遅延時間で実時間性の要求される映像/音声等のストリーミングデータ再生を行なうことが可能なので、特に、実時間性の要求されるインターネット通信分野におけるエラー訂正技術として極めて有用であると考えられる。
本発明の第1実施形態に係るエラー訂正装置が適用される通信システム構成を示すブロック図である。 図1に示すMPEGエンコーダの要部構成を示すブロック図である。 図1に示すMPEGデコーダの要部構成を示すブロック図である。 図3に示すMPEGデコーダの動作を説明するためのフローチャートである。 本発明の第2実施形態に係るエラー訂正方法を説明するための図である。 本発明の第3実施形態に係るエラー訂正方法を説明するためのフローチャートである。 従来のFECを利用したエラー訂正方法を説明するための図である。 従来のARQを利用したエラー訂正方法を説明するための図である。
符号の説明
1 MPEGエンコーダ(パケット送信装置)
11A 映像アナログ/デジタル(A/D)変換器
11B 音声A/D変換器
12 MPEG符号化部
13 冗長パケット生成部
14 パケット配信部
15 パケットバッファ
16 再送要求受信部
17 パケット再送部
18 サーバインタフェース(IF)部
19 設定制御部
2 MPEGデコーダ
20 エラー訂正装置
21 パケット受信部
22 エラー訂正部
23 再送要求送信部
24 パケット抜け判定部(パケット欠落検出部,再送要求制御部)
241 冗長パケット到着時間計算部
242 冗長パケット到着時間判定部
243 到着時間再送要求送信指示部
244 エラー訂正判定部
245 再送要求送信確認部
246 エラー訂正結果再送要求送信指示部
247 パケット欠落数判定部
248 欠落数再送要求送信指示部
25 MPEG復号化部
26A 映像D/A変換器
26B 音声D/A変換器
27 サーバIF部
28 設定制御部
3 クライアント
4 サーバ
5 ネットワーク

Claims (5)

  1. 複数パケットに1つエラー訂正用の冗長パケットを送信するパケット送信装置からネットワーク経由で該パケットを受信するパケット受信部と、
    該パケット受信部で受信されるパケットの欠落を検出するパケット欠落検出部と、
    該パケット欠落検出部で該パケットの欠落が検出された場合に、該パケット受信部で次に受信される該冗長パケットに基づいて欠落パケットを復元するためのエラー訂正処理を行なうエラー訂正部と、
    該パケット送信装置に対して該欠落パケットの再送要求を送信しうる再送要求送信部と、
    該パケット欠落検出部でパケットの欠落が検出された場合に、所定時間内に該エラー訂正部により欠落パケットを復元できるか否かに応じて該再送要求送信部による該パケット送信装置への該再送要求の送信タイミングを制御する再送要求制御部とをそなえて構成されたことを特徴とする、パケットエラー訂正装置。
  2. 該再送要求制御部が、
    該パケット欠落検出部でパケットの欠落が検出されると、次の冗長パケットが該パケット受信部で受信されるまでの時間を計算する冗長パケット到着時間計算部と、
    該冗長パケット到着時間計算部による計算結果が所定の閾値よりも大きいか否かを判定する冗長パケット到着時間判定部と、
    該冗長パケット到着時間判定部において該計算結果が該閾値よりも大きいと判定されると、該再送要求送信部に対して該再送要求の送信指示を与える到着時間再送要求送信指示部とをそなえて構成されたことを特徴とする、請求項1記載のパケットエラー訂正装置。
  3. 該再送要求制御部が、
    該パケット欠落検出部で検出されたパケットの欠落数が所定数以上か否かを判定するパケット欠落数判定部と、
    該パケット欠落数判定部において該パケットの欠落数が該所定数以上である場合に、該再送要求送信部に対して該再送要求の送信指示を与える欠落数再送要求送信指示部とをそなえて構成されたことを特徴とする、請求項1記載のパケットエラー訂正装置。
  4. 該再送要求制御部が、
    該エラー訂正部による該エラー訂正処理により該欠落パケットの復元が成功したか否かを判定するエラー訂正判定部と、
    該エラー訂正判定部において該欠落パケットの復元が失敗したと判定されると、該パケット送信装置に対して既に該再送要求が送信されているか否かを確認する再送要求送信確認部と、
    該再送要求送信確認部にて該再送要求が未送信であると確認されると、該再送要求送信部に対して該再送要求の送信指示を与えるエラー訂正結果再送要求送信指示部とをそなえて構成されたことを特徴とする、請求項1〜3のいずれか1項に記載のパケットエラー訂正装置。
  5. 複数パケットに1つエラー訂正用の冗長パケットを送信するパケット送信装置からネットワーク経由で該パケットを受信し、
    受信パケットの欠落を検出し、
    該パケットの欠落が検出された場合に、次に受信される該冗長パケットに基づく欠落パケットの復元のためのエラー訂正処理により所定時間内に該欠落パケットを復元できるか否かを判定し、
    その判定結果に応じて該パケット送信装置への該欠落パケットについての再送要求の送信タイミングを制御することを特徴とする、パケットエラー訂正方法。
JP2003390914A 2003-11-20 2003-11-20 パケットエラー訂正装置及び方法 Expired - Fee Related JP4328602B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003390914A JP4328602B2 (ja) 2003-11-20 2003-11-20 パケットエラー訂正装置及び方法
US10/853,000 US7636298B2 (en) 2003-11-20 2004-05-25 Apparatus and method for packet error correction
KR1020040049365A KR100634946B1 (ko) 2003-11-20 2004-06-29 패킷 에러 정정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003390914A JP4328602B2 (ja) 2003-11-20 2003-11-20 パケットエラー訂正装置及び方法

Publications (2)

Publication Number Publication Date
JP2005159433A true JP2005159433A (ja) 2005-06-16
JP4328602B2 JP4328602B2 (ja) 2009-09-09

Family

ID=34587460

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003390914A Expired - Fee Related JP4328602B2 (ja) 2003-11-20 2003-11-20 パケットエラー訂正装置及び方法

Country Status (3)

Country Link
US (1) US7636298B2 (ja)
JP (1) JP4328602B2 (ja)
KR (1) KR100634946B1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007053745A (ja) * 2005-07-22 2007-03-01 Sanyo Electric Co Ltd 受信機及びプログラム
WO2007023520A1 (ja) * 2005-08-22 2007-03-01 Matsushita Electric Industrial Co., Ltd. 通信装置及び通信方法
WO2007061087A1 (ja) * 2005-11-28 2007-05-31 Nec Corporation 通信装置、通信システム、通信方法、および、通信プログラム
JP2008028739A (ja) * 2006-07-21 2008-02-07 Toshiba Corp 情報処理装置
KR100906941B1 (ko) 2007-12-18 2009-07-10 한국전자통신연구원 복수 수신채널을 갖는 케이블모뎀에서 케이블 데이터서비스 인터페이스 규격 프레임 재구성 장치 및 방법
JP2012124638A (ja) * 2010-12-07 2012-06-28 Sumitomo Electric System Solutions Co Ltd データ伝送装置、プログラム、及びデータ伝送方法
JP2012129751A (ja) * 2010-12-14 2012-07-05 Canon Inc 受信装置及び、受信装置による処理方法
US8233549B2 (en) 2008-07-29 2012-07-31 Canon Kabushiki Kaisha Video receiving apparatus and video receiving method to address error in received video
US8290284B2 (en) 2007-09-28 2012-10-16 Fujitsu Limited Error determination device and error determination method
JP2013207485A (ja) * 2012-03-28 2013-10-07 Fujitsu Ltd データ受信方法及び装置
JP2014011798A (ja) * 2012-06-29 2014-01-20 Honeywell Internatl Inc 複数データリンクを横切る情報転送のためのステートフルコネクションレスオーバーレイプロトコル
JP2016139862A (ja) * 2015-01-26 2016-08-04 パナソニックIpマネジメント株式会社 通信システム、送信装置及び受信装置
JP2016139863A (ja) * 2015-01-26 2016-08-04 パナソニックIpマネジメント株式会社 通信システム、送信装置及び受信装置

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630305B2 (en) 2003-07-29 2009-12-08 Orbital Data Corporation TCP selective acknowledgements for communicating delivered and missed data packets
US8270423B2 (en) 2003-07-29 2012-09-18 Citrix Systems, Inc. Systems and methods of using packet boundaries for reduction in timeout prevention
US7616638B2 (en) 2003-07-29 2009-11-10 Orbital Data Corporation Wavefront detection and disambiguation of acknowledgments
US8233392B2 (en) * 2003-07-29 2012-07-31 Citrix Systems, Inc. Transaction boundary detection for reduction in timeout penalties
US8432800B2 (en) 2003-07-29 2013-04-30 Citrix Systems, Inc. Systems and methods for stochastic-based quality of service
US8437284B2 (en) * 2003-07-29 2013-05-07 Citrix Systems, Inc. Systems and methods for additional retransmissions of dropped packets
US8238241B2 (en) 2003-07-29 2012-08-07 Citrix Systems, Inc. Automatic detection and window virtualization for flow control
US7328393B2 (en) * 2004-04-13 2008-02-05 Cisco Technology, Inc. Forward error correction in packet networks
KR100746013B1 (ko) 2005-11-15 2007-08-06 삼성전자주식회사 무선 네트워크에서의 데이터 전송 방법 및 장치
KR20080068745A (ko) * 2005-12-15 2008-07-23 미쓰비시덴키 가부시키가이샤 통신 시스템, 송신측 통신 장치 및 수신측 통신 장치
JP4419023B2 (ja) * 2006-03-23 2010-02-24 株式会社カシオ日立モバイルコミュニケーションズ 移動体通信端末、および、プログラム
US7577898B2 (en) * 2006-04-10 2009-08-18 At&T Intellectual Property I, L.P. System and method of correcting video data errors
JP4328816B2 (ja) * 2006-09-25 2009-09-09 キヤノン株式会社 通信装置及びその制御方法、プログラム、記憶媒体
US7937640B2 (en) * 2006-12-18 2011-05-03 At&T Intellectual Property I, L.P. Video over IP network transmission system
US10284483B2 (en) 2007-02-07 2019-05-07 Valens Semiconductor Ltd. Indicating delays added to packets due to retransmission
US10749642B2 (en) * 2007-02-07 2020-08-18 Valens Semiconductor Ltd. Dynamic retransmissions with fixed and minimum delays
US9722763B2 (en) * 2007-02-07 2017-08-01 Valens Semiconductor Ltd. Highly utilized communication channel with order and retransmissions
JP4639207B2 (ja) * 2007-03-14 2011-02-23 株式会社日立製作所 ネットワークシステム、ノード装置及び管理サーバ
US8130659B2 (en) * 2007-03-29 2012-03-06 Broadcom Corporation RF transceiver system with adjustable transmission parameters and methods for use therewith
US7827030B2 (en) * 2007-06-15 2010-11-02 Microsoft Corporation Error management in an audio processing system
JP2009027720A (ja) * 2007-07-23 2009-02-05 Polycom Inc 輻輳回避と共に損失パケット回復を行うシステム及び方法
CN101127587B (zh) * 2007-09-25 2011-12-28 中兴通讯股份有限公司 一种自动重传请求状态报告触发方法
CN101146215B (zh) * 2007-10-09 2011-08-10 华为技术有限公司 基于组播的视频服务冗余备份方法、装置及系统
US8255753B2 (en) * 2007-12-04 2012-08-28 Intel Corporation Encoding/decoding technique for rebroadcasting lost packets
KR100899810B1 (ko) * 2007-12-17 2009-05-27 한국전자통신연구원 가변대역 멀티코덱을 위한 고정 지연 발생 장치 및 그 방법
JP5088957B2 (ja) * 2008-02-18 2012-12-05 パナソニック株式会社 電力線通信装置、電力線通信システム、および登録処理方法
US8004963B2 (en) * 2008-02-27 2011-08-23 Audividi Inc. Apparatus and method for packet redundancy and recovery
JP5109787B2 (ja) * 2008-05-02 2012-12-26 富士通株式会社 データ伝送システム、プログラム及び方法
JP5408981B2 (ja) * 2008-12-09 2014-02-05 キヤノン株式会社 通信装置、及び通信方法、プログラム
US7974233B2 (en) * 2009-07-29 2011-07-05 Wiviu Technology Inc. Systems and methods for transmitting and receiving data streams with feedback information over a lossy network
EP2302845B1 (en) 2009-09-23 2012-06-20 Google, Inc. Method and device for determining a jitter buffer level
CN103109485A (zh) 2010-01-28 2013-05-15 汤姆森特许公司 用于作出重发决定的方法和装置
US8477050B1 (en) 2010-09-16 2013-07-02 Google Inc. Apparatus and method for encoding using signal fragments for redundant transmission of data
US8365046B2 (en) 2010-11-23 2013-01-29 Lsi Corporation Method and apparatus for non-uniform redundancy packet error correction
US8838680B1 (en) 2011-02-08 2014-09-16 Google Inc. Buffer objects for web-based configurable pipeline media processing
US8681866B1 (en) 2011-04-28 2014-03-25 Google Inc. Method and apparatus for encoding video by downsampling frame resolution
US8661323B2 (en) 2011-05-09 2014-02-25 Google Inc. Method and apparatus for generating packet mask
US9106787B1 (en) 2011-05-09 2015-08-11 Google Inc. Apparatus and method for media transmission bandwidth control using bandwidth estimation
US9490850B1 (en) 2011-11-28 2016-11-08 Google Inc. Method and apparatus for decoding packetized data
US9185429B1 (en) 2012-04-30 2015-11-10 Google Inc. Video encoding and decoding using un-equal error protection
US9667756B2 (en) * 2012-06-05 2017-05-30 Electronics And Telecommunications Research Institute Apparatus and method for transmitting/receiving data in communication system
KR101801565B1 (ko) * 2012-06-05 2017-11-27 한국전자통신연구원 통신 시스템에서 데이터 송수신 장치 및 방법
US10034023B1 (en) 2012-07-30 2018-07-24 Google Llc Extended protection of digital video streams
JP2014075735A (ja) * 2012-10-05 2014-04-24 Sony Corp 画像処理装置および画像処理方法
US9848029B2 (en) * 2012-12-28 2017-12-19 Opentv, Inc. Highly-scalable data transmission
US9172740B1 (en) 2013-01-15 2015-10-27 Google Inc. Adjustable buffer remote access
US9311692B1 (en) 2013-01-25 2016-04-12 Google Inc. Scalable buffer remote access
US9225979B1 (en) 2013-01-30 2015-12-29 Google Inc. Remote access encoding
EP3065412B1 (en) 2013-10-31 2020-08-05 Panasonic Intellectual Property Corporation of America Content transmission method and content playback method
US9510283B2 (en) * 2014-01-24 2016-11-29 Starkey Laboratories, Inc. Systems and methods for managing power consumption in a wireless network
TWI543569B (zh) * 2014-11-24 2016-07-21 晶睿通訊股份有限公司 資料傳輸系統、資料傳輸監測方法、伺服端裝置及電腦可讀取媒體
US10834065B1 (en) 2015-03-31 2020-11-10 F5 Networks, Inc. Methods for SSL protected NTLM re-authentication and devices thereof
US10855597B2 (en) * 2015-06-29 2020-12-01 T-Mobile Usa, Inc. Channel coding for real time wireless traffic
US10404698B1 (en) 2016-01-15 2019-09-03 F5 Networks, Inc. Methods for adaptive organization of web application access points in webtops and devices thereof
US10687228B2 (en) 2018-06-20 2020-06-16 MeshPlusPlus, Inc. Data aggregation for distributed optimization of a wireless network
US10674399B2 (en) * 2018-06-20 2020-06-02 MeshPlusPlus, Inc. Clustered synchronization within a distance-vector wireless network
CN115834973B (zh) * 2023-01-12 2023-06-02 厦门简算科技有限公司 一种云端向本地终端数据高速传输方法及系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4584685A (en) 1983-12-22 1986-04-22 General Electric Company Method for improving message reception from multiple sources
JP2503888B2 (ja) 1993-06-30 1996-06-05 日本電気株式会社 移動無線通信におけるデ―タ伝送方式
US5719883A (en) 1994-09-21 1998-02-17 Lucent Technologies Inc. Adaptive ARQ/FEC technique for multitone transmission
US6401150B1 (en) * 1995-06-06 2002-06-04 Apple Computer, Inc. Centralized queue in network printing systems
JPH09214474A (ja) 1995-11-28 1997-08-15 Sanyo Electric Co Ltd デジタル通信方法及び受信装置
JP3571918B2 (ja) 1997-06-04 2004-09-29 株式会社東芝 符号伝送方法、送信装置、受信装置および通信システム
US6996097B1 (en) * 1999-05-21 2006-02-07 Microsoft Corporation Receiver-driven layered error correction multicast over heterogeneous packet networks
JP2002009883A (ja) 2000-06-21 2002-01-11 Mitsubishi Electric Corp データ転送システム
US7224702B2 (en) * 2000-08-30 2007-05-29 The Chinese University Of Hong Kong System and method for error-control for multicast video distribution
JP4338924B2 (ja) 2001-12-05 2009-10-07 株式会社エヌ・ティ・ティ・ドコモ マルチキャスト通信方式、マルチキャスト通信に用いる中継ノード装置、及び、中継ノード装置における送信制御方法
JP3757857B2 (ja) * 2001-12-12 2006-03-22 ソニー株式会社 データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
US7017102B1 (en) * 2001-12-27 2006-03-21 Network Equipment Technologies, Inc. Forward Error Correction (FEC) for packetized data networks
US7346055B2 (en) * 2002-08-29 2008-03-18 Broadcom Corporation Method and system for co-relating transport packets on different channels using a unique packet identifier
ATE347753T1 (de) * 2002-10-15 2006-12-15 Koninkl Philips Electronics Nv System und verfahren zur bereitstellung von fehlerbehebung für streaming-fgs-codierte videosignale über ein ip-netzwerk
US20050013249A1 (en) * 2003-07-14 2005-01-20 Hao-Song Kong Redundant packets for streaming video protection
JP4454320B2 (ja) * 2004-01-09 2010-04-21 富士通株式会社 伝送装置、伝送制御プログラム、及び伝送方法
JP4405875B2 (ja) * 2004-08-25 2010-01-27 富士通株式会社 エラー訂正用データの生成方法及び生成装置並びに生成プログラム及び同プログラムを格納したコンピュータ読み取り可能な記録媒体
JP5075536B2 (ja) * 2007-09-03 2012-11-21 株式会社東芝 Fec送信処理装置、ならびにfec送信処理のための方法およびプログラム

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007053745A (ja) * 2005-07-22 2007-03-01 Sanyo Electric Co Ltd 受信機及びプログラム
WO2007023520A1 (ja) * 2005-08-22 2007-03-01 Matsushita Electric Industrial Co., Ltd. 通信装置及び通信方法
WO2007061087A1 (ja) * 2005-11-28 2007-05-31 Nec Corporation 通信装置、通信システム、通信方法、および、通信プログラム
US8520545B2 (en) 2005-11-28 2013-08-27 Nec Corporation Communication unit, communication system, communication method and communication program
US7957312B2 (en) 2005-11-28 2011-06-07 Nec Corporation Communication unit, communication system, communication method and communication program
JP4840365B2 (ja) * 2005-11-28 2011-12-21 日本電気株式会社 通信装置、通信システム、通信方法、および、通信プログラム
JP2008028739A (ja) * 2006-07-21 2008-02-07 Toshiba Corp 情報処理装置
US8290284B2 (en) 2007-09-28 2012-10-16 Fujitsu Limited Error determination device and error determination method
KR100906941B1 (ko) 2007-12-18 2009-07-10 한국전자통신연구원 복수 수신채널을 갖는 케이블모뎀에서 케이블 데이터서비스 인터페이스 규격 프레임 재구성 장치 및 방법
US7916753B2 (en) 2007-12-18 2011-03-29 Electronics And Telecommunications Research Institute Method and apparatus for reassembling DOCSIS MAC frame in cable modem including plural receiving channels
US8233549B2 (en) 2008-07-29 2012-07-31 Canon Kabushiki Kaisha Video receiving apparatus and video receiving method to address error in received video
JP2012124638A (ja) * 2010-12-07 2012-06-28 Sumitomo Electric System Solutions Co Ltd データ伝送装置、プログラム、及びデータ伝送方法
JP2012129751A (ja) * 2010-12-14 2012-07-05 Canon Inc 受信装置及び、受信装置による処理方法
JP2013207485A (ja) * 2012-03-28 2013-10-07 Fujitsu Ltd データ受信方法及び装置
JP2014011798A (ja) * 2012-06-29 2014-01-20 Honeywell Internatl Inc 複数データリンクを横切る情報転送のためのステートフルコネクションレスオーバーレイプロトコル
US10284482B2 (en) 2012-06-29 2019-05-07 Honeywell International Inc. Stateful connectionless overlay protocol for information transfer across multiple datalinks
JP2016139862A (ja) * 2015-01-26 2016-08-04 パナソニックIpマネジメント株式会社 通信システム、送信装置及び受信装置
JP2016139863A (ja) * 2015-01-26 2016-08-04 パナソニックIpマネジメント株式会社 通信システム、送信装置及び受信装置

Also Published As

Publication number Publication date
KR20050049318A (ko) 2005-05-25
US7636298B2 (en) 2009-12-22
JP4328602B2 (ja) 2009-09-09
KR100634946B1 (ko) 2006-10-17
US20050111371A1 (en) 2005-05-26

Similar Documents

Publication Publication Date Title
JP4328602B2 (ja) パケットエラー訂正装置及び方法
JP4405875B2 (ja) エラー訂正用データの生成方法及び生成装置並びに生成プログラム及び同プログラムを格納したコンピュータ読み取り可能な記録媒体
JP4513725B2 (ja) パケット送信装置、通信システム及びプログラム
JP4454320B2 (ja) 伝送装置、伝送制御プログラム、及び伝送方法
US8004963B2 (en) Apparatus and method for packet redundancy and recovery
JP5109787B2 (ja) データ伝送システム、プログラム及び方法
US20060085551A1 (en) Methods for streaming media data
US20150103885A1 (en) Real time ip video transmission with high resilience to network errors
JP2007288342A (ja) メディアストリーム中継装置および方法
JP2010119133A (ja) パケット送信装置、通信システム及びプログラム
JP6380935B2 (ja) 送信装置、受信装置、送信方法および受信方法
JP6278275B2 (ja) 送信装置、受信装置、送信方法および受信方法
JP3492602B2 (ja) データ送信装置及びデータ受信装置
US8472310B2 (en) Packet distribution band controlling method, distributing apparatus, and video distributing system
JP4285111B2 (ja) 通信装置、その方法およびそのシステム
JP2002152301A (ja) データ通信システム、データ受信装置、データ通信方法、並びにプログラム記憶媒体
JP5247358B2 (ja) 情報処理装置及びその方法、プログラム、記録媒体
JP2009260719A (ja) データ伝送端末装置およびデータ伝送方法
JP2005136547A (ja) 通信システム、受信装置および方法、送信装置および方法、記録媒体、並びにプログラム
JP3980592B2 (ja) 通信装置、符号化列送信装置、符号化列受信装置、これらの装置として機能させるプログラムとこれを記録した記録媒体、および符号列受信復号方法、通信装置の制御方法
Lee et al. Delay constrained ARQ mechanism for MPEG media transport protocol based video streaming over Internet

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090526

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090615

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4328602

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130619

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130619

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees