JP2009206608A

JP2009206608A - Communication device

Info

Publication number: JP2009206608A
Application number: JP2008044530A
Authority: JP
Inventors: Toshiki Komori; 敏樹小森
Original assignee: NEC Engineering Ltd
Current assignee: NEC Engineering Ltd
Priority date: 2008-02-26
Filing date: 2008-02-26
Publication date: 2009-09-10

Abstract

<P>PROBLEM TO BE SOLVED: To attain FEC coding without being influenced by a packet which has been missed before FEC coding. <P>SOLUTION: In a communication device performing packet error correction by the two-dimensional FEC system, the FEC coding section of a transmitter generates an FEC packet based on input RTP data, and transmits it while adding an extension mask indicating the position of a missed packet in one operation unit of the RTP data to the extension header of the FEC packet together with a media packet. When the bit pattern does not indicate missing of a packet, the FEC decoding section of a receiver corrects the media packet by the FEC packet, and transmits the RTP data without correcting the media packet at that packet position when the bit pattern indicates missing of a packet. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、通信装置、特に、２次元FEC(Forward Error Correction)方式を採用したパケット誤り訂正において、符号化前のパケット欠落を想定した場合に好適な通信装置に関する。なお、以下の記載はRTPパケットを前提としているが、FEC制御に必要な情報（シーケンス番号、タイムスタンプ）を備えるプロトコルであれば、RTPに限らず本発明を適用可能である。 The present invention relates to a communication apparatus, and more particularly to a communication apparatus suitable for a case where a packet loss before encoding is assumed in packet error correction employing a two-dimensional FEC (Forward Error Correction) method. The following description is based on RTP packets, but the present invention is not limited to RTP as long as the protocol includes information (sequence number and time stamp) necessary for FEC control.

パケットをネットワークに送信するときに、中継装置内の優先制御による廃棄や、伝送路上のビット誤りなどの影響により、パケットが正しく受信装置宛に到達できないことがある。TCP(Transmission Control Protocol)による通信の場合は、このようなパケット抜けに対し再送制御を行うことで対応できるが、UDP(User Datagram Protocol)による通信の場合は、再送制御の仕組みが存在しないため、受信装置でパケット抜けを訂正することができない。 When a packet is transmitted to the network, the packet may not reach the receiving device correctly due to discarding due to priority control in the relay device or a bit error on the transmission path. In the case of communication by TCP (Transmission Control Protocol), it is possible to cope with such packet loss by performing retransmission control, but in the case of communication by UDP (User Datagram Protocol), there is no mechanism for retransmission control. The receiving device cannot correct the missing packet.

一方、音声や映像データなどはリアルタイム性が求められるため、UDPによる通信をベースにRTP(Real Time Protocol)にてパケットを送信している(RFC2250、RFC3550参照)。このRTPによる通信時の誤り訂正の方法の一つとして、FECが知られている(RFC2733参照)。一般的なFEC制御として、パリティFECと呼ばれる方法で各パケット同士のXOR演算を冗長パケットとして送信する技術が挙げられる。 On the other hand, since audio and video data are required to have real-time characteristics, packets are transmitted by RTP (Real Time Protocol) based on UDP communication (see RFC2250 and RFC3550). FEC is known as one of error correction methods during communication by RTP (see RFC2733). As general FEC control, there is a technique in which an XOR operation between packets is transmitted as a redundant packet by a method called parity FEC.

図１６に映像伝送を例とした一般的なFECパケット終端ネットワークモデルを示す。ビデオカメラ３３から入力される映像信号を送信装置１内のFEC符号化部３でRTPパケット化してネットワークに送信し、受信装置２で映像信号を再生しモニタ３４にて視聴するイメージ図である。図１６の送信装置１内のFEC符号化部３にてFECパケットを生成している。 FIG. 16 shows a general FEC packet termination network model taking video transmission as an example. 3 is an image diagram in which a video signal input from a video camera 33 is RTP-packetized by an FEC encoding unit 3 in a transmission apparatus 1 and transmitted to a network, and the video signal is reproduced by a reception apparatus 2 and viewed on a monitor 34. FIG. An FEC packet is generated by the FEC encoder 3 in the transmission apparatus 1 of FIG.

図１７はFEC演算方法を示している。送信装置１でPacket-A、Packet-B、Packet-Cの各メディアパケットを送信する際に、各メディアパケットをビット単位でXOR演算を行う。その結果をFECパケットとして生成し、図１８に示すFECヘッダを追加してネットワークへ送信する。図１７では、ネットワーク上にてPacket-Bが消失したケースを例示している。この時、受信装置２で受信する各メディアパケットと、冗長パケットであるFECパケットそれぞれでXOR演算を行う。その結果、ネットワーク上で消失したPacket-Bを訂正（再生成）することができる。 FIG. 17 shows the FEC calculation method. When the transmitting device 1 transmits each packet of Packet-A, Packet-B, and Packet-C, XOR operation is performed on each media packet in units of bits. The result is generated as an FEC packet, and the FEC header shown in FIG. 18 is added and transmitted to the network. FIG. 17 illustrates a case where Packet-B has disappeared on the network. At this time, the XOR operation is performed on each media packet received by the receiving device 2 and each FEC packet which is a redundant packet. As a result, Packet-B lost on the network can be corrected (regenerated).

以下に図１８のFECヘッダを説明する。基底シーケンス番号フィールドは、FEC演算対象パケットの最小シーケンス番号である。これは、RTPヘッダ内に設定されるシーケンス番号値を指す。回復パケット長フィールドは、消失したパケットのパケット長を再生する。Eフィールドはヘッダ拡張の有無を示す。回復パケット長のパイロードタイプフィールドは消失したパケットのペイロードタイプを示す。これは、RTPヘッダ内に設定されるペイロードタイプフィールドを指す。マスクフィールドは、基底シーケンス番号以降でFEC演算を構成されるRTPパケットのシーケンス番号を示すビットマスクである。例えば、基底シーケンス番号=N、iビットが1の場合、（N+i）のRTPヘッダ内シーケンス番号のパケットがFEC演算対象であることを示す。回復パケットのタイムスタンプフィールドは、消失したパケットのタイムスタンプを再生する。これは、RTPヘッダ内に設定されるタイムスタンプフィールドを示す。 The FEC header of FIG. 18 will be described below. The base sequence number field is the minimum sequence number of the FEC calculation target packet. This refers to the sequence number value set in the RTP header. The recovery packet length field reproduces the packet length of the lost packet. The E field indicates the presence or absence of header extension. The recovery packet length payload type field indicates the payload type of the lost packet. This refers to the payload type field set in the RTP header. The mask field is a bit mask indicating the sequence number of the RTP packet that constitutes the FEC operation after the base sequence number. For example, if the base sequence number = N and the i bit is 1, it indicates that the packet with the sequence number in the RTP header of (N + i) is an FEC calculation target. The time stamp field of the recovered packet reproduces the time stamp of the lost packet. This indicates a time stamp field set in the RTP header.

ところで、FECヘッダには、Pro-MPEGフォーラムの“Code of Practice”の文献にFECヘッダの拡張が規定されており、図１９示すような２次元のパケット誤り訂正による高い訂正率が実現されている。具体的には、図２０に示すようにE=1として、図１８のFECヘッダを拡張し、Offsetフィールドに横(Column)方向の値を示すL値が設定され、NAフィールドに縦(Row)方向の値を示すD値が設定される。 By the way, for the FEC header, the extension of the FEC header is defined in the “Code of Practice” document of the Pro-MPEG forum, and a high correction rate by two-dimensional packet error correction as shown in FIG. 19 is realized. . Specifically, as shown in FIG. 20, E = 1 is set with E = 1, the L value indicating the value in the horizontal (Column) direction is set in the Offset field, and the vertical (Row) is set in the NA field. A D value indicating the direction value is set.

これらの値により、２次元方向へそれぞれXOR演算を行うことで、ColumnFECパケットとRowFECパケットを生成する。Dフィールドによって、FECパケットの演算方向を示す。D=0であれば、ColumnFECパケット、D=1であれば、RowFECパケットであることを示す。Pro-MPEGフォーラムの規定によれば、COP3方式であれば、L、Dそれぞれ20以下という仕様であり、COP4方式であれば、L値については255以下まで拡張される。また、FECヘッダの内マスクフィールドは未使用とし、マスク=0を設定される仕様である。 With these values, the XOR operation is performed in the two-dimensional direction to generate a ColumnFEC packet and a RowFEC packet. The D field indicates the calculation direction of the FEC packet. If D = 0, it indicates a ColumnFEC packet, and if D = 1, it indicates a RowFEC packet. According to the provisions of the Pro-MPEG Forum, the specification is 20 or less for each of L and D in the COP3 system, and the L value is expanded to 255 or less in the COP4 system. In addition, the mask field in the FEC header is unused, and the mask is set to 0.

図２２に、３行５列のメディアパケットとFECパケットの演算イメージ（Ａ）と送信順序イメージ（Ｂ）を示す。RowFECパケットについては、FEC演算単位の先頭であるメディアパケット（以下、BlockSNと定義）0からメディアパケット4を送信後に、RowFECパケット0を送信している。また、ColumnFECパケットについては、１FEC演算ブロック送信後、つまり、メディアパケット0〜メディアパケット14を送信後に送信が開始される。 FIG. 22 shows a calculation image (A) and a transmission order image (B) of media packets and FEC packets in 3 rows and 5 columns. With respect to the RowFEC packet, the RowFEC packet 0 is transmitted after the media packet 4 is transmitted from the media packet (hereinafter referred to as BlockSN) 0 which is the head of the FEC calculation unit. Further, the transmission of the ColumnFEC packet is started after transmission of one FEC calculation block, that is, after transmission of media packet 0 to media packet 14.

前述の２次元のパケット誤り訂正方式を採用して損失パケットの再構成を行う技術を記載した文献として、例えば特許文献１を挙げることができる。この文献で記載されている損失パケットの再構成方法は、送信されるパケットをD行及びL列のパケット行列に構成するステップと、行列の各行及び各列に誤り訂正関数を適用し、その結果は、誤り訂正関数が適用されるそれぞれの行及び列での少なくとも１つの損失パケットの再構成を可能にする訂正パケットであるステップと、データパケットに加えて結果の誤りパケットを送信するステップとを有する。 As a document describing a technique for reconstructing a lost packet by adopting the above-described two-dimensional packet error correction method, for example, Patent Document 1 can be cited. The method for reconstructing lost packets described in this document includes the steps of constructing a packet to be transmitted into a D-row and L-column packet matrix, and applying an error correction function to each row and each column of the matrix. Is a correction packet that allows the reconstruction of at least one lost packet in each row and column to which the error correction function is applied, and transmitting the resulting error packet in addition to the data packet Have.

特表２００７−５０９５５７（第１０頁、図１）Special table 2007-509557 (page 10, Fig. 1)

ところで、現在は、通信形態の多様化から、図１６に示したFECパケット終端ネットワークモデルの発展モデルとして、図２１に示すようなネットワーク形態も構成されている。これは、FEC機能を持たない複数の映像出力装置（RTPパケット送信装置２５）をLAN内で接続し、中継送信装置２３にて各RTPパケット送信装置２５からのRTPパケットにFECパケットを追加することで、WAN内のパケット消失を救済するシステムである。受信側も同様に中継受信装置２４にて、複数のRTPフロー毎にFEC復号化を行い、RTPパケット再生装置２８が接続されているLANへとRTPパケットを送信する。図１６のビデオカメラ３３＋RTPデータ生成部１７の機能が、RTPパケット送信装置２５であり、モニタ３４＋RTPデータ再生部２１の機能がRTPパケット再生装置２８である。 By the way, at present, due to the diversification of communication forms, a network form as shown in FIG. 21 is also configured as an evolution model of the FEC packet termination network model shown in FIG. This means that a plurality of video output devices (RTP packet transmission devices 25) having no FEC function are connected in the LAN, and FEC packets are added to the RTP packets from each RTP packet transmission device 25 by the relay transmission device 23. In this system, the packet loss within the WAN is remedied. Similarly, the reception side also performs FEC decoding for each of a plurality of RTP flows at the relay receiving device 24, and transmits the RTP packet to the LAN to which the RTP packet reproducing device 28 is connected. The function of the video camera 33 + RTP data generation unit 17 in FIG. 16 is the RTP packet transmission device 25, and the function of the monitor 34 + RTP data reproduction unit 21 is the RTP packet reproduction device 28.

前述のように、Pro-MPEGフォーラムで規定されている１次元または２次元FEC演算方式を実現させる場合、マスクフィールド=0という仕様制限であるため、現在の技術ではFEC符号化部３に入力される前に、メディアパケットが消失すると正しくFEC演算処理を行うことができないという問題点がある。 As described above, when implementing the one-dimensional or two-dimensional FEC calculation method stipulated by the Pro-MPEG forum, the specification limit of mask field = 0 is input to the FEC encoding unit 3 in the current technology. There is a problem that the FEC calculation processing cannot be performed correctly if the media packet is lost before the packet is lost.

特に、図２１に示したようなネットワークモデルでは、RTPパケット（メディアパケット）の生成とFECパケットの生成が同一装置内ではないため、例えば、LAN２６内でパケット廃棄が発生する可能性が考えられる。仮にマスクフィールドを使用するとしても、ビット幅が24ビットに制限されるため、Pro-MPEGフォーラムで規定されているCOP4方式の符号化には対応できない。 In particular, in the network model as shown in FIG. 21, the generation of the RTP packet (media packet) and the generation of the FEC packet are not in the same device. Even if a mask field is used, since the bit width is limited to 24 bits, it cannot cope with the COP4 encoding specified in the Pro-MPEG Forum.

同様なケースとして、RTPパケット送信装置２５の再立ち上げ時などはRTPヘッダ内のシーケンス番号が前パケットのシーケンス番号から継続で付与されないため、前後のメディアパケットに対するFEC演算を正しく実行できない。 As a similar case, when the RTP packet transmission device 25 is restarted, the sequence number in the RTP header is not continuously given from the sequence number of the previous packet, so that the FEC calculation cannot be correctly performed on the preceding and succeeding media packets.

なお、特許文献１は送信中の損失パケットの再構成を記載したまでであって、送信装置における符号化前におけるパケットの消失に関する言及は無い。 Note that Patent Document 1 is only up to the description of reconfiguration of lost packets during transmission, and there is no mention of packet loss before encoding in the transmission device.

そこで、本発明の目的は、FEC符号化前のパケット欠落に対応したFEC機能を実現するパケット誤り訂正装置およびパケット誤り訂正方法を提供することにある。 Accordingly, an object of the present invention is to provide a packet error correction apparatus and a packet error correction method that realize an FEC function corresponding to a packet loss before FEC encoding.

本発明の通信装置は、２次元FEC方式によるパケット誤り訂正を行なう通信装置において、送信装置のFEC符号化部（図１の３）は、入力するRTPデータを元にFECパケットを生成し、該FECパケットの拡張ヘッダに、RTPデータの１演算単位の内で欠落しているパケット位置をビットパターンで示した拡張マスクを付加してメディアパケット共に送信し、受信装置のFEC復号化部（図２の１１）は、ビットパターンがパケット欠落を示していないときは、FECパケットによるメディアパケットの訂正を行い、ビットパターンがパケット欠落を示しているときは当該パケット位置のメディアパケットの訂正を行わずにRTPデータを送信することを特徴とする。 The communication apparatus of the present invention is a communication apparatus that performs packet error correction by a two-dimensional FEC method. An FEC encoding unit (3 in FIG. 1) of a transmission apparatus generates an FEC packet based on input RTP data. The FEC packet extension header is added with an extension mask indicating the missing packet position in one RTP data unit as a bit pattern, and transmitted together with the media packet. 11) When the bit pattern does not indicate packet loss, the media packet is corrected by the FEC packet. When the bit pattern indicates packet loss, the media packet at the packet position is not corrected. RTP data is transmitted.

詳しくは、FEC符号化部（図１の３）は、入力したメディアパケットについてXOR演算を行なうFEC演算部（図１の５）と、XOR演算の結果がFEC演算部によって格納されるパケットメモリ（図１の７）と、入力したメディアパケットのシーケンス番号に基づく到着管理情報がFEC演算部によって登録される到着管理メモリ（図１の４０）と、到着管理メモリから読み出した到着管理情報に従ってメディアパケットの送信を行うメディアパケット送信制御部（図１の８）と、パケットメモリからリードしたXOR演算結果とFEC演算部からの到着管理情報を元に拡張マスクが付加されたFECパケットを生成し、メディアパケット送信制御部の送信状態を監視しながら送信するFECパケット送信制御部（図１の９）とを有することを特徴とする。 Specifically, the FEC encoding unit (3 in FIG. 1) includes an FEC operation unit (5 in FIG. 1) that performs an XOR operation on the input media packet, and a packet memory (5) that stores the result of the XOR operation by the FEC operation unit. 1), an arrival management memory (40 in FIG. 1) in which arrival management information based on the sequence number of the input media packet is registered by the FEC calculation unit, and a media packet according to the arrival management information read from the arrival management memory A media packet transmission control unit (8 in FIG. 1) that transmits the packet, generates an FEC packet with an expansion mask added based on the XOR operation result read from the packet memory and the arrival management information from the FEC operation unit, And an FEC packet transmission control unit (9 in FIG. 1) that transmits while monitoring the transmission state of the packet transmission control unit.

また、FEC復号化部（図２の１１）は、受信したメディアパケットとFECパケットとでXOR演算を行なうFEC訂正部（図２の１５）と、XOR演算の結果がFEC演算部によって格納されるパケットメモリ（図２の７Ａ）と、受信したメディアパケットのシーケンス番号に基づく到着管理情報がFEC訂正部によって登録される到着管理メモリと（図２の４０Ａ）を有し、FEC訂正部は、FECパケット受信時に到着管理メモリから読み出した到着管理情報により（符号化後の）欠落パケットの訂正を行う。 Further, the FEC decoding unit (11 in FIG. 2) stores the FEC correction unit (15 in FIG. 2) that performs XOR operation on the received media packet and FEC packet, and the result of the XOR operation is stored in the FEC operation unit. A packet memory (7A in FIG. 2), an arrival management memory in which arrival management information based on the sequence number of the received media packet is registered by the FEC correction unit (40A in FIG. 2), and the FEC correction unit The missing packet (after encoding) is corrected based on the arrival management information read from the arrival management memory when the packet is received.

更に詳しくは、FEC演算部（図１，図３の５）は、入力したメディアパケットからシーケンス番号を検出するRTPシーケンス番号検出部（図３の５０）と、パケットメモリに対するFECパケット送信制御部とのアクセス競合時の待ち合わせ用として、受信したメディアパケットをリード完了時までバッファリングしてメディアパケット送信制御部へ出力するパケットバッファ（図３の５１）と、パケットバッファにパケット入力が開始されたタイミングでパケットメモリから該当するXOR結果をリードするパケットメモリリード部（図３の５２）と、パケットバッファからのメディアパケットと、パケットメモリリード部がパケットメモリから読み出したXOR結果についてXOR演算を実施し、XOR結果をリードしたアドレスと同じアドレスに更新されたXOR結果のライト要求をするXOR演算器（図３の５３）と、パケットメモリのライト要求によるアドレスに更新されたXOR結果をライトするパケットメモリライト部（図３の５４）と、シーケンス番号を元に到着管理メモリを更新し、また、演算単位毎に到着管理メモリの初期化と基底シーケンス番号を更新し、該基底シーケンス番号を到着管理情報としてFECパケット送信制御部へ通知し、更に演算単位を前記パケットバッファに通知する到着管理メモリ更新部（図３の５５）とを有する。 More specifically, the FEC calculation unit (5 in FIGS. 1 and 3) includes an RTP sequence number detection unit (50 in FIG. 3) that detects a sequence number from the input media packet, and an FEC packet transmission control unit for the packet memory. A packet buffer (51 in FIG. 3) for buffering received media packets until read completion and outputting them to the media packet transmission control unit, and timing when packet input is started in the packet buffer. The XOR operation is performed on the packet memory read unit (52 in FIG. 3) that reads the corresponding XOR result from the packet memory, the media packet from the packet buffer, and the XOR result that the packet memory read unit reads from the packet memory. XOR connection updated to the same address that read the XOR result XOR operation unit (53 in FIG. 3), a packet memory write unit (54 in FIG. 3) that writes the updated XOR result to the address by the packet memory write request, and arrival based on the sequence number The management memory is updated, the arrival management memory is initialized and the base sequence number is updated for each operation unit, the base sequence number is notified to the FEC packet transmission control unit as arrival management information, and the operation unit is further changed to the packet. And an arrival management memory update unit (55 in FIG. 3) for notifying the buffer.

また、FEC訂正部（図２，図４の１５）は、受信したメディアパケットからシーケンス番号を検出するRTPシーケンス番号検出部（図４の６１）と、受信したメディアパケットをバッファリングするパケットバッファ（図４の５１Ａ）と、パケットバッファにパケット入力が開始されたタイミングでパケットメモリから該当するXOR結果をリードするパケットメモリリード部（図４の５２Ａ）と、パケットバッファからのメディアパケットと、パケットメモリリード部がパケットメモリから読み出したXOR結果についてXOR演算を実施し、XOR結果をリードしたアドレスと同じアドレスに更新されたXOR結果のライト要求をするXOR演算器（図４の５３Ａ）と、パケットメモリのライト要求によるアドレスに更新されたXOR結果をライトするパケットメモリライト部（図４の５４Ａ）と、シーケンス番号を元に到着管理メモリを更新し、また、演算単位毎に到着管理メモリの初期化と基底シーケンス番号を更新し、更に演算単位をパケットバッファに通知する到着管理メモリ更新部（図４の５５Ａ）と、受信したFECパケットの本体はパケットバッファに格納すると共にFECヘッダより拡張マスクフィールドを検出するFEC拡張マスク検出部（図４の６１）と、拡張マスクフィールドのビットを反転するNOT演算器（図４の６２）と、到着管理メモリからリードしたシーケンス番号によるビットパターンとNOT演算器の出力とをOR演算するOR演算器（図４の６３）と、到着管理メモリ更新部からパケット欠落検出が通知されるとXOR演算器からのXOR結果を抽出することで、欠落したメディアパケットを訂正（再生成）するパケット訂正部（図４の６４）とを有し、到着管理メモリ更新部は、OR演算結果のビットパターンがオール1なら符号化後のパケット欠落はなかったと判断する一方、OR演算結果のビットパターンに1ビット抜けを検出した場合には、当該パケットの欠落をパケット訂正部へ通知する。 The FEC correction unit (15 in FIGS. 2 and 4) includes an RTP sequence number detection unit (61 in FIG. 4) that detects a sequence number from the received media packet, and a packet buffer that buffers the received media packet (61). 51A), a packet memory read unit (52A in FIG. 4) for reading the corresponding XOR result from the packet memory at the timing when packet input to the packet buffer is started, a media packet from the packet buffer, and a packet memory An XOR operator (53A in FIG. 4) that performs an XOR operation on the XOR result read from the packet memory by the read unit and makes a write request for the XOR result updated to the same address as the address from which the XOR result was read; The packet memory line that writes the updated XOR result to the address by the write request Unit (54A in FIG. 4) and the arrival management memory are updated based on the sequence number, the arrival management memory is initialized and the base sequence number is updated for each operation unit, and the operation unit is notified to the packet buffer. An arrival management memory update unit (55A in FIG. 4), an FEC extended mask detection unit (61 in FIG. 4) that stores the main body of the received FEC packet in the packet buffer and detects an extended mask field from the FEC header, and an extended mask A NOT operator (62 in FIG. 4) that inverts the bits of the field, an OR operator (63 in FIG. 4) that ORs the bit pattern based on the sequence number read from the arrival management memory and the output of the NOT operator; When packet arrival detection is notified from the arrival management memory update unit, the missing media packet is corrected (regenerated) by extracting the XOR result from the XOR operator And the arrival management memory update unit determines that there is no missing packet after encoding if the bit pattern of the OR operation result is all 1, while the bit of the OR operation result When a missing 1 bit is detected in the pattern, the packet correction unit is notified of the missing packet.

本発明では、Pro-MPEGフォーラムで規定されているFEC拡張ヘッダのXフィールドを設定する。X=1が設定されると更なる追加ヘッダが拡張可能となる。図５では３２バイトの拡張マスクフィールドを独自拡張している。 In the present invention, the X field of the FEC extension header defined by the Pro-MPEG forum is set. When X = 1 is set, additional additional headers can be extended. In FIG. 5, the 32-byte extended mask field is uniquely extended.

この拡張マスクフィールドによってFEC演算対象を指定する。手段はFECヘッダのマスクフィールドと同じで、例えば、基底シーケンス番号=N、iビットが1の場合、（N+i）のRTPヘッダ内シーケンス番号のパケットがFEC演算対象であることを示す。拡張マスクフィールドを32バイト分確保すれば、Pro-MPEGフォーラムで規定されているCOP4方式のL≦255まで対応することができる。 The FEC operation target is specified by this extended mask field. The means is the same as the mask field of the FEC header. For example, when the base sequence number = N and the i bit is 1, it indicates that the packet with the sequence number in the RTP header of (N + i) is the target of FEC calculation. If 32 bytes of the extended mask field are secured, it is possible to support up to L ≦ 255 of the COP4 system defined by the Pro-MPEG forum.

図２２（Ａ）の演算イメージでR0のRowFECパケットの例で拡張マスクフィールドの働きを説明する。R0の基底シーケンス番号は0である。L=5であるので、拡張マスクフィールドの内、5bit分を到着管理に使用する。ここで、シーケンス番号=3のパケットが欠落した場合、ビットの並びは、11101となる。よって、送信側は拡張マスクフィールドに11101を設定し、FECパケットを送信する。 The operation of the extended mask field will be described with an example of the R0 RowFEC packet in the calculation image of FIG. The base sequence number of R0 is 0. Since L = 5, 5 bits in the extended mask field are used for arrival management. Here, when the packet with the sequence number = 3 is lost, the bit sequence is 11101. Therefore, the transmission side sets 11101 in the extension mask field and transmits the FEC packet.

一方、受信側ではシーケンス番号3を除くメディアパケットに対してXOR演算を実施した後に、R0のRowFECパケットを受信する。本来ならば、シーケンス番号3のメディアパケットがFEC符号化前に欠落したのか、FEC符号化後のネットワーク内で欠落したのか特定不可能であったが、拡張シーケンス番号を受信側で参照することにより、シーケンス番号3のメディアパケットがFEC符号化前に欠落したものであると特定可能となる。 On the other hand, after the XOR operation is performed on the media packet excluding the sequence number 3, the receiving side receives the R0 RowFEC packet. Originally, it was impossible to determine whether the media packet with sequence number 3 was lost before FEC encoding or was lost in the network after FEC encoding, but by referring to the extended sequence number on the receiving side Thus, it is possible to specify that the media packet of sequence number 3 is missing before FEC encoding.

本発明により、FECヘッダ内に演算対象シーケンス番号を示して送信し、受信側では、そのシーケンス番号のパケットを除外してFEC符号化後の欠落パケットの訂正をする構成としたため、FEC符号化前に欠落したパケットの影響を受けずにFEC符号化を実現することが可能となった。 According to the present invention, the operation target sequence number is indicated in the FEC header for transmission, and the reception side is configured to correct the missing packet after FEC encoding by excluding the packet of that sequence number. FEC encoding can be realized without being affected by the missing packet.

次に、本発明の実施の形態について図面を参照して詳細に説明する。先ず、本発明が適用される一般的な通信システムについて説明する。 Next, embodiments of the present invention will be described in detail with reference to the drawings. First, a general communication system to which the present invention is applied will be described.

図１６は映像伝送を例としたFECパケット終端ネットワークモデルを示す。送信装置１内において、RTPデータ生成部１７はビデオカメラ３３から入力される映像信号をRTPパケット化し、FEC符号化部３はRTPデータを元にFECパケットを生成する。通常パケット送信部１８は、本発明で言及するRTPパケット以外の通常パケットを送信する。送信切替部１９は、FEC符号化部３からのRTPパケットと通常パケット送信部１８からの通常パケットの多重化を行うための調停動作を行う。多重化されたパケットはネットワークを経由して受信装置２へ送信される。 FIG. 16 shows an FEC packet termination network model taking video transmission as an example. In the transmission apparatus 1, the RTP data generation unit 17 converts the video signal input from the video camera 33 into an RTP packet, and the FEC encoding unit 3 generates an FEC packet based on the RTP data. The normal packet transmitter 18 transmits a normal packet other than the RTP packet referred to in the present invention. The transmission switching unit 19 performs an arbitration operation for multiplexing the RTP packet from the FEC encoding unit 3 and the normal packet from the normal packet transmission unit 18. The multiplexed packet is transmitted to the receiving device 2 via the network.

受信装置２において、受信切替部２０はRTPパケットと通常パケットをセレクトする。FEC復号化部１１は、受信したRTPパケット（メディアパケット、FECパケット）から欠落パケットの訂正処理を行い、RTP化された音声・映像データを抜き出す。RTP再生部２１は、RTP仕様に基づいて、リアルタイムデータの再生を行う。再生された映像信号はモニタ３４にて視聴される。通常パケット受信部２２は通常パケットを受信する。 In the receiving device 2, the reception switching unit 20 selects an RTP packet and a normal packet. The FEC decoding unit 11 corrects the missing packet from the received RTP packet (media packet, FEC packet), and extracts the RTP-converted audio / video data. The RTP playback unit 21 plays back real-time data based on the RTP specification. The reproduced video signal is viewed on the monitor 34. The normal packet receiving unit 22 receives a normal packet.

図２１は、図１６のFECパケット終端ネットワークモデルに対し、通信形態の多様化に対処したFECパケット中継ネットワークモデルを示す。図２１において、複数のRTPパケット送信装置２５で生成されたRTPパケットがLAN内のL2SW２６によりスイッチングされて中継送信装置２３に入力される。このRTPパケットは、L2SW２６等において欠落が生じ得る。中継送信装置２３は、RTPパケットに対して、FEC演算処理を実施し冗長パケット生成することによって、WAN間通信の信頼性で付加価値を実現する装置である。 FIG. 21 shows an FEC packet relay network model that copes with diversification of communication forms with respect to the FEC packet termination network model of FIG. In FIG. 21, RTP packets generated by a plurality of RTP packet transmitters 25 are switched by the L2SW 26 in the LAN and input to the relay transmitter 23. This RTP packet may be lost in the L2SW 26 or the like. The relay transmission device 23 is a device that realizes added value with reliability of WAN-to-WAN communication by performing FEC arithmetic processing on RTP packets to generate redundant packets.

中継受信装置２３のフロー判定部２７は、複数のRTPパケット送信装置２５に対応する複数のRTPフローの識別処理を行う。具体例としては、RTPフローの送信元IPアドレスによって複数のRTPパケット送信装置２５の識別が可能である。フロー判定部２７で、識別されたフローそれぞれをFEC符号化部３に入力する。RTPフロー毎に独立してFEC符号化処理が必要であるため、フロー判定部２７にて識別可能なフロー分のFEC符号化部３が必要である。FEC符号化部３にて、FEC演算を実施し、到着パケットの管理を行い、FECパケットの生成を行い、送信多重部１０へ出力する。送信多重部１０では、複数のFEC符号化部３からの送信調停を行い、WANにパケットを送信する。 The flow determination unit 27 of the relay reception device 23 performs identification processing of a plurality of RTP flows corresponding to the plurality of RTP packet transmission devices 25. As a specific example, a plurality of RTP packet transmission devices 25 can be identified by the source IP address of the RTP flow. The flow determination unit 27 inputs each identified flow to the FEC encoding unit 3. Since FEC encoding processing is required independently for each RTP flow, the FEC encoding unit 3 corresponding to the flow that can be identified by the flow determination unit 27 is required. The FEC encoding unit 3 performs FEC calculation, manages incoming packets, generates FEC packets, and outputs them to the transmission multiplexing unit 10. The transmission multiplexing unit 10 performs transmission arbitration from the plurality of FEC encoding units 3 and transmits packets to the WAN.

一方、中継受信装置２４は、WANからのパケットを受信し、中継送信装置２３と同じくフロー判定部２７ＡにてRTPフロー識別を行い、FEC復号化部１１へ入力する。FEC復号化部１１では、RTPフロー毎に独立してFEC復号化処理を行う。このとき、本発明で追加されたFEC拡張ヘッダにより、FEC符号化前のパケット欠落を認識する。受信したメディアパケットと復号化により訂正されたメディアパケットは送信多重部１０Ａへ出力され、調停処理後にL2SW２６ＡにてスイッチングされてRTPパケット再生装置２８へ到達する。 On the other hand, the relay receiving device 24 receives a packet from the WAN, performs RTP flow identification in the flow determination unit 27A as in the relay transmission device 23, and inputs the RTP flow identification to the FEC decoding unit 11. The FEC decoding unit 11 performs FEC decoding processing independently for each RTP flow. At this time, the packet loss before FEC encoding is recognized by the FEC extension header added in the present invention. The received media packet and the media packet corrected by decoding are output to the transmission multiplexing unit 10A, switched by the L2SW 26A after the arbitration process, and reach the RTP packet reproducing device 28.

［構成の説明］
図５は、本発明における符号（FEC演算）対象FECヘッダのフォーマットを示す。図５を参照すると、Pro-MPEGフォーラムで規定されているFEC拡張ヘッダのXフィールドに１が設定されている。このように、X=1が設定されると、更なる追加ヘッダが拡張可能となり、図５では拡張マスク0〜7により、32バイトの拡張マスクフィールドを独自拡張している。 [Description of configuration]
FIG. 5 shows the format of the FEC header to be encoded (FEC calculation) in the present invention. Referring to FIG. 5, 1 is set in the X field of the FEC extension header defined by the Pro-MPEG forum. As described above, when X = 1 is set, further additional headers can be expanded. In FIG. 5, the 32-byte extension mask field is uniquely extended by the extension masks 0 to 7.

この拡張マスクフィールドによってFEC演算対象を指定する。そのための手段はFECヘッダのマスクフィールドと同じで、例えば、基底シーケンス番号=N、iビットが1の場合、（N+i）のRTPヘッダ内シーケンス番号のパケットがFEC演算対象であることを示す。拡張マスクフィールドを３２バイト分確保することで、Pro-MPEGフォーラムで規定されているCOP4方式のL≦255まで対応することができる。 The FEC operation target is specified by this extended mask field. The means for this is the same as the mask field of the FEC header. For example, when the base sequence number = N and the i bit is 1, it indicates that the packet with the sequence number in the RTP header of (N + i) is the target of FEC calculation. . By securing 32 bytes for the extended mask field, it is possible to support up to L ≦ 255 of the COP4 system defined by the Pro-MPEG forum.

図１は、図２１に示したFEC符号化部３の本発明による構成例を示す。FEC符号化部３は、RTPデータ受信部４，FEC演算部５，パケットメモリ７，メディアパケット送信制御部８，FECパケット送信制御部９，送信多重部１０および到着管理メモリ４０から構成されている。 FIG. 1 shows a configuration example according to the present invention of the FEC encoding unit 3 shown in FIG. The FEC encoding unit 3 includes an RTP data receiving unit 4, an FEC calculation unit 5, a packet memory 7, a media packet transmission control unit 8, an FEC packet transmission control unit 9, a transmission multiplexing unit 10, and an arrival management memory 40. .

RTPデータ受信部４は、フロー判定部２７（図２１）から出力されるRTPパケット（FEC符号化されておらず、以下「メディアパケット」と記す）を入力し、FEC演算部５の処理状態を監視して、受信可能となるタイミングでFEC演算部５へ入力させる。FEC演算部５は、受信したメディアパケットについてXOR演算を行なうが、そのために、受信したメディアパケットのRTPヘッダのシーケンス番号に基づく到着管理情報を到着管理メモリ４０に登録する。この詳細は後述する。また、パケットメモリ７はFEC演算部５による演算結果を格納する。 The RTP data receiving unit 4 inputs an RTP packet (not FEC encoded and hereinafter referred to as “media packet”) output from the flow determination unit 27 (FIG. 21), and changes the processing state of the FEC calculation unit 5 The data is monitored and input to the FEC calculation unit 5 at a timing at which reception is possible. The FEC operation unit 5 performs XOR operation on the received media packet, and for this purpose, the arrival management information based on the sequence number of the RTP header of the received media packet is registered in the arrival management memory 40. Details of this will be described later. Further, the packet memory 7 stores the calculation result by the FEC calculation unit 5.

FEC演算部５は、XOR演算を実施するために、パケットメモリ７よりXOR結果をリードし、受信したメディアパケットのペイロード部とのXOR演算を実施後、再びパケットメモリ７へ書き戻す。このXOR演算において、符号化前の欠落パケットは当然に除外される。 The FEC operation unit 5 reads the XOR result from the packet memory 7 to perform the XOR operation, performs the XOR operation with the payload portion of the received media packet, and then writes it back to the packet memory 7 again. In this XOR operation, the missing packet before encoding is naturally excluded.

FEC演算部５は、受信したメディアパケットをメディアパケット送信制御部８へ出力する。また、最終パケットの受信後、タイマ監視を行い、一定時間後続パケットを受信しない場合には、FECパケット送信制御部９に送信要求と到着管理情報を発行することで、FECパケットのみが送信されなくなる状態を防ぐ。 The FEC calculation unit 5 outputs the received media packet to the media packet transmission control unit 8. Also, after receiving the final packet, the timer is monitored, and if no subsequent packet is received for a certain period of time, only the FEC packet is not transmitted by issuing a transmission request and arrival management information to the FEC packet transmission control unit 9. Prevent state.

メディアパケット送信制御部８は、送信多重部１０の調停処理に従って、また、到着管理メモリ４０から読み出した到着管理情報に従って、図２２（Ｂ）に例示したような順序でメディアパケットの送信を行う。 The media packet transmission control unit 8 transmits the media packets in the order illustrated in FIG. 22B according to the arbitration process of the transmission multiplexing unit 10 and according to the arrival management information read from the arrival management memory 40.

一方、FECパケット送信制御部９は、パケットメモリ７からリードした演算結果とFEC演算部５からの到着管理情報を元に図５に示したFECヘッダから成るFECパケットを生成する。ここで、拡張マスクには、受信したメディアパケットに対応ビットには1、欠落した生成したメディアパケットに対応ビットには0が付される。FECパケット送信制御部９は、メディアパケット送信制御部８の送信状態を監視しながら、図２２（Ｂ）に示した送信順序に従いFECパケットを送信する。尚、FECパケット送信の際は、メディアパケット送信制御部８と同じく、送信多重部１０の調停処理に従う。 On the other hand, the FEC packet transmission control unit 9 generates an FEC packet including the FEC header shown in FIG. 5 based on the calculation result read from the packet memory 7 and the arrival management information from the FEC calculation unit 5. Here, in the extended mask, 1 is assigned to the bit corresponding to the received media packet, and 0 is assigned to the corresponding bit of the missing generated media packet. The FEC packet transmission control unit 9 transmits FEC packets according to the transmission order shown in FIG. 22B while monitoring the transmission state of the media packet transmission control unit 8. Note that, when the FEC packet is transmitted, the arbitration process of the transmission multiplexing unit 10 is followed in the same manner as the media packet transmission control unit 8.

図２は、図２１に示したFEC復号化部１１の本発明による構成例を示す。FEC復号化部１１は、RTPパケット受信部１２，FEC訂正部１５，RTPデータ送信部１６，パケットメモリ７Ａおよび到着管理メモリ４０Ａから構成されている。 FIG. 2 shows a configuration example of the FEC decoding unit 11 shown in FIG. 21 according to the present invention. The FEC decoding unit 11 includes an RTP packet receiving unit 12, an FEC correcting unit 15, an RTP data transmitting unit 16, a packet memory 7A, and an arrival management memory 40A.

RTPパケット受信部１２は、フロー判定部２７Ａ（図２１）から出力されるメディアパケットおよびFECパケットを受信する。FEC訂正部１５は、到着管理メモリ４０Ａに対し、受信したメディアパケットのRTPヘッダのシーケンス番号に基づく到着管理情報を登録する。 The RTP packet receiver 12 receives media packets and FEC packets output from the flow determiner 27A (FIG. 21). The FEC correction unit 15 registers arrival management information based on the sequence number of the RTP header of the received media packet in the arrival management memory 40A.

また、FEC訂正部１５は、FEC演算部５と同様に、パケットメモリ７Ａから読み出した演算結果とメディアパケットとでFEC演算処理を行い、XOR結果をパケットメモリ７Ａに格納する。また、FECパケット受信時に、必要に応じて、到着管理メモリ４０Ａから読み出した到着管理情報により（符号化後の）欠落パケットの訂正を行う。欠落パケットは、到着管理情報により検出できる。FEC演算が完了したメディアパケットと訂正処理で生成されたメディアパケットは、RTPデータとしてRTPデータ送信部１６へ出力される。FEC演算が完了したFECパケットはFEC訂正部１５にて廃棄される。 Similarly to the FEC calculation unit 5, the FEC correction unit 15 performs FEC calculation processing on the calculation result read from the packet memory 7A and the media packet, and stores the XOR result in the packet memory 7A. Further, when receiving the FEC packet, the missing packet (after encoding) is corrected by the arrival management information read from the arrival management memory 40A as necessary. Missing packets can be detected by arrival management information. The media packet for which the FEC operation has been completed and the media packet generated by the correction process are output to the RTP data transmission unit 16 as RTP data. The FEC packet for which the FEC operation has been completed is discarded by the FEC correction unit 15.

図３は、図１に示したFEC演算部５の回路構成を示す。FEC演算部５は、RTPシーケンス番号検出部５０，パケットバッファ５１，パケットメモリリード部５２，XOR演算器５３，パケットメモリライト部５４，到着管理メモリ更新部５５およびタイマ５６で構成されている。 FIG. 3 shows a circuit configuration of the FEC calculation unit 5 shown in FIG. The FEC operation unit 5 includes an RTP sequence number detection unit 50, a packet buffer 51, a packet memory read unit 52, an XOR operation unit 53, a packet memory write unit 54, an arrival management memory update unit 55, and a timer 56.

RTPシーケンス番号検出部５０は、RTPデータ受信部４（図１）が受信したメディアパケットからRTPシーケンス番号を検出する。検出したシーケンス番号は到着管理メモリ更新部５５に通知し、メディアパケットはパケットバッファ５１に格納する。 The RTP sequence number detector 50 detects the RTP sequence number from the media packet received by the RTP data receiver 4 (FIG. 1). The detected sequence number is notified to the arrival management memory update unit 55, and the media packet is stored in the packet buffer 51.

図１で示したとおり、パケットメモリ７はFECパケット送信制御部９からもアクセスされるので、パケットバッファ５１をアクセス競合時の待ち合わせ用として、リード完了時までメディアパケットをバッファリングする。パケットバッファ５１にパケット入力が開始されたタイミングでパケットメモリリード部５２にリード要求が通知される。パケットメモリリード部５２はパケットメモリ７から、該当するXOR結果をリードする。 As shown in FIG. 1, since the packet memory 7 is also accessed from the FEC packet transmission control unit 9, the packet buffer 51 is used for waiting for access contention, and the media packet is buffered until the read is completed. A read request is notified to the packet memory read unit 52 at the timing when packet input to the packet buffer 51 is started. The packet memory read unit 52 reads the corresponding XOR result from the packet memory 7.

XOR結果のリードに合わせて、パケットバッファ５１からメディアパケットをリードし、メディアパケット送信制御部８へ出力すると同時に、XOR演算器５３にも出力する。出力は到着管理メモリ更新部５５からパケットバッファ５１に出力されるL値D値で定められる。 Along with the reading of the XOR result, the media packet is read from the packet buffer 51 and output to the media packet transmission control unit 8 and simultaneously to the XOR calculator 53. The output is determined by the L value D output from the arrival management memory update unit 55 to the packet buffer 51.

XOR演算器５３は、パケットバッファ５１からのメディアパケットと、パケットメモリリード部５２がパケットメモリ７から読み出したFEC演算結果についてXOR演算を実施し、パケットメモリライト部５４へライト要求する。パケットメモリライト部５４は、XOR結果をリードしたアドレスと同じアドレスに更新されたXOR結果をライトする。ここで、パケットメモリ７へのアクセス調停権は、パケットメモリライト部５４へのライト完了時まで有効であるものとするため、パケットメモリライト部５４にはパケットバッファ５１相当のメモリは不要である。 The XOR operator 53 performs an XOR operation on the media packet from the packet buffer 51 and the FEC operation result read from the packet memory 7 by the packet memory read unit 52, and issues a write request to the packet memory write unit 54. The packet memory write unit 54 writes the updated XOR result to the same address as the address from which the XOR result was read. Here, since the access arbitration right to the packet memory 7 is valid until the completion of the write to the packet memory write unit 54, the packet memory write unit 54 does not need a memory corresponding to the packet buffer 51.

一方、到着管理メモリ更新部５５は、RTPシーケンス番号検出部５０から通知されたシーケンス番号を元に、到着管理メモリ４０を更新（詳細は後述）する。また、L、Dそれぞれの演算値を満たす場合においては、到着管理メモリ４０の初期化と基底シーケンス番号（SN）を更新し、基底シーケンス番号を到着管理情報としてFECパケット送信制御部９へ通知する。 On the other hand, the arrival management memory update unit 55 updates the arrival management memory 40 (details will be described later) based on the sequence number notified from the RTP sequence number detection unit 50. When the L and D calculated values are satisfied, the arrival management memory 40 is initialized and the base sequence number (SN) is updated, and the base sequence number is notified to the FEC packet transmission control unit 9 as arrival management information. .

到着管理メモリ更新部５５は、RTPシーケンス番号検出部５０からシーケンス番号を通知されたタイミングでタイマ５６へリセットを通知する。タイマ５６は所定の時間が経過すると、到着管理メモリ更新部５５に対してタイムアウト通知を行う。つまり、一定期間のパケットが受信されない場合はタイムアウトとするのである。このとき、送信要求をFECパケット送信制御部９へ通知する。 The arrival management memory update unit 55 notifies the timer 56 of the reset at the timing when the sequence number is notified from the RTP sequence number detection unit 50. When a predetermined time elapses, the timer 56 notifies the arrival management memory update unit 55 of a timeout. That is, when a packet for a certain period is not received, a timeout is set. At this time, a transmission request is notified to the FEC packet transmission control unit 9.

図４は、図２に示したFEC訂正部１５の回路構成を示す。FEC訂正部１５は、FEC判定部６０，FEC拡張マスク検出部６１，NOT演算器６２，OR演算器６３，パケット訂正部６４の他、FEC演算部５（図３）におけるのと同様に、RTPシーケンス番号検出部５０Ａ，パケットバッファ５１Ａ，パケットメモリリード部５２Ａ，XOR演算器５３Ａ，パケットメモリライト部５４Ａおよび到着管理メモリ更新部５５Ａを備えている。 FIG. 4 shows a circuit configuration of the FEC correction unit 15 shown in FIG. In addition to the FEC determination unit 60, the FEC extended mask detection unit 61, the NOT operation unit 62, the OR operation unit 63, and the packet correction unit 64, the FEC correction unit 15 performs RTP in the same manner as in the FEC operation unit 5 (FIG. 3). A sequence number detector 50A, a packet buffer 51A, a packet memory read unit 52A, an XOR operator 53A, a packet memory write unit 54A, and an arrival management memory update unit 55A are provided.

FEC判定部６０は、RTPパケット受信部１２（図２）が受信したRTPパケットがメディアパケットであるか、FECパケットであるかの判定をRTPヘッダのPTフィールドにて行う。これは送信装置１と受信装置２でFECパケット用に予め決められた値を使用する。例えば、96という値で通信を開始すれば、PT=96がFECパケットであると判定可能である。 The FEC determination unit 60 determines whether the RTP packet received by the RTP packet reception unit 12 (FIG. 2) is a media packet or an FEC packet in the PT field of the RTP header. This uses a predetermined value for the FEC packet in the transmission device 1 and the reception device 2. For example, if communication is started with a value of 96, it can be determined that PT = 96 is an FEC packet.

RTPシーケンス番号検出部５０ＡはメディアパケットをFEC判定部６０から入力し、そのシーケンス番号を検出して到着管理メモリ更新部５５Ａへ出力すると共に、メディアパケットをパケットバッファ５１Ａに格納する。パケットバッファ５１Ａにパケット入力が開始されたタイミングでパケットメモリリード部５２Ａにリード要求が通知される。パケットメモリリード部５２Ａはパケットメモリ７Ａから、該当するXOR結果をリードする。 The RTP sequence number detection unit 50A receives the media packet from the FEC determination unit 60, detects the sequence number, outputs it to the arrival management memory update unit 55A, and stores the media packet in the packet buffer 51A. A read request is notified to the packet memory read unit 52A at the timing when the packet input to the packet buffer 51A is started. The packet memory read unit 52A reads the corresponding XOR result from the packet memory 7A.

XOR結果のリードに合わせて、パケットバッファ５１Ａからメディアパケットをリードし、RTPデータ送信部１６へ出力すると同時に、XOR演算器５３Ａにも出力する。出力は到着管理メモリ更新部５５Ａから指定されるL値D値で定められる。なお、この出力には、符号化前に欠落したメディアパケットは勿論、符号化後に欠落したメディアパケットも含まれない。図１７の例では、パケットＡとパケットＣは含まれるが、パケットＢは含まれない。 Along with the reading of the XOR result, the media packet is read from the packet buffer 51A and output to the RTP data transmission unit 16 and simultaneously output to the XOR operator 53A. The output is determined by the L value D value designated from the arrival management memory updating unit 55A. Note that this output does not include media packets lost after encoding, as well as media packets lost before encoding. In the example of FIG. 17, packet A and packet C are included, but packet B is not included.

XOR演算器５３Ａは、パケットバッファ５１Ａからのメディアパケットと、パケットメモリリード部５２Ａがパケットメモリ７Ａから読み出したXOR結果についてXOR演算を実施し、パケットメモリライト部５４Ａへライト要求する。パケットメモリライト部５４Ａは、XOR結果をリードしたアドレスと同じアドレスに更新されたXOR結果をライトする。ここで、パケットメモリ７Ａへのアクセス調停権は、パケットメモリライト部５４Ａへのライト完了時まで有効であるものとするため、パケットメモリライト部５４Ａにはパケットバッファ５１Ａ相当のメモリは不要である。 The XOR operator 53A performs an XOR operation on the media packet from the packet buffer 51A and the XOR result read from the packet memory 7A by the packet memory read unit 52A, and makes a write request to the packet memory write unit 54A. The packet memory write unit 54A writes the updated XOR result to the same address as the address from which the XOR result was read. Here, since the access arbitration right to the packet memory 7A is valid until the completion of writing to the packet memory write unit 54A, the packet memory write unit 54A does not require a memory equivalent to the packet buffer 51A.

XOR演算器５３Ａは、XOR演算単位の最後に、FEC拡張マスク検出部６１からパケットバッファ５１Ａに入力されているFECパケットと、パケットメモリリード部５２Ａから読み出したXOR結果とでXOR演算を行なう。このXOR結果（これが訂正パケットである）を含めて、XOR演算器５３Ａによる全てのXOR結果はパケット訂正部６４Ａに出力される。 At the end of the XOR operation unit, the XOR operator 53A performs an XOR operation on the FEC packet input from the FEC extended mask detection unit 61 to the packet buffer 51A and the XOR result read from the packet memory read unit 52A. Including this XOR result (this is a correction packet), all the XOR results by the XOR operator 53A are output to the packet correction unit 64A.

シーケンス番号についても、到着管理メモリ更新部５５Ａにて同様の手順で更新される。ただし、FEC演算部５と異なり、FECパケットの生成処理が不要なので、タイマ５６によるタイムアウト処理と、到着管理情報の通知は不要である。 The sequence number is also updated in the same procedure by the arrival management memory updating unit 55A. However, unlike the FEC calculation unit 5, the FEC packet generation process is unnecessary, so the timeout process by the timer 56 and the notification of arrival management information are unnecessary.

一方、FECパケットについては、FEC判定部６０からFEC拡張マスク検出部６１に入力される。FEC拡張マスク検出部６１は、FECパケット本体と、図５のFECヘッダより拡張マスクフィールドを検出し出力する。FECパケット本体はメディアパケットと同様に、パケットバッファ５１Ａに格納され、XOR演算器５３ＡにてXOR演算が実施される。しかし、FECパケットはFEC復号化部１１で終端されるパケットであるので、RTPデータ送信部１６へは出力せずに、XOR演算後はパケットバッファ５１Ａにて廃棄する。 On the other hand, the FEC packet is input from the FEC determination unit 60 to the FEC extended mask detection unit 61. The FEC extended mask detector 61 detects and outputs an extended mask field from the FEC packet body and the FEC header of FIG. Like the media packet, the FEC packet body is stored in the packet buffer 51A, and the XOR operation is performed by the XOR operation unit 53A. However, since the FEC packet is a packet that is terminated by the FEC decoding unit 11, it is not output to the RTP data transmission unit 16, but discarded by the packet buffer 51A after the XOR operation.

到着管理メモリ更新部５５Ａは、RTPシーケンス番号検出部５０Ａからのシーケンス番号に基づく到着管理情報を登録する。また、FEC拡張マスク検出部６１からの拡張マスクは、図６（Ａ）に示すように、NOT演算器６２によりビット反転され、OR演算器６３は、図６（Ｂ）に示すように、到着管理メモリ４０Ａからリードしたシーケンス番号によるビットパターンと、NOT演算器６２の出力とをOR演算する。 The arrival management memory update unit 55A registers arrival management information based on the sequence number from the RTP sequence number detection unit 50A. Further, the extended mask from the FEC extended mask detection unit 61 is bit-inverted by the NOT calculator 62 as shown in FIG. 6A, and the OR calculator 63 arrives as shown in FIG. 6B. The bit pattern based on the sequence number read from the management memory 40A and the output of the NOT calculator 62 are ORed.

到着管理メモリ更新部５５Ａは、このOR演算結果のビットパターンがオール1なら符号化後のパケット欠落はなかったと判断する。一方、OR演算結果のビットパターンに1ビット抜けを検出した場合には、当該パケットの欠落をパケット訂正部６４へ通知する。このパケット欠落は、図１７で示した符号化後のものである。パケット欠落通知後は、到着管理メモリ４０Ａを初期化する。また、ビット抜けが検出されなかった場合にも到着管理メモリ４０Ａを初期化する。 If the bit pattern of the OR operation result is all 1, the arrival management memory updating unit 55A determines that there is no packet loss after encoding. On the other hand, when one missing bit is detected in the bit pattern of the OR operation result, the packet correcting unit 64 is notified of the missing packet. This packet loss is after the encoding shown in FIG. After the packet loss notification, the arrival management memory 40A is initialized. The arrival management memory 40A is also initialized when no missing bit is detected.

パケット訂正部６４は、（符号化後の）パケット欠落検出が通知されると、XOR演算器５３ＡからのXOR結果を抽出することで、欠落したメディアパケットを訂正（再生成）する。訂正されたメディアパケットは、RTPデータ送信部１６へ出力される。以上のようにして、符号化前にパケットの欠落があっても、そのためにメディアパケットを誤って訂正することはなく、符号化後のパケット欠落を正しく訂正することができるようになる。
［動作の説明］
次に、パケット欠落の検出と到着管理メモリ４０の制御を中心に、本発明のパケット誤り訂正装置動作について説明する。 When notified of packet loss detection (after encoding), the packet correction unit 64 corrects (regenerates) the lost media packet by extracting the XOR result from the XOR operator 53A. The corrected media packet is output to the RTP data transmitter 16. As described above, even if there is a packet loss before encoding, the media packet is not erroneously corrected for this purpose, and the packet loss after encoding can be corrected correctly.
[Description of operation]
Next, the operation of the packet error correction apparatus of the present invention will be described focusing on the detection of packet loss and the control of the arrival management memory 40.

図６（Ｂ）１〜３段は、到着管理メモリ４０に格納するビットマップの制御イメージを示す。この図は、基底シーケンス番号（SN）が0の演算ブロックに対する。初期状態では、全ビットが0を格納しているところに、シーケンス番号0〜2のメディアデータを受信するとビット0〜2に1を格納する。この状態で、更にシーケンス番号４のメディアデータを受信するとビット４に１を格納する。シーケンス番号３のメディアデータは受信していないので、ビット3は他のビット共に0のままとなる。ここで、シーケンス番号3のメディアデータは符号化前に欠落したか、符号化後に欠落したものか定かでない。 FIG. 6B shows the control image of the bitmap stored in the arrival management memory 40. This figure is for an operation block whose base sequence number (SN) is 0. In the initial state, when media data of sequence numbers 0-2 are received where all bits store 0, 1 is stored in bits 0-2. In this state, when media data of sequence number 4 is further received, 1 is stored in bit 4. Since the media data of sequence number 3 has not been received, bit 3 remains 0 for all other bits. Here, it is not certain whether the media data of sequence number 3 is missing before encoding or missing after encoding.

図６は、パケット欠落の検出を説明するための図である。図６（Ｂ）１〜３段に示したようにシーケンス番号0〜2および4のメディアデータを受信した状態図（図６（Ｂ））のときに、FEC拡張ヘッダのXフィールドに1が設定された、同じ演算ブロックのFECパケットを受信したとする。このFECパケットの拡張マスクが11101であったとすると（図６（Ａ））、符号化前にシーケンス番号３のメディアパケットが欠落していることを示す。一方、シーケンス番号から求めた到着管理情報は、図６（Ｂ）のように11101である。このままでは、シーケンス番号３のメディアデータの欠落は符号化の前か後か定かでない。 FIG. 6 is a diagram for explaining detection of packet loss. In the state diagram (Fig. 6 (B)) in which media data of sequence numbers 0 to 2 and 4 are received as shown in the first to third stages of Fig. 6 (B), 1 is set in the X field of the FEC extension header. Suppose that the received FEC packet of the same operation block is received. If the extended mask of this FEC packet is 11101 (FIG. 6A), it indicates that the media packet with sequence number 3 is missing before encoding. On the other hand, the arrival management information obtained from the sequence number is 11101 as shown in FIG. If this is the case, it is not certain whether the media data of sequence number 3 is missing before or after encoding.

そこで、図６（Ａ）に示すように、NOT演算器６２が拡張マスクフィールド値11101をビット反転して00010とし、OR演算器６３がこの00010と到着管理メモリ４０の格納内容11101との論理和演算を行なって11111を求める。到着管理メモリ更新部５５Ａは、論理和演算結果11111であるため、シーケンス番号３のメディアパケットは符号化前に欠落しものであると見做す。この場合はパケット欠落検出をパケット訂正部６４へ通知することはない。 Therefore, as shown in FIG. 6A, the NOT operator 62 inverts the extended mask field value 11101 to 00001, and the OR operator 63 ORs this 0010 with the stored contents 11101 of the arrival management memory 40. Perform an operation to obtain 11111. The arrival management memory updating unit 55A assumes that the media packet of sequence number 3 is missing before encoding because it is the logical sum operation result 11111. In this case, the packet correction unit 64 is not notified of packet loss detection.

また、同様にシーケンス番号3のメディアデータが符号化前に欠落していて、到着管理情報が01101であったとする。この場合は、シーケンス番号0と3のパケットが欠落していることになる。そして、論理和演算結果は01111となる。この場合には、論理和演算結果のビットパターンがオール1となず、到着管理情報において示されるシーケンス番号0のパケット欠落は符号化後のものであることになる。この場合はパケット欠落検出をパケット訂正部６４へ通知する。 Similarly, it is assumed that the media data of sequence number 3 is missing before encoding and the arrival management information is 01101. In this case, packets with sequence numbers 0 and 3 are missing. The logical sum operation result is 01111. In this case, the bit pattern of the logical sum operation result does not become all 1, and the packet loss of sequence number 0 indicated in the arrival management information is after encoding. In this case, the packet correction unit 64 is notified of packet loss detection.

これまでは、説明を単純化するために、到着管理メモリ４０を１次元構成で示したが、到着管理メモリ４０は、実際には、図７に示すようにアドレスとビットの２次元構成であって、ColumnFEC用（図７の（Ａ））とRowFEC用（図７の（Ｂ））それぞれに実装される。Pro-MPEGフォーラムで規定されているCOP4方式の符号化に対応するために、Columnに256ビットのビットマップとRowに20ビットのビットマップにて管理する。図７では、図２２の例に合わせ、L値=5、D値=3としており、それぞれ、ビット0〜4、ビット0〜2を使用し、残りのビットは使用しない。 Up to now, in order to simplify the explanation, the arrival management memory 40 is shown in a one-dimensional configuration. However, the arrival management memory 40 is actually a two-dimensional configuration of addresses and bits as shown in FIG. Thus, it is mounted respectively for ColumnFEC (FIG. 7A) and RowFEC (FIG. 7B). In order to support the COP4 encoding specified in the Pro-MPEG Forum, the column is managed with a 256-bit bitmap and the Row with a 20-bit bitmap. In FIG. 7, L value = 5 and D value = 3 are set in accordance with the example of FIG. 22, bits 0 to 4 and bits 0 to 2 are used, respectively, and the remaining bits are not used.

ColumnFEC用到着管理メモリでは、（シーケンス番号−Blockシーケンス番号）÷L値の商がビット位置、剰余がアドレス位置となる。RowFEC用到着管理メモリでは、（シーケンス番号−Blockシーケンス番号）÷L値の商がアドレス位置、剰余がビット位置となる。例えば、図２２でシーケンス番号23のメディアパケットを受信した場合、ColumnFEC用到着管理メモリのアドレス3、ビット1に1が格納され、RowFEC用到着管理メモリのアドレス2、ビット2に1が格納される。 In the arrival management memory for ColumnFEC, the quotient of (sequence number−Block sequence number) ÷ L value is the bit position and the remainder is the address position. In the RowFEC arrival management memory, the quotient of (sequence number−Block sequence number) ÷ L value is the address position, and the remainder is the bit position. For example, when the media packet of sequence number 23 in FIG. 22 is received, 1 is stored in address 3 and 1 in the arrival management memory for ColumnFEC, and 1 is stored in address 2 and 2 in the arrival management memory for RowFEC. .

更に、到着管理メモリ４０は、ColumnFEC用到着管理メモリとRowFEC用到着管理メモリそれぞれについて、０面と１面の二面を設ける。これは、FECパケットの到着を待ち合わせるためと、メディアパケットの到着がズレて入れ替わることがあるのを補うためである。図８は、到着管理メモリ更新部５５における、このような面制御のフローチャートを示す。 Further, the arrival management memory 40 is provided with two sides, the 0 side and the 1 side, for the arrival management memory for ColumnFEC and the arrival management memory for RowFEC. This is to wait for the arrival of the FEC packet and to compensate for the fact that the arrival of the media packet is shifted. FIG. 8 shows a flowchart of such surface control in the arrival management memory update unit 55.

図８において、メディアパケットを受信すると（図８のステップＳ１）、シーケンス番号がBlockシーケンス番号以上（ステップＳ２）、かつ当該演算ブロック内であるときは（ステップＳ３でYES）、ColumnFEC用到着管理メモリとRowFEC用到着管理メモリそれぞれの該当するビットに1を設定する（ステップＳ４）。 In FIG. 8, when a media packet is received (step S1 in FIG. 8), if the sequence number is equal to or greater than the Block sequence number (step S2) and within the calculation block (YES in step S3), the arrival management memory for ColumnFEC And 1 are set in the corresponding bits of the arrival management memory for RowFEC (step S4).

しかし、シーケンス番号がBlockシーケンス番号の場合は（ステップＳ２でNO）、受信タイムアウトとして（ステップＳ３でNO）受信したパケットを廃棄する（ステップＳ５）。また、シーケンス番号がBlockシーケンス番号以上であるが2Block分先のシーケンス番号未満でない場合は（ステップＳ３でNO）、2Block分先のメディアパケットを受信したことになるため、削除面を0に初期化して（ステップＳ５）、面切り替えを行う（ステップＳ７）。即ち、登録面を削除面、削除面を登録面とする。そして、Blockシーケンス番号を更新した上で（ステップＳ８）、ColumnFEC用到着管理メモリとRowFEC用到着管理メモリそれぞれの該当するビットに１を設定する（ステップＳ４）。 However, if the sequence number is a Block sequence number (NO in step S2), the received packet is discarded as a reception timeout (NO in step S3) (step S5). If the sequence number is greater than or equal to the Block sequence number but not less than the sequence number of 2 blocks ahead (NO in step S3), the media packet of 2 blocks ahead is received, so the deletion plane is initialized to 0 (Step S5), the surface is switched (step S7). That is, the registration surface is a deletion surface and the deletion surface is a registration surface. Then, after updating the block sequence number (step S8), 1 is set to the corresponding bits of the arrival management memory for ColumnFEC and the arrival management memory for RowFEC (step S4).

図９は、シーケンス番号15〜59までのメディアパケットの受信イメージと、到着管理メモリ４０の面制御の関係を時系列に示している。図９では、時刻T0と時刻T2の直前までは、到着がズレることを考慮して、シーケンス番号15〜44までのメディアパケットが受信可能な時間である。時刻T2において、シーケンス番号30未満のメディアパケットについては、タイムアウトと見做して廃棄される。 FIG. 9 shows the relationship between the media packet reception images of sequence numbers 15 to 59 and the surface control of the arrival management memory 40 in time series. In FIG. 9, the time until time T0 and immediately before time T2 is a time during which media packets with sequence numbers 15 to 44 can be received in consideration of a difference in arrival. At time T2, a media packet with a sequence number less than 30 is discarded as a timeout.

時刻T0では、シーケンス番号15〜29のメディアパケットを受信中であり、０面が登録面となってシーケンス番号15〜29を登録している。このとき、１面は削除面であって登録済みのシーケンス番号0〜14は削除される。時刻T1では、シーケンス番号30〜44のメディアパケットを受信中であり、１面が登録面となってシーケンス番号30〜44を登録している。このとき、０面は削除面であって登録済みのシーケンス番号15〜29は削除される。時刻T2では、シーケンス番号45〜59のメディアパケットを受信中であり、０面が登録面となってシーケンス番号45〜59を登録している。このとき、１面は削除面であって登録済みのシーケンス番号30〜44は削除される。 At time T0, media packets with sequence numbers 15 to 29 are being received, and the sequence number 15 to 29 is registered with the 0 side serving as the registration side. At this time, one side is a deletion side and registered sequence numbers 0 to 14 are deleted. At time T1, media packets with sequence numbers 30 to 44 are being received, and one page is registered and sequence numbers 30 to 44 are registered. At this time, the 0 plane is a deletion plane, and the registered sequence numbers 15 to 29 are deleted. At time T2, media packets with sequence numbers 45 to 59 are being received, and the registration number is 0 and the sequence numbers 45 to 59 are registered. At this time, one side is a deletion side and the registered sequence numbers 30 to 44 are deleted.

図１０は、図８のフローチャートで到着管理メモリ４０の初期化が発生したケース（ステップＳ５）のFEC演算部５に注目した処理シーケンスである。FEC演算部５は、RTPデータ受信部４からメディアパケットを受信すると、メディアパケットをメディアパケット送信制御部８へ出力する。そして、到着管理メモリ４０の初期化を行う場合には、その前にFECパケット送信制御部９へ到着管理情報の通知を行っている。FECパケット送信制御部９では受信した到着管理情報を元にFECパケットを生成する。 FIG. 10 is a processing sequence focusing on the FEC calculation unit 5 in the case where the arrival management memory 40 is initialized in the flowchart of FIG. 8 (step S5). When receiving the media packet from the RTP data receiving unit 4, the FEC computing unit 5 outputs the media packet to the media packet transmission control unit 8. Before the arrival management memory 40 is initialized, the arrival management information is notified to the FEC packet transmission control unit 9 before that. The FEC packet transmission control unit 9 generates an FEC packet based on the received arrival management information.

なお、到着管理メモリ更新部５５Ａにおいても、上述の到着管理メモリ更新部５５における面制御と同様な制御を行うが、FEC訂正部１５はFEC演算部５と異なり、FECパケットの生成処理が不要なので、タイマ５６によるタイムアウト処理は不要である。 The arrival management memory updating unit 55A performs the same control as the above-described surface control in the arrival management memory updating unit 55. However, unlike the FEC calculation unit 5, the FEC correction unit 15 does not require FEC packet generation processing. The time-out process by the timer 56 is not necessary.

実施例１では、本発明のパケット誤り訂正装置をＨ／Ｗによって実現しているが、ここではＳ／Ｗによって実現する。処理内容については、実施例１と同じである。 In the first embodiment, the packet error correction apparatus of the present invention is realized by H / W, but here, it is realized by S / W. The processing contents are the same as those in the first embodiment.

図１１は、送信側のFEC演算部５のＳ／Ｗによる実現方法を示す。このFEC演算部５Ａは、プロセッサ７０と、パケット受信インタフェース７１と、プログラムやデータが格納されているROM７２と、更新処理に必要な各種値と受信パケット格納するRAM７４と、パケット送信インタフェース７３をプロセッサ用バス７５で接続された構成となっている。 FIG. 11 shows an implementation method by S / W of the FEC calculation unit 5 on the transmission side. The FEC calculation unit 5A includes a processor 70, a packet reception interface 71, a ROM 72 that stores programs and data, various values necessary for update processing, a RAM 74 that stores received packets, and a packet transmission interface 73 for the processor. It is configured to be connected by a bus 75.

RTPデータ受信部４から出力されたパケットがFEC演算部５Ａ内のパケット受信インタフェース７１に入力される。パケット受信インタフェース７１からDMA(Direct Memory Access)転送機能により、プロセッサ７０を介さずにRAM７４のパケットバッファ５１へパケットを転送する。転送完了後にパケット受信インタフェース７１からプロセッサ７０へ割り込み通知を行うことで、プロセッサ７０にパケット受信を通知する。 The packet output from the RTP data reception unit 4 is input to the packet reception interface 71 in the FEC calculation unit 5A. The packet is transferred from the packet reception interface 71 to the packet buffer 51 of the RAM 74 without using the processor 70 by a DMA (Direct Memory Access) transfer function. After the transfer is completed, the packet reception interface 71 notifies the processor 70 of an interrupt, thereby notifying the processor 70 of packet reception.

プロセッサ７０は、パケット受信インタフェース７１から割り込み通知を受けると、RAM７４からパケットを読み込み、パケットメモリ７から演算結果をリードし、パケットバッファ５１のメディアパケットとFEC演算を実施後、パケットメモリ７へ演算結果をライトし、パケットバッファ５１内のメディアパケットをパケット送信インタフェース７３へDMA(Direct Memory Access)転送機能を使用して出力する。図１の送信多重部１０がRTPパケット送信部７６に相当する。 Upon receiving an interrupt notification from the packet reception interface 71, the processor 70 reads the packet from the RAM 74, reads the operation result from the packet memory 7, performs the FEC operation with the media packet in the packet buffer 51, and then outputs the operation result to the packet memory 7. And the media packet in the packet buffer 51 is output to the packet transmission interface 73 using a DMA (Direct Memory Access) transfer function. The transmission multiplexing unit 10 in FIG. 1 corresponds to the RTP packet transmission unit 76.

一方、先に述べた方法で受信パケットのシーケンス番号を元に到着管理メモリ４０を更新し、図２２の送信順序でFECパケットを実施例１と同じ要領により、パケット送信インタフェース７３へ出力する。また、タイムアウト監視も行い、一定時間パケット受信インタフェース７１がパケットを受信しない場合は、到着管理メモリ４０を初期化する。 On the other hand, the arrival management memory 40 is updated based on the sequence number of the received packet by the method described above, and the FEC packet is output to the packet transmission interface 73 in the same order as in the first embodiment in the transmission order of FIG. Also, timeout monitoring is performed, and when the packet reception interface 71 does not receive a packet for a certain period of time, the arrival management memory 40 is initialized.

図１２は、受信側のFEC訂正部１５のＳ／Ｗによる実現方法を示す。図１２のとおり、内部のブロック構成は図１１と同様である。処理の差分として、FEC演算部５Ａで実施していたFECパケットの生成処理とタイムアウト検出処理は不要となる。代わりにFECヘッダの拡張マスクフィールドから符号化前のパケット欠落を検出する処理と、欠落パケットの訂正処理が必要となる。また、RTPデータ送信部１６に出力されるパケットはメディアパケットのみであり、FECパケットについてはパケットバッファ５１内で削除される。 FIG. 12 shows an implementation method by S / W of the FEC correction unit 15 on the receiving side. As shown in FIG. 12, the internal block configuration is the same as in FIG. As processing differences, the FEC packet generation processing and timeout detection processing performed by the FEC calculation unit 5A are not required. Instead, processing for detecting missing packets before encoding from the extended mask field of the FEC header and correction processing for missing packets are required. Further, the packet output to the RTP data transmitter 16 is only a media packet, and the FEC packet is deleted in the packet buffer 51.

最後に、これまでに述べてきた通常方式とは別のAnnexAと呼ばれる演算方式について言及する。AnnexAの規格は、Pro-MPEGフォーラムにて規定されており、図１３に示すように、ColumnFECパケットをD周期でスライドさせながら演算するものである。図１４は、AnnexA規格によるFEC演算方式であるAnnexA方式における、ColFECパケット受信を期待するパケット位置を例示する。通常方式の場合とは顕著な差がある。従って、受信パケットを０面と１面のどちらの面にライトするかという面管理の方法も通常方式の場合とは異なる。図１５に到着管理メモリ４０に対するメディアパケットの登録例を示す。各ビット位置に記載され手いる数値が受信したシーケンス番号を示している。 Finally, a calculation method called Annex A, which is different from the normal method described so far, will be mentioned. The Annex A standard is defined by the Pro-MPEG Forum, and as shown in FIG. 13, the ColumnFEC packet is calculated while sliding at a D period. FIG. 14 exemplifies a packet position where ColFEC packet reception is expected in the Annex A system, which is an FEC calculation system based on the Annex A standard. There is a significant difference from the normal method. Therefore, the surface management method for writing the received packet to the 0-side or 1-side is also different from that in the normal method. FIG. 15 shows an example of media packet registration in the arrival management memory 40. The numerical value described in each bit position indicates the received sequence number.

本発明のパケット誤り訂正装置におけるFEC符号化部の構成例を示すブロック図The block diagram which shows the structural example of the FEC encoding part in the packet error correction apparatus of this invention 本発明のパケット誤り訂正装置におけるFEC複合化部の構成例を示すブロック図The block diagram which shows the structural example of the FEC composite part in the packet error correction apparatus of this invention 図１におけるFEC演算部の構成例を示すブロック図FIG. 1 is a block diagram illustrating a configuration example of an FEC calculation unit in FIG. 図２におけるFEC訂正部の構成例を示すブロック図The block diagram which shows the structural example of the FEC correction part in FIG. 本発明における符号（FEC演算）対象FECヘッダのフォーマットを示す図The figure which shows the format of the code | symbol (FEC calculation) object FEC header in this invention パケット欠落の検出を説明するための図Illustration for explaining packet loss detection 到着管理メモリ４０の構成を示す図The figure which shows the structure of the arrival management memory 40 到着管理メモリ更新部における到着管理メモリ面制御のフローチャートFlow chart of arrival management memory surface control in arrival management memory update unit メディアパケットの受信と到着管理メモリの面制御の関係を時系列に示す図Diagram showing the relationship between reception of media packets and surface control of arrival management memory in time series 到着管理メモリ初期化時のシーケンス図Sequence diagram when initializing arrival management memory FEC演算部をＳ／Ｗによる実現した場合の構成図Configuration diagram when FEC operation unit is realized by S / W FEC訂正部をＳ／Ｗによる実現した場合の構成図Configuration diagram when FEC correction unit is realized by S / W AnnexA方式によるFEC演算イメージ図Image of FEC calculation using Annex A method AnnexA方式においてColFECパケット受信を期待するパケット位置を例示する図Figure exemplifying packet positions expected to receive ColFEC packets in Annex A method AnnexA方式における到着管理メモリへのメディアパケットの登録例を示す図The figure which shows the example of registration of the media packet to the arrival management memory in AnnexA method 一般的なFECパケット終端ネットワークモデルを示す図Diagram showing a typical FEC packet termination network model 一般的なFEC演算方法を示す図Diagram showing general FEC calculation method FECヘッダのフォーマットを示す図Diagram showing FEC header format ２次元FECにおけるメディアパケットとFECパケットの関係を示す図Diagram showing the relationship between media packets and FEC packets in 2D FEC FECヘッダにFEC拡張ヘッダが付加された場合のフォーマットを示す図Diagram showing format when FEC extension header is added to FEC header FECパケット中継ネットワークモデルを示す図Diagram showing FEC packet relay network model FECパケットの演算イメージと送信順序イメージを示す図Diagram showing FEC packet calculation image and transmission order image

Explanation of symbols

１送信装置
２受信装置
３ FEC符号化部
４ RTPデータ受信部
５ FEC演算部
７パケットメモリ
８メディアパケット送信制御部
９ FECパケット送信制御部
１０送信多重部
１１ FEC復号化部
１２ RTPパケット受信部
１５ FEC訂正部
１６ RTPデータ送信部
１７ RTPデータ生成部
１８通常パケット送信部
１９送信切替部
２０受信切替部
２１ RTPデータ再生部
２２通常パケット受信部
２３中継送信装置
２４中継受信装置
２５ RTPパケット送信装置
２６ L２SW
２７ Flow判定部
２８ RTPパケット再生装置
２９パケット判定部
３０ Block判定部
３１ FEC更新ヘッダ抽出部
３２ FECモード変更要求部
３３ビデオカメラ
３４モニタ
５０ RTPシーケンス番号検出部
５１パケットバッファ
５２パケットメモリリード部
５３ XOR演算器
５４パケットメモリライト部
５５到着管理メモリ更新部
５６タイマ
６０ FEC判定部
６１ FEC拡張マスク検出部
６２ NOT演算器
６３ OR演算器
６４パケット訂正部
７０プロセッサ
７１パケット受信インタフェース
７２ ROM
７３パケット送信インタフェース
７４ RAM
７５プロセッサ用バス
７６ RTPパケット送信部 DESCRIPTION OF SYMBOLS 1 Transmission apparatus 2 Reception apparatus 3 FEC encoding part 4 RTP data receiving part 5 FEC calculating part 7 Packet memory 8 Media packet transmission control part 9 FEC packet transmission control part 10 Transmission multiplexing part 11 FEC decoding part 12 RTP packet receiving part 15 FEC correction unit 16 RTP data transmission unit 17 RTP data generation unit 18 normal packet transmission unit 19 transmission switching unit 20 reception switching unit 21 RTP data recovery unit 22 normal packet reception unit 23 relay transmission device 24 relay reception device 25 RTP packet transmission device 26 L2SW
27 Flow determination unit 28 RTP packet playback device 29 Packet determination unit 30 Block determination unit 31 FEC update header extraction unit 32 FEC mode change request unit 33 Video camera 34 Monitor 50 RTP sequence number detection unit 51 Packet buffer 52 Packet memory read unit 53 XOR Operation unit 54 Packet memory write unit 55 Arrival management memory update unit 56 Timer 60 FEC determination unit 61 FEC extended mask detection unit 62 NOT operation unit 63 OR operation unit 64 Packet correction unit 70 Processor 71 Packet reception interface 72 ROM
73 Packet transmission interface 74 RAM
75 Processor bus 76 RTP packet transmitter

Claims

In a communication device that performs packet error correction using the two-dimensional FEC method,
The FEC encoding unit of the transmission device generates an FEC packet based on the input RTP data, and the packet position that is missing in one operation unit of the RTP data is indicated by a bit pattern in the extension header of the FEC packet. Send the media packet with the extended mask shown,
The FEC decoding unit of the receiving device corrects the media packet by the FEC packet when the bit pattern does not indicate packet loss, and when the bit pattern indicates packet loss, A communication apparatus that transmits RTP data without correcting media packets.

The FEC encoding unit is
An FEC operation unit that performs an XOR operation on the input media packet;
A packet memory in which the result of the XOR operation is stored by the FEC operation unit;
Arrival management memory in which arrival management information based on the sequence number of the input media packet is registered by the FEC calculation unit,
A media packet transmission controller for transmitting media packets according to the arrival management information read from the arrival management memory;
Based on the XOR operation result read from the packet memory and the arrival management information from the FEC operation unit, the FEC packet to which the extended mask is added is generated and transmitted while monitoring the transmission state of the media packet transmission control unit The communication apparatus according to claim 1, further comprising an FEC packet transmission control unit.

The FEC decoder is
An FEC correction unit that performs an XOR operation on the received media packet and FEC packet;
A packet memory in which the result of the XOR operation is stored by the FEC operation unit;
Arrival management information based on the sequence number of the received media packet has arrival management memory registered by the FEC correction unit,
The communication apparatus according to claim 1, wherein the FEC correction unit corrects a missing packet (after encoding) based on arrival management information read from the arrival management memory when the FEC packet is received.

The FEC calculation unit is
An RTP sequence number detector for detecting a sequence number from the input media packet;
A packet buffer for buffering the received media packet until read completion and outputting to the media packet transmission control unit for waiting when access conflict with the FEC packet transmission control unit for the packet memory;
A packet memory read unit that reads a corresponding XOR result from the packet memory at a timing when packet input is started in the packet buffer;
The XOR operation is performed on the media packet from the packet buffer and the XOR result read from the packet memory by the packet memory read unit, and a write request for the XOR result updated to the same address as the address from which the XOR result was read is made. An XOR operator,
A packet memory write unit for writing the updated XOR result to the address according to the write request of the packet memory;
Updating the arrival management memory based on the sequence number, updating the arrival management memory and the base sequence number for each operation unit, and using the base sequence number as arrival management information, the FEC packet transmission control unit The communication apparatus according to claim 2, further comprising: an arrival management memory update unit that notifies the packet buffer of the calculation unit.

The arrival management memory update unit resets a timer that performs a timeout notification to the arrival management memory update unit when a predetermined time elapses, at a timing when the received sequence number is notified, and transmits a transmission request to the FEC packet. The communication apparatus according to claim 4, wherein a notification is sent to the transmission control unit.

The FEC correction unit is
An RTP sequence number detector for detecting a sequence number from the received media packet;
A packet buffer for buffering the received media packet;
A packet memory read unit that reads a corresponding XOR result from the packet memory at a timing when packet input is started in the packet buffer;
The XOR operation is performed on the media packet from the packet buffer and the XOR result read from the packet memory by the packet memory read unit, and a write request for the XOR result updated to the same address as the address from which the XOR result was read is made. An XOR operator,
A packet memory write unit for writing the updated XOR result to the address according to the write request of the packet memory;
Update the arrival management memory based on the sequence number, update the arrival management memory and base sequence number for each operation unit, and further notify the packet buffer of the operation unit And
The main body of the received FEC packet is stored in the packet buffer and detects an extended mask field from the FEC header, and an FEC extended mask detector,
A NOT operator for inverting the bits of the extended mask field;
An OR operator that performs an OR operation on the bit pattern according to the sequence number read from the arrival management memory and the output of the NOT operator;
A packet correction unit that corrects (regenerates) the lost media packet by extracting the XOR result from the XOR operator when packet loss detection is notified from the arrival management memory update unit;
The arrival management memory update unit determines that there is no packet loss after encoding if the bit pattern of the OR operation result is all 1, while if it detects a missing 1 bit in the bit pattern of the OR operation result, 4. The communication apparatus according to claim 3, wherein the lack of the packet is notified to the packet correction unit.

The FEC calculation unit is
The processor, packet reception interface, ROM and RAM storing programs and data, and the packet transmission interface are connected via a processor bus.
The RAM includes the packet buffer, the packet memory, and the arrival management memory,
The input media data is transferred from the receiving interface to the packet buffer without using the processor by the DMA transfer function, and the packet is received by the processor by notifying the processor from the packet receiving interface after the transfer is completed. Notice
The processor, when receiving the interrupt notification, executes a program for performing the XOR operation, generating the FEC packet, and transmitting the media data and the FEC packet from the packet transmission interface. Item 3. The communication device according to Item 2.

The FEC correction unit is
A processor, a packet reception interface, a ROM storing programs and data, various values necessary for update processing, a RAM for storing received packets, and a packet transmission interface are connected by a processor bus.
The RAM includes a packet buffer for buffering the received media packet, the packet memory, and the arrival management memory,
The input media data is transferred from the reception interface to the packet buffer of the RAM without going through the processor by the DMA transfer function. After the transfer is completed, an interrupt notification is sent from the packet reception interface to the processor. Notify packet reception,
The processor, when receiving the interrupt notification, executes a program for performing the XOR operation, correction processing of the missing packet, and transmission of the corrected media packet by the packet transmission interface. The communication device described.

The arrival management memory is
For ColumnFEC, where L is the number of ColumnFECs in one operation unit (Block) determined by the Block sequence number and D is the RowFEC number, the quotient of (packet sequence number-Block sequence number) ÷ L is the bit position and the remainder is the address position. Arrival management memory,
9. The communication apparatus according to claim 1, comprising: a RowFEC arrival management memory in which a quotient of (packet sequence number−Block sequence number) ÷ D is an address position and a remainder is a bit position.

The arrival management memory is provided with a registration plane in which the sequence number of the received packet is currently registered, and a deletion plane in which the sequence number of the calculation unit (Block) determined by the previous block sequence number is registered, and the block currently being received The communication apparatus according to claim 1, wherein when the packet of 1 block is received, the registration surface and the deletion surface are interchanged.