JP5966502B2 - Data receiving method and apparatus - Google Patents

Data receiving method and apparatus Download PDF

Info

Publication number
JP5966502B2
JP5966502B2 JP2012073327A JP2012073327A JP5966502B2 JP 5966502 B2 JP5966502 B2 JP 5966502B2 JP 2012073327 A JP2012073327 A JP 2012073327A JP 2012073327 A JP2012073327 A JP 2012073327A JP 5966502 B2 JP5966502 B2 JP 5966502B2
Authority
JP
Japan
Prior art keywords
packet
error
packets
fec
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012073327A
Other languages
Japanese (ja)
Other versions
JP2013207485A (en
Inventor
麻里 川原
麻里 川原
中田 茂樹
茂樹 中田
泰孝 梅元
泰孝 梅元
誠二 松尾
誠二 松尾
俊幸 浅野
俊幸 浅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2012073327A priority Critical patent/JP5966502B2/en
Publication of JP2013207485A publication Critical patent/JP2013207485A/en
Application granted granted Critical
Publication of JP5966502B2 publication Critical patent/JP5966502B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Detection And Prevention Of Errors In Transmission (AREA)

Description

本発明は、データ受信方法及び装置に関する。   The present invention relates to a data receiving method and apparatus.

IPネットワークを利用した映像伝送においては、ネットワークにおける伝搬過程でパケットにビット誤り等のエラーが発生したとき、受信装置(以下デコーダ)から送信装置(以下エンコーダ)に対して該パケットの再送要求(Automatic Repeat reQuest:ARQ)を行う。前記デコーダからの再送要求を受信したエンコーダが、該再送要求に応じたパケットを再度該デコーダへ送信することで、該デコーダは正常なパケットを受信することができる。しかし、デコーダがエラーパケットを受信するたびにエンコーダに対して再送要求を行うと、該デコーダがすべてのデータを受信するまでに多くの時間を要するため非効率的である。   In video transmission using an IP network, when an error such as a bit error occurs in a packet during a propagation process in the network, a retransmission request (Automatic) of the packet is transmitted from a receiving device (hereinafter referred to as a decoder) to a transmitting device (hereinafter referred to as an encoder). Repeat reQuest (ARQ) is performed. The encoder that has received the retransmission request from the decoder transmits a packet corresponding to the retransmission request to the decoder again, so that the decoder can receive a normal packet. However, if the decoder makes a retransmission request to the encoder every time it receives an error packet, it takes a long time until the decoder receives all the data, which is inefficient.

そこで、エラーデータ発生時のデコーダからの再送要求を少なくするために、エンコーダは一定個数のパケットごとに、FEC(Forward Error Correction)パケットと呼ばれるパケットを生成する。FECパケットは、パケットのエラーを復旧するための冗長データを含んだパケットである。   Therefore, in order to reduce the number of retransmission requests from the decoder when error data occurs, the encoder generates a packet called an FEC (Forward Error Correction) packet for every fixed number of packets. The FEC packet is a packet including redundant data for recovering a packet error.

映像パケットとFECパケットの対応関係は予めシステム管理者によって設定されており、エンコーダは該FECパケットを、パケットとともに、システム管理者によって予め定められた所定の順序でデコーダへ送信する。パケットを受信したデコーダは、その対応関係に基づいて、パケットに生じたエラーをFECパケットによって復旧する。   The correspondence between the video packet and the FEC packet is set in advance by the system administrator, and the encoder transmits the FEC packet together with the packet to the decoder in a predetermined order predetermined by the system administrator. The decoder that receives the packet recovers the error generated in the packet by the FEC packet based on the correspondence.

1つのFECパケットは通常、所定の数のパケットに対応付けられており、所定の数のパケットのうち、1つのパケットにエラーが生じた場合、そのパケットのエラーを復旧することができる。また、所定の数の映像パケットは、時間的に連続して送信されることが一般的である。そのため、複数のパケットが時間的に連続してエラーするバーストエラーが発生すると、FECパケットは1つのパケットに生じたエラーしか復旧できないので、FECパケットによってパケットのエラーを復旧できないおそれがある。   One FEC packet is normally associated with a predetermined number of packets, and when an error occurs in one of the predetermined number of packets, the error of the packet can be recovered. In addition, a predetermined number of video packets are generally transmitted continuously in time. For this reason, when a burst error occurs in which a plurality of packets continuously error in time, the FEC packet can recover only an error that has occurred in one packet. Therefore, there is a possibility that the packet error cannot be recovered by the FEC packet.

このようなバーストエラーに伴うパケットのエラーを復旧するための技術として、非特許文献1に記載されている技術がある。この技術は、時間的に連続した複数のパケットに対応するFECパケットと、時間的に連続でない複数のパケットに対応するFECデータを組み合わせた、2次元のFECデータ(Pro-MPEG FEC)を使用してエラーを復旧させるものである。   As a technique for recovering a packet error accompanying such a burst error, there is a technique described in Non-Patent Document 1. This technology uses two-dimensional FEC data (Pro-MPEG FEC) that combines FEC packets corresponding to a plurality of temporally continuous packets and FEC data corresponding to a plurality of temporally non-continuous packets. Error recovery.

図20にPro-MPEG FECにおける映像パケットとFECパケットとの対応関係の一例を示す。図20は、エンコーダからパケットが映像パケット1…5、FECパケット1、映像パケット6…10、FECパケット2、映像パケット11…15、FECパケット3、FECパケット4…8の順で送信された場合の例を示している。デコーダは、図18に示されるようなテーブル情報をその記憶領域に有しており、デコーダは、該テーブル情報を参照することで、各々の映像パケットとFECパケットとの対応関係を認識することができる。   FIG. 20 shows an example of the correspondence between video packets and FEC packets in Pro-MPEG FEC. 20 shows a case where packets are transmitted from the encoder in the order of video packets 1... 5, FEC packet 1, video packets 6... 10, FEC packet 2, video packets 11. An example is shown. The decoder has table information as shown in FIG. 18 in its storage area, and the decoder can recognize the correspondence between each video packet and the FEC packet by referring to the table information. it can.

例えば、映像パケット9は、該パケットと時間的に連続して送信された映像パケットである、映像パケット6,7,8,10とともに、FECパケット2に対応付けられている。さらに、映像パケット9は、該パケットと時間的に不連続に送信された映像パケットである、映像パケット4,14とともに、FECパケット7に対応付けられている。   For example, the video packet 9 is associated with the FEC packet 2 together with the video packets 6, 7, 8, and 10 which are video packets transmitted continuously in time with the packet. Further, the video packet 9 is associated with the FEC packet 7 together with the video packets 4 and 14 which are video packets transmitted discontinuously in time with the packet.

このようなパケットとFECパケットとの対応関係は、予めシステム管理者等によって設定されるものであり、エンコーダはその対応関係に基づいてFECパケットを生成し、映像パケットとともに所定の順序でデコーダへ送信する。また、デコーダはその対応関係に基づいて、パケットに生じたエラーを、そのパケットに対応したFECパケットのうちのいずれかによって復旧する。   The correspondence between such a packet and the FEC packet is set in advance by a system administrator or the like, and the encoder generates an FEC packet based on the correspondence and transmits it to the decoder together with the video packet in a predetermined order. To do. Further, based on the correspondence relationship, the decoder recovers an error occurring in the packet by one of the FEC packets corresponding to the packet.

ここで、図21を用いてPro-MPEG FECによるエラーパケット復旧手順の一例を示す。図21(a)はデコーダがエラーパケットである映像パケット3を受信したときの映像パケットとFECパケットとの対応関係を表すテーブルの例である。図21において、白背景で表したパケットは正常なパケットを、黒背景で表したパケットはエラーパケットを、斜線背景で表したパケットは未受信受診のパケットを、それぞれ表す。この時点では、映像パケットに対応したFECパケットがどちらも未受信であるため、この時点でのエラー復旧は行われない。   Here, an example of error packet recovery procedure by Pro-MPEG FEC is shown using FIG. FIG. 21A shows an example of a table representing the correspondence between video packets and FEC packets when the decoder receives video packet 3 that is an error packet. In FIG. 21, a packet represented by a white background represents a normal packet, a packet represented by a black background represents an error packet, and a packet represented by a hatched background represents an unreceived consultation packet. At this time, since neither FEC packet corresponding to the video packet has been received, error recovery at this time is not performed.

図21(b)はデコーダがFECパケットF1を受信したときの映像パケットとFECパケットとの対応関係を説明するための図である。この時点で、映像パケット1、2、4、5がすべて正常なパケットであれば、映像パケット3のエラーをFECパケット1によって復旧することができるが、図21(b)の例では映像パケット4がエラーパケットである。そのため、映像パケット3のエラーをFECパケット1によって復旧することができない。   FIG. 21B is a diagram for explaining the correspondence between the video packet and the FEC packet when the decoder receives the FEC packet F1. At this time, if the video packets 1, 2, 4, and 5 are all normal packets, the error of the video packet 3 can be recovered by the FEC packet 1. In the example of FIG. Is an error packet. Therefore, the error of the video packet 3 cannot be recovered by the FEC packet 1.

ここで、従来のFECパケット伝送と異なり、Pro-MPEG FECによるパケット伝送では、1つの映像パケットに対して、2つのFECパケットが対応していることが特徴である。そこで、図21(b)の例では、映像パケット3のエラーを復旧するために、該映像パケットに対応するもう一つのFECパケットである、FECパケット6の受信を待つことになる。   Here, unlike conventional FEC packet transmission, Pro-MPEG FEC packet transmission is characterized in that two FEC packets correspond to one video packet. Therefore, in the example of FIG. 21B, in order to recover the error of the video packet 3, the reception of the FEC packet 6, which is another FEC packet corresponding to the video packet, is awaited.

図21(c)はデコーダがFECパケット6を受信したときの映像パケットとFECパケットとの対応関係を説明するための図である。図21(c)において、映像パケット3,8,13のうち、エラーパケットであるのは映像パケット3のみであるため、FECパケット6によって映像パケット3のエラーを復旧できる。   FIG. 21C is a diagram for explaining the correspondence between the video packet and the FEC packet when the decoder receives the FEC packet 6. In FIG. 21 (c), only the video packet 3 is the error packet among the video packets 3, 8, and 13, so that the error of the video packet 3 can be recovered by the FEC packet 6.

図21(d)は映像パケット3のエラーが復旧されたときの映像パケットとFECパケットとの対応関係を説明するための図である。図21(d)において、映像パケット3のエラーがFECパケット6によって復旧されたため、映像パケット4のエラーをFECパケット1によって復旧することができるようになった。このように、Pro-MPEG FECを用いることで、パケットにバーストエラーが生じても、エラーパケットを復旧することが可能である。   FIG. 21D is a diagram for explaining the correspondence between the video packet and the FEC packet when the error of the video packet 3 is recovered. In FIG. 21D, since the error of the video packet 3 is recovered by the FEC packet 6, the error of the video packet 4 can be recovered by the FEC packet 1. Thus, by using Pro-MPEG FEC, even if a burst error occurs in the packet, it is possible to recover the error packet.

しかしながら、Pro-MPEG FECを利用しても映像パケットのエラーを復旧できない場合もある。どのような条件でPro-MPEG FECによるエラー復旧が行えなくなるか、図22を用いて説明する。図22(a)は、映像パケット8を受信したときの映像パケットとFECパケットとの対応関係を表すテーブルの例である。図22においても、白背景で表したパケットは正常なパケットを、黒背景で表したパケットはエラーパケットを、斜線背景で表したパケットは未受信のパケットを、それぞれ表す。   However, there are cases where video packet errors cannot be recovered using Pro-MPEG FEC. The conditions under which error recovery by Pro-MPEG FEC cannot be performed will be described with reference to FIG. FIG. 22A is an example of a table showing the correspondence between the video packet and the FEC packet when the video packet 8 is received. Also in FIG. 22, a packet represented by a white background represents a normal packet, a packet represented by a black background represents an error packet, and a packet represented by a hatched background represents an unreceived packet.

図21の例と異なり、図22(a)では映像パケット3,4に加えて映像パケット8もエラーパケットとなっている。このとき、FECパケット6が対応している映像パケットのうち2つがエラーパケットとなっているため、図21の例のようにFECパケット6によって映像パケット3のエラーを復旧することができないことが懸念される。   Unlike the example of FIG. 21, in FIG. 22A, in addition to the video packets 3 and 4, the video packet 8 is also an error packet. At this time, since two of the video packets supported by the FEC packet 6 are error packets, there is a concern that the error of the video packet 3 cannot be recovered by the FEC packet 6 as in the example of FIG. Is done.

しかし、映像パケット8のエラーが復旧されれば、FECパケット6が対応している映像パケットのうち、エラーパケットは映像パケット3のみとなるため、該映像パケットを復旧することが可能である。図22(b)はデコーダがFECパケット2を受信したときの映像パケットとFECパケットとの対応関係を説明するための図である。   However, if the error of the video packet 8 is recovered, the error packet is only the video packet 3 among the video packets supported by the FEC packet 6, and therefore the video packet can be recovered. FIG. 22B is a diagram for explaining the correspondence between the video packet and the FEC packet when the decoder receives the FEC packet 2.

図22(b)において、映像パケット6〜10のうち、エラーパケットであるのは映像パケット8のみであるため、FECパケット2によって映像パケット8のエラーを復旧できる。映像パケット3のエラーが復旧されれば、図21(c)(d)を用いて説明した手順によってすべてのエラーが復旧される。   In FIG. 22B, since only the video packet 8 is the error packet among the video packets 6 to 10, the error of the video packet 8 can be recovered by the FEC packet 2. If the error of the video packet 3 is recovered, all errors are recovered by the procedure described with reference to FIGS.

ところが、ここで映像パケット9もエラーパケットであると、映像パケット8をFECデータ2によって復旧することができなくなるので、映像パケット3のエラーを復旧させることができない。図22(c)は、映像パケット9がエラーパケットである場合において、FECパケット2を受信したときの映像パケットとFECパケットとの対応関係を説明するための図である。   However, if the video packet 9 is also an error packet, the video packet 8 cannot be recovered by the FEC data 2, and the error of the video packet 3 cannot be recovered. FIG. 22C is a diagram for explaining the correspondence between the video packet and the FEC packet when the FEC packet 2 is received when the video packet 9 is an error packet.

図22(c)において、FECパケット2が対応する映像パケットのうち、エラーパケットが2つ(映像パケット8,9)存在するため、FECパケット2によってエラーパケットを復旧することができない。このとき、映像パケット9のエラーが復旧されれば、図22(a)(b)を用いて説明した手順によって映像パケット8のエラーが復旧され、図21(c)(d)を用いて説明した手順によってすべてのエラーが復旧される。   In FIG. 22C, since there are two error packets (video packets 8 and 9) among the video packets corresponding to the FEC packet 2, the error packet cannot be recovered by the FEC packet 2. At this time, if the error of the video packet 9 is recovered, the error of the video packet 8 is recovered by the procedure described with reference to FIGS. 22 (a) and 22 (b), and will be described with reference to FIGS. 21 (c) and 21 (d). All errors are recovered by the procedure.

そこで、映像パケット9に対応するもう一つのFECパケットである、FECパケット7の受信を待つことになる。図22(d)はFECパケット7を受信したときの映像パケットとFECパケットとの対応関係を説明するための図である。   Therefore, it waits for reception of FEC packet 7, which is another FEC packet corresponding to video packet 9. FIG. 22D is a diagram for explaining the correspondence between the video packet and the FEC packet when the FEC packet 7 is received.

図22(d)において、FECパケット7が対応する映像パケットのうち、エラーパケットが2つ(映像パケット4,9)存在するため、FECパケット7によって映像パケット9のエラーを復旧することができない。したがって、全てのFECパケットを受信したとき、映像パケット3,4,8,9は復旧されないまま残ってしまう。   In FIG. 22D, since there are two error packets (video packets 4 and 9) among the video packets corresponding to the FEC packet 7, the error of the video packet 9 cannot be recovered by the FEC packet 7. Therefore, when all the FEC packets are received, the video packets 3, 4, 8, and 9 remain unrecovered.

上記のような状況はバーストエラーが複数発生すると起こり得る。このように、バーストエラーが複数発生し、FECパケットをすべて受信しても復旧することができないエラーパケットが残ってしまった場合は、デコーダはエンコーダに対してエラーパケットの再送要求を行うことで、エラーを復旧させている。   The above situation can occur when multiple burst errors occur. In this way, when a plurality of burst errors occur and an error packet that cannot be recovered even after receiving all FEC packets remains, the decoder makes a retransmission request of the error packet to the encoder, The error is recovered.

ここで、図21、図22において、映像パケットは、15個ごとにグループが形成され、各FECグループに対して8つのFECパケットが付加されている。つまり、図21、図22において、映像パケット1〜15は一つのグループを形成している。デコーダは、一つのグループのパケットと、そのグループのパケットに対応したFECパケットをすべて受信した時点で、そのグループにエラーパケットが残っていた場合に、エラーパケットの再送要求を行う。なお、以降の説明ではそのグループのことを「FEC復旧単位」と呼称する。   In FIG. 21 and FIG. 22, a group of 15 video packets is formed, and eight FEC packets are added to each FEC group. That is, in FIG. 21 and FIG. 22, the video packets 1 to 15 form one group. When the decoder receives a packet of one group and all the FEC packets corresponding to the packet of the group, if an error packet remains in the group, the decoder requests retransmission of the error packet. In the following description, the group is referred to as “FEC recovery unit”.

図22(d)の例で説明すると、デコーダは、映像パケット3,4,8,9が属するFEC復旧単位の全映像パケットと、各々の映像パケットに対応するFECパケットをすべて受信した時点で、映像パケット3,4,8,9のうちどれか1パケットの再送要求を行う。そして、該パケットが正常な状態でデコーダに届くと、デコーダは残りのエラーパケットを全てFECパケットによって復旧することができる。   In the example of FIG. 22D, when the decoder receives all the video packets of the FEC recovery unit to which the video packets 3, 4, 8, and 9 belong and all the FEC packets corresponding to the video packets, A retransmission request for one of the video packets 3, 4, 8, and 9 is made. When the packet reaches the decoder in a normal state, the decoder can recover all remaining error packets with the FEC packet.

例えば、映像パケット3の再送要求を行い、該パケットが正常に受信された場合、映像パケット4をFECパケット1によって、映像パケット8をFECパケット6によって、それぞれ復旧できるようになる。そして、映像パケット4または映像パケット8が復旧すると、映像パケット9がFECパケット7またはFECパケット2によって復旧され、全てのエラーパケットが復旧される。なお、再送要求を行う対象の映像パケットは必ずしも映像パケット3である必要はなく、他のエラーパケットであっても問題なくエラーの復旧が行われる。   For example, when a retransmission request is made for the video packet 3 and the packet is normally received, the video packet 4 can be recovered by the FEC packet 1 and the video packet 8 can be recovered by the FEC packet 6. When the video packet 4 or the video packet 8 is restored, the video packet 9 is restored by the FEC packet 7 or the FEC packet 2 and all error packets are restored. Note that the video packet to be retransmitted does not necessarily need to be the video packet 3, and the error can be recovered without any problem even if it is another error packet.

ここで、映像データを受信しながら同時に再生を行うストリーミングのサービスにおいては、視聴者側の再生を妨げないために、デコーダは再生のタイミングに合わせて正常に復号された映像を表示装置へ出力する必要がある。デコーダが受信したエラーパケットは、該パケットが受信されてから一定時間が経過した場合、該パケットが復旧されたか否かに関わらず、自動的に復号され、表示装置へ出力される。   Here, in a streaming service in which video data is received and played back at the same time, the decoder outputs video that has been successfully decoded to the display device in accordance with the playback timing in order not to prevent playback on the viewer side. There is a need. The error packet received by the decoder is automatically decoded and output to the display device regardless of whether or not the packet has been restored when a certain time has elapsed since the packet was received.

したがって、ネットワークにおける伝搬過程でのパケットエラーが生じても、各エラーパケットの復旧にかかる時間を短くする必要がある。ただし、エンコーダにかかる負荷を小さくするために、できるだけエンコーダからのパケット再送は少なくすることが望ましい。なお、前記一定時間とは、ユーザが任意に設定し、ハードウェアに記憶された値であり、以降パケット復旧制限時間と呼称する。   Therefore, even if a packet error occurs in the propagation process in the network, it is necessary to shorten the time taken to recover each error packet. However, in order to reduce the load on the encoder, it is desirable to reduce the number of packet retransmissions from the encoder as much as possible. The fixed time is a value arbitrarily set by the user and stored in hardware, and is hereinafter referred to as a packet recovery time limit.

"Transmission of Professional MPEG-2 Transport Streams over IP Networks", Pro-MPEG Forum (2004): Pro-MPEG Code of Practice #3 release 2"Transmission of Professional MPEG-2 Transport Streams over IP Networks", Pro-MPEG Forum (2004): Pro-MPEG Code of Practice # 3 release 2

図23は、映像の圧縮率と、パケット数及び各パケットに含まれる情報量との間の関係を説明するための図である。図23において、画像100はA、B、…Z、α、β、γ、δで表される30に分割された領域で構成される。なお、前述のストリーミングの場合、画像100は1フレームの映像に対応する。   FIG. 23 is a diagram for explaining the relationship between the video compression rate, the number of packets, and the amount of information included in each packet. In FIG. 23, an image 100 is composed of regions divided into 30 represented by A, B,... Z, α, β, γ, and δ. Note that in the above-described streaming, the image 100 corresponds to one frame of video.

図23において、映像パケット1〜5、7〜11、13〜17、24〜28、30〜34、36〜40は、前記画像100をMPEG−4等の低い圧縮率の圧縮形式でパケット符号化することで得られた、計30個の映像パケットである。各映像パケットは、前記30に分割された情報のうちどれか1つの情報を含んでいる。例えば、パケット1は情報Aを含み、パケット38は情報βを含んでいる。なお、各パケットが含んでいる情報は重複しない。   In FIG. 23, video packets 1 to 5, 7 to 11, 13 to 17, 24 to 28, 30 to 34, and 36 to 40 are obtained by encoding the image 100 in a compression format with a low compression rate such as MPEG-4. This is a total of 30 video packets obtained. Each video packet includes one piece of information divided into 30 pieces. For example, packet 1 contains information A and packet 38 contains information β. Note that the information contained in each packet does not overlap.

図23において、30個の映像パケットは、15個ごとにFEC復旧単位が形成され、各FEC復旧単位に対して8つのFECパケットが付加されている。例えば、映像パケット1〜5,7〜11,13〜17は一つのFEC復旧単位を形成している映像パケットであり、該FEC復旧単位に対してFECパケット6,12,18,19〜23が付加されている。   In FIG. 23, FEC recovery units are formed for every 15 video packets, and eight FEC packets are added to each FEC recovery unit. For example, video packets 1 to 5, 7 to 11, and 13 to 17 are video packets forming one FEC recovery unit, and FEC packets 6, 12, 18, and 19 to 23 are associated with the FEC recovery unit. It has been added.

また、各FEC復旧単位において、時間的に連続して送信される複数の映像パケットはグループを形成しており、各グループに対して1つのFECパケットが対応付けられている。ここで、各グループに対応したFECパケットを「横FECパケット」と呼ぶとともに、該FECパケットと、該FECパケットが対応する映像パケットとを総称して、「横FECグループ」あるいは「行」と呼ぶものとする。   In each FEC recovery unit, a plurality of video packets transmitted continuously in time form a group, and one FEC packet is associated with each group. Here, the FEC packet corresponding to each group is referred to as a “horizontal FEC packet”, and the FEC packet and the video packet corresponding to the FEC packet are collectively referred to as a “horizontal FEC group” or “row”. Shall.

さらに、各FEC復旧単位において、時間的に不連続に送信される複数の映像パケットはグループを形成しており、各グループに対して1つのFECパケットが対応付けられている。ここで、該グループに対応したFECパケットを「縦FECパケット」と呼ぶとともに、該FECパケットと、該FECパケットが対応する映像パケットとを総称して、「縦FECグループ」あるいは「列」と呼ぶものとする。   Further, in each FEC recovery unit, a plurality of video packets transmitted discontinuously in time form a group, and one FEC packet is associated with each group. Here, the FEC packet corresponding to the group is referred to as a “vertical FEC packet”, and the FEC packet and the video packet corresponding to the FEC packet are collectively referred to as “vertical FEC group” or “column”. Shall.

図23(a)において、各FECパケットは、該FECパケットと同じ行または列の映像パケットのエラーを一つ復旧することができる。例えば、FECパケットであるパケット12は、該パケットと同じ行にある映像パケット7〜11のエラーを一つ復旧できる。また、FECパケットであるパケット22は、該パケットと同じ列にある映像パケット4、10、16のエラーを一つ復旧できる。   In FIG. 23A, each FEC packet can recover one video packet error in the same row or column as the FEC packet. For example, the packet 12 that is an FEC packet can recover one error of the video packets 7 to 11 in the same row as the packet. Further, the packet 22 that is an FEC packet can recover one error of the video packets 4, 10, and 16 in the same column as the packet.

このように、図23(a)で示した例では、ある画像をMPEG−4等の低い圧縮率の圧縮形式でパケット符号化することによって、各々1つの情報を含んだ30個の映像パケットと、エラー訂正用のFECパケット16個の、合計46個のパケットが生成されている。   In this way, in the example shown in FIG. 23 (a), by encoding a certain image in a compression format with a low compression rate such as MPEG-4, 30 video packets each containing one piece of information are obtained. A total of 46 packets of 16 error correcting FEC packets are generated.

図23(b)において、映像パケット101〜105、107〜111、113〜117は、前記画像100をH.264等の高い圧縮率の圧縮形式でパケット符号化することで得られた、計15個の映像パケットである。ここで、図23(b)における高い圧縮率の圧縮形式は、図23(a)における低い圧縮率の圧縮形式に対して2倍の圧縮率で映像を圧縮できるものとする。各映像パケットは、前記30に分割された情報のうちどれか2つの情報を含んでいる。例えば、パケット101は情報A、Bを含み、パケット116は情報α、βを含んでいる。なお、各パケットが含んでいる情報は重複しない。   In FIG. 23B, video packets 101-105, 107-111, 113-117 represent the image 100 as H.264. This is a total of 15 video packets obtained by packet encoding in a compression format with a high compression rate such as H.264. Here, it is assumed that the high compression rate compression format in FIG. 23B can compress the video at a compression rate twice that of the low compression rate compression format in FIG. Each video packet includes any two pieces of information divided into 30 pieces. For example, the packet 101 includes information A and B, and the packet 116 includes information α and β. Note that the information contained in each packet does not overlap.

図23(b)において、15個の映像パケットは、15個ごとにFEC復旧単位が形成され、各FEC復旧単位に対して8つのFECパケットが付加されている。例えば、パケット101〜105,107〜111,113〜117は一つのFEC復旧単位を形成しており、該FEC復旧単位に対してFECパケット106,112,118,119〜123が付加されている。   In FIG. 23 (b), FEC recovery units are formed for every 15 video packets, and eight FEC packets are added to each FEC recovery unit. For example, the packets 101 to 105, 107 to 111, and 113 to 117 form one FEC recovery unit, and the FEC packets 106, 112, 118, and 119 to 123 are added to the FEC recovery unit.

図23(b)において、各FECパケットは、該FECパケットと同じ行または列の映像パケットのエラーを一つ復旧することができる。例えば、FECパケットであるパケット112は、該パケットと同じ行にある映像パケット107〜111のエラーを一つ復旧できる。   In FIG. 23B, each FEC packet can recover one video packet error in the same row or column as the FEC packet. For example, the packet 112 that is an FEC packet can recover one error of the video packets 107 to 111 in the same row as the packet.

このように、図23(b)の例では、ある画像を高い圧縮率でパケット符号化することによって、各々2つの情報を含んだ15個の映像パケットと、エラー訂正用のFECパケット8個の、合計23個のパケットが生成されている。   As described above, in the example of FIG. 23B, by encoding a certain image with a high compression rate, 15 video packets each including two pieces of information and 8 error correcting FEC packets are obtained. A total of 23 packets are generated.

図24は、圧縮率と伝送レートとの間の関係を説明するための図である。図24において、圧縮率の低い方式でパケットを伝送するときと比べて、圧縮率の高い方式でパケットを伝送するときは、各パケットの送信間隔が広くなっている。これは、リアルタイムな映像配信においては、映像の再生タイミングは予め定められているため、圧縮形式に関わらず、全ての情報を送信するまでの所要時間はほぼ一定でなければならないからである。   FIG. 24 is a diagram for explaining the relationship between the compression rate and the transmission rate. In FIG. 24, when a packet is transmitted by a method with a high compression rate, the transmission interval of each packet is wider than when a packet is transmitted by a method with a low compression rate. This is because, in real-time video distribution, the video playback timing is predetermined, so that the time required to transmit all information must be substantially constant regardless of the compression format.

図25は、圧縮率とエラーパケット復旧時間との間の関係を説明するための図である。図25は、圧縮率の高い方式、低い方式のそれぞれにおいて、情報D,E,N,Oに対応するパケットにエラーが生じたため、情報Dを含むパケットの再送要求を行い、再送された該パケットに基づいてエラーパケットが復旧されるまでの所要時間を示している。   FIG. 25 is a diagram for explaining the relationship between the compression rate and the error packet recovery time. FIG. 25 shows that the packet corresponding to the information D, E, N, O has an error in each of the high compression rate method and the low compression rate, so that the packet including the information D is requested to be retransmitted. The time required until the error packet is recovered based on the above is shown.

圧縮率の低い方式において、情報D,E,N,Oに対応するパケットは、それぞれパケット4,5,16,17であり、これら4つのパケットは、それぞれエラーパケットとなっている。さらに、各パケットは、該パケットに対応するFECパケットによって復旧することができない。ここで、各パケットに対応するFECパケットとは、図21において各パケットと同じ行または列に位置するFECパケットのことである。例えば、パケット4に対応するFECパケットはパケット6とパケット22、パケット5に対応するFECパケットはパケット6とパケット23、パケット16に対応するFECパケットはパケット18とパケット22、パケット17に対応するFECパケットはパケット18とパケット23である。   In the method with a low compression rate, the packets corresponding to the information D, E, N, and O are the packets 4, 5, 16, and 17, respectively, and these four packets are error packets. Furthermore, each packet cannot be recovered by the FEC packet corresponding to the packet. Here, the FEC packet corresponding to each packet is an FEC packet located in the same row or column as each packet in FIG. For example, the FEC packet corresponding to the packet 4 is the packet 6 and the packet 22, the FEC packet corresponding to the packet 5 is the packet 6 and the packet 23, the FEC packet corresponding to the packet 16 is the FEC corresponding to the packet 18, the packet 22, and the packet 17. The packets are packet 18 and packet 23.

圧縮率の高い方式において、情報D,E,N,Oに対応するパケットは、それぞれパケット102,103,108,109であり、これら4つのパケットは、それぞれエラーパケットとなっている。さらに、圧縮率の低い方式と同様、各パケットは、該パケットに対応するFECパケットによって復旧することができない。また、例えば、パケット102に対応するFECパケットはパケット106とパケット120、パケット103に対応するFECパケットはパケット106とパケット121、パケット108に対応するFECパケットはパケット112とパケット120、パケット109に対応するFECパケットはパケット112とパケット121である。   In the method with a high compression rate, the packets corresponding to the information D, E, N, and O are the packets 102, 103, 108, and 109, respectively, and these four packets are error packets. Further, each packet cannot be recovered by the FEC packet corresponding to the packet, as in the case of the method having a low compression rate. For example, the FEC packet corresponding to the packet 102 corresponds to the packet 106 and the packet 120, the FEC packet corresponding to the packet 103 corresponds to the packet 106 and the packet 121, and the FEC packet corresponding to the packet 108 corresponds to the packet 112, the packet 120, and the packet 109. The FEC packets to be performed are the packet 112 and the packet 121.

Pro-MPEG FECによるデータ伝送においては、デコーダが1つのFEC復旧単位の映像パケットに対応するFECパケットを全て受信すると、該デコーダはFECパケットによって復旧できなかったエラーパケットが存在しているか判定する。未復旧のエラーパケットがまだ存在している場合、デコーダは前記エラーパケットの再送が必要と判断し、該パケットの再送要求を行う。   In data transmission by Pro-MPEG FEC, when the decoder receives all the FEC packets corresponding to one video packet of one FEC recovery unit, the decoder determines whether there is an error packet that could not be recovered by the FEC packet. If an unrecovered error packet still exists, the decoder determines that the error packet needs to be retransmitted and makes a retransmission request for the packet.

前述のように、映像データを受信しながら同時に再生を行うストリーミングのサービスにおいては、視聴者側の再生を妨げないために、デコーダは再生のタイミングに合わせて正常に復号された映像を表示装置へ出力する必要がある。デコーダが受信したエラーパケットは、該パケットが受信されてから一定時間が経過した場合、該パケットが復旧されたか否かに関わらず、自動的に復号され、表示装置へ出力される。   As described above, in a streaming service in which video data is received and played back at the same time, in order not to prevent playback on the viewer side, the decoder sends the video that has been normally decoded in accordance with the playback timing to the display device. It is necessary to output. The error packet received by the decoder is automatically decoded and output to the display device regardless of whether or not the packet has been restored when a certain time has elapsed since the packet was received.

そのため、図25において、圧縮率の低い方式でパケットを伝送したとき、エラーパケットをFECパケットによって復旧できる場合は、デコーダは各エラーパケットに対応するFECパケットを早く受信することができる。また、エラーパケットをFECパケットによって復旧できない場合も、デコーダはパケット23を受信した時点でパケット4(もしくはパケット5,16,17のいずれか)の再送が必要かどうか判定できるので、再送要求を早く行うことができる。したがって、エラーパケットであるパケット4を受信してから該パケットが復旧するまでに要する時間が短いので、該パケットが復旧される前に自動的に復号されてしまう可能性が低い。   Therefore, in FIG. 25, when a packet is transmitted by a method with a low compression rate, if the error packet can be recovered by the FEC packet, the decoder can quickly receive the FEC packet corresponding to each error packet. Even when an error packet cannot be recovered by the FEC packet, the decoder can determine whether or not the packet 4 (or any of the packets 5, 16, and 17) needs to be retransmitted when the packet 23 is received. It can be carried out. Accordingly, since it takes a short time to recover the packet after receiving the packet 4 as an error packet, it is unlikely that the packet is automatically decoded before the packet is recovered.

それに対して、圧縮率の高い方式でパケットを伝送したときエラーパケットをFECパケットによって復旧できる場合は、デコーダは各エラーパケットに対応するFECパケットを受信するまでに多くの時間を要する。また、エラーパケットをFECパケットによって復旧できない場合も、デコーダはパケット123を受信した時点でパケット102(もしくはパケット103,108,109のいずれか)再送が必要かどうか判定するので、再送要求を行うタイミングが遅くなる。したがって、エラーパケットであるパケット102を受信してから該パケットが復旧するまでの時間が長くなるので、該パケットが復旧される前に自動的に復号されてしまう可能性が高い。   On the other hand, if the error packet can be recovered by the FEC packet when the packet is transmitted by a method with a high compression rate, the decoder takes a long time to receive the FEC packet corresponding to each error packet. In addition, even when the error packet cannot be recovered by the FEC packet, the decoder determines whether retransmission of the packet 102 (or one of the packets 103, 108, and 109) is necessary when the packet 123 is received. Becomes slower. Therefore, since it takes a long time until the packet is recovered after receiving the packet 102 which is an error packet, there is a high possibility that the packet is automatically decoded before the packet is recovered.

近年、画像圧縮技術の向上によって、従来の画像圧縮技術であるMPEG-4よりも圧縮率の高いH.264が広く用いられるようになりつつある。そのため、高い圧縮率で符号化されたパケットをPro-MPEG FECを利用して伝送するパケット伝送において、エラーパケットを受信してから該パケットが復旧されるまでに要する時間を短縮する必要がある。ただし、現在は圧縮率の低いMPEG-4も併用して利用されることが多いことから、MPEG-4との互換性を確保するために、FEC復旧単位、パケット復旧制限時間等の設定は変更しないことが望ましい。さらに、パケット復旧制限時間が長いと、映像表示までの時間が長くなり、映像配信のリアルタイム性が損なわれるので、映像の再生をリアルタイムに行う観点からすれば、パケット復旧制限時間は短いほど望ましい。   In recent years, with the improvement of image compression technology, H.264, which has a higher compression rate than MPEG-4, which is a conventional image compression technology, has been widely used. Therefore, in packet transmission in which a packet encoded at a high compression rate is transmitted using Pro-MPEG FEC, it is necessary to reduce the time required from the reception of the error packet until the packet is restored. However, since MPEG-4, which has a low compression rate, is often used at present, settings such as FEC recovery unit and packet recovery time limit have been changed to ensure compatibility with MPEG-4. It is desirable not to. Furthermore, if the packet recovery time limit is long, the time until video display becomes long and the real-time performance of video distribution is impaired. Therefore, from the viewpoint of video playback in real time, the packet recovery time limit is preferably as short as possible.

そこで、本発明では、エラーパケットが未復旧のままで復号されることを抑制するため、再送要求を送信するタイミングを早めることを目的の一側面とする。   Accordingly, an aspect of the present invention is to speed up the timing for transmitting a retransmission request in order to prevent an error packet from being decoded without being restored.

上記の目的を達成するために、本発明にかかるデータ受信方法及び装置は、元のデータが分割されることによって生成され、かつ、該元のデータから分割された1以上の他のパケットを含むグループに属するパケットを、エラー訂正用パケットとともに受信するデコーダにおいて、送信機から第一のパケットを受信したとき、該第一のパケットにエラーが存在するか判定し、前記第一のパケットにエラーが存在していると判定されたとき、該第一のパケットが属するグループに存在するエラーパケットの数を参照し、全てのエラー訂正用パケットを受信しても該第一のパケットのエラーを復旧できないか判定し、全手のエラー訂正用パケットを受信しても前記第一のパケットのエラーを復旧できないと判定されたとき、前記送信機に該第一のパケットの再送を要求し、前記送信機から再送された前記第一のパケットを受信する。   In order to achieve the above object, a data receiving method and apparatus according to the present invention includes one or more other packets generated by dividing original data and divided from the original data. When a decoder that receives a packet belonging to a group together with an error correction packet receives the first packet from the transmitter, the decoder determines whether an error exists in the first packet, and the first packet has an error. When it is determined that the packet exists, the error of the first packet cannot be recovered even if all the error correction packets are received with reference to the number of error packets existing in the group to which the first packet belongs. If it is determined that the error of the first packet cannot be recovered even if the error correction packet is received by all hands, the first transmitter is sent to the transmitter. Requesting retransmission of packets, it receives the first packet retransmitted from the transmitter.

本発明により、再送要求を送信するタイミングを早めることで、エラーパケットが未復旧の状態のままで復号されることを抑制できる。   According to the present invention, it is possible to prevent the error packet from being decoded in an unrecovered state by advancing the timing for transmitting the retransmission request.

本発明におけるエラー訂正の流れを説明するための図。The figure for demonstrating the flow of the error correction in this invention. 本発明にかかる映像伝送システムの全体構成を説明するための図。The figure for demonstrating the whole structure of the video transmission system concerning this invention. 本発明におけるエンコーダ1の機能を表す機能ブロック図。The functional block diagram showing the function of the encoder 1 in this invention. 本発明における映像パケットとFECパケットとの対応関係を表す図。The figure showing the correspondence of the video packet and FEC packet in this invention. パケットの送信順序を説明するための図。The figure for demonstrating the transmission order of a packet. 本発明におけるエンコーダ1のハードウェア構成の一例を表すブロック図。The block diagram showing an example of the hardware constitutions of the encoder 1 in this invention. 本発明におけるデコーダ2の機能を表す機能ブロック図。The functional block diagram showing the function of the decoder 2 in this invention. 本発明におけるデコーダ2のハードウェア構成の一例を表すブロック図。The block diagram showing an example of the hardware constitutions of the decoder 2 in this invention. 本発明にかかる受信データ確認処理の手順の一例を表すフローチャート。The flowchart showing an example of the procedure of the reception data confirmation process concerning this invention. データエラー情報を記入するためのテーブルの例。Example of a table for entering data error information. データエラー情報更新処理の手順を表すフローチャート。The flowchart showing the procedure of a data error information update process. 映像パケット1受信時のデータエラー情報の例。An example of data error information when video packet 1 is received. 映像パケット2受信時のデータエラー情報の例。The example of the data error information at the time of video packet 2 reception. 映像パケット3受信時のデータエラー情報の例。An example of data error information when video packet 3 is received. 映像パケット4受信時のデータエラー情報の例。An example of data error information when video packet 4 is received. 映像パケット8受信時のデータエラー情報の例。An example of data error information when the video packet 8 is received. 映像パケット9受信時のデータエラー情報の例。An example of data error information when the video packet 9 is received. 再送要求検索処理の手順を表すフローチャート。The flowchart showing the procedure of a resending request search process. 再送要求時のデータエラー情報更新処理の手順を表すフローチャート。The flowchart showing the procedure of the data error information update process at the time of a resending request. Pro-MPEG FECにおける映像パケットとFECパケットとの対応関係を説明するための図。The figure for demonstrating the correspondence of the video packet and FEC packet in Pro-MPEG FEC. デコーダが映像パケット3を受信したときの映像パケットとFECパケットとの対応関係を説明するための図。The figure for demonstrating the correspondence of a video packet and a FEC packet when a decoder receives the video packet. デコーダがFECパケット2を受信したときの映像パケットとFECパケットとの対応関係を説明するための図。The figure for demonstrating the correspondence of a video packet and a FEC packet when a decoder receives the FEC packet. 圧縮率とパケット数及び各パケットに含まれる情報量との間の関係を説明するための図。The figure for demonstrating the relationship between a compression rate, the number of packets, and the information content contained in each packet. 圧縮率と伝送レートとの間の関係を説明するための図。The figure for demonstrating the relationship between a compression rate and a transmission rate. 圧縮率とエラーパケット復旧時間との間の関係を説明するための図。The figure for demonstrating the relationship between a compression rate and error packet recovery time.

以下、図面に基づいて本発明の実施の形態を説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図1乃至図17をもとに、本発明の実施形態について説明する。図1は本発明におけるエラー訂正の流れを説明するための図である。図1において、従来技術ではパケット123を受信してから(同一FEC復旧単位の映像パケットと、該パケットに対応するFECパケットをすべて受信してから)残存するエラーパケットの有無を判定し、再送要求を行っていた。   An embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a diagram for explaining the flow of error correction in the present invention. In FIG. 1, in the prior art, after receiving the packet 123 (after receiving all video packets of the same FEC recovery unit and the FEC packet corresponding to the packet), it is determined whether or not there is an error packet remaining, and a retransmission request is made. Had gone.

それに対して本発明では、デコーダは、各々の映像パケットを受信したタイミングで、該パケットがエラーパケットであり、かつ、全てのFECパケットを受信しても該エラーの復旧が不可能か判定する。そして、あるパケット(パケット209)について、該パケットがエラーパケットであり、かつ、全てのFECパケットを受信しても該エラーを復旧できないと判定された場合、デコーダはその時点で該パケットの再送要求を行う。これにより、各エラーパケットの復旧処理を行うタイミングを早くすることができるので、各エラーパケットを受信してから復旧されるまでの時間を短縮することができる。   On the other hand, in the present invention, the decoder determines at the timing when each video packet is received whether the packet is an error packet, and even if all the FEC packets are received, the error cannot be recovered. When it is determined that a packet (packet 209) is an error packet and the error cannot be recovered even if all FEC packets are received, the decoder requests retransmission of the packet at that time. I do. As a result, the timing for performing the recovery process of each error packet can be advanced, so that the time from the reception of each error packet to the recovery can be shortened.

図2は本発明にかかる映像伝送システムの全体構成を説明するための図である。本発明における映像伝送システムは、エンコーダ1、デコーダ2、ネットワーク3によって構成され、エンコーダ1にはカメラ4が、デコーダ2にはモニタ5が接続されている。   FIG. 2 is a diagram for explaining the overall configuration of the video transmission system according to the present invention. The video transmission system according to the present invention includes an encoder 1, a decoder 2, and a network 3, and a camera 4 is connected to the encoder 1 and a monitor 5 is connected to the decoder 2.

本発明では、送信端末(以下エンコーダ1)は撮像装置(以下カメラ4)によって取得された映像パケットを符号化し、受信端末(以下デコーダ2)にネットワーク3を通じて伝送する。そして、デコーダ2は受信した映像パケットを復号化し、モニタ5等の出力装置に出力する。   In the present invention, a transmitting terminal (hereinafter referred to as encoder 1) encodes a video packet acquired by an imaging device (hereinafter referred to as camera 4) and transmits the encoded video packet to a receiving terminal (hereinafter referred to as decoder 2) through the network 3. Then, the decoder 2 decodes the received video packet and outputs it to an output device such as the monitor 5.

図3は本発明におけるエンコーダ1の機能を表す機能ブロック図である。図3において、エンコーダ1は、送信部10、映像入力処理部11、符号化処理部12、FEC処理部13、記憶部14、再送要求解析部15、受信部16を含む。   FIG. 3 is a functional block diagram showing functions of the encoder 1 in the present invention. In FIG. 3, the encoder 1 includes a transmission unit 10, a video input processing unit 11, an encoding processing unit 12, an FEC processing unit 13, a storage unit 14, a retransmission request analysis unit 15, and a reception unit 16.

映像入力処理部11は、カメラ4等によって取得された映像を入力する機能を有する。符号化処理部12は、映像入力処理部11に入力された映像をパケット符号化し、記憶部14に格納する機能を有する。ここで、各映像パケットには通し番号が付されており、以降の説明を簡単にするため、本発明では映像パケット1から映像パケット30で表される、合計30個の映像パケットが生成されたものとして説明を行う。   The video input processing unit 11 has a function of inputting video acquired by the camera 4 or the like. The encoding processing unit 12 has a function of packet-coding the video input to the video input processing unit 11 and storing it in the storage unit 14. Here, a serial number is assigned to each video packet, and in order to simplify the following description, in the present invention, a total of 30 video packets represented by video packet 30 from video packet 1 are generated. Will be described.

FEC処理部13は、生成された映像パケットのうち、予め指定された数のパケット(例えば15パケット)を1つのFEC復旧単位とし、各FEC復旧単位において、Pro-MPEG FEC符号を生成し、記憶部14に格納する機能を有する。つまり、先述の例を用いた場合、映像パケット1から映像パケット15までが同じFEC復旧単位に属しており、後述するFECパケット1からFECパケット8までがそれらのパケットのエラー復旧に対応している。同様に、映像パケット16から映像パケット30までが同じFEC復旧単位に属しており、後述するFECパケット9からFECパケット16までがそれらのパケットのエラー復旧に対応している。   The FEC processing unit 13 uses a predetermined number of packets (for example, 15 packets) among the generated video packets as one FEC recovery unit, generates a Pro-MPEG FEC code in each FEC recovery unit, and stores it. The function of storing in the unit 14 is provided. In other words, when the above-described example is used, video packet 1 to video packet 15 belong to the same FEC recovery unit, and FEC packet 1 to FEC packet 8 described later correspond to error recovery of those packets. . Similarly, video packet 16 to video packet 30 belong to the same FEC recovery unit, and FEC packet 9 to FEC packet 16 described later correspond to error recovery of those packets.

図4は本発明における2次元FECパケットデータの挿入例を表す図である。図4において、すべての映像パケットは、横FECグループと縦FECグループに同時に属している。また、各FECパケットにはそれぞれ通し番号が付されている。各FECパケットは、自分と同じ行(または列)の映像パケットのうち、1つのパケットに生じたエラーを訂正する。図5の例では、横FECパケット2は映像パケット6から映像パケット10までの5パケットのうち、いずれか1パケットのエラーを訂正し、FECパケット5は映像パケット2、7、12の3パケットのうち、いずれか1パケットのエラーを訂正する。   FIG. 4 is a diagram showing an example of inserting two-dimensional FEC packet data in the present invention. In FIG. 4, all video packets belong to the horizontal FEC group and the vertical FEC group at the same time. Each FEC packet is assigned a serial number. Each FEC packet corrects an error that has occurred in one of the video packets in the same row (or column) as itself. In the example of FIG. 5, the horizontal FEC packet 2 corrects the error of any one of the five packets from the video packet 6 to the video packet 10, and the FEC packet 5 is the three packets of the video packets 2, 7, and 12. Among them, any one packet error is corrected.

図3の説明に戻って、記憶部14は、生成された映像パケット及びFECパケットを記憶する機能を有する。記憶部14に格納された映像パケット及びFECパケットは、そのデータの送信動作が終わってからも、デコーダからの再送要求に備えて保持される。   Returning to the description of FIG. 3, the storage unit 14 has a function of storing the generated video packet and FEC packet. The video packet and the FEC packet stored in the storage unit 14 are held in preparation for a retransmission request from the decoder even after the data transmission operation is completed.

送信部10は、各映像パケット及びFECパケットに付された通し番号に基づいて、記憶部14に格納されている映像パケット及びFECパケットを既定の順序で送信する機能を有する。   The transmission unit 10 has a function of transmitting the video packets and FEC packets stored in the storage unit 14 in a predetermined order based on the serial numbers assigned to the video packets and the FEC packets.

図5は、各パケット及びFECパケットの送信順序の一例を表す図である。例えば先述の例では、送信部10は、図5に示すように映像パケット1…5、FECパケット1、映像パケット6…10、FECパケット2、映像パケット11…15、FECパケット3、FECパケット4…8の順でパケットの送信を行う。   FIG. 5 is a diagram illustrating an example of the transmission order of each packet and the FEC packet. For example, in the above-described example, the transmission unit 10 transmits the video packets 1... 5, the FEC packet 1, the video packets 6... 10, the FEC packet 2, the video packets 11. ... packet transmission in the order of 8.

説明のため、以下では映像パケット及びFECパケットの送信を1パケットずつ行う場合について記述するが、送信動作は必ずしも1パケットずつ行わなければならないわけではない。例えば複数のパケットを同時に送信してもよいし、デコーダの記憶部の空きに応じて、同時に送るパケット数を変動させてもよい。   For the sake of explanation, the case where video packets and FEC packets are transmitted one packet at a time will be described below, but the transmission operation does not necessarily have to be performed one packet at a time. For example, a plurality of packets may be transmitted at the same time, or the number of packets to be transmitted at the same time may be varied according to the availability of the storage unit of the decoder.

図3の説明に戻って、送信部10は、再送要求解析部15から映像パケットまたはFECパケットの再送要求があったことを伝えられた場合、該パケットを再送する機能を有する。   Returning to the description of FIG. 3, the transmission unit 10 has a function of retransmitting a packet when the retransmission request analysis unit 15 is notified that a retransmission request for a video packet or an FEC packet has been received.

さらに、受信部16は、デコーダから送られてくる再送要求を受信する機能を有する。再送要求解析部15は、パケット再送要求の内容を解析し、送信部10に再送要求の存在を知らせるとともに、どのパケットの再送が要求されているかを伝える機能を有する。   Further, the receiving unit 16 has a function of receiving a retransmission request sent from the decoder. The retransmission request analysis unit 15 has a function of analyzing the content of the packet retransmission request, notifying the transmission unit 10 of the presence of the retransmission request, and notifying which packet is requested for retransmission.

図6は本発明におけるエンコーダ1のハードウェア構成例を表すブロック図である。図6において、エンコーダ1は、CPU(Central Processing Unit)101と、HDD(Hard Disc Drive)102と、送信ポート103と、受信ポート104と、RAM(Random Access Memory)105と、入力ポート107とを有する。また、各構成部はバス106によってそれぞれ電気的に接続されている。   FIG. 6 is a block diagram illustrating a hardware configuration example of the encoder 1 according to the present invention. In FIG. 6, an encoder 1 includes a CPU (Central Processing Unit) 101, an HDD (Hard Disc Drive) 102, a transmission port 103, a reception port 104, a RAM (Random Access Memory) 105, and an input port 107. Have. Each component is electrically connected by a bus 106.

ここで、CPU101は、エンコーダ1全体の制御をつかさどる演算部である。HDD102には、エンコーダ1を動作させるためのプログラムと、該プログラムを動作させるために必要なデータとが記憶されている。さらに、HDD102には、映像パケットとFECパケットとの対応関係を表す情報も記憶されている。送信ポート103、受信ポート104、入力ポート107は、それぞれエンコーダ1が他の装置との間でデータを送信、受信するためのインタフェースであり、ネットワーク3を介してデコーダ2と接続される。RAM105は、CPU101のワークエリアとして使用される記憶部である。   Here, the CPU 101 is a calculation unit that controls the entire encoder 1. The HDD 102 stores a program for operating the encoder 1 and data necessary for operating the program. Further, the HDD 102 also stores information indicating the correspondence between video packets and FEC packets. A transmission port 103, a reception port 104, and an input port 107 are interfaces for the encoder 1 to transmit and receive data to and from other devices, and are connected to the decoder 2 via the network 3. The RAM 105 is a storage unit used as a work area for the CPU 101.

エンコーダ1は、具体的には、例えば図6に示したRAM105もしくはHDD102によって記憶部14の機能を実現する。エンコーダ1は、HDD102に格納されたプログラムを読み取ったCPU101が、入力ポート107を介してカメラ4から映像を入力する処理を実行することで映像入力処理部11の機能を実現する。   Specifically, the encoder 1 realizes the function of the storage unit 14 by, for example, the RAM 105 or the HDD 102 illustrated in FIG. 6. The encoder 1 realizes the function of the video input processing unit 11 when the CPU 101 that has read the program stored in the HDD 102 executes processing for inputting video from the camera 4 via the input port 107.

また、エンコーダ1は、例えば図6に示したHDD102に格納されたプログラムを読み取ったCPU101が、RAM105もしくはHDD102に格納されたパケットを送信ポート103を介して送信する処理を実行することで、送信部10の機能を実現する。エンコーダ1は、例えば図4に示したHDD102に格納されたプログラムを読み取ったCPU101が、受信ポート104を介して再送要求を受信する処理を実行することで、受信部16の機能を実現する。   Further, the encoder 1 executes a process in which the CPU 101 that has read the program stored in the HDD 102 illustrated in FIG. 6 transmits the packet stored in the RAM 105 or the HDD 102 via the transmission port 103, for example. 10 functions are realized. The encoder 1 realizes the function of the reception unit 16 by the CPU 101 reading the program stored in the HDD 102 illustrated in FIG. 4 executing a process of receiving a retransmission request via the reception port 104, for example.

さらに、エンコーダ1は、例えば図6に示したHDD102に格納されたプログラムをCPU101が実行することにより、符号化処理部12、FEC処理部13、再送要求解析部15の機能を実現する。なお、前述のように、CPU101はその処理過程において、RAM105をワークエリアとして利用する。   Furthermore, the encoder 1 realizes the functions of the encoding processing unit 12, the FEC processing unit 13, and the retransmission request analysis unit 15 when the CPU 101 executes a program stored in the HDD 102 shown in FIG. 6, for example. As described above, the CPU 101 uses the RAM 105 as a work area in the process.

図7は本発明におけるデコーダ2の機能を表す機能ブロック図である。図7において、デコーダ2は、受信部20、記憶部21、エラー復旧処理部22、復号化処理部23、映像出力処理部24、再送要求解析部25、送信部26を含む。   FIG. 7 is a functional block diagram showing functions of the decoder 2 in the present invention. In FIG. 7, the decoder 2 includes a receiving unit 20, a storage unit 21, an error recovery processing unit 22, a decoding processing unit 23, a video output processing unit 24, a retransmission request analysis unit 25, and a transmission unit 26.

受信部20は、エンコーダ1から送られてきた映像パケット及びFECパケットを受信し、受信した映像パケット及びFECパケットを記憶部21に格納する機能を有する。記憶部21は、受信部20が受信したパケットを記憶する機能を有する。   The receiving unit 20 has a function of receiving the video packet and the FEC packet sent from the encoder 1 and storing the received video packet and the FEC packet in the storage unit 21. The storage unit 21 has a function of storing packets received by the receiving unit 20.

エラー復旧処理部22は、後述のデータエラー情報を保持しており、該データエラー情報に基づいて、記憶部21に格納された映像パケット及びFECパケットに対し、後述の受信データ確認処理を行う機能を有する。エラー復旧処理部22は、受信データ確認処理によって、2次元FECによるエラー復旧が不可能なパケットの存在を認識した時点で、該パケットの再送要求が必要であることを再送要求解析部25に示す機能を有する。また、エラー復旧処理部22は、受信データ確認処理と並行して、FECによる復旧が可能なエラーパケットがあった場合、順次そのパケットを復旧し、復号化処理部23に送る機能を有する。さらに、エラー復旧処理部22は、各パケットを受信してからの経過時間をカウントし、受信後一定時間が経過しても復旧されていないエラーパケットを、復号化処理部23に送る機能を有する。   The error recovery processing unit 22 holds data error information, which will be described later, and a function of performing reception data confirmation processing, which will be described later, on the video packet and the FEC packet stored in the storage unit 21 based on the data error information. Have The error recovery processing unit 22 indicates to the retransmission request analysis unit 25 that a retransmission request for the packet is necessary when the presence of a packet that cannot be recovered by the two-dimensional FEC is recognized by the received data confirmation processing. It has a function. Further, the error recovery processing unit 22 has a function of recovering the packets sequentially and sending them to the decoding processing unit 23 when there is an error packet that can be recovered by FEC in parallel with the received data confirmation processing. Further, the error recovery processing unit 22 has a function of counting an elapsed time after receiving each packet and sending an error packet that has not been recovered even after a certain time has elapsed after reception to the decoding processing unit 23. .

復号化処理部23は、エラー復旧処理部22から送られた映像パケットを順次復号化する機能を、映像出力処理部24は映像パケットをモニタ5等の外部装置に出力する機能を、それぞれ有する。   The decoding processing unit 23 has a function of sequentially decoding the video packets sent from the error recovery processing unit 22, and the video output processing unit 24 has a function of outputting the video packets to an external device such as the monitor 5.

再送要求解析部25は、エラー復旧処理部からの情報によって、再送要求が必要なパケットの有無を確認する。再送要求が必要なパケットが存在している場合、送信部26に該パケットの再送要求をエンコーダへ送信させる機能を有する。さらに、再送要求解析部25は、再送要求を送信後、エンコーダへ該パケットの再送要求を行ったことをエラー復旧処理部22に示す機能を有する。   The retransmission request analysis unit 25 checks the presence / absence of a packet that requires a retransmission request based on information from the error recovery processing unit. When there is a packet that requires a retransmission request, the transmission unit 26 has a function of transmitting a retransmission request for the packet to the encoder. Further, the retransmission request analysis unit 25 has a function of indicating to the error recovery processing unit 22 that a retransmission request for the packet has been made to the encoder after transmitting the retransmission request.

図8は本発明におけるデコーダ2のハードウェア構成例を表すブロック図である。図8において、デコーダ2は、CPU201と、HDD202と、送信ポート203と、受信ポート204と、RAM205と、出力ポート207とを有する。また、各構成部はバス206によってそれぞれ電気的に接続されている。   FIG. 8 is a block diagram showing a hardware configuration example of the decoder 2 in the present invention. In FIG. 8, the decoder 2 includes a CPU 201, an HDD 202, a transmission port 203, a reception port 204, a RAM 205, and an output port 207. Each component is electrically connected by a bus 206.

ここで、CPU201は、デコーダ2全体の制御をつかさどる演算部である。HDD202には、デコーダ2を動作させるためのプログラムと、該プログラムを動作させるために必要なデータと、後述のデータエラー情報を記入するためのテーブル情報とが記憶されている。送信ポート203、受信ポート204、出力ポート207は、それぞれデコーダ2が他の装置との間でデータを送信、受信するためのインタフェースであり、ネットワーク3を介してエンコーダ1と接続される。RAM205は、CPU201のワークエリアとして使用される記憶部である。   Here, the CPU 201 is a calculation unit that controls the entire decoder 2. The HDD 202 stores a program for operating the decoder 2, data necessary for operating the program, and table information for entering data error information described later. A transmission port 203, a reception port 204, and an output port 207 are interfaces for the decoder 2 to transmit and receive data to and from other devices, and are connected to the encoder 1 via the network 3. A RAM 205 is a storage unit used as a work area for the CPU 201.

デコーダ2は、具体的には、例えば図8に示したRAM205もしくはHDD202によって記憶部21の機能を実現する。デコーダ2は、HDD202に格納されたプログラムを読み取ったCPU201が、受信ポート204を介してパケットを受信する処理を実行することで受信部20の機能を実現する。   Specifically, the decoder 2 realizes the function of the storage unit 21 by, for example, the RAM 205 or the HDD 202 shown in FIG. The decoder 2 realizes the function of the reception unit 20 by the CPU 201 reading the program stored in the HDD 202 executing a process of receiving a packet via the reception port 204.

また、デコーダ2は、例えば図8に示したHDD202に格納されたプログラムを読み取ったCPU201が、送信ポート203を介して再送要求を送信する処理を実行することで、送信部26の機能を実現する。デコーダ2は、例えばHDD202に格納されたプログラムを読み取ったCPU201が、出力ポート207を介してモニタ5へ映像を出力する処理を実行することで、映像出力処理部24の機能を実現する。   Further, the decoder 2 realizes the function of the transmission unit 26 when the CPU 201 that has read the program stored in the HDD 202 illustrated in FIG. 8 executes a process of transmitting a retransmission request via the transmission port 203, for example. . The decoder 2 implements the function of the video output processing unit 24 when the CPU 201 that has read a program stored in the HDD 202 executes a process of outputting a video to the monitor 5 via the output port 207, for example.

さらに、デコーダ2は、例えば図8に示したHDD202に格納されたプログラムを読み取ったCPU201が、HDD202に格納されたテーブル情報を参照して、該プログラムに基づいた処理を実行することによりエラー復旧処理部22の機能を実現する。そして、デコーダ2は、例えばHDD202に格納されたプログラムをCPU201が実行することにより、復号化処理部23、再送要求解析部25の機能を実現する。なお、前述のように、CPU201はその処理過程において、RAM205をワークエリアとして利用する。   Further, the decoder 2 reads the program stored in the HDD 202 shown in FIG. 8, for example, so that the CPU 201 refers to the table information stored in the HDD 202 and executes a process based on the program to perform error recovery processing. The function of the unit 22 is realized. The decoder 2 implements the functions of the decryption processing unit 23 and the retransmission request analysis unit 25 when the CPU 201 executes a program stored in the HDD 202, for example. As described above, the CPU 201 uses the RAM 205 as a work area in the process.

次に、本発明における受信データ確認処理について説明する。具体例として、以下図5に示す計23パケットを、図5に示す順番でデコーダに送信したところ、映像パケット3、4,7、8、9がエラーパケットであった場合について記述する。これら5つのエラーパケットのうち、映像パケット7は必要なFECパケットが揃い次第、FECパケットによる復旧が可能であるが、残る4パケットはFECパケットによる復旧が不可能である(図22(c)(d)参照)。   Next, received data confirmation processing in the present invention will be described. As a specific example, a case where 23 packets shown in FIG. 5 are transmitted to the decoder in the order shown in FIG. 5 and the video packets 3, 4, 7, 8, 9 are error packets will be described. Of these five error packets, the video packet 7 can be recovered by the FEC packet as soon as the necessary FEC packets are prepared, but the remaining four packets cannot be recovered by the FEC packet (FIG. 22C). d)).

上述したように、従来技術では、全ての映像パケット及びFECパケットを受信後に、再送要求の必要なパケットを検索し、再送要求の必要なパケットが存在する場合は、該パケットの再送要求を行うことで、エラーパケットの復旧を行う。前記具体例で言えば、前記映像パケット3,4,8,9のうちどれか1つのパケットの再送要求を行えば、残る3つのエラーパケットもFECによるエラー復旧が可能になる。   As described above, in the prior art, after receiving all video packets and FEC packets, a packet that requires a retransmission request is searched, and if there is a packet that requires a retransmission request, a retransmission request for the packet is performed. Then, recover the error packet. In the specific example, if a retransmission request for any one of the video packets 3, 4, 8, and 9 is made, the remaining three error packets can be recovered by FEC.

しかし、本発明のように、エラーパケットを受信したタイミングで該パケットの再送要求が必要か否か判定する場合、映像パケット3,4,8受信時では、該データの再送要求を行うことができない。なぜならこの段階では、映像パケット9がエラーであることが確定しておらず、映像パケット9がエラーでなければ、前記3つのエラーパケットも、後から送られてくるFECパケットによって復旧することができる(図22(a)(b)参照)。そのため、この時点で再送要求を行うと、本来必要ないパケットの再送によって、次のデータ復旧単位のパケット送信が遅れる可能性があるからである。   However, as in the present invention, when it is determined whether or not a retransmission request for the packet is necessary at the timing when the error packet is received, the retransmission request for the data cannot be performed when the video packets 3, 4, and 8 are received. . This is because at this stage, it is not determined that the video packet 9 is in error, and if the video packet 9 is not in error, the three error packets can also be recovered by the FEC packet sent later. (See FIGS. 22A and 22B). For this reason, if a retransmission request is made at this point, packet transmission in the next data recovery unit may be delayed due to retransmission of a packet that is not necessary.

したがって、本発明における受信データ確認処理では、FECパケットによる復旧が不可能であることが確定するエラーパケットである、映像パケット9の受信を判定し、該パケットの再送要求を行う必要がある。   Therefore, in the received data confirmation processing according to the present invention, it is necessary to determine the reception of the video packet 9, which is an error packet for which it is determined that recovery by the FEC packet is impossible, and to request retransmission of the packet.

図9は本発明にかかる受信データ確認処理の手順の一例を表すフローチャートである。まず、受信部20が、エンコーダ1から送信された映像パケットまたはFECパケットを受信(ステップS10)したら、エラー復旧処理部22は、受信したパケットが、ひとつ前に受信したパケットと同じFEC復旧単位に属しているか判定を行う(ステップS20)。受信したパケットが、ひとつ前に受信したパケットと異なるFEC復旧単位に属していた場合、エラー復旧処理部22は、後述するデータエラー情報を初期化する(ステップS30)。   FIG. 9 is a flowchart showing an example of the procedure of received data confirmation processing according to the present invention. First, when the receiving unit 20 receives the video packet or the FEC packet transmitted from the encoder 1 (step S10), the error recovery processing unit 22 sets the received packet in the same FEC recovery unit as the packet received immediately before. It is determined whether it belongs (step S20). When the received packet belongs to a different FEC recovery unit from the packet received immediately before, the error recovery processing unit 22 initializes data error information described later (step S30).

次に、エラー復旧処理部22は、受信パケットにビットの食い違いが発生している、または受信パケットにビットの抜けが発生しているか(以下ビットの食い違いと抜けを総称してエラーと呼ぶこととする)判定を行う(ステップS40)。具体的には、受信したパケットの内容と、該パケット内に含まれるパリティ符号等のエラー検出符号の内容とが食い違っていた場合、エラー復旧処理部22は、該パケットをエラーパケットと判断する。   Next, the error recovery processing unit 22 determines whether there is a bit mismatch in the received packet or whether a bit missing has occurred in the received packet (hereinafter, the bit mismatch and missing are collectively referred to as an error). Determination) (step S40). Specifically, when the content of the received packet and the content of an error detection code such as a parity code included in the packet are inconsistent, the error recovery processing unit 22 determines that the packet is an error packet.

受信パケットにエラーが発生していないと判定された場合、エラー復旧処理部22は、次に受信した受信パケットについて、ステップS10からの処理を繰り返す。受信パケットにエラーが発生していると判定された場合、エラー復旧処理部22は、該エラーパケットについて、後述するエラー受信時のデータエラー情報更新処理を行う(ステップS50)。   If it is determined that no error has occurred in the received packet, the error recovery processing unit 22 repeats the processing from step S10 for the next received packet. If it is determined that an error has occurred in the received packet, the error recovery processing unit 22 performs data error information update processing at the time of error reception, which will be described later, for the error packet (step S50).

データエラー情報更新処理完了後、エラー復旧処理部22は、前記エラーパケットについて、後述する再送要求検索処理を行う(ステップS60)。再送要求検索処理完了後、エラー復旧処理部22は、前記エラーパケットの再送の必要の有無を示す再送要求フラグの値の判定を行う(ステップS70)。   After completion of the data error information update process, the error recovery processing unit 22 performs a retransmission request search process to be described later for the error packet (step S60). After completion of the retransmission request search process, the error recovery processing unit 22 determines a value of a retransmission request flag indicating whether or not the error packet needs to be retransmitted (step S70).

前記エラーパケットの再送要求フラグの値が、該パケットの再送の必要がないことを示している場合、エラー復旧処理部22は、次の受信パケットについてステップS10からの処理を繰り返す。前記エラーパケットの再送要求フラグの値が、該パケットの再送の必要があることを示している場合、エラー復旧処理部22は、後述する再送要求時のデータエラー情報更新処理を行う(ステップS80)。その後、エラー復旧処理部22は、次の受信パケットについてステップS10からの処理を繰り返す。なお、以降の説明では、前記エラーパケットの再送が必要であるとき、再送要求フラグの値が1に設定され、そうでないときは0に設定されるものとして説明するが、実際には該エラーパケットの再送が必要か否かを一意に識別可能であれば、他の値をとっても構わない。   When the value of the retransmission request flag of the error packet indicates that it is not necessary to retransmit the packet, the error recovery processing unit 22 repeats the processing from step S10 for the next received packet. When the value of the retransmission request flag of the error packet indicates that the packet needs to be retransmitted, the error recovery processing unit 22 performs data error information update processing at the time of retransmission request described later (step S80). . Thereafter, the error recovery processing unit 22 repeats the processing from step S10 for the next received packet. In the following description, it is assumed that the retransmission request flag is set to 1 when the error packet needs to be retransmitted, and is set to 0 otherwise. As long as it is possible to uniquely identify whether or not retransmission is necessary, other values may be used.

ここで、本発明におけるデータエラー情報更新処理について説明する。本発明において、エラー復旧処理部22は、データエラー情報を記入するためのテーブルを所持している。図10は、データエラー情報を記入するためのテーブルの例である。データエラー情報は、エラーフラグ、再送要求フラグ、X方向エラーカウンタ、Y方向エラーカウンタを含む情報であり、各パケットのエラーに関する情報を表す。   Here, the data error information update processing in the present invention will be described. In the present invention, the error recovery processing unit 22 has a table for entering data error information. FIG. 10 is an example of a table for entering data error information. The data error information is information including an error flag, a retransmission request flag, an X direction error counter, and a Y direction error counter, and represents information related to an error of each packet.

また、前記テーブルは、各パケットのデータエラー情報を記入するための項目が、各映像パケットと、各FECパケットとの対応関係に応じて配置されており、エラー復旧処理部22は、データエラー情報更新処理によって各パケットのデータエラー情報を記入する。前記テーブルは任意の形態をとることができるので、システム管理者は予めエンコーダ1とデコーダ2に前記対応関係についての情報を入手し、エンコーダ1は該情報に基づいてFECパケットを生成して映像パケット間の所定の位置に挿入し、デコーダ2へ送信する。   In the table, items for entering the data error information of each packet are arranged according to the correspondence between each video packet and each FEC packet, and the error recovery processing unit 22 Data error information of each packet is entered by the update process. Since the table can take any form, the system administrator obtains information about the correspondence relationship in advance from the encoder 1 and the decoder 2, and the encoder 1 generates an FEC packet based on the information to generate a video packet. It is inserted at a predetermined position between them and transmitted to the decoder 2.

なお、本発明の説明における「X方向」「Y方向」は、それぞれ「横FECグループ」「縦FECグループ」に対応している。つまり、例えばあるパケットに対応するX方向エラーカウンタの値が「2」の場合、該パケットが属している横FECグループ内に、エラーパケットが2つ存在していることを示す。   Note that “X direction” and “Y direction” in the description of the present invention correspond to “horizontal FEC group” and “vertical FEC group”, respectively. That is, for example, when the value of the X direction error counter corresponding to a certain packet is “2”, it indicates that there are two error packets in the horizontal FEC group to which the packet belongs.

エラーフラグは、自身のデータのエラー有無を示し、自身がエラーパケットである場合、値が1に設定され、そうでない場合は0に設定される。なお、エラーフラグは、前記エラー有無を一意に識別可能であれば、他の値をとっても構わない。再送要求フラグは、自身が再送要求の必要なパケットであるか否かを示し、前述のように、該パケットの再送要求が必要な場合、値が1に設定され、そうでない場合は0に設定される。   The error flag indicates whether or not there is an error in its own data. If it is an error packet, its value is set to 1; otherwise, it is set to 0. The error flag may take another value as long as the presence or absence of the error can be uniquely identified. The retransmission request flag indicates whether or not the packet itself requires a retransmission request. As described above, the value is set to 1 when a retransmission request is required for the packet, and is set to 0 otherwise. Is done.

X方向エラーカウンタは、自身を含め、X方向(行方向)に存在するエラーパケットの数を示す。例えば、映像パケット3、4にエラーが存在し、映像パケット1、2、5はエラーパケットでない、あるいは未受信である場合、映像パケット1〜5に対応するX方向エラーカウンタの値はいずれも「2」である。なお、X方向エラーカウンタは、各パケットについて、該パケットの属する横FECグループ内に存在するエラーパケットの数を一意に識別可能であれば、他の値をとっても構わない。   The X direction error counter indicates the number of error packets existing in the X direction (row direction) including itself. For example, if there is an error in the video packets 3 and 4 and the video packets 1, 2, and 5 are not error packets or have not been received, the values of the X-direction error counters corresponding to the video packets 1 to 5 are all “ 2 ”. Note that the X-direction error counter may take other values for each packet as long as the number of error packets existing in the horizontal FEC group to which the packet belongs can be uniquely identified.

Y方向エラーカウンタは、自身を含め、Y方向(列方向)に存在するエラーパケットの数を示す。例えば、映像パケット3、8にエラーが存在し、映像パケット13はエラーパケットではない、あるいは未受信であるする場合、映像パケット3、8、13に対応するY方向エラーカウンタの値はいずれも「2」である。なお、Y方向エラーカウンタは、各パケットについて、該パケットの属する縦FECグループ内に存在するエラーパケットの数を一意に識別可能であれば、他の値をとっても構わない。   The Y direction error counter indicates the number of error packets existing in the Y direction (column direction) including itself. For example, if there is an error in the video packets 3 and 8 and the video packet 13 is not an error packet or has not been received, the values of the Y-direction error counters corresponding to the video packets 3, 8 and 13 are all “ 2 ”. The Y-direction error counter may take other values as long as the number of error packets existing in the vertical FEC group to which the packet belongs can be uniquely identified.

また、図10の各データ内の数字は、左からそれぞれエラーフラグ、再送要求フラグ、X方向エラーカウンタ、Y方向エラーカウンタの値を表す。なお、図面においてはエラーフラグをA、再送要求フラグをB、X方向エラーカウンタをC、Y方向エラーカウンタをDと、それぞれ表記することがある。   Also, the numbers in each data in FIG. 10 represent the values of the error flag, the retransmission request flag, the X direction error counter, and the Y direction error counter, respectively, from the left. In the drawing, the error flag may be denoted as A, the retransmission request flag as B, the X direction error counter as C, and the Y direction error counter as D.

図11はデータエラー情報更新処理の手順を表すフローチャートである。まず、エラー復旧処理部22は、受信したエラーパケットの種別が映像パケットであるか、FECパケットであるかを判定する(ステップS51)。受信したエラーパケットが映像パケットであると判定された場合、エラー復旧処理部22は、該データに対応するデータエラー情報の値に1を設定する(ステップS52)。例えば、デコーダが映像パケット1…3を受信し、そのうち映像パケット3がエラーパケットであった場合、各映像パケット受信時のデータエラー情報はそれぞれ図12、図13、図14のように表される。   FIG. 11 is a flowchart showing the procedure of the data error information update process. First, the error recovery processing unit 22 determines whether the type of the received error packet is a video packet or an FEC packet (step S51). If it is determined that the received error packet is a video packet, the error recovery processing unit 22 sets 1 to the value of the data error information corresponding to the data (step S52). For example, when the decoder receives video packets 1 ... 3 and video packet 3 is an error packet, data error information at the time of receiving each video packet is expressed as shown in FIGS. 12, 13, and 14, respectively. .

ステップS52の処理を行った後、エラー復旧処理部22は、該データに対応するデータエラー情報のX方向エラーカウンタ、Y方向エラーカウンタの値をインクリメントする(ステップS53)。エラー復旧処理部22は、さらに該データと同じ横FECグループに属する映像パケットのX方向エラーカウンタの値と、該データと同じ縦FECグループに属する映像パケットのY方向エラーカウンタの値とをインクリメントして(ステップS54)処理を終了する。したがって、例えばエラー映像パケット3を受信した場合、映像パケット1…5のX方向エラーカウンタの値と、映像パケット8、13のY方向エラーカウンタの値がインクリメントされる。   After performing the processing of step S52, the error recovery processing unit 22 increments the values of the X direction error counter and the Y direction error counter of the data error information corresponding to the data (step S53). The error recovery processing unit 22 further increments the value of the X direction error counter of the video packet belonging to the same horizontal FEC group as the data and the value of the Y direction error counter of the video packet belonging to the same vertical FEC group as the data. (Step S54), the process is terminated. Therefore, for example, when the error video packet 3 is received, the value of the X direction error counter of the video packets 1... 5 and the value of the Y direction error counter of the video packets 8 and 13 are incremented.

受信したエラーパケットがFECパケットであった場合、エラー復旧処理部22は、該エラーFECパケットの方向を判定する(ステップS55)。なお、FECパケットの方向は、該FECパケットが属するFECグループに対応しているものとする。例えば横FECグループに属しているFECパケットの場合、該データのFECの方向は横(X方向)であり、縦FECグループに属しているFECパケットの場合、該データのFECの方向は縦(Y方向)である。また、X方向、Y方向とも、時間が経過する方向、つまり、データに付された通し番号が増加する方向を正方向とする。   If the received error packet is an FEC packet, the error recovery processing unit 22 determines the direction of the error FEC packet (step S55). It is assumed that the direction of the FEC packet corresponds to the FEC group to which the FEC packet belongs. For example, in the case of FEC packets belonging to the horizontal FEC group, the FEC direction of the data is horizontal (X direction), and in the case of FEC packets belonging to the vertical FEC group, the FEC direction of the data is vertical (Y Direction). Further, in both the X direction and the Y direction, the direction in which time passes, that is, the direction in which the serial number added to the data increases is defined as the positive direction.

エラーFECパケットの方向が縦方向(Y方向)の場合、エラー復旧処理部22は、該データと、該データのY方向にあるデータに対応するY方向エラーカウンタの値をインクリメントし(ステップS56)、処理を終了する。例えば、FECパケット6がエラーパケットであった場合、映像パケット3、8、13のY方向エラーカウンタの値がインクリメントされる。   When the direction of the error FEC packet is the vertical direction (Y direction), the error recovery processing unit 22 increments the data and the value of the Y direction error counter corresponding to the data in the Y direction of the data (step S56). The process is terminated. For example, when the FEC packet 6 is an error packet, the value of the Y direction error counter of the video packets 3, 8, and 13 is incremented.

エラーFECパケットの方向が横方向(X方向)の場合、エラー復旧処理部22は、該データと、該データのY方向にあるデータに対応するX方向エラーカウンタの値をインクリメントし(ステップS57)、処理を終了する。例えば、FECパケット3がエラーパケットであった場合、映像パケット11…15のX方向エラーカウンタの値がインクリメントされる。   When the direction of the error FEC packet is the horizontal direction (X direction), the error recovery processing unit 22 increments the data and the value of the X direction error counter corresponding to the data in the Y direction of the data (step S57). The process is terminated. For example, when the FEC packet 3 is an error packet, the value of the X direction error counter of the video packets 11... 15 is incremented.

次に、本発明における再送要求検索処理について説明する。再送要求検索処理は、デコーダ2が第一のエラーパケットを受信したとき、該エラーパケットの再送が必要か否か判定し、該エラーパケットの再送が必要であると判定された場合、該エラーパケットの再送要求フラグを1に設定する。   Next, the retransmission request search process in the present invention will be described. When the decoder 2 receives the first error packet, the retransmission request search process determines whether or not the error packet needs to be retransmitted. If it is determined that the error packet needs to be retransmitted, the error packet Is set to 1.

なお、以下具体例として、エラー映像パケット4、8、9それぞれを受信したときの再送要求検索処理における処理の流れの説明を交えて記載するものとする。図15、図16、図17はそれぞれ映像パケット4、8、9受信時におけるデータエラー情報を表している。   As a specific example, a description will be given below with an explanation of the processing flow in the retransmission request search process when each of the error video packets 4, 8, and 9 is received. FIGS. 15, 16, and 17 show data error information when receiving video packets 4, 8, and 9, respectively.

ただし、未受信パケットのエラー情報は考慮できないため、例えば映像パケット4受信時のデータエラー情報では、映像パケット3のエラー情報は記載されているが、映像パケット7…9のエラー情報は含まれていない。   However, since error information of unreceived packets cannot be considered, for example, in the data error information when receiving video packet 4, error information of video packet 3 is described, but error information of video packets 7 ... 9 is included. Absent.

図18は再送要求検索処理の手順を表すフローチャートである。まず、エラー復旧処理部22は、処理対象である第一のエラーパケットに対応するX方向エラーカウンタ、Y方向エラーカウンタの値がともに2以上であるか判定する(ステップS61)。X方向エラーカウンタ、Y方向エラーカウンタの値がともに2以上である場合は、他のエラーパケットを先に復旧しない限り該エラーパケットをFECパケットによって復旧できないと判断し、次に述べるステップS62に進む。そうでない場合は、処理を終了する。   FIG. 18 is a flowchart showing the procedure of the retransmission request search process. First, the error recovery processing unit 22 determines whether the values of the X-direction error counter and the Y-direction error counter corresponding to the first error packet to be processed are 2 or more (step S61). If the values of the X direction error counter and the Y direction error counter are both 2 or more, it is determined that the error packet cannot be recovered by the FEC packet unless other error packets are recovered first, and the process proceeds to step S62 described below. . If not, the process ends.

例えば、エラー映像パケット4受信時では、該エラーパケットに対応するX方向エラーカウンタ、Y方向エラーカウンタの値がともに2以上ではないので、FECによるエラー復旧ができる可能性があると判断し、処理を終了する。つまり、エラー復旧処理部22は、この時点での映像パケット4の再送要求は不要と判断する。しかし、エラー映像パケット8、D9受信時では、どちらもX方向エラーカウンタ、Y方向エラーカウンタの値がともに2以上なので、他のエラーパケットを先に復旧しない限り、FECパケットによるエラー復旧ができないと判断し、次の判定に進む。   For example, when the error video packet 4 is received, the values of the X-direction error counter and the Y-direction error counter corresponding to the error packet are not 2 or more, so it is determined that there is a possibility that the error can be recovered by FEC. Exit. That is, the error recovery processing unit 22 determines that a retransmission request for the video packet 4 at this time is unnecessary. However, when the error video packet 8 and D9 are received, both the X-direction error counter and the Y-direction error counter have a value of 2 or more. Therefore, unless the other error packets are recovered first, the error cannot be recovered using the FEC packet. Judge and proceed to the next decision.

ステップS61において「Yes」判定であった場合、エラー復旧処理部22は、すでに受信済みであり、かつ第一のエラーパケットと共通の横FECグループに属しているデータの中に、X方向、Y方向エラーカウンタの値がともに2以上であるパケットの有無を判定する(ステップS62)。条件を満たす第二のエラーパケットが存在した場合、エラー復旧処理部22は、第二のエラーパケットと共通の縦FECグループに属する他のエラーパケットを先に復旧しない限り、第二のエラーパケットをFECパケットによって復旧できないと判断し、次に述べるステップS63に進む。そうでない場合は、処理を終了する。   If the determination in step S61 is “Yes”, the error recovery processing unit 22 has already received the data and belongs to the horizontal FEC group common to the first error packet. The presence / absence of a packet having both direction error counter values of 2 or more is determined (step S62). When there is a second error packet that satisfies the condition, the error recovery processing unit 22 determines that the second error packet is not recovered unless another error packet belonging to the vertical FEC group common to the second error packet is recovered first. It is determined that recovery is not possible with the FEC packet, and the process proceeds to step S63 described below. If not, the process ends.

例えば、エラー映像パケット8受信時では、エラーパケット8と共通の横FECグループに属している受信済みパケットに対応するデータエラー情報の中に、X方向、Y方向エラーカウンタの値がともに2以上であるものが存在しないため、処理を終了する。つまり、エラー復旧処理部22は、該エラーパケットは、FECパケットによるエラー復旧ができる可能性があり、再送要求は不要と判断する。しかし、エラー映像パケット9受信時では、エラーパケット9と共通の横FECグループに属している受信済みデータの中に、X方向、Y方向エラーカウンタの値がともに2以上であるデータ(映像パケット8)が存在する。そのため、エラー復旧処理部22は、エラーパケット8も、他のエラーパケットを先に復旧しない限り、FECパケットによって復旧ができないと判断し、次の判定に進む。   For example, when the error video packet 8 is received, both the X-direction and Y-direction error counter values are 2 or more in the data error information corresponding to the received packet belonging to the common horizontal FEC group with the error packet 8. Since there is nothing, the process is terminated. That is, the error recovery processing unit 22 determines that there is a possibility that the error packet can be recovered by the FEC packet, and that a retransmission request is unnecessary. However, when the error video packet 9 is received, among the received data belonging to the common horizontal FEC group with the error packet 9, data in which both the X-direction and Y-direction error counter values are 2 or more (video packet 8 ) Exists. For this reason, the error recovery processing unit 22 determines that the error packet 8 cannot be recovered by the FEC packet unless other error packets are recovered first, and proceeds to the next determination.

ステップS62において「Yes」判定であった場合、エラー復旧処理部22は、第二のエラーパケットと共通の縦FECグループに属している受信済みパケットに対応するデータの中に、X方向、Y方向エラーカウンタの値がともに2以上であるデータがあるか判定する(ステップS63)。条件を満たす第三のエラーパケットが存在した場合、エラー復旧処理部22は、第三のエラーパケットと共通の横FECグループに属する他のエラーパケットを先に復旧しない限り、第三のエラーパケットをFECパケットによって復旧できないと判断し、次に述べるステップS64に進む。そうでない場合は、処理を終了する。   If the determination in step S62 is “Yes”, the error recovery processing unit 22 includes the X direction and the Y direction in the data corresponding to the received packet belonging to the vertical FEC group common to the second error packet. It is determined whether there is data having both error counter values of 2 or more (step S63). When there is a third error packet that satisfies the condition, the error recovery processing unit 22 does not recover the third error packet unless the other error packets belonging to the horizontal FEC group common to the third error packet are recovered first. It is determined that it cannot be recovered by the FEC packet, and the process proceeds to step S64 described below. If not, the process ends.

例えば、エラー映像パケット9受信時では、エラーパケット8と共通の縦FECグループに属している受信済みデータの中に、X方向、Y方向エラーカウンタの値がともに2以上であるデータ(映像パケット3)が存在する。そのため、エラー復旧処理部22は、エラーパケット3も、他のエラーパケットを先に復旧しない限り、FECパケットによって復旧ができないと判断し、次の判定に進む。   For example, when the error video packet 9 is received, among the received data belonging to the vertical FEC group common to the error packet 8, the data (video packet 3) whose X direction and Y direction error counter values are both 2 or more. ) Exists. For this reason, the error recovery processing unit 22 determines that the error packet 3 cannot be recovered by the FEC packet unless other error packets are recovered first, and proceeds to the next determination.

ステップS63において「Yes」判定であった場合、エラー復旧処理部22は、第三のエラーパケットと共通の横FECグループに属している受信済みパケットに対応するデータの中に、X方向、Y方向エラーカウンタの値がともに2以上であるデータがあるか判定する(ステップS64)。条件を満たす第四のエラーパケットが存在した場合、エラー復旧処理部22は、第四のエラーパケットと共通の縦FECグループに属する他のエラーパケットを先に復旧しない限り、第三のエラーパケットをFECパケットによって復旧できないと判断し、次に述べるステップS65に進む。そうでない場合は、処理を終了する。   If the determination in step S63 is “Yes”, the error recovery processing unit 22 includes the X direction and the Y direction in the data corresponding to the received packet belonging to the horizontal FEC group common to the third error packet. It is determined whether there is data having both error counter values of 2 or more (step S64). If there is a fourth error packet that satisfies the condition, the error recovery processing unit 22 will return the third error packet unless other error packets belonging to the vertical FEC group common to the fourth error packet are recovered first. It is determined that the FEC packet cannot be restored, and the process proceeds to step S65 described below. If not, the process ends.

例えば、エラー映像パケット9受信時では、エラーパケット3と共通の横FECグループに属している受信済みパケットの中に、X方向、Y方向エラーカウンタの値がともに2以上であるパケット(映像パケット4)が存在する。そのため、エラー復旧処理部22は、エラーパケット4も、他のエラーパケットを先に復旧しない限り、FECパケットによって復旧ができないと判断し、次の判定に進む。   For example, when the error video packet 9 is received, among the received packets belonging to the same horizontal FEC group as the error packet 3, a packet (video packet 4) whose X direction and Y direction error counter values are both 2 or more. ) Exists. For this reason, the error recovery processing unit 22 determines that the error packet 4 cannot be recovered by the FEC packet unless other error packets are recovered first, and proceeds to the next determination.

ステップS64において「Yes」判定であった場合、エラー復旧処理部22は、第四のエラーパケットと共通の縦FECグループに属している受信済みパケットの中に、第一のエラーパケットが存在するか判定する(ステップS65)。条件を満たした場合、エラー復旧処理部23は、未受信のFECパケットをすべて受信しても第一のエラーパケットを復旧することができないので、該データの再送を要求する必要があると判断し、次に述べるステップS66に進む。そうでない場合は、処理を終了する。   If the determination in step S64 is “Yes”, the error recovery processing unit 22 determines whether the first error packet exists in the received packets belonging to the vertical FEC group common to the fourth error packet. Determination is made (step S65). If the condition is satisfied, the error recovery processing unit 23 determines that it is necessary to request retransmission of the data because the first error packet cannot be recovered even if all the unreceived FEC packets are received. Then, the process proceeds to step S66 described below. If not, the process ends.

例えば、エラー映像パケット9受信時では、エラーパケット4と共通の横FECグループに属している受信済みパケットの中に、エラーパケット9が存在するため、映像パケット9の再送が必要であると判断し、次の判定に進む。   For example, when the error video packet 9 is received, it is determined that the video packet 9 needs to be retransmitted because the error packet 9 exists in the received packets belonging to the common horizontal FEC group with the error packet 4. The process proceeds to the next determination.

ステップS65において「Yes」判定であった場合、第一のエラーパケットの再送が必要であるため、エラー復旧処理部22は、該パケットに対応する再送要求フラグの値に1を設定し(ステップS66)、該パケットデータの再送要求フラグが成立する。   If the determination in step S65 is “Yes”, since the first error packet needs to be retransmitted, the error recovery processing unit 22 sets 1 to the value of the retransmission request flag corresponding to the packet (step S66). ), A retransmission request flag for the packet data is established.

例えば、エラー映像パケット9受信時では、映像パケット9の再送が必要であるため、エラー復旧処理部22は、映像パケット9の再送要求フラグの値に1を設定し、再送要求フラグが成立する。再送要求によって映像パケット9が再送されると、FECパケットによって映像パケット3、4、8も修正される。   For example, since the video packet 9 needs to be retransmitted when the error video packet 9 is received, the error recovery processing unit 22 sets the value of the retransmission request flag of the video packet 9 to 1 and the retransmission request flag is established. When the video packet 9 is retransmitted by the retransmission request, the video packets 3, 4, and 8 are also corrected by the FEC packet.

このように、上記手順に基づいて再送要求検索処理を行うことにより、再送要求の必要がない(該データ受信後のデータ受信状況によっては、FECパケットによるエラー復旧の可能性が残されている)パケット(上記例では、映像パケット4、8)を受信したときは再送要求フラグを成立させず、以降の受信状況に関わらずFECパケットによるエラー復旧が不可能なパケット(上記例では、映像パケット9)を受信したときのみ、該パケットに再送要求フラグを成立させることが可能である。   In this way, by performing a retransmission request search process based on the above procedure, there is no need for a retransmission request (there is a possibility of error recovery by an FEC packet depending on the data reception status after receiving the data). When a packet (video packets 4 and 8 in the above example) is received, a retransmission request flag is not established, and a packet that cannot be recovered by an FEC packet regardless of the subsequent reception status (in the above example, video packet 9). The retransmission request flag can be established for the packet only when it is received.

次に、本発明における再送要求時のデータエラー情報更新処理について説明する。あるエラーパケットについて再送要求を行うと、該エラーパケットは正しく再送されるとみなせるので、前記テーブルに記録されたデータエラー情報と実際の状況との間にずれが生じてしまう。したがって、以降の受信パケットについて正確な受信データ確認処理を行うためには、再送要求のたびに該テーブルの内容を更新する必要がある。   Next, data error information update processing at the time of retransmission request in the present invention will be described. If a retransmission request is made for a certain error packet, it can be considered that the error packet is correctly retransmitted, so that a deviation occurs between the data error information recorded in the table and the actual situation. Therefore, in order to perform accurate received data confirmation processing for subsequent received packets, it is necessary to update the contents of the table every time a retransmission request is made.

図19は再送要求時のデータエラー情報更新処理の手順を表すフローチャートである。まず、再送要求解析部25は、送信部26によって再送要求フラグが成立したパケット(以下、再送対象パケットと呼ぶ)の再送要求が行われたことを確認したら、該パケットの行ったことをデータ復旧処理部22に知らせる(ステップS71)。再送対象パケットの再送要求が行われたことを認識したデータ復旧処理部22は、再送対象パケットに対応するエラーフラグ、再送要求フラグの値を0に戻す(ステップS72)。   FIG. 19 is a flowchart showing a procedure of data error information update processing at the time of a retransmission request. First, when the retransmission request analysis unit 25 confirms that a retransmission request for a packet for which a retransmission request flag has been established (hereinafter referred to as a retransmission target packet) has been made by the transmission unit 26, the data recovery is performed. Inform the processing unit 22 (step S71). Recognizing that the retransmission request for the retransmission target packet has been made, the data recovery processing unit 22 returns the values of the error flag and the retransmission request flag corresponding to the retransmission target packet to 0 (step S72).

次に、データ復旧処理部22は、再送対象パケットの種別を判定する(ステップS73)。該再送対象パケットが映像パケットであった場合は、該再送対象パケットに対応するX方向エラーカウンタ、Y方向エラーカウンタの値をデクリメントする(ステップS74)。なお、デクリメントの結果がマイナスになる場合は0にする。例えば、再送対象パケットが映像パケット9であった場合、データ復旧処理部22は、映像パケット9に対応するX方向エラーカウンタ、Y方向エラーカウンタの値をデクリメントする。   Next, the data recovery processing unit 22 determines the type of the retransmission target packet (step S73). If the retransmission target packet is a video packet, the values of the X direction error counter and the Y direction error counter corresponding to the retransmission target packet are decremented (step S74). If the decrement result is negative, it is set to zero. For example, when the retransmission target packet is the video packet 9, the data recovery processing unit 22 decrements the values of the X direction error counter and the Y direction error counter corresponding to the video packet 9.

さらに、データ復旧処理部22は、該パケットと共通の横FECグループに属しているパケットに対応するX方向エラーカウンタの値、共通の縦FECグループに属しているパケットに対応するY方向エラーカウンタの値をそれぞれデクリメントし(ステップS75)、処理を終了する。ステップS74同様、デクリメントの結果がマイナスになる場合は0にする。例えば、前記再送対象パケットが映像パケット9であった場合、データ復旧処理部22は、映像パケット6…8、10に対応するX方向エラーカウンタの値、映像パケット4、14に対応するY方向エラーカウンタの値をそれぞれデクリメントする。   Further, the data recovery processing unit 22 sets the X direction error counter value corresponding to the packet belonging to the common FEC group and the Y direction error counter corresponding to the packet belonging to the common vertical FEC group. Each value is decremented (step S75), and the process ends. As in step S74, 0 is set when the decrement result is negative. For example, when the retransmission target packet is the video packet 9, the data recovery processing unit 22 determines the X-direction error counter value corresponding to the video packets 6... 8, 10 and the Y-direction error corresponding to the video packets 4 and 14. Decrement each counter value.

再送対象データがFECパケットであった場合、データ復旧処理部22は、該FECパケットの方向を判定する(ステップS76)。該パケットの方向が縦方向(Y方向)の場合、データ復旧処理部22は、該パケットと共通の縦FECグループに属しているパケットに対応するY方向エラーカウンタの値をデクリメントし(ステップS77)、処理を終了する。ステップS74同様、デクリメントの結果がマイナスになる場合は0にする。例えば、再送対象パケットがFECパケット6であった場合、データ復旧処理部22は、映像パケット3、8、13に対応するY方向エラーカウンタの値をデクリメントする。   If the retransmission target data is an FEC packet, the data recovery processing unit 22 determines the direction of the FEC packet (step S76). When the direction of the packet is the vertical direction (Y direction), the data recovery processing unit 22 decrements the value of the Y direction error counter corresponding to the packet belonging to the common vertical FEC group with the packet (step S77). The process is terminated. As in step S74, 0 is set when the decrement result is negative. For example, when the retransmission target packet is the FEC packet 6, the data restoration processing unit 22 decrements the value of the Y direction error counter corresponding to the video packets 3, 8, and 13.

前記再送対象FECパケットの方向が横方向(X方向)の場合、データ復旧処理部22は、該パケットと共通の横FECグループに属しているパケットに対応するX方向エラーカウンタの値をデクリメントし(ステップS78)、処理を終了する。ステップS74同様、デクリメントの結果がマイナスになる場合は0にする。例えば、再送対象パケットがFECパケット3であった場合、データ復旧処理部22は、映像パケット11…15に対応するX方向エラーカウンタの値をデクリメントする。   When the direction of the retransmission target FEC packet is the horizontal direction (X direction), the data recovery processing unit 22 decrements the value of the X direction error counter corresponding to the packet belonging to the horizontal FEC group common to the packet ( Step S78) and the process ends. As in step S74, 0 is set when the decrement result is negative. For example, when the retransmission target packet is the FEC packet 3, the data recovery processing unit 22 decrements the value of the X direction error counter corresponding to the video packets 11.

以上説明したように、本発明にかかる映像伝送システムは、デコーダが、各パケットを受信したタイミングで、該パケットにエラーが存在するか判定し、該判定の結果が真である場合、全てのFECパケットを受信しても該パケットのエラーを復旧できないか判定し、該判定の結果が真である場合のみ、該パケットの再送要求を行う。これにより、各エラーパケットの復旧処理を開始するタイミングを早くすることができるので、各エラーパケットが復旧されるまでに要する時間を短縮し、エラーパケットが未復旧の状態のままで復号されることを防ぐことができる。   As described above, the video transmission system according to the present invention determines whether an error exists in the packet at the timing when the decoder receives each packet, and if the result of the determination is true, all FECs It is determined whether the packet error can be recovered even if the packet is received, and only when the result of the determination is true, a retransmission request for the packet is made. As a result, the recovery process for each error packet can be started earlier, so the time required to recover each error packet can be shortened and the error packet can be decoded without being recovered. Can be prevented.

なお、本発明は上記の実施形態に限定されることなく、発明の趣旨を損なわない範囲で種々変更可能であることは言うまでもない。   Needless to say, the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the spirit of the invention.

1 エンコーダ
2 デコーダ
3 ネットワーク
4 カメラ
5 モニタ
10 送信部
11 映像入力処理部
12 符号化処理部
13 FEC処理部
14 記憶部
15 再送要求解析部
16 受信部
20 受信部
21 記憶部
22 エラー復旧処理部
23 復号化処理部
24 映像出力処理部
25 再送要求解析部
26 送信部
100 画像
101 CPU
102 HDD
103 送信ポート
104 受信ポート
105 RAM
106 バス
107 入力ポート
201 CPU
202 HDD
203 送信ポート
204 受信ポート
205 RAM
206 バス
207 出力ポート
1 Encoder 2 Decoder 3 Network 4 Camera 5 Monitor 10 Transmitter 11 Video Input Processor 12 Encoding Processor 13 FEC Processor 14 Storage Unit 15 Retransmission Request Analysis Unit 16 Receiver 20 Receiver 21 Storage Unit 22 Error Recovery Processor 23 Decoding processor 24 Video output processor 25 Retransmission request analyzer 26 Transmitter 100 Image 101 CPU
102 HDD
103 Transmission port 104 Reception port 105 RAM
106 Bus 107 Input port 201 CPU
202 HDD
203 Transmission port 204 Reception port 205 RAM
206 Bus 207 Output port

Claims (6)

所定のデータが分割されることによって生成されたパケットを受信するデータ受信装置において、
送信機から第一のパケットを受信したとき、該第一のパケットにエラーが存在するか判定し、
前記第一のパケットにエラーが存在していると判定されたとき、該第一のパケットが属するグループに存在するエラーパケットの数を表すエラーパケット情報を参照し、全パケットを受信しても該第一のパケットのエラーを復旧できないか判定し、
前記判定の結果に基づいて、前記送信機に該第一のパケットの再送を要求し、
前記第一のパケットは、1以上の他のパケットとともに第一のグループに属し、
かつ、前記第一のパケットは、前記第一のグループに属していない1以上の他のパケットとともに第二のグループに属し、
前記エラーパケット情報は、前記データ受信装置が受信する各々のパケットについて、該パケットの識別情報と、該パケットのエラー有無と、該パケットの再送要求の必要の有無と、前記第一のグループ内に存在するエラーパケットの数と、前記第二のグループ内に存在するエラーパケットの数とが対応付けられたテーブルによって管理される
ことを特徴とするデータ受信方法。
In a data receiving apparatus that receives a packet generated by dividing predetermined data,
When receiving a first packet from the transmitter, determine if there is an error in the first packet;
When it is determined that an error exists in the first packet, the error packet information indicating the number of error packets existing in the group to which the first packet belongs is referred to. Determine if the first packet error can be recovered,
Based on the result of the determination, request the transmitter to retransmit the first packet ;
Said first packet belongs to a first group together with one or more other packets;
And the first packet belongs to a second group together with one or more other packets not belonging to the first group;
The error packet information includes, for each packet received by the data receiving apparatus, identification information of the packet, presence / absence of an error of the packet, presence / absence of necessity of retransmission request of the packet, and the first group. A data receiving method characterized in that the number of error packets existing and the number of error packets existing in the second group are managed by a table associated with each other.
前記第一のパケットにエラーが存在していると判定されたとき、
前記第一のパケットが属する前記第一のグループにエラーを含んだ第二のパケットが存在し、かつ、前記第二のパケットが属する前記第二のグループに、エラーを含んだ第三のパケットが存在し、かつ、前記第三のパケットの属する第三のグループに、エラーを含んだ第四のパケットが存在し、かつ、前記第四のパケットが属する第四のグループに、前記第一のパケットが存在するか判定し、
前記判定の結果に基づいて、前記送信機に前記第一のパケットの再送を要求する
ことを特徴とする、請求項1に記載のデータ受信方法。
When it is determined that an error exists in the first packet ,
There is a second packet containing an error in the first group to which the first packet belongs, and a third packet containing an error is in the second group to which the second packet belongs. There is a fourth packet containing an error in the third group to which the third packet belongs, and the first packet in the fourth group to which the fourth packet belongs. Is determined to exist,
The data receiving method according to claim 1 , wherein the transmitter is requested to retransmit the first packet based on a result of the determination .
所定のデータが分割されることによって生成されたパケットを受信するデータ受信装置において、In a data receiving apparatus that receives a packet generated by dividing predetermined data,
送信機から第一のパケットを受信する受信部と、A receiver for receiving the first packet from the transmitter;
該第一のパケットにエラーが存在するか判定し、前記第一のパケットにエラーが存在していると判定されたとき、該第一のパケットが属するグループに存在するエラーパケットの数を表すエラーパケット情報を参照し、全パケットを受信しても該第一のパケットのエラーを復旧できないか判定するエラー復旧処理部と、It is determined whether there is an error in the first packet, and when it is determined that there is an error in the first packet, an error indicating the number of error packets existing in the group to which the first packet belongs An error recovery processing unit that refers to the packet information and determines whether the error of the first packet can be recovered even if all packets are received;
前記判定の結果に基づいて、前記送信機に該第一のパケットの再送を要求する送信部と、Based on the result of the determination, a transmitter that requests the transmitter to retransmit the first packet;
を含み、Including
前記第一のパケットは、1以上の他のパケットとともに第一のグループに属し、Said first packet belongs to a first group together with one or more other packets;
かつ、前記第一のパケットは、前記第一のグループに属していない1以上の他のパケットとともに第二のグループに属し、And the first packet belongs to a second group together with one or more other packets not belonging to the first group;
前記エラーパケット情報は、前記データ受信装置が受信する各々のパケットについて、該パケットの識別情報と、該パケットのエラー有無と、該パケットの再送要求の必要の有無と、前記第一のグループ内に存在するエラーパケットの数と、前記第二のグループ内に存在するエラーパケットの数とが対応付けられたテーブルによって管理されるThe error packet information includes, for each packet received by the data receiving apparatus, identification information of the packet, presence / absence of an error of the packet, presence / absence of necessity of retransmission request of the packet, and the first group. A table in which the number of existing error packets and the number of error packets existing in the second group are associated with each other is managed
ことを特徴とするデータ受信装置。A data receiving apparatus.
前記第一のパケットにエラーが存在していると判定されたとき、When it is determined that an error exists in the first packet,
前記エラー復旧処理部は、前記第一のパケットが属する前記第一のグループにエラーを含んだ第二のパケットが存在し、かつ、前記第二のパケットが属する前記第二のグループに、エラーを含んだ第三のパケットが存在し、かつ、前記第三のパケットの属する第三のグループに、エラーを含んだ第四のパケットが存在し、かつ、前記第四のパケットが属する第四のグループに、前記第一のパケットが存在するか判定し、The error recovery processing unit sends an error to the second group to which the second packet belongs, and the second packet to which the second packet belongs has an error in the first group to which the first packet belongs. A fourth group including an error, and a fourth group including an error in a third group to which the third packet belongs and a fourth group to which the fourth packet belongs. To determine whether the first packet exists,
前記送信部は、前記判定の結果に基づいて、前記送信機に前記第一のパケットの再送を要求するThe transmitter requests the transmitter to retransmit the first packet based on the determination result
ことを特徴とする、請求項3に記載のデータ受信装置。The data receiving apparatus according to claim 3, wherein:
所定のデータが分割されることによって生成されたパケットを受信するデータ受信装置において、In a data receiving apparatus that receives a packet generated by dividing predetermined data,
送信機から第一のパケットを受信したとき、該第一のパケットにエラーが存在するか判定し、When receiving a first packet from the transmitter, determine if there is an error in the first packet;
前記第一のパケットにエラーが存在していると判定されたとき、該第一のパケットが属するグループに存在するエラーパケットの数を表すエラーパケット情報を参照し、全パケットを受信しても該第一のパケットのエラーを復旧できないか判定し、When it is determined that an error exists in the first packet, the error packet information indicating the number of error packets existing in the group to which the first packet belongs is referred to. Determine if the first packet error can be recovered,
前記判定の結果に基づいて、前記送信機に該第一のパケットの再送を要求するBased on the result of the determination, request the transmitter to retransmit the first packet.
処理をデータ受信装置に実行させ、Let the data receiver perform the process,
前記第一のパケットは、1以上の他のパケットとともに第一のグループに属し、Said first packet belongs to a first group together with one or more other packets;
かつ、前記第一のパケットは、前記第一のグループに属していない1以上の他のパケットとともに第二のグループに属し、And the first packet belongs to a second group together with one or more other packets not belonging to the first group;
前記エラーパケット情報は、前記データ受信装置が受信する各々のパケットについて、該パケットの識別情報と、該パケットのエラー有無と、該パケットの再送要求の必要の有無と、前記第一のグループ内に存在するエラーパケットの数と、前記第二のグループ内に存在するエラーパケットの数とが対応付けられたテーブルによって管理されるThe error packet information includes, for each packet received by the data receiving apparatus, identification information of the packet, presence / absence of an error of the packet, presence / absence of necessity of retransmission request of the packet, and the first group. A table in which the number of existing error packets and the number of error packets existing in the second group are associated with each other is managed
ことを特徴とするデータ受信プログラム。A data receiving program characterized by the above.
前記第一のパケットにエラーが存在していると判定されたとき、
前記第一のパケットが属する前記第一のグループにエラーを含んだ第二のパケットが存在し、かつ、前記第二のパケットが属する前記第二のグループに、エラーを含んだ第三のパケットが存在し、かつ、前記第三のパケットの属する第三のグループに、エラーを含んだ第四のパケットが存在し、かつ、前記第四のパケットが属する第四のグループに、前記第一のパケットが存在するか判定し、
前記判定の結果に基づいて、前記送信機に前記第一のパケットの再送を要求する
処理をデータ受信装置に実行させることを特徴とする、請求項5に記載のデータ受信プログラム。
When it is determined that an error exists in the first packet,
There is a second packet containing an error in the first group to which the first packet belongs, and a third packet containing an error is in the second group to which the second packet belongs. There is a fourth packet containing an error in the third group to which the third packet belongs, and the first packet in the fourth group to which the fourth packet belongs. Is determined to exist,
Based on the result of the determination, request the transmitter to retransmit the first packet.
The data receiving program according to claim 5, wherein the data receiving device is caused to execute processing.
JP2012073327A 2012-03-28 2012-03-28 Data receiving method and apparatus Active JP5966502B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012073327A JP5966502B2 (en) 2012-03-28 2012-03-28 Data receiving method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012073327A JP5966502B2 (en) 2012-03-28 2012-03-28 Data receiving method and apparatus

Publications (2)

Publication Number Publication Date
JP2013207485A JP2013207485A (en) 2013-10-07
JP5966502B2 true JP5966502B2 (en) 2016-08-10

Family

ID=49526184

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012073327A Active JP5966502B2 (en) 2012-03-28 2012-03-28 Data receiving method and apparatus

Country Status (1)

Country Link
JP (1) JP5966502B2 (en)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4328602B2 (en) * 2003-11-20 2009-09-09 富士通株式会社 Packet error correction apparatus and method
JP5677070B2 (en) * 2010-12-14 2015-02-25 キヤノン株式会社 Receiving device and processing method by receiving device

Also Published As

Publication number Publication date
JP2013207485A (en) 2013-10-07

Similar Documents

Publication Publication Date Title
JP5408981B2 (en) COMMUNICATION DEVICE, COMMUNICATION METHOD, PROGRAM
JP4556703B2 (en) Video distribution system
JP6743192B2 (en) Video service quality evaluation method and apparatus
JP5677070B2 (en) Receiving device and processing method by receiving device
US9697328B2 (en) Transmission apparatus, transmission method, reception apparatus, reception method, and computer program
US9191696B2 (en) Reception device and program for reception device
JP5588244B2 (en) Video transmission system
US8948252B2 (en) Moving picture transmission apparatus, moving picture transmission system, moving picture transmission method, and program
JP2013013003A (en) Data processing device, data processing method and data processing program
JP5966502B2 (en) Data receiving method and apparatus
US20130339482A1 (en) Data transmitting system, and transmitting apparatus and receiving apparatus and program in data transmitting system
US10116415B2 (en) Transmission device, receiving device, transmission method, and receiving method
JP5682292B2 (en) Video distribution apparatus and video distribution method
JP2011211616A (en) Moving picture transmission apparatus, moving picture transmission system, moving picture transmission method, and program
KR102104495B1 (en) Reception device and program for reception device
US11418218B2 (en) Receiving device and receiving method
CN116233503B (en) Method, medium and related device for enhanced forward error correction for video transmission
JP2008092213A (en) Receiver, method for resending packet and program
JPH11261536A (en) Error discrimination processing system
CN112671784A (en) Data transmission method, device, equipment and storage medium
CN114900698A (en) Forward error correction-based video transmission method, apparatus and computer storage medium
JP2004140861A (en) Communication system, transmitting device, receiving device, and communication system provided with these devices
Reynolds Pursuit-The Journal of Undergraduate Researc h at The University of Tennesse e
JP2006285842A (en) Information processor and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160115

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20160401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160620

R150 Certificate of patent or registration of utility model

Ref document number: 5966502

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150