CN105409151B - 信息处理装置和信息处理方法 - Google Patents

信息处理装置和信息处理方法 Download PDF

Info

Publication number
CN105409151B
CN105409151B CN201480041621.2A CN201480041621A CN105409151B CN 105409151 B CN105409151 B CN 105409151B CN 201480041621 A CN201480041621 A CN 201480041621A CN 105409151 B CN105409151 B CN 105409151B
Authority
CN
China
Prior art keywords
datagram
unit
fec
matrix
redundant data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480041621.2A
Other languages
English (en)
Other versions
CN105409151A (zh
Inventor
V·拉那图加
碓井正一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105409151A publication Critical patent/CN105409151A/zh
Application granted granted Critical
Publication of CN105409151B publication Critical patent/CN105409151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/61—Aspects and characteristics of methods and arrangements for error correction or error detection, not provided for otherwise
    • H03M13/615—Use of computational or mathematical techniques
    • H03M13/616—Matrix operations, especially for generator matrices or check matrices, e.g. column or row permutations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0041—Arrangements at the transmitter end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H04L1/0057—Block codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Theoretical Computer Science (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

[课题]提出了一种使得能够改进涉及用于实现低延迟传输的FEC的技术的信息处理装置、信息处理方法以及程序。[解决方案]本发明提供了一种信息处理装置，包括：设置单元，其中其数目不超过规定的矩阵尺寸的数据报在第一方向按顺序设置，并且该处理在第二方向重复，从而将所述数据报设置在所述规定尺寸的矩阵的至少一部分中；以及生成单元，对于所述矩阵的给定行的每一个数据报以及对于所述矩阵的给定列的每一个数据报，该生成单元生成用于前向纠错目的的冗余数据报。

Description

信息处理装置和信息处理方法
技术领域
本公开内容涉及信息处理装置、信息处理方法以及程序。
背景技术
对于通过因特网或其他传输路径来以低延迟传输多媒体数据的需求已经日益增加。这样的需求例如在摄影机远程控制和游戏、远程医疗护理等领域内已经显著增加。
多种技术被用于实现具有低延迟的流送类型的传输。举例来说，由IETF RFC3550规定的实时传输协议(RTP)被用作适合于流送类型的传输系统的因特网技术。但是由于RTP或用户数据报协议(UDP)并不保证网络传输的视频图像质量，因此服务质量(QoS)控制可能变成是必要的。相应地，近年来已经开发了涉及用于实施QoS控制的前向纠错(FEC)系统的技术。
举例来说，在专利文献1中公开了涉及用于实现低延迟传输的FEC 的技术。
引用列表
专利文献
专利文献1：JP 2011-211616A
发明内容
但是如果考虑到前面描述的情况，则希望进一步改进涉及用于实现低延迟传输的FEC的技术。
相应地，本公开内容提出一种能够改进涉及用于实现低延迟传输的FEC的技术的新的得以改进的信息处理装置、信息处理方法以及程序。
根据本公开内容，提供一种信息处理装置，其包括：设置单元，其被配置成将预定矩阵尺寸或更少的数目的数据报设置在具有所述预定尺寸的矩阵的至少一部分中，这是通过根据第二方向重复沿着第一方向的数据报的按顺序设置而实现的；以及生成单元，其被配置成对于属于由设置单元设置的矩阵的一行的每一个数据报以及对于属于其一列的每一个数据报生成用于前向纠错的冗余数据报。
根据本公开内容，提供一种信息处理方法，其包括：将预定矩阵尺寸或更少的数目的数据报设置在具有所述预定尺寸的矩阵的至少一部分中，这是通过根据第二方向重复沿着第一方向的数据报的按顺序设置而实现的；以及对于属于所设置的矩阵的一行的每一个数据报以及对于属于其一列的每一个数据报生成用于前向纠错的冗余数据报。
根据本公开内容，提供一种用于使得计算机充当以下功能的程序：设置单元，其被配置成将预定矩阵尺寸或更少的数目的数据报设置在具有所述预定尺寸的矩阵的至少一部分中，这是通过根据第二方向重复沿着第一方向的数据报的按顺序设置而实现的；以及生成单元，其被配置成对于属于由设置单元设置的矩阵的一行的每一个数据报以及对于属于其一列的每一个数据报生成用于前向纠错的冗余数据报。
本发明的有利效果
根据前面所描述的本公开内容，有可能改进涉及用于实现低延迟传输的FEC的技术。
附图说明
图1是示出了根据本公开内容的一个实施例的传输系统的概括的解释图。
图2是用于描述由根据本实施例的发送装置进行的FEC编码的图示。
图3是用于描述XOR(异或)系统的FEC编码的图示。
图4是用于描述二维XOR系统的FEC编码的图示。
图5是示出了XOR系统的FEC解码的一个实例的图示。
图6是用于描述RS代码系统的FEC编码的图示。
图7是示出了根据本公开内容的一个实施例的RTP分组的格式的解释图。
图8是示出了根据本公开内容的一个实施例的RTP报头的格式的解释图。
图9是用于描述XOR系统的FEC中的媒体数据报的编码的图示。
图10是用于描述XOR系统的FEC中的媒体数据报的解码的图示。
图11是用于描述RS代码系统的FEC中的媒体数据报的编码的图示。
图12是用于描述RS代码系统的FEC中的媒体数据报的解码的图示。
图13是示出了根据第一实施例的传输系统的配置的方框图。
图14是示出了根据第一实施例的FEC编码单元的配置的方框图。
图15是用于描述由根据第一实施例的FEC编码单元进行的编码的图示。
图16是用于描述由根据第一实施例的生成单元进行的FEC数据报的生成的图示。
图17是用于描述由根据第一实施例的确定单元进行的发送顺序的确定的图示。
图18是示出了由根据第一实施例的确定单元所确定的发送顺序的一个实例的图示。
图19是用于描述由根据第一实施例的确定单元进行的LAST标志的提供的图示。
图20是用于描述由根据第一实施例的FEC解码单元进行的FEC解码的图示。
图21是示出了根据第一实施例的发送装置的操作的流程图。
图22是用于描述根据第二实施例的传输系统的概括的图示。
图23是比较对应于XOR系统与RS代码系统的FEC的性能的表。
图24是示出了XOR系统和RS代码系统的问题的表。
图25是示出了根据第二实施例的传输系统的配置的方框图。
图26是示出了根据第二实施例的FEC使用确定单元的配置的方框图。
图27是示出了根据第二实施例的发送装置的操作的流程图。
具体实施方式
后面将参照附图详细描述本公开内容的(多个)实施例。在本说明书和附图中，具有基本上相同的功能和结构的结构单元由相同的附图标记标示，并且省略了对于这些结构单元的重复解释。
将按照以下顺序给出描述。
1、根据本公开内容的实施例的传输系统的概括
2、实施例
2-1、基本技术
2-1-1、FEC技术
2-1-2、格式
2-1-3、编码和解码
2-2、第一实施例
2-2-1、概括
2-2-2、配置
2-2-3、操作处理
2-3、第二实施例
2-3-1、概括
2-3-2、配置
2-3-3、操作处理
3、总结
<1、根据本公开内容的一个实施例的传输系统的概括>
首先将参照图1来描述根据本公开内容的一个实施例的传输系统的概括。
图1是示出了根据本公开内容的一个实施例的传输系统的概括的解释图。如图1中所示，根据本公开内容的一个实施例的传输系统具有摄影机100A、100B和100C，编辑设备200A、200B和200C，以及通过网络3连接的发送装置1(信息处理装置)和接收装置2。后面在可能并不特别必要区分摄影机100A、100B和100C的情况下，其将被统称作摄影机100，类似地在可能并不特别必要区分编辑设备200A、200B 和200C的情况下，其将被统称作编辑设备200。
发送装置1通过进行编码、分组化和FEC编码而把由多台摄影机 100收集的内容发送到接收装置2。接收装置2通过进行FEC解码、去分组化和解码而把接收自发送装置1的数据输出到多个编辑设备200。假设根据本实施例的传输系统被使用在用于由比如图1中示出的多台摄影机100和编辑设备200实时地收集/编辑内容的生产地点处。在这样的生产地点处，对于低传输延迟的需求将是较高的，并且将要求改进涉及由FEC进行编码/解码以用于实现低延迟传输的技术。
因此，通过专注于前面所提到的情况，已经根据本公开内容的每一个实施例设想出传输系统。根据本公开内容的每一个实施例的传输系统都可以实现低延迟传输。后面将详细描述根据本公开内容的每一个实施例的传输系统。
此外，发送装置1发送装置1不仅可以向接收装置2发送摄影机 100的视频数据，而且还可以发送麦克风的音频数据(未示出)或者元数据。此外，接收装置2不仅可以把所接收到的数据输出到编辑设备200，而且还可以输出到例如显示器或扬声器之类的输出装置(未示出)。
<2、实施例>
[2-1、基本技术]
首先将描述由每一个实施例共同使用的基本技术。
[2-1-1、FEC技术]
发送装置1实施QoS控制，以便根据网络3的状况实现稳定的传输质量和高用户体验质量，比如分组丢失率、传输延迟或混合度(拥塞)。具体来说，发送装置1通过FEC对发送数据进行编码。FEC是使用冗余分组的丢失分组恢复技术。后面将参照图2来描述FEC的编码。
图2是用于描述由根据本实施例的发送装置1进行的FEC编码的图示。如图2中所示，发送装置1向接收装置2发送数据分组和冗余分组，这是通过从原始数据分组生成冗余分组以作为针对分组丢失的准备而实现的。通过使用所接收到的原始分组和冗余分组，在传输期间发生分组丢失的情况下，接收装置2可以如图2中所示地恢复丢失的分组。
主要被用作FEC的编码系统的是使用异或(XOR:异或)计算的系统以及具有使用Reed-Solomon(RS)代码的表格的两个系统。作为XOR 系统的有GenericFEC(IETFRFC5109)、LDPC(RFC5170)和Pro-MPEG FEC(SMPTE 2022-1-2007、2022-5)。此外，关于LDPC，在RFC5170 中有对于大块尺寸的描述，并且FEC块延迟变长。此外，Pro MPEG FEC 被用于IPTV(因特网广播)标准，比如IPTV论坛、开放IPTV论坛或 DVB-IP。此外，Pro-MPEG FEC 1D是在垂直方向上生成XOR冗余分组的标准，并且Pro-MPEG FEC 2D是在垂直和水平两个方向上生成XOR 冗余分组的标准。在SMPTE 2022-1-2007(“Forward Error Correction forReal-Time Video/Audio Transport over IP Network(用于通过IP网络的实时视频/音频传输的前向纠错)”，2007年)、SMPTE 2022-5-2012中提供了关于这些标准的细节。XOR系统的二维FEC系统常常被用于视频传输。首先将参照图3到图5来描述XOR系统的FEC 编码/解码。
图3是用于描述XOR系统的FEC编码的图示。更具体来说，图3A 示出了冗余分组的生成实例，图3B示出了流生成实例。如图3A中所示，发送侧通过对构成内容的媒体RTP分组的每一个比特进行XOR计算而生成冗余分组。此外，如图3B中所示，发送侧把媒体RTP分组作为媒体RTP分组流发送，并且把冗余分组作为冗余分组流发送。在这里，由被用于冗余分组生成的媒体RTP分组以及冗余分组构成的分组集合将在后面被称作FEC块。在发送侧实施XOR系统的FEC编码的情况下，接收侧可以实施恢复，直到FEC块内的一个分组丢失。
图4是用于描述二维XOR系统的FEC编码的图示。如图4中所示，发送侧通过以行单元或列单元对于设置在4x4二维矩阵中的媒体数据报(数据报)进行XOR计算而生成FEC数据报(冗余分组)。在本公开内容中，通过使用具有L列和D行的媒体数据报矩阵(具有预定矩阵尺寸的矩阵)而生成FEC数据报，这是通过把FEC块的矩阵尺寸设定到L列和D行而实现的。此外，图4内的媒体Dgrm示出了媒体数据报，行FEC Dgram示出了行单元的FEC数据报，并且列FEC Dgram示出了列单元的FEC数据报。此外，在每一个媒体数据报和每一个FEC 数据报中示出的附图标记(k,j)表明该数据报位于第k列和第j行。
在这里，虽然冗余度与一维XOR系统的FEC编码相比有了增加，但是二维XOR系统的FEC编码具有恢复率同样得到改进的特征。更具体来说，在二维XOR系统的情况下，虽然还有无法被恢复的模式，但是在主要处于同一行或同一列的情况下，有可能恢复2个分组丢失。将参照图5来描述这一点。图5是示出了XOR系统的FEC解码的一个实例的图示。更具体来说，图5A是示出了由垂直方向的一维XOR系统 (Pro-MEPG FEC 1D)编码的数据的解码实例的图示。图5B是示出了由垂直方向和水平方向的二维XOR系统(Pro-MEPG FEC 2D)编码的数据的解码实例的图示。
在图5A中示出了其中序列号为1、2、3和4的媒体RTP分组(媒体数据报)具有顺序分组丢失的情况。在这里，序列号为1的分组可以通过垂直方向的XOR计算来恢复。这是因为在同一列内丢失了1个分组。序列号为3和4的分组可以被类似地恢复。另一方面，由于序列号为2和10的分组是在同一列中丢失的两个分组，因此其无法被恢复。与此相对，如图5B中所示，由于突发分组丢失容限得到了改进，因此由二维XOR系统编码的数据在这样的情况下可以恢复丢失的分组。更具体来说，由于在同一行内丢失了1个分组，因此可以通过水平方向的XOR计算恢复序列号为10的分组。通过这种方式，序列号为 10的分组被恢复，并且随后序列号为2的分组变为同一列内丢失的1 个分组，因此可以通过垂直方向的XOR计算而被恢复。此外，在 Pro-MEPG FEC中，发送侧通常通过分开的端口来发送媒体RTP分组和冗余分组。
至此已描述了XOR系统的FEC编码/解码。此外还将参照图6来描述RS代码系统的FEC编码/解码。
图6是用于描述RS代码系统的FEC编码的图示。如图6中所示，在其中使用RS(n,k)代码的情况下，发送侧通过对于k个媒体RTP分组的n-k个冗余分组生成FEC块。此外，发送侧把媒体RTP分组和冗余分组作为媒体/冗余分组流发送。在其中发送侧实施RS代码系统的FEC编码的情况下，接收侧可以对于FEC块内的任意n-k(冗余分组的数目)个分组丢失实施恢复。由于在XOR系统中能够被恢复的丢失的模式方面存在限制，因此可以说对于丢失模式不存在限制的RS代码系统更加优越。
至此已描述了FEC技术。此外还将参照图7到图12来描述媒体数据报和FEC数据报的格式。
[2-1-2、格式]
图7是示出了根据本公开内容的一个实施例的RTP分组的格式的解释图。更具体来说，图7A示出了媒体数据报的格式，图7B示出了 FEC数据报的格式。如图7A中所示，媒体数据报由RTP报头、FEC报头、媒体报头和媒体有效载荷构成。此外，如图7B中所示，FEC数据报由RTP报头、FEC报头和FEC有效载荷构成。
构成内容的视频数据、音频数据和元数据的至少其中之一被存储在媒体有效载荷中。此外，表明通过FEC编码生成的冗余符号的数据被存储在FEC有效载荷中。后面将详细描述RTP报头、FEC报头和媒体报头。
(RTP报头)
图8示出了RTP报头的格式。图8是示出了根据本公开内容的一个实施例的RTP报头的格式的解释图。如图8中所示，在本实施例中使用了基于RFC 3550的规范的RTP报头。
(XOR系统的情况下的FEC报头)
此外还将描述XOR系统的情况下的FEC报头的字段配置。XOR系统的情况下的FEC报头具有帧计数、FEC类型、分组类型、最后一个 FEC块、L最大值、D最大值、L计数、D计数和FEC块ID。
*帧计数
FEC块所独有的值被存储在本字段中。在FEC数据报中，与属于同一个FEC块的媒体数据报相同的值被存储。
*FEC类型
表明所使用的FEC系统的类型(比如XOR系统或RS代码系统)的值被存储在本字段中。
*分组类型
表明数据报的类型(比如媒体数据报、行单元的FEC数据报或者列单元的FEC数据报)的值被存储在本字段中。
*最后一个FEC块
在具有模式2的FEC块的情况下，用于标识其为最后一个媒体数据报、行单元的最后一个FEC数据报以及列单元的最后一个FEC数据报的预定标志(Last标志)被存储在本字段中。
*L最大值
FEC块的L列和D行的媒体数据报的列数L的值被存储在本字段中。在具有模式2的FEC块的情况下，与具有模式1的FEC块的情况相同的值被存储，而不管被包括在FEC块中的媒体数据报的数目是多少。
*D最大值
FEC块的L列和D行的媒体数据报的行数D的值被存储在本字段中。在具有模式2的FEC块的情况下，与具有模式1的FEC块的情况相同的值被存储，而不管被包括在FEC块中的媒体数据报的数目是多少。
*L计数
媒体数据报或FEC数据报的行号被存储在本字段中。具体来说，从0直到被包括在FEC块中的媒体数据报矩阵的列数L的值被存储。虽然所述值在行单元的FEC数据报的情况下变为L，但是将会存在其中在模式2的情况下设定不同值的情况。
*D计数
媒体数据报或FEC数据报的列号被存储在本字段中。具体来说，从0直到被包括在FEC块中的媒体数据报矩阵的行数D的数值被存储。虽然所述值在列单元的FEC数据报的情况下变为D，但是将会存在其中在模式2的情况下设定不同值的情况。
*FEC块ID
FEC块所独有的值被存储在本字段中。本字段是例如每当生成FEC 块时被递增的值。
(RS代码系统的情况下的FEC报头)
至此已描述了XOR系统的情况下的FEC报头的字段配置。此外还将描述RS代码系统的情况下的FEC报头的字段配置。RS代码系统的情况下的FEC报头具有帧计数、FEC类型、媒体数据报数目、FEC数据报数目以及FEC块ID。后面将仅描述不同于XOR系统的字段。
*媒体数据报数目
表明所属的FEC块中的媒体数据报的总数的值被存储在本字段中。更具体来说，RS(n,k)代码的k数值被存储。
*FEC数据报数目
表明所属的FEC块中的FEC数据报的总数的值被存储在本字段中。更具体来说，RS(n,k)代码的n-k值被存储。
至此已描述了RS代码系统的情况下的FEC报头的字段配置。此外还将描述具有参照图7所描述的格式的媒体数据报的编码和解码。
[2-1-3、编码和解码]
首先将参照图9和图10来描述在本实施例的XOR系统中进行的编码和解码。图9是用于描述XOR系统的FEC中的媒体数据报的编码的图示。图10是用于描述XOR系统的FEC中的媒体数据报的解码的图示。
如图9中所示，发送装置1通过对每一个媒体数据报的媒体报头和媒体有效载荷的相同位置处的比特进行XOR计算来生成FEC数据报的FEC有效载荷。在媒体数据报中存在分组丢失的情况下，接收装置 2通过图10中所示出的方法恢复具有分组丢失的媒体数据报。更具体来说，接收装置2通过在所接收到的媒体数据报的媒体报头和媒体有效载荷以及FEC数据报FEC有效载荷的相同位置处的比特进行XOR计算来恢复具有分组丢失的媒体数据报。
至此已描述了本实施例的XOR系统中的编码和解码。此外还将参照图11和图12来描述本实施例的RS代码系统中的编码和解码。图 11是用于描述RS代码系统的FEC中的媒体数据报的编码的图示。图 12是用于描述RS代码系统的FEC中的媒体数据报的解码的图示。
如图11中所示，发送装置1通过RS代码对k个媒体数据报的媒体报头和媒体有效载荷的相同位置处的8个比特进行编码，从而对于每8个比特生成n-k个FEC数据报的FEC有效载荷。在媒体数据报中存在分组丢失的情况下，接收装置2通过图12中所示出的方法恢复具有分组丢失的媒体数据报。更具体来说，接收装置2通过把所接收到的媒体数据报的媒体报头和媒体有效载荷以及FEC数据报FEC有效载荷的相同位置处的8个比特解码为RS代码来恢复具有分组丢失的媒体数据报。至此已描述了本实施例的RS代码系统中的编码和解码。
[2-2、第一实施例]
[2-2-1、概括]
在本实施例中，通过基于视频的帧间断(frame break)的FEC系统实现了具有低延迟的传输。首先将描述本实施例的概括。
除了帧关系(frame relation)的处理(比如内容产生站点或远程控制)或者不间断的视频切换之外，根据本实施例的传输系统还被应用于要求具有一帧或更少的低延迟的系统。在这样的系统中，由于在分组数目方面也对延迟存在影响，因此要求很容易地识别出由视频的切换等等所产生的帧的分割，并且要求高速地识别出帧分割。
在这里，在使用二维XOR系统的FEC的情况下，通常使用LxR矩形FEC块，因此在二维XOR系统的FEC中将存在以下问题。首先，为了保持LxR矩形，在FEC块的分组数目、冗余度等方面将存在限制。其次，由于在分组数目不足的情况下通过虚设(dummy)分组来实施填充(pad)以用于保持所述矩形，因此将会发生存在浪费的分组传输。第三，在完全不实施基于FEC块和视频的帧间断的处理的情况下，延迟将在具有帧单位的处理中发生。更具体来说，由于发送侧利用帧的间断对FEC块进行分割，并且通过填充虚设分组来保持FEC块的矩形，因此将会发生存在浪费的分组传输。
相应地，在本实施例中，在可能必须处理具有帧场单元的视频的情况下，基于帧场实现FEC系统。更具体来说，在帧分割的情况下，根据本实施例的发送装置1使得FEC块的生成在中间结束而不保持矩形。此外，根据本实施例的发送装置1通过调节冗余分组的传输定时而缩短了接收装置2中的恢复时间。此外，根据本实施例的发送装置 1定义了多个Last标志，并且接收装置2以低延迟指定帧分割位置。
至此已描述了本实施例的概括。此外还将参照图13到图19来描述根据本实施例的传输系统的配置。
[2-2-2、配置]
图13是示出了根据第一实施例的传输系统的配置的方框图。如图 13中所示，发送装置1和接收装置2通过网络3连接。
(发送装置1)
如图13中所示，发送装置1具有捕获装置11、编码器12、分组化单元13、FEC编码单元14和RTP发送单元15。
*捕获装置11
捕获装置11具有捕获从外部提供的内容数据(运动图像内容)的功能。更具体来说，捕获装置11捕获从摄影机100提供的视频数据、由麦克风提供的音频数据或者元数据。捕获装置11把所捕获的内容数据输出到编码器12。在这里，在可能没有必要由编码器12实施压缩编码的情况下(在作为RAW数据进行发送的情况下)，捕获装置11 可以在不进行压缩的情况下把所捕获的内容数据照原样输出到分组化单元13。
*编码器12
编码器12对提供自捕获装置11的内容数据进行压缩编码。编码器12把经过压缩编码的数据输出到分组化单元13。
*分组化单元13
分组化单元13把提供自捕获装置11或编码器12的数据分组成 RTP分组(媒体数据报)。此外，分组化单元13还充当输入单元，其把构成帧单位的内容数据的媒体数据报输入到FEC编码单元14。更具体来说，分组化单元13对于每一项帧分割把提供自捕获装置11或编码器12的数据输出到FEC编码单元14。此外，除了帧分割之外，分组化单元13还可以通过根据超时对内容数据进行分割而把媒体数据报提供到FEC编码单元14。
*FEC编码单元14
FEC编码单元14对提供自分组化单元13的分组进行FEC编码。在FEC编码中，通过XOR系统、RS代码系统等等的前向纠错代码对分组进行冗余编码。在本实施例中，分组化单元13通过二维XOR系统实施FEC编码。下面将参照图14来描述FEC编码单元14的详细配置。
图14是示出了根据第一实施例的FEC编码单元14的配置的方框图。如图14中所示，FEC编码单元14充当划分单元141、设置单元 142、生成单元143和确定单元144。
-划分单元141
划分单元141具有把提供自分组化单元13的帧单位的数据(1个或多个媒体数据报)划分成对应于FEC块的矩阵尺寸(预定矩阵尺寸) 的数目的各组。举例来说，在通过4×4二维矩阵实施XOR系统的FEC 编码的情况下，划分单元141把媒体数据报划分成16个。划分单元 141对于每一组把媒体数据报输出到设置单元142。
在这里，在提供自FEC编码单元14的媒体数据报的数目不可被 FEC块的矩阵尺寸的数目整除的情况下，可以产生具有并未填满FEC 块的矩阵尺寸的数目的媒体数据报的组。在后文中，具有FEC块的矩阵尺寸的数目的媒体数据报的组将被称作具有模式1的组，并且具有并未填满FEC块的矩阵尺寸的数目的媒体数据报的组将被称作具有模式2的组。
-设置单元142
设置单元142具有把FEC块的矩阵尺寸或更少的数目的媒体数据报设置在FEC块的至少一部分中的功能，这是通过根据垂直方向(第二方向)重复沿着水平方向(第一方向)的数据报的按顺序设置而实现的。下面将参照图15来描述由设置单元142对媒体数据报进行设置的一个实例。
图15是用于描述由根据第一实施例的FEC编码单元14进行的编码的图示。更具体来说，图15示出了其中从22个分组生成1帧的情况下的FEC编码的一个实例，并且FEC编码单元14生成图15A中所示的FEC块和图15B中所示的FEC块的2个FEC块。图15A示出了具有模式1的组的FEC编码，图15B示出了具有模式2的组的FEC编码。此外，虽然图15示出了其中FEC块的矩阵尺寸被设定到4行和4列的一个实例，但是FEC编码单元14可以把FEC块的矩阵尺寸设定到另一个任意的矩阵尺寸。
如图15中所示，设置单元142在水平方向上顺序设置媒体数据报，这是按照将序列号为1的媒体数据报设置在第0列第0行中并且把序列号为2的媒体数据报设置在第1列第1行中的顺序进行的。此外，在FEC块的列尺寸(在图15中是4)被填满的情况下，设置单元142通过在第1行、第2行和第3行中重复相同的设置把媒体数据报设置在FEC块中。因此，如图15A中所示，在具有模式1的组的情况下，设置单元142将由划分单元141划分的FEC块的矩阵尺寸的数目的媒体数据报设置在整个FEC块中。此外，如图15B中所示，在具有模式 2的组的情况下，设置单元142将小于由划分单元141划分的FEC块的矩阵尺寸的数目的媒体数据报设置在FEC块的一部分中。
-生成单元143
生成单元143具有对于属于由设置单元142设置的矩阵的一行的媒体数据报以及对于属于其一列的媒体数据报生成用于前向纠错的 FEC数据报(冗余数据报)的功能。生成单元143通过对属于一行或一列的媒体数据报进行XOR计算而生成FEC数据报。在这里将参照图 16来描述具有模式2的组中的FEC数据报的生成。
图16是用于描述由根据第一实施例的生成单元143进行的FEC数据报的生成的图示。如图16中所示，生成单元143从属于第j行的L 个媒体数据报生成第j行的FEC数据报。此外，生成单元143从属于第k列的少于L个媒体数据报生成第k列的FEC数据报。通过这种方式，根据本实施例的生成单元143在不填充虚设分组以用于保持矩形的情况下生成FEC数据报。相应地，由于可能没有必要传输虚设分组，因此根据本实施例的发送装置1可以防止频带的浪费。
-确定单元144
确定单元144具有确定媒体数据报和FEC数据报的发送顺序的功能。更具体来说，确定单元144沿着垂直方向(第二方向)重复发送顺序的确定，从而在水平方向(第一方向)上按顺序发送媒体数据报，并且接下来按照对于属于该方向的媒体数据报生成的FEC数据报的顺序进行发送。下面将参照图17和图18来描述由确定单元144进行的发送顺序的确定。
图17是用于描述由根据第一实施例的确定单元144进行的发送顺序的确定的图示。图17示出了图15中所示的FEC块的发送顺序。如图17A中所示，确定单元144对于第0行的第0列、第1列、第2列和第3列的媒体数据报分别确定编号0、编号1、编号2和编号3，并且接下来对于为第0行的媒体数据报生成的FEC数据报确定编号4。确定单元144类似地对于第1行到第4行确定发送顺序。
在这里，在具有模式2的组的情况下，在实施发送顺序的确定时常常将不存在媒体数据报。在图17B所示的实例中，在发送顺序6的媒体数据报之后不存在媒体数据报。在这种情况下，确定单元144确定发送顺序，从而发送对应于属于不存在的媒体数据报的位置的垂直方向(第二方向)的媒体数据报的FEC数据报。也就是说，确定单元 144确定在并不存在的媒体数据报的位置N1的列单元的FEC数据报F4 的发送顺序7。接下来，确定单元144确定在并不存在的媒体数据报的位置N2的列单元的FEC数据报F5的发送顺序8。接下来，确定单元144确定FEC数据报F1的发送顺序9。接下来，确定单元144确定在并不存在的媒体数据报的位置N3的列单元的FEC数据报F2的发送顺序10。接下来，确定单元144确定在并不存在的媒体数据报的位置 N4的列单元的FEC数据报F3的发送顺序11。
通过这种方式，确定单元144确定具有模式2的组的发送顺序。通过由确定单元144对于具有模式2的组确定前面所描述的发送顺序， F4和F5在FEC数据报F1、F2和F3之前被接收装置2接收到。相应地，例如在图17B中所示的发送顺序2和3的媒体数据报丢失的情况下，接收装置2可以在接收FEC数据报F1、F2和F3之前通过FEC数据报F4和F5恢复丢失的媒体数据报。此外，在发送顺序2和3当中的任一个的媒体数据报丢失的情况下，在发送顺序4的FEC数据报接收之后并且在FEC数据报F4和F5的接收之前，接收装置2可以通过水平方向的XOR计算恢复丢失的媒体数据报。
图18是示出了由根据第一实施例的确定单元144确定的发送顺序的一个实例的图示。更具体来说，图18示出了图15中所示的FEC块的发送顺序。每一个媒体数据报和每一个FEC数据报的<>内的数字表明由确定单元144确定的发送顺序。举例来说，在发送顺序27和28 的分组丢失的情况下，接收装置2可以在发送顺序32的分组接收之后很快地恢复发送顺序27的分组，并且可以在发送顺序33的分组接收之后很快地恢复发送顺序28的分组。此外，在发送顺序27和28当中的任一个的分组丢失的情况下，接收装置2可以在发送顺序29的分组接收之后很快地通过水平方向的XOR计算恢复丢失的分组。
在这里，如图18中所示，在本实施例中，将存在其中存储有视频 (视频数据)、音频(音频数据)和元数据(meta)的媒体数据报在一个FEC块内被混合在一起的情况。这是因为按照为之完成了发送准备的数据的顺序实施针对分组化单元13的输入，并且实施RTP分组化。也就是说，在根据本实施例的传输系统中，可能没有必要对于每一项视频、每一项音频或者每一项元数据在保存数据之后实施发送。因此，在根据本实施例的传输系统中可以实现低延迟传输。
此外，确定单元144向发送顺序中的最后一个媒体数据报以及为属于该媒体数据报的垂直方向和水平方向的媒体数据报生成的FEC数据报提供LAST标志。更具体来说，确定单元144向帧的间断的媒体数据报以及该媒体数据报所属的行单元和列单元的FEC数据报提供LAST 标志。下面将参照图19来描述由确定单元144进行的LAST标志的提供。
图19是用于描述由根据第一实施例的确定单元144进行的LAST 标志的提供的图示。如图19中所示，确定单元144向序列号为22的媒体数据报M1提供LAST标志，其中来自媒体数据报当中的发送顺序变为最后一个。此外，确定单元144还向媒体数据报M1所属的第1行的行单元的FEC数据报F6以及媒体数据报M1所属的第1列的列单元的FEC数据报F7提供LAST标志。由于即使在没有接收下一个FEC 块的情况下也可以通过向媒体数据报提供的LAST标志来识别帧分割，因此接收装置2可以缩短帧处理。此外，由于还向FEC数据报提供了LAST标志，因此即使在最后一个媒体数据报丢失的情况下，接收装置 2也可以通过已为之提供了LAST标志的FEC数据报来识别帧分割。
至此已描述了FEC编码单元14的配置。后面将通过回到图13来描述根据本实施例的传输系统的配置。
*RTP发送单元15
RTP发送单元15把通过FEC编码单元14进行了FEC编码的RTP 分组发送到接收装置2。更具体来说，RTP发送单元15充当根据由确定单元144确定的发送顺序把媒体数据报以及由FEC编码单元14生成的FEC数据报发送到接收装置2的发送单元。
*补充信息
在本实施例中，虽然通过把第一方向设定到水平方向并且把第二方向设定到垂直方向进行了描述，但是本公开内容不限于这样的实例。举例来说，第一方向可以被设定到垂直方向，并且第二方向可以被设定到水平方向。也就是说，设置单元142可以通过根据水平方向重复媒体数据报沿着垂直方向的按顺序设置而将媒体数据报设置在FEC块的至少一部分中。此外，确定单元144可以确定发送顺序，这是通过沿着水平方向重复发送顺序的确定而实现的，从而在垂直方向上按顺序发送媒体数据报，并且接下来按照对于属于该方向的媒体数据报生成的FEC数据报的顺序进行发送。此外，在具有模式2的组的情况下，确定单元144可以确定发送顺序，从而发送对应于属于不存在的媒体数据报的位置的水平方向的媒体数据报的FEC数据报。
(接收装置2)
如图13中所示，接收装置2具有RTP接收单元21、FEC解码单元 22、去分组化单元23、解码器24以及输出单元25。
*RTP接收单元21
RTP接收单元21通过网络3接收来自发送装置1的RTP分组。在存在分组丢失的情况下，RTP接收单元21把所接收到的RTP分组输出到FEC解码单元22。另一方面，在没有分组丢失的情况下，RTP接收单元21把所接收到的RTP分组输出到去分组化单元23。
*FEC解码单元22
从RTP接收单元21向FEC解码单元22提供经过FEC编码的分组，并且FEC解码单元22具有实施FEC解码的功能。在这里将参照图20 来描述对具有模式2的FEC块进行解码的一个实例。
图20是用于描述由根据第一实施例的FEC解码单元22进行的FEC 解码的图示。图20示出了一个实例，其中FEC解码单元22对矩阵尺寸为3×3的具有模式2的FEC块进行解码，并且图中的N表明发送顺序。如图20A中所示，在发送装置1通过对7个媒体数据报进行FEC编码而实施发送时，发送顺序为2、3、5、6和9的媒体数据报以及发送顺序为4的FEC数据报丢失。
首先，如图20B中所示，FEC解码单元22通过对于发送顺序为12 的FEC数据报的XOR计算恢复发送顺序为9的媒体数据报。此外，由于为此时恢复的发送顺序为9的媒体数据报提供了LAST标志，因此接收装置2可以识别出帧分割。
接下来，如图20C中所示，FEC解码单元22通过对于发送顺序为 1和9的媒体数据报以及发送顺序为13的FEC数据报的XOR计算恢复发送顺序为5的媒体数据报。此外，FEC解码单元22通过对于发送顺序为7的媒体数据报以及发送顺序为11的FEC数据报的XOR计算恢复发送顺序为3的媒体数据报。
接下来，如图20D中所示，FEC解码单元22通过对于发送顺序为 5和7的媒体数据报以及发送顺序为8的FEC数据报的XOR计算恢复发送顺序为6的媒体数据报。
接下来，如图20E中所示，FEC解码单元22通过对于发送顺序为 6的媒体数据报以及发送顺序为10的FEC数据报的XOR计算恢复发送顺序为2的媒体数据报。
通过前面所描述的FEC解码，如图20F中所示，即使是其中媒体数据报大多丢失的FEC块，FEC解码单元22也可以恢复所有的媒体数据报。此外，即使在最后一个媒体数据报丢失的情况下，如图20B中所示，如果为之提供了LAST标志的发送顺序为9的媒体数据报能够被恢复，则接收装置2也可以识别出帧分割。相应地，接收装置2能够以低延迟实现对于帧单位的处理。
至此已描述了由FEC解码单元22进行的FEC解码。后面将通过回到13来描述根据本实施例的传输系统的配置。
*去分组化单元23
去分组化单元23对提供自RTP接收单元21或FEC解码单元22的 RTP分组进行去分组化。在内容数据是已压缩数据的情况下，去分组化单元23将内容数据输出到解码器24，在内容数据未被压缩的情况下则将其输出到输出单元25。
*解码器24
解码器24对提供自去分组化单元23的已压缩数据进行解码，并且将其输出到输出单元25。
*输出单元25
输出单元25将提供自去分组化单元23或解码器24的帧单位的未压缩内容数据输出到例如编辑设备200、显示器或扬声器之类的输出装置。
(网络3)
网络3是发送自连接到网络3的装置的信息的有线或无线传输路径。网络3由因特网、专用线路、互联网协议-虚拟私有网络(IP-VPN) 等等构成。
至此已描述了根据本实施例的传输系统的配置。此外还将参照图 21来描述根据本实施例的传输系统的操作处理。
[2-2-3、操作处理]
图21是示出了根据第一实施例的发送装置1的操作的流程图。首先，在步骤S102中，发送装置1把帧单位的媒体数据报输入到FEC 编码单元14。更具体来说，通过由捕获装置11捕获内容数据、由编码器12实施压缩编码以及由分组化单元13实施分组化，发送装置1把帧单位的媒体数据报输出到FEC编码单元14。
接下来，在步骤S104中，划分单元141针对FEC块的矩阵尺寸的数目划分帧单位的媒体数据报。例如在通过4×4二维矩阵来实施XOR 系统的FEC编码的情况下，划分单元141对于16个媒体数据报当中的每一个把帧单位的输入媒体数据报划分到各组中。
接下来，在步骤S106中，设置单元142把媒体数据报设置在FEC 块中。更具体来说，设置单元142把由划分单元141划分的每一组的媒体数据报设置在FEC块中。在这里，在具有模式1的组的情况下，设置单元142将由划分单元141划分的FEC块的矩阵尺寸的数目的媒体数据报设置在整个FEC块中。此外，在具有模式2的组的情况下，设置单元142将小于由划分单元141划分的FEC块的矩阵尺寸的数目的媒体数据报设置在FEC块的一部分中。
接下来，在步骤S108中，生成单元143生成FEC数据报。更具体来说，生成单元143对于属于由设置单元142设置的矩阵的一行的每一个媒体数据报以及对于属于其一列的每一个媒体数据报通过XOR计算生成FEC数据报。
接下来，在步骤S110中，确定单元144确定发送顺序。更具体来说，确定单元144沿着垂直方向重复发送顺序的确定，从而在水平方向上按顺序发送媒体数据报，并且接下来按照对于属于该方向的媒体数据报生成的FEC数据报的顺序进行发送。通过这种方式，确定单元 144确定属于FEC块的媒体数据报和FEC数据报的发送顺序。此外，正如前面参照图17B所描述的那样，在模式2中不存在媒体数据报的情况下，确定单元144确定发送顺序，从而发送不存在的媒体数据报的位置的列单元的FEC数据报。
接下来，在步骤S112中，确定单元144提供LAST标志。更具体来说，确定单元144向帧的间断的媒体数据报以及该媒体数据报所属的行单元和列单元的FEC数据报提供LAST标志。
随后，在步骤S114中，RTP发送单元15根据所述发送顺序来发送RTP分组。更具体来说，RTP发送单元15根据由确定单元144确定的发送顺序向接收装置2发送媒体数据报以及由FEC编码单元14生成的FEC数据报。
至此已描述了根据本实施例的发送装置1的操作处理。
[2-3、第二实施例]
[2-3-1、概括]
在本实施例中，通过自动切换FEC系统实现了具有低延迟的传输。首先将参照图22来描述本实施例的概括。
图22是用于描述根据第二实施例的传输系统的概括的图示。根据本实施例的传输系统是如图22A中所示以多个比特率实施视频传输并且如图22B中所示动态地改变视频(运动图像内容)的比特率的系统。
在这里将描述一个具体实例，其中假设发送装置10(信息处理装置)连接到10台摄影机100，利用多个比特率实施视频传输。举例来说，例如在10台当中的4台被用于现场广播的情况下，发送装置10 以高比特率(1.5Gbps)从所述4台摄影机传输视频，并且由于其余的6台被用于监测，因此以经过压缩的低比特率(150Mbps)实施传输。
类似地还将描述一个具体实例，其中通过假设发送装置10连接到 10台摄影机100，视频的比特率被动态地改变。举例来说，发送装置 10在现场广播期间仅以高比特率(1.5Gbps)实施所述10台摄影机100 当中的1台的传输，并且由于其余的9台是用于监测，因此以经过压缩的低比特率实施传输。此外，在现场广播期间切换摄影机100时，发送装置10对于直到此时为止的现场广播期间的所述1台摄影机实施从高比特率到低比特率的改变，并且对于将在现场广播期间使用的新的1台摄影机实施从低比特率到高比特率的改变。
正如前面所描述的那样，对于FEC系统主要有XOR系统和RS代码系统两种类型。通常来说，RS代码系统与XOR系统相比在冗余度相同的情况下具有更高的恢复性能和高计算量。在这里，将参照图23和图 24详细比较这些FEC系统。
图23是其中比较针对XOR系统和RS代码系统的FEC的性能的表。如图23中所示，在FEC块较大(存在大量分组)的情况下，XOR系统能够以低冗余度和低计算量实现最大恢复性能。此外，如图23中所示，在FEC块较小(存在少量分组)的情况下，XOR系统能够以低冗余度和低计算量实现最大恢复性能。这样，由于XOR系统和RS代码系统存在对应的优点和缺点，因此为了实现低延迟传输要求发送装置10根据情况来划分使用。
图24是示出了XOR系统和RS代码系统的问题的表。图24示出了其FEC延迟可能必须具有1.5msec或更少的低延迟的系统中的一个实例。如图24内的*1中所示，在低比特率的情况下，ProMPEG系统的冗余度高，因此在网络频带中产生浪费。此外，如图24内的*2中所示，在高比特率的情况下，分组密度高，并且对于80个分组的RS编码/ 解码处理可能必须在0.64msec内完成，因此必要硬件的规格变得极高。
因此，根据对于FEC处理所要求的延迟时间，适合于比特率的FEC 系统将是不同的。相应地，在其中存在多个比特率的系统中，如果FEC 系统未被动态地改变，根据比特率将会发生在恢复性能、冗余度和处理速度中产生问题的情况。
相应地，在本实施例中，发送装置10基于比特率的阈值在发送开始时选择与比特率匹配的FEC系统。此外，在比特率在发送期间发生改变的情况下，发送装置10基于改变后的比特率与阈值之间的比较结果自动改变FEC系统。
此外，根据将要发送的数据的尺寸，适当的FEC系统将是不同的。更具体来说，根据将要发送的视频是未压缩(RAW数据)还是已压缩视频，适当的FEC系统将是不同的。相应地，在其中将要发送的视频的尺寸不同的系统中，如果FEC系统未被动态地改变，根据视频的压缩/未压缩将会发生在恢复性能、冗余度和处理速度中产生问题的情况。
相应地，在本实施例中，发送装置10基于将要发送的视频的压缩 /未压缩在发送开始时选择与压缩/未压缩匹配的FEC系统。此外，如果压缩/未压缩在发送期间发生改变，发送装置10基于改变后的压缩/ 未压缩自动改变FEC系统。
此外，在FEC被切换的情况下，发送装置10通过向接收装置2通知表明已发生切换的信息而允许由接收装置2进行解码。举例来说，通过提供给报头或者发送专用的消息，发送装置10向接收装置2通知表明FEC系统被切换的定时、切换之后的FEC系统等等的信息。
至此已描述了本实施例的概括。此外还将参照图25来描述根据本实施例的传输系统的配置。
[2-3-2、配置]
图25是示出了根据第二实施例的传输系统的配置的方框图。如图 25中所示，发送装置10和接收装置2通过网络3连接。由于接收装置2和网络3的配置与第一实施例中所描述的一样，因此在这里将省略其详细描述。后面将描述发送装置10的配置。
(发送装置10)
如图13中所示，发送装置10具有捕获装置11、编码器12、分组化单元13、FEC编码单元(编码单元)14、RTP发送单元15和FEC使用确定单元16。由于捕获装置11、编码器12、分组化单元13、FEC 编码单元14和RTP发送单元15与第一实施例中所描述的一样，因此在这里将省略其详细描述。
*FEC使用确定单元16
FEC使用确定单元16具有确定FEC编码单元14中的FEC编码系统的功能。也就是说，FEC编码单元14通过由FEC使用确定单元16 确定的编码系统对媒体数据报(发送数据)进行FEC编码。此外，RTP 发送单元15把通过由FEC使用确定单元16确定的编码系统进行了FEC编码的发送数据发送到接收装置2。在这里将参照图26来描述FEC使用确定单元16的详细配置。
图26是示出了根据第二实施例的FEC使用确定单元16的配置的方框图。如图26中所示，FEC使用确定单元16充当获取单元161、改变单元162和选择单元163。
-获取单元161
获取单元161具有获取传输比特率的功能。获取单元161例如通过监测网络3的状态来获取传输比特率。
-改变单元162
改变单元162具有改变传输比特率的功能。改变单元162例如基于用户指令、来自外部单元的指令等等改变传输比特率。
-选择单元163
选择单元163具有基于由获取单元161获取的传输比特率与阈值之间的比较结果选择FEC编码系统(例如前向纠错之类的编码系统) 的功能。具体来说，选择单元163选择RS代码系统和XOR系统当中的任一项作为FEC编码系统。更具体来说，选择单元163在传输比特率低于阈值的情况下选择RS代码系统，并且在传输比特率高于阈值的情况下选择XOR系统。举例来说，在图22A中所示的实例中，如果阈值被设定到500Mbps，则选择单元163在传输比特率是150Mbps的情况下选择RS代码系统，并且在传输比特率是1500Mbps的情况下选择XOR系统。这样，通过由选择单元163动态地选择适合于网络3的传输比特率的FEC系统，发送装置10可以实现具有低延迟的传输。
此外，选择单元163具有基于由改变单元162改变的传输比特率与阈值之间的比较结果选择FEC编码系统的功能。更具体来说，选择单元163在改变后的传输比特率低于阈值的情况下选择RS代码系统，并且在传输比特率高于阈值的情况下选择XOR系统。举例来说，在图 22B中所示的实例中，如果阈值被设定到500Mbps，则选择单元163 在改变后的传输比特率是1500Mbps的情况下选择XOR系统。类似地，选择单元163在改变后的传输比特率是150Mbps的情况下选择RS代码系统。这样，通过由选择单元163动态地选择适合于由改变单元162 动态地改变的传输比特率的FEC系统，发送装置10可以实现具有低延迟的传输。
此外，选择单元163具有基于将要发送的运动图像内容是否被压缩来选择FEC编码系统的功能。更具体来说，选择单元163在到FEC 编码单元14的视频输入被编码器12压缩的情况下选择RS代码系统，并且在未压缩(RAW数据)的情况下选择XOR系统。这样，通过由选择单元163动态地选择适合于将要发送的视频的压缩/未压缩的FEC 系统，发送装置10可以实现具有低延迟的传输。
至此已描述了根据本实施例的传输系统的配置。此外还将参照图 27来描述根据本实施例的传输系统的操作处理。
[2-3-3、操作处理]
图27是示出了根据第二实施例的发送装置10的操作的流程图。首先，在步骤S202中，获取单元161获取传输比特率。
接下来，在步骤S204中，选择单元163决定将要发送的运动图像内容的压缩/未压缩。具体来说，选择单元163决定将要发送的视频是 RAW数据还是已压缩视频。
接下来，在步骤S206中，选择单元163基于运动图像内容的传输比特率以及压缩/未压缩来选择编码系统。更具体来说，选择单元163 在由获取单元161获取的传输比特率低于阈值的情况下选择RS代码系统，并且在传输比特率高于阈值的情况下选择XOR系统。在这里，在传输比特率已由改变单元162改变的情况下，选择单元163在改变后的传输比特率低于阈值的情况下选择RS代码系统，并且在传输比特率高于阈值的情况下选择XOR系统。此外，选择单元163在将要发送的运动图像内容被编码器12压缩的情况下选择RS代码系统，并且在未压缩的情况下选择XOR系统。
接下来，在步骤S208中，FEC编码单元14通过由FEC使用确定单元16确定的编码系统对媒体数据报进行编码。更具体来说，FEC编码单元14通过由选择单元163选择的XOR系统和RS代码系统当中的任一项的编码系统对媒体数据报进行FEC编码。
随后，在步骤S210中，RTP发送单元15把输出自FEC编码单元 14的媒体数据报和FEC数据报发送到接收装置2。
至此已描述了根据本实施例的发送装置10的操作处理。
<3、总结>
如前所述，根据本公开内容，有可能改进涉及用于实现低延迟传输的FEC的技术。更具体来说，通过基于视频的帧间断的FEC系统，根据第一实施例的传输系统可以实现具有低延迟的数据传输。此外，通过自动切换FEC系统，根据第二实施例的传输系统可以实现具有低延迟的数据传输。
前面参照附图描述了本公开内容的(多个)优选实施例，但是本公开内容不限于前面的实例。本领域技术人员可以在所附权利要求书的范围内找到许多改动和修改，并且应当理解的是，所述改动和修改将自然地落在本公开内容的技术范围内。
举例来说，可以创建计算机程序，以用于使得例如建立到信息处理装置中的CPU、ROM和RAM之类的硬件表现出与前面描述的发送装置 1、发送装置10和接收装置2的每一种配置相同的功能。此外还提供了用于记录该计算机程序的记录介质。
此外，本发明的技术还可以被如下配置。
(1)一种信息处理装置，包括：
设置单元，其被配置成将预定矩阵尺寸或更少的数目的数据报设置在具有所述预定尺寸的矩阵的至少一部分中，这是通过根据第二方向重复沿着第一方向的数据报的按顺序设置而实现的；以及
生成单元，其被配置成对于属于由设置单元设置的矩阵的一行的每一个数据报以及对于属于其一列的每一个数据报生成用于前向纠错的冗余数据报。
(2)根据(1)的信息处理装置，还包括：
确定单元，其被配置成确定数据报和冗余数据报的发送顺序，
其中，确定单元沿着第二方向重复确定发送顺序，从而按照第一方向的顺序并且接下来按照对应于属于第一方向的数据报的冗余数据报的顺序来发送数据报。
(3)根据(2)的信息处理装置，
其中，在不存在数据报的情况下，确定单元确定发送顺序，从而发送在不存在数据报的位置处的对应于属于第二方向的数据报的冗余数据报。
(4)根据(2)或(3)的信息处理装置，
其中，确定单元向数据报当中的处于发送顺序中的最后一个数据报以及向对应于属于所述最后一个数据报的第一方向和第二方向的数据报的冗余数据报提供预定标志。
(5)根据(2)到(4)当中的任一条的信息处理装置，还包括：
发送单元，其被配置成根据由确定单元确定的发送顺序来发送数据报和冗余数据报。
(6)根据(1)到(5)当中的任一条的信息处理装置，还包括：
输入单元，其被配置成输入构成帧单位的运动图像内容的数据报；以及
划分单元，其被配置成按照所述预定矩阵尺寸的数目来划分输入到输入单元的帧单位的数据报，
其中，设置单元设置等于由划分单元所划分的预定矩阵尺寸的数目的数据报，或者小于所述预定矩阵尺寸的数目的数据报。
(7)根据(1)到(6)当中的任一条的信息处理装置，
其中，生成单元通过对属于一行或一列的数据报进行异或而生成冗余数据报。
(8)根据(1)到(7)当中的任一条的信息处理装置，
其中，第一方向和第二方向至少是水平方向和垂直方向以及垂直方向和水平方向当中的任一种。
(9)根据(1)到(8)当中的任一条的信息处理装置，
其中，所述数据报是构成运动图像内容的视频数据、音频数据和元数据的至少其中之一。
(10)一种信息处理方法，包括：
将预定矩阵尺寸或更少的数目的数据报设置在具有所述预定尺寸的矩阵的至少一部分中，这是通过根据第二方向重复沿着第一方向的数据报的按顺序设置而实现的；以及
对于属于所设置的矩阵的一行的每一个数据报以及对于属于其一列的每一个数据报生成用于前向纠错的冗余数据报。
(11)一种用于使得计算机充当以下功能的程序：
设置单元，其被配置成将预定矩阵尺寸或更少的数目的数据报设置在具有所述预定尺寸的矩阵的至少一部分中，这是通过根据第二方向重复沿着第一方向的数据报的按顺序设置而实现的；以及
生成单元，其被配置成对于属于由设置单元设置的矩阵的一行的每一个数据报以及对于属于其一列的每一个数据报生成用于前向纠错的冗余数据报。
附图符号列表
1、10——发送装置
11——捕获装置
12——编码器
13——分组化单元
14——FEC编码单元
141——划分单元
142——设置单元
143——生成单元
144——确定单元
15——RTP发送单元
16——FEC使用确定单元
161——获取单元
162——改变单元
163——选择单元
2——接收装置
21——RTP接收单元
22——FEC解码单元
23——去分组化单元
24——解码器
25——输出单元
3——网络
100——摄影机
200——编辑设备

Claims (9)

1.一种信息处理装置，包括：
设置单元，其被配置成将预定矩阵尺寸或更少的数目的数据报设置在具有该预定尺寸的矩阵的至少一部分中，这是通过根据第二方向重复沿着第一方向的数据报的按顺序设置而实现的；
生成单元，其被配置成对于属于由设置单元设置的矩阵的一行的每一个数据报以及对于属于由设置单元设置的矩阵的一列的每一个数据报生成用于前向纠错的冗余数据报；以及
确定单元，其被配置成确定数据报和冗余数据报的发送顺序，
其中，确定单元沿着第二方向重复确定发送顺序，从而按照第一方向的顺序并且接下来按照对应于属于第一方向的数据报的冗余数据报的顺序来发送数据报，
其中，确定单元向数据报当中的处于发送顺序中的最后一个数据报以及向对应于属于所述最后一个数据报的第一方向和第二方向的数据报的冗余数据报提供预定标志，所述发送顺序中的最后一个数据报指示帧的间断；并且
其中，在数据报的矩阵的尺寸小于预定尺寸的情况下，在不将数据报的矩阵的尺寸增大为预定尺寸的情况下生成冗余数据报。
2.根据权利要求1所述的信息处理装置，
其中，在不存在数据报的情况下，确定单元确定发送顺序，从而发送在不存在数据报的位置处的对应于属于第二方向的数据报的冗余数据报。
3.根据权利要求1所述的信息处理装置，还包括：
发送单元，其被配置成根据由确定单元确定的发送顺序来发送数据报和冗余数据报。
4.根据权利要求1所述的信息处理装置，还包括：
输入单元，其被配置成输入构成帧单位的运动图像内容的数据报；以及
划分单元，其被配置成按照所述预定矩阵尺寸的数目来划分输入到输入单元的帧单位的数据报，
其中，设置单元设置等于由划分单元所划分的预定矩阵尺寸的数目的数据报，或者小于所述预定矩阵尺寸的数目的数据报。
5.根据权利要求1所述的信息处理装置，
其中，所述生成单元通过对属于一行或一列的数据报进行异或来生成冗余数据报。
6.根据权利要求1所述的信息处理装置，
其中，第一方向和第二方向至少是水平方向和垂直方向以及垂直方向和水平方向当中的任一种。
7.根据权利要求1所述的信息处理装置，
其中，所述数据报是构成运动图像内容的视频数据、音频数据和元数据的至少其中之一。
8.一种信息处理方法，包括：
把预定矩阵尺寸或更少的数目的数据报设置在具有该预定尺寸的矩阵的至少一部分中，这是通过根据第二方向重复沿着第一方向的数据报的按顺序设置而实现的；
对于属于所设置的矩阵的一行的每一个数据报以及对于属于所设置的矩阵的一列的每一个数据报生成用于前向纠错的冗余数据报；
确定数据报和冗余数据报的发送顺序，其中，沿着第二方向重复确定发送顺序，从而按照第一方向的顺序并且接下来按照对应于属于第一方向的数据报的冗余数据报的顺序来发送数据报；
向数据报当中的处于发送顺序中的最后一个数据报以及向对应于属于所述最后一个数据报的第一方向和第二方向的数据报的冗余数据报提供预定标志，所述发送顺序中的最后一个数据报指示帧的间断；并且
其中，在数据报的矩阵的尺寸小于预定尺寸的情况下，在不将数据报的矩阵的尺寸增大为预定尺寸的情况下生成冗余数据报。
9.一种其上存储有程序的记录介质，所述程序在由计算机执行时，使得计算机执行以下操作：
将预定矩阵尺寸或更少的数目的数据报设置在具有该预定尺寸的矩阵的至少一部分中，这是通过根据第二方向重复沿着第一方向的数据报的按顺序设置而实现的；
对于属于所设置的矩阵的一行的每一个数据报以及对于属于所设置的矩阵的一列的每一个数据报生成用于前向纠错的冗余数据报；
确定数据报和冗余数据报的发送顺序，其中，沿着第二方向重复确定发送顺序，从而按照第一方向的顺序并且接下来按照对应于属于第一方向的数据报的冗余数据报的顺序来发送数据报，
向数据报当中的处于发送顺序中的最后一个数据报以及向对应于属于所述最后一个数据报的第一方向和第二方向的数据报的冗余数据报提供预定标志，所述发送顺序中的最后一个数据报指示帧的间断；并且
其中，在数据报的矩阵的尺寸小于预定尺寸的情况下，在不将数据报的矩阵的尺寸增大为预定尺寸的情况下生成冗余数据报。
CN201480041621.2A 2013-07-30 2014-05-23 信息处理装置和信息处理方法 Active CN105409151B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-158055 2013-07-30
JP2013158055 2013-07-30
PCT/JP2014/063690 WO2015015880A1 (ja) 2013-07-30 2014-05-23 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN105409151A CN105409151A (zh) 2016-03-16
CN105409151B true CN105409151B (zh) 2019-09-10

Family

ID=52431426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480041621.2A Active CN105409151B (zh) 2013-07-30 2014-05-23 信息处理装置和信息处理方法

Country Status (6)

Country Link
US (1) US10075196B2 (zh)
EP (1) EP3029870B1 (zh)
JP (1) JP6451629B2 (zh)
CN (1) CN105409151B (zh)
RU (1) RU2668064C2 (zh)
WO (1) WO2015015880A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10211950B1 (en) * 2016-05-20 2019-02-19 Harmonic, Inc. High bit rate media FEC recovery
US20180203625A1 (en) * 2017-01-19 2018-07-19 Cnex Labs, Inc. Storage system with multi-dimensional data protection mechanism and method of operation thereof
JP7269112B2 (ja) * 2019-06-26 2023-05-08 日本放送協会 受信装置及びプログラム
CN111371957B (zh) * 2020-05-26 2020-08-25 腾讯科技（深圳）有限公司 一种冗余度控制方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1261490A (zh) * 1997-06-21 2000-07-26 北方电讯网络有限公司 在多载波系统上传输的信道编码与插入
CN1321028A (zh) * 2001-05-18 2001-11-07 北京大学 分组校验数据传输法
EP0642228B1 (en) * 1993-07-05 2001-12-12 Mitsubishi Denki Kabushiki Kaisha Apparatus for transmitting and receiving interleaved error correction coded data on a transmission frame
CN1947369A (zh) * 2004-04-29 2007-04-11 汤姆森许可贸易公司 传输数字数据分组的方法和实现该方法的设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07240749A (ja) * 1993-12-28 1995-09-12 Matsushita Electric Ind Co Ltd セル送信方法とその装置
CN101964705B (zh) * 2005-01-28 2012-08-08 夏普株式会社 通信设备、通信系统、通信方法、通信程序、通信电路
US8166355B2 (en) 2005-02-10 2012-04-24 Siano Mobile Silicon Ltd. System and method for mitigating memory requirements
AU2006248710B2 (en) * 2005-05-19 2011-01-20 Nokia Corporation System and method for providing unequal error protection to priority labeled datagrams in a DVB-H transmission system
JP2007208418A (ja) * 2006-01-31 2007-08-16 Nhk Engineering Services Inc 検査情報生成装置、送信装置及び中継装置
US7525993B2 (en) * 2006-05-24 2009-04-28 Newport Media, Inc. Robust transmission system and method for mobile television applications
JP2008011096A (ja) 2006-06-28 2008-01-17 Toshiba Corp Ｆｅｃエンコード方法、ｆｅｃデコード方法、ｆｅｃデコード装置
US7925962B2 (en) * 2007-01-18 2011-04-12 Mediatek Usa Inc. DVB-H system and method for performing forward error correction
JP5610709B2 (ja) * 2009-06-04 2014-10-22 キヤノン株式会社 エラー訂正用データの生成装置、及び生成方法
US8432961B2 (en) * 2009-06-11 2013-04-30 Lg Electronics Inc. Transmitting/receiving system and method of processing broadcast signal in transmitting/receiving system
JP2011211616A (ja) 2010-03-30 2011-10-20 Sony Corp 動画像伝送装置、動画像伝送システム、動画像伝送方法およびプログラム
JP5677070B2 (ja) * 2010-12-14 2015-02-25 キヤノン株式会社 受信装置及び、受信装置による処理方法
JP2013062683A (ja) * 2011-09-13 2013-04-04 Toshiba Corp データ転送装置、データ送信システム、データ送信方法およびプログラム
US8972815B1 (en) * 2012-03-20 2015-03-03 Xilinx, Inc. Recovery of media datagrams

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0642228B1 (en) * 1993-07-05 2001-12-12 Mitsubishi Denki Kabushiki Kaisha Apparatus for transmitting and receiving interleaved error correction coded data on a transmission frame
CN1261490A (zh) * 1997-06-21 2000-07-26 北方电讯网络有限公司 在多载波系统上传输的信道编码与插入
CN1321028A (zh) * 2001-05-18 2001-11-07 北京大学 分组校验数据传输法
CN1947369A (zh) * 2004-04-29 2007-04-11 汤姆森许可贸易公司 传输数字数据分组的方法和实现该方法的设备

Also Published As

Publication number Publication date
EP3029870A1 (en) 2016-06-08
EP3029870B1 (en) 2022-07-20
RU2016102119A3 (zh) 2018-04-02
US20160164545A1 (en) 2016-06-09
WO2015015880A1 (ja) 2015-02-05
JP6451629B2 (ja) 2019-01-16
JPWO2015015880A1 (ja) 2017-03-02
RU2016102119A (ru) 2017-07-27
CN105409151A (zh) 2016-03-16
US10075196B2 (en) 2018-09-11
EP3029870A4 (en) 2017-03-22
RU2668064C2 (ru) 2018-09-25

Similar Documents

Publication Publication Date Title
CN105393481B (zh) 信息处理装置和信息处理方法
JP6628390B2 (ja) 順方向エラー訂正スキームを使用するパケット送受信装置及び方法
EP2815529B1 (en) Data packet transmission/reception apparatus and method
KR101983032B1 (ko) 방송 및 통신 시스템에서 패킷 송수신 장치 및 방법
CN103929681B (zh) 一种提升低速网络中rtp视频流处理效率的方法
CN105409151B (zh) 信息处理装置和信息处理方法
CN108174234A (zh) 一种流媒体传输方法及系统
CN106303661B (zh) 一种直播客户端实现自适应屏幕旋转的方法及系统
CN104104727B (zh) 一种基于Raptor码的大文件传输方法
CN101137060A (zh) 一种视频传输方法、系统及设备
CN109245863B (zh) 用于传输和接收前向纠错分组的装置和方法
KR101953580B1 (ko) 영상회의 시스템에서 데이터 송수신 장치 및 방법
CN105681825A (zh) 一种视频码流输出控制装置和方法
US11418218B2 (en) Receiving device and receiving method
Begen et al. On the scalability of RTCP-based network tomography for IPTV services
Wu et al. Overcoming burst packet loss in peer-to-peer live streaming systems
Casu et al. Video over DSL with LDGM codes for interactive applications
CN117675118A (zh) 音视频传输丢包恢复方法、装置、设备及存储介质
Servetto et al. Video multicast over fair queueing networks
CN117857802A (zh) 视频流编码控制及传输方法、装置、终端设备和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant