CN105393481B - 信息处理装置和信息处理方法 - Google Patents

信息处理装置和信息处理方法 Download PDF

Info

Publication number
CN105393481B
CN105393481B CN201480041504.6A CN201480041504A CN105393481B CN 105393481 B CN105393481 B CN 105393481B CN 201480041504 A CN201480041504 A CN 201480041504A CN 105393481 B CN105393481 B CN 105393481B
Authority
CN
China
Prior art keywords
unit
fec
transmission
mode
bit rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480041504.6A
Other languages
English (en)
Other versions
CN105393481A (zh
Inventor
V·拉那图加
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105393481A publication Critical patent/CN105393481A/zh
Application granted granted Critical
Publication of CN105393481B publication Critical patent/CN105393481B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
    • H04L1/0013Rate matching, e.g. puncturing or repetition of code symbols
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/35Unequal or adaptive error protection, e.g. by providing a different level of protection according to significance of source information or by adapting the coding according to the change of transmission channel characteristics
    • H03M13/353Adaptation to the channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0002Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission rate
    • H04L1/0003Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission rate by switching between different modulation schemes
    • H04L1/0004Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the transmission rate by switching between different modulation schemes applied to control information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/004Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0041Arrangements at the transmitter end

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Error Detection And Correction (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

[问题]提供了能够改进与用于实现低延迟传送的FEC有关的技术的新颖的和改进的信息处理设备、信息处理方法和程序。[解决方案]提供了一种信息处理装置,该信息处理装置包括:获取传送比特率的获取单元;以及基于由获取单元获取的传送比特率与阈值之间的比较结果选择用于前向纠错的编码方式的选择单元。

Description

信息处理装置和信息处理方法
技术领域
本公开内容涉及信息处理装置、信息处理方法和程序。
背景技术
对经由因特网或除此之外的传送路径以低延迟传送多媒体数据的需求日益增加。例如,这种需求在相机远程控制和游戏、远程医疗等领域中已经显著增加。
为实现具有低延迟的流式传送,使用了各种技术。例如,使用由 IETF RFC3550规定的实时传输协议(RTP)作为适用于流式传送方式的因特网技术。然而,由于RTP或用户数据报协议(UDP)不保证网络传送的视频图像质量,因此服务质量(QoS)控制变得有必要。因此,近年来已经开发了与用于执行QoS控制的前向纠错(FEC, Forward Error Correction)方式相关的技术。
例如,在专利文献1中公开了与用于实现低延迟传送的FEC相关的技术。
引用列表
专利文献
专利文献1:JP 2011-211616A
发明内容
技术问题
然而,如果考虑上述情况,则期望进一步改进与用于实现低延迟传送的FEC相关的技术。
因此,本公开内容提出能够改进与用于实现低延迟传送的FEC
相关的技术的新颖和改进的信息处理装置、信息处理方法和程序。
问题的解决方案
根据本公开内容,提供了一种信息处理装置,包括:获取单元,该获取单元获取传送比特率;以及选择单元,该选择单元基于由获取单元获取的传送比特率与阈值之间的比较结果来选择前向纠错的编码方式。
根据本公开内容,提供了一种信息处理装置,包括:输入单元,该输入单元输入运动图像内容;以及选择单元,该选择单元基于运动图像内容是否是被压缩的来选择前向纠错的编码方式。
根据本公开内容,提供了一种信息处理方法,包括:获取传送比特率;以及基于所获取的传送比特率与阈值之间的比较结果来选择前向纠错的编码方式。
根据本公开内容,提供了一种程序,用于使计算机充当:获取单元,该获取单元获取传送比特率;以及选择单元,该选择单元基于由获取单元获取的传送比特率与阈值之间的比较结果来选择前向纠错的编码方式。
发明的有益效果
根据如上所述的本公开内容,可以改进与用于实现低延迟传送的 FEC相关的技术。
附图说明
图1是示出根据本公开内容的实施例的传送系统的概要的解释图。
图2是用于描述由根据本实施例的发送装置进行的FEC编码的图。
图3是用于描述异或方式的FEC编码的图。
图4是用于描述二维异或方式的FEC编码的图。
图5是示出异或方式的FEC解码的示例的图。
图6是用于描述RS码方式的FEC编码的图。
图7是示出根据本公开内容的实施例的RTP分组的格式的解释图。
图8是示出根据本公开内容的实施例的RTP头部的格式的解释图。
图9是用于描述以异或方式的FEC对媒体数据报进行编码的图。
图10是用于描述以异或方式的FEC对媒体数据报进行解码的图。
图11是用于描述以RS码方式的FEC对媒体数据报进行编码的图。
图12是用于描述以RS码方式的FEC对媒体数据报进行解码的图。
图13是示出根据第一实施例的传送系统的配置的方框图。
图14是示出根据第一实施例的FEC编码单元的配置的方框图。
图15是用于描述由根据第一实施例的FEC编码单元进行的编码的图。
图16是用于描述由根据第一实施例的生成单元生成FEC数据报的图。
图17是用于描述由根据第一实施例的确定单元确定发送顺序的图。
图18是示出由根据第一实施例的确定单元确定的发送顺序的示例的图。
图19是用于描述由根据第一实施例的确定单元提供最后 (LAST)标志的图。
图20是用于描述由根据第一实施例的FEC解码单元进行的 FEC解码的图。
图21是示出根据第一实施例的发送装置的操作的流程图。
图22是用于描述根据第二实施例的传送系统的概要的图。
图23是对于异或方式和RS码方式比较FEC的性能的表格。
图24是示出异或方式和RS码方式的问题的表格。
图25是示出根据第二实施例的传送系统的配置的方框图。
图26是示出根据第二实施例的FEC使用确定单元的配置的方框图。
图27是示出根据第二实施例的发送装置的操作的流程图。
具体实施方式
在下文中,将参考附图详细描述本公开内容的优选实施例。在本说明书和附图中,基本上具有相同功能和结构的结构元件用相同的附图标记表示,并且省略这些结构元件的重复说明。
说明将按下列顺序给出。
1.根据本公开内容的实施例的传送系统的概要
2.实施例
2-1.基本技术
2-1-1.FEC技术
2-1-2.格式
2-1-3.编码和解码
2-2.第一实施例
2-2-1.概要
2-2-2.配置
2-2-3.操作处理
2-3.第二实施例
2-3-1.概要
2-3-2.配置
2-3-3.操作处理
3.总结
<1.根据本公开内容的实施例的传送系统的概要>
首先,将通过参考图1描述根据本公开内容的实施例的传送系统的概要。
图1是示出根据本公开内容的实施例的传送系统的概要的解释图。如图1中所示,根据本公开内容的实施例的传送系统具有相机100A、 100B和100C,编辑设备200A、200B和200C,以及由网络3连接的发送装置1(信息处理装置)和接收装置2。在下文中,在不是特别有必要区分相机100A、100B和100C的情况下,它们将被统称为相机100,并且类似地,在不是特别有必要区分编辑设备200A、 200B和200C的情况下,它们将被统称为编辑设备200。
发送装置1通过编码、分组化和FEC编码向接收装置2发送由多个相机100收集的内容。接收装置2通过FEC解码、去分组化和解码向多个编辑设备200输出从发送装置1接收的数据。假定在生产场所使用根据本实施例的传送系统以用于通过如图1中所示的多个相机100和编辑设备200实时地收集/编辑内容。在这样的生产场所,对于传送的低延迟的要求将会较高,并且将需要改进与用于实现低延迟传送的通过FEC进行的编码/解码相关的技术。
因此,通过关注上述情况,已经达到了创建根据本公开内容的各个实施例的传送系统。根据本公开内容的各个实施例的传送系统可以实现低延迟传送。在下文中,将详细描述根据本公开内容的各个实施例的传送系统。
注意,发送装置1向接收装置2不仅发送相机100的视频数据,而且发送麦克风的音频数据(未示出)或元数据。此外,接收装置2 不仅可以向编辑设备200,而且可以向诸如显示器或扬声器之类的输出装置(未示出)输出所接收的数据。
<2.实施例>
[2-1.基本技术]
首先,将描述由每个实施例共同地使用的基本技术。
[2-1-1.FEC技术]
为了实现稳定的传送质量和高的用户体验质量,发送装置1依照诸如分组丢失率、传送延迟或混合度(拥塞)之类的网络3的状况执行QoS控制。具体地,发送装置1通过FEC来编码发送数据。FEC 是使用冗余分组的丢失分组恢复技术。在下文中,将通过参考图2描述通过FEC进行的编码。
图2是用于描述由根据本实施例的发送装置1进行的FEC编码的图。如图2中所示,作为用于分组丢失的准备,发送装置1通过根据原始数据分组生成冗余分组,向接收装置2发送数据分组和冗余分组。通过使用所接收的原始分组和冗余分组,在传送期间发生分组丢失的情况下,接收装置2可以恢复如图2中所示的丢失分组。
使用异或(XOR:eXclusive OR)计算的方式和具有使用里德所罗门(RS,Reed-Solomon)码的形式的2种方式被主要用作FEC的编码方式。作为异或方式,存在GenericFEC(通用FEC)(IETF RFC5109)、LDPC(RFC5170)和Pro-MPEG FEC(SMPTE 2022- 1-2007,2022-5)。注意,关于LDPC,在RFC5170中存在对于大块尺寸的说明,并且FEC块延迟变长。此外,ProMPEG FEC用于 IPTV(因特网广播)标准,诸如IPTV论坛、开放IPTV论坛或 DVB-IP。注意,Pro-MPEG FEC 1D是在垂直方向上生成异或冗余分组的标准,而Pro-MPEG FEC 2D是在垂直和水平2个方向上生成异或冗余分组的标准。在SMPTE 2022-1-2007、“Forward ErrorCorrection for Real-Time Video/Audio Transport over IP Networks”、 2007、SMPTE2022-5-2012中提供了这些标准的细节。异或方式的二维FEC方式经常用于视频传送。首先,将通过参考图3至图5描述异或方式的FEC编码/解码。
图3是用于描述异或方式的FEC编码的图。更具体地,图3A 示出冗余分组的生成示例,而图3B示出流生成示例。如图3A中所示,发送侧通过对构成内容的媒体RTP分组的每个比特进行异或计算来生成冗余分组。此外,如图3B中所示,发送侧发送媒体RTP 分组作为媒体RTP分组流,并且发送冗余分组作为冗余分组流。这里,由用于冗余分组生成的媒体RTP分组和冗余分组构成的一组分组在下文中将被称为FEC块。在发送侧执行异或方式的FEC编码的情况下,接收侧可以执行直到FEC块内的一个分组丢失的恢复。
图4是用于描述二维异或方式的FEC编码的图。如图4中所示,发送侧通过按照行单位或列单位的异或计算,为按4x4二维矩阵排列的媒体数据报(数据报)生成FEC数据报(冗余数据报)。在本公开内容中,通过把FEC块的矩阵尺寸设置为L列和D行,通过使用具有L列和D行的媒体数据报矩阵(具有规定的矩阵尺寸的矩阵) 来生成FEC数据报。注意,图4内的媒体数据报(Media Dgrm)示出媒体数据报,行FEC数据报(Row FEC Dgram)示出行单位的FEC数据报,而列FEC数据报(Col FEC Dgram)示出列单位的 FEC数据报。此外,在每个媒体数据报和每个FEC数据报中示出的附图标记(k,j)示出此数据报位于k列和j行。
这里,尽管与一维异或方式的FEC编码相比冗余度增加,但是二维异或方式的FEC编码具有恢复率也有所改进的特征。更具体地,在二维异或方式的情况下,尽管也存在不能恢复的模式,但是在大部分在相同行或列内的情况下可以对2个分组丢失进行恢复。将通过参考图5描述这一点。图5是示出异或方式的FEC解码的示例的图。更具体地,图5A是示出由垂直方向的一维异或方式(Pro-MEPG FEC 1D)编码的数据的解码示例的图。图5B是示出由垂直方向和水平方向的二维异或方式(Pro-MEPG FEC 2D)编码的数据的解码示例的图。
在图5A中,示出其中序列号1、2、3和4的媒体RTP分组 (媒体数据报)具有连续分组丢失的情况。这里,序列号1的分组可以由垂直方向的异或计算来恢复。这是因为在相同列内有1个分组丢失。可以类似地恢复序列号3和4的分组。另一方面,由于序列号2 和10的分组是在相同列中丢失的2个分组,因此它们不能被恢复。相比之下,如图5B中所示,由于提高了突发分组丢失容忍度,由二维异或方式编码的数据可以恢复在这种情况下丢失的分组。更具体地,由于在相同行内有1个分组丢失,因此序列号10的分组可以通过水平方向的异或计算来恢复。以此方式,恢复了序列号10的分组,并且此后序列号2的分组变为在相同列内丢失的1个分组,因此它可以通过垂直方向的异或计算来恢复。注意,在Pro-MEPG FEC中,发送侧通常通过分离的端口传送媒体RTP分组和冗余分组。
在此之前,已经描述了异或方式的FEC编码/解码。接下来,将通过参考图6描述RS码方式的FEC编码/解码。
图6是用于描述RS码方式的FEC编码的图。如图6中所示,在使用RS(n,k)码的情况下,发送侧通过对于k个媒体RTP分组的n-k个冗余分组生成FEC块。此外,发送侧发送媒体RTP分组和冗余分组作为媒体/冗余分组流。在发送侧执行RS码方式的FEC 编码的情况下,接收侧可以对在FEC块内的任意n-k个(冗余分组的数目)分组丢失执行恢复。由于在异或方式中对能够被恢复的丢失的模式有限制,可以说对丢失模式没有限制的RS码方式更好。
在此之前,已经描述了FEC技术。接下来,将通过参考图7至图12描述媒体数据报和FEC数据报的格式。
[2-1-2.格式]
图7是示出根据本公开内容的实施例的RTP分组的格式的解释图。更具体地,图7A示出媒体数据报的格式,而图7B示出FEC数据报的格式。如图7A中所示,媒体数据报包括RTP头部、FEC头部、媒体头部和媒体载荷。此外,如图7B中所示,FEC数据报包括 RTP头部、FEC头部和FEC载荷。
构成内容的视频数据、音频数据和元数据中的至少一个存储在媒体载荷中。此外,示出通过FEC编码生成的冗余符号的数据存储在 FEC载荷中。在下文中,将详细描述RTP头部、FEC头部和媒体头部。
(RTP头部)
图8示出RTP头部的格式。图8是示出根据本公开内容的实施例的RTP头部的格式的解释图。如图8中所示,在本实施例中,使用基于RFC3550的规范的RTP头部。
(在异或方式的情况下的FEC头部)
接下来,将描述在异或方式的情况下的FEC头部的字段配置。在异或方式的情况下的FEC头部具有帧计数(Frame Count)、 FEC类型(FEC Type)、分组类型(Packet Type)、FEC块最后 (FEC Block Last)、L最大(L Max)、D最大(D Max)、L计数(L Count)、D计数(DCount)和FEC块ID(FEC Block ID)。
*帧计数
对于FEC块唯一的值存储在本字段中。在FEC数据报中,存储与属于相同FEC块的媒体数据报的值相同的值。
*FEC类型
示出所使用的FEC方式(诸如异或方式或RS码方式)的类型的值存储在本字段中。
*分组类型
示出数据报(诸如媒体数据报、行单位的FEC数据报或列单位的FEC数据报)的类型的值存储在本字段中。
*FEC块最后
在模式2的FEC块的情况下,用于标识它是最后的媒体数据报、最后的行单位的FEC数据报和最后的列单位的FEC数据报的规定的标志(最后标志)存储在本字段中。
*L最大
L列和D行的FEC块的媒体数据报的列的数目L的值存储在本字段中。在模式2的FEC块的情况下,不管包含在FEC块中的媒体数据报的数目,都存储与模式1的FEC块的情况相同的值。
*D最大
L列和D行的FEC块的媒体数据报的行的数目D的值存储在本字段中。在模式2的FEC块的情况下,不管包含在FEC块中的媒体数据报的数目,都存储与模式1的FEC块的情况相同的值。
*L计数
媒体数据报或FEC数据报的行数存储在本字段中。具体地,存储从0直到包含在FEC块中的媒体数据报矩阵的列的数目L的值。当该值在行单位的FEC数据报的情况下变为L时,将存在其中在模式2的情况下设置不同值的情况。
*D计数
媒体数据报或FEC数据报的列数存储在本字段中。具体地,存储从0直到包含在FEC块中的媒体数据报矩阵的行的数目D的值。当该值在列单位的FEC数据报的情况下变为D时,将存在其中在模式2的情况下设置不同值的情况。
*FEC块ID
对于FEC块唯一的值存储在本字段中。本字段是例如每次生成 FEC块时递增的值。
(在RS码方式的情况下的FEC头部)
在此之前,已经描述了在异或方式的情况下的FEC头部的字段配置。接下来,将描述在RS码方式的情况下的FEC头部的字段配置。在RS码方式的情况下的FEC头部具有帧计数(Frame Count)、 FEC类型(FEC Type)、媒体数据报数目(Media Datagram Number)、FEC数据报数目(FEC Datagram Number)和FEC块 ID(FEC Block ID)。在下文中,将只描述与异或方式的那些字段不同的字段。
*媒体数据报数目
示出在所属FEC块中的媒体数据报的全部数目的值存储在本字段中。更具体地,存储RS(n,k)码的k值。
*FEC数据报数目
示出在所属FEC块中的FEC数据报的全部数目的值存储在本字段中。更具体地,存储RS(n,k)码的n-k值。
在此之前,已经描述了在RS码方式的情况下的FEC头部的字段配置。接下来,将描述具有参考图7描述的格式的媒体数据报的编码和解码。
[2-1-3.编码和解码]
首先,将通过参考图9和图10描述根据本实施例的以异或方式进行的编码和解码。图9是用于描述以异或方式的FEC对媒体数据报进行编码的图。图10是用于描述以异或方式的FEC对媒体数据报进行解码的图。
如图9中所示,发送装置1通过异或计算每个媒体数据报的媒体头部和媒体载荷在相同位置处的比特,生成FEC数据报的FEC载荷。在媒体数据报中有分组丢失的情况下,接收装置2通过图10中示出的方法恢复有分组丢失的媒体数据报。更具体地,接收装置2通过异或计算所接收的媒体数据报的媒体头部和媒体载荷与FEC数据报 FEC载荷在相同位置处的比特,恢复有分组丢失的媒体数据报。
在此之前,已经描述了根据本实施例的以异或方式进行的编码和解码。接下来,将通过参考图11和图12描述根据本实施例的以RS 码方式进行的编码和解码。图11是用于描述以RS码方式的FEC对媒体数据报进行编码的图。图12是用于描述以RS码方式的FEC对媒体数据报进行解码的图。
如图11中所示,发送装置1通过按照RS码编码k个媒体数据报的媒体头部和媒体载荷在相同位置处的8比特,每8比特生成n-k 个FEC数据报的FEC载荷。在媒体数据报中有分组丢失的情况下,接收装置2通过图12中示出的方法恢复有分组丢失的媒体数据报。更具体地,接收装置2通过解码所接收的媒体数据报的媒体头部和媒体载荷与FEC数据报FEC载荷在相同位置处的8比特作为RS码,恢复有分组丢失的媒体数据报。在此之前,已经描述了根据本实施例的以RS码方式进行的编码和解码。
[2-2.第一实施例]
[2-2-1.概要]
在本实施例中,通过基于视频的帧中断的FEC方式实现具有低延迟的传送。首先,将描述本实施例的概要。
将根据本实施例的传送系统应用于除了帧关系的处理之外还需要帧的低延迟或更低延迟的系统,诸如内容产生场所或远程控制、或不间断的视频切换。在这种系统中,由于分组的数目在一定程度上对延迟也有影响,因此需要容易地识别由视频的切换等产生的帧的分段,并且以高速度识别帧分段。
这里,在使用二维异或方式的FEC的情况下,通常使用LxR矩形FEC块,因此在二维异或方式的FEC中将存在下列问题。首先,为了保持LxR矩形,对于FEC块的分组数目、冗余度等会有限制。第二,由于在分组数目不足的情况下,通过虚拟(dummy)分组执行用于保持矩形的填充,所以将产生浪费的分组传送。第三,在根本不执行基于视频的FEC块和帧中断的处理的情况下,延迟将在具有帧单位的处理中发生。更具体地,由于发送侧利用帧的中断对FEC 块分段,并且通过填充虚拟分组来保持FEC块的矩形,因此将产生浪费的分组传送。
因此,在本实施例中,在需要以帧字段单位处理视频的情况下,基于帧字段来实现FEC方式。更具体地,在帧分段的情况下,根据本实施例的发送装置1使得FEC块的生成在中间结束,而不保持矩形。此外,根据本实施例的发送装置1通过调整冗余分组的传送定时来缩短接收装置2中的恢复时间。另外,根据本实施例的发送装置1 定义多个最后标志,并且接收装置2指定具有低延迟的帧分段位置。
在此之前,已经描述了本实施例的概要。接下来,将通过参考图 13至图19描述根据本实施例的传送系统的配置。
[2-2-2.配置]
图13是示出根据第一实施例的传送系统的配置的方框图。如图 13中所示,发送装置1和接收装置2由网络3连接。
(发送装置1)
如图13中所示,发送装置1具有捕捉器11、编码器12、分组化单元13、FEC编码单元14和RTP发送单元15。
*捕捉器11
捕捉器11具有捕捉从外部供给的内容数据(运动图像内容)的功能。更具体地,捕捉器11捕捉从相机100供给的视频数据、麦克风的音频数据或元数据。捕捉器11向编码器12输出捕捉的内容数据。这里,在不需要由编码器12执行压缩编码的情况下(在作为原始(RAW)数据发送的情况下),捕捉器11可以向分组化单元13输出未压缩的捕捉的内容数据。
*编码器12
编码器12压缩编码从捕捉器11供给的内容数据。编码器12向分组化单元13输出压缩编码的数据。
*分组化单元13
分组化单元13把从捕捉器11或编码器12供给的数据分组化为 RTP分组(媒体数据报)。此外,分组化单元13充当向FEC编码单元14输入构成帧单位的内容数据的媒体数据报的输入单元。更具体地,对于每个帧分段,分组化单元13向FEC编码单元14输出从捕捉器11或编码器12供给的数据。注意,除了帧分段之外,分组化单元13可以通过根据超时对内容数据进行分段,向FEC编码单元 14供给媒体数据报。
*FEC编码单元14
FEC编码单元14对从分组化单元13供给的分组进行FEC编码。在FEC编码中,通过异或方式、RS码方式等的前向纠错码将分组冗余编码。在本实施例中,分组化单元13通过二维异或方式执行FEC 编码。将通过参考图14描述FEC编码单元14的详细配置。
图14是示出根据第一实施例的FEC编码单元14的配置的方框图。如图14中所示,FEC编码单元14充当划分单元141、排列单元 142、生成单元143和确定单元144。
—划分单元141
划分单元141具有把从分组化单元13供给的帧单位的数据(一个或多个媒体数据报)划分为用于FEC块的矩阵尺寸(规定的矩阵尺寸)的数目的组的功能。例如,在通过4x4二维矩阵执行异或方式的FEC编码的情况下,划分单元141把媒体数据报划分为16。对于每个组,划分单元141向排列单元142输出媒体数据报。
这里,在从FEC编码单元14供给的媒体数据报的数目不可被 FEC块的矩阵尺寸的数目整划分的情况下,可以产生具有未填满 FEC块的矩阵尺寸的数目的媒体数据报的组。在下文中,具有FEC 块的矩阵尺寸的数目的媒体数据报的组将被称为模式1的组,而具有未填满FEC块的矩阵尺寸的数目的媒体数据报的组将被称为模式2 的组。
—排列单元142
排列单元142具有如下功能:通过在水平方向(第一方向)上按相继顺序重复排列FEC块的矩阵尺寸的数目或以下数目的媒体数据报,沿垂直方向(第二方向)在FEC块的至少一部分中执行排列。将通过参考图15描述通过排列单元142排列媒体数据报的示例。
图15是用于描述由根据第一实施例的FEC编码单元14进行的编码的图。更具体地,图15示出在从22个分组生成1帧并且编码单元14生成图15A中示出的FEC块和图15B中示出的FEC块这2个 FEC块的情况下的FEC编码的示例。图15A示出模式1的组的 FEC编码,而图15B示出模式2的组的FEC编码。注意,尽管图 15示出其中把FEC块的矩阵尺寸设置为4行和4列的示例,但是 FEC编码单元14可以把FEC块的矩阵尺寸设置为其它任意矩阵尺寸。
如图15中所示,排列单元142在水平方向上按相继顺序(按序列号1的媒体数据报在0列和0行、而序列号2的媒体数据报在1列和1行的顺序)连续排列媒体数据报。此外,在填满FEC块的列尺寸(图15中为4)的情况下,排列单元142通过在第一行、第二行和第三行中重复相同的排列,在FEC块中排列媒体数据报。因此,如图15A中所示,在模式1的组的情况下,排列单元142在整个 FEC块中排列由划分单元141划分的FEC块的矩阵尺寸的数目的媒体数据报。此外,如图15B中所示,在模式2的组的情况下,排列单元142在FEC块的一部分中排列未填满由划分单元141划分的 FEC块的矩阵尺寸的数目的媒体数据报。
—生成单元143
生成单元143具有为由排列单元142排列的矩阵的属于一行的媒体数据报和属于一列的媒体数据报生成FEC数据报(冗余数据报) 以用于前向纠错的功能。生成单元143通过对属于一行或一列的媒体数据报进行异或计算来生成FEC数据报。这里,将通过参考图16描述在模式2的组中生成FEC数据报。
图16是用于描述由根据第一实施例的生成单元143生成FEC数据报的图。如图16中所示,生成单元143根据属于第j行的L个媒体数据报生成第j行的FEC数据报。此外,生成单元143根据属于第k列的少于L个媒体数据报生成第k列的FEC数据报。以此方式,根据本实施例的生成单元143生成FEC数据报,而不为保持矩形而填充虚拟分组。因此,由于不需要传送虚拟分组,根据本实施例的发送装置1可以防止带宽变得浪费。
—确定单元144
确定单元144具有确定媒体数据报和FEC数据报的发送顺序的功能。更具体地,确定单元144重复发送顺序的确定,以便在水平方向(第一方向)上按相继顺序、并且随后沿垂直方向(第二方向)按照为属于此方向的媒体数据报生成的FEC数据报的顺序发送媒体数据报。将通过参考图17和图18描述通过确定单元144确定发送顺序。
图17是用于描述由根据第一实施例的确定单元144确定发送顺序的图。图17示出图15中示出的FEC块的发送顺序。如图17A中所示,确定单元144为第0行的第0列、第1列、第2列和第3列分别确定编号0、编号1、编号2和编号3,并且随后为给第0行的媒体数据报生成的FEC数据报确定编号4。确定单元144类似地为第1 行至第4行确定发送顺序。
这里,在模式2的组的情况下,在执行发送顺序的确定时,媒体数据报经常会不存在。在图17B中示出的示例中,在发送顺序为6 的媒体数据报之后不存在媒体数据报。在这种情况下,确定单元144 确定发送顺序,以便对于不存在媒体数据报的位置的属于垂直方向 (第二方向)的媒体数据报发送FEC数据报。即,确定单元144确定在不存在媒体数据报的位置N1的列单位的FEC数据报F4中发送顺序为7。随后,确定单元144确定在不存在媒体数据报的位置N2 的列单位的FEC数据报F5中发送顺序为8。随后,确定单元144确定在FEC数据报F1中发送顺序为9。随后,确定单元144确定在不存在媒体数据报的位置N3的列单位的FEC数据报F2中发送顺序为 10。随后,确定单元144确定在不存在媒体数据报的位置N4的列单位的FEC数据报F3中发送顺序为11。
以此方式,确定单元144为模式2的组确定发送顺序。通过使确定单元144为模式2的组确定上述发送顺序,F4和F5先于FEC数据报F1、F2和F3被接收装置2接收。因此,在图17B中示出的发送顺序为2或3的媒体数据报丢失的情况下,例如,接收装置2可以在接收FEC数据报F1、F2和F3之前通过FEC数据报F4和F5恢复丢失的媒体数据报。
图18是示出由根据第一实施例的确定单元144确定的发送顺序的示例的图。更具体地,图18示出图15中示出的FEC块的发送顺序。每个媒体数据报和每个FEC数据报的<>内的数字示出由确定单元144确定的发送顺序。例如,在发送顺序为27的分组丢失的情况下,接收装置2可以在发送顺序为32的分组接收之后很快恢复丢失的分组。此外,在发送顺序为28的分组丢失的情况下,接收装置2 可以在发送顺序为33的分组接收之后很快恢复丢失的分组。
这里,如图18中所示,在本实施例中,将存在如下情况:存储视频(视频数据)、音频(音频数据)和元(元数据)的媒体数据报在一个FEC块内混合在一起。这是因为按照完成发送准备的数据的顺序向分组化单元13执行输入并且执行RTP分组化。即,在根据本实施例的传送系统中,可能不需要在保存数据之后对每个视频、每个音频或每个元执行发送。因此,在根据本实施例的传送系统中,可以实现低延迟传送。
此外,确定单元144向根据发送顺序的最后的媒体数据报、和为属于此媒体数据报的垂直方向和水平方向的媒体数据报生成的FEC 数据报提供最后标志。更具体地,确定单元144向帧的中断的媒体数据报、和此媒体数据报所属的行单位和列单位的FEC数据报提供最后标志。将通过参考图19描述通过确定单元144提供最后标志。
图19是用于描述由根据第一实施例的确定单元144提供最后标志的图。如图19中所示,确定单元144向序列号为22的媒体数据报 M1提供最后标志,在媒体数据报M1中,媒体数据报当中的发送顺序变为最后的。此外,确定单元144向媒体数据报M1所属的第1行的行单位的FEC数据报F6和媒体数据报M1所属的第1列的列单位的FEC数据报F7提供最后标志。由于帧分段可以由提供给媒体数据报的最后标志来识别,因此即使没有接收下一个FEC块,接收装置2也可以缩短帧处理。此外,由于还将最后标志提供给FEC数据报,因此即使在最后的媒体数据报丢失的情况下,接收装置2也可以通过已经向其提供了最后标志的FEC数据报来识别帧分段。
在此之前,已经描述了FEC编码单元14的配置。在下文中,将通过返回图13对根据本实施例的传送系统的配置进行说明。
*RTP发送单元15
RTP发送单元15向接收装置2发送由FEC编码单元14进行 FEC编码的RTP分组。更具体地,RTP发送单元15充当依照由确定单元144确定的发送顺序向接收装置2发送媒体数据报和由FEC 编码单元14生成的FEC数据报的发送单元。
*补充
在本实施例中,虽然已经通过把第一方向设置为水平方向并且把第二方向设置为垂直方向进行了说明,但是本公开内容不限于这样的示例。例如,第一方向可以被设置为垂直方向,而第二方向可以被设置为水平方向。即,排列单元142可以通过在垂直方向上按相继顺序重复排列媒体数据报,沿水平方向在FEC块的至少一部分中执行排列。此外,确定单元144可以通过以下操作来确定发送顺序:重复发送顺序的确定,以便在垂直方向上按相继顺序、并且随后沿水平方向按照为属于此方向的媒体数据报生成的FEC数据报的顺序来发送媒体数据报。此外,在模式2的组的情况下,确定单元144可以确定发送顺序,以便对于不存在媒体数据报的位置的属于水平方向的媒体数据报发送FEC数据报。
(接收装置2)
如图13中所示,接收装置2具有RTP接收单元21、FEC解码单元22、去分组化单元23、解码器24和输出单元25。
*RTP接收单元21
RTP接收单元21经由网络3从发送装置1接收RTP分组。在有分组丢失的情况下,RTP接收单元21向FEC解码单元22输出接收的RTP分组。另一方面,在没有分组丢失的情况下,RTP接收单元21向去分组化单元23输出接收的RTP分组。
*FEC解码单元22
FEC解码单元22被供给有来自RTP接收单元21的FEC编码分组,并且具有执行FEC解码的功能。这里,将通过参考图20描述模式2的FEC块的解码的示例。
图20是用于描述由根据第一实施例的FEC解码单元22进行的 FEC解码的图。图20示出如下示例:FEC解码单元22解码具有 3x3的矩阵尺寸的模式2的FEC块,并且图内的N示出发送顺序。如图20A中所示,当发送装置1通过对7个媒体数据报进行FEC编码来执行发送时,发送顺序为2、3、5、6和9的媒体数据报和发送顺序为4的FEC数据报丢失。
首先,如图20B中所示,FEC解码单元22通过对发送顺序为 12的FEC数据报进行异或计算来恢复发送顺序为9的媒体数据报。注意,由于此时对恢复的发送顺序为9的媒体数据报提供最后标志,因此接收装置2可以识别帧分段。
随后,如图20C中所示,FEC解码单元22通过对发送顺序为1 和9的媒体数据报以及发送顺序为13的FEC数据报进行异或计算来恢复发送顺序为5的媒体数据报。此外,FEC解码单元22通过对发送顺序为7的媒体数据报和发送顺序为11的FEC数据报进行异或计算来恢复发送顺序为3的媒体数据报。
随后,如图20D中所示,FEC解码单元22通过对发送顺序为5 和7的媒体数据报以及发送顺序为8的FEC数据报进行异或计算来恢复发送顺序为6的媒体数据报。
随后,如图20E中所示,FEC解码单元22通过对发送顺序为6 的媒体数据报和发送顺序为10的FEC数据报进行异或计算来恢复发送顺序为2的媒体数据报。
通过上述FEC解码,如图20F中所示,即使它是其中媒体数据报大部分都丢失的FEC块,FEC解码单元22也可以恢复所有媒体数据报。此外,即使在最后的媒体数据报丢失的情况下,如图20B 中所示,如果能够恢复已经为其提供了最后标志的发送顺序为9的媒体数据报,则接收装置2也可以识别帧分段。因此,接收装置2可以实现具有低延迟的帧单位的处理。
在此之前,已经描述了由FEC解码单元22进行的FEC解码。在下文中,将通过返回图13对根据本实施例的传送系统的配置进行说明。
*去分组化单元23
去分组化单元23去分组化从RTP接收单元21或FEC解码单元 22供给的RTP分组。去分组化单元23在内容数据是压缩数据的情况下向解码器24输出内容数据,并且在非压缩的情况下向输出单元 25输出内容数据。
*解码器24
解码器24解码从去分组化单元23供给的压缩数据,并且将它输出给输出单元25。
*输出单元25
输出单元25向诸如编辑设备200、显示器或扬声器之类的输出装置输出从去分组化单元23或解码器24供给的帧单位的非压缩的内容数据。
(网络3)
网络3是从连接至网络3的装置发送的信息的有线或无线传送路径。网络3包括因特网、专用线路、因特网协议-虚拟专用网(IP- VPN,Internet Protocol-Virtual PrivateNetwork)等。
在此之前,已经描述了根据本实施例的传送系统的配置。接下来,将通过参考图21描述根据本实施例的传送系统的操作处理。
[2-2-3.操作处理]
图21是示出根据第一实施例的发送装置1的操作的流程图。首先,在步骤S102中,发送装置1向FEC编码单元14输入帧单位的媒体数据报。更具体地,发送装置1通过由捕捉器11捕捉内容数据、由编码器12执行压缩编码并且由分组化单元13执行分组化,向 FEC编码单元14输出帧单位的媒体数据报。
随后,在步骤S104中,划分单元141针对FEC块的矩阵尺寸的数目划分帧单位的输入媒体数据报。例如,在通过4x4二维矩阵执行异或方式的FEC编码的情况下,划分单元141针对16个媒体数据报中的每一个把帧单位的输入媒体数据报划分为组。
随后,在步骤S106中,排列单元142在FEC块中排列媒体数据报。更具体地,排列单元142在FEC块中排列由划分单元141划分的每组的媒体数据报。这里,在模式1的组的情况下,排列单元142 在整个FEC块中排列由划分单元141划分的FEC块的矩阵尺寸的数目的媒体数据报。此外,在模式2的组的情况下,排列单元142在 FEC块的一部分中排列未填满由划分单元141划分的FEC块的矩阵尺寸的数目的媒体数据报。
随后,在步骤S108中,生成单元143生成FEC数据报。更具体地,生成单元143通过对由排列单元142排列的矩阵中的属于一行的媒体数据报中的每个和属于一列的媒体数据报中的每个的异或计算来生成FEC数据报。
随后,在步骤S110中,确定单元144确定发送顺序。更具体地,确定单元144重复发送顺序的确定,以便在水平方向上按相继顺序、并且随后沿垂直方向按照为属于此方向的媒体数据报生成的FEC数据报的顺序来发送媒体数据报。以此方式,确定单元144确定属于FEC块的媒体数据报和FEC数据报的发送顺序。此外,如上面参考图17B所描述的,在模式2中不存在媒体数据报的情况下,确定单元144确定发送顺序,以便发送不存在媒体数据报的位置的列单位的 FEC数据报。
随后,在步骤S112中,确定单元144提供最后标志。更具体地,确定单元144向帧的中断的媒体数据报和此媒体数据报所属的行单位和列单位的FEC数据报提供最后标志。
随后,在步骤S114中,RTP发送单元15依照发送顺序发送 RTP分组。更具体地,RTP发送单元15依照由确定单元144确定的发送顺序,向接收装置2发送媒体数据报和由FEC编码单元14生成的FEC数据报。
在此之前,已经描述了根据本实施例的发送装置1的操作处理。
[2-3.第二实施例]
[2-3-1.概要]
在本实施例中,通过自动切换FEC方式来实现具有低延迟的传送。首先,将通过参考图22描述本实施例的概要。
图22是用于描述根据第二实施例的传送系统的概要的图。根据本实施例的传送系统是如图22A所示利用多个比特率执行视频传送、并且如图22B所示自动地改变视频(运动图像内容)的比特率的系统。
这里,将通过假定发送装置10(信息处理装置)连接至10台相机100,描述其中利用多个比特率执行视频传送的具体示例。例如,在10台中有4台用于实况广播的情况下,发送装置10利用高比特率 (1.5Gbps)传送来自这4台的视频,并且由于剩余的6台用于监视,因此利用压缩的低比特率(150Mbps)执行传送。
类似地,将通过假定发送装置10连接至10台相机100,描述其中自动地改变视频的比特率的具体示例。例如,发送装置10在实况广播期间利用高比特率(1.5Gbps)对来自10台相机100中的仅1 台执行传送,并且由于剩余的9台用于监视,因此利用压缩的低比特率执行传送。此外,在实况广播期间切换相机100时,发送装置10 对至今为止处于实况广播期间的那1台执行从高比特率到低比特率的改变,并且对要处于实况广播期间的新的1台执行从低比特率到高比特率的改变。
如上所示,对于FEC方式主要有异或方式和RS码方式两种类型。通常,在相同冗余度的情况下,RS码方式具有更高的恢复性能,并且与异或方式相比计算量较高。这里,将通过参考图23和图24详细比较这些FEC方式。
图23是对于异或方式和RS码方式比较FEC的性能的表格。如图23中所示,在FEC块较大(存在大量分组)的情况下,异或方式可以用低冗余度和低计算量实现最大的恢复性能。此外,如图23中所示,在FEC块较小(存在少量分组)的情况下,异或方式也可以用低冗余度和低计算量实现最大的恢复性能。以此方式,由于对于异或方式和RS码方式存在各自的优点和缺点,因此对于低延迟传送实现来说,需要划分与发送装置10的状况对应的使用。
图24是示出异或方式和RS码方式的问题的表格。图24示出对于FEC延迟需要有1.5msec或更少的低延迟的系统中的示例。如图 24内的*1中所示,在低比特率的情况下,ProMPEG方式的冗余度较高,因此在网络带宽中产生浪费。此外,如图24内的*2中所示,在高比特率的情况下,分组密度较高,并且80个分组的RS编码/解码处理需要在0.64msec内,因此必需硬件的规格变得极高。
以此方式,根据FEC处理所需要的延迟时间,适合于比特率的 FEC方式将不同。因此,在其中有多个比特率的系统中,将存在如下情况:如果FEC方式不自动地改变,则根据比特率在恢复性能、冗余度和处理速度方面会产生问题。
因此,在本实施例中,发送装置10基于比特率的阈值,在发送开始时选择匹配比特率的FEC方式。另外,在比特率在发送期间改变的情况下,发送装置10基于改变后的比特率与阈值之间的比较结果自动地改变FEC方式。
此外,根据要发送的数据的尺寸,合适的FEC方式将会不同。更具体地,根据要发送的视频是否是未被压缩的(原始数据)或者它是否是被压缩的视频,合适的FEC方式将会不同。因此,在要发送的视频的尺寸不同的系统中,将存在如下情况:如果FEC方式不自动地改变,则根据视频的压缩性/非压缩性在恢复性能、冗余度和处理速度方面会产生问题。
因此,在本实施例中,发送装置10基于要发送的视频的压缩性/ 非压缩性,在发送开始时选择匹配压缩性/非压缩性的FEC方式。此外,在压缩性/非压缩性在发送期间改变的情况下,发送装置10基于改变后的压缩性/非压缩性自动地改变FEC方式。
注意,在切换FEC方式的情况下,发送装置10通过向接收装置 2通知示出已经切换了的信息,启动由接收装置2进行的解码。例如,发送装置10通过提供头部或发送专用消息向接收装置2通知示出切换FEC方式的定时、切换后的FEC方式等的信息。
在此之前,已经描述了本实施例的概要。接下来,将通过参考图 25描述根据本实施例的传送系统的配置。
[2-3-2.配置]
图25是示出根据第二实施例的传送系统的配置的方框图。如图 25中所示,发送装置10和接收装置2由网络3连接。由于接收装置 2和网络3的配置如第一实施例中所述,因此这里将省略它们的详细说明。在下文中,将描述发送装置10的配置。
(发送装置10)
如图13中所示,发送装置10具有捕捉器11、编码器12、分组化单元13、FEC编码单元(编码单元)14、RTP发送单元15和 FEC使用确定单元16。由于捕捉器11、编码器12、分组化单元13、 FEC编码单元14和RTP发送单元15如第一实施例中所述,因此这里将省略它们的详细说明。
*FEC使用确定单元16
FEC使用确定单元16具有确定在FEC编码单元14中的FEC 编码方式的功能。即,FEC编码单元14通过由FEC使用确定单元 16确定的编码方式对媒体数据报(发送数据)进行FEC编码。此外, RTP发送单元15向接收装置2发送通过由FEC使用确定单元16确定的编码方式而FEC编码的发送数据。这里,将通过参考图26描述 FEC使用确定单元16的详细配置。
图26是示出根据第二实施例的FEC使用确定单元16的配置的方框图。如图26中所示,FEC使用确定单元16充当获取单元161、改变单元162和选择单元163。
—获取单元161
获取单元161具有获取传送比特率的功能。获取单元161例如通过监视网络3的状态来获取传送比特率。
—改变单元162
改变单元162具有改变传送比特率的功能。改变单元162例如基于用户指令、来自外部单元的指令等来改变传送比特率。
—选择单元163
选择单元163具有基于由获取单元161获取的传送比特率与阈值之间的比较结果选择FEC编码方式(诸如前向纠错的编码方式)的功能。详细地,选择单元163选择RS码方式或异或方式作为FEC 编码方式。更具体地,选择单元163在传送比特率低于阈值的情况下选择RS码方式,而在传送比特率高于阈值的情况下选择异或方式。例如,在图22A中示出的示例中,在阈值被设置为500Mbps的情况下,选择单元163在传送比特率为150Mbps的情况下选择RS码方式,而在传送比特率为1500Mbps的情况下选择异或方式。以此方式,通过由选择单元163自动选择适合于网络3的传送比特率的 FEC方式,发送装置10可以实现具有低延迟的传送。
此外,选择单元163具有基于由改变单元162改变的传送比特率与阈值之间的比较结果选择FEC编码方式的功能。更具体地,选择单元163在改变后的传送比特率低于阈值的情况下选择RS码方式,而在传送比特率高于阈值的情况下选择异或方式。例如,在图22B 中示出的示例中,在阈值被设置为500Mbps的情况下,选择单元 163在改变后的传送比特率为1500Mbps的情况下选择异或方式。类似地,选择单元163在改变后的传送比特率为150Mbps的情况下选择RS码方式。以此方式,通过由选择单元163自动选择适合于由改变单元162自动地改变的传送比特率的FEC方式,发送装置10可以实现具有低延迟的传送。
另外,选择单元163具有基于要发送的运动图像内容是否是被压缩的来选择FEC编码方式的功能。更具体地,选择单元163在向 FEC编码单元14输入的视频是被编码器12压缩了的情况下选择RS 码方式,而在未压缩(原始数据)的情况下选择异或方式。这样,通过由选择单元163自动地选择适合于要发送的视频的压缩性/非压缩性的FEC方式,发送装置10可以实现具有低延迟的传送。
在此之前,已经描述了根据本实施例的传送系统的配置。接下来,将通过参考图27描述根据本实施例的传送系统的操作处理。
[2-3-3.操作处理]
图27是示出根据第二实施例的发送装置10的操作的流程图。首先,在步骤S202中,获取单元161获取传送比特率。
随后,在步骤S204中,选择单元163决定要发送的运动图像内容的压缩性/非压缩性。具体地,选择单元163决定要发送的视频是否是原始数据,或者它是否是被压缩的视频。
随后,在步骤S206中,选择单元163基于传送比特率和运动图像内容的压缩性/非压缩性来选择编码方式。更具体地,选择单元163 在由获取单元161获取的传送比特率低于阈值的情况下选择RS码方式,而在传送比特率高于阈值的情况下选择异或方式。这里,在改变单元162已经改变了传送比特率的情况下,选择单元163在改变后的传送比特率低于阈值的情况下选择RS码方式,而在传送比特率高于阈值的情况下选择异或方式。此外,选择单元163在要发送的运动图像内容是被编码器12压缩了的情况下选择RS码方式,而在未压缩的情况下选择异或方式。
随后,在步骤S208中,FEC编码单元14通过由FEC使用确定单元16确定的编码方式来编码媒体数据报。更具体地,FEC编码单元14通过由选择单元163选择的异或方式或RS码方式的编码方式,对媒体数据报进行FEC编码。
随后,在步骤S210中,RTP发送单元15向接收装置2发送从 FEC编码单元14输出的媒体数据报和FEC数据报。
在此之前,已经描述了根据本实施例的发送装置10的操作处理。
<3.总结>
如上所述,根据本公开内容,可以改进与用于实现低延迟传送的 FEC相关的技术。更具体地,根据第一实施例的传送系统可以通过基于视频的帧中断的FEC方式来实现具有低延迟的数据传送。此外,根据第二实施例的传送方式可以通过自动地切换FEC方式来实现具有低延迟的数据传送。
上面已经参考附图描述了本公开内容的优选实施例,然而本公开内容不限于上述示例。本领域技术人员可以在所附权利要求的范围内发现各种替换例和变型例,并且应当理解它们当然将归入本公开内容的技术范围。
例如,可以创建用于使内建到信息处理装置中的诸如CPU、 ROM和RAM之类的硬件来呈现与上述发送装置1、发送装置10和接收装置2的配置中的每个配置相同的功能的计算机程序。此外,还提供了用于记录此计算机程序的记录介质。
另外,本技术也可以被如下配置。
(1)一种信息处理装置,包括:
获取单元,所述获取单元获取传送比特率;以及
选择单元,所述选择单元基于由所述获取单元获取的传送比特率与阈值之间的比较结果选择前向纠错的编码方式。
(2)根据(1)所述的信息处理装置,还包括:
改变单元,所述改变单元改变传送比特率,
其中,所述选择单元基于由所述改变单元改变的传送比特率与阈值之间的比较结果选择前向纠错的编码方式。
(3)根据(1)或(2)所述的信息处理装置,还包括:
编码单元,所述编码单元通过由所述选择单元选择的编码方式来编码发送数据;以及
发送单元,所述发送单元发送由所述编码单元编码的发送数据。
(4)根据(1)至(3)中的任一项所述的信息处理装置,
其中,所述选择单元选择使用里德所罗门码的方式或使用异或的方式作为编码方式。
(5)根据(4)所述的信息处理装置,
其中,所述选择单元在所述传送比特率低于所述阈值的情况下选择使用里德所罗门码的方式,而在所述传送比特率高于所述阈值的情况下选择使用异或的方式。
(6)一种信息处理装置,包括:
输入单元,所述输入单元输入运动图像内容;以及
选择单元,所述选择单元基于所述运动图像内容是否是被压缩的来选择前向纠错的编码方式。
(7)一种信息处理方法,包括:
获取传送比特率;以及
基于所获取的传送比特率与阈值之间的比较结果选择前向纠错的编码方式。
(8)一种程序,用于使计算机充当:
获取单元,所述获取单元获取传送比特率;以及
选择单元,所述选择单元基于由所述获取单元获取的传送比特率与阈值之间的比较结果选择前向纠错的编码方式。
附图标记列表
1,10 发送装置
11 捕捉器
12 编码器
13 分组化单元
14 FEC编码单元
141 划分单元
142 排列单元
143 生成单元
144 确定单元
15 RTP发送单元
16 FEC使用确定单元
161 获取单元
162 改变单元
163 选择单元
2 接收装置
21 RTP接收单元
22 FEC解码单元
23 去分组化单元
24 解码器
25 输出单元
3 网络
100 相机
200 编辑设备

Claims (7)

1.一种信息处理装置,包括:
获取单元,所述获取单元获取发送数据的传送比特率;
选择单元,所述选择单元基于由所述获取单元获取的传送比特率与阈值之间的比较结果选择前向纠错的编码方式;以及
改变单元,所述改变单元在所述发送数据的发送期间改变所述发送数据的传送比特率,
其中,在所述发送数据的传送比特率在所述发送数据的发送期间被所述改变单元改变的情况下,所述选择单元基于由所述改变单元改变的传送比特率与阈值之间的比较结果来改变前向纠错的编码方式。
2.根据权利要求1所述的信息处理装置,还包括:
编码单元,所述编码单元通过由所述选择单元选择的编码方式来编码所述发送数据;以及
发送单元,所述发送单元发送由所述编码单元编码的发送数据。
3.根据权利要求1所述的信息处理装置,
其中,所述选择单元选择使用里德所罗门码的方式或使用异或的方式作为所述前向纠错的编码方式。
4.根据权利要求1所述的信息处理装置,
其中,所述选择单元在所述传送比特率低于所述阈值的情况下选择使用里德所罗门码的方式,而在所述传送比特率高于所述阈值的情况下选择使用异或的方式。
5.一种信息处理装置,包括:
输入单元,所述输入单元输入运动图像内容;
选择单元,所述选择单元基于要发送的所述运动图像内容是否是被压缩的来选择前向纠错的编码方式;以及
改变单元,所述改变单元在所述运动图像内容的发送期间改变所述运动图像内容的压缩性或非压缩性,
其中,在所述运动图像内容的压缩性或非压缩性在所述运动图像内容的发送期间被所述改变单元改变的情况下,所述选择单元基于由所述改变单元改变的压缩性或非压缩性来改变前向纠错的编码方式。
6.一种信息处理方法,包括:
获取发送数据的传送比特率;
基于所获取的传送比特率与阈值之间的比较结果选择前向纠错的编码方式;以及
在所述发送数据的发送期间改变所述发送数据的传送比特率,
其中,所述选择包括:在所述发送数据的传送比特率在所述发送数据的发送期间被改变的情况下,基于所改变的传送比特率与阈值之间的比较结果来改变前向纠错的编码方式。
7.一种存储程序的计算机可读存储介质,所述程序用于使得计算机执行:
获取发送数据的传送比特率;
基于所获取的传送比特率与阈值之间的比较结果选择前向纠错的编码方式;以及
在所述发送数据的发送期间改变所述发送数据的传送比特率,
其中,所述选择包括:在所述发送数据的传送比特率在所述发送数据的发送期间被改变的情况下,基于所改变的传送比特率与阈值之间的比较结果来改变前向纠错的编码方式。
CN201480041504.6A 2013-07-30 2014-05-23 信息处理装置和信息处理方法 Active CN105393481B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-158054 2013-07-30
JP2013158054 2013-07-30
PCT/JP2014/063688 WO2015015879A1 (ja) 2013-07-30 2014-05-23 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN105393481A CN105393481A (zh) 2016-03-09
CN105393481B true CN105393481B (zh) 2019-06-18

Family

ID=52431425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480041504.6A Active CN105393481B (zh) 2013-07-30 2014-05-23 信息处理装置和信息处理方法

Country Status (7)

Country Link
US (1) US10225043B2 (zh)
EP (1) EP3029869B1 (zh)
JP (1) JP6519474B2 (zh)
CN (1) CN105393481B (zh)
BR (1) BR112016001492A8 (zh)
RU (1) RU2673102C2 (zh)
WO (1) WO2015015879A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10211950B1 (en) * 2016-05-20 2019-02-19 Harmonic, Inc. High bit rate media FEC recovery
US20180203625A1 (en) * 2017-01-19 2018-07-19 Cnex Labs, Inc. Storage system with multi-dimensional data protection mechanism and method of operation thereof
JP7143683B2 (ja) 2018-08-29 2022-09-29 株式会社Ihi 伝送方法および伝送システム
US11108790B1 (en) 2019-04-30 2021-08-31 Rapid7, Inc. Attack signature generation
US11689323B2 (en) * 2020-02-16 2023-06-27 Video Flow Ltd. Efficient on-demand packet recovery for broadcast and multicast networks system and method
IL282469A (en) * 2021-04-20 2022-11-01 Maris Tech Ltd Network media streaming with error correction redundancy

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101064162A (zh) * 2006-04-28 2007-10-31 富士通株式会社 纠错装置、编码器、解码器、方法以及信息存储装置
JP2008187341A (ja) * 2007-01-29 2008-08-14 Nec Corp データ通信装置および方法ならびにプログラム
JP4459794B2 (ja) * 2004-11-30 2010-04-28 日本電信電話株式会社 符号誤り訂正を行うデータ送信方法、受信方法、装置、システム及びプログラム
US7970920B1 (en) * 2008-12-15 2011-06-28 Clear Wireless Llc Dynamic two-dimensional coding for applications
CN101547280B (zh) * 2008-03-25 2011-09-21 富士施乐株式会社 信息处理装置和信息处理方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100557177B1 (ko) 1998-04-04 2006-07-21 삼성전자주식회사 적응 채널 부호/복호화 방법 및 그 부호/복호 장치
JP2002329367A (ja) * 2001-04-27 2002-11-15 Sony Corp データ記録方法および装置、データ再生方法および装置、並びにデータ記録媒体
JP3730974B2 (ja) 2002-06-14 2006-01-05 松下電器産業株式会社 メディア伝送方法及びその送信装置
JP4559126B2 (ja) 2004-06-01 2010-10-06 日本電信電話株式会社 映像送信方法、映像送信装置、映像送信用プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN101223723A (zh) * 2005-05-19 2008-07-16 诺基亚公司 用于在dvb-h传输系统中为标记有优先级的数据报提供非均衡差错保护的系统和方法
CN100369489C (zh) * 2005-07-28 2008-02-13 上海大学 动态接入编码策略的嵌入式无线编码装置
TW200835303A (en) 2006-09-07 2008-08-16 Avocent Huntsville Corp Point-to-multipoint high definition multimedia transmitter and receiver
US8566676B2 (en) * 2007-01-05 2013-10-22 Qualcomm Incorporated FEC code and code rate selection based on packet size
JP2010041326A (ja) * 2008-08-04 2010-02-18 Canon Inc データ送信装置、データ受信装置及びデータ送受信システム
EP2224659B1 (en) * 2009-02-26 2011-04-27 Alcatel Lucent Power manageable optical OFDM transponder
US9331717B2 (en) * 2009-02-27 2016-05-03 Blackberry Limited Forward error correction decoding avoidance based on predicted code block reliability
US8306049B2 (en) * 2010-02-22 2012-11-06 Microsoft Corporation Multicast subscription based on forward error correction
JP2011211617A (ja) * 2010-03-30 2011-10-20 Sony Corp 動画像伝送装置、動画像伝送システム、動画像伝送方法およびプログラム
JP2011211616A (ja) 2010-03-30 2011-10-20 Sony Corp 動画像伝送装置、動画像伝送システム、動画像伝送方法およびプログラム
US8397140B2 (en) * 2010-06-04 2013-03-12 Apple Inc. Error correction coding for recovering multiple packets in a group view of limited bandwidth
JP2012070322A (ja) * 2010-09-27 2012-04-05 Hitachi Kokusai Electric Inc 映像信号ip伝送システム
JP5624848B2 (ja) * 2010-10-22 2014-11-12 株式会社日立製作所 光通信カード、及び光伝送装置
JP5585462B2 (ja) * 2011-01-17 2014-09-10 パナソニック株式会社 デジタル音声受信装置
US8774096B2 (en) * 2011-03-02 2014-07-08 Blackbird Technology Holdings, Inc. Method and apparatus for rapid group synchronization
US20130080857A1 (en) * 2011-09-22 2013-03-28 Yao-Nan Lee Flash memory controller adaptively selecting error-correction scheme according to number of program/erase cycles of flash memory
US8645788B2 (en) * 2011-12-30 2014-02-04 Infinera Corporation Forward error correction (FEC) convergence by controlling reliability levels of decoded words in a soft FEC decoder

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4459794B2 (ja) * 2004-11-30 2010-04-28 日本電信電話株式会社 符号誤り訂正を行うデータ送信方法、受信方法、装置、システム及びプログラム
CN101064162A (zh) * 2006-04-28 2007-10-31 富士通株式会社 纠错装置、编码器、解码器、方法以及信息存储装置
JP2008187341A (ja) * 2007-01-29 2008-08-14 Nec Corp データ通信装置および方法ならびにプログラム
CN101547280B (zh) * 2008-03-25 2011-09-21 富士施乐株式会社 信息处理装置和信息处理方法
US7970920B1 (en) * 2008-12-15 2011-06-28 Clear Wireless Llc Dynamic two-dimensional coding for applications

Also Published As

Publication number Publication date
RU2016102118A3 (zh) 2018-04-28
CN105393481A (zh) 2016-03-09
EP3029869A1 (en) 2016-06-08
EP3029869B1 (en) 2021-01-13
RU2673102C2 (ru) 2018-11-22
EP3029869A4 (en) 2017-03-22
BR112016001492A8 (pt) 2020-01-21
US20160149667A1 (en) 2016-05-26
JP6519474B2 (ja) 2019-05-29
US10225043B2 (en) 2019-03-05
JPWO2015015879A1 (ja) 2017-03-02
RU2016102118A (ru) 2017-07-27
WO2015015879A1 (ja) 2015-02-05
BR112016001492A2 (zh) 2017-07-25

Similar Documents

Publication Publication Date Title
CN105393481B (zh) 信息处理装置和信息处理方法
KR102073739B1 (ko) 오버헤드를 최소화한 헤더를 가지는 패킷 기반의 미디어 데이터 전송 방법
CN102143367B (zh) 一种纠错校验方法、设备和系统
CN103929681B (zh) 一种提升低速网络中rtp视频流处理效率的方法
KR101983032B1 (ko) 방송 및 통신 시스템에서 패킷 송수신 장치 및 방법
CN105409151B (zh) 信息处理装置和信息处理方法
JP4604851B2 (ja) 送信装置、受信装置、送信処理方法、受信処理方法、それらのプログラム
US20160352465A1 (en) Apparatus and method for transmitting and receiving forward error correction packet
KR20160138382A (ko) 방송 및/또는 통신 시스템에서 패킷 생성 및 복원 방법 및 장치
CN101232617A (zh) 一种视频流业务数据的处理方法、系统和装置
Cheng et al. Grace: Loss-resilient real-time video communication using data-scalable autoencoder
US20140289369A1 (en) Cloud-based system for flash content streaming
US20200252085A1 (en) Receiving device and receiving method
Wu et al. Overcoming burst packet loss in peer-to-peer live streaming systems
JP6650260B2 (ja) 送信装置、受信装置、送受信システム、プログラム、およびチップ
Casu et al. Video over DSL with LDGM codes for interactive applications
Thomos et al. NC node selection game in collaborative streaming systems
Kim et al. An FEC-based error control scheme for Layered MPEG media delivery
JP2006340112A (ja) 送信装置、送信方法およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant