CN1969493B - 双向通信方法、装置、系统 - Google Patents

双向通信方法、装置、系统 Download PDF

Info

Publication number
CN1969493B
CN1969493B CN2005800192161A CN200580019216A CN1969493B CN 1969493 B CN1969493 B CN 1969493B CN 2005800192161 A CN2005800192161 A CN 2005800192161A CN 200580019216 A CN200580019216 A CN 200580019216A CN 1969493 B CN1969493 B CN 1969493B
Authority
CN
China
Prior art keywords
unit
data
coded data
interleaving treatment
error correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2005800192161A
Other languages
English (en)
Other versions
CN1969493A (zh
Inventor
出井洋明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN1969493A publication Critical patent/CN1969493A/zh
Application granted granted Critical
Publication of CN1969493B publication Critical patent/CN1969493B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L5/00—Arrangements affording multiple use of the transmission path
    • H04L5/14—Two-way operation using the same type of signal, i.e. duplex
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H04L1/0071—Use of interleaving
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0014—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the source coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0023—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the signalling

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Error Detection And Correction (AREA)

Abstract

经由传输线(102)进行通信的双向通信装置(101)(103)具有编码部和解码部，还具有交织器和解交织器、或纠错编码部和解码部的至少一个组合，并能够通过收发来不对称地设定交织处理单位、交织的顺序、或者纠错编码方式、错误生成码生成单位、编码率、帧速率、采样频率，并能够进行分别对应传输线(102)的状态、用户的延迟要求、品质要求的通信。

Description

双向通信方法、装置、系统
技术领域
本发明涉及双向通信方法、装置、系统以及计算机程序。更为详细地说，本发明涉及在经由网络的图像和声音等的双向通信中，适于抑制因在传输线上发生的数据损失而导致的媒体品质的恶化并可实现品质稳定的通信的双向通信方法、装置、系统以及计算机程序。另外，本发明还涉及可根据传输线的状态、用户对延迟/品质的要求来进行将双向各自的品质和延迟的增加折衷了的设定的方法、其装置以及程序。 
背景技术
近年来，经由网络并利用分组来通信图像和声音的编码数据的被称为VoIP(Voice over IP，因特网语音传输)和TvoIP(TV over IP，基于IP的网络电视)的双向通信得到迅速普及。用于上述双向通信的编码方式有几种类型。例如作为运动图像的编码方式，多使用传输基于帧间预测的高效压缩的编码数据的方法。在这些方式中，对从时间上处于前后的帧预测编码图像而得的预测参数和预测残差图像数据进行编码，由此来削减在时间方向上相关度高的运动图像数据的信息量。另外，通过转换编码或量化来将预测残差图像数据高效地压缩编码，从而能够以较小的传输频带进行通信。 
作为其代表例，有利用MPEG(Moving Picture Experts Group，运动图像专家组)-1、MPEG-2、MPEG-4等压缩编码方式的方法。在这些压缩编码方式中，将输入图像帧以被称为宏块的固定大小的矩形区域为单位进行基于运动补偿的帧间预测。通过对所得到的运动矢量和预测残差图像数据进行二维离散余弦变换和量化来使压缩的信号数据转换为可变长码。 
此外，关于声音，也有G.722、G.729、AMR-NB(Adaptive MultiRate-Narrow Band，自适应多速率-窄带)、AMR-WB(Adaptive Multi Rate-Wide Band，自适应多速率-宽带)、MPEG-4_AAC(AdvancedAudio Codec，高级音频编码)等声音(音乐)编码方式。对规定的采样量分别进行高效编码，从而能够以较小的传输频带进行高声音品质的声音数据的传输。 
将这样的图像或声音的编码数据分发到利用分组交换方式的IP(Internet Protocol，互联网协议)网络上的方法有很多。 
今后，期望扩展到移动台站经无线信道而与无线基站连接的移动通信系统中的双向通信系统，其中所述移动台站由PHS(Personal HandyphoneSystem，个人手机系统)、便携式电话、或者将这些用作通信手段的便携式终端等组成。 
关于后述的SIP(Session Initiation Protocol，会话初始化协议)/SDP(Session Description Protocol，会话描述协议)，可参考技术文献1(M.Handley，H.Schulzrinne，E.Schooler，J.Rosenberg，“SIP：Session InitiationProtocol”，RFC2543，March  1999，互联网URL<http://www.ietf.org/rfc/rfc2543.txt>)、以及技术文献2(M.Handley，V.Jacobson，“SDP：Session Description Protocol”，RFC2327，Aprile 1998，互联网URL<http://www.ietf.org/rfc/rfc2327.txt>)。另外，关于后述的PTP，可参考技术文献3(H.Schulzrinne，S.Casner，R.Frederick，V.Jacobson，“PTR：A Transport Protocol for Real-Time Applications”，RFC3550，January 2003，互联网URL<http://www.ietf.org/rfc/rfc3550.txt>)。 
在以往的双向通信中，如果在传输线上发生数据错误或传输分组丢失，则无法正确解码所接收的编码数据，从而导致媒体的品质恶化。 
另外，由于是双向通信，因此需要将延迟控制在一定值以下，从而难以请求再次发送所损失的数据并且也难以再次发送数据。 
另外，当在图像或声音的编码方式中使用帧间预测时，一旦发生图像或声音的扰动，则所述扰动还会传播到后续帧中。 
对此，可采用下述的方法，即：在向传输线发送之前进行交织处理，从而将在无线传输线上发生的猝发损失分散在交织处理单位内，以便不引发连续的数据损失，或者也可以采用使用FEC(Forward Error Correction， 前向纠错)等纠错码来复原错误数据或损失的数据的方法。但是，如果直接使用上述方法，则随着延迟的增加而难以用于双向通信中。 
因此，本发明是考虑上述问题而作出的，其主要目的是提供一种基于将各个用户要求的媒体的品质、延迟、频带、以及对延迟的要求折衷了的设定，能够以尽可能稳定的品质进行双向通信的方法、装置、系统以及程序。 
另外，本发明的另一目的是提供一种即便在上行链路和下行链路不对称的传输线中也能够应对用户对品质和延迟的要求的双向通信方法、装置、系统以及程序。 
本发明的再一目的是提供一种与传输线上变动的数据错误或损失状态相符地控制品质的稳定性并抑制处理延迟的增加的双向通信的方法、装置、系统以及程序。 
发明内容
在第一方案中，本发明的通信系统也可以如下构成：其包括：捕获媒体信号的单元；对捕获的媒体数据进行编码的单元；交织处理单元；向传输线进行发送的发送单元；从传输线进行接收的接收单元；解交织处理单元；对编码数据进行解码的单元；重放所解码的媒体数据的单元；设定编码单元中的编码设定、交织处理设定、以及发送单元中的发送设定的单元；以及通知所述编码设定、所述交织处理设定、所述发送设定、以及编码数据的接收状况中的至少一个的单元，该通信系统将捕获的媒体信号编码后进行发送，接收编码数据并对其进行解码后重放。 
在第二方案中，本发明的通信系统也可以如下构成：其包括：捕获媒体信号的单元；对捕获的媒体数据进行编码的单元；从编码数据生成纠错码数据的单元；向传输线进行发送的单元；从传输线进行接收的单元；当所接收的编码数据有错误或丢失时，使用纠错码来复原该编码数据的单元；对编码数据进行解码的单元；重放所解码的媒体数据的单元；设定编码单元中的编码设定、纠错码数据生成处理设定、以及发送单元中的发送设定的单元；以及通知所述编码设定、所述纠错码数据生成处理设定、所 述发送设定、以及编码数据的接收状况中的至少一个的单元，该通信系统将捕获的媒体信号编码后进行发送，接收编码数据并对其进行解码后重放。 
在第三方案中，本发明的通信系统是一种包括经传输线进行通信的至少两个通信装置的双向通信系统，其中，所述两个通信装置中的至少一个装置包括：编码单元，对所输入的媒体进行编码；交织单元，以规定的单位对编码数据进行交织处理；以及发送单元，向所述传输线输出交织后的编码数据； 
所述两个通信装置中的至少另一个装置包括：接收单元，从所述传输线接收所述编码数据；解交织单元，用规定的方法将所接收的经交织处理的编码数据重新排列为原编码数据；解码单元，对编码数据进行解码并输出解码数据；以及重放单元，重放所述解码数据。 
在第四方案中，本发明的通信方法包括：对所输入的媒体进行编码的步骤；以规定的单位对编码数据进行交织的步骤；输出交织后的编码数据的步骤；接收编码数据的步骤；用规定的方法对所接收的编码数据进行解交织的步骤；以及解码并重放编码数据的步骤。 
在第五方案中，本发明的计算机程序使构成双向通信装置的计算机(处理器)执行：对所输入的媒体进行编码的处理；以规定的单位对编码数据进行交织的处理；输出交织后的编码数据的处理；接收所述编码数据的处理；用规定的方法对所接收的编码数据进行解交织的处理；以及解码并重放编码数据的处理。 
在本发明中，要发送的编码数据和要接收的编码数据可以构成为它们之间至少有下述A～F中的一项不同， 
A)交织处理的有无； 
B)交织处理的单位； 
C)交织的顺序； 
D)比特率； 
E)帧速率；以及 
F)采样频率。 
在本发明中，也可以根据可使用的传输线频带、传输线上的数据损失模式、或经由输入单元输入的用户的要求中的至少一种来设定编码数据的A～E中的至少一项： 
A)交织处理的有无； 
B)交织处理的单位； 
C)交织的顺序； 
D)帧速率；以及 
E)采样频率。 
在本发明中，也可以通过呼叫连接处理来向通信对方通知下述A～F中的至少一项设定信息： 
A)交织处理的有无； 
B)交织处理的单位； 
C)交织的顺序； 
D)比特率； 
E)帧速率；以及 
F)采样频率。 
在本发明中，也可以通过呼叫连接处理来从通信对方获得下述A～F中的至少一项设定信息，从而对所接收的编码数据进行解码，所述A～F如下： 
A)交织处理的有无； 
B)交织处理的单位； 
C)交织的顺序； 
D)比特率； 
E)帧速率；以及 
F)采样频率。 
在本发明中，也可以向通信对方发送包含所接收编码数据的损失率、猝发长度的接收数据的到达状况，并且 
当从通信对方接收到所述到达状况时，根据该到达状况来重新设定要发送的编码数据的下述A～F中的至少一项： 
A)交织处理的有无； 
B)交织处理的单位； 
C)交织的顺序； 
D)比特率； 
E)帧速率；以及 
F)采样频率。 
在本发明中，也可以提供表示编码数据的顺序的序列号，或者按照顺序已知的格式发送编码数据。 
在本发明中，也可以包括： 
以规定的单位从所述编码数据中生成纠错码数据的步骤； 
输出编码数据和纠错码数据中的至少一种数据的至少一部分的步骤； 
接收编码数据和纠错码数据中的至少一种数据的至少一部分的步骤； 
当所接收的编码数据有损失时，从正常接收到的编码数据和纠错码数据中的至少一种数据复原损失的编码数据的步骤；以及 
对编码数据进行解码的步骤。 
在本发明中，也可以使要发送的所述纠错码数据和要接收的所述纠错码数据之间至少有下述A～D中的一项不同， 
A)纠错编码方式； 
B)纠错码数据发送的有无； 
C)纠错码数据的比特率；以及 
D)生成纠错码数据的单位。 
在本发明中，也可以根据可使用的传输线频带、传输线上的数据损失模式、或经由输入单元输入的用户的要求中的至少一种来设定纠错码数据的A～D中的至少一项： 
A)纠错编码方式； 
B)纠错码数据发送的有无； 
C)纠错码数据的比特率；以及 
D)生成纠错码数据的单位。 
在本发明中，也可以通过呼叫连接处理来向通信对方通知下述A～D 中的至少一项设定信息： 
A)纠错编码方式； 
B)纠错码数据发送的有无； 
C)纠错码数据的比特率；以及 
D)生成纠错码数据的单位。 
在本发明中，也可以通过呼叫连接处理来获得通信对方的下述A～D中的至少一项设定信息，从而复原有损失时的编码数据，所述A～D如下： 
A)纠错编码方式； 
B)纠错码数据发送的有无； 
C)纠错码数据的比特率；以及 
D)生成纠错码数据的单位。 
在本发明中，也可以向通信对方发送包含损失率、猝发长度的接收数据的到达状况，并且 
当接收到所述到达状况时，根据该到达状况来重新设定纠错码数据的下述A～D中的至少一项： 
A)纠错编码方式； 
B)纠错码数据发送的有无； 
C)纠错码数据的比特率；以及 
D)生成纠错码数据的单位。 
在本发明中，也可以向通信对方通知用于识别编码数据和纠错码数据的标识符的对应关系，并且 
为编码数据及纠错码数据提供对应的所述标识符并进行发送。 
附图说明
图1是本发明第一、第二实施方式的系统结构的示意图； 
图2是本发明第一实施例的双向通信装置的结构示意图； 
图3是用于说明本发明第一实施例的双向通信装置的处理的图； 
图4是本发明第二实施例的双向通信装置的结构示意图； 
图5是用于说明本发明第二实施例的双向通信装置的处理的图； 
图6是本发明第二实施例的双向通信装置的变形例的示意图。 
具体实施方式
(第一实施例) 
对本发明的优选实施方式进行说明。本发明第一实施例的通信系统包括：捕获媒体信号的单元(203)；对捕获的媒体数据进行编码的编码单元(204)；交织处理单元(206)；向传输线进行发送的发送单元(207)；从传输线进行接收的接收单元(208)；解交织处理单元(209)；对编码数据进行解码的解码单元(211)；以及重放被解码的媒体数据的单元(212)，另外还包括：进行编码单元(204)中的编码设定、交织处理单元(206)中的交织处理设定、发送单元(207)中的发送设定的单元(202)；以及通知所述编码设定、所述交织处理设定、所述发送设定、编码数据的接收状况中的至少一个的单元(202)，该通信系统对捕获的媒体信号进行编码后发送，并在接收编码数据之后将其解码并重放。 
图1是本发明第一实施例的系统结构的示意图。如图1所示，本发明第一实施例的系统具备双向通信装置和传输线，并且也可以包含呼叫连接服务器。在本实施例中，双向通信装置101、双向通信装置103、呼叫连接服务器装置104与作为IP(Internet Protocol，互联网协议)网络的传输线102连接。双向通信装置101、103是通过分组交换来收发编码数据和呼叫连接数据的终端，呼叫连接服务器装置104例如是对基于SIP(Session Initiation Protocol)/SDP(Session Description Protocol)的呼叫连接数据进行处理来建立双向通信装置101和双向通信装置103之间的通信的终端(关于SIP/SDP，可参考非专利文献1、2)。在双向通信装置101和双向通信装置103彼此预先知道对方装置的IP地址、编码数据的接收端口号、以及将要收发的媒体的编码方式或编码选项(option)的情况下，不需要呼叫连接服务器装置104。 
图2是图1的双向通信装置101、103的结构示意图。图2的双向通信 装置101、103的结构相同。在图2中仅示出一个双向通信装置(参考标号201)。如图2所示，该双向通信装置201包括设定·呼叫连接处理部202、媒体信号捕获部203、媒体编码部204、分组化处理部205、交织器206、发送部207、接收部208、解交织器209、有效载荷提取部210、媒体解码部211、重放部212。 
例如，来自图中没有示出的相机、扩音器等的图像或声音信号在媒体信号捕获部203中经数模转换后被捕获。基于在设定·呼叫连接处理部202中设定并通知给通信对方的双向通信装置的、或者预定的 
·帧速率、 
·采样频率、 
·量化比特数来进行所述转换。 
媒体编码部204基于下述的编码设定对捕获的媒体数据进行编码，所述编码设定是指在设定·呼叫连接处理部202中设定并通知给通信对方的双向通信装置的、或者预定的 
·编码方式、 
·比特率、 
·例如MPEG一4编码方式中的数据分割或重新同步标志的有无、或RVLC(Revers Variable Length Code，可逆变长码)这样的编码选项等。 
分组化处理部205按照在设定·呼叫连接处理部202中设定的、或者预定的媒体数据单位和有效载荷格式，为编码后的编码数据赋予可识别编码数据顺序的序列号并将其分组化。 
这里，例如如果采用基于RTP(Real-Time Transport Protocol，实时传输协议)的分组化，则可用RTP报头中包含的序列号来表示编码数据的顺序(关于RTP，可参考非专利文献3)。 
经分组化的编码数据朝着由通信对方的双向通信装置通知的、或者预定的目的地地址、端口而从发送部207向传输线214输出。 
双向通信装置201在由设定·呼叫连接处理部202确定的、或者预定的端口用接收部208从传输线214接收分组。解交织器209基于赋予分组 的序列号来重新排列被交织处理的分组。 
有效载荷提取部210从由解交织器209重新排列的分组中提取编码数据，媒体解码部211基于通过设定·呼叫连接处理部202得到并由通信对方的双向通信装置通知的、或者预定的 
·媒体编码方式、 
·编码选项来对所提取的编码数据进行解码。 
另外，基于通过设定·呼叫连接处理部202得到并由通信对方的双向通信装置通知的、或者预定的 
·帧速率、 
·采样频率、 
·量子比特数来重放所述分组。 
图3是用于说明本实施例的交织器206、解交织器209的处理的说明图。参考图3来说明图2的交织器206、解交织器209中的处理内容。 
如图3所示，由编码数据组成的输入流301被交织器302交织成例如发送流303那样。此时的交织处理单位为“9”，对每9个编码数据进行交织处理。因而产生相应的处理延迟。这里所示的交织处理的单位和交织顺序只不过是一个例子，处理单位和顺序并不限于这些设定值。发送流303经由传输线304被发送给通信对方。 
当在传输线304上关于发送流发生了猝发的数据错误或损失时，通信对方将接收到诸如接收流305那样的流。这里，构成接收流305的编码数据7、2、5表示在传输线上发生了数据错误或损失。 
解交织器306将编码数据重新排列成原来的顺序，得到解交织后的流307。其结果是，分散了猝发的数据错误/损失，从而与连续的数据错误/损失相比，能够将媒体品质的恶化抑制得很小。 
这尤其是对声音编码数据有效，通过分散由连续的数据错误/损失导致的长时间的音质恶化，使得难以在听觉上感觉到所述音质恶化。 
这里，如果将交织处理单位设定得比在传输线上发生的数据错误或损 失的猝发长度长，则会更加有效。即，通过增大交织处理单位，能够扩大可应对传输线上的数据错误或损失的猝发长度的幅度。然而如果增大交织处理单位，就会增大处理延迟。因此，当在某一对双向通信装置中对要重放的媒体所要求的品质互不相同时，可通过设定符合每个通信对方所要求的品质的交织处理大小来减小延迟。 
例如，在图1中，当对在双向通信装置101中重放的媒体品质的要求较高，而对在双向通信装置103中重放的媒体品质的要求较低时，在双向通信装置101中减小交织处理单位或者不进行交织处理，并在双向通信装置103中设定可应对传输线102上的数据错误/损失的猝发长度的交织处理单位，由此可满足彼此的媒体重放品质要求，并能够减小往返的延迟。 
另外，最好可根据传输线来改变交织处理单位的设定，为此，在 
·上行链路和下行链路使用不同的传输线的情况，或者 
·上行链路和下行链路具有不同的数据错误/损失特性的情况下，可通过将交织处理单位设为非对称来使品质稳定，并削减延迟。 
同样地，为了削减延迟，也可以在媒体信号捕获部203中提高捕获图像的帧速率或捕获声音的采样频率。 
当提高了图像的帧速率时，如果比特流没有变化，则虽然在通信对方的双向通信装置中重放的每1帧的像质下降，但可减小延迟。 
另外，例如在用AAC对声音进行编码的情况下，如果提高声音的采样频率，则每单位时间的编码数据单位数会有所增加，从而增加额外开销，同样地如果比特率没有变化，则分配给媒体的比特率下降，从而在通信对方的双向通信装置中重放的音质下降，但可减小延迟。 
因此，与交织处理单位一样地，由设定·呼叫连接处理部202根据通信对方的品质要求来设定 
·图像的帧速率、 
·声音的采样频率， 
并将这些项通知给通信对方的双向通信装置，由此能够以将品质和延迟的要求折衷了的设定进行通信。 
另外，由接收状况收发部213例如利用PTCP(RTP Control Protocol， RTP控制协议)的SR(Sender Report，发送方报告)或RR(ReceiverReport，接收方报告)，将在接收部208接收的编码数据的 
·数据错误/损失率、 
·错误/损失猝发长度 
等统计信息通知给通信对方的双向通信装置，由此还可以在通信过程中改变交织处理单位(关于RTCP，可参考非专利文献3)。 
这里，关于交织处理单位的变更，在发送侧可通过交织处理单位的断点(切れ目)来容易地进行变更，在接收侧，可通过增大交织器的缓冲器来增大交织处理单位的大小。但是，在接收侧减小交织处理单位的大小时，需要尽量将重放声音的中断抑制地较小来改变大小。因此，如果解交织器209的缓冲器的最后为空，则从该部分开始进行削减，如果缓冲器被接收数据填满，则从无声或接近无声水平的接收数据开始进行削减，由此可实现将声音的中断抑制得较小的缓冲器大小的变更。 
其结果是，即使在数据错误/损失模式变动的传输线中也能够有效地稳定媒体的品质并削减延迟。 
当在传输线214上发生数据错误，但不发生数据损失，也不发生分组数据顺序的交错时，如果从设定·呼叫连接处理部202向通信对方的双向通信装置通知交织器206的交织顺序、或预先设定好交织顺序，则不需要在分组化处理部205赋予序列号。 
另外，在诸如AMR这样的编码方法中，有时在有效载荷格式处理的机制中包含交织/解交织处理，在此情况下不需要交织器206和解交织器209。此时，可以在SDP的a＝fmtp属性中用“interleaving＝”的方式记载交织处理单位，并将其通知给通信对方。 
另外，关于双向通信装置201中的设定·呼叫连接处理部202、媒体信号捕获部203、媒体编码部204、分组化处理部205、交织器206、发送部207、接收部208、解交织器209、有效载荷提取部210、媒体解码部211、以及重放部212，当然也可以通过在构成双向通信装置201的计算机中执行的程序控制来实现各自的功能和处理。 
(第二实施例) 
本发明第二实施例的通信系统包括：捕获媒体信号的单元(203)；对捕获的媒体数据进行编码的单元(204)；从编码数据中生成纠错码数据的单元(403)；向传输线进行发送的发送单元(207)；从传输线进行接收的接收单元(208)；当接收的编码数据有错误或丢失时，使用纠错码来复原该数据的单元(404)；对编码数据进行解码的单元(211)；以及对重放被解码的媒体数据的单元(212)，另外还包括：对编码单元(204)中的编码设定、纠错码数据生成处理设定、发送单元(207)中的发送设定进行设定的单元(402)；以及通知所述编码设定、所述纠错码数据生成处理设定、所述发送设定、编码数据的接收状况中的至少一个的单元(402)。捕获的媒体信号经编码后被发送。被接收的所述编码数据经解码后被重放。 
下面，参考附图，仅对本发明第二实施例中与上述第一实施例的不同之处进行具体说明。 
图4是本发明第二实施例的双向通信装置(图1的101、103)的结构示意图。如图4所示，本实施例的双向通信装置401具有纠错编码部403和纠错解码部404，以分别代替图2所示的所述第一实施例中的双向通信装置201的交织器206和解交织器209。下面，主要说明本实施例与图2的所述第一实施例不同之点，并适当省略相同部分的说明。 
纠错编码部403基于纠错编码方式、纠错编码数据生成单位而从分组化的编码数据中生成纠错码数据，并将其与编码数据一起从发送部207向传输线214输出，其中所述纠错编码方式、纠错编码数据生成单位是由设定·呼叫连接处理部402设定并通知给通信对方的双向通信装置的，或者是预定的。这里，在纠错编码方式中通常使用例如LDPC(Low DensityParity Check，低密度奇偶校验)方式或诸如里德-所罗门(Reed-Solomon)码等被称为FEC(Forward Error Correction，前向纠错)的码。关于纠错码，由于使用现有技术，因而这里省略其详细说明。 
图5是用于说明本实施例中的纠错编码部403、纠错解码部404的处理的说明图。下面参考图5，对图4所示的本实施例中的纠错编码部403、纠错解码部404的处理内容进行说明。这里，将LDPC为例对纠错 编码方式进行说明，但纠错编码方式不限于LDPC方式。 
如图5所示，由纠错编码部502从由编码数据组成的输入流501中生成纠错码，由此，向传输线504发送的流变成发送流503那样。这里，生成纠错码的单位为“6”，即对每6个编码数据进行纠错编码，因此产生相应的处理延迟。 
另外在本实施例中，虽然从6个的编码数据单位生成3个的纠错码数据单位，但每个纠错码生成单位的纠错数据的个数仅为一个例子，并不限于该个数。 
发送流503经由传输线504而被发送给通信对方。 
例如，当传输线504为无线传输线、并发生了发送流的数据错误或损失时，在通信对方将接收诸如接收流505那样的流。这里，构成接收流505的编码数据3、4、5表示在传输线上发生了数据错误或损失。 
纠错解码器506从正确接收的编码数据和纠错码数据复原发生数据错误/损失的编码数据3、4、5。其结果是，消除了传输线上的错误/损失的影响，能够以原来的媒体品质进行重放。 
如果为了在接收流505中区别媒体的编码数据和纠错码数据而采用例如基于RTP(Real-Time Transport Protocol，实时传输协议)的分组化，则将包含在RTP报头中的有效载荷类型、SSRC(Synchronization Sourceidentifier，同步源标识符)、或者CSRC(Contributing Source identifier，贡献源标识符)用作标识符，并为媒体的编码数据和纠错码数据设定不同的值，然后将数据的类型和值的组合通知给通信对方，由此可在纠错解码部506中识别媒体的编码数据和纠错码数据。 
图6是图4所示本实施例的变形例的示意图。如图6所示，在双向通信装置601中，从媒体码发送部604、纠错码发送部605通过个别的会话或个别的传输线分别发送媒体的编码数据和纠错码数据。并且可以由媒体码接收部606、纠错码接收部607分别接收所述两种编码数据，并由纠错解码部608复原受错误或损失影响的媒体编码数据。此时，即使没有识别媒体编码数据和纠错码数据的标识符，也可以根据用于收发的会话或传输线来辨别数据的类型。 
另外，在纠错编码方式中，有不发送媒体的编码数据而只发送纠错码数据就可以的编码方式。在这种编码方式中，不需要在媒体码发送部604和媒体码接收部605之间进行收发的媒体编码数据。 
这里，有效的做法是与传输线上发生的数据错误或损失的模式相符地准备通过LDPC方式生成纠错数据的校验矩阵。而且由校验矩阵确定相对于媒体编码数据的纠错码数据量以及生成纠错编码数据的单位。 
在纠错码数据的生成中需要与纠错码数据生成单位相应的处理延迟。通过增大生成单位，能够以较少的纠错码数据的数据量来提高从数据错误/损失复原的复原率，但却会增大延迟。因此，当在某一对双向通信装置中对被重放的媒体所要求的品质互不相同时，可通过设定符合每个通信对方所要求的品质的校验矩阵来减小延迟。 
例如，在图1中，当对在通过双向通信装置101中重放的媒体品质的要求较高，而对在双向通信装置103中重放的媒体品质的要求较低时，在双向通信装置101中设定减小纠错码生成单位的校验矩阵，或者不进行纠错码数据生成处理。在双向通信装置103中，根据传输线102上的数据错误/损失的模式来设定确定了适当的纠错码数据生成量和生成单位的校验矩阵，由此能够满足彼此对媒体重放品质的要求，并能够减小往返的延迟。 
另外，当传输频带有限时，可通过在媒体的编码和纠错码数据中改变比特率的分配来确定媒体品质的稳定性和品质等级之间的折衷。这也可以根据对双向通信装置各自重放的媒体的要求来设定。 
如上所述，校验矩阵最好根据传输线来改变设定。因此，在上行链路和下行链路使用不同的传输线的情况、或者上行链路和下行链路具有不同的数据错误/损失特性的情况下，仍可以通过使校验矩阵为不对称来稳定品质并减小延迟。 
在本实施例中，关于捕获图像的帧速率以及捕获声音的采样频率，与上述第一实施例相同。 
另外，例如利用PTCP(RTP Control Protocol)的SR(SenderReport)或RR(Receiver Report)来将在接收部208接收的编码数据的数据错误/损失率、错误/损失猝发长度等统计信息通知给通信对方的双向通 信装置，由此可掌握传输线的错误/损失特性。这样，通过由设定·呼叫连接处理部202将所述统计信息通知给所述通信对方的双向通信装置， 
可在通信过程中改变纠错编码方式， 
可在通信过程中改变校验矩阵，即可以改变纠错码数据的比特率和生成的单位， 
还可以停止/再次开始纠错码数据的发送。 
例如，当传输线的状态良好、能够以足够良好的品质收发媒体的编码数据时，停止纠错码数据的发送，当传输线的状态恶化时，也可以再次开始纠错码数据的发送。 
另外，还可以有选择地发送纠错码数据，即使在数据错误/损失模式变动的传输线中也能够有效地稳定媒体品质并减小延迟。 
在本实施例的双向通信装置中，也可以将在图2的所述第一实施例中说明的交织处理(交织器206)和解交织处理(解交织器209)组合起来。 
另外，关于双向通信装置401中的设定·呼叫连接处理部402、媒体信号捕获部203、媒体编码部204、分组化处理部205、纠错编码部403、发送部207、接收部208、纠错解码部404、有效载荷提取部210、媒体解码部211、以及重放部212，当然也可以通过在构成双向通信装置401的计算机中执行的程序控制来实现各自的功能和处理。双向通信装置401例如构成声音通信装置。 
另外，关于双向通信装置601中的设定·呼叫连接处理部602、媒体信号捕获部203、媒体编码部204、分组化处理部205、纠错编码部603、媒体码发送部604、纠错码发送部605、媒体码接收部606、纠错码接收部607、纠错解码部608、有效载荷提取部210、媒体解码部211、以及重放部212，也可以通过在构成双向通信装置601的计算机中执行的程序控制来实现各自的功能和处理。双向通信装置601例如构成声音通信装置。 
以上举出上述各实施例来对本发明进行了说明，但本发明不限于上述实施例的结构，还包括在本发明的范围中本领域技术人员可做出的各种变形和修改。 
根据本发明，基于将用户要求的媒体的品质、延迟、频带、以及对延迟的要求折衷了的设定，能够以尽可能稳定的品质实现双向通信。 
另外，根据本发明，即使在上行链路和下行链路不对称的传输线中，也可以实现可应对用户对品质和延迟的要求的双向通信。 
另外，根据本发明，能够实现与传输线上变动的数据错误/损失相符地控制品质的稳定性并抑制处理延迟的增加的双向通信。 

Claims (6)

1.一种双向通信方法，其特征在于，包括：
对所输入的媒体进行编码的步骤；
以规定的单位对编码数据进行交织的步骤；
发送交织后的编码数据的步骤；
接收编码数据的步骤；
用规定的方法对所接收的编码数据进行解交织的步骤；以及
解码并重放编码数据的步骤，
其中，在要发送的编码数据中，改变交织处理的单位以符合通信对方所要求的媒体的品质，
每当改变所述交织处理的单位时，
在所述编码数据的发送侧改变交织单位的断点，
在所述编码数据的接收侧，使存储编码数据的缓冲器的大小可变，通过增大所述缓冲器来增大所述交织处理的单位大小，抑制重放信号的中断来改变所述缓冲器的大小，从而减小所述交织处理的单位大小。
2.如权利要求1所述的双向通信方法，其特征在于，
所述编码数据包含声音编码数据，
在所述编码数据的接收侧，如果所述缓冲器中有空闲部分，则从所述空闲部分开始进行削减，如果所述缓冲器被接收编码数据填满，则从无声或接近无声水平的接收数据开始进行削减，由此来抑制声音的中断。
3.一种双向通信装置，其特征在于，包括：
编码单元，对所输入的媒体进行编码并输出；
交织单元，以规定的单位对来自所述编码单元的编码数据进行交织处理；
发送单元，发送通过所述交织单元重新排列的编码数据；
接收单元，接收所述编码数据；
解交织单元，将通过所述接收单元接收的经交织处理的编码数据重新排列为原编码数据； 
解码单元，对来自所述解交织单元的编码数据进行解码并输出解码数据；以及
重放单元，重放来自所述解码单元的解码数据，
其中，在要发送的编码数据中，改变交织处理的单位以符合通信对方所要求的媒体的品质，
作为改变所述交织处理的单位的单元，在所述编码数据的发送侧具有改变交织单位的断点的单元，
在所述编码数据的接收侧具有如下单元，该单元使存储编码数据的缓冲器的大小可变，通过增大所述缓冲器来增大所述交织处理的单位大小，抑制重放信号的中断来改变所述缓冲器的大小，从而减小所述交织处理的单位大小。
4.如权利要求3所述的双向通信装置，其特征在于，包括如下单元，该单元提供表示编码数据的顺序的序列号，或者按照编码数据的顺序已知的格式发送编码数据。
5.一种双向通信系统，包括经传输线进行通信的至少两个通信装置，该双向通信系统的特征在于，
所述两个通信装置中的至少一个装置包括：
编码单元，对所输入的媒体进行编码；
交织单元，以规定的单位对编码数据进行交织处理；以及
发送单元，向所述传输线输出交织后的编码数据；
所述两个通信装置中的至少另一个装置包括：
接收单元，从所述传输线接收所述编码数据；
解交织单元，用规定的方法将所接收的经交织处理的编码数据重新排列为原编码数据；
解码单元，对编码数据进行解码并输出解码数据；以及
重放单元，重放所述解码数据，
其中，在由所述两个通信装置中的一个通信装置向另一个通信装置发送的编码数据中，改变交织处理的单元以符合通信对方所要求的媒体的品质， 
作为改变所述交织处理的单位的单元，在所述编码数据的发送侧具有改变交织单位的断点的单元，
在所述编码数据的接收侧具有如下单元，该单元使存储编码数据的缓冲器的大小可变，通过增大所述缓冲器来增大所述交织处理的单位大小，抑制重放信号的中断来改变所述缓冲器的大小，从而减小所述交织处理的单位大小
6.如权利要求5所述的双向通信系统，其特征在于，
所述编码数据包含声音编码数据，
在所述编码数据的接收侧具有下述单元，如果所述缓冲器中有空闲部分，则该单元从所述空闲部分开始进行削减，如果所述缓冲器被接收编码数据填满，则该单元从无声或接近无声水平的接收数据开始进行削减，由此来抑制声音的中断。 
CN2005800192161A 2004-06-14 2005-06-13 双向通信方法、装置、系统 Expired - Fee Related CN1969493B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004176035 2004-06-14
JP176035/2004 2004-06-14
PCT/JP2005/011186 WO2005122455A1 (ja) 2004-06-14 2005-06-13 双方向通信方法と装置、システムならびにプログラム

Publications (2)

Publication Number Publication Date
CN1969493A CN1969493A (zh) 2007-05-23
CN1969493B true CN1969493B (zh) 2011-01-26

Family

ID=35503460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800192161A Expired - Fee Related CN1969493B (zh) 2004-06-14 2005-06-13 双向通信方法、装置、系统

Country Status (6)

Country Link
US (1) US20070198878A1 (zh)
EP (1) EP1775870A4 (zh)
JP (1) JPWO2005122455A1 (zh)
KR (1) KR100937060B1 (zh)
CN (1) CN1969493B (zh)
WO (1) WO2005122455A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106330376B (zh) 2011-02-15 2017-12-01 瑞典爱立信有限公司 通信网络中的时间同步的方法、系统和节点
JP2013062737A (ja) * 2011-09-14 2013-04-04 Nec Corp 信号送受信回路
US8954832B1 (en) 2012-09-05 2015-02-10 L-3 Communications Corp. Asymmetric distance coding
KR102108380B1 (ko) * 2014-02-04 2020-05-08 삼성전자주식회사 송신 데이터 오류를 복구하도록 작동하는 인터페이스 회로
JP6508347B2 (ja) 2015-09-17 2019-05-08 日本電気株式会社 端局装置およびその制御方法ならびに端局装置の制御プログラム
US20170324425A1 (en) * 2016-05-06 2017-11-09 Infineon Technologies Ag Embedded parity matrix generator
US10992724B2 (en) * 2017-01-20 2021-04-27 Hanwha Techwin Co., Ltd. Media playback apparatus and method including delay prevention system
CN113438054B (zh) * 2021-06-23 2022-08-16 杭州海康威视数字技术股份有限公司 数据传输方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087676A (ja) * 2001-09-06 2003-03-20 Sanyo Electric Co Ltd ディジタル放送受信装置
JP2003179580A5 (zh) * 2001-12-12 2005-03-17

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS574629A (en) * 1980-05-21 1982-01-11 Sony Corp Data transmitting method capable of correction of error
US5933567A (en) * 1993-01-13 1999-08-03 Hitachi America, Ltd. Method and apparatus for controlling the position of the heads of a digital video tape recorder during trick play operation and for recording digital data on a tape
CA2131674A1 (en) * 1993-09-10 1995-03-11 Kalyan Ganesan High performance error control coding in channel encoders and decoders
JPH07170503A (ja) * 1993-12-15 1995-07-04 Sony Corp 受信装置
FR2718906B1 (fr) * 1994-04-13 1996-05-24 Alcatel Mobile Comm France Procédé d'adaptation de l'interface air, dans un système de radiocommunication avec des mobiles, station de base, station mobile et mode de transmission correspondants.
US5926205A (en) * 1994-10-19 1999-07-20 Imedia Corporation Method and apparatus for encoding and formatting data representing a video program to provide multiple overlapping presentations of the video program
JPH09298526A (ja) * 1996-03-07 1997-11-18 Kokusai Denshin Denwa Co Ltd <Kdd> データ通信における誤り制御方法及び装置
US6389066B1 (en) * 1997-09-21 2002-05-14 Lucent Technologies Inc. System and method for adaptive modification of modulated and coded schemes in a communication system
US6154661A (en) * 1997-12-10 2000-11-28 Arraycomm, Inc. Transmitting on the downlink using one or more weight vectors determined to achieve a desired radiation pattern
US6067646A (en) * 1998-04-17 2000-05-23 Ameritech Corporation Method and system for adaptive interleaving
JP4031136B2 (ja) * 1999-01-14 2008-01-09 株式会社東芝 符号化・復号化装置及びディスク記憶装置
EP1166449A4 (en) * 1999-04-06 2005-10-19 Samsung Electronics Co Ltd DEVICE WITH A METHOD OF TWO-DIMENSIONAL NEGOTIATION
EP1126717A1 (en) * 2000-02-16 2001-08-22 Lucent Technologies Inc. Mobile radio telecommunication system with real-time video service
US20020136276A1 (en) * 2000-03-09 2002-09-26 Franceschini Michael R. Frequency domain direct sequence spread spectrum with flexible time frequency code
GB2371947B (en) * 2001-02-01 2005-02-23 Fujitsu Ltd Communications systems
US20030069963A1 (en) * 2001-09-27 2003-04-10 Nikil Jayant System and method of quality of service signaling between client and server devices
US7218610B2 (en) * 2001-09-27 2007-05-15 Eg Technology, Inc. Communication system and techniques for transmission from source to destination
JP3757857B2 (ja) * 2001-12-12 2006-03-22 ソニー株式会社 データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP2003188855A (ja) * 2001-12-19 2003-07-04 Nec Mobiling Ltd 移動体通信の誤り訂正制御方式
JP3815344B2 (ja) * 2002-02-21 2006-08-30 株式会社日立製作所 多値変調に適した符号語マッピング方法
CA2506641A1 (en) * 2004-05-06 2005-11-06 Genieview Inc. Signal processing methods and systems
US7447978B2 (en) * 2004-11-16 2008-11-04 Nokia Corporation Buffering packets of a media stream
US20080126812A1 (en) * 2005-01-10 2008-05-29 Sherjil Ahmed Integrated Architecture for the Unified Processing of Visual Media

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087676A (ja) * 2001-09-06 2003-03-20 Sanyo Electric Co Ltd ディジタル放送受信装置
JP2003179580A5 (zh) * 2001-12-12 2005-03-17

Also Published As

Publication number Publication date
WO2005122455B1 (ja) 2006-03-30
EP1775870A1 (en) 2007-04-18
KR20070037617A (ko) 2007-04-05
CN1969493A (zh) 2007-05-23
JPWO2005122455A1 (ja) 2008-04-10
WO2005122455A1 (ja) 2005-12-22
KR100937060B1 (ko) 2010-01-15
EP1775870A4 (en) 2012-11-07
US20070198878A1 (en) 2007-08-23

Similar Documents

Publication Publication Date Title
CN1914922B (zh) 内容的编码、分发及接收的方法、装置、系统
CN1969493B (zh) 双向通信方法、装置、系统
CN101536088B (zh) 用于提供冗余管理的系统和方法
CN106656422B (zh) 一种动态调整fec冗余度的流媒体传输方法
US7397411B2 (en) Method, apparatus, system, and program for code conversion transmission and code conversion reception of audio data
JP3512776B2 (ja) 通信網におけるビットストリーム送受信装置及びその方法
CN102984090B (zh) 一种用于发送实时通信事件数据到接收器的抖动缓冲器的发送器及其方法
CN101341702B (zh) 操纵分组的网络处理节点和方法
KR101122143B1 (ko) 수신기 버퍼 아키텍처를 나타내는 버퍼 파라미터의 시그널링
CN102137436A (zh) 无线电通信装置、无线电通信方法、通信控制装置和程序
JP3880497B2 (ja) Ｌａｎ通信システム
CN101645903A (zh) 一种多媒体数据的传输方法及装置
Dan et al. A rate-distortion based comparison of media-dependent FEC and MDC for real-time audio
Munadi et al. Packet loss recovery for RTP-based transmission of JPEG2000 images enabling backward compatibility with standard decoder

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110126

Termination date: 20180613