CN1551588A - 处理音频信号的装置和方法及存储计算机程序的记录介质 - Google Patents
处理音频信号的装置和方法及存储计算机程序的记录介质 Download PDFInfo
- Publication number
- CN1551588A CN1551588A CNA2004100631344A CN200410063134A CN1551588A CN 1551588 A CN1551588 A CN 1551588A CN A2004100631344 A CNA2004100631344 A CN A2004100631344A CN 200410063134 A CN200410063134 A CN 200410063134A CN 1551588 A CN1551588 A CN 1551588A
- Authority
- CN
- China
- Prior art keywords
- audio signal
- processing
- information
- network
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/80—Responding to QoS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/765—Media network packet handling intermediate
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明提供一种音频信号处理装置和方法以及存储有用于所述方法的计算机程序的计算机可读记录介质。音频信号处理装置包括：输入单元，接收音频信号；以及信号处理单元，使用网络信息和终端信息中的至少一个信息以及信号信息来处理从输入单元所接收的音频信号，其中网络信息涉及有关网络的信息，网络状态任何时候都在改变，终端信息涉及有关终端的信息，终端状态任何时刻都在改变，以及信号信息涉及有关音频信号的信息。使用在任一时刻都变化的网络信息和/或终端信息，以实时的方式来有效地流式传输音频信号，从而从例如服务器端发送的音频信号能够由终端无缝地接收并由终端以最佳、高音质再现。
Description
本申请要求于2003年3月7日和2003年7月16日向美国专利商标局提交的美国临时申请第60/452534号和第60487264号的权益，以及于2004年2月27日向韩国知识产权局提交的第2004-13679号的韩国专利申请的优先权，上述公开内容通过引用整体结合于此。
技术领域
本发明涉及一种音频信号处理装置或软件以及通过有线或无线来提供音频信号的服务系统，尤其涉及一种处理将被流式传输(stream)的音频信号的装置和方法以及存储有用于该方法的计算机程序的计算机可读记录介质。
背景技术
在有线或无线便携设备、基于因特网的音乐点播(MOD)或音频点播(AOD)服务中都需要实时多媒体流式传输。在需要流式传输的环境中，当将要从服务器(未示出)传输到终端(未示出)的音频信号的数据量大于与终端相连接的网络(未示出)的允许带宽时，由于路由器的缓冲和拥塞，关于传统的音频信号处理方法出现诸如报文分组时延或丢失的问题。
在传统的音频信号处理方法中，在不需要考虑诸如终端性能或类型之类的终端情况而进行流式传输的环境中对音频信号进行处理。例如，不论终端是个人电脑(PC)还是个人数字助理(PDA)，都以相同的比特率对音频信号进行流式传输。
换句话说，在上述传统的音频信号处理方法中，以相同的比特率对音频信号进行流式传输，而不管音频信号的比特率和终端的类型。结果，出现报文分组时延和丢失或终端的处理速度时延的问题，降低了由终端再现的音频信号的音质。
所以，为了提高服务质量，需要一种提供自适应的服务质量的方法。
发明内容
本发明提供一种音频信号处理装置，该装置能够通过将音频信号处理为适合于再现该音频信号的终端和/或与终端相连接的网络的物理环境来流式传输所述音频信号。
本发明提供一种音频信号处理方法，其中可以通过适合于再现音频信号的终端和/或与终端相连接的网络的物理环境的处理来流式传输音频信号。
本发明提供一种存储有控制音频信号处理装置的计算机程序的计算机可读记录介质，所述音频信号处理装置能够通过将音频信号处理为适合于再现该音频信号的终端和/或与终端相连接的网络的物理环境来流式传输所述音频信号。
根据本发明的一个方面，提供一种用于处理将要在连接至网络的终端中再现的音频信号的装置，该装置包括：输入单元，用于接收音频信号；信号处理单元，其利用网络信息和终端信息中的至少一个以及信号信息来处理从输入单元所接收的音频信号，其中网络信息是指有关网络的信息，网络状态时刻在变化，终端信息是指有关终端的信息，终端状态时刻在变化，以及信号信息是指有关音频信号的信息。
根据本发明的另一方面，提供一种用于处理将要在连接至网络的终端中再现的音频信号的方法，该方法包括：接收音频信号；利用网络信息和终端信息中的至少一个以及信号信息来处理从输入单元所接收的音频信号，其中网络信息是指有关网络的信息，网络状态时刻在变化，终端信息是指有关终端的信息，终端状态时刻在变化，以及信号信息是指有关音频信号的信息。
根据本发明的又一方面，提供一种存储有至少一个计算机程序的计算机可读记录介质，所述计算机程序根据将被施加到将要在与网络连接的终端中再现的音频信号的处理来控制一个装置，其中所述处理包括：接收音频信号；利用网络信息和终端信息中的至少一个以及信号信息来处理音频信号，其中网络信息是指有关网络的信息，网络状态时刻在变化，终端信息是指有关终端的信息，终端状态时刻在变化，以及信号信息是指有关音频信号的信息。
附图说明
通过参考附图来详细地描述示例性实施例，本发明的上述和其他特征及优点将变得更加的清楚，其中：
图1是根据本发明的音频信号处理装置的方框图；
图2是图解说明网络的可用带宽的示例性曲线图；
图3是根据本发明实施例的图1所示的主处理单元的方框图；
图4是根据本发明实施例的图1所示的信号处理单元的方框图；
图5是根据本发明实施例的图4所示的处理确定单元的方框图；
图6是根据本发明另一实施例的图4所示的处理确定单元的方框图；
图7是根据本发明的音频信号处理方法的流程图；
图8是图解说明根据本发明的图7所示操作502的实例的流程图；
图9是图解说明根据本发明的图7所示操作502的另一实例的流程图；
图10是图解说明根据本发明的图7所示操作502的又一实例的流程图；
图11是图解说明根据本发明的图10所示操作804的实例的流程图；
图12图解说明了在根据本发明的音频信号处理方法中使用的语法的实例；
图13图解说明了在根据本发明的音频信号处理方法中使用的语义的实例；
图14图解说明了在根据本发明的音频信号处理方法中使用的另一语法的实例；
图15图解说明了在根据本发明的音频信号处理方法中使用的另一语义的实例；
图16图解说明了在执行根据本发明的通道数目调节处理时所使用的语法的实例；
图17图解说明了在执行根据本发明的通道数目调节处理时所使用的语义的实例；
图18图解说明了在执行根据本发明的频带减少处理时所使用的语法的实例；
图19图解说明了在执行根据本发明的频带减少处理时所使用的语义的实例；
图20图解说明了在执行根据本发明的数据选择处理时所使用的语法的实例；
图21图解说明了在执行根据本发明的数据选择处理时所使用的语义的实例；
图22图解说明了根据本发明的通道数目调节的实例；
图23图解说明了MPEG-21 DIA工具的结构；
图24图解说明了数据选择处理的示例性内容；
图25图解说明了通道数目调节处理的示例性内容；
图26图解说明了频带减少处理的示例性内容；
图27图解说明了一般流式传输系统的外观；
图28是包含音质信息的表格的图形说明，其中使用根据本发明实施例的目标差异等级(ODG)来表达所述音质信息；
图29是包含音质信息的表格的图形说明，其中使用根据本发明另一实施例的失真指数(DI)来表达所述音质信息；
图30是包含新闻的音质信息的表格的图形说明，其中使用根据本发明另一实施例的ODG来表达所述新闻的音质信息；
图31是包含流行音乐的音质信息的表格的图形说明，其中使用根据本发明另一实施例的ODG来表达所述流行音乐的音质信息；
图32图解说明了以XML方式表示的、根据本发明的表格的实例；
图33是根据本发明另一实施例的表格的图形说明；
图34图解说明了关于位片算术编码(BSAC)流的一般比特流描述(gBSD)的实例；以及
图35图解说明了关于BSAC流的gBSD的另一实例。
具体实施方式
在随后的实施例中将参考附图来描述根据本发明的音频信号处理装置的结构和操作。
图1是根据本发明的音频信号处理装置的方框图，该音频信号处理装置包括输入单元10、信号处理单元12以及输出单元14。
图1所示的音频信号处理装置处理将要在连接至网络(未示出)的终端中再现的音频信号。连接至终端的网络的状态不是恒定的而是随时都在变化的。与网络一样，终端的状态也是随时都在变化的。
根据本发明的实施例，图1所示的音频信号处理装置可包含在服务器端(未示出)，其向终端流式传输音频信号。在此，服务器端可包含有一个服务器(未示出)。
在本发明的另一实施例中，图1所示的音频信号处理装置可包含在终端中。
在本发明的又一实施例中，图1所示的音频信号处理装置可包含在服务器端和终端的每一个中。
图1所示的输入单元10接收音频信号并且将其输出到信号处理单元12。
信号处理单元12接收从输入单元10输出的音频信号，并且经由输入端口IN1接收网络信息和终端信息中的至少一个。信号处理单元12使用信号信息以及所接收到的网络信息和终端信息中的至少一个来处理音频信号，并且输出处理结果。在此，网络信息和终端信息可从终端来提供。信号处理单元12可接收来自输入单元10的信号信息，或可以根据从输入单元10所接收的音频信号来生成信号信息。
根据本发明，指示有关网络的信息的上述网络信息可包括关于网络状态的信息。例如，网络信息可包括网络的可用带宽、网络的静态性能、以及随时间变化的网络状态中的至少一个。网络的可用带宽根据经由多条路径连接到网络的用户数目而不断地改变。
假设将CDMA2000 1x作为网络来使用，有关传播媒介变化速度的平均可用带宽能够使用网络监视程序来度量。
图2是图解说明网络的可用带宽的示例性曲线图，其中X轴表示以秒计的时间，并且Y轴表示以kbps(千位/秒)计的网络可用带宽(BW)，其由■表示，以及以千米/小时计的传播媒介的速度，其由◆表示。
上述的平均可用带宽(BW)可以如图2所示的进行变化。
上述网络的静态性能涉及以bits/sec所表示的最大网络带宽。随时间变化的网络状态涉及连续报文分组之间的单路报文分组时延差异、特定通道的报文分组丢失率等等。例如，报文分组丢失率从“0”变化到“1”。当报文分组丢失率为0时，意味着不存在报文分组丢失。当报文分组丢失率是1时，意味着所有的报文分组都丢失了。
同时，指示有关终端的信息的终端信息可以包括终端性能、终端类型、以及终端状态中的至少一个。例如，终端信息可包括允许的比特率、计算时间、功率、存储特性以及终端类型中的至少一个。以kbps计的终端的允许比特率涉及可以通过终端接收的数据量。终端的计算时间涉及例如安装在终端中的中央处理器(CPU)的处理性能。有关终端功率的信息包括以安培每小时计的终端的平均功率消耗。终端的存储特性可包括以Mbytes度量的、终端的存储容量。终端的类型可包括关于例如终端的类型是个人电脑(PC)还是个人数字助理(PDA)的信息。
度量上述终端信息和网络信息的传统方法已经在名称为“System andMethod of Network Adaptive Real-time Multimedia Streaming(网络自适应实时多媒体流式传输的系统和方法)”的美国专利公开第2003/0083870号中公开了。
同时，上述指示有关音频信号的信息的信号信息可包括有关音频信号的比特率或类型的信息。音频信号的高比特率意味着将要流式传输大量数据。音频信号的类型涉及音频信号的属性，也就是，音频信号是新闻还是流行音乐或古典音乐，或者音频信号是单声道信号、立体声信号、还是多声道信号等等。
输出单元14经由输出端口OUT1来流式传输由信号处理单元12所处理的音频信号。输出单元14可存储和再现由信号处理单元12所处理的音频信号。
根据本发明的上述音频信号处理装置可以以不同的形式来实现，例如，仅使用输入单元10和信号处理单元12。例如，当音频信号处理装置包含于终端时，图1的音频信号处理装置可仅用输入单元10和信号处理单元12来实现。
在本发明的实施例中，图1所示的信号处理单元12可用主处理单元20来实现。主处理单元20根据通过输入端口IN1输入的网络信息和终端信息中的至少一个信息，使用通道数目调节处理、数据选择处理以及频带减少处理中的至少一个处理来处理音频信号，并且向输出单元14输出处理结果，。
根据本发明，数据选择处理涉及一种主处理单元20通过其来选择包含在从输入单元10所接收的音频信号中的一部分数据的处理。例如，当从输入单元10所接收的音频信号的比特率大于允许的比特率或可用的带宽时，主处理单元20将截去音频信号的增强数据。音频信号的增强数据被截去是因为增强数据与非增强数据相比包含更重要的数据。主处理单元20可以根据音频信号的比特率截去从输入单元10所接收的音频信号的增强数据。根据本发明，当执行数据选择处理时，以比特为单位或以层为单位来截去增强数据。根据本发明，可预先确定从输入音频信号中所截去的增强数据的最大数目。从输入单元10输出的音频信号可以包括有关可被截去的增强数据的最大数目的信息。
根据本发明，上述频带减少处理涉及主处理单元20通过其来删除从输入单元10所接收的音频信号中的高频分量的处理。例如，当从输入单元10所接收的音频信号的比特率大于允许的比特率或允许的带宽时，音频信号的高频分量将被主处理单元20删除。音频信号的高频分量被删除是因为人类听觉系统对于高频分量的变化比较不敏感。主处理单元20可以根据音频信号的比特率来删除从输入单元10所接收到的音频信号的高频分量。根据本发明，可预先确定将被删除的、音频信号的高频分量的最大数目。从输入单元10所输出的音频信号可以包括有关可被删除的高频分量的最大数目的信息。
根据本发明，通道数目调节处理涉及主处理单元20通过其来调节从输入单元10所接收的音频信号的通道数目的处理。在此，音频信号能够以立体声模式、单声道模式、或诸如5.1环绕模式的多声道模式从输入单元10被发送到信号处理单元12。例如，当从输入单元10所接收到的音频信号的比特率大于允许的比特率或允许的带宽时，主处理单元20将撤消(drop)一个或多个音频信号的通道。同时，当从输入单元10所接收到的音频信号的比特率小于允许的比特率或允许的带宽时，主处理单元20将添加一个或多个音频信号的通道。同样，主处理单元20可以取决于输入音频信号的比特率来撤消或添加从输入单元10所接收到的音频信号的通道数目。在此，根据本发明，可以预先确定能够被撤消或添加的通道的最大数目、通道数目、和/或通道结构中的至少一个。从输入单元10所输出的音频信号可以包括以下信息，即，有关可被撤消或添加的通道的最大数目和/或通道数目，以及通道结构的信息。通道结构指示将要被撤消或添加的通道是右通道、左通道还是环绕通道。
与数据选择处理或频带减少处理相比，使用通道数目调节处理能够截去更大量的数据。所以，当音频信号的比特率很大时，主处理单元20可以执行通道数目调节处理，并且当音频信号的比特率不大时，主处理单元20可以执行数据选择处理和/或频带减少处理。
例如，当从输入单元10所接收到的音频信号的比特率等于允许的比特率或可用的比特率时，主处理单元20可向输出单元14输出音频信号而不用执行任何与音频信号有关的处理，诸如数据选择处理、频带减少处理以及通道数目调节处理。输出单元14通过输出端口OUT1来流式传输通过信号处理单元12的主处理单元20从输入单元10所接收的全部音频信号。当图1的音频信号处理装置安装在服务器端时，输出单元14向终端流式传输音频信号。
从图1所示的输入单元10输入到信号处理单元12的音频信号可以是一个压缩的音频信号或者是非压缩的音频信号。压缩的音频信号在被压缩前可以经历以帧为单元的变换。例如，被压缩的音频信号可以是一个提供可伸缩性功能的比特流，诸如具有细粒度可伸缩性(FGS)的MPEG-4 BSAC(Bit SlicedArithmetic Coding，位片算术编码)，或一个MPEG-4 AAC(Advanced AudioCoding，高级音频编码)可伸缩比特流。BSAC已经在ISO/IEC14495-3：2001中详细的描述了。例如，非压缩音频信号可以包括PCM(脉冲编码调制)数据或波数据(wave data)。
仅当输入音频信号是压缩的比特流时，图1所示的信号处理单元12才执行数据选择处理。然而，信号处理单元12可对于压缩的音频信号和非压缩的音频信号执行通道数目调节处理或频带减少处理。
图3是根据本发明图1所示主处理单元20的实施例20A的方框图，其包括第一比较部件40、第二比较部件42以及子处理部件44。
图3所示的第一比较部件40通过输入端口IN2接收网络信息，通过输入端口IN3接收信号信息，并且比较所接收到的网络信息和信号信息，以及向子处理部件44输出比较的结果。
第二比较部件42通过输入端口IN3接收信号信息，通过输入端口IN4接收终端信息，并且比较所接收到的信号信息和终端信息，以及向子处理部件44输出比较的结果。
子处理部件44响应在第一和第二比较部件40和42中所进行的比较结果来对通过输入端口IN3从输入单元10接收到的音频信号进行处理，并且经由输出端口OUT2向输出单元14输出处理结果。例如，子处理部件44响应在第一和第二比较部件40和42中所进行的比较结果，来对音频信号进行通道数目调节处理、数据选择处理以及频带减少处理中的至少一个处理。
图4是本发明图1所示的信号处理单元12的另一实例12A的方框图，其包括主处理单元60和处理确定单元62。
在根据本发明的实施例12A中，图4所示的主处理部件60经由输入端口IN5来接收网络信息和终端信息中的至少一个信息，并且经由输入端口IN6接收音频信号和/或信号信息。主处理单元60根据在处理确定单元62进行的确定的结果对音频信号进行通道数目调节处理、数据选择处理或频带减少处理，并且经由输出端口OUT3向输出单元14输出该处理结果。
图1所示的主处理单元20根据网络信息和终端信息中的至少一个信息来独立地确定将被施加到音频信号的处理的类型，并且使用确定的处理来处理音频信号。然而，图4所示的主处理单元60使用在处理确定单元62中所确定的处理来处理音频信号。除了这一差异之外，图4所示的主处理单元60与图1所示的主处理单元20是相同的。所以，可以如图3所示的那样来实现主处理单元60。在如图3所示的那样来实现主处理单元60的情形中，如果子处理单元44使用在第一和第二比较部件40和42中所执行的比较结果认识到应当使用通道数目调节处理、数据选择处理以及频带减少处理中的至少一种处理来处理音频信号，则子处理部件44使用由处理确定单元62所确定的处理来处理音频信号。
图4所示的处理确定单元62根据经由输入端口IN5输入的网络信息和终端信息中的至少一个信息确定通道数目调节处理、数据选择处理和频带减少处理之中将被执行的处理，并且向主处理单元60输出确定的结果。
在本发明的实施例中，处理确定单元62可以在通道数目调节处理、数据选择处理和频带减少处理之中确定一种处理类型，所述确定的处理使得终端能够再现一个最高质量的音频信号。
在本发明的另一个实施例中，处理确定单元62根据从输入单元10所输入的音频信号中所包括的至少一个附加信息，在通道数目调节处理、数据选择处理和频带减少处理之中确定一个处理。在此，附加信息可包括用户爱好和元数据中的至少一个。元数据是指表示音频信号的原始数据的属性的数据，而不是音频信号本身的原始数据。
在本发明的又一实施例中，处理确定单元62可以在通道数目调节处理、数据选择处理和频带减少处理之中确定一个处理，所述确定的处理保证最高质量的音频信号再现并且满足附加信息。
为此目的，根据本发明，处理确定单元62使用表格来确定将被施加到音频信号的处理。在此情况下，处理确定单元62可以通过输入端口IN7接收外部生成的表格。可选地，处理确定单元62使用通过输入端口IN5所输入的终端信息和网络信息中的至少一个信息以及通过输入端口IN6所输入的音频信号来生成表格。
图5是图4所示的处理确定单元62的实施例62A的方框图，其包括处理选择部件80和处理程度确定部件82。
处理选择部件80通过输入端口IN8接收网络信息和终端信息中的至少一个信息，并且通过输入端口IN9接收外部生成的表格。
在本发明的实施例中，在该表格中，网络信息和终端信息中的至少一个信息与通道数目调节处理，数据选择处理和频带减少处理中的至少一个处理相映射。因此，处理选择部件80使用该表格来搜索与通过输入端口IN8所接收的网络信息和终端信息中的至少一个信息相对应的处理，并且通过输出端口OUT4将已搜索到的处理输出给主处理单元60。为此目的，可以使用查找表(未示出)来实现处理选择部件80，该查找表包含作为数据的相应处理并且具有根据网络信息和终端信息中的至少一个分类的地址。
在本发明的另一实施例中，在该表格中，网络信息和终端信息中的至少一个信息以及音频质量信息和附加信息中的至少一个信息与通道数目调节处理，数据选择处理和频带减少处理中的至少一个处理相映射。因此，处理选择部件80使用该表格来搜索相应于通过输入端口IN8输入的网络信息和终端信息中的至少一个信息以及音频质量信息和附加信息中的至少一个信息的处理，并且通过输出端口OUT4将已搜索到的处理输出给主处理单元60。为此目的，可以使用查找表(未示出)来实现该处理选择部件80，该查找表包含作为数据的相应处理并且具有根据网络信息和终端信息中的至少一个信息以及音频质量信息和附加信息中的至少一个信息来分类的地址。
主处理单元60经由输出端口OUT 4接收从处理选择部件80输出的关于所选择的处理的信息，并且使用从已接收的信息中所感知到的处理来处理音频信号。
在根据本发明的一个实施例中，包含在表格中的音频质量信息可以表示为目标差异等级(ODG)和失真指数(DI)中的至少一个。在这里，可以使用被称为音频质量感知评估(PEAQ)的目标测量方法来获得ODG和DI。大的ODG或DI表明小的失真。在“ITU-R推荐标准BS.1387”中描述了所述PEAQ方法。ODG可以在-4至0的范围内变化，其相应于根据ITU-R BS.562的在1-5之间变化的5等级标准。DI具有与ODG相同的意义，但具有不受限制的范围。通常，使用ODG表示高音频质量，而使用DI来表示低或中音频质量。即，可以使用ODG来形成包括高音频质量信息的表格，而可以使用DI来形成包括低或中音频质量信息的表格。
根据本发明的另一个实施例，包含在表格中的音频质量信息可以是声音亮度，声像宽度和声音清晰度中的至少一个。声音亮度与音频信号的频率，例如频带宽度相关。声像宽度根据声源位置而与音频质量相关。例如，立体声道模式的声像宽度比单声道模式的声像宽度要大。声音清晰度与失真噪音相关。
根据本发明，可以通过目标收听测试来测定声音亮度、声像宽度和声音清晰度。当测试音乐时，该目标收听测试可以为MUSHRA(Multi Stimulus test withHidden Reference and Anchors，具有隐藏参考和定位符的多刺激测试)或者为ITU-R建议标准BS.1116。在该目标收听测试中，音频质量被作为一个整体来评估而不分类为声音亮度、声像宽度和声音清晰度。
根据本发明，可以使用目标评估法来分离地评估声音亮度和声音清晰度。该目标评估方法可以是ITU-R推荐标准BS.1387或者可以使用具有基于PEAQ的特征提取的MOVs(Model Output Value，模型输出值)来执行。例如，在目标评估方法的最后阶段，通过使提取的特征值(即，MOVs)与基本音频质量的总体值相映射，可以使用ODG或DI来表示基本音频质量。
图5所示的处理确定单元62A可以进一步包括处理程度确定部件82。当在处理选择部件80中选择了处理时，处理程度确定部件82使用通过输入端口IN9而从外部输入的表格以及通过输入端口IN8输入的网络信息和终端信息中的至少一个信息来确定处理程度，并通过输出端口OUT5将已确定的处理程度输出到主处理单元60。在这里，该处理程度涉及将要在通道数目调节处理中调节的通道数目、将在数据选择处理中从音频信号中选择的数据量、以及将在频带减少处理中从音频信号中删除的高频成分数量中的至少一个。
为此目的，在通过输入端口IN9输入的表格中，每一处理的程度可以与网络信息和终端信息中的至少一个信息相映射。例如，可以使用存储了处理程度作为数据的查找表(未示出)来实现处理程度确定部件82，其响应由在处理选择部件80中选择的处理所组成的地址以及通过输入端口IN8输入的网络信息和终端信息中的至少一个信息，通过输出端口OUT5将数据输出至主处理单元60。在此，主处理单元60使用在处理程度确定部件82中所确定的处理程度来处理音频信号。
根据本发明，处理程度确定部件82可检测音频信号的类型、使用检测的结果和所述表格来确定处理程度、以及通过输出端口OUT5将确定的处理程度输出到主处理单元60。为此目的，处理程度确定部件82可以通过输入端口IN10接收指示音频信号类型的信号信息。
图6是根据本发明的图4所示处理确定单元62的另一个实施例62B的方框图，其包括表格生成部件100、处理选择部件102、处理程度确定部件104。
与图5所示的处理确定单元62A不同，图6所示的处理确定单元62B进一步包括用于生成表格的表格生成部件100。除了包括表格生成部件100之外，图6所示的处理确定单元62B执行与图5所示的处理确定单元62A相同的操作。因此，图6所示的处理选择部件102和处理程度确定部件104分别执行与图5所示的处理选择部件80和处理程度确定部件82相同的功能，因而这里省略有关它们的详细的描述。
图6所示的表格生成部件100使用通过输入端口IN8输入的网络信息和终端信息中的至少一个信息以及通过输入端口IN10从输入单元10输入的音频信号来生成上述各种类型的表格，并且将已生成的表格输出至处理选择部件102。为此目的，根据例如ITU-R推荐标准BS.1387，该表格生成单元100可以使用网络信息和终端信息中的至少一个信息以及音频信号来生成各种类型的表格。
在下文中，将参考附图来描述根据本发明的音频信号处理方法。
图7是说明根据本发明的音频信号处理方法的流程图，该方法包括使用网络信息和终端信息中的至少一个信息来处理输入音频信号，以便流式传输所处理的音频信号(操作500到504)。
在根据本发明的音频处理方法中，在操作500中接收音频信号。
在操作500后，使用网络信息和终端信息中的至少一个信息以及信号信息来处理音频信号(操作502)。这里，可以根据网络信息和终端信息中的至少一个信息使用通道数目调节处理、数据选择处理和频带减少处理中的至少一个处理来处理该音频信号。
在操作502后，流式传输已处理过的音频信号(操作504)。
图7所示的操作500、502和504分别可以在图1所示的输入单元10、信号处理单元12和输出单元14中执行。
图7所说明的音频信号处理方法可以在服务器端或在终端执行或者在服务器端和终端两端执行。例如，当在终端执行如图7所说明的音频信号处理方法时，可以只使用操作500和操作502来实现图7中所说明的音频信号处理方法。
假定网络信息为网络的可用带宽，终端信息为终端的允许比特率，并且信号信息为音频信号的比特率，将参考附图来描述根据本发明的图7所示的操作502的具体实施例。
图8是说明根据本发明的图7所示的操作502的实施例502A的流程图，其包括使用音频信号的比特率与允许比特率以及与可用带宽之间的比较结果对音频信号进行处理(操作600到604)。
在操作500之后，确定音频信号的比特率是否小于终端的允许比特率(操作600)。如果确定音频信号的比特率小于允许比特率，则确定音频信号的比特率是否大于网络的允许带宽(操作602)。
如果确定音频信号的比特率不大于网络的可用带宽，那么处理转到操作504。在这种情况下，流式传输在操作500所输入的音频信号，而不对音频信号进行任何处理。
然而，如果确定音频信号的比特率不小于允许比特率或者音频信号的比特率大于允许比特率，则使用通道数目调节处理，数据选择处理和频带减少处理中的至少一个处理来对音频信号进行处理(操作604)。
根据本发明，与图8的实施例502A不同，操作602可以在操作600之前执行。在这种情况下，如果确定音频信号的比特率不大于允许带宽，那么处理转到操作600；并且如果确定音频信号的比特率大于可用带宽，那么处理转到操作604。接着，如果在操作600中确定音频信号的比特率小于允许比特率，那么处理转到操作504。与之相反，如果确定音频信号的比特率不小于允许比特率，那么处理转到操作604。
图8中操作600到604可以在图1所示的主处理单元20或者图4所示的主处理单元60中执行。操作600到602可以分别在第二和第一比较部件42和40中执行。在这种情况下，在图3所示的子处理部件44中执行操作604。
图9是说明根据本发明的图7所示的操作502的实施例502B的流程图，其包括使用音频信号的比特率与允许比特率以及与可用带宽之间的比较结果来处理音频信号(操作700到708)。
与图8所示的实施例502A不同，在图9所示的实施例502B中，在数据选择处理或频带减少处理之前执行通道数目调节处理。如上所述，在数据选择处理或频带减少处理之前执行通道数目调节处理的原因在于：与使用数据选择处理或频带减少处理来处理音频信号相比，使用通道数目调节处理来处理音频信号使得能够从音频信号中截去更多的数据。
在操作500之后，确定音频信号的比特率是否小于终端的允许比特率(操作700)。如果确定音频信号的比特率小于允许比特率，则确定音频信号的比特率是否大于网络的可用带宽(操作702)。如果确定音频信号的比特率大于可用带宽或者音频信号的比特率不小于允许比特率，则执行通道数目调节处理(操作704)。在操作704后，确定使用通道数目调节处理处理过的音频信号的比特率是否大于可用带宽(操作706)。如果确定使用通道数目调节处理处理过的音频信号的比特率大于可用带宽，则使用数据选择处理和频带减少处理中的至少一个处理来处理音频信号(操作708)。
然而，如果在操作702中确定音频信号的比特率不大于网络的可用带宽，和如果在操作706中确定使用通道数目调节处理处理过的音频信号的比特率不大于可用带宽，则处理转到操作504。在这种情况下，流式传输在操作500中输入的音频信号，而不需要对音频信号进行任何处理(操作504)。
根据本发明，与图9所示的实施例502B不同，操作702可以在操作700之前执行。在这种情况下，如果在操作702中确定音频信号的比特率不大于可用带宽，则处理转到操作700；如果确定音频信号的比特率大于可用带宽，则处理转到操作704。接着，如果在操作700中确定音频信号的比特率小于允许的比特率，则处理转到操作504。否则，如果确定音频信号的比特率不小于允许比特率，则处理转到操作704。
图9中的操作700到708可以在图1所示的主处理单元20或在图4所示的主处理单元60中执行。操作700可以在第二比较部件42中执行，以及操作702和706可以在第一比较部件40中执行。在这种情况下，操作704和706在图3所示的子处理单元44中执行。
图10是说明根据本发明的图7中的操作502的另一个实施例502C的流程图，其包括使用通过表格而确定的处理来处理音频信号(操作800-804)。
首先，使用音频信号以及网络信息与终端信息中的至少一个信息来生成如上所述的表格(操作800)。在操作800之后，使用该表格来确定通道数目调节处理、数据选择处理和频带减少处理中的至少一个将要执行的处理(操作802)。在操作802之后，使用所确定的处理来处理音频信号(操作804)。根据本发明，图10所示的实施例502C可以不包括操作800。在这种情况下，使用预先生成的表格。
根据本发明，图10所示的实施例502C可以是图8中操作604的实施例或者是图9中操作708的实施例。在这种情况下，图10所说明的操作800可以在图6所示的表格生成部件100中执行。操作802可以在图4所示的处理确定单元、图5所示的处理选择部件80、或者图6所示的处理类型选择部件102中执行。操作804可以在图4所示的主处理单元60中执行。
图11是说明根据本发明的图10中的操作804的实施例804A的流程图，其包括根据音频信号的类型确定处理程度(操作900到904)。
在操作802之后，使用信号信息检测音频信号的类型(操作900)。在操作900之后，如上所述使用检测的结果和表格来确定处理程度(操作902)。在操作902之后，根据已确定的处理程度来处理音频信号，并且处理转到操作504(操作904)。这里，图11所说明的操作900和902可以在图5所示的处理程度确定部件82中或者在图6所示的处理程度确定部件104中执行。操作904可以在图4所示的主处理单元60中执行。
在下文中，将描述一种根据本发明的、存储有计算机程序的计算机可读记录介质。
一种根据本发明的计算机可读记录介质，其存储了至少一个用于控制上述的音频信号处理装置的计算机程序，该音频信号处理装置用于处理将由连接至网络的终端再现的音频信号，该计算机可读记录介质还存储了一种用于接收音频信号并且使用网络信息和终端信息中的至少一个信息以及信号信息来处理音频信号的计算机程序。存储在计算机可读记录介质中的计算机程序可以使计算机有效地流式传输已处理的音频信号。
在此，音频信号的处理可以包括根据网络信息和终端信息中的至少一个信息来确定通道数目调节处理、数据选择处理和频带减少处理中的至少一个将要执行的处理，以及使用已确定的处理来处理音频信号。
在本发明的一个实施例中，音频信号的处理可以包括确定音频信号的比特率是否小于相应于一种终端信息的终端的比特率；如果确定音频信号的比特率小于允许比特率，则确定音频信号的比特率是否大于网络的可用带宽；并且如果确定音频信号的比特率不小于该允许比特率或者音频信号的比特率大于可用带宽，则执行通道数目调节处理、数据选择处理和频带减少处理中的至少一个处理。
在本发明的另一实施例中，音频信号的处理可以包括确定音频信号的比特率是否小于终端的允许比特率；如果确定音频信号的比特率小于允许比特率，则确定音频信号的比特率是否大于网络的可用带宽；如果确定音频信号的比特率大于可用带宽或者该音频信号的比特率不小于允许比特率，则执行通道数目调节处理；确定使用通道数目调节处理处理过的音频信号的比特率是否大于可用带宽；以及如果确定使用通道数目调节处理处理过的音频信号的比特率大于可用带宽，则执行数据选择处理和频带减少处理中的至少一个处理。
或者，音频信号的处理可以包括使用表格来确定通道数目调节处理、数据选择处理和频带减少处理中的至少一个处理，以及使用所确定的处理来处理音频信号。在此，音频信号的处理可以进一步的包括使用网络信息和终端信息中的至少一个以及音频信号来生成所述表格。
音频信号的处理可以包括使用表格来确定处理程度并且根据所确定的处理程度来处理音频信号。在这种情况下，音频信号的处理可以包括检测音频信号的类型、使用所检测结果和表格来确定处理程度、以及根据所确定的处理程度来处理音频信号。
总之，根据本发明的音频信号处理装置和在音频信号处理装置的不同实施例的每个部件中执行的处理可以使用软件来实现，该软件存储在计算机可读记录介质上并被运行以控制计算机。
因此根据本发明的上述音频信号处理装置和方法以及计算机可读记录介质可以应用于MPEG-21 DIA(数字项目适配)。
在下文中，为了便于理解本发明，将参考附图来描述应用于MEPG-21 DIA的、根据本发明的音频信号处理装置和方法的示例应用程序，其中将通道数目调节处理表示为“ChannelDropping”，将数据选择处理表示为“audioFGS”，以及将频带减少处理表示为“spectralBandReduction”。
图12至21图解说明在用于音频适配的MPEG-21中所使用的语言的语法和语义的具体实施例。
在图12至21中，加框部分920、922、924和926由根据本发明的音频信号处理装置和方法控制。例如，如图17所示，当以5.1环绕模式传输音频信号时，可以为每个通道分配通道编号。然而，本发明并不只限于这一模式而是可以应用于5.1或更大的多通道模式。在这种情况下，可将通道数目调节处理实现为数据选择处理或频带减少处理的属性。
图22图解说明了根据本发明的通道数目调节处理的一个实施例。
例如，当将通道数目调节处理实现为数据选择处理的属性时，通道数目调节处理可表示成图22那样。在图22中说明的具体实施例中，假定当网络的初始可用带宽为128千位/秒并且减少到例如90千位/秒时，信号处理单元12执行数据选择处理，并且当可用带宽减少到例如54千位/秒时，执行通道数目调节处理。
在下文中，为了便于理解本发明，将参考附图描述应用于MEPG-21 DIA的、根据本发明的音频信号处理装置和方法的示例性应用程序，其中将通道数目调节处理表示为“ChannelDropping”，将数据选择处理表示为“ScalableAudio”，以及将频带减少处理表示为“SpectralBandReduction”。
图23图解说明了用于MPEG-21 DIA的工具的结构。如图23所说明的那样，存在三种MPEG-21 DIA工具。在图23中所说明的结构中，可以应用根据本发明的音频信号处理装置和方法来提供终端和网络QoS(服务质量)1000。
图24图解说明了数据选择处理的内容，所述数据选择处理在2003年10月在澳大利亚布里斯班市提出的“Study of ISO/IEC 21000-7 FCD-Part 7：DigitalItem Adaptation，ISO/IEC JTC1/SC29/WG11/N5933”中和2003年12月在夏威夷提出的“ISO/IEC 21000-7 FDIS-Part 7：Digital Item Adaptation，Adaptation QoSTypeification Scheme of ISO/IEC JTC1/SC29/WG11/N6168”中被采用。在图24中“termID”表示根据分类表的项目ID。
当网络信息是以千位/秒来度量的网络可用带宽、终端信息是以毫秒来度量的终端计算时间、以及使用平均评价值(MOS)将音质表示为信噪比时，可以如图24所图解说明的那样来表示在信号处理单元12中执行的数据选择处理。
图25图解说明了通道数目调节处理的内容，所述通道数目调节处理在2003年10月在澳大利亚布里斯班市提出的“Study of ISO/IEC 21000-7 FCD-Part 7：Digital Item Adaptation，ISO/IEC JTC1/SC29/WG11/N5933”和2003年12月在夏成夷提出的“ISO/IEC 21000-7 FDIS-Part 7：Digital Item Adaptation，AdaptationQoS Classification Scheme of ISO/IEC JTC1/SC29/WG11/N6168”中被采用。
例如，当以5.1环绕模式传输音频信号并且终端只支持立体声模式时，可以使用在信号处理单元12中执行的通道数目调节处理来将要被撤消的通道数目设置为4，并且可以将通道类型设置为由“L”标明的左声道，由“R”标明的右声道，或者由“S”标明的环绕声道。另一方面，当以立体声模式传输音频信号时，可以将要撤消的通道数目设置为“1”并且可以将通道类型设置为由“M”表示的单声道。可以如图25所说明的那样来表示通道数目调节处理。
图26图解说明了频带减少处理的内容，该频带减少处理在2003年10月在澳大利亚布里斯班市提出的“Study of ISO/IEC 21000-7 FCD-Part 7：Digital ItemAdaptation，ISO/IEC JTC1/SC29/WG11/N5933”和2003年12月在夏威夷提出的“ISO/IEC 21000-7 FDIS-Part 7：Digital Item Adaptation，Adaptation QoSClassification Scheme of ISO/IEC JTC1/SC29/WG11/N6168”中被采用。例如，可以如图26所说明的那样来表示频带减少处理。
在下文中，在假定了网络为CDMA2000 1x的情况下，将参考附图来描述在根据本发明的音频信号处理装置和方法以及计算机可读记录介质中使用的上述表格的具体实施例。
图27图解说明了一种通用流式传输系统的结构，其包括服务器1100、交换式集线器1102和1112、路由器1104和1108、控制器1106和1110、终端1114和网络1116。
图27所示的服务器1100包括图1所示的信号处理装置。终端1114通过交换式集线器1112连接至网络1116。在此，假定当网络1116具有如图2所说明的可用带宽时，服务器1100生成伪报文分组并且将它们传输至终端1114；假定伪报文分组的比特率在4千位/秒到86千位/秒之间变化；假定在服务器1100中使用数据选择处理进行处理的音频信号为MPEG-4 BSAC比特流；并且假定没有使用数据选择处理进行处理的音频信号为MPEG-4 AAC比特流。同时也假定存在三种音频信号：流行音乐、新闻和古典音乐。同时还假定使BSAC比特流的最顶层提供网络CDMA2000 1x的最大可用带宽，例如每通道86千位特/秒；BSAC流的较低层可以提供具有步长为每通道1千位/秒的细粒度可伸缩性的(FGS)功能，并且以86千位/秒来编码AAC流。
在这种情况下，尽管可用带宽随时间变化，但是当在终端1114中再现BSAC比特流时，可以流式传输BSAC比特流而不用具有缓冲时间段。但是，会在BSAC比特流中发生频繁的中断。可以以牺牲音质为代价，来实现使用在信号处理单元12中执行的数据选择处理的无缝数据再现。
图28是根据本发明具体实施例的包括音质信息的表格的图形说明，该音质信息使用目标差异等级来表示。在图28中，横轴表示使用数据选择处理截去的层数(#)，而纵轴表示ODG。图29是根据本发明实施例的包括音质信息的表格的图形说明，该音质信息使用失真指数(DI)来表示。在图29中，横轴表格示使用数据选择处理截去的层数(#)，而纵轴表示DI。在图28和29中，“■”表示新闻音频信号，“◆”表示流行音乐音频信号，而“▲”表示古典音乐音频信号。
图28和29的曲线图被认为是一种表格。例如，可表示为图28或图29的曲线图的表格可以存储网络信息和终端信息中的至少一个信息、表示为ODG和/或DI的音质信息、以及将由数据选择处理所截去的层数(#)，它们互相匹配。图5的处理程度确定部件82或者图6的处理程度确定部件104可以使用图28或29的曲线图来确定音频信号的处理程度。例如，当在处理确定单元62的处理选择部件80或102中将数据选择处理确定为将被施加到音频信号的处理时，处理程度确定部件82或104通过输入端口IN8接收网络信息和终端信息中的至少一个信息，并搜索图28的表格中的ODG值或搜索图29的表格中的DI值，所述值对应于与所接收的网络信息和终端信息中的至少一个信息相映射的音质信息。在此，处理程度确定部件82或104也搜索将在图28或图29的表格中截去的层数(#)来作为处理程度，其与所搜索的ODG值和DI值相匹配。
主处理单元60根据在处理程度确定部件82或104中确定的处理程度来删除音频信号的增强层。当处理程度确定部件82或104确定处理程度时，可以考虑音频信号的类型，即音频信号是新闻、流行音乐还是古典音乐。
图30是根据本发明具体实施例的包括新闻的音质信息的表格的图形说明，所述新闻是使用ODG表示的。在图30中，横轴表示以千位/秒表示的网络的可用带宽，而纵轴表示ODG。
图31为根据本发明具体实施例的包括流行音乐的音质信息的表格的图形说明，所述流行音乐是使用ODG表示的。在图31中，横轴表示以千位/秒表示的网络可用带宽，而纵轴表格示ODG。
在图30和31中，当信号处理单元12只使用数据选择处理来处理音频信号时，所期望的音质通过“■”来表示；当信号处理单元12使用数据选择处理和通道数目调节处理两者来处理音频信号时，所期望的音质通过“▲”来表示。
图30和31的曲线图被认为是一种表格。例如，可以表示为图30或31的曲线图的表格可以存储相应于网络信息的可用带宽、相应于信号信息的音频信号的类型、以及使用OSG表示的音质信息，它们是互相匹配的。如图4所示的处理确定单元62可以使用图30或31的曲线图来确定将要施加到音频信号的处理的类型。在此，处理确定单元62可以通过输入端口IN7来接收相应于图30和/或图31的曲线图的表格，或者可以使用通过输入端口IN5输入的网络信息和终端信息中的至少一个信息以及通过输入端口IN6输入的音频信号来生成相应于图30或图31的曲线图的表格。
最初，处理确定单元62使用通过输入端口IN6接收的信号信息来确定音频信号是新闻还是流行音乐。如果确定音频信号为新闻，则处理确定单元62就可以使用图30的曲线图来确定将被施加到音频信号的处理的类型。然而，如果确定音频信号是流行音乐，则处理确定单元62可以使用图31的曲线图来确定将被施加到音频信号的处理类型。同样，当根据音频信号的类型确定将被参考的曲线图时，处理确定单元62确定作为通过输入端口IN5接收的网络信息的可用带宽是否属于图30或图31的可用带宽的哪一个范围，即在图30的范围A、B、C和D或者在图31的范围E、F、G和H中的哪一个范围内。
如果确定通过输入端口IN5输入的可用带宽属于图30的范围A或者图31的范围E，其中在所述范围内只出现标记◆，则处理确定单元62将数据选择处理和通道数目调节处理两者确定为将被施加到音频信号的处理。然而，如果确定通过输入端口IN5输入的可用带宽属于图30的范围D或图31的范围H，其中在所述范围内只出现标记■，则处理确定单元62仅将数据选择处理确定为将被施加到音频信号的处理。
然而，如果确定通过输入端口IN5输入的可用带宽属于图30的范围B或C，或者属于图31的范围F或G，其中在所述范围内出现标记■和◆两者，则处理确定单元62选择具有指示较高音质的较高ODG的标记■和◆中的一个。例如，当可用带宽属于图30的范围B时，标图■具有比标图◆要高的、产生出较高的音质的ODG，以致处理确定单元62将数据选择处理确定为将被施加到音频信号的处理。然而，当可用带宽属于图30的范围C或者图31的范围G时，标图◆具有比标图■要高的、产生出较高的音质的ODG，处理确定单元62将数据选择处理和通道数目调节处理两者确定为将被施加到音频信号的处理。接着，主处理单元60使用在处理确定单元62中确定的处理来处理音频信号。
图32图解说明了根据本发明的表格的具体实施例，它是以MPEG-21中所使用的XML表示的。图32的表格包括涉及网络信息的可用带宽(BANDWIDTH)区域1200、数据选择处理(SCALABLE_AUDIO)区域1202、通道数目调节区域1024和1206、以及音质(Utility)区域1208。
在图32的可用带宽区域1200中，使用浮点(float)矢量来表示可用带宽值。在数据选择处理区域1202中，使用整数矢量来表示将被截去的增强层数目。在通道数目调节区域1204中，使用整数矢量来表示要被撤消的通道的数目。在通道数目调节区域1206中，表示了通道的结构。在音质区域1208中，使用浮点矢量来表示使用ODG分级的音质。关于在通道数目调节区域1206中表示的通道结构，“M”表示单声道，“L”表示左声道，而“R”表示右声道。
在图32的表格中，可用带宽、数据选择处理中的处理程度、通道数目调节处理中的处理程度、以及音质是一对一匹配的。例如，如箭头1300所指示的那样，可用带宽16与数据选择处理中的处理程度27相匹配；如箭头1302所指示的那样，处理程度27与对应于将被撤消的通道数目的值1相匹配；如箭头1304所指示的那样，对应于将被撤消的通道数目的值1与单声道M相匹配；以及如箭头1306所指示的那样，指示通道结构的单声道M与音质值-3.86相匹配。
当终端的类型为个人计算机时，向终端提供具有每通道64千位/秒比特率的BSAC比特流的增强层，并且使用Entrek Toolbox软件来计算作为终端信息而被提供的终端的数据处理能力，例如计算时间。随后将参考附图描述可以用于处理音频信号的表格的具体实施例。
图33是根据本发明一个实施例的表格的图解说明。在图33中，横轴表示将使用数据选择处理截去的层的数目(#)，而纵轴表示终端的数据处理能力的百分比，尤其表示终端的计算时间的百分比。◆表示单声道音频信号，而■表示立体声音频信号。
图33的曲线图被认为是一种表格。例如，能够表示为如图33的曲线图的表格可以存储对应于终端信息的终端的计算时间(CPU％)、对应于信号信息的音频信号的类型、以及使用数据选择处理截去的层的数目，它们相互匹配。例如，当在处理选择部件80或102中将数据选择处理确定为将被施加到音频信号的处理时，则图5的处理程度确定部件82或图6的处理程度确定部件104可以使用图33的曲线图来确定与将从音频信号中截去的层的数目(#)相对应的处理程度。例如，处理程度确定部件82或104通过输入端口IN8接收终端信息并且在表格中搜索将被截去的层的数目(#)，该被截去的层的数目与所接收的终端信息的终端计算时间相映射。处理程度确定部件82或104将搜索到的处理程度(#)输出至主处理单元60。接着，主处理单元60根据由处理程度确定部件82或104所搜索到的处理程度(#)来截去音频信号的增强层的数目。在这种情况下，当处理程度确定部件82或104确定处理程度时，可以考虑音频信号是单声道类型、立体声类型还是多通道类型。
在下文中，将描述当信号处理单元12在数据选择处理中以比特为单元而不是以层为单元截去增强数据时，根据本发明的音频信号处理装置和方法以及计算机可读记录介质。
根据本发明，可以将一般比特流描述(gBSD)应用于MPEG-4 BSAC音频信号。如上所述，可以使用数据选择处理来处理这一BSAC音频信号。在这种情况下，可以以比特为单元充分地截去音频信号的所有增强层，但是基础层的长度不会变化。所述基础层的非变化长度提供解码处理中的、并需要在数据选择处理期间更新的重要信息。另外，压缩BSAC音频信号以报头开始，该报头在执行数据选择处理时保持不变。
图34图解说明了根据本发明使用在MPEG-21中所使用的语言的、有关BSAC音频信号的gBSD的一个实施例。图35图解说明了根据本发明使用在MPEG-21中所使用的语言的、有关BSAC音频信号的gBSD的另一个实施例
参考图34和图35，很显然，比特流的描述非常的相似，并且很显然是以绝对模式来处理帧而以相对模式来处理层。在具有标记“bitrate”的子单元中，将列举出增强层。因此，当执行数据选择处理时，可以使用标记来识别将被截去的增强层。
当处理一个比特流也就是一个压缩的音频信号时，不再需要采样频率、通道数目和窗口长度，而只需要将在数据选择处理中截去的增强数据的数目和ID。根据由增强层的相对大小所标志的偏移量来截去帧，并且适配诸如帧大小和顶层之类的参数。在这种情况下，当根据本发明在数据选择处理中以比特为单元截去增强数据并且已截去比特和没有截去比特之间的边界与层之间的边界相匹配时，可以提高音质。
如上所述，在根据本发明的音频信号处理装置和方法以及计算机可读记录介质中，可以使用随时变化的实时网络信息和/或终端信息来有效地流式传输音频信号，以致使得从例如服务器端发送的音频信号能够由终端无缝地接收，并且能够由终端以最佳、高音质再现。
虽然参考本发明的实施例而详细地示出并描述了本发明，但是本领域普通技术人员应当理解，可以在不违背由随后的权利要求所限定的本发明的精神和范围的情况下，在形式和细节上作出各种变化。
Claims (59)
1.一种用于处理将在与网络连接的终端中再现的音频信号的装置，该装置包括：
输入单元，用于接收音频信号；以及
信号处理单元，使用网络信息和终端信息中的至少一个信息以及信号信息来处理从输入单元所接收的音频信号，
其中网络信息涉及有关网络的信息，网络状态任何时候都在改变，终端信息涉及有关终端的信息，终端状态任何时刻都在改变，以及信号信息涉及有关音频信号的信息。
2.如权利要求1的装置，还包括流式传输已被处理过的音频信号的输出单元。
3.如权利要求1的装置，其中所述信号处理单元包括一个主处理单元，该主处理单元根据网络信息和终端信息中的至少一个信息，使用通道数目调节处理、数据选择处理和频带减少处理中的至少一个处理来处理音频信号，所述通道数目调节处理用于调节音频信号的通道数目，所述数据选择处理用于选择在音频信号中包含的一些数据，所述频带减少处理用于删除音频信号的高频分量。
4.如权利要求3的装置，其中所述网络信息包括有关网络状态的信息，终端信息包括有关终端的性能、类型和状态中的至少一个的信息，以及信号信息包括有关音频信号比特率的信息。
5.如权利要求4的装置，其中所述有关网络状态的信息包括网络可用带宽、网络的静态性能以及网络的时变条件中的至少一个；
所述终端信息包括有关终端的允许比特率、终端的数据处理性能、终端的功率、终端的存储能力以及终端的类型中的至少一个；以及
信号信息进一步包括音频信号的类型。
6.如权利要求3的装置，其中所述主处理单元从输入单元接收压缩过的音频信号，并且使用数据选择处理来处理所述压缩过的音频信号。
7.如权利要求6的装置，其中所述压缩过的音频信号是具有细粒度可伸缩性功能的比特流。
8.如权利要求7的装置，其中压缩过的音频信号包括位片算术编码(BSAC)比特流和高级音频编码可伸缩(AAC)比特流中的至少一个。
9.如权利要求3的装置，其中所述主处理单元从输入单元接收压缩过的音频信号或未压缩过的音频信号，并且使用通道数目调节处理和频带减少处理来处理音频信号。
10.如权利要求3的装置，其中当执行数据选择处理时，主处理单元以比特为单元仅选择部分数据。
11.如权利要求3的装置，其中当执行数据选择处理时，主处理单元以层为单元仅选择部分数据。
12.如权利要求3的装置，其中主处理单元包括：
第一比较部件，用于比较信号信息和网络信息；
第二比较部件，用于比较信号信息和终端信息；以及
子处理部件，响应在第一和第二比较部件中所执行的比较的结果来处理通过输入单元输入的音频信号。
13.如权利要求3的装置，其中当执行数据选择处理时，信号处理单元根据网络信息和终端信息中的至少一个信息选择非增强部分作为在音频信号中包含的一些数据。
14.如权利要求3的装置，其中当执行通道数目调节处理时，信号处理单元根据网络信息和终端信息中的至少一个，通过减少音频信号的通道数目来调节音频信号的通道数目。
15.如权利要求3的装置，其中所述信号处理单元进一步包括一个处理确定单元，该处理确定单元根据网络信息和终端信息中的至少一个，确定通道数目调节处理、数据选择处理以及频带减少处理中将被施加到音频信号的一个处理，并且主处理单元使用在处理确定单元中所确定的处理来处理音频信号。
16.如权利要求15的装置，其中所述处理确定单元根据从输入单元输入的音频信号中所包括的音质信息和附加信息中的至少一个信息，在通道数目调节处理、数据选择处理以及频带减少处理中确定一个处理。
17.如权利要求16的装置，其中所述附加信息对应于用户偏好信息和元数据中的至少一个。
18.如权利要求15的装置，其中所述处理确定单元包括处理选择部件，该处理选择部件使用一个表格从通道数目调节处理、数据选择处理以及频带减少处理中选择一个将被施加到音频信号的处理类型，所述表格将网络信息和终端信息中的至少一个信息与通道数目调节处理、数据选择处理以及频带减少处理中的至少一个处理相映射。
19.如权利要求16的装置，其中所述处理确定单元包括处理选择部件，该处理选择部件使用一个表格从通道数目调节处理、数据选择处理以及频带减少处理中选择一个将被施加到音频信号的处理类型，所述表格将网络信息和终端信息中的至少一个信息以及音质信息和附加信息中的至少一个信息与通道数目调节处理、数据选择处理和频带减少处理中的至少一个处理相映射。
20.如权利要求19的装置，其中使用目标差异等级和失真指数中的至少一个来生成包含音质信息的表格。
21.如权利要求20的装置，其中使用目标差异等级来生成包含高音频质量信息的表格，使用失真指数来生成包含低或中等音频质量信息的表格。
22.如权利要求19的装置，其中使用声音亮度、声像宽度以及声音清晰度中的至少一个来生成包含音质信息的表格，所述声音亮度与音频信号的频率相关，所述声像宽度根据声源位置而与音质相关，所述声音清晰度与失真噪声相关。
23.如权利要求22的装置，其中使用目标收听测试来评估声音亮度、声像宽度以及声音清晰度。
24.如权利要求23的装置，其中所述目标收听测试是具有隐藏参考和定位符的多刺激测试。
25.如权利要求23的装置，其中所述目标收听测试是ITU-R推荐标准BS.1116。
26.如权利要求22的装置，其中使用目标评估方法来分离地评估声音亮度和声音清晰度。
27.如权利要求26的装置，其中目标评估方法是ITU-R推荐标准BS.1116。
28.如权利要求18的装置，其中所述处理确定单元还包括一个处理程度确定部件，该处理程度确定部件使用使得将被调节的通道数目、将被选择的数据量、以及将被删除的高频分量的数量与网络信息和终端信息中的至少一个相映射的表格来确定处理程度，所述处理程度是通道数目调节处理中将被调节的通道数据、数据选择处理中将被选择的数据量、以及频带减少处理中将从音频信号中删除的高频分量的数量中的至少一个；以及
主处理单元使用在处理程度确定部件中所确定的处理程度来处理音频信号。
29.如权利要求19的装置，其中所述处理确定单元还包括一个处理程度确定部件，该处理程度确定部件使用使得将被调节的通道数目、将被选择的数据量、以及将被删除的高频分量的数量与网络信息和终端信息中的至少一个相映射的表格来确定处理程度，所述处理程度是通道数目调节处理中将被调节的通道数据、数据选择处理中将被选择的数据量、以及频带减少处理中将从音频信号中删除的高频分量的数量中的至少一个；以及
主处理单元使用在处理程度确定部件中所确定的处理程度来处理音频信号。
30.如权利要求29的装置，其中所述处理程度确定部件检查音频信号的类型并且使用检查的结果和表格来确定处理程度。
31.如权利要求18的装置，其中所述处理确定单元还包括表格生成部分，该表格生成部分使用网络信息和终端信息中的至少一个以及从输入单元所接收到的音频信号来生成表格，并且向处理选择部件输出所生成的表格。
32.如权利要求31的装置，其中所述表格生成部件根据音频信号以及网络信号和终端信号中的至少一个，使用ITU-R推荐标准BSS.1387来生成表格。
33.如权利要求1的装置，应用于MPEG-21。
34.一种用于处理将在与网络连接的终端中再现的音频信号的方法，该方法包括：
接收音频信号；以及
使用网络信息和终端信息中的至少一个信息以及信号信息来处理所述音频信号，
其中网络信息涉及有关网络的信息，网络状态任何时候都在改变，终端信息涉及有关终端的信息，终端状态任何时刻都在改变，以及信号信息涉及有关音频信号的信息。
35.如权利要求34的方法，进一步包括对处理过的音频信号进行流式传输。
36.如权利要求34的方法，其中所述音频信号的处理包括根据网络信息和终端信息中的至少一个信息，来执行调节音频信号的通道数目的通道数目调节处理、选择在音频信号中包含的一些数据的数据选择处理、以及删除音频信号的高频分量的频带减少处理中的至少一个处理。
37.如权利要求36的方法，其中所述音频信号的处理包括：
确定对应于信号信息的音频信号的比特率是否小于对应于终端信息的终端的允许的比特率；
如果确定音频信号的比特率小于允许的比特率，则确定音频信号的比特率是否大于对应于网络信息的网络的可用带宽；以及
如果确定音频信号的比特率不小于允许的比特率或大于可用带宽，则执行通道数目调节处理、数据选择处理以及频带减少处理中的至少一个。
38.如权利要求36的方法，其中所述音频信号的处理包括：
确定对应于信号信息的音频信号的比特率是否小于对应于终端信息的终端的可用比特率；
如果确定音频信号的比特率小于允许的比特率，则确定音频信号的比特率是否大于对应于网络信息的网络的可用带宽；
如果确定音频信号的比特率大于可用带宽或不小于允许的比特率，则执行通道数目调节处理；
确定使用通道数目调节处理处理过的音频信号的比特率是否大于可用带宽；以及
如果确定使用通道数目调节处理处理过的音频信号的比特率大于可用带宽，则执行数据选择处理和频带减少处理中的至少一个。
39.如权利要求36的方法，其中所述音频信号的处理包括：
使用表格来确定通道数目调节处理、数据选择处理以及频带减少处理中将被施加到音频信号的至少一个处理；以及
使用所确定的处理来处理音频信号，
其中在所述表格中，通道数目调节处理、数据选择处理以及频带减少处理中的至少一个处理与网络信息和终端信息中的至少一个信息相映射。
40.如权利要求39的方法，其中所述音频信号的处理进一步包括使用网络信息和终端信息中的至少一个以及音频信号来产生所述表格。
41.如权利要求39的方法，其中，在所述表格中，通道数目调节处理、数据选择处理、以及频带减少处理中的至少一个处理与网络信息和终端信息中的至少一个信息以及终端的音质信息和附加信息中的至少一个信息相映射。
42.如权利要求40的方法，其中，在所述表格中，通道数目调节处理、数据选择处理以及频带减少处理中的至少一个处理与网络信息和终端信息中的至少一个信息以及终端的音质信息和附加信息中的至少一个信息相映射。
43.如权利要求39的方法，其中，在所述表格中，处理程度与网络信息和终端信息中的至少一个相映射，所述处理程度是通道数目调节处理中将被调节的通道数目、数据选择处理中将从音频信号中选择的数据量、以及频带减少处理中将要删除的音频信号中的高频分量的数量中的至少一个；以及
音频信号的处理包括根据处理程度来处理音频信号。
44.如权利要求43的方法，其中所述音频信号的处理包括：
检查音频信号的类型；
使用检查的结果和表格来确定处理程度；以及
根据所确定的处理程度来处理音频信号。
45.一种存储有至少一个计算机程序的计算机可读记录介质，所述计算机程序根据将要施加到音频信号的处理来控制一个装置，所述音频信号将在与网络相连接的终端上再现，
其中所述程序包括：
接收音频信号；以及
使用网络信息和终端信息中的至少一个信息以及信号信息来处理音频信号，
其中网络信息涉及有关网络的信息，网络状态任何时候都在改变，终端信息涉及有关终端的信息，终端状态任何时刻都在改变，以及信号信息涉及有关音频信号的信息。
46.如权利要求45的计算机可读记录介质，还存储有关于流式传输被处理过的音频信号的处理的计算机程序。
47.如权利要求45的计算机可读记录介质，其中音频信号的处理包括根据网络信息和终端信息中的至少一个来执行调节音频信号的通道数目的通道数目调节处理、选择在音频信号中包含的一些数据的数据选择处理、以及删除音频信号的高频分量的频带减少处理中的至少一个处理。
48.如权利要求47的计算机可读记录介质，其中所述音频信号的处理包括：
确定对应于信号信息的音频信号的比特率是否小于对应于终端信息的终端的允许的比特率；
如果确定音频信号的比特率小于允许的比特率，则确定音频信号的比特率是否大于对应于网络信息的网络的可用带宽；以及
如果确定音频信号的比特率不小于允许的比特率或大于可用带宽，则执行通道数目调节处理、数据选择处理以及频带减少处理中的至少一个。
49.如权利要求47的计算机可读记录介质，其中所述音频信号的处理包括：
确定对应于信号信息的音频信号的比特率是否小于对应于终端信息的终端的可用比特率；
如果确定音频信号的比特率小于允许的比特率，则确定音频信号的比特率是否大于对应于网络信息的网络的可用带宽；
如果确定音频信号的比特率大于可用带宽或不小于允许的比特率，则执行通道数目调节处理；
确定使用通道数目调节处理处理过的音频信号的比特率是否大于可用带宽；以及
如果确定使用通道数目调节处理处理过的音频信号的比特率大于可用带宽，则执行数据选择处理和频带减少处理中的至少一个。
50.如权利要求47的计算机可读记录介质，其中所述音频信号的处理包括：
使用表格来确定通道数目调节处理、数据选择处理以及频带减少处理中将被施加到音频信号的至少一个处理；以及
使用所确定的处理来处理音频信号，
其中在所述表格中，通道数目调节处理、数据选择处理以及频带减少处理中的至少一个处理与网络信息和终端信息中的至少一个信息相映射。
51.如权利要求50的计算机可读记录介质，其中所述音频信号的处理进一步包括使用音频信号以及网络信息和终端信息中的至少一个来生成所述表格。
52.如权利要求50的计算机可读记录介质，其中，在所述表格中，通道数目调节处理、数据选择处理、以及频带减少处理中的至少一个处理与网络信息和终端信息中的至少一个信息以及终端的音质信息和附加信息中的至少一个信息相映射。
53.如权利要求51的计算机可读记录介质，其中，在所述表格中，通道数目调节处理、数据选择处理以及频带减少处理中的至少一个处理与网络信息和终端信息中的至少一个信息以及终端的音质信息和附加信息中的至少一个信息相映射。
54.如权利要求50的计算机可读记录介质，其中，在所述表格中，处理程度与网络信息和终端信息中的至少一个相映射，所述处理程度是通道数目调节处理中将被调节的通道数目、数据选择处理中将从音频信号中选择的数据量、以及频带减少处理中将要删除的音频信号中的高频分量的数量中的至少一个；以及
音频信号的处理包括根据处理程度来处理音频信号。
55.如权利要求54的计算机可读记录介质，其中所述音频信号的处理包括：
检查音频信号的类型；
使用检查的结果和表格来确定处理程度；以及
根据所确定的处理程度来处理音频信号。
56.一种用于处理将在与网络连接的终端中再现的音频信号的装置，该装置包括：
输入单元，用于接收音频信号；以及
信号处理单元，使用网络信息和终端信息中的至少一个信息以及信号信息来处理从输入单元所接收的音频信号，
其中网络信息涉及有关网络的信息，网络状态任何时候都在改变，终端信息涉及有关终端的信息，终端状态任何时刻都在改变，以及信号信息涉及有关音频信号的信息；并且信号处理单元包括一个处理确定单元，该处理确定单元根据网络信息和终端信息中的至少一个，确定通道数目调节处理、数据选择处理以及频带减少处理中将被施加到音频信号的一个处理。
57.如权利要求56的装置，其中所述处理确定单元根据从输入单元输入的音频信号中所包括的音质信息和附加信息中的至少一个信息，在通道数目调节处理、数据选择处理以及频带减少处理中确定一个处理。
58.一种用于处理将在与网络连接的终端中再现的音频信号的方法，该方法包括：
接收音频信号；以及
使用网络信息和终端信息中的至少一个信息以及信号信息来处理所述音频信号，
其中网络信息涉及有关网络的信息，网络状态任何时候都在改变，终端信息涉及有关终端的信息，终端状态任何时刻都在改变，以及信号信息涉及有关音频信号的信息；并且所述音频信号的处理包括根据网络信息和终端信息中的至少一个信息，确定通道数目调节处理、数据选择处理以及频带减少处理中将被施加到音频信号的一个处理。
59.如权利要求58的方法，其中处理的确定根据输入音频信号中所包含的音质信息和附加信息中的至少一个信息，在通道数目调节处理、数据选择处理以及频带减少处理中确定一个将被施加到音频信号的处理。
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US45253403P | 2003-03-07 | 2003-03-07 | |
| US60/452,534 | 2003-03-07 | ||
| US48726403P | 2003-07-16 | 2003-07-16 | |
| US60/487,264 | 2003-07-16 | ||
| KR1020040013679A KR100561867B1 (ko) | 2003-03-07 | 2004-02-27 | 오디오 신호 처리 장치와 방법 및 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체 |
| KR13679/2004 | 2004-02-27 | ||
| KR13679/04 | 2004-02-27 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1551588A true CN1551588A (zh) | 2004-12-01 |
| CN1551588B CN1551588B (zh) | 2011-11-30 |
Family
ID=32830688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200410063134.4A Expired - Fee Related CN1551588B (zh) | 2003-03-07 | 2004-03-08 | 处理音频信号的装置和方法 |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP1455504B1 (zh) |
| JP (1) | JP4970710B2 (zh) |
| CN (1) | CN1551588B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102057634A (zh) * | 2008-06-11 | 2011-05-11 | 日本电信电话株式会社 | 音频质量估计方法、音频质量估计设备以及程序 |
| CN101661504B (zh) * | 2008-08-29 | 2012-08-22 | 奥多比公司 | 动态改变播放列表 |
| CN108028051A (zh) * | 2015-09-15 | 2018-05-11 | 雅马哈株式会社 | 评估装置和记录介质 |
| CN108717855A (zh) * | 2018-04-27 | 2018-10-30 | 深圳市沃特沃德股份有限公司 | 噪音处理方法与装置 |
| CN108806712A (zh) * | 2018-04-27 | 2018-11-13 | 深圳市沃特沃德股份有限公司 | 减少频域处理量的方法与装置 |
| CN110275138A (zh) * | 2019-07-16 | 2019-09-24 | 北京工业大学 | 一种利用优势声源成分移除的多声源定位方法 |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6307487B1 (en) | 1998-09-23 | 2001-10-23 | Digital Fountain, Inc. | Information additive code generator and decoder for communication systems |
| US7068729B2 (en) | 2001-12-21 | 2006-06-27 | Digital Fountain, Inc. | Multi-stage code generator and decoder for communication systems |
| US9240810B2 (en) | 2002-06-11 | 2016-01-19 | Digital Fountain, Inc. | Systems and processes for decoding chain reaction codes through inactivation |
| EP2355360B1 (en) | 2002-10-05 | 2020-08-05 | QUALCOMM Incorporated | Systematic encoding and decoding of chain reaction codes |
| EP2722995B1 (en) | 2003-10-06 | 2023-04-19 | QUALCOMM Incorporated | Soft-Decision Decoding of Multi-Stage Chain Reaction Codes |
| WO2005112250A2 (en) | 2004-05-07 | 2005-11-24 | Digital Fountain, Inc. | File download and streaming system |
| KR101292851B1 (ko) | 2006-02-13 | 2013-08-02 | 디지털 파운튼, 인크. | 가변적 ｆｅｃ 오버헤드 및 보호 구간을 이용하는 스트리밍및 버퍼링 |
| US9270414B2 (en) | 2006-02-21 | 2016-02-23 | Digital Fountain, Inc. | Multiple-field based code generator and decoder for communications systems |
| US7971129B2 (en) | 2006-05-10 | 2011-06-28 | Digital Fountain, Inc. | Code generator and decoder for communications systems operating using hybrid codes to allow for multiple efficient users of the communications systems |
| US9419749B2 (en) | 2009-08-19 | 2016-08-16 | Qualcomm Incorporated | Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes |
| US9178535B2 (en) | 2006-06-09 | 2015-11-03 | Digital Fountain, Inc. | Dynamic stream interleaving and sub-stream based delivery |
| US9432433B2 (en) | 2006-06-09 | 2016-08-30 | Qualcomm Incorporated | Enhanced block-request streaming system using signaling or block creation |
| US9386064B2 (en) | 2006-06-09 | 2016-07-05 | Qualcomm Incorporated | Enhanced block-request streaming using URL templates and construction rules |
| US9380096B2 (en) | 2006-06-09 | 2016-06-28 | Qualcomm Incorporated | Enhanced block-request streaming system for handling low-latency streaming |
| US9209934B2 (en) | 2006-06-09 | 2015-12-08 | Qualcomm Incorporated | Enhanced block-request streaming using cooperative parallel HTTP and forward error correction |
| RU2010114256A (ru) | 2007-09-12 | 2011-10-20 | Диджитал Фаунтин, Инк. (Us) | Формирование и передача исходной идентификационной информации для обеспечения надежного обмена данными |
| US9281847B2 (en) | 2009-02-27 | 2016-03-08 | Qualcomm Incorporated | Mobile reception of digital video broadcasting—terrestrial services |
| JP2010232861A (ja) * | 2009-03-26 | 2010-10-14 | Sony Corp | 情報処理装置、音声信号処理方法、およびプログラム |
| US9288010B2 (en) | 2009-08-19 | 2016-03-15 | Qualcomm Incorporated | Universal file delivery methods for providing unequal error protection and bundled file delivery services |
| US20110096828A1 (en) * | 2009-09-22 | 2011-04-28 | Qualcomm Incorporated | Enhanced block-request streaming using scalable encoding |
| US9917874B2 (en) | 2009-09-22 | 2018-03-13 | Qualcomm Incorporated | Enhanced block-request streaming using block partitioning or request controls for improved client-side handling |
| US20110280311A1 (en) | 2010-05-13 | 2011-11-17 | Qualcomm Incorporated | One-stream coding for asymmetric stereo video |
| US8918533B2 (en) | 2010-07-13 | 2014-12-23 | Qualcomm Incorporated | Video switching for streaming video data |
| US9185439B2 (en) | 2010-07-15 | 2015-11-10 | Qualcomm Incorporated | Signaling data for multiplexing video components |
| US9596447B2 (en) | 2010-07-21 | 2017-03-14 | Qualcomm Incorporated | Providing frame packing type information for video coding |
| US9456015B2 (en) | 2010-08-10 | 2016-09-27 | Qualcomm Incorporated | Representation groups for network streaming of coded multimedia data |
| US8958375B2 (en) | 2011-02-11 | 2015-02-17 | Qualcomm Incorporated | Framing for an improved radio link protocol including FEC |
| US9270299B2 (en) | 2011-02-11 | 2016-02-23 | Qualcomm Incorporated | Encoding and decoding using elastic codes with flexible source block mapping |
| KR101885377B1 (ko) | 2011-05-04 | 2018-08-29 | 엘지전자 주식회사 | 서비스 목록 표시 방법 및 그를 이용한 영상 표시 장치 |
| US9253233B2 (en) | 2011-08-31 | 2016-02-02 | Qualcomm Incorporated | Switch signaling methods providing improved switching between representations for adaptive HTTP streaming |
| US9843844B2 (en) | 2011-10-05 | 2017-12-12 | Qualcomm Incorporated | Network streaming of media data |
| US9294226B2 (en) | 2012-03-26 | 2016-03-22 | Qualcomm Incorporated | Universal object delivery and template-based file delivery |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5892754A (en) * | 1996-06-07 | 1999-04-06 | International Business Machines Corporation | User controlled adaptive flow control for packet networks |
| KR100219610B1 (ko) * | 1996-09-20 | 1999-10-01 | 윤종용 | 디지탈 신호의 기록 및 재생장치 |
| JP3622365B2 (ja) * | 1996-09-26 | 2005-02-23 | ヤマハ株式会社 | 音声符号化伝送方式 |
| JPH1070467A (ja) * | 1997-04-30 | 1998-03-10 | Mitsubishi Electric Corp | オーディオ信号符号化・復号化装置及びオーディオ信号再生装置 |
| JPH11341074A (ja) * | 1998-05-21 | 1999-12-10 | Canon Inc | 適応型情報通信システム及び適応型情報通信方法 |
| JP2000324171A (ja) * | 1999-05-14 | 2000-11-24 | Namco Ltd | データ転送装置及びデータ転送方法、並びにデータ配布方法 |
| JP4622121B2 (ja) * | 2000-03-13 | 2011-02-02 | ソニー株式会社 | データ変換装置および方法、並びに、符号化装置および方法 |
| GB2367219A (en) * | 2000-09-20 | 2002-03-27 | Vintage Global | Streaming of media file data over a dynamically variable bandwidth channel |
| JP2002135127A (ja) * | 2000-10-26 | 2002-05-10 | Canon Inc | 信号処理装置 |
| JP2002152301A (ja) * | 2000-11-10 | 2002-05-24 | Sony Corp | データ通信システム、データ受信装置、データ通信方法、並びにプログラム記憶媒体 |
| US6961754B2 (en) * | 2001-01-12 | 2005-11-01 | Telefonaktiebolaget Lm Ericsson | Interactive access, manipulation, sharing and exchange of multimedia data |
| EP1248431B1 (en) * | 2001-03-27 | 2007-10-31 | Sony Deutschland GmbH | Method for achieving end-to-end quality of service negotiation for distributed multimedia applications |
| JP2002297496A (ja) * | 2001-04-02 | 2002-10-11 | Hitachi Ltd | メディア配信システム及びマルチメディア変換サーバ |
| JP2002344941A (ja) * | 2001-05-14 | 2002-11-29 | Sony Corp | コンテンツ品質制御システム |
| US20020188745A1 (en) * | 2001-06-11 | 2002-12-12 | Hughes David A. | Stacked stream for providing content to multiple types of client devices |
| JP2002374298A (ja) * | 2001-06-13 | 2002-12-26 | Oki Electric Ind Co Ltd | トランスコーダー装置 |
-
2004
- 2004-03-05 EP EP04251309.3A patent/EP1455504B1/en not_active Expired - Lifetime
- 2004-03-08 CN CN200410063134.4A patent/CN1551588B/zh not_active Expired - Fee Related
- 2004-03-08 JP JP2004064664A patent/JP4970710B2/ja not_active Expired - Fee Related
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102057634A (zh) * | 2008-06-11 | 2011-05-11 | 日本电信电话株式会社 | 音频质量估计方法、音频质量估计设备以及程序 |
| US8868222B2 (en) | 2008-06-11 | 2014-10-21 | Nippon Telegraph And Telephone Corporation | Audio quality estimation method, audio quality estimation apparatus, and computer readable recording medium recording a program |
| CN102057634B (zh) * | 2008-06-11 | 2015-01-28 | 日本电信电话株式会社 | 音频质量估计方法以及音频质量估计设备 |
| CN101661504B (zh) * | 2008-08-29 | 2012-08-22 | 奥多比公司 | 动态改变播放列表 |
| CN108028051A (zh) * | 2015-09-15 | 2018-05-11 | 雅马哈株式会社 | 评估装置和记录介质 |
| CN108717855A (zh) * | 2018-04-27 | 2018-10-30 | 深圳市沃特沃德股份有限公司 | 噪音处理方法与装置 |
| CN108806712A (zh) * | 2018-04-27 | 2018-11-13 | 深圳市沃特沃德股份有限公司 | 减少频域处理量的方法与装置 |
| WO2019205796A1 (zh) * | 2018-04-27 | 2019-10-31 | 深圳市沃特沃德股份有限公司 | 减少频域处理量的方法、装置及设备 |
| CN108717855B (zh) * | 2018-04-27 | 2020-07-28 | 深圳市沃特沃德股份有限公司 | 噪音处理方法与装置 |
| CN108806712B (zh) * | 2018-04-27 | 2020-08-18 | 深圳市沃特沃德股份有限公司 | 减少频域处理量的方法与装置 |
| CN110275138A (zh) * | 2019-07-16 | 2019-09-24 | 北京工业大学 | 一种利用优势声源成分移除的多声源定位方法 |
| CN110275138B (zh) * | 2019-07-16 | 2021-03-23 | 北京工业大学 | 一种利用优势声源成分移除的多声源定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1455504B1 (en) | 2014-11-12 |
| JP2004272262A (ja) | 2004-09-30 |
| JP4970710B2 (ja) | 2012-07-11 |
| EP1455504A2 (en) | 2004-09-08 |
| CN1551588B (zh) | 2011-11-30 |
| EP1455504A3 (en) | 2005-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1551588A (zh) | 处理音频信号的装置和方法及存储计算机程序的记录介质 | |
| CN1209744C (zh) | 编码装置和解码装置 | |
| CN1126265C (zh) | 可伸缩的立体声音频编码/解码方法和装置 | |
| Vetro | MPEG-21 digital item adaptation: enabling universal multimedia access | |
| CN1211775C (zh) | 在数字音频产生过程中用于适应主要内容音频和次要内容剩余音频能力的方法 | |
| CN1248194C (zh) | 编码装置、解码装置及其系统和方法 | |
| JP5542306B2 (ja) | オーディオ信号のスケーラブル符号化及び復号 | |
| CN1765072A (zh) | 多声道音频扩展支持 | |
| CN1910655A (zh) | 构造多通道输出信号或生成下混信号的设备和方法 | |
| CN1568466A (zh) | 用于传递媒体信号的系统和方法 | |
| CN1265557C (zh) | 无线电传送/接收装置和方法、系统 | |
| CN1748443A (zh) | 多声道音频扩展支持 | |
| CN1498396A (zh) | 音频编码与解码设备及其方法 | |
| CN1757020A (zh) | 信息处理装置、信息处理方法以及计算机程序 | |
| CN101036183A (zh) | 立体声兼容的多声道音频编码 | |
| CN1702974A (zh) | 用于对数字信号编码/解码的方法和设备 | |
| CN1890711A (zh) | 将数字信号编码成可扩缩比特流的方法和对可扩缩比特流解码的方法 | |
| CN1557072A (zh) | 使用缓冲器大小计算用于拥塞控制的传输速率的数据通信方法和系统 | |
| CN1311424C (zh) | 音频数据内插、关联信息制作、内插信息发送装置和方法 | |
| CN101031959A (zh) | 带有压缩侧面信息的多声道分级音频编码 | |
| CN1957399A (zh) | 语音/音频解码装置以及语音/音频解码方法 | |
| CN1767395A (zh) | 整数数据的无损自适应编码与解码 | |
| CN1809873A (zh) | 接收装置,发送装置及传输系统 | |
| CN1659507A (zh) | 用于适应音频信号的装置和方法 | |
| CN1930888A (zh) | 用于压缩域视频编辑的方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20111130 Termination date: 20180308 |