CN106463139B - 解码装置、解码方法和程序 - Google Patents

解码装置、解码方法和程序 Download PDF

Info

Publication number
CN106463139B
CN106463139B CN201580032910.0A CN201580032910A CN106463139B CN 106463139 B CN106463139 B CN 106463139B CN 201580032910 A CN201580032910 A CN 201580032910A CN 106463139 B CN106463139 B CN 106463139B
Authority
CN
China
Prior art keywords
audio
audio elements
decoding
buffer
combination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580032910.0A
Other languages
English (en)
Other versions
CN106463139A (zh
Inventor
山本优树
知念徹
史润宇
平林光浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN106463139A publication Critical patent/CN106463139A/zh
Application granted granted Critical
Publication of CN106463139B publication Critical patent/CN106463139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Communication Control (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Stereophonic System (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

提供了一种解码装置，该解码装置包括至少一个缓冲器和至少一个处理器。该至少一个处理器被配置为至少部分基于至少一个缓冲器的尺寸从输入比特流中的多个音频元素中选择至少一个音频元素；并且通过对至少一个音频元素解码生成音频信号。

Description

解码装置、解码方法和程序
技术领域
本技术涉及解码装置、解码方法和程序。具体地，本技术涉及能够解码具有不同硬件规模的设备中的比特流的解码装置、解码方法和程序。
相关申请的交叉引证
本申请要求于2014年6月26日提交的日本优先权专利申请JP 2014-130898的权益，将其全部内容通过引证结合于此。
背景技术
作为用于执行优于相关技术中的5.1-信道环绕再现的高逼真感觉的再现或者传递多个音频元素(对象(object))的编码技术，通常使用了3D音频标准(例如，参考非专利文献1至3)。
在3D音频标准中，用于存储被提供至解码器的输入比特流的缓冲器的尺寸的最小值被限定为最小解码器输入缓冲器尺寸。例如，在非专利文献3中的部分4.5.3.1中，最小解码器输入缓冲器尺寸被限定为等于6144*NCC(比特)。
在此，NCC是考虑信道数量的缩写，并且在输入比特流中包括的所有音频要素中，表示双信道元素(CPE)的数量的两倍与单信道元素(SCE)的数量之间的总和。
进一步地，SCE是存储了一个信道的音频信号的音频元素，并且CPE是存储了设置为一对的双信道的音频信号的音频元素。因此，例如，输入比特流中包括的SCE的数量可以是5，并且CPE的数量可以是3。在这种情况下，NCC＝5+2*3＝11。
如上所述，在3D音频标准中，当解码器旨在解码输入比特流时，必须保证最小的缓冲器具有限定的尺寸。
参考文献列表
非专利文献
非专利文献1：ISO/IEC JTC1/SC29/WG11N14459,April 2014,Valencia,Spain,"Text of ISO/IEC 23008-3/CD,3D audio"
非专利文献2：INTERNATIONAL STANDARD ISO/IEC 23003-3First edition 2012-04-01Information technology-coding of audio-visual objects-part3:Unifiedspeech and audio coding
非专利文献3：INTERNATIONAL STANDARD ISO/IEC 14496-3 Fourth edition2009-09-01Information technology-coding of audio-visual objects-part3:Audio
发明内容
技术问题
然而，在非专利文献1中的3D音频标准中，SCE的数量和CPE的数量基本上是随意设置的。因此，为了解码通过3D音频标准规定的所有比特流，被提供至解码器的最小解码器输入缓冲器尺寸远大于非专利文献3中的标准中的尺寸。
具体地，在非专利文献1中的3D音频标准中，SCE的数量与CPE的数量之间的总和可被设置为最大值65805。因此，最小解码器输入缓冲器尺寸的最大值由以下表达式表示：最小解码器输入缓冲器尺寸的最大值＝6144*(0+65805*2)＝808611840(比特)，等于约100兆字节(MByte)。
如上所述，当作为最小的必需的缓冲器尺寸的最小解码器输入缓冲器尺寸大的时候，具有小存储容量的平台可能难以保证具有限定尺寸的缓冲器。即，根据设备的硬件规模，可能难以安装解码器。
希望解码具有不同硬件规模的设备中的比特流。
解决问题的技术方案
一些实施方式涉及解码装置。该解码装置包括：至少一个缓冲器；以及至少一个处理器，该至少一个处理器被配置为：至少部分基于至少一个缓冲器的尺寸从输入比特流中的多个音频元素中选择至少一个音频元素；以及通过对至少一个音频元素解码生成音频信号。
一些实施方式涉及解码方法。该方法包括：至少部分基于解码装置的至少一个缓冲器的尺寸从输入比特流中的多个音频元素中选择至少一个音频元素；以及通过对至少一个音频元素解码生成音频信号。
一些实施方式涉及存储处理器可执行指令的至少一个非易失性计算机可读存储介质，当通过至少一个处理器执行处理器可执行指令时，使至少一个处理器执行解码方法。该解码方法包括：至少部分基于解码装置的至少一个缓冲器的尺寸从输入比特流中的多个音频元素中选择至少一个音频元素；以及通过对至少一个音频元素解码生成音频信号。
技术优势
根据本技术的实施方式，可以解码具有不同硬件规模的设备中的比特流。
应当注意的是，不必限制本文中描述的效果，并且可以是本公开内容中描述的效果中的任一个。
附图说明
[图1]图1是示出了输入比特流的构造的示图。
[图2]图2是示出了输入比特流的分配实例的示图。
[图3]图3是示出了优先信息的示图。
[图4]图4是示出了传送比特率的调整的示图。
[图5]图5是示出了传送比特率的调整的示图。
[图6]图6是示出了传送比特率的调整的示图。
[图7]图7是示出了尺寸信息的示图。
[图8]图8是示出了内容传送系统的配置实例的示图。
[图9]图9是示出了解码器的配置实例的示图。
[图10]图10是示出了解码过程的流程图。
[图11]图11是示出了解码器的配置实例的示图。
[图12]图12是示出了解码过程的流程图。
[图13]图13是示出了解码器的配置实例的示图。
[图14]图14是示出了解码过程的流程图。
[图15]图15是示出了解码器的配置实例的示图。
[图16]图16是示出了解码过程的流程图。
[图17]图17是示出了计算机的配置实例的示图。
具体实施方式
在下文中，参考附图，将描述本技术应用的实施方式。
<第一实施方式>
在本技术的实施方式中，具有各种可容许的存储容量的解码器，即，具有不同硬件规模的各种设备能够对存储有经编码的多信道音频信号的输入比特流进行解码。
在本技术的实施方式中，输入比特流中的音频元素的多个组合被限定在输入比特流中，并且通过改变其中被提供至解码器的输入比特流被存储用于音频元素的每个组合的缓冲器尺寸的最小值，可以在不同硬件规模中执行解码。
首先，将描述本技术的实施方式的简要概述。
<关于音频元素的组合的补充定义>
在本技术的实施方式中，在3D音频标准中，可以限定音频元素的多个组合。在此，多个组合被限定为使得输入比特流可以通过具有各种可容许的存储容量的解码器解码。
例如，用于再现一个内容的输入比特流由图1中示出的音频元素组成。应注意，在附图中，一个矩形表示构成输入比特流的一个音频元素。进一步地，由SCE(i)(在此，i是整数)表示的音频元素表示第i个SCE，并且由CPE(i)(在此，i是整数)表示的音频元素表示第i个CPE。
如上所述，SCE是解码一个信道的音频信号所需的数据，即，存储了通过编码一个信道的音频信号所获取的编码数据的音频元素。进一步地，CPE是解码设置为一对的双信道的音频信号所需的数据。
在图1中，CPE(1)是存储了2-信道再现的环绕声的音频元素。在下文中，由CPE(1)形成的一组元素还被称为信道声源组1。
进一步地，SCE(1)、CPE(2)和CPE(3)是存储5-信道再现的环绕声的音频元素。在下文中，由SCE(1)、CPE(2)和CPE(3)形成的一组元素还被称为信道声源组2。
SCE(2)至SCE(23)是存储了22-信道再现的环绕声的音频元素。在下文中，由SCE(2)至SCE(23)形成的一组元素还被称为信道声源组3。
SCE(24)是存储了诸如日语的预设语言作为对象(声音材料)的交互语音的音频元素。在下文中，由SCE(24)形成的一组元素还被称为对象(object)声源组1。同样，SCE(25)是存储了韩语作为对象的交互语音的音频元素。在下文中，由SCE(25)形成的一组元素还被称为对象声源组2。
此外，SCE(26)至SCE(30)是存储了车辆声音等目标的声音的音频元素。在下文中，由SCE(26)至SCE(30)形成的一组元素还被称为对象声源组3。
当该内容意在通过解码输入比特流进行再现时，信道声源组1至3和对象声源组1至3可以被随意组合，并且该内容可以被再现。
在这种情况下，在图1的实例中，信道声源组和对象声源组的音频元素的组合是以下六个组合CM(1)至CM(6)。
组合CM(1)
信道声源组1、对象声源组1、对象声源组3
组合CM(2)
信道声源组1、对象声源组2、对象声源组3
组合CM(3)
信道声源组2、对象声源组1、对象声源组3
组合CM(4)
信道声源组2、对象声源组2、对象声源组3
组合CM(5)
信道声源组3、对象声源组1、对象声源组3
组合CM(6)
信道声源组3、对象声源组2、对象声源组3
这些组合CM(1)至CM(6)被设置为用于分别再现2-信道日语、2-信道韩语、5-信道日语、5-信道韩语、22-信道日语和22-信道韩语的音频元素的组合。
在这种情况下，相应组合所需的解码器的存储容量的量值关系如下。
组合CM(1)、CM(2)<组合CM(3)、CM(4)<组合CM(5)、CM(6)
音频元素的这些组合可以通过将这些组合限定为比特流语法实现。
<最小解码器输入缓冲器的限定的修正>
然而，在3D音频标准中，通过修正以下描述的当前规则以便改变上述组合中的每一个的最小解码器输入缓冲器尺寸，输入比特流可以通过具有各种可容许存储容量的解码器解码。
<当前规则>
最小的解码器输入缓冲器尺寸＝6144*NCC(比特)
如上所述，NCC表示输入比特流中包括的所有音频元素中的CPE的数量的两倍与SCE的数量之间的总和。在当前状态下，假设设备具有自容许存储容量，即，最大可分配缓冲器尺寸小于最小解码器输入缓冲器尺寸(在下文中，还称为必需的缓冲器尺寸)。在设备中，即使当可以为预设组合保证足够的缓冲器尺寸时，也难以解码输入比特流。
因此，在本技术的实施方式中，通过执行以下修正AM1或者修正AM2，根据自身硬件规模，即，容许存储容量，该设备通过使用适合于它们自身的音频元素的组合能够解码并再现内容(输入比特流)。
<修正AM1>
在3D音频标准规定的规则中，NCC是输入比特流中包括的所有音频元素中的CPE的数量的两倍与SCE的数量之间的总和。取而代之，NCC是作为解码目标包括在输入比特流中的音频元素的组合中包括的所有音频元素中的CPE的数量的两倍与SCE的数量之间的总和。
<修正AM2>
音频元素的组合中的每一个的最小解码器输入缓冲器尺寸(必需的缓冲器尺寸)被限定为比特流语法。
通过执行修正AM1或AM2，即使在解码器侧上具有较小容许存储容量的设备中也可以解码输入比特流。因此，以下修正是解码器侧和编码器侧所必需的。
<解码器的信号处理的修正>
通过将自容许存储容量与输入比特流中的音频元素的组合中的每一个的尺寸(必需的缓冲器尺寸)进行比较，解码器指定满足“自容许存储容量等于或大于每个组合的尺寸”条件的音频元素的组合，并且解码满足该条件的任一组合的音频元素。
在此，指定音频元素的组合中的每一个的必需缓冲器尺寸的方法可以应用修正AM1或者修正AM2。
即，在应用修正AM1的情况下，例如，解码器可从存储在获取的输入比特流中的信息指定音频元素的组合，并且可计算音频元素的每个组合的必需缓冲器尺寸。进一步地，在应用修正AM2的情况下，解码器可从输入比特流中读取音频元素的组合中的每一个的必需缓冲尺寸。
音频元素的组合作为解码目标可以是在等于或小于可容许的存储容量的必需缓冲器尺寸的组合中由用户指定的一个组合。进一步地，音频元素的组合作为解码目标可以是在等于或小于容许存储容量的必需缓冲器尺寸的组合中由预设设置选择的一个组合。
在下文中，其中音频元素的组合的必需缓冲器尺寸等于或小于容许存储容量的条件被称为缓冲器尺寸条件。
音频元素的组合作为解码目标可在获取输入比特流之前选择，并且可在获取输入比特流之后选择。即，例如，本技术的实施方式可应用于推送型内容传送系统，诸如电视广播，并且可应用于牵引型内容传送系统，活动图像专家组(MPEG)-基于HTTP的动态自适应流系统代表。
<编码器的操作规则的修正>
编码器通过调节每个时间帧的音频元素(编码数据)的比特的量来执行编码，以便为音频元素的所有组合中的每一个解码修正的最小解码器输入缓冲器尺寸。
即，即使当解码器选择音频元素的某个组合时，编码器在调节分配到每个时间帧的每个信道的编码数据中的比特的量的同时执行编码，以便当解码器侧的缓冲器尺寸是必需的缓冲器尺寸时解码音频元素。在此，短语音频元素可以被解码意味着不导致缓冲器中的上溢和下溢的情况下可以执行解码，该缓冲器中存储有设置为解码目标的组合的音频元素。
如上所述，通过根据解码器侧上的音频元素的组合中的每一个的必需缓冲器尺寸适当地选择音频元素的组合，可以通过具有各种容许存储容量的解码器来解码输入比特流。即，可以对具有不同硬件规模的各种设备中的输入比特流进行解码。
<使用对象优先信息降低传送比特率>
在将本技术的实施方式应用至完整型内容传送系统的情况下，基于元数据等，通过选择并仅获取必需的音频元素，可以降低输入比特流的传送比特率。换言之，通过使解码器不获取不必要的音频元素，可以降低输入比特流的传送比特率。
在此，考虑了由MPEG-DASH代表的完整型内容传送服务。以此方式，用于3D音频的输入比特流被分配至服务器，例如，以下面分配模式(1)或者分配模式(2)这两种方法中的任一方法。
<分配模式(1)>
用于3D音频的输入比特流的全部被分配为单一流。
<分配模式(2)>
用于3D音频的输入比特流被分开并且被分配用于音频元素的组合中的每一个。
具体地，在分配模式(1)中，例如，如图1所示，所有组合的音频元素，即，单个输入比特流，被分配至服务器。输入比特流包括构成所有信道声源组和对象声源组的音频元素。
在这种情况下，例如，在从服务器等提前获取的信息和存储在输入比特流的标题中的信息(元数据)中，解码器通过选择作为解码目标的音频元素的组合并且从服务器仅获取所选组合的音频元素能够执行解码。进一步地，一旦解码器获取输入比特流，则解码器通过从输入比特流选择必需的音频元素能够执行解码。
在分配模式(1)的实例中，针对输入比特流的每个传送速度，即，针对每个传送比特率，可以提供输入比特流并且分配至服务器。
在分配模式(2)中，图1中示出的输入比特流被划分用于音频元素的组合中的每一个，并且例如，如图2所示，通过划分可以获取的每个组合的比特流被分配至服务器。
应注意，在图2中，以类似于图1的方式，一个矩形表示一个音频元素，即，SCE或者CPE。
在这个实例中，在服务器中，由箭头A11表示的组合CM(1)的分量形成的比特流、由箭头A12表示的组合CM(2)的分量形成的比特流、以及由箭头A13表示的组合CM(3)的分量形成的比特流被分配。进一步地，在服务器中，由箭头A14表示的组合CM(4)的分量形成的比特流、由箭头A15表示的组合CM(5)的分量形成的比特流、以及由箭头A16表示的组合CM(6)的分量的比特流被分配。
在这种情况下，解码器通过从服务器等获取的信息中选择作为解码目标的音频元素的组合并且从服务器获取所选组合的音频元素来执行解码。应注意，即使在分配模式(2)的实例中，划分的输入比特流也可为每个传送比特率提供，并且可分配至服务器。
进一步地，当从服务器传输至解码器侧时，以分配模式(1)表示的单个输入比特流可被划分，并且仅由所要求的组合的音频元素形成的比特流可被传输。
当只有作为解码目标的音频元素的组合以此方式获取时，可以降低传送比特率。
例如，只有作为解码目标的音频元素的组合从解码器侧被获取，则基于存储输入比特流的元数据等，可以选择音频元素的组合。在此，音频元素的组合，例如，基于在输入比特流中作为元数据存储并且表示可以从输入比特流获取的音频元素的组合的信息来选择。
除此之外，如果解码器不能获取作为解码目标的组合的音频元素中的不必要的音频元素，则可以进一步降低传送比特率。例如，可以由用户指定这些不必要的音频元素，并且可基于存储在输入比特流中的元数据等进行选择。
具体地，如果基于元数据选择不必要的音频元素，则可基于优先信息执行该选择。该优先信息表示对象的优先级(重要程度)，即，音频元素的优先级。在此，优先信息表示，随着优先信息的值越大，音频元素的优先级越高，并且该元素越重要。
例如，在3D音频标准中，对于每个对象声源，对于每个时间帧，对象优先信息(object_priority)在输入比特流中限定，并且更具体地，在EXT元素内限定。具体地，在3D音频标准中，EXT元素被限定在与SCE或CPE的句法层相同的句法层中。
因此，再现内容的客户端，即，解码器，读取对象优先信息，并且向服务器发布命令，使得服务器不传送其值等于或小于客户端提取确定的阈值的对象的音频元素。从而，可以使从服务器传输的输入比特流(数据)不包括由命令指定的对象声源的音频元素(SCE)，并且因此，可以降低传送数据的比特率。
为了使用优先信息实现降低传送比特率，以下两个过程是必需的：对象优先信息的预取；以及传送比特率调整过程，用于利用修正的最小解码器输入缓冲器尺寸执行解码。
<优先信息的预取>
为了使客户端(解码器)请求服务器不传送特殊对象的音频元素，客户端必须在对象声源的音频元素被传送之前读取对象优先信息。
如上所述，在3D音频标准中，每个目标优先信息包括在EXT元素中。因此，为了预取目标优先信息，例如，EXT元素可分配在以下分配位置A(1)和A(2)处。应注意，尽管不限于这样的实例，但是如果可以预取优先信息，则EXT元素，即，优先信息的分配位置可以是任何位置，并且可以以任何方法获取。
<分配位置A(1)>
EXT元素被提供为单个文件，并且因此，客户端读取与所有帧或者解码开始时的几个预取帧相对应的对象优先信息。
<分配位置A(2)>
EXT元素被分配至比特流中的帧的顶端，并且客户端读取每个时间帧的对象优先信息。
例如，在分配位置A(1)中，例如，如通过图3的箭头A21所示，单个文件(EXT元素)被记录在服务器中。在文件中，存储构成内容的所有对象的每个时间帧的优先信息，即所有对象的音频元素。
在图3中，写有文本“EXT(1)”的单个矩形表示单个EXT元素。在这个实例中，客户端(解码器)在解码开始之前的任意时间从服务器获取EXT元素，并且选择不被传送的音频元素。
例如，在分配位置A(2)中，如通过箭头A22所示，EXT元素被分配至输入比特流的帧的头部，并且被记录在服务器中。在此，EXT元素下面的每个矩形，即，位于附图中下侧上的每个矩形表示与图1的方式相似的单个音频元素(SCE或CPE)。
在这个实例中，在服务器中记录的输入比特流中，EXT元素被进一步分配到图1中示出的结构的头部。
因此，在这种情况下，在作为第一目标的时间帧中，客户端(解码器)接收输入比特流中的EXT元素并且读取优先信息。然后，基于优先信息，客户端选择不被传送的音频元素，并且请求(命令)服务器不传送音频元素。
<传送比特率的调整过程>
随后，将描述利用修正的最小解码器输入缓冲器尺寸执行解码的传送比特率调整过程。
例如，如上所述的服务器，编码器调整音频元素(编码数据)的比特的量，以便利用修正的最小解码器输入缓冲器尺寸解码被分配至服务器的输入比特流的每个音频元素。
因此，当在解码器侧上选定某个组合的音频元素时，例如，如图4所示，即使当输入比特流在被存储在具有必要缓冲器尺寸的缓冲器中的同时被顺次解码时，也不会发生下溢和上溢。
在图4中，垂直轴表示每次存储在解码器侧上的缓冲器中的输入比特流的数据量，并且水平轴表示时间周期。进一步地，在附图中，对角线的倾角表示输入比特流的传送比特率，并且例如，假设传送比特率是输入比特流的传送信道的平均比特率等。
在这个实例中，数据[1]至数据[4]表示与每个时间帧相对应的音频元素被从服务器接收并且存储在缓冲器中的时间周期。a1、b1、b2、c1、c2、d1和d2分别表示在预定时间周期被存储在缓冲器中的数据片段的量。进一步地，垂直轴中的BFZ表示最小解码器输入缓冲器尺寸。
在图4中，当所接收的音频元素通过大量BFZ被存储在解码器的缓冲器中时，开始第一时间帧的音频元素的解码，并且此后以固定时间间隔执行每个时间帧的音频元素的解码。
例如，在时间t1时，具有a1数据量的第一时间帧的数据，即，第一时间帧的音频元素从缓冲器被读取并且被解码。同样，分别在时间t2至t4时，第二时间帧至第四时间帧的音频元素从缓冲器被读取并且被解码。
此时，甚至在任何时间缓冲器中存储的音频元素的数据量等于或大于0，并且等于或小于BFZ。因此，不会发生下溢也不会发生上溢。因此，不间断连续及时地再现内容。
然而，即使选择音频元素的任何组合，在调整编码数据的比特的量的同时执行的编码在构成所选组合的所有音频元素被解码的前提下执行。即，无需考虑构成基于优先信息等而选择的组合的所有音频元素中的一些未被解码情况。
因此，如果作为解码目标的组合的音频元素中的一些目标的音频元素未被解码，则编码器侧上的每个时间帧的比特的量不被调整，并且不与通过在解码器侧上在每个时间帧中的解码所消耗的比特的量匹配。然后，在一些情况下，在解码器侧上发生上溢或下溢，并且难以上述提及的修正的最小解码器输入缓冲器尺寸来执行解码。
因此，在本技术的实施方式中，编码器侧上的比特的量被调整，并且与解码器侧上消耗的比特的量匹配。为了以上述提及的修正的最小解码器输入缓冲器存储执行解码，执行以下传送比特率调整过程RMT(1)或RMT(2)。
<传送比特率调整过程RMT(1)>
不包括在每个时间帧的传送数据中的目标的音频元素的尺寸被读取，由该尺寸计算停止传送的时间周期，并且传送仅在该时间周期中停止。
<传送比特率调整过程RMT(2)>
不包括在每个时间帧的传送数据中的目标的音频元素的尺寸被读取，并且基于该尺寸调整作为传送目标的时间帧的传送率。
在传送比特率调整过程RMT(1)中，例如，如图5所示，仅在预定时间周期中停止输入比特流的传送，从而实际上改变传送比特率。
在图5中，垂直轴表示每次存储在解码器侧上的缓冲器中的输入比特流的数据量，并且水平轴表示时间周期。进一步地，在图5中，与图4情况下的相对应的部分由相同的参考符号和数字表示，并且将适当省略它们的说明。
在这个实例中，在图4中由a1、b1、b2、c1、d1和d2表示的数据量分别由a1'、b1'、b2'、c1'、d1'和d2'表示。
例如，图4中的第一时间帧中的解码目标的音频元素的总数据量是a1，但是在图5中总数据量是a1'，这是因为没有执行预设目标的音频元素的解码。
因此，只有在时间周期T11中，才停止输入比特流的传送。时间周期T11取决于：在第一帧中未被解码的，即，基于优先信息等选择的目标的音频元素的尺寸(数据量)；以及输入比特流的传送比特率，即，附图中的对角线的倾角。
同样，还在第一时间帧的时间帧中，在时间周期T12至T14中的每一个中，停止输入比特流的传送。
在服务器侧可执行传送比特率控制，并且通过在解码器侧上执行缓冲控制可执行传送比特率控制。
当在服务器侧上执行比特率控制时，例如，解码器可指示服务器暂时停止输入比特流的传送，并且服务器可计算传送停止时间周期，以便暂时停止输入比特流的传送。
当通过解码器侧上的缓冲控制执行传送比特率控制时，例如，在将音频元素传送至用于解码的音频缓冲器时，解码器暂时停止从存储有所接收的输入比特流的系统缓冲器传送(存储)音频元素。
在此，例如，系统缓冲器被认为是不仅存储构成内容的语音的输入比特流而且存储构成内容的视频的输入比特流等的缓冲器。进一步地，音频缓冲器是解码缓冲器，该解码缓冲器必须保证缓冲器尺寸等于或大于最小解码器输入缓冲器尺寸。
相反，在传送比特率调整过程RMT(2)中，例如，如图6所示，输入比特流的传送比特率被设置为是可变的。
在图6中，垂直轴表示每次存储在解码器侧上的音频缓冲器中的输入比特流的数据量，并且水平轴表示时间周期。进一步地，在图6中，与图4或图5情况下的相对应的部分由相同的参考符号和数字表示，并且将适当省略它们的描述。
例如，图4中的第一时间帧中的解码目标的音频元素的总数据量是a1，但是在图6中总数据量是a1'，这是因为没有执行预定对象的音频元素的解码。
因此，在获取与第一帧相对应的音频元素之后，在至时间t1的时间周期中，以新的传送比特率执行音频元素的传送。新的传送比特率取决于：在第一帧未被解码的，即，基于优先信息等选择的目标的音频元素的尺寸；以及输入比特流的传送比特率，即，附图中的对角线的倾角。
同样，还在随后的时间周期中，以新计算的传送比特率执行输入比特流的传送。例如，优选的是，在从时间t2至时间t3的时间周期中，新的传送比特率被确定，使得在时间t3时存储在音频缓冲器中的音频元素的总数据量等于图5的实例中的时间t3情况下的总数据量。
在服务器侧可执行传送比特率控制，并且通过在解码器侧上执行缓冲控制可执行传送比特率控制。
当在服务器侧上执行比特率控制时，例如，解码器可向服务器发布输入比特流的信道传送比特率的指令，并且服务器可计算新的传送比特率。
当通过缓冲控制在解码器侧上执行传送比特率控制时，例如，解码器计算新的传送比特率，并且以新的传送比特率将音频元素从系统缓冲器传送到音频缓冲器。
在此，如果执行传送比特率调整过程RMT(1)或者RMT(2)，则必须预取不是解码目标的目标音频元素的尺寸。因此，在本技术的实施方式中，例如，表示音频元素的尺寸的尺寸信息以以下尺寸信息布置SIL(1)至SIL(3)中的任一个进行分配。应当注意的是，如果布局可以预取，则尺寸信息的布局可以是任何布局。
<尺寸信息布局SIL(1)>
尺寸信息被提供为单个文件，并且因此，客户端读取与所有帧或者解码开始时的几个预取帧相对应的音频元素的尺寸。
<尺寸信息布局SIL(2)>
尺寸信息被分配至输入比特流中的帧的头部，并且客户端读取每个时间帧的尺寸信息。
<尺寸信息布局SIL(3)>
尺寸信息被限定在音频元素的头部中，并且客户端读取每个音频元素的尺寸信息。
在尺寸信息布局SIL(1)中，例如，如通过图7的箭头A31所示，单个文件被记录在服务器中。在文件中，存储构成内容的所有音频元素的每个时间帧的尺寸信息。此外，在图7中，书写文本“尺寸(Size)”的椭圆表示尺寸信息。
在这个实例中，例如，客户端(解码器)在解码开始之前在任意时间从服务器获取尺寸信息，并且执行传送比特率调整过程RMT(1)或者RMT(2)。
例如，在尺寸信息布局SIL(2)中，如通过箭头A32所示，尺寸信息被分配至输入比特流的帧的头部，并且被记录在服务器中。在此，放置在尺寸信息下面的每个矩形以类似于图3情况下的方式表示单个音频元素(SCE或CPE)或者EXT元素。
在这个实例中，在服务器中记录的输入比特流中，尺寸信息被进一步分配到由图3的箭头A22表示的结构的顶端。
因此，在这种情况下，例如，客户端(解码器)首先接收输入比特流的尺寸信息或EXT元素，选择未被传送的音频元素，并且根据选择执行传送比特率调整过程RMT(1)或者RMT(2)。
例如，在尺寸信息布局SIL(3)中，如通过箭头A33所示，尺寸信息被分配至音频元素的头部。因此，在这种情况下，例如，客户端(解码器)从音频元素读取尺寸信息，并且执行传送比特率调整过程RMT(1)或者RMT(2)。
在以上描述的实例中，目标的音频元素不被传送，但是本技术不限于该目标。即使当构成组合的任何音频元素不被传送时，以类似于上述目标的实例中的方式也可以最小解码器输入缓冲器尺寸执行解码。
如上所述，在元数据等上选择输入比特流中的不是解码目标的不必要的音频元素，以便不被传送，从而可以降低传送比特率。
当构成输入比特流的任意音频元素不被设置为解码目标时，通过适当地调整传送比特率，可以以最小解码器输入缓冲器尺寸执行解码。
<内容传送系统的配置实例>
接下来，将描述上述本技术应用的具体实施方式。
在下文中，将说明本技术的实施方式应用于MPEG-DASH规定的内容传送系统的示例性情况。在这种情况下，例如，如图8所示，配置应用本技术的实施方式的内容传送系统。
图8中示出的内容传送系统包括服务器11和客户端12，并且服务器11和客户端12通过有线或无线通信网络，诸如互联网彼此连接。
在服务器11中，例如，对于多个传送比特率中的每一个，记录比特流。通过为音频元素的组合中的每一个划分图1中示出的输入比特流或者图2中示出的输入比特流可以获取该比特流。
进一步地，在服务器11中，记录参考图3描述的EXT元素。EXT元素作为单个文件被分配至输入比特流或划分的输入比特流的帧的头部。此外，在服务器11中，参考图7描述的尺寸信息被记录。尺寸信息作为单个文件被分配至输入比特流或者划分的输入比特流的帧的头部或者音频元素的头部。
响应于从客户端12发布的请求，服务器11将输入比特流、EXT元素、尺寸信息等传输至客户端12。
进一步地，客户端12从服务器11接收输入比特流，并且解码并再现输入比特流，从而内容的流再现。
应注意，有关输入比特流的接收，可接收整个输入比特流，并且仅可接收输入比特流的划分部分。在下文中，当没必要具体区分输入比特流的全部和部分时，这些被简称为输入比特流。
客户端12具有流控制部21、接入处理部22和解码器23。
流控制部21控制客户端12的整个操作。例如，流控制部21从服务器11接收EXT元素、尺寸信息、其他控制信息，并且基于根据需要提供给接入处理部22或解码器23或者从接入处理部22或解码器23接收的信息控制流再现。
响应于解码器23等的请求，接入处理部22请求服务器11以预设的传送比特率传输预设组合的音频元素的输入比特流，从服务器11接收输入比特流，并且将输入比特流供应至解码器23。解码器23解码从接入处理部22供应的输入比特流，同时根据需要与流控制部21或接入处理部22交换信息，并且供给输出至附图中未示出的扬声器等。
<解码器1的配置实例>
随后，将描述与图8中示出的解码器23的构造相比更具体的构造。例如，如图9所示，解码器23被更具体地配置。
图9中示出的解码器23具有获取部71、缓冲器尺寸计算部72、选择部73、提取部74、音频缓冲器75、解码部76和输出部77。
在这个实例中，例如，具有图1中示出的构造的预定传送比特率的输入比特流从接入处理部22供应至获取部71。此外，接入处理部22例如基于接入处理部22的通信网络的情形等能够为每个时间帧选择从服务器11接收输入比特流的传送比特率。即，可以改变每个时间帧的传送比特率。
获取部71从接入处理部22获取输入比特流，并且将输入比特流供应至缓冲器尺寸计算部72和提取部74。缓冲器尺寸计算部72基于从获取部71供应的输入比特流计算音频元素的组合中的每一个的必要缓冲器尺寸，并且将必要缓冲器尺寸供应至选择部73。
选择部73将解码器23，即，音频缓冲器75的容许存储容量与从缓冲器尺寸计算部72供应的音频元素的组合中的每一个的必要缓冲器尺寸进行比较，选择音频元素的一个组合作为解码目标，并且将选择结果供应至提取部74。
提取部74基于从选择部73供应的选择结果从获取部71供应的输入比特流提取所选组合的音频元素，并且将音频元素供应至音频缓冲器75。
音频缓冲器75是具有提前确定的预定容许存储容量的缓冲器。音频缓冲器75暂时将音频元素保留为从提取部74供应的解码目标，并且将音频元素供应至解码部76。解码部76基于时间帧从音频缓冲器75读取音频元素，并且执行解码。此外，解码部76基于通过解码获取的音频信号来生成具有预定信道构造的音频信号，并且将音频信号供应至输出部77。输出部77将从解码部76供应的音频信号输出至后侧扬声器等。
<解码过程1的描述>
随后，将描述通过图9中示出的解码器23执行的解码过程。例如，为每个时间帧执行解码过程。
在步骤S11中，获取部71从接入处理部22获取输入比特流，并且将输入比特流供应至缓冲器尺寸计算部72和提取部74。
在步骤S12中，缓冲器尺寸计算部72基于从获取部71供应的输入比特流计算音频元素的组合中的每一个的必要缓冲器尺寸，并且将必要缓冲器尺寸供应至选择部分73。
具体地，缓冲器尺寸计算部72设置CPE的数量的两倍与SCE的数量之间的总和，其构成音频元素的组合作为计算目标，作为NCC，并且计算NCC和6144的乘积，作为必要缓冲器尺寸(最小解码器输入缓冲器尺寸)。
存储在输入比特流中的音频元素的可选组合可通过参考元数据等来指定。进一步地，当表示组合的必要的缓冲器尺寸的信息被存储在输入比特流中时，缓冲器尺寸计算部72从输入比特流读取表示必要缓冲器尺寸的信息，并且将该信息供应至选择部73。
在步骤S13中，选择部73基于从缓冲器尺寸计算部72供应的必要缓冲器尺寸来选择音频元素的组合，并且将选择结果供应至提取部74。
即，选择部73将解码器23，即，音频缓冲器75的容许存储容量与音频元素的组合中的每一个的必要缓冲器尺寸进行比较，并且选择满足缓冲器尺寸条件的一个组合作为解码目标。然后，选择部73将选择结果供应至提取部74。
在步骤S14中，提取部74从获取部71供应的输入比特流提取通过从选择部73供应的选择结果所表示的组合的音频元素，并且将音频元素供应至音频缓冲器75。
在步骤S15中，解码部76从音频缓冲器75读取与单个时间帧相对应的音频元素，并且解码音频元素，即，存储有音频元素的编码数据。
解码部76基于通过解码获取的音频信号来生成具有预定信道构造的音频信号，并且将该音频信号供应至输出部77。例如，解码部76将目标的音频信号分配到与扬声器相对应的每个信道中，并且为具有期望信道构造的每个信道生成音频信号。
在步骤S16中，输出部77将从解码部76供应的音频信号输出至后侧扬声器等，并且结束解码过程。
如上所述，解码器23基于自容许存储容量和必要缓冲器大小来选择音频元素的组合，并且执行解码。从而，可以解码具有不同硬件规模的各种设备中的输入比特流。
<第二实施方式>
<解码器2的配置实例>
在图9中示出的解码器23的实例的描述中，选择音频元素的组合。然而，在解码器23中，基于诸如优先信息的元数据，可以选择不是解码目标的不必要的音频元素。在这种情况下，例如，如图11所示配置解码器23。此外，在图11中，与图9情况下的相对应的部分由相同的参考符号和数字表示，并且将适当省略它们的描述。
图11中示出的解码器23具有获取部71、缓冲器尺寸计算部72、选择部73、提取部74、系统缓冲器111、音频缓冲器75、解码部76和输出部77。图11中示出的解码器23的构造与图9的解码器23的构造不同在于新设置了系统缓冲器111。否则，图11中示出的解码器23的构造与图9的解码器23构造相同。
在图11中示出的解码器23中，例如，具有图1中示出的构造的预设传送比特率的输入比特流被供应。
获取部71从服务器11获取EXT元素和尺寸信息，将EXT元素通过缓冲器尺寸计算部72供应至选择部73，并且将尺寸信息通过提取部74供应至系统缓冲器111。
例如，如通过图3的箭头A21所示，如果EXT元素仅被记录在服务器11中，获取部71在解码开始之前的任意时间通过流控制部21从服务器11获取EXT元素。
进一步地，例如，如通过图3的箭头A22所示，如果EXT元素被分配至输入比特流的帧头部，获取部71将输入比特流供应至缓冲器尺寸计算部72。然后，缓冲器尺寸计算部72从输入比特流读取EXT元素，并且将EXT元素供应至选择部73。
在下文中，在下面假设下将继续说明：如通过图3的箭头A21所示，EXT元素仅被记录在服务器11中，并且EXT元素被提前供应至选择部73。
例如，如通过图7的箭头A31所示，如果尺寸信息仅被记录在服务器11中，获取部71在解码开始之前的任意时间通过流控制部21从服务器11获取尺寸信息。
进一步地，例如，如通过图7的箭头A32或者箭头A33所示，如果尺寸信息被分配至帧的头部或者被分配至音频元素的头部，则获取部71将输入比特流供应至提取部74。然后，提取部74从输入比特流读取尺寸信息，并且将该信息供应至系统缓冲器111。
在下文中，在下面假设下将继续说明：如通过图7的箭头A31所示，尺寸信息仅被记录在服务器11中，并且尺寸信息被提前供应至系统缓冲器111。
选择部73基于从缓冲器尺寸计算部72供应的必要缓冲器尺寸选择音频元素的组合。进一步地，选择部73基于优先信息从构成所选组合的音频元素中选择不是解码目标的不必要音频元素，即，未被传送的音频元素。优先信息包括在从缓冲器尺寸计算部72供应的EXT元素中。
应当注意的是，不必要的音频元素可以是目标的音频元素，并且可以是除此之外的音频元素。
选择部73将组合的选择结果和不必要的音频元素的选择结果供应至提取部74。
提取部74基于从选择部73供应的选择结果形成从获取部71供应的输入比特流的所选组合，提取除了不必要的音频元素之外的音频元素，并且将音频元素供应至系统缓冲器111。
系统缓冲器111基于提前从提取部74供应的尺寸信息通过以上提及的传送比特率调整过程RMT(1)或者RMT(2)执行缓冲控制，并且将从提取部分74供应的音频元素供应至音频缓冲器75。应注意的是，在下文中，假设执行传送比特率调整过程RMT(1)，则将继续描述。
<解码过程2的描述>
接下来，参考图12的流程图，将描述通过图11中示出的解码器23执行的解码过程。应当注意的是，步骤S41和步骤S42的过程与图10的步骤S11和步骤S12的过程相同，并且将省略它们的描述。
在步骤S43中，选择部73基于EXT元素中包括的优先信息以及从缓冲器尺寸计算部72供应的必要的缓冲器尺寸选择不必要的音频元素和音频元素的组合。
例如，选择部73执行与图10的步骤S13相同的过程，并且选择音频元素的组合。进一步地，选择部73在所选组合的音频元素中选择其优先信息的值等于或小于预定阈值的音频元素作为不是解码目标的不必要的音频元素。
选择部73将组合的选择结果和不必要的音频元素的选择结果供应至提取部74。
在步骤S44中，提取部74基于从选择部73供应的选择结果形成从获取部71供应的输入比特流的所选组合，提取除了不必要的音频元素之外的音频元素，并且将音频元素供应至系统缓冲器111。进一步地，提取部74将通过选择部73所选择的并且不是解码目标的表示不必要的音频元素的信息供应至系统缓冲器111。
在步骤S45中，系统缓冲器111基于从提取部74供应的表示不必要的音频元素的信息以及提前从提取部74供应的尺寸信息来执行缓冲控制。
具体地，系统缓冲器111基于由从提取部74供应的信息表示的音频元素的尺寸信息来计算停止传送的时间周期。然后，系统缓冲器111在合适的时间将从提取部74供应的音频元素传送至音频缓冲器75，同时仅在计算的时间周期中停止将音频元素传送(存储)到音频缓冲器75中。
当执行缓冲控制时，此后，步骤S46和步骤S47的过程以及解码过程结束。这些过程与图10的步骤S15和步骤S16的过程相同，并且因此，将省略它们的描述。
如上所述，解码器23选择音频元素的组合，并且基于优先信息选择不是解码目标的音频元素。从而，可以解码具有不同硬件规模的各种设备中的输入比特流。进一步地，通过缓冲控制执行实际的传送比特率控制，可以以最小解码器输入缓冲器尺寸执行解码。
<第三实施方式>
<解码器3的配置实例>
在实例的上述描述中，作为解码目标的组合的音频元素被从获取的输入比特流提取。然而，所选组合的音频元素可以从服务器11获取。在这种情况下，例如，如图13所示，解码器23被配置。应注意的是，在图13中，与图9情况下的相对应的部分由相同的参考符号和数字表示，并且将省略它们的描述。
图13中示出的解码器23具有通信部141、缓冲器尺寸计算部72、选择部73、请求部142、音频缓冲器75、解码部76和输出部77。
图13中示出的解码器23的构造与图9的解码器23的构造不同指出在于未设置获取部71和提取部74并且新设置了通信部141和请求部142。
通信部141通过流控制部21或者接入处理部22执行与服务器11的通信。例如，通信部分141接收可以从服务器11获取的表示音频元素的组合的信息，并且将该信息供应至缓冲器尺寸计算部72，或者将传输请求传输至服务器11。传输请求是传输从请求部142供应的每个划分的输入比特流的一部分的请求。进一步地，通信部141响应于传输请求接收从服务器11传输的每个划分的输入比特流的一部分，并且将每个划分的输入比特流的该部分供应至音频缓冲器75。
在此，例如，可以从服务器11获取的表示音频元素的组合的信息作为输入比特流的元数据存储在输入比特流中。在这种状态下，该信息在服务器11中被记录为单个文件。此外，在此，可以从服务器11获取的表示音频元素的组合的信息在服务器11中被记录为单个文件。
请求部142基于从选择部73供应的作为解码目标的音频元素的组合的选择结果将传输请求供应至通信部141。传输请求是传输由所选组合的音频元素形成的比特流的一部分，即，每个划分的输入比特流的一部分的请求。
<解码过程3的描述>
接下来，参考图14的流程图，将描述通过图13中示出的解码器23执行的解码过程。
在步骤S71中，通信部141接收可以从服务器11获取的表示音频元素的组合的信息，并且将该信息供应至缓冲器尺寸计算部72。
即，通信部141传输传输请求以将可以获取的表示音频元素的组合的信息通过流控制部21传输至服务器11。进一步地，通信部141响应于传输请求通过流控制部21接收从服务器11传输的表示音频元素的组合的信息，并且将该信息供应至缓冲器尺寸计算部72。
在步骤S72中，缓冲器尺寸计算部72基于从通信部141供应的并且表示可以从服务器11获取的音频元素的组合的信息为通过信息表示的音频元素的组合中的每一个计算必要的缓冲器尺寸，并且将必要的缓冲器尺寸供应至选择部73。在步骤S72中，执行与图10中的步骤S12的过程相同的过程。
在步骤S73中，选择部73基于从缓冲器尺寸计算部72供应的必要的缓冲器尺寸来选择音频元素的组合，并且将选择结果供应至请求部142。在步骤S73中，执行与图10中的步骤S13的过程相同的过程。此时，选择部73可选择传送比特率。
当选择音频元素的组合时，请求部142将传输请求供应至通信部141。传输请求是传输由通过从选择部73供应的选择结果表示的组合的音频元素形成的比特流的请求。例如，传输请求是传输由图2中的箭头A11至A16中的任一个表示的比特流的请求。
在步骤S74中，通信部141通过接入处理部22将从请求部142供应的传输比特流的传输请求传输至服务器11。
然后，响应于传输请求，从服务器11传输由所请求的组合的音频元素形成的比特流。
在步骤S75中，通信部141通过接入处理部22从服务器11接收比特流，并且将比特流供应至音频缓冲器75。
当接收到比特流时，此后，步骤S76和步骤S77的过程以及解码过程结束。这些过程与图10的步骤S15和步骤S16的过程相同，并且因此，将省略它们的描述。
如上所述，解码器23选择音频元素的组合，从服务器11接收所选组合的比特流，并且执行解码。从而，可以解码具有不同硬件规模的各种设备中的输入比特流，并且可以降低输入比特流的传送比特率。
<第四实施方式>
<解码器4的配置实例>
当所选组合的音频元素被从服务器11获取时，可以不传送该组合的不必要的音频元素。
在这种情况下，例如，如图15所示配置解码器23。此外，在图15中，与图11或图13情况下的相对应的部分由相同的参考符号和数字表示，并且将适当省略它们的描述。
图15中示出的解码器23具有通信部141、缓冲器尺寸计算部72、选择部73、请求部142、系统缓冲器111、音频缓冲器75、解码部76和输出部77。在图15中示出的解码器23的构造中，除了图13中示出的解码器23的构造之外进一步提供了系统缓冲器111。
在图15中示出的解码器23中，选择部73选择音频元素的组合，并在构成该组合的音频元素中选择未被传送的不必要的音频元素，并且将该选择结果供应至请求部142。
在此，例如，基于EXT元素中包括的优先信息执行不必要的音频元素的选择，但是可以任何方法获取EXT元素。
例如，如通过图3的箭头A21所示，如果EXT元素仅被记录在服务器11中，通信部141在解码开始之前的任意时间通过流控制部21从服务器11获取EXT元素。然后，通信部141通过缓冲器尺寸计算部72将EXT元素供应至选择部73。
进一步地，例如，如通过图3的箭头A22所示，如果EXT元素被分配至输入比特流的帧头部，则通信部141首先从服务器11接收存在于输入比特流的头部中的EXT元素，并且将EXT元素供应至缓冲器尺寸计算部72。然后，缓冲器尺寸计算部72将从通信部141接收的EXT元素供应至选择部73。
在下文中，在下面假设下将继续该描述：如通过图3的箭头A21所示，EXT元素仅被记录在服务器11中。
请求部分142基于从选择部73供应的选择结果将传输请求供应至通信部141。传输请求是传输由构成所选组合的音频元素形成的并且不被传送的比特流的请求。
尺寸信息从通信部141被供应至系统缓冲器111。
例如，如通过图7的箭头A31所示，如果尺寸信息仅被记录在服务器11中，则通信部141在解码开始之前的任意时间通过流控制部21从服务器11获取尺寸信息，并且将该信息供应至系统缓冲器111。
进一步地，例如，如通过图7的箭头A32或者箭头A33所示，如果尺寸信息被分配至帧的头部或者被分配至音频元素的头部，则通信部141将从服务器11接收的输入比特流，即每个划分的输入比特流的一部分供应至系统缓冲器111。
此外，如通过图7的箭头A33所示，如果尺寸信息被分配至音频元素的头部，则通过选择部73选择的组合中的被设置为未被传送的音频元素的比特流仅包括尺寸信息。
系统缓冲器111基于尺寸信息通过以上提及的传送比特率调整过程RMT(1)或者RMT(2)执行缓冲控制，并且将从通信部141供应的音频元素供应至音频缓冲器75。应注意的是，在下文中，假设传送比特率调整过程RMT(1)被执行，则将继续描述。
<解码过程4的描述>
接下来，参考图16的流程图，将描述通过图15中示出的解码器23执行的解码过程。
在步骤S101中，通信部141接收EXT元素以及可以从服务器11获取的表示音频元素的组合的信息，并且将EXT元素和该信息供应至缓冲器尺寸计算部72。
即，通信部141将传输请求传输以将EXT元素和可以获取的表示音频元素的组合的信息通过流控制部21传输至服务器11。进一步地，通信部141响应于传输请求通过流控制部21接收EXT元素和从服务器11传输的表示音频元素的组合的信息，并且将EXT元素和该信息供应至缓冲器尺寸计算部72。进一步地，缓冲器尺寸计算部72将从通信部分141接收的EXT元素供应至选择部73。
当表示音频元素的组合的信息被获取时，通过步骤S102和步骤S103的过程选择传送所必需的音频元素。然而，这些过程与图12的步骤S42和步骤S43的过程相同，并且因此，将省略它们的描述。
在此，在步骤S102中，基于表示音频元素的组合的信息计算必要的缓冲器尺寸。在步骤S103中，通过选择部73获得的选择结果被供应至请求部142。
进一步地，请求部142基于从选择部73供应的选择结果将传输请求供应至通信部141。传输请求是传输由构成所选组合的音频元素形成的并且不被传送的比特流的请求。换言之，必须传送所选组合的音频元素，并且必须不能传送组合中的被选择为不是解码目标的不必要的音频元素。
在步骤S104中，通信部141通过接入处理部22将传输请求供应至服务器11。传输请求从请求部142被供应，并且是传输由构成所选组合并且不能传送的音频元素形成的比特流的请求。
然后，响应于传输比特流的传输请求，从服务器11传输比特流。比特流由构成所请求的组合并且被设置为被传送的音频元素形成。
在步骤S105中，通信部141通过接入处理部22从服务器11接收比特流，并且将比特流供应至系统缓冲器111。
当接收比特流时，此后，步骤S106至步骤S108的过程以及解码过程结束。这些过程与图12的步骤S45至步骤S47的过程相同，并且因此，将省略它们的描述。
如上所述，解码器23选择音频元素的组合，并且基于优先信息选择不是解码目标的不必要的音频元素。从而，可以解码具有不同硬件规模的各种设备中的输入比特流，并且可以降低输入比特流的传送比特率。进一步地，通过执行缓冲控制，可以以最小解码器输入缓冲器尺寸执行解码。
然而，可通过硬件执行以上提及系列的过程，并且可通过软件执行。当一系列过程通过软件执行时，将构成软件的程序安装在计算机中。在此，计算机包括安装在专用硬件中的计算机，并且例如，能够通过安装各种程序执行各种功能的普通个人计算机等。
图17是示出了通过程序执行以上提及系列的过程的计算机的硬件的示例性配置的框图。
在计算机中，中央处理单元(CPU)501、只读存储器(ROM)502和随机存取存储器(RAM)503通过总线504彼此连接。
总线504进一步连接至输入/输出接口505。输入/输出接口505连接至输入部506、输出部507、存储部508、通信部509和驱动器510。
输入部506由键盘、鼠标、麦克风、成像元件等形成。输出部507由显示器、扬声器等形成。存储部508由硬盘、非易失性存储器等形成。通信部509由网络接口等形成。驱动器510驱动可移除介质511，诸如，磁盘、光盘、磁光盘或者半导体存储器。
在如上所述配置的计算机中，例如，CPU 501在RAM 503中通过输入/输出接口505和总线504加载和执行存储在存储部分508中的程序，从而执行以上提及系列的过程。
通过计算机(CPU 501)执行的程序可在程序被存储在可移除介质511，诸如封装介质中的状态下提供。进一步地，通过有线/无线传输介质，诸如，局域网、互联网或数字卫星广播提供该程序。
在计算机中，通过将可移除介质511安装在驱动器510中，该程序可通过输入/输出接口505安装在存储部分508中。进一步地，通过有线或无线传输介质允许通信部509接收该程序，该程序可安装在存储部508中。此外，该程序可提前安装在ROM 502或者存储部508中。
此外，通过计算机执行的程序可以是按序执行按照本说明书描述的次序的过程的程序，并且可以是并行或者在必要时间，诸如，调用时间执行过程的程序。
本技术的实施方式不局限于以上提及的实施方式，并且在不偏离本技术的技术范围的情况下可以修改成各种形式。
例如，在本技术中，可以采用单个功能共享并且多个装置通过网络共同处理的云计算配置。
进一步地，以上提及的流程图描述的步骤不仅由单个装置执行，并且也可以由多个装置共享和执行。
此外，当多个过程包括在单个步骤中时，包括在单个步骤中的多个过程不仅由单个装置执行，而且也由多个装置共享和执行。
一些实施方式可包括编码有一个或多个程序(例如，多个处理器可执行指令)的非易失性计算机可读存储介质(或者多个非易失性计算机可读介质)(例如，计算机存储器、一个或多个软盘、光盘(CD)、光盘、数字视频磁盘(DVD)、磁带、闪速存储器、现场可编程门阵列或其他半导体装置中的电路配置、或者其他有形的计算机存储介质)，当在一个或多个计算机或其他处理器上执行时，该程序执行实现上述讨论的各种实施方式的方法。从前面的实例中显而易见，非易失性计算机可读存储介质可以保留信息充足的时间，以提供具有非易失形式的计算机可执行的指令。
本技术可具有下列配置。
<1>一种解码装置，包括：选择部，基于缓冲器尺寸选择音频元素的一个组合，为音频元素的每个组合确定每个缓冲器尺寸并且每个缓冲器尺寸是解码组合的音频元素所必须的；以及生成部，通过解码所选组合的音频元素生成音频信号。
<2>根据<1>的解码装置，其中，选择部从提前为相同内容提供的多个组合中选择一个组合。
<3>根据<2>的解码装置或者任何其他前述配置，进一步包括通信部，该通信部在多个比特流中接收由选择部所选的组合的比特流，其中，为多个组合中的每一个提供一个比特流，并且每个比特流由每个组合的音频元素构成。
<4>根据<1>或<2>的解码装置或者任何其他前述配置，其中，选择部在构成比特流的多个音频元素中选择几个音频元素作为一个组合。
<5>根据<4>的解码装置或者任何其他前述配置，其中，选择部基于比特流的元数据选择一个组合。
<6>根据<5>的解码装置或者任何其他前述配置，其中，选择部基于表示提前确定为元数据的多个组合的信息和音频元素的优先信息中的至少一个信息来选择一个组合。
<7>根据<4>至<6>中的任一项的解码装置或者任何其他前述的配置，进一步包括提取部，该提取部从比特流提取通过选择部选择的组合的音频元素。
<8>根据<4>至<6>中任一项的解码装置或者任何其他前述的配置，进一步包括通信部，该通信部接收通过选择部选择的组合的音频元素。
<9>根据<5>的解码装置或者任何其他前述的配置，进一步包括缓冲控制部，基于未被选择为解码目标的音频元素的尺寸，控制通过生成部解码的音频元素缓冲器的存储。
<10>根据<9>的解码装置或者任何其他前述的配置，其中，选择部分进一步从构成所选组合的音频元素中选择未被选择为解码目标的音频元素，并且其中，基于通过选择部选择并且不是解码目标的音频元素的尺寸，缓冲控制部控制除了构成通过选择部分所选的组合并且不是解码目标的音频元素之外的音频元素到缓冲器的存储。
<11>根据<10>的解码装置或者任何其他前述的配置，其中，选择部基于音频元素的优先信息选择不是解码目标的音频元素。
<12>一种解码方法，包括：基于缓冲器尺寸选择音频元素的一个组合，为音频元素的每个组合确定每个缓冲器尺寸并且每个缓冲器尺寸是解码组合的音频元素所必须的；并且通过对所选组合的音频元素解码生成音频信号。
<13>一种促使计算机执行处理的程序，包括：
基于缓冲器尺寸选择音频元素的一个组合，为音频元素的每个组合确定每个缓冲器尺寸并且每个缓冲器尺寸是解码组合的音频元素所必须的；以及
通过对所选组合的音频元素解码生成音频信号。
<14>一种解码装置，包括至少一个缓冲器；以及
至少一个处理器，被配置为：至少部分基于至少一个缓冲器的尺寸从输入比特流中的多个音频元素中选择至少一个音频元素；以及通过对至少一个音频元素解码生成音频信号。
<15>根据<14>的解码装置，其中，至少一个音频元素包括一组音频元素，并且
其中，至少一个处理器被配置为从多个预定音频元素组中选择一组音频元素。
<16>根据<15>的解码装置或者任何其他前述的配置，进一步包括通信部，该通信部被配置为接收与音频元素组中的音频元素相对应的输入比特流中的数据。
<17>根据<14>的解码装置或者任何其他前述的配置，其中，至少一个处理器被配置为从输入比特流中的多个音频元素中选择多个音频元素。
<18>根据<17>的解码装置或者任何其他前述的配置，其中，至少一个处理器被配置为进一步基于输入比特流的元数据选择多个音频元素。
<19>根据<18>的解码装置或者任何其他前述的配置，其中，至少一个处理器被配置为基于识别多个预定音频元素组的信息以及音频元素的优先信息中的至少一个选择多个音频元素。
<20>根据<17>的解码装置或者任何其他前述的配置，其中，至少一个处理器进一步被配置为从输入比特流中提取多个音频元素。
<21>根据<17>的解码装置或者任何其他前述的配置，进一步包括通信部，该通信部被配置为接收与多个音频元素中的音频元素相对应的输入比特流中的数据。
<22>根据<18>的解码装置或者任何其他前述的配置，进一步包括缓冲控制器，该缓冲控制器被配置为基于多个音频元素中未被解码的音频元素的尺寸控制通过解码多个音频元素中的至少一个而获取的至少一个解码音频元素到至少一个缓冲器中的存储。
<23>根据<22>的解码装置或者任何其他前述的配置，其中，至少一个处理器被配置为在多个音频元素中选择未被解码的音频元素。
<24>根据<23>的解码装置或者任何其他前述的配置，其中，至少一个处理器被配置为基于音频元素的优先信息选择多个音频元素中未被解码的音频元素。
<25>根据<14>的解码装置或者任何其他前述的配置，其中，至少一个处理器被配置为通过确定足以解码至少一个音频元素的缓冲器尺寸并且将缓冲器尺寸与至少一个缓冲器的尺寸进行比较来选择至少一个音频元素。
<26>一种解码方法，包括：至少部分基于解码装置的至少一个缓冲器的尺寸从输入比特流中的多个音频元素中选择至少一个音频元素；以及通过对至少一个音频元素解码生成音频信号。
<27>存储处理器可执行指令的至少一个非易失性计算机可读存储介质，当通过至少一个处理器执行处理器可执行指令时，使至少一个处理器执行解码方法，该方法包括：至少部分基于解码装置的至少一个缓冲器的尺寸从输入比特流中的多个音频元素中选择至少一个音频元素；以及通过对至少一个音频元素解码生成音频信号。
本领域技术人员应当理解的是，只要在所附权利要求或者其等同物的范围内，根据设计需要和其他因素，可做出各种修改、组合、子组合以及更改。
参照符号列表
23 解码器
71 获取部
72 缓冲器尺寸计算部
73 选择部
74 提取部
75 音频缓冲器
76 解码部
111 系统缓冲器
141 通信部
142 请求部。

Claims (9)

1.一种解码装置，包括：
至少一个缓冲器，具有预定容许存储容量；以及
至少一个处理器，所述至少一个处理器被配置为：
计算输入比特流中音频元素的多个组合中的每个组合的必需缓冲器尺寸；
至少部分基于所述至少一个缓冲器的所述预定容许存储容量和每个所计算的输入比特流中音频元素的每个组合的必需缓冲器尺寸的比较，从输入比特流中的音频元素的多个组合中选择音频元素的组合；
提取所选择的音频元素的组合的音频元素；
将所提取的音频元素的组合存储在所述至少一个缓冲器中；以及
通过对所存储的音频元素的组合解码生成音频信号。
2.根据权利要求1所述的解码装置，其中，至少一个处理器被配置为进一步基于所述输入比特流的元数据选择所述音频元素的组合。
3.根据权利要求2所述的解码装置，其中，所述至少一个处理器被配置为基于识别多个预定音频元素组的信息以及所述音频元素的优先信息中的至少一个信息选择所述音频元素的组合。
4.根据权利要求1所述的解码装置，进一步包括通信部，所述通信部被配置为接收与所述音频元素的多个组合中的音频元素相对应的所述输入比特流中的数据。
5.根据权利要求2所述的解码装置，进一步包括缓冲控制器，所述缓冲控制器被配置为基于所述多个音频元素中未被解码的音频元素的尺寸控制通过解码所述多个音频元素中的至少一个而获取的至少一个解码音频元素到所述至少一个缓冲器中的存储。
6.根据权利要求5所述的解码装置，其中，所述至少一个处理器被配置为在所述多个音频元素中选择未被解码的所述音频元素。
7.根据权利要求6所述的解码装置，其中，所述至少一个处理器被配置为基于所述音频元素的优先信息选择所述多个音频元素中未被解码的音频元素。
8.一种解码方法，包括以下步骤：
计算输入比特流中音频元素的多个组合中的每个组合的必需缓冲器尺寸；
至少部分基于解码装置的至少一个缓冲器的预定容许存储容量和每个所计算的输入比特流中音频元素的每个组合的必需缓冲器尺寸的比较，从输入比特流中的音频元素的多个组合中选择音频元素的组合；
提取所选择的音频元素的组合的音频元素；
将所提取的音频元素的组合存储在所述至少一个缓冲器中；以及
通过对所存储的音频元素的组合解码生成音频信号。
9.存储处理器可执行指令的至少一个非易失性计算机可读存储介质，当通过至少一个处理器执行所述处理器可执行指令时，使所述至少一个处理器执行解码方法，所述方法包括以下步骤：
计算输入比特流中音频元素的多个组合中的每个组合的必需缓冲器尺寸；
至少部分基于解码装置的至少一个缓冲器的预定容许存储容量和每个所计算的输入比特流中音频元素的每个组合的必需缓冲器尺寸的比较，从输入比特流中的音频元素的多个组合中选择音频元素的组合；
提取所选择的音频元素的组合的音频元素；
将所提取的音频元素的组合存储在所述至少一个缓冲器中；以及
通过对所存储的音频元素的组合解码生成音频信号。
CN201580032910.0A 2014-06-26 2015-06-16 解码装置、解码方法和程序 Active CN106463139B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014130898A JP6432180B2 (ja) 2014-06-26 2014-06-26 復号装置および方法、並びにプログラム
JP2014-130898 2014-06-26
PCT/JP2015/002992 WO2015198556A1 (en) 2014-06-26 2015-06-16 Decoding device, decoding method, and program

Publications (2)

Publication Number Publication Date
CN106463139A CN106463139A (zh) 2017-02-22
CN106463139B true CN106463139B (zh) 2021-03-12

Family

ID=53510958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580032910.0A Active CN106463139B (zh) 2014-06-26 2015-06-16 解码装置、解码方法和程序

Country Status (7)

Country Link
US (1) US10573325B2 (zh)
EP (1) EP3161824A1 (zh)
JP (1) JP6432180B2 (zh)
KR (1) KR20170021777A (zh)
CN (1) CN106463139B (zh)
TW (1) TWI652670B (zh)
WO (1) WO2015198556A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2019132898A (ru) * 2017-04-26 2021-04-19 Сони Корпорейшн Способ и устройство для обработки сигнала и программа
US20200321015A1 (en) * 2017-12-28 2020-10-08 Sony Corporation Information processing device, information processing method, and program
CN111081226B (zh) * 2018-10-18 2024-02-13 北京搜狗科技发展有限公司 语音识别解码优化方法及装置
CN109814406B (zh) * 2019-01-24 2021-12-24 成都戴瑞斯智控科技有限公司 一种轨道模型电控仿真系统的数据处理方法及解码器架构
CN112118481B (zh) * 2020-09-18 2021-11-23 珠海格力电器股份有限公司 一种音频片段生成方法、装置、播放器及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020103635A1 (en) * 2001-01-26 2002-08-01 Mesarovic Vladimir Z. Efficient PCM buffer
US20020141432A1 (en) * 2001-03-27 2002-10-03 Kyung-Pa Min Apparatus and methods for storing and comparing PIDs
CN1848241A (zh) * 1995-12-01 2006-10-18 数字剧场系统股份有限公司 多通道音频编码器
US20070226592A1 (en) * 2006-03-20 2007-09-27 Micron Technology, Inc. Variable sector-count ECC
CN101442586A (zh) * 2008-12-31 2009-05-27 中兴通讯股份有限公司 一种多媒体播放方法及播放终端
US20090148134A1 (en) * 2007-12-05 2009-06-11 Kabushiki Kaisha Toshiba Broadcast receiving apparatus and broadcast receiving method
US20100321568A1 (en) * 2008-01-28 2010-12-23 Pierre Roger Bernard Le Pifre Device And Method for Decoding Digital TV Broadcast
CN102184739A (zh) * 2011-03-08 2011-09-14 深圳英飞拓科技股份有限公司 一种录像播放装置及方法
CN102414744A (zh) * 2009-04-28 2012-04-11 松下电器产业株式会社 数字信号再生装置以及数字信号压缩装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6904404B1 (en) * 1996-07-01 2005-06-07 Matsushita Electric Industrial Co., Ltd. Multistage inverse quantization having the plurality of frequency bands
JP2001134294A (ja) * 1999-11-10 2001-05-18 Toshiba Corp オーディオ信号のビットストリームの処理方法及び処理装置
JP2002156998A (ja) * 2000-11-16 2002-05-31 Toshiba Corp オーディオ信号のビットストリーム処理方法、この処理方法を記録した記録媒体、及び処理装置
JP3926730B2 (ja) * 2002-11-11 2007-06-06 日本電信電話株式会社 符号送受信システム
JP2005031289A (ja) * 2003-07-10 2005-02-03 Canon Inc 音声情報処理装置、プロセッサ負荷軽減方法、プログラム、及び記憶媒体
US7596488B2 (en) * 2003-09-15 2009-09-29 Microsoft Corporation System and method for real-time jitter control and packet-loss concealment in an audio signal
US20050096918A1 (en) * 2003-10-31 2005-05-05 Arun Rao Reduction of memory requirements by overlaying buffers
EP1713276B1 (en) * 2004-02-06 2012-10-24 Sony Corporation Information processing device, information processing method, program, and data structure
US7929600B2 (en) * 2004-07-02 2011-04-19 Nippon Telegraph And Telephone Corporation Multi-channel signal encoding method, decoding method, device thereof, program, and recording medium thereof
US8264960B2 (en) * 2005-05-31 2012-09-11 Broadcom Corporation Method and system for sharing AV/record resources in a programmable transport demultiplexer and PVR engine
CN101059958B (zh) * 2007-03-15 2010-12-15 上海交通大学 利用缓存来加快量化数据取得的编码和解码方法
EP2186089B1 (en) * 2007-08-27 2018-10-03 Telefonaktiebolaget LM Ericsson (publ) Method and device for perceptual spectral decoding of an audio signal including filling of spectral holes
KR20120062758A (ko) * 2009-08-14 2012-06-14 에스알에스 랩스, 인크. 오디오 객체들을 적응적으로 스트리밍하기 위한 시스템
WO2012122397A1 (en) * 2011-03-09 2012-09-13 Srs Labs, Inc. System for dynamically creating and rendering audio objects
TWI517142B (zh) * 2012-07-02 2016-01-11 Sony Corp Audio decoding apparatus and method, audio coding apparatus and method, and program

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1848241A (zh) * 1995-12-01 2006-10-18 数字剧场系统股份有限公司 多通道音频编码器
US20020103635A1 (en) * 2001-01-26 2002-08-01 Mesarovic Vladimir Z. Efficient PCM buffer
US20020141432A1 (en) * 2001-03-27 2002-10-03 Kyung-Pa Min Apparatus and methods for storing and comparing PIDs
US20070226592A1 (en) * 2006-03-20 2007-09-27 Micron Technology, Inc. Variable sector-count ECC
US20090148134A1 (en) * 2007-12-05 2009-06-11 Kabushiki Kaisha Toshiba Broadcast receiving apparatus and broadcast receiving method
US20100321568A1 (en) * 2008-01-28 2010-12-23 Pierre Roger Bernard Le Pifre Device And Method for Decoding Digital TV Broadcast
CN101442586A (zh) * 2008-12-31 2009-05-27 中兴通讯股份有限公司 一种多媒体播放方法及播放终端
CN102414744A (zh) * 2009-04-28 2012-04-11 松下电器产业株式会社 数字信号再生装置以及数字信号压缩装置
CN102184739A (zh) * 2011-03-08 2011-09-14 深圳英飞拓科技股份有限公司 一种录像播放装置及方法

Also Published As

Publication number Publication date
JP2016010090A (ja) 2016-01-18
CN106463139A (zh) 2017-02-22
US20170140763A1 (en) 2017-05-18
TWI652670B (zh) 2019-03-01
TW201610987A (zh) 2016-03-16
US10573325B2 (en) 2020-02-25
JP6432180B2 (ja) 2018-12-05
KR20170021777A (ko) 2017-02-28
EP3161824A1 (en) 2017-05-03
WO2015198556A1 (en) 2015-12-30

Similar Documents

Publication Publication Date Title
CN106463139B (zh) 解码装置、解码方法和程序
US20210326378A1 (en) Information processing apparatus and information processing method
US9705952B1 (en) Concealment of errors in HTTP adaptive video sets
CN109218847B (zh) 一种下载控制方法、装置以及多媒体终端
US20130262693A1 (en) Methods and apparatus for segmenting, distributing, and resegmenting adaptive rate content streams
US11622219B2 (en) Apparatus, a method and a computer program for delivering audio scene entities
US11743535B2 (en) Video fragment file processing
EP3111676A1 (en) Audio object clustering by utilizing temporal variations of audio objects
US11595056B2 (en) Encoding device and method, decoding device and method, and program
AU2020352977B2 (en) Audio metadata smoothing
US20170062004A1 (en) Method for enabling seamless and bidirectional playback of video
EP4158623B1 (en) Improved main-associated audio experience with efficient ducking gain application
US20240089563A1 (en) Methods, systems, and apparatuses for improved content delivery
US20230360661A1 (en) Hierarchical spatial resolution codec
Lee et al. Adaptive Streaming Scheme for Improving Quality of Virtualization Service
KR20150009476A (ko) 다채널 오디오 신호의 인코딩 방법 및 디코딩 방법, 그리고 상기 방법을 수행하는 인코더 및 디코더

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant