CN108885874A - 信息处理装置和方法 - Google Patents

信息处理装置和方法 Download PDF

Info

Publication number
CN108885874A
CN108885874A CN201780019337.9A CN201780019337A CN108885874A CN 108885874 A CN108885874 A CN 108885874A CN 201780019337 A CN201780019337 A CN 201780019337A CN 108885874 A CN108885874 A CN 108885874A
Authority
CN
China
Prior art keywords
sample
data
file
information
configuration part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201780019337.9A
Other languages
English (en)
Inventor
浜田俊也
平林光浩
胜股充
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108885874A publication Critical patent/CN108885874A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/167Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/752Media network packet handling adapting media to network capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本公开内容涉及使得可以发送更高品质的音频数据的信息处理装置和方法。为此,该信息处理装置设定包括用于解码成组的块的初始化信息的样本作为是文件中的最小访问单元的样本,该文件是具有规定的文件格式并且存储编码数据的文件,编码数据是音频数据并且具有下述结构:作为该编码数据的访问单元的块被分组到具有规定数量的块的组中。本公开内容可应用于例如图像处理装置、图像编码装置、图像解码装置等。

Description

信息处理装置和方法
技术领域
本公开内容涉及信息处理装置和信息处理方法。更具体地,本公开内容涉及用于传输更高品质的音频数据的信息处理装置和信息处理方法。
背景技术
迄今为止,已经开发出动态图像专家组相位-基于HTTP的动态自适应流传输(MPEG-DASH),以通过因特网流传输视频和音频数据(例如,参见NPL 1)。还研究了使用ISO/IEC 14496-12标准规定的国际标准化组织(ISO)基础媒体文件格式(ISOBMFF)的文件,以作为通过MPEG-DASH技术向用户流传输更高品质的视频和音频数据的方法。随着视频和音频数据的品质不断提高,对于以更高品质传送数据的需求不断增长。
例如,已知直接数字流(Direct Stream Digital,DSD)技术作为一种音乐数据的高品质编码方法。由于要以高数据速率处理DSD数据,因此已设计了无损压缩技术(DSD无损压缩技术)。近年来,还开发了一种涉及较小负荷的新型DSD无损压缩编码技术。
引用列表
非专利文献
[NPL 1]
基于HTTP的动态自适应流传输(MPEG-DASH)(URL:http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-description-and-segment-formats/text-isoiec-23009-12012-dam-1)
发明内容
技术问题
然而,还没有一种方法被设计成将新型DSD无损压缩编码技术应用于ISOBMFF格式的文件。由于这个原因,无法以使用新型DSD无损压缩编码技术对DSD数据进行编码的方式通过MPEG-DASH传送DSD流。因此,难以传输更高品质的音频数据。
鉴于上述情况提出了本公开内容。因此,本公开内容的目的是传输更高品质的音频数据。
问题的解决方案
根据本技术的一个方面,提供了一种信息处理装置,包括:样本设定部,该样本设定部以下述方式配置:给定用于存储来源于音频数据的编码数据的具有预定文件格式的文件,该编码数据处于成组的预定数量的块中,向文件设定样本,该样本构成该文件中的最小访问单元并且包括用于对成组的块中的每个块进行解码的初始化信息。
样本设定部可以被配置成设定两个样本,这两个样本中的一个包括初始化信息和每个组中的第一块,另一样本与每个组中的其他块中的每个块对应。信息处理装置还可以包括:同步样本设定部,其被配置成将由样本设定部设定的并且包括初始化信息和每个组中的第一块的样本设定为同步样本,该同步样本包括开始解码所需的信息。
信息处理装置还可以包括子样本设定部,其被配置成向由样本设定部设定的并且包括初始化信息和每个组中的第一块的样本设定两个子样本,子样本中的一个包括初始化信息,另一个子样本包括每个组中的第一块。
样本设定部可以设定包括初始化信息和每个组中的所有块的样本。
信息处理装置还可以包括子样本设定部,其被配置成向由样本设定部设定的并且包括初始化信息和每个组中的所有块的样本设定两个子样本,子样本中的一个包括初始化信息和每个组中的第一块,另一个子样本与每个组中的每个块对应。
该信息处理装置还可以包括子样本设定部,其被配置成向由样本设定部设定的并且包括初始化信息和每个组中的所有块的样本设定三个子样本,这三个子样本中的一个子样本包括初始化信息,这三个子样本中的另一个子样本包括每个组中的第一块,这三个子样本中的最后一个子样本与每个组中的每个块对应。
由样本设定部设定的所有样本可以构成包括开始解码所需的信息的同步样本。
该信息处理装置还可以包括:同步样本设定部,其被配置成将由样本设定部设定的并且包括初始化信息的样本设定为同步样本,该同步样本包括开始解码所需的信息。该样本设定部还可以被配置成设定包括每个组中的所有块的样本。
信息处理装置还可以包括子样本设定部,其被配置成向由样本设定部设定的并且包括每个组中的所有块的样本设定子样本,该子样本与每个块对应。
样本设定部可以被配置成设定包括初始化信息和每个组中的第一块的样本,和包括每个组中的所有其他块的样本。信息处理装置还可以包括:同步样本设定部,其被配置成将由样本设定部设定的并且包括初始化信息和每个组中的第一块的样本设定为同步样本,该同步样本包括开始解码所需的信息。
信息处理装置还可以包括子样本设定部,其被配置成向由样本设定部设定的并且包括每个组中的所有其他块的样本设定子样本,该子样本与每个块对应。
子样本设定部还可以被配置成向由样本设定部设定的并且包括初始化信息和每个组中的第一块的样本设定两个子样本,子样本中的一个包括初始化信息,另一个子样本包括成每个组中的第一块。
样本设定部还可以被配置成向轨道设定与每个块对应的样本,该轨道不同于设定有包括初始化信息的样本的轨道。
样本设定部还可以被配置成向文件设定与每个块对应的样本,该文件不同于设定有包括初始化信息的样本的文件。
信息处理装置还可以包括扩展盒设定部,其被配置成将关于音频数据的信息设定到音频样本条目中的扩展盒。
音频数据可以是直接数字流(DSD)数据,并且所述编码数据可以是通过对该DSD数据进行无损编码而获得的。
文件格式可以符合ISO/IEC 14496标准。
根据本技术的一个方面,提供了一种信息处理方法,包括:给定用于存储来源于音频数据的编码数据的、具有预定文件格式的文件,所述编码数据处于成组的预定数量的块中;向该文件设定样本,该样本构成文件中的最小访问单元并且包括用于对成组的块中的每个块进行解码的初始化信息。
根据本技术的另一方面,提供了一种信息处理装置,包括:样本分析部,其被配置成对具有预定文件格式的文件中的样本进行分析,该文件用于存储来源于音频数据的成块组的编码数据,该样本是文件中的最小访问单元并且包括用于对成组的块中的每个块进行解码的初始化信息,该样本分析部还基于分析的结果来获取用于解码编码数据的解码器配置信息;设定部,其被配置成设定由样本分析部获取的解码器配置信息;以及解码部,其被配置成使用由设定部设定的解码器配置信息来解码编码数据。
根据本技术的另一方面,提供了一种信息处理方法,包括:对具有预定文件格式的文件中的样本进行分析,该文件用于将来源于音频数据的编码数据存储到成组的块中,该样本是文件中的最小访问单元并且包括用于对成组的块中的每个块进行解码的初始化信息;基于分析的结果来获取用于解码编码数据的解码器配置信息;设定所获取的解码器配置信息;以及使用所设定的解码器配置信息来解码编码数据。
根据本技术的一个方面,因此提供了一种信息处理装置和一种信息处理方法,给定用于存储来源于音频数据的编码数据的、具有预定文件格式的文件,该编码数据处于成组的预定数量的块中,向文件设定样本,该样本是文件中的最小访问单元并且包括用于对所述成组的块中的每个块进行解码的初始化信息。
根据本技术的另一方面,因此提供了一种信息处理装置和一种信息处理方法,对具有预定文件格式的文件中的样本进行分析,该文件将来源于音频数据的编码数据存储到成组的块中,该样本是文件中的最小访问单元并且包括用于对成组的块中的每个块进行解码的初始化信息;基于分析的结果获取用于解码编码数据的解码器配置信息;设定所获取的解码器配置信息;并且使用所设定的解码器配置信息解码编码数据。
本发明的有益效果
本公开内容允许处理信息。具体地,本公开内容使得可以传输更高品质的音频数据。
附图说明
[图1]图1是说明如何使用MPEG-DASH传输数据的示例的说明图。
[图2]图2是说明DSD技术的说明图。
[图3]图3是说明流式传送的位速率如何变化的示例的说明图。
[图4]图4是描绘压缩编码装置的代表性配置的框图。
[图5]图5是说明生成数据生成计数表“pretable”的典型方法的说明图。
[图6]图6是说明转换表“table1”的说明图。
[图7]图7是描绘编码部的典型配置的框图。
[图8]图8是说明压缩编码处理的流程图。
[图9]图9是描绘解码装置的代表性配置的框图。
[图10]图10是说明解码处理的流程图。
[图11]图11是描绘DSD无损流的代表性配置的示意图。
[图12]图12是描绘DSD无损流的句法的示例的示意图。
[图13]图13是描绘如何解码DSD无损流的示例的示意图。
[图14]图14是描绘如何将DSD无损流放入MP4文件的示例的示意图。
[图15]图15是描绘MP4文件的代表性结构的示意图。
[图16]图16是说明同步样本盒的说明图。
[图17]图17是说明子样本信息盒的说明图。
[图18]图18是描绘传送系统的代表性配置的示意图。
[图19]图19是描绘文件生成装置的代表性配置的框图。
[图20]图20是描绘再现终端的代表性配置的框图。
[图21]图21是描绘样本与块之间的对应关系的示例的示意图。
[图22]图22是描绘同步样本盒和子样本信息盒的示例的示意图。
[图23]图23是描绘样本与块之间的对应关系的另一示例的示意图。
[图24]图24是描绘子样本信息盒的示例的示意图。
[图25]图25是描绘样本与块之间的对应关系的另一示例的示意图。
[图26]图26是描绘同步样本盒和子样本信息盒的其他示例的示意图。
[图27]图27是描绘子样本信息盒的另一示例的示意图。
[图28]图28是说明传送数据生成处理的典型流程的流程图。
[图29]图29是说明MP4文件生成处理的典型流程的流程图。
[图30]图30是描绘如何执行解码的示例的框图。
[图31]图31是说明再现处理的典型流程的流程图。
[图32]图32是说明解码处理的典型流程的流程图。
[图33]图33是说明如何设定样本的示例的示意图。
[图34]图34是说明如何设定样本的另一示例的示意图。
[图35]图35是说明MP4文件生成处理的另一典型流程的流程图。
[图36]图36是说明解码处理的另一典型流程的流程图。
[图37]图37是说明如何将本技术应用于DRM的示例的说明图。
[图38]图38是说明在针对DRM的应用中如何设定样本的示例的说明图。
[图39]图39是说明音频样本条目的句法的示例的说明图。
[图40]图40是描绘文件生成装置的另一代表性配置的框图。
[图41]图41是说明MP4文件生成处理的另一典型流程的流程图。
[图42]图42是描绘再现终端的另一代表性配置的框图。
[图43]图43是说明解码处理的另一典型流程的流程图。
[图44]图44是说明扩展盒的示例的说明图。
[图45]图45是说明如何设定扩展盒的示例的说明图。
[图46]图46是说明如何设定扩展盒的另一示例的说明图。
[图47]图47是描绘文件生成装置的另一代表性配置的框图。
[图48]图48是说明MP4文件生成处理的另一典型流程的流程图。
[图49]图49是描绘再现终端的另一代表性配置的框图。
[图50]图50是说明解码处理的另一典型流程的流程图。
[图51]图51是描绘计算机的代表性配置的框图。
具体实施方式
以下描述用于实现本技术的模式(称为实施方式)。要注意的是,该描述是在以下标题下给出的:
1.将DSD无损流放入MP4文件
2.第一实施方式(传送系统:将样本与块关联)
3.第二实施方式(传送系统:从基本流分离参数集)
4.第三实施方式(传送系统:设定音频样本条目)
5.第四实施方式(传送系统:设定扩展盒)
6.其他
<1.将DSD无损流放入MP4文件>
<视频和音频数据的传送>
近年来,作为向消费者传送视频和音乐的方法,通过基于因特网的流传输来传送视频和音频数据已经引起关注。然而,与广播或光盘相比,因特网作为传输方法并不稳定。首先,传输带宽的最大速率取决于用户的环境而显著变化。此外,对于同一用户,不能始终保证恒定的传输带宽;带宽随时间而变化。传输带宽变化也意味着对于来自客户端的需求的响应时间不是恒定的。
以上述性质著称的基于因特网的传输标准,已经开发了动态图像专家组-基于HTTP的动态自适应流传输(MPEG-DASH)。这是一种拉取式模型,其中,客户端通过参照媒体表示描述(MPD)来相应地选择在服务器侧保持的具有不同数据大小的多个文件中的最优文件。通过使用http替代特殊协议,可以使用通用的超文本传输协议(HTTP)服务器。可用的文件格式不仅包括动态图像专家组-传输流(MPEG-TS)格式,还包括国际标准化组织基础媒体文件格式(ISOBMFF)格式。
<MPEG-DASH>
图1描绘了如何使用MPEG-DASH传输数据的示例。在图1中的信息处理系统1中,文件生成装置2生成视频数据和音频数据作为动态图像内容,对生成的数据进行编码,并将编码数据以传输文件格式放入文件中。例如,文件生成装置2以大约十秒的间隔将数据放入文件中(即,放入分段中)。文件生成装置2将生成的分段文件上载至Web服务器3。文件生成装置2还生成用于管理动态图像内容的MPD文件(管理文件),并将该MPD文件上载至Web服务器3。
用作DASH服务器的Web服务器3以符合MPEG-DASH的方式通过因特网4将由文件生成装置2生成的动态图像内容文件实时传送到再现终端5。例如,Web服务器3存储从文件生成装置2上载的分段文件和MPD文件。此外,响应于来自再现终端5的请求,Web服务器3将存储的分段文件和MPD文件发送至再现终端5。
再现终端5(再现装置)执行流传输数据控制软件(以下在适当时称为控制软件)6、动态图像再现软件7和HTTP访问客户端软件(以下称为访问软件)8等。
控制软件6控制待从Web服务器3流传输的数据。例如,控制软件6从Web服务器3获取MPD文件。此外,控制软件6例如基于表示由所获取的MPD文件或由动态图像再现软件7指定的再现时间的再现时间信息并且根据因特网4的网络带宽来命令访问软件8请求以再现为目的的分段文件的传输。
动态图像再现软件7是通过因特网4再现从Web服务器3获取的编码流的软件。例如,动态图像再现软件7指定用于控制软件6的再现时间信息。此外,在获取了来自访问软件8的接收开始通知之后,动态图像再现软件7对从访问软件8提供的编码流进行解码。动态图像再现软件7输出从解码获得的视频数据和音频数据。
访问软件8使用HTTP来控制与Web服务器3的通信。例如,访问软件8向动态图像再现软件7提供接收开始通知。在控制软件6的命令下,访问软件8还向Web服务器3发送用于发送待被再现的分段文件的编码流的请求。此外,访问软件8以符合通信环境的位速率接收分段文件,此分段文件是响应于该发送请求从Web服务器3发送的。访问软件8从接收的文件中提取编码流,并将所提取的流提供至动态图像再现软件7。
<DSD>
同时,随着视频和音频数据的品质不断提高,对于传送更高品质的数据的需求不断增长。例如,直接数字流(DSD)作为一种音频信号高品质调制技术(图2)已被知晓。在脉冲编码调制(PCM)的情况下,如图2所示,在每个采样时间处的音频模拟信号的信号值被转换成固定位数的数字数据。在另一方面,在DSD的情况下,音频模拟信号经过ΔΣ调制以转换成1位的数字数据。
在DSD的情况下,例如,采样频率高达2.8Mhz、5.6Mhz和11.2MHz。它们分别在2个声道上被转换为5.6Mbps、11.2Mbps和22.4Mbps的位速率。在这些情况下,已经设计出用于高速率DSD数据的无损压缩的技术。
<DST>
例如,存在直接流传输(DST),其被开发为用于超级音频光盘(SACD)并且由MPEG4高级音频编码(AAC)国际标准化组织/国际电工委员会(IEC/ISO)14496-3标准化的DSD数据无损压缩编码技术。然而,该DST技术涉及过高的负荷,而不能用于由软件执行的处理。
<新型DSD无损压缩编码技术>
因此,已经以与DST技术不同的方式开发了新型DSD无损压缩编码技术,来作为一种可以通过由嵌入式处理器执行的软件处理来实现的技术。使用由新型DSD无损压缩编码技术生成的DSD无损流来进行传送减小了传输所需的带宽。该新技术还可望通过如PC和移动终端这样的客户端的软件处理来实现实时解码。
例如,如图3中的子图A所描绘的,在使用AAC编码的音频数据的正常实时流传输的情况下,位速率保持恒定。因此,根据传输路径的带宽波动来选择视频数据的位速率。相反,如图3中的子图B所示,在使用DSD无损编码技术编码的音频数据的实时流传输(4K+DSD)的情况下,DSD无损流会经历明显的局部速率波动。这意味着可以将由于速率波动引起的带宽裕量分配给视频数据的传输。这允许更高品质的视频数据传输。
<压缩编码装置的典型配置>
图4描绘了支持新型DSD无损压缩编码技术的压缩编码装置的代表性配置。图4中的压缩编码装置10对模拟音频信号进行ΣΔ(sigma delta)调制以转换成数字信号。在转换之后,压缩编码装置10对音频信号进行压缩编码以进行输出。也就是说,压缩编码装置10使用DSD技术通过调制使音频信号数字化,并使用上述新型DSD无损压缩编码技术对得到的数字数据(DSD数据)进行编码,以生成DSD无损流。
模拟音频信号从输入部11输入并被提供给模拟数字转换器(ADC)12。ADC 12通过ΣΔ调制使所提供的模拟音频信号数字化,并将该数字化信号输出至输入缓冲器13。
ADC 12配置有加法器21、积分器22、比较器23、1样本延迟电路24和1位数字模拟转换器(DAC)25。从输入部11提供的音频信号被转发至加法器21。加法器21将从1位DAC 25在较早的一个采样周期提供的模拟音频信号与来自输入部11的音频信号相加,并且将结果输出至积分器22。积分器22对来自加法器21的音频信号进行积分,并且将结果输出至比较器23。与输入音频信号的中点电势相比,比较器23以采样周期的间隔对输入音频信号进行1位量化。采样周期的频率(采样频率)是现有的48kHz或44.1kHz的64倍或128倍。比较器23将经1位量化的音频信号输出至输入缓冲器13,并且还将该信号提供给1样本延迟电路24。该1样本延迟电路24将来自比较器23的音频信号延迟一个采样周期,并且将经延迟的信号输出至1位DAC 25。1位DAC 25将来自1样本延迟电路24的数字信号转换成模拟信号,以输出至加法器21。
如上配置的ADC 12将来自输入部11的音频信号转换成1位数字信号(A/D转换),并且将结果输出至输入缓冲器13。当采样周期的频率(采样频率)足够高时,通过上述ΣΔ调制的A/D转换即使在1位的小位数的情况下也会提供具有宽动态范围的数字音频信号。例如,ADC 12从输入部11接收立体声(2声道)音频信号的输入。ADC 12以44.1kHz的128倍的采样频率将输入的模拟音频信号转换为1位数字信号,并且将结果输出至输入缓冲器13。另外,ΣΔ调制可以利用2位或4位的量化位数。
输入缓冲器13临时存储从ADC 12提供的1位数字音频数据,并且将该数据一次一帧地提供至控制部14、编码部15和位于下游的数据量比较部17。这里,一帧指的是以预定时间(周期)的间隔分离的音频信号的单元中的一个单元。例如,3秒长的信号部分可以被视为一帧。换句话说,输入缓冲器13以三秒为单位将音频信号提供至控制部14、编码部15和数据量比较部17。如上所述,从输入部11输入的音频信号是以44.1kHz的128倍的采样频率进行A/D转换的立体声(2声道)信号。这会转换为44100(Hz)*128*2(ch)*3(秒)=每帧5.6M位的数据量。在下面的描述中,在经历ΣΔ调制之后从输入缓冲器13提供的数字信号可以被称为DSD数据。
控制部14控制压缩编码装置10的整体操作。控制部14还具有在执行压缩编码时生成编码部15所需的转换表“table1”的功能。例如,控制部14使用从输入缓冲器13提供的1帧DSD数据来生成数据生成计数表“pretable”,并且还根据数据生成计数表“pretable”生成转换表“table1”。控制部14将生成的转换表“table1”提供给编码部15和数据发送部18。以帧为单位生成(更新)转换表“table1”,并被提供至编码部15。
编码部15使用从控制部14提供的转换表“table1”以4位为单位对来自输入缓冲器13的DSD数据进行压缩编码。因此,尽管在将来自输入缓冲器13的DSD数据提供至控制部14的同时也向编码部15提供了该DSD数据,但是编码部15等待处理开始,直到从控制部14提供了转换表为止。编码部15将4位DSD数据编码为2位数据或6位数据,此后将编码数据输出至编码数据缓冲器16。
编码数据缓冲器16临时缓冲已经过编码部15的压缩编码的DSD数据,此后将缓冲数据提供至数据量比较部17和数据发送部18。
数据量比较部17以帧为单位将从输入缓冲器13提供的DSD数据量(所提供的数据在下文中可以被称为未压缩数据)与来自编码数据缓冲器16的压缩数据量进行比较。如上所述,编码部15将4位DSD数据编码为2位数据或6位数据。这意味着在算法方面压缩数据量可以超过未压缩数据量。由于此原因,数据量比较部17将压缩数据量与未压缩数据量进行比较,以便选择较小的数据量,并向数据发送部18提供指示已选择了哪个数据的选择控制数据。要注意的是,在数据量比较部17向数据发送部18提供表示选择未压缩数据的选择控制数据的情况下,数据量比较部17还将未压缩数据提供至数据发送部18。从接收所发送的数据的装置的观点来看,选择控制数据可以被认为是表示从数据发送部18发送的音频数据是否已被编码部15压缩编码的标记。
基于从数据量比较部17提供的选择控制数据,数据发送部18选择从编码数据缓冲器16提供的压缩数据或者来自数据量比较部17的未压缩数据。数据发送部18经由输出部19将所选择的数据与选择控制数据一起发送至相对的装置。此外,当将压缩数据发送到相对的装置时,数据发送部18将从控制部14提供的转换表“table1”的数据附加至该压缩数据。数据发送部18可以以构成待发送的数据的预定数量的样本的间隔将同步信号和错误纠正码(ECC)附加至数字信号。
<生成数据生成计数表的方法>
下文说明控制部14生成数据生成计数表“pretable”的方法。
控制部14针对一帧DSD数据生成数据生成计数表“pretable”。从输入缓冲器13提供的DSD数据以4位为单位表示如下:
...D4[n-3]、D4[n-2]、D4[n-1]、D4[n]、D4[n+1]、D4[n+2]、D4[n+3]、...
其中,D4[n]代表4位连续数据。在下面的描述中,数据也可以被称为D4数据(n>3)。
控制部14对与过去3个D4数据项(前12位数据)紧接的D4数据生成的次数进行计数,并且生成图5中描绘的数据生成计数表“pretable[4096][16]”。在该数据生成计数表“pretable[4096][16]”的表示法中,数字[4096]和[16]指示这是个有4096行和16列的表(矩阵)。行[0]至行[4095]中的每一行与过去3个D4数据项(过去的位模式)可以采取的值对应,并且列[0]至列[15]中的每一列与接下来的D4数据可以采取的值对应。
例如,在数据生成计数表“pretable”中的第一行“pretable[0][0]至[0][15]”指示与为“0”={0000,0000,0000}的过去3个D4数据项D4[n-3]、D4[n-2]、D4[n-1]紧接的数据项生成的次数。还指示了在不存在其他数据的情况下,与为“0”的过去3个数据项紧接的4位数据项为“0”的次数是369a(十六进制)。数据生成计数表“pretable”中的第二行“pretable[1][0]至[1][15]”指示与为“1”={0000,0000,0001}的过去3个D4数据项D4[n-3]、D4[n-2]、D4[n-1]紧接的数据项生成的次数。数据生成计数表“pretable”中第二行的所有元素都是“0”意味着在该帧中不存在过去3个D4数据项为“1”的数据项。同样在图5中,数据生成计数表“pretable”中的第118行“pretable[117][0]至[117][15]”指示与为“117”={0000,0111,0101}的过去3个D4数据项D4[n-3]、D4[n-2]、D4[n-1]紧接的数据项生成的次数。该表中的数据指示了与为“117”的过去3个数据项紧接的4位数据项为“0”的次数是0,与为“1”过去3个数据项紧接的4位数据项的次数是1,与为“2”过去3个数据项紧接的4位数据项的次数是10,与为“3”过去3个数据项紧接的4位数据项的次数是18,与为“4”过去3个数据项紧接的4位数据项的次数是20,与为“5”过去3个数据项紧接的4位数据项的次数是31,与为“6”过去3个数据项紧接的4位数据项的次数是11,与为“7”过去3个数据项紧接的4位数据项的次数是0,与为“8”过去3个数据项紧接的4位数据项的次数是4,与为“9”过去3个数据项紧接的4位数据项的次数是12,与为“10”过去3个数据项紧接的4位数据项的次数是5,与为“11”至“15”过去3个数据项紧接的4位数据项的次数是0。
以这种方式,控制部14针对一帧DSD数据通过对与过去3个D4数据项(过去12位数据)紧接的D4数据项生成的次数进行计数来生成数据生成计数表“pretable”。
<生成转换表的方法>
接下来说明控制部14生成转换表“table1”的方法。
控制部14基于先前生成的数据生成计数表“pretable”来生成有4096行和3列的转换表“table1[4096][3]”。在此转换表“table1[4096][3]”中,行[0]至[4095]中的每一行与过去3个D4数据项可以采取的值对应,并且列[0]至[2]存储在下一个D4数据可以采取的16个值之中具有最高生成频率的3个值。在转换表“table1[4096][3]”中,第一列[0]存储具有(第一)最高生成频率的值;第二列[1]存储具有第二高的生成频率的值;并且第三列[2]存储具有第三高的生成频率的值。
图6描绘了与图5所示的数据生成计数表“pretable”对应的转换表“table1[4096][3]”的示例。在转换表“table1[4096][3]”中,第118行“table1[117][0]至[117][2]”为{05,04,03}。这与图5的数据生成计数表“pretable”中的第118行“pretable[117][0]至[117][15]”的内容对应。在图5的数据生成计数表“pretable”中的第118行“pretable[117][0]至
[117][15]”中,具有(第一)最高生成频率的值为生成了31次的“5”;具有第二高的生成频率的值为生成了20次的“4”;并且具有第三高的生成频率的值为生成了18次的“3”。作为其结果,转换表“table1[4096][3]”中的第118行第1列“table1[117][0]”存储{05};第118行第2列“table1[117][1]”存储{04};第118行第3列“table1[117][2]”存储{03}。同样,转换表“table1[4096][3]”中的第一行“table1[0][0]至[0][2]”与图5的数据生成计数表“pretable”的第一行“pretable[0][0]至[0][15]”的内容对应。
在图5的数据生成计数表“pretable”的第一行“pretable[0][0]至[0][15]”中,具有(第一)最高生成频率的值是生成了369a次(十六进制)的“0”。尚未生成其他值。因此,转换表“table1[4096][3]”的第一行第一列“table1[0][0]”存储{00};并且第一行第二列“table1[0][1]”以及第一行第三列“table1[0][2]”存储指示不存在数据的{ff}。指示不存在数据的值不限于{ff},并且可以根据需要来确定。要在构成转换表“table1”的每个元素中设定的值是“0”至“15”中的任何一个。这意味着这些值可以用4位来表示。然而,在此以8位来表示这些值,以便于进行基于计算机的处理。
以上述方式,基于先前准备的数据生成计数表“pretable”来准备具有4096行和3列的转换表“table1[4096][3]”,并将其提供至编码部15。
<由编码部15执行的压缩编码的方法>
接下来说明编码部15使用转换表“table1”执行压缩编码的方法。以下是一个示例,在该示例中,给定来自输入缓冲器13的DSD数据“...D4[n-3]、D4[n-2]、D4[n-1]、D4[n]、D4[n+1]、D4[n+2]、D4[n+3]、...”,编码部15对D4[n]进行编码。
在对D4[n]进行编码的情况下,编码部15将前面紧接的12位数据D4[n-3]、D4[n-2]、D4[n-1]视为12位数据聚合,并且相应地搜索转换表“table1[4096][3]”中由D4[n-3]、D4[n-2]、D4[n-1]指定的地址(行)处的3个值,即,搜索table1[D4[n-3]、D4[n-2]、D4[n-1]][0]、table1[D4[n-3]、D4[n-2]、D4[n-1]][1]和table1[D4[n-3]、D4[n-2]、D4[n-1]][2]。
在转换表“table1[4096][3]”中由D4[n-3]、D4[n-2]、D4[n-1]指定的地址(行)处的3个值(即,table1[D4[n-3]、D4[n-2]、D4[n-1]][0]、table1[D4[n-3]、D4[n-2]、D4[n-1]][1]和table1[D4[n-3]、D4[n-2]、D4[n-1]][2])中的一个与D4[n]相同并且在table1[D4[n-3]、D4[n-2]、D4[n-1]][0]与D4[n]相同的情况下,编码部15将D4[n]转换为2位数据“01b”。在D4[n]与table1[D4[n-3]、D4[n-2]、D4[n-1]][1]相同的情况下,编码部15将D4[n]转换为2位数据“10b”。在D4[n]与table1[D4[n-3]、D4[n-2]、D4[n-1]][2]相同的情况下,编码部15将D4[n]转换为2位数据“11b”。此外,在转换表“table1[4096][3]”中由D4[n-3]、D4[n-2]、D4[n-1]指定的地址(行)处的3个值中没有一个值与D4[n]相同的情况下,编码部15为D4[n]加前缀“00b”以将其转换为6位数据,例如“00b+D4[n]”。此处,在“01b”、“10b”、“11b”和“00b+D4[n]”中的符号“b”指示这些值是以二进制记数法表示的。
如上所述,使用转换表“table1”,编码部15将4位DSD数据D4[n]转换为2位数据“01b”、“10b”或“11b”,或者转换为6位数据“00b+D4[n]”,以输出至编码数据缓冲器16。
<编码部15的详细配置>
图7描绘了执行上述压缩编码的编码部15的典型配置。
从输入缓冲器13提供的4位DSD数据(例如D4[n])存储在被设计用于存储4位数据的寄存器51中。寄存器51的输出与选择器55的一个输入端子56a连接,并且与被设计用于存储12位数据的寄存器52连接。寄存器52存储在寄存器51中存储的4位DSD数据前面紧接的12位数据(例如,D4[n-3]、D4[n-2]、D4[n-1])。
转换表处理部53保存从控制部14提供的转换表“table1”。转换表处理部53确定寄存器52中由12位数据(例如,D4[n-3]、D4[n-2]、D4[n-1])指定的地址处的3个值(即table1[D4[n-3]、D4[n-2]、D4[n-1]][0]、table1[D4[n-3]、D4[n-2]、D4[n-1]][1]和table1[D4[n-3]、D4[n-2]、D4[n-1]][2])中的任何一个值是否与寄存器51中的4位数据(例如D4[n])相同。在这3个值中的一个与4位数据相同的情况下,转换表处理部53将与保存该相同值的列对应的值即“01b”、“10b”或“11b”存储到2位寄存器54中。2位寄存器54中存储的数据被提供给选择器55的一个输入端子56c。在寄存器52中由12位数据(例如,D4[n-3]、D4[n-2]、D4[n-1])指定的地址处的3个值中没有一个值与寄存器51中的4位数据(例如D4[n])相同的情况下,转换表处理部53向选择器55输出指示无转换的信号(以下称为无转换信号)。
选择器55选择3个输入端子56a至56c中的一个,并且经由输出端子57输出从所选择的输入端子56获取的数据。向输入端子56a提供来自寄存器51的4位DSD数据(例如,D4[n]),向输入端子56b提供“00b”,并且向输入端子56c提供来自寄存器54的2位转换数据。在向选择器55提供来自转换表处理部53的表明没有执行转换的无转换信号的情况下,选择器55选择输入端子56b以经由输出端子57输出“00b”,此后选择输入端子56a以经由输出端子57输出寄存器51中的4位DSD数据(例如D4[n])。作为其结果,在转换表“table1”没有与D4[n]相同的数据的情况下输出的6位数据“00b+D4[n]”经由输出端子57输出。此外,在未提供表示没有执行转换的无转换信号的情况下(即,在提供了表示执行转换的转换执行信号的情况下),选择器55选择输入端子56c,并且经由输出端子57输出从寄存器54提供的2位转换数据。以这种方式,输出端子57输出在转换表“table1”具有与D4[n]相同的数据的情况下输出的2位数据,即“01b”、“10b”或“11b”。
<压缩编码处理的流程>
下面参照图8的流程图说明由压缩编码装置10执行的压缩编码处理。
要注意的是,在图8的处理流程中未包括ADC 12的处理。该说明涉及在从输入缓冲器13输出已经过ADC 12的ΔΣ调制的1帧DSD数据之后可应用的处理。
首先在步骤S1中,给定1帧的DSD数据,控制部14对与过去3个D4数据项(即,过去的12位数据)相邻的D4数据项已生成的次数进行计数,并且相应地准备数据生成计数表“pretable”。
在步骤S2中,控制部14基于准备的数据生成计数表“pretable”来准备具有4096行和3列的转换表“table1”。控制部14将准备的转换表“table1”提供至编码部15和数据发送部18。
在步骤S3中,编码部15使用转换表“table1”对1帧周期的DSD数据进行压缩编码。具体地,编码部15以将4位DSD数据D4[n]转换为2位数据“01b”、“10b”或“11b”或者6位数据“00b+D4[n]”的方式来处理1帧周期的DSD数据。已经过压缩编码的压缩数据被提供至编码数据缓冲器16和数据量比较部17。
在步骤S4中,数据量比较部17将从输入缓冲器13提供的1帧的未压缩数据量与从编码数据缓冲器16提供的1帧的压缩数据的量进行比较,从而确定压缩数据量是否小于未压缩数据量。
在步骤S4中确定压缩数据量小于未压缩数据量的情况下,控制转移至步骤S5。在步骤S5中,数据量比较部17向数据发送部18提供表示选择压缩数据的选择控制数据。
在步骤S6中,数据发送部18将从控制部14提供的转换表“table1”的数据(转换表数据)附加至表示选择压缩数据的选择控制数据(即,指示压缩编码数据的标记)和从编码部15提供的压缩数据,此后将该数据发送至相对的装置。
同时,在步骤S4中确定压缩数据量不小于未压缩数据量的情况下,控制转移至步骤S7。在步骤S5中,数据量比较部17向数据发送部18提供表示选择未压缩数据的选择控制数据以及未压缩数据。
在步骤S8中,数据发送部18向相对装置发送表示选择未压缩数据的选择控制数据(即,指示未被压缩编码的数据的标记)以及未压缩数据。
这完成了对1帧DSD数据执行的压缩编码处理。对从输入缓冲器13以帧为单位连续提供的DSD数据重复执行上述从步骤S1至步骤S8的处理。
<解码装置的典型配置>
图9描绘了支持上述新型DSD无损压缩编码技术的解码装置的代表性配置。图9中的解码装置70接收由图4中的压缩编码装置10压缩编码并发送的音频信号,并且将接收到的音频信号(以无损解码方式)解压缩。
由图4中的压缩编码装置10压缩编码并发送的音频信号通过网络(例如局域网(LAN)、广域网(WAN)、因特网或诸如电话网络或卫星通信网络的公共网络)(均未示出)被解码装置70的输入部71接收。接收的音频信号被提供给解码装置70的数据接收部72。
数据接收部72将在接收的数据中包括的同步信号分离,并且对于在通过网络的数据传输期间可能已经发生的任何传输错误进行校正。然后,数据接收部72基于在接收的数据中包括的并且指示音频信号是否被压缩编码的选择控制数据来确定音频信号是否被压缩编码。在音频信号被压缩编码的情况下,数据接收部72将接收的压缩数据提供至编码数据缓冲器73。此外,在音频信号未被压缩编码的情况下,数据接收部72将接收的未压缩数据提供至输出缓冲器76。此外,数据接收部73将在接收的数据中包括的转换表“table1”的数据(转换表数据)提供至表存储部75。表存储部75存储从数据接收部72提供的转换表“table1”,并根据需要将该转换表“table1”提供至解码部74。
编码数据缓冲器73临时存储从数据接收部72提供的压缩数据,并以预定定时将存储的数据提供至下游的解码部74。
解码部74(以无损解码方式)将压缩数据解码为未压缩状态,并将解码数据提供至输出缓冲器76。
<解码方法的细节>
接下来描述解码部74执行解码的方法。下文说明了如下情况:如下所示,以2位为单位来表示由压缩编码装置10压缩编码并发送的数据以用于对E2[n]的解码:
...E2[N-3]、E2[N-2]、E2[N-1]、E2[N]、E2[N+1]、E2[N+2]、E2[N+3]...
其中,E2[n]表示连续的2位数据项,其也可以被称为E2数据。
首先,解码部74确定E2[n]的值。在E2[n]为“00b”的情况下,该数据项未被包括在接收的转换表“table1[4096][3]中”,因此与E2[n]相邻的4位数据项“E2[n+1]+E2[n+2]”是待解码的数据。此外,在E2[n]为“00b”、“10b”或“11b”的情况下,该数据项包括在接收的转换表“table1[4096][3]”中。在这种情况下,参照转换表“table1[4096][3]”并使用最近期被解码的12位D4数据D4[n-3]、D4[n-2]、D4[n-1]来搜索待解码的数据。该待解码的数据位于“table1[D4[n-3]、D4[n-2]、D4[n-1]][E2[n]-1]”中。以这种方式,解码部74(以无损解码方式)将压缩数据解码为未压缩状态。如图9所示,解码部74被配置有2位寄存器91、12位寄存器92、转换表处理部93、4位寄存器94和选择器95。
从编码数据缓冲器73提供的2位E2数据(例如,E2[n])存储在寄存器91中。向12位寄存器92提供来自选择器95的输出。寄存器92存储在寄存器91中的2位E2数据(例如,E2[n])之前紧接着被解码的12位数据(例如,D4[n-3]、D4[n-2]、D4[n-1])。在寄存器91中存储的2位E2数据(例如,E2[n])为“00b”的情况下,选择器95选择输入端子96a,并且经由输出端子97相应地输出与E2[n]相邻的4位数据“E2[n+1]+E2[n+2]”作为解码结果。在寄存器91中存储的2位E2数据(例如,E2[n])为“01b”、“10b”或“11b”的情况下,转换表处理部93将从表存储部75提供的转换表“table1”中的“table1[D4[n-3]、D4[n-2]、D4[n]][E2[n]-1]”中存储的4位数据存储到寄存器94中。选择器95选择输入端子96b,并且经由输出端子97相应地输出寄存器94中的数据作为解码结果。
输出缓冲器76根据需要选择从数据接收部72提供的未压缩数据或者来自解码部74的解码数据,并将所选择的数据输出至模拟滤波器77。
模拟滤波器77对从输出缓冲器76提供的解码数据执行诸如低通滤波或带通滤波的预定滤波处理,并且经由输出部78输出处理后的数据。
<解码处理的流程>
下面参照图10的流程图进一步说明由解码装置70执行的解码处理。
首先,在步骤S21中,数据接收部72基于在接收的数据中包括的选择控制数据来确定接收的数据是否是已经过压缩编码的压缩数据。
在步骤S21中确定接收的数据是压缩数据的情况下,控制转移至步骤S22。在步骤S22中,数据接收部72向表存储部75提供在接收的数据中包括的转换表数据。转换表处理部93经由表存储部75获取接收的转换表“table1”。同样,在步骤S22中,在接收的数据中包括的压缩数据被提供至编码数据缓冲器73。
在步骤S23中,解码部74使用转换表“table1”对从编码数据缓冲器73提供的压缩数据进行解码,并将解码数据提供至输出缓冲器76。也就是说,在2位E2数据(例如,E2[n])为“00b”的情况下,解码部74向输出缓冲器76提供与E2[n]相邻的4位数据“E2[n+1]+E2[n+2]”作为解码结果。在2位E2数据(例如,E2[n])为“01b”、“10b”或“11b”的情况下,解码部74向输出缓冲器76提供在转换表“table1”的“table1[D4[n-3]、D4[n-2]、D4[n-1]][E2[n]-1]”中保存的4位数据作为解码结果。
同时,在步骤S21中确定接收的数据不是压缩数据(即,接收的数据是未压缩数据)的情况下,控制转移至步骤S24。在步骤S24中,数据接收部72获取在接收的数据中包括的未压缩数据,并将获取的未压缩数据提供至输出缓冲器76。
作为上述处理的结果,未压缩数据或由解码部74解码的数据被提供至输出缓冲器76。提供给输出缓冲器76的数据被输出至模拟滤波器77。
在步骤S25中,模拟滤波器77对经由输出缓冲器76提供的数据执行预定的滤波处理。输出部78输出已经过滤波处理的音频信号。
对以帧为单位的音频信号重复执行以上处理。
<DSD无损流的配置>
根据上述新型DSD无损压缩编码技术,DSD数据被分为每个声道固定长度(4096×32=131,072位)的块并被压缩。在压缩之后,10个连续块中的压缩数据以头(header)为前缀以形成成组的块(GOB)。作为单元的GOB进一步以配置信息作为前缀以形成DSD无损有效载荷(DSD_lossless_payload())。用于块解压缩所需的信息(码簿;参考表)被存储到GOB头和GOB数据中。考虑到以AAC进行流切换,将块(音频帧)的时间段设定为与AAC描绘的时间段大致相同。
图11描绘了DSD无损流的典型基本配置。如图11中的顶行所示,DSD无损流被配置有多个DSD无损有效载荷(DSD_lossless_payload())。
如图11中从顶部起第二行中所示,一个DSD无损有效载荷被配置有格式版本部分、GOB配置部分和GOB。
如图11中从顶部起第三行中所示,GOB由GOB头、GOB数据和10个块(块1至块10)构成。用于解码当前GOB的GOB头和GOB数据也被称为GOB初始化器。GOB初始化器包括解码器配置信息、元数据和用于解码的码簿。
如图11中的底行中所示,(在DSD数据用于2个声道即用于右声道和左声道的情况下)一个块配置有块头、左声道音频数据(L)、右声道音频数据(R)和字节对齐部分。
一个块存储每个声道4096×32=131,072位的未压缩DSD数据,而不考虑所使用的文件系统。也就是说,一个块的长度(块长度)在采样频率为2.8Mhz的情况下约为46毫秒,在采样频率为5.6Mhz的情况下约为23毫秒,或者在采样频率为11.2MHz的情况下约为12毫秒。例如,在采样频率为2.8MHz的情况下,单个GOB存储再现时间约468毫秒的数据。
<句法>
图12中的子图A描绘了DSD无损有效载荷的句法的示例。如子图A所示,DSD无损有效载荷(DSD_lossless_payload())例如存储format version、DSD_lossless_gob_configuration()和DSD_lossless_gob(number_of_audio_data)。该format version对应于图11中的格式版本。此外,DSD_lossless_gob_configuration()对应于图11中的GOB配置。DSD_lossless_gob()对应于图11中的GOB。
图12中的子图B描绘了DSD_lossless_gob_configuration()的句法的示例。如图12中的子图B所示,例如,DSD_lossless_gob_configuration()存储channel_configuration、number of blocks、sampling_frequency、comment_flag、comment_size和comment_byte。
图12中的子图C描绘了DSD_lossless_gob()的句法的示例。如图12中的子图C所示,例如,DSD_lossless_gob()存储DSD_lossless_gob_header()、DSD_lossless_gob_data()、DSD_lossless_block()和byte_align()。该DSD_lossless_gob_header()对应于图11中的GOB头。该DSD_lossless_gob_data()对应于图11中的DOB数据。该DSD_lossless_block()对应于图11中的块1至块10中的每个块。
图12中的子图D描绘了DSD_lossless_gob_header()的句法的示例。如子图D所示,例如,DSD_lossless_gob_header()存储DSD_lossless_block_info。
图12中的子图D描绘了DSD_lossless_gob_data()的句法的示例。如图12中的子图D所示,例如,DSD_lossless_gob_data()存储gob_codebook_length和gob_codebook[i]。gob_codebook[i]对应于图11中的码簿。
<解码>
以下说明根据上述新型DSD无损压缩编码技术如何解码DSD无损流的示例。在DSD无损流中,如以上所述讨论的,将预定时间段的数据作为GOB进行管理。也就是说,如图13中的子图A所描绘的,DSD无损流配置有GOB初始化器,后跟预定数量的连续块(例如,10个块)。因为GOB初始化器的再现时间为0,因此将该部分作为访问单元会使再现时间管理复杂化。由于这个原因,GOB初始化器被附加至块1,块1是引导GOB的第一块,因此GOB初始化器和块1作为单个访问单元被处理。
用于DSD无损流的解码器(DSD无损解码器)使用在GOB初始化器中包括的解码器配置信息来扩展和解码每个块。为了解码GOB中的每个块,需要将GOB初始化器读取至DSD无损解码器中。例如,在从第一块(块1)向前(以连续解码方式)连续解码GOB的情况下,如图13中的子图B所描绘的,由于GOB初始化器被附加至块1,所以只需要将块连续输入到DSD无损解码器中。
在(例如,以随机访问方式)从GOB中途的块开始再现的情况下,还要求将GOB初始化器首先输入至DSD无损解码器。例如,在要从块6开始再现的情况下,如图13中的子图C所描绘的,将其上附加有GOB初始化器的块1首先输入至DSD无损解码器,随后将块6和后续的块输入至DSD无损解码器。在这种情况下,DSD无损解码器丢弃块1的解码结果,并输出块6和后续的块的解码结果。
要注意的是,在从DSD无损流读出时GOB初始化器可以与块1分离的情况下,如图13中的子图D所描绘的,可以首先读出GOB初始化器并将其附加至块6以输入至DSD无损解码器。在这种情况下,不需要执行对不必要的块的解码。
<将数据放入MP4格式的流程>
利用MPEG-DASH技术,已经研究了使用ISO/IEC 14496-12标准规定的ISOBMFF格式的文件,作为向用户传送高品质视频和音乐的手段。例如,已经研究了使用MPEG-4的第14部分(ISO/IEC 14496-14:2003)规定的文件格式的文件,这是一种源自ISOBMFF格式的格式(在下文中该格式也被称为MP4,并且该文件被称为MP4文件)。
如图14的示例中所描绘的,可以将视频和音频数据输入至MP4文件中。在视频数据的情况下,例如,未压缩的视频素材(视频数据)被转换为图像格式,并由高级视频编码(AVC)编码器或高效视频编码(HEVC)编码器进行编码,以形成其上附加有扩展名“bsf”的文件(.bsf文件)。.bsf文件是存储编码流的文件。
在音频数据的情况下,例如,由DSD无损编码器使用上述新型DSD无损压缩编码技术对DSD音频素材(DSD数据)进行编码,以形成其上附加有下述扩展名的文件:“enc”(.enc文件)、“afr”(.afr文件)或“esd”(.esd文件)。.enc文件是存储编码DSD无损流的文件。.afr文件存储元数据,以用于帮助准备样本表以存储到MP4文件中。.esd文件存储用于数据配置的元数据。
可替选地,可以通过DSD-PCM转换将DSD音频素材转换为PCM数据,此后由AAC编码器进行编码,以形成其上附加有下述扩展名的文件:“aac”(.aac文件)、“.afr”(.afr文件)或“esd”(.esd文件)。.aac文件是存储经编码的aac流的文件。
存储在这些文件中的信息被多路复用以形成MP4文件。
<MP4文件格式>
图15中的子图A描绘了MP4文件的代表性结构。MP4文件具有称为盒(box)的分层结构。例如,如图15中的子图A所示,MP4文件具有文件类型兼容型盒(ftyp)、影片盒(moov)和媒体数据盒(mdat)。文件类型兼容性盒(ftyp)表示文件的开始,并且存储标识文件格式类型的信息。影片盒(moov)存储例如关于内容的元数据。媒体数据盒(mdat)存储实际的AV数据(实际数据)。
例如,影片盒(moov)具有影片头盒和轨道盒(track)。影片头盒存储例如影片时间轴设定信息和关于缩放、旋转和再现速度的信息。轨道盒(track)是针对每个轨道生成的。轨道盒(track)存储例如与当前轨道有关的信息。
例如,轨道盒(track)具有轨道头盒、编辑盒和媒体盒(mdia)。轨道头盒存储例如关于画面构成的信息(如空间位置、大小、缩放和层)以及与轨道之间的关联有关的信息。编辑盒存储例如关于AV同步的信息,如时间位置和再现速度。媒体盒(mdia)存储例如关于AV数据的信息。
媒体盒(mdia)具有例如媒体头盒、媒体管理器盒和媒体信息盒(minf)。媒体头盒和媒体管理器盒存储例如关于AV数据的类型、媒体时间轴的设置和语言设置的信息。媒体信息盒(minf)存储例如关于数据和样本的信息。
媒体信息盒(minf)具有例如数据信息盒和样本表盒。数据信息盒存储例如关于数据引用的信息如数据存储位置和引用方法。样本表盒存储例如关于样本管理的信息,如数据时间和地址信息。
<样本表盒>
样本是针对MP4文件格式的最小访问单元。图15中的子图B描绘了样本表盒的代表性结构。如图15中的子图B所示,样本表盒(stbl)具有样本描述盒、时间到样本盒、样本大小盒、样本到分块(chunk)盒、分块偏移盒、同步样本盒和子样本信息盒。
样本描述盒存储例如关于编解码器和图像大小的信息。样本描述盒还持有例如存储关于样本的信息的样本条目。样本条目中存储有解码配置信息。时间到样本盒存储例如关于样本时间的信息。样本大小盒存储例如关于样本大小的信息。样本到分块盒存储例如关于样本数据位置的信息。分块偏移盒存储例如关于数据偏移的信息。
同步样本盒存储例如关于同步样本的信息。同步样本是可随机访问的样本,即,可以从其开始解码的样本。也就是说,同步样本盒存储用于开始解码必要的信息(例如,解码所需的信息、表示解码起始点的信息等)。图16中的子图A描绘了同步样本的典型定义。图16中的子图B描绘了同步样本的句法的示例。图16中的子图C描绘了同步样本的语义的示例。
子样本信息盒存储例如关于子样本的信息。子样本是指示由样本指定的字节范围的一部分的单元。也就是说,由样本指定的字节范围可以被划分为多个子样本。换句话说,可以在样本中设定多个子样本。图17中的子图A描绘了子样本的句法的示例。图17中的子图B描绘了子样本的语义的示例。
<将DSD无损流放入MP4文件>
如上所述,可以使用新型DSD无损压缩编码技术将高品质DSD数据编码成DSD无损流,该DSD无损流被放入MP4文件并使用MPEG-DASH进行流传输。以这种方式实现了更高品质数据的传送。然而,尚不存在被设计成将DSD无损流放入MP4文件中的方法。例如,如果按照理论上所需的将基本流中的单个音频样本(1个量化样本)分配给MP4系统层上的单个MP4样本,则将生成大量MP4样本。例如,在2.8MHz的DSD数据的情况下,将在一秒内生成280万个MP4样本。这会对一次对一个MP4样本执行处理的系统施加巨大的负荷,是一种极其低效且不切实际的实践方式。这使得使用MPEG-DASH无法传送DSD无损流,使得传送更高品质的音频数据变得不切实际。
因此,本文提出了构成在预定时间段内聚合多个量化样本的音频访问单元(音频帧)并将其与每个MP4样本相关联。当为了减少实现负担而在具有大数据大小的访问单元中处理样本时,降低了所涉及的处理负荷。特别地,执行给定处理的次数例如每个样本的循环执行计数显著减少。
<2.第一实施方式>
<传送系统>
以下是对本技术的更详细的描述。要注意的是,下文讨论了与本技术相关的声音数据(音频数据)的传送。图18是描绘作为应用本技术的信息处理系统的一个实施方式的传送系统的典型配置的框图。图18中的传送系统100传送视频和音频数据(内容)。在传送系统100中,文件生成装置101、传送服务器102和再现终端103经由网络104可通信地互连。
文件生成装置101执行与存储音频数据的MP4文件的生成有关的处理。例如,文件生成装置101生成音频数据、生成存储所生成的音频数据的MP4文件并将该MP4文件提供至传送服务器102。传送服务器102执行与MP4文件的传送有关的处理。例如,传送服务器102获取并管理从文件生成装置101提供的MP4文件,并且提供使用MPEG-DASH传送该文件的服务。例如,响应于来自再现终端103的请求,传送服务器102将所请求的MP4文件提供至该再现终端103。再现终端103执行与音频数据的再现有关的处理。例如,再现终端103请求传送服务器102根据MPEG-DASH传送MP4文件,并且获取响应于该请求而提供的MP4文件。再现终端103对MP4文件进行解码以再现音频数据。
网络104是任何通信网络,其配置可以是有线的、无线的或者有线和无线二者。此外,网络104可以由单个或多个通信网络构成。例如,网络104可以包括支持任何合适的通信协议的通信网络和通信信道,例如因特网、公共电话网络、被称为3G或4G线路的广域移动通信网络、广域网(WAN)、局域网(LAN)、根据蓝牙(注册商标)标准提供通信的无线通信网络、用于短距离无线通信如近场通信(NFC)的通信信道、红外通信信道以及支持诸如高清晰度多媒体接口(HDMI;注册商标)或通用串行总线(USB)的协议的有线通信网络。
文件生成装置101、传送服务器102和再现终端103均可与网络104可通信地连接,网络104允许它们之间交换信息。文件生成装置101,传送服务器102和再现终端103可以以有线方式、以无线方式或者以有线和无线两种方式与网络104连接。
要注意的是,尽管图18描绘了配置有一个生成装置101、一个传送服务器102和一个再现终端103的传送服务器100,但这并非对系统配置的限制。这些装置中的每一个可以有任何数量的单元,并且各个装置的单元数量不需要相同。例如,在传送服务器100中,可以存在一个或多个文件生成装置101、一个或多个传送服务器102以及一个或多个再现终端103。
<文件生成装置>
图19是描绘文件生成装置101的代表性配置的框图。如图19所示,文件生成装置101包括DSD生成部111、DSD编码部112、MP4文件生成部113和设定部114。
DSD生成部111执行与DSD数据的生成有关的处理。例如,DSD生成部111对输入的音频信号(音频模拟信号)进行ΔΣ调制,以转换成DSD数据,其是1位数字数据。此外,DSD生成部111例如将生成的DSD数据提供至DSD编码部112。
DSD编码部112执行与DSD数据的编码有关的处理。例如,DSD编码部112使用上述新型DSD无损压缩编码技术对从DSD生成部111提供的DSD数据进行编码,以生成DSD无损流。此外,DSD编码部112例如将生成的DSD无损流提供至MP4文件生成部113。
MP4文件生成部113执行与MP4文件的生成有关的处理。例如,MP4文件生成部113从DSD编码部112获取DSD无损流,以生成存储该DSD无损流的MP4文件。MP4文件生成部113例如根据由设定部114提供的设置来生成MP4文件。此外,MP4文件生成部113将生成的MP4文件输出至文件生成装置101的外部。例如,MP4文件生成部113经由网络104将MP4文件提供至传送服务器102。
设定部114执行与MP4文件生成部113生成MP4文件所使用的设置有关的处理。例如,设定部114生成用于生成MP4文件的设置,并将该设置指定给MP4文件生成部113。例如,设定部114包括样本表盒设定部121、样本条目设定部122、同步样本盒设定部123和子样本信息盒设定部124。样本表盒设定部121执行与样本表盒的设定有关的处理。样本条目设定部122执行与样本条目的设定有关的处理。同步样本盒设定部123执行与同步样本盒的设定有关的处理。子样本信息盒设定部124执行与子样本信息盒的设定有关的处理。
另外,MP4文件生成部113和设定部114二者都可以被配置在单个装置(MP4文件生成装置131)中。MP4文件生成装置131生成存储输入的DSD无损流的MP4文件,并且输出生成的MP4文件。此外,MP4文件生成装置131的配置可以由DSD编码部112补充,以形成单个装置(MP4文件生成装置132)。MP4文件生成装置132对输入的DSD数据进行无损编码以生成DSD无损流,并且生成存储该DSD无损流的MP4文件,此后输出该MP4文件。
<再现终端>
图20是描绘再现终端103的代表性配置的框图。如图20所示,再现终端103包括MP4文件获取部141、DSD解码部142、输出控制部143、输出部144和控制部145。
MP4文件获取部141执行与MP4文件的获取有关的处理。例如,MP4文件获取部141请求传送服务器102根据MPEG-DASH传送内容,并且获取具有响应于该请求而提供的内容的MP4文件。此外,MP4文件获取部141例如从获取的MP4文件中提取DSD无损流,并将提取的流提供至DSD解码部142。此外,MP4文件获取部141例如从获取的MP4文件中提取控制信息,并将提取的信息提供至控制部145。
DSD解码部142执行与DSD无损流的解码有关的处理。例如,DSD解码部142使用支持上述新型DSD无损压缩编码技术的解码方法对DSD无损流进行解码,从而恢复DSD数据。要注意的是,DSD解码部142例如在控制部145的控制下执行解码。此外,DSD解码部142例如将恢复的DSD数据提供至输出控制部143。
输出控制部143执行与DSD数据的输出控制有关的处理。输出控制部143通过例如丢弃从DSD解码部142提供的DSD数据或将DSD数据提供至输出部144来控制DSD数据的输出。要注意的是,输出控制部143例如在控制部145的控制下执行输出控制。
输出部144执行与DSD数据的输出有关的处理。例如,配备有扬声器或类似部件的输出部144将从输出控制部143提供的DSD数据转换为音频信号(音频模拟信号),并通过扬声器输出该音频信号。可替选地,输出部144可以配备有输出端子或类似的部件,以便将音频信号或DSD数据输出至再现终端103的外部(即,输出至另一装置)。输出部144可以根据需要来配置,并且可以包括除上述装置之外的装置。
控制部145执行与DSD无损流的解码控制有关并且与DSD数据的输出控制相关联的处理。例如,控制部145控制DSD解码部142以调节对DSD无损流的解码。此外,控制部145例如控制输出控制部143以调节DSD数据的输出。控制部145例如从MP4文件获取部141获取控制信息,以基于获取的控制信息来执行这些控制。
例如,控制部145包括样本表盒分析部151、子样本信息盒分析部152、同步样本盒分析部153、样本条目分析部154、解码器配置信息设定部155和再现控制部156。
样本表盒分析部151执行与分析样本表盒有关的处理。子样本信息盒分析部152执行与分析子样本信息盒有关的处理。同步样本盒分析部153执行与分析同步样本盒有关的处理。样本条目分析部154执行与分析样本条目有关的处理。解码器配置信息设定部155执行与分析解码器配置信息有关的处理。再现控制部156执行与DSD数据的再现控制有关的处理。
另外,MP4文件获取部113、DSD解码部142、输出控制部143和控制部145可以被配置在单个装置(MP4文件再现装置161)中。MP4文件再现装置161从输入的MP4文件中提取DSD无损流,并对提取的DSD无损流进行解码以生成DSD数据。此外,MP4文件再现装置161输出期望范围(即,从期望位置到期望位置的范围)的生成的DSD数据。
<设定MP4样本>
如上所述,还没有一种方法被设计成将DAD无损流存储到MP4文件中,其中,使用新型DSD无损压缩编码技术对高品质DSD数据进行编码。例如,尚不能确定要将哪些数据分配给MP4文件中的哪些样本。
因此,本技术提出,给定用于存储来源于音频数据的编码数据的具有预定文件格式的文件,该编码数据处于成组的预定数量的块中,向该文件设定样本,该样本是文件中的最小访问单元并且包括用于对成组的块中的每个进行解码的初始化信息。
优选地,编码数据可以是上述DSD无损流(使用上述新型DSD无损压缩编码技术对DSD数据进行编码的流)。这些块可以是DSD无损流中的块,每一组块可以是GOB,初始化信息可以是GOB初始化器。预定文件格式可以是上述MP4文件格式(即,符合ISO/IEC 14496标准的文件格式),并且样本可以是MP4文件中的样本。也就是说,例如,可以利用包括DSD无损流的GOB初始化器的样本来设定MP4文件。例如,样本条目设定部122被配置成设定各自包括GOB初始化器的样本。
上述设定允许使用初始化信息对每个块进行解码。也就是说,DSD无损流可以存储在MP4文件中。因此,实现了使用MPEG-DASH技术的DSO无损流的流式传送,并且发送了更高品质的音频数据。
<对每个块进行采样>
可以将DSD无损流中的每个块分配给不同的样本。也就是说,可以将一个块分配给MP4文件中的一个样本。例如,如图21所示,可以向具有一个GOB(10个块)的DSD无损流171设定由双头箭头172指示的样本。双头箭头172表示样本的范围。
例如,如(A-1)所示,可以向每个块设定样本。在这种情况下,总共向DSD无损流171设定了11个样本,即,包括GOB初始化器的样本和针对每个块的样本。例如,除了包括GOB初始化器的样本之外,样本条目设定部122还设定针对这些块的样本。
此外,如(A-2)所示,在如(A-1)所示设定的样本中,包括GOB初始化器的样本可以被设定为同步样本。在图21中,椭圆173表示该样本是同步样本。例如,同步样本设定部123将包括GOB初始化器的样本设定为同步样本。在这种情况下,同步样本包括GOB初始化器,但不包括任何块,因此同步样本的再现时间为0。
此外,如(A-3)所示,包括GOB初始化器的样本还可以包括GOB的第一块(块1),其中,GOB的第二块和后续的块被分配给每个样本。在这种情况下,总共向DSD无损流171设定了10个样本,即,包括GOB初始化器和块1的样本,以及针对块2至块10中的每一个的样本。例如,样本条目设定部122设定包括GOB初始化器和块1的样本,以及针对块2至块10中的每一个的样本。
此外,如(A-4)所示,在如(A-3)所示设定的样本中,包括GOB初始化器和块1的样本可以被设定为同步样本。例如,同步样本盒设定部123将包括GOB初始化器和块1的样本设定为同步样本。
此外,如(A-5)所示,在如(A-3)所示设定的样本中,包括GOB初始化器和块1的样本可以被设定成具有分配给GOB初始化器的子样本和分配给块1的另一子样本。在图21中,虚线双头箭头174表示子样本的范围。在这种情况下,即,向包括GOB初始化器和块1的样本设定包括GOB初始化器的子样本和包括块1的子样本。例如,子样本信息盒设定部124设定这些子样本。
此外,如(A-6)所示,在如(A-5)所示设定的样本中,包括GOB初始化器和块1的样本可以被设定为同步样本。例如,同步样本盒设定部123将包括GOB初始化器和块1的样本设定为同步样本。在这种情况下,即,同步样本和子样本二者均被设定。
要注意的是,在(A-2)的情况下,对于一个GOB存在11个样本,因此样本编号如图22中的子图A所示的那样被设定在同步样本盒(SyncSampleBox(stss))中。相反,在(A-4)或(A-6)的情况下,对于一个GOB存在10个样本,因此样本编号如图22中的子图B所示的那样被设定在同步样本盒(stss)中。
此外,在(A-5)或(A-6)的情况下,如图22中的子图C所示,在子样本信息盒中设定参数,如样本增量sample_delta、样本计数subsample_count、样本大小subsample_size_1和subsample_size_2。sample_delta参数表示(标识)设定子样本的样本位置(编号)。subsample_count参数表示设定的子样本的数量。subsample_size参数表示每个子样本的大小。例如,subsample_size_1参数表示包括GOB初始化器的子样本的大小,该大小为25字节。subsample_size_2参数表示包括块1的子样本的大小,该大小取决于每个子样本而变化(例如,x01、x02、x03、...)。
显然,上述值仅是示例。上述参数的值不限于图22的示例中的值。另外,不需要使用每个子样本的诸如字段(field)、子样本优先级(subsample_priority)、可丢弃性(discardable)和编解码器特定参数(codec_specific_parameters)的参数。
当如(A-1)所示设定样本时,以块为单位控制对数据的解码。与以量化的样本为单位对数据进行采样的情况相比,这减少了负荷的任何增加。此外,因为在这种情况下针对每个GOB设定了包括GOB初始化器的样本,所以通过最初访问给定GOB的第一样本来以块为单位随机访问数据。例如,在要访问GOB中途的块的情况下,最初读取GOB初始化器使得可以从该中途的块开始解码数据(省略了对感兴趣的块之前的块的解码)。
此外,当如(A-2)所示设定样本时,将包括GOB初始化器的样本设定为同步样本。这使得可以更易于访问包括GOB初始化器的样本,从而能够访问当前GOB中的期望的块。也就是说,使得可以以块为单位进行随机访问。此外,由于GOB初始化器存储在与块的样本不同的样本中,所以不必对块进行解码就能读出GOB初始化器。这意味着更快地读出GOB初始化器。
此外,当如(A-3)所示设定样本时,不存在再现时间为0的样本。这使得更易于建立样本计数与再现时间之间的对应关系。
此外,当如(A-4)所示设定样本时,将包括GOB初始化器和块1的样本设定为同步样本。这使得能够以块为单位进行随机访问。
此外,当如(A-5)所示设定样本时,GOB初始化器被提取作为子样本。这提供了更快地读出GOB初始化器。
此外,当如(A-6)所示设定样本时,更易于建立样本计数与再现时间之间的对应关系。这允许更快地读出GOB初始化器,并且能够以块为单位进行随机访问。
<对每个GOB进行采样>
可以将DSD无损流中的每个块分配给单个样本。也就是说,可以将一个GOB分配给MP4文件中的单个样本。例如,如图23所示,可以向具有一个GOB(10个块)的DSD无损流171设定由双头箭头172指示的样本。
例如,如(B-1)所示,可以将样本设定成包括GOB初始化器以及块1至块10。在这种情况下,向DSD无损流171设定一个样本。例如,样本条目设定部122设定包括GOB初始化器和所有块的样本。
此外,如(B-2)所示,可以将如(B-1)所示设定的包括整个GOB的样本设定为同步样本。在图23中,椭圆173也表示同步样本。例如,同步样本盒设定部123以这种方式设定同步样本。
此外,如(B-3)所示,给定如(B-1)所示设定的样本,可以将GOB初始化器和块1设定为子样本,并且还可以将块2至块10中的每个块设定为子样本。在图23中,虚线双头箭头174也表示子样本的范围。在这种情况下,即,在涵盖整个GOB的样本中设定了总共10个子样本,即,包括GOB初始化器和块1的子样本、包括块2的子样本、包括块3的子样本、...以及包括块10的子样本。例如,子样本盒设定部124以这种方式设定子样本。
此外,如(B-4)中的虚线双头箭头174所示,给定如(B-1)所示设定的样本,可以将GOB初始化器设定为子样本,并且还可以将块1至块10中的每个块设定为子样本。在这种情况下,即,在包括整个GOB的样本中总共设定有11个子样本,即,包括GOB初始化器的子样本、包括块1的子样本、包括块2的子样本、...以及包括块10的子样本。例如,子样本信息盒设定部124设定这些子样本。
此外,如(B-5)所示,可以将包括整个GOB并且如(B-3)所示其中设定有子样本的样本设定为同步样本。例如,同步样本盒设定部123以这种方式设定同步样本。
此外,如(B-6)所示,可以将包括整个GOB并且如(B-4)所示其中设定有子样本的样本设定为同步样本。例如,同步样本盒设定部123以这种方式设定同步样本。
另外,ISO/IEC 14496-12(2015)标准的子条款8.6.2.1规定了“如果不存在同步样本盒,则每个样本都是同步样本。”根据此规则,在没有要求设定同步样本(即,未设定同步样本盒)的情况下,所有样本都成为随机访问点。因此,上述(B-2)、(B-5)和(B-6)的情况分别与(B-1)、(B-3)和(B-4)基本相同。这意味着可以省略这些情况。
此外,在(B-3)的情况下(在(B-5)的情况下),如图24中的子图A所示,在子样本信息盒中设定诸如sample_delta、subsample_count、subsample_size_1、...和subsample_size_10的参数。在这种情况下,每个GOB的样本计数为1,因此样本增量(delta)值被设定为“1”。在每个样本中设定有10个子样本的情况下,子样本计数值被设定为“10”。此外,子样本大小被设定为各个子样本的大小(例如,x11、...、x110,y11、...、y110,z11、...、z110)。
此外,在(B-4)的情况下(在(B-6)的情况下),如图24中的子图B所示,在子样本信息盒中设定诸如sample_delta、subsample_count、subsample_size_1、...和subsample_size_11的参数。在这种情况下,每个GOB的样本计数为1,因此样本增量(delta)值被设定为“1”。在每个样本中设定有11个子样本的情况下,子样本计数值被设定为“11”。此外,样本1(subsample_size_1)表示包括GOB初始化器的子样本的大小,该值被设定为“25”(字节)。子样本2和后续子样本的子样本大小被设定为各个子样本的大小(例如,x21、...、x210,y21、...、y210,z21、...、z210)。
显然,上述值仅是示例。这些参数的值不限于图24的示例中的值。另外,不需要使用每个子样本的诸如字段(field)、子样本优先级(subsample_priority)、可丢弃性(discardable)和编解码器特定参数(codec_specific_parameters)的参数。
当如(B-1)所示设定样本时(如(B-2)中),以GOB为单位控制对数据的解码。与以量化的样本为单位对数据进行采样的情况相比,这减少了负荷的任何增加。此外,在这种情况下,因为针对每个GOB都设定了包括GOB初始化器的样本,并且因为每个样本都被自动设定为同步样本,因此可以至少以GOB为单位随机访问数据。要注意的是,可以通过从块1开始对块顺序地解码来访问GOB中途的块,并且只需要在输出控制下丢弃感兴趣块之前的块的解码结果。
此外,当如(B-3)所示设定样本时(如(B-5)中),提取GOB初始化器和块1作为子样本,并且还提取块2至块10中的每一个作为子样本。这使得更易于建立样本计数与再现时间之间的对应关系,并且能够以块为单位进行随机访问。
此外,当如(B-4)所示设定样本时(如(B-6)中),提取GOB初始化器作为子样本,并且还提取块1至块10中的每一个作为子样本。这提供了更快地读出GOB初始化器,并且能够以块为单位进行随机访问。
<在采样时将GOB初始化器与块分离>
DSD无损流中的每个GOB可以设定有2个样本,即,包括GOB初始化器的样本,以及不包括GOB初始化器(仅包括块)的样本。也就是说,将GOB初始化器分配给MP4文件的一个样本,并将这一组的块分配给MP4文件的另一样本。例如,如图25所示,可以向具有一个GOB(10个块)的DSD无损流171设定由双头箭头172指示的每个样本。
例如,如(C-1)所示,可以向包括GOB初始化器的样本补充被设定成包括GOB的所有块的样本。在这种情况下,给定DSD无损流171,总共设定2个样本,即,包括GOB初始化器的样本,以及包括GOB的所有块的样本。例如,除了包括GOB初始化器的样本之外,样本条目设定部122还设定包括GOB中的所有块的样本。
此外,如(C-2)所示,在如(C-1)所示设定的样本中,包括GOB初始化器的样本可以被设定为同步样本。同样在图25中,椭圆173表示同步样本。例如,同步样本设定部123将包括GOB初始化器的样本设定为同步样本。在这种情况下,同步样本包括GOB初始化器,但不包括任何块,因此该样本的再现时间为0。
此外,如(C-3)中的虚线双头箭头174所示,可以将块1至块10中的每个块设定为如(C-1)所示设定的包括GOB的所有块的样本中的子样本。在这种情况下,即,在包括GOB的所有块的样本中有总共10个子样本,即,包括块1的子样本、包括块2的子样本、...以及包括块10的子样本。例如,子样本盒设定部124以这种方式设定子样本。
此外,如(C-4)所示,包括GOB初始化器的样本可以被设定为同步样本,其不同于如(C-3)所示设定有子样本并且包括GOB的所有块的样本。例如,同步样本盒设定部123以这种方式设定同步样本。
可替选地,代替如(C-1)中设定的样本,例如,可以存在如(C-5)中所示的被设定成包括GOB初始化器和块1的样本以及被设定成包括块2至块10的样本。在这种情况下,给定DSD无损流171,总共设定2个样本,即,包括GOB初始化器和块1的样本,以及包括块2至块10的样本。例如,样本条目设定部122设定这2个样本。
此外,如(C-6)所示,在如(C-5)所示设定的样本中,包括GOB初始化器和块1的样本可以被设定为同步样本。例如,同步样本盒设定部123将包括GOB初始化器和块1的样本设定为同步样本。在这种情况下,同步样本包括GOB初始化器和块1二者,因此该样本具有块1的再现时间。
此外,如(C-7)中的虚线双头箭头174所示,可以将块2至块10中的每个块设定为如(C-5)所示被设定成包括这些块的样本中的子样本。在这种情况下,即,在包括块2至块10的样本中设定有总共9个子样本,即,包括块2的子样本、包括块3的子样本、...以及包括块10的子样本。例如,子样本信息盒设定部124设定这些子样本。
此外,如(C-8)中的虚线双头箭头174所示,除了如(C-7)所示设定的子样本之外,可以将GOB初始化器和块1均设定为子样本。在这种情况下,也就是说,总共设定有11个子样本,即,包括GOB初始化器的子样本、包括块1的子样本、包括块2的子样本、...以及包括块10的子样本。例如,子样本信息盒设定部124设定这些子样本。
此外,如(C-9)所示,可以将包括GOB初始化器和块1的样本设定为同步样本,来替代具有如(C-7)所示被设定有包括块2至块10的子样本的样本。例如,同步样本盒设定部123以这种方式设定同步样本。
此外,如(C-10)所示,可以将具有如(C-8)所示设定成包括GOB初始化器和块1的子样本的样本设定为同步样本。例如,同步样本盒设定部123以这种方式设定同步样本。
另外,根据ISO/IEC 14496-12(2015)标准,如上所述,所有样本构成随机访问点,并且不要求设定同步样本。因此,在上述(C-1)、(C-3)、(C-5)、(C-7)和(C-8)的情况下,有可能仅包括块的样本可以成为同步样本。由于这个原因,可以抑制这些情况。
此外,在(C-2)、(C-4)、(C-6)、(C-9)和(C-10)的情况下,分别存在1个GOB的2个样本。因此,如图26中的子图A所示,在同步样本盒(stss)中设定样本编号。
此外,在(C-4)的情况下,如图26中的子图B所示,在子样本信息盒中设定诸如sample_delta、subsample_count、subsample_size_1、…和subsample_size_10的参数。在这种情况下,每个GOB的样本计数为2,因此样本增量(delta)值被设定为“2”。因为在包括块1至块10的样本中设定了10个子样本,因此子样本计数值被设定为“10”。子样本大小被设定为各个子样本的大小(例如,x31、…、x310,y31、…、y310,z31、…、z310)。
此外,在(C-9)的情况下,如图26中的子图C所示,在子样本信息盒中设定诸如sample_delta、subsample_count、subsample_size_1、…和subsample_size_9的参数。在这种情况下,每个GOB的样本计数为2,因此样本增量(delta)计数被设定为“2”。此外,在包括块2至块10的样本中设定有9个子样本的情况下,子样本计数值被设定为“9”。此外,子样本大小被设定为各个子样本的大小(例如,x41、…、x49,y41、…、y49,z41、…、z49)。
此外,在(C-10)的情况下,如图27所示,在子样本信息盒中设定诸如sample_delta、subsample_count、subsample_size_1、…和subsample_size_9的参数。在这种情况下,在每个GOB的所有样本中设定子样本,因此样本增量值被设定为“1”。此外,因为包括GOB初始化器和块1的样本中设定了2个子样本,并且因为在包括块2至块10的样本中设定了9个子样本,因此子样本计数值被设定为“2”或“9”。此外,子样本大小被设定为各个子样本的大小(例如,25、x41,y51、...、y59,25、z51)。
显然,上述值仅是示例。上述参数的值不限于图26和图27的示例中的值。另外,不需要使用每个子样本的诸如字段(field)、子样本优先级(subsample_priority)、可丢弃性(discardable)和编解码器特定参数(codec_specific_parameters)的参数。
当如(C-2)所示设定样本时,以GOB为单位控制对数据的解码。与以量化的样本为单位对数据进行采样的情况相比,这减少了负荷的任何增加。此外,因为在这种情况下针对每个GOB都设定了包括GOB初始化器的样本,因此至少以GOB为单位随机访问数据。要注意的是,可以通过从块1开始对块顺序地解码来访问GOB中途的块,并且仅需要在输出控制下丢弃感兴趣块之前的块的解码结果。
此外,当如(C-4)所示设定样本时,提取块1至块10中的每个块作为子块。这使得能够以块为单位进行随机访问。
此外,当如(C-6)所示设定样本时,将GOB初始化器附加至块1。这使得更易于建立子样本计数与再现时间之间的对应关系。
此外,当如(C-9)所示设定样本时,以块为单位随机访问数据。这也使得更易于建立子样本计数与再现时间之间的对应关系。
此外,当如(C-10)所示设定样本时,以块为单位随机访问数据,并且更容易地建立子样本计数与再现时间之间的对应关系。还可以提取GOB初始化器和块1至块10中的每一个作为子样本。这提供了更快地读出GOB初始化器,并且允许以块为单位进行随机访问。
当如上所述设定样本时,DSD无损流存储在MP4文件中。这允许发送更高品质的音频数据。
<传送数据生成处理的流程>
下面描述由传送系统100中的各个装置执行的处理。首先,参照图28的流程图说明由文件生成装置101执行的传送数据生成处理的典型流程。文件生成装置101在生成音频数据的MP4文件时执行传送数据生成处理。
当传送数据生成处理开始时,在步骤S101中文件生成装置101的DSD生成部111通过对音频模拟信号进行ΔΣ调制来生成DSD数据。在步骤S102中,DSD编码部112通过使用上述新型DSD无损压缩编码技术对在步骤S101中生成的DSD数据进行编码来生成DSD无损流。在步骤S103中,MP4文件生成装置131(即,MP4文件生成部113和设定部114)执行MP4文件生成处理,以生成其中存储在步骤S102中生成的DSD无损流的MP4文件。稍后将讨论MP4文件生成处理。在MP4文件被生成的情况下,在步骤S104中MP4文件生成部113将生成的MP4文件提供至传送服务器102。在步骤S104结束时,传送数据生成处理终止。
<MP4文件生成处理的流程>
接下来参照图29的流程图说明在传送数据生成处理的步骤S103中执行的MP4文件生成处理的典型流程。
当MP4文件生成处理开始时,在步骤S111中样本表格盒设定部121设定样本表盒。在步骤S112中,样本条目设定部122设定样本条目。
在步骤S113中,样本条目设定部122参考.afr文件将用于分离的字节位置(样本大小)设定到样本中。也就是说,样本条目设定部122基于.afr文件向样本分配块。在进行分配时,样本条目设定部122例如使用以上如(A-1)至(A-6)、(B-1)至(B-6)和(C-1)至(C-10)所述的方法中的一种方法。
在步骤S114中,样本条目设定部122参考.esd文件将解码当前GOB所需的解码器配置信息存储到样本条目中。也就是说,样本条目设定部122基于.esd文件来设定包括解码器配置信息的GOB初始化器,并且将该设置分配给样本。在进行分配时,样本条目设定部122例如使用以上如(A-1)至(A-6)、(B-1)至(B-6)和(C-1)至(C-10)所述的方法中的一种方法。
在步骤S115中,同步样本盒设定部123参考.afr文件准备包括GOB初始化器的样本列表,并且设定用于存储该列表的同步样本盒。
在步骤S116中,在使用子样本的情况下,子样本信息盒设定部124检查每个样本中的块边界和GOB初始化器的范围,基于这样的信息设定子样本信息盒,并且设定诸如样本增量、子样本计数和子样本大小的参数。
在步骤S117中,设定部114设定文件类型兼容性盒(ftyp)。在步骤S118中,设定部114根据设置来生成影片盒。也就是说,设定部114生成用于存储如上所述设定的样本表盒的影片盒(moov)。在步骤S119中,设定部114生成媒体数据盒(mdat),并在其中存储DSD无损流。
当如上所述生成了MP4文件时,MP4文件生成处理结束。然后,控制返回至图28中的处理。
当如上所述执行处理时,DSD无损流被存储至MP4文件中。因此,使用MPEG-DASH发送更高品质的音频数据。
<再现处理的流程>
以下是对MP4文件的再现(解码)的描述。要注意的是,以下说明的是随机再现的情况,例如图30中列出的情况。也就是说,假定读入在同步样本中存储的解码器配置信息,并且基于该解码器配置信息,从与同步样本相同的GOB的样本的中途的块开始进行再现。在这种情况下,如图30所示,向该样本中途的块(即,样本中途)设定再现开始时间。解码开始时间被指定为该样本的开头。
再现终端103从传送服务器102获取MP4文件、通过执行再现处理来再现该MP4文件,并且输出再现的音频数据。参照图31中的流程图来说明再现处理的典型流程。
当再现处理开始时,在步骤S131中,再现终端103的MP4文件获取部141获取从传送服务器102传送的MP4文件。在步骤S132中,MP4文件再现装置161(例如,DSD解码部分142、输出控制部143和控制部145)执行解码处理,以从该MP4文件中提取DSD无损流、对所提取的DSD无损流进行解码,并且因此开始输出从再现开始时间起获得的DSD数据。
在步骤S133中,输出部144输出在步骤S132中再现的声音(音频模拟信号)。
<解码处理的流程>
接下来,参照图32的流程图,以下参照图33的流程图说明在再现处理的步骤S132中执行的解码处理的典型流程。
当解码处理开始时,在步骤S141中,样本表盒分析部151参考由MP4文件获取部141获取的MP4文件中的样本表盒,以识别与再现开始时间对应的DSD无损轨道的解码开始样本、同步样本以及分块的字节位置。
在步骤S142中,样本条目分析部154参考样本条目。
在步骤S143中,样本条目分析部154确定是否存在解码器配置信息。在确定不存在解码器配置信息的情况下,控制转移至步骤S144。
在这种情况下,在步骤S144中样本条目分析部154通过从MP4文件中读取由同步样本指定的样本的数据来获取GOB初始化器。由于GOB初始化器被获取,控制转移至步骤S145。在步骤S143中确定存在解码器配置信息的情况下,跳过步骤S144,并且控制转移至步骤S145。
在步骤S145中,解码器配置信息设定部155设定在MP4文件中包括的解码器配置信息。
在步骤S146中,DSD解码部142基于解码器配置信息从由MP4文件获取部141获取的MP4文件中的解码开始样本的起始字节位置读取数据(DSD无损流)。
在步骤S147中,DSD解码部142开始对读取的数据进行解码。
在步骤S148中,再现控制部156对输出控制部143指定再现开始时间。输出控制部143从指定时间开始输出在步骤S147中获得的DSD数据。
在步骤S148结束时,解码处理终止。然后,控制返回至图31中的处理。
当如上所述执行处理时,在MP4文件中存储并发送的DSD无损流被解码,并且解码的音频数据被输出。也就是说,使用MPEG-DASH发送更高品质的音频数据。
另外,在配置片段化影片的情况下,片段边界可以被布置为与GOB边界中的一个重合。在这种情况下,片段的开头构成GOB的开头。多个GOB也可以存储在单个片段中。
<第二实施方式>
<从基本流分离参数集>
应注意,可以在与其中存储块(块的样本)的轨道不同的轨道中存储解码所需的GOB初始化器(GOB初始化器的样本)。
作为解码所需的参数集的GOB初始化器位于每个GOB的开头,并随时间而变化。当参数集被配置为单个轨道时,可以更易于访问和读出该参数集。
另外,轨道是一系列样本(或分块)。如上所述,每个GOB的GOB初始化器(头、配置文件、GOB数据(码簿))存储在单个轨道中。在这种情况下,采样持续时间是一个GOB的再现时间。
例如,假设DSD无损流的GOB被配置成如图33中的子图A所示。即,一个GOB的DSD无损流171具有GOB初始化器和10个块(块1至块10)。图33中的子图B描绘了存储该DSD无损流171的典型MP4文件。
在这种情况下,如图33中的子图B所示,DSD无损流171的GOB初始化器以及该DSD无损流171的块的数据被存储在MP4文件181的媒体盒(mdat)中。在影片盒(moov)中,形成2个轨道,即,DSD无损参数集轨道和DSD无损基本流轨道。DSD无损参数集轨道存储关于解码DSD无损流所需的参数集的管理信息。DSD无损基本流轨道存储关于DSD无损流中的块的数据的管理信息。
关于DSD无损流的参数集的管理信息存储在DSD无损参数集轨道的样本描述盒(stsd)中形成的样本条目(dsdp)中。也就是说,关于媒体数据盒(mdat)中的每个GOB初始化器的信息存储在该样本条目(dsdp)中。
此外,关于DSD无损流的基本流的管理信息存储在DSD无损基本流轨道的样本描述盒(stsd)中形成的样本条目(dsde)中。也就是说,关于媒体数据盒(mdat)中的每个块的信息存储在样本条目(dsde)中。
另外,以上参照图21和图27讨论的方法之一仅需要用于分配DSD无损基本流轨道中的样本。也就是说,尽管图33的子图B中的示例描绘了向一个块分配一个样本,但是该示例并非对如何分配样本进行限制。
以上配置允许更快地获取解码器配置信息(解码所需的设置信息;在解码开始之前对解码器设定)。具体地,在随机访问时高速获取头信息。因此,期望再现开始之前经过的时间将被缩短,并且将更快地进行流之间的切换。GOB初始化器的样本的再现时间为0。当再现时间为0的样本被分离为不同的轨道时,该轨道中可以不包括除了指定块的样本之外的样本。也就是说,由于防止不同性质的样本在一个轨道中共存,使得信息管理变得更容易。
另外,DSD无损基本轨道的样本可以包括GOB初始化器和块1(第一块)。也就是说,在DSD无损基本轨道中,GOB初始化器可以附加至GOB的第一块(块1)。
例如,假设如图34中的子图A所示来配置DSD无损流的GOB。即,一个GOB的DSD无损流171具有GOB初始化器和10个块(块1至块10)。在图34的子图B中示出了存储该DSD无损流171的典型MP4文件。
如图34的子图B中的示例所描绘的MP4文件182的配置基本上类似于图33的子图B中的MP4文件181的配置。要注意的是,在DSD无损基本轨道中,如矩形183所示,将GOB初始化器附加至GOB的第一块(块1)。由于对于每个轨道所参考的媒体数据盒中的数据而言其可以接受被复制,因此也可以以这种方式分配样本。这些分配允许仅使用与DSD无损基本轨道的样本有关的信息来解码数据。
<MP4文件生成处理的流程>
在当前的情况下,传送数据生成处理也基本上以类似于以上参照图28的流程图讨论的流程来执行。下面参照图35的流程图说明这种情况下的MP4文件生成处理的典型流程。
当MP4文件生成处理开始时,在步骤S161中,样本表盒设定部121设定样本表盒,并生成参数集轨道(DSD无损参数集轨道)和基本流轨道(DSD无损基本流轨道)。在步骤S162中,样本条目设定部122向每个轨道设定样本条目(“dsdp”和“dsde”)。
在步骤S163中,样本条目设定部122通过参考.afr文件将用于分离的字节位置(样本大小)设定到样本中。也就是说,样本条目设定部122基于.afr文件来将块分配给DSD无损基本流轨道中的样本。在进行分配时,样本条目设定部122例如使用以上如(A-1)至(A-6)、(B-1)至(B-6)和(C-1)至(C-10)所述的方法中的一种方法。
在步骤S164中,样本条目设定部122参考.esd文件以将解码器配置信息存储到DSD无损参数集轨道的样本条目(‘dsdp’)中。也就是说,样本条目设定部122基于.esd文件来将包括解码器配置信息的GOB初始化器分配给DSD无损参数集轨道的样本。在进行分配时,样本条目设定部122例如使用以上如(A-1)至(A-6)、(B-1)至(B-6)和(C-1)至(C-10)所述的方法中的一种方法。
以与图29中的从步骤S115至步骤S119的处理类似的方式来执行从步骤S165至步骤S169的处理。在步骤S169结束时,MP4文件生成处理终止。然后,控制返回至图28中的处理。当如上所述执行处理时,DSD无损流被存储至MP4文件中。因此,使用MPEG-DASH发送更高品质的音频数据。
<解码处理的流程>
在当前的情况下,再现处理也基本上以类似于以上参照图31的流程图讨论的流程来执行。下面参照图36的流程图说明这种情况下的解码处理的典型流程。
当解码处理开始时,在步骤S181中,样本表盒分析部151通过参考由MP4文件获取部141获取的MP4文件中的DSD无损基本流的样本表盒来识别与再现开始时间对应的DSD无损轨道的解码开始样本、同步样本和分块的字节位置。
在步骤S182中,样本条目分析部154参考DSD无损参数集轨道的样本条目(“dedp”)。
在步骤S183中,样本条目分析部154确定是否存在解码器配置信息。在确定不存在解码器配置信息的情况下,控制转移至步骤S184。在这种情况下,在步骤S184中样本条目分析部154通过从DSD无损参数集轨道的样本条目(“dedp”)读取由同步样本指定的样本的数据来获取GOB初始化器。由于GOB初始化器被获取,控制转移至步骤S185。在步骤S183中确定存在解码器配置信息的情况下,跳过步骤S184,并且控制转移至步骤S185。
以与图32中的从步骤S145至步骤S148的处理类似的方式来执行从步骤S185至步骤S188的处理。在步骤S188结束时,解码处理终止。然后,控制返回至图31中的处理。当如上所述执行处理时,MP4文件中存储和发送的DSD无损流被解码,并且解码的音频数据被输出。也就是说,使用MPEG-DASH发送更高品质的音频数据。
<DRM>
另外,上述DSD无损参数集轨道的文件可以与DSD无损基本流轨道的文件不同。
例如,通过对未压缩DSD数据进行无损编码而获得的DSD无损流在没有GOB初始化器的情况下不能被解码。通过利用该特性,可以将DSD无损流视为加密流,并且使用包括作为解密密钥信息的GOB初始化器的MP4文件来将本技术应用于数字版权管理(DRM)系统。
例如,在内容传送中,可以设想使用DRM来管理再现的方法。在这样的DRM系统中,GOB初始化器可以存储在MP4文件中,而块存储在不同的MP4文件中。然后,存储GOB初始化器的MP4文件可以作为对存储块的MP4文件进行解码所需的解密密钥信息被单独地传送。
例如,可以共享并广泛分发仅存储块的MP4文件。也可以允许复制该文件。然而,由于此MP4文件不包括GOB初始化器,因此无法仅根据此MP4文件来再现内容。
然后,将其中存储有GOB初始化器的MP4文件提供给合法用户(例如,付费用户)。以这种方式,只有已获得正确的解密密钥的合法用户(即,持有GOB初始化器的MP4文件)能够再现内容(仅持有块的MP4文件)。也就是说,使用本技术来配置DRM系统。因此,实现了更安全的数据传送。换句话说,在内容传送中,可以实现多种功能,包括限制向授权用户的内容传送。
更具体地,这种类型的DRM系统要求表明在存储块的MP4文件与存储用于解码这些块所需的GOB初始化器的MP4文件之间的对应关系。也就是说,有必要识别正确的解密密钥信息。例如,可以在样本条目中设置的保护方案信息盒(sinf)中描述这种对应关系。
例如,如图37的子图A所描绘的,在样本条目中设置保护方案信息盒(sinf)。保护方案信息盒包括例如原始格式盒和方案类型盒。图37的子图B中描绘了保护方案信息盒、原始格式盒和方案类型盒的句法的示例。
原始格式盒中存储有关于未加密流的信息。例如,未压缩DSD数据被视为未加密流。在这种情况下,例如,表示未加密流的数据格式的original_format参数的值被设定为‘dsd0’(未压缩DSD数据)。
方案类型盒中存储有关于加密流的解码的信息。例如,通过使用新型DSD无损压缩编码技术对DSD数据进行编码而获得的DSD无损流被视为加密流。在这种情况下,例如,表示加密方法(编码方法)的scheme_type参数的值被设定为‘dsde’(新型DSD无损压缩编码技术)。
此外,方案类型盒中存储有关于许可文件链接的信息。可以根据需要指定许可文件。例如,许可文件将关于GOB初始化器的链接的信息描述为解密密钥。
因此,如图38所示,例如,获取了仅存储有块的MP4文件201的用户为该文件付费,以成为被授权再现该文件的内容的合法用户。用户基于MP4文件201中的DSD无损基本流轨道的保护方案盒(sinf)中的信息来继续获取许可文件202。基于许可文件202中的信息,用户获取与MP4文件201对应的存储有GOB初始化器的MP4文件203。然后,用户被允许利用MP4文件203再现MP4文件201以欣赏到内容。
如上所述,通过使用本技术将GOB初始化器存储在一个MP4文件中并将块存储在另一个MP4文件中来实现DRM系统。
要注意的是,当通过许可文件202的介入来定义MP4文件201与MP4文件203之间的对应关系时,例如,可以根据需要更容易地更新该对应关系。也就是说,使用介入文件会变得更易于管理对应关系。
要注意的是,因为存储GOB初始化器的文件和存储块的文件彼此分离,因此有必要将每个GOB初始化器与给定块相关联。尽管包括GOB初始化器的文件不限于MP4文件,但MP4文件提供了基于样本表盒中的信息和从属信息来识别从文件开头起的时间的优点。因此,MP4文件允许播放器将GOB初始化器与对应的块相关联。
<4.第三实施方式>
<设定音频样本条目>
要注意的是,优选地,关于DSD无损流的管理信息可以存储在音频样本条目(AudioSampleEntryV1)中。图39描绘了音频样本条目的句法的示例。在使用音频样本条目的情况下,参数被重新设定如下:
音频格式的标识符被设定为编码名称(codingname)参数。例如,在DSD数据的情况下,设定指示DSD数据的标识符‘dsd1’。声道的数目被设定为声道计数(channelcount)参数。例如,在DSD数据具有2个声道的情况下,向该参数设定值“2”。音频数据的位深度被设定为样本大小(samplesize)参数。例如,在DSD数据的情况下,由于DSD数据的位深度为1位,因此向该参数设定值“1”。向样本率(samplerate)参数设定表示固定值“44.1kHz”的值“AC440000h”。需要注意的是,这个值是虚值;正确的值被设定到扩展盒,稍后对此进行讨论。
向作为扩展盒的采样率盒(SamplingRateBox)设定采样率(sampling_rate)参数。由于不能向样本率(samplerate)参数设定DSD数据的正确的采样频率,因此向采样率(sampling_rate)参数设定正确的值。例如,在DSD数据的采样频率为2.8MHz的情况下,向该参数设定值“00 2b 11 00h”(2822400Hz)。此外,例如,在DSD数据的采样频率为5.6MHz的情况下,向该参数设定值“00 56 22 00h”(564480000Hz)。此外,例如,在DSD数据的采样频率为11.2MHz的情况下,向该参数设定值“00AC 44 00h”(11289600Hz)。要注意的是,媒体时标参数被设定为与采样率(sampling_rate)参数或者与样本率(samplerate)参数相同的值。
<文件生成装置>
图40是描绘该情况下的文件生成装置101的另一代表性配置的框图。如图40所示,除了以上参照图19说明的配置之外,这种情况下的文件生成装置101还包括音频样本条目设定部211。音频样本条目设定部211执行与设定音频样本条目有关的处理。
<MP4文件生成处理的流程>
在该情况下,在以上参照图28的流程图说明的情况下,以基本类似的方式执行传送数据生成处理。
参照图41的流程图说明了在这种情况下MP4文件生成处理的典型流程。当MP4文件生成处理开始时,在步骤S201中,样本表盒设定部121设定样本表盒。在步骤S202中,音频样本条目设定部211设定音频样本条目。
在步骤S203中,音频样本条目设定部211参考.afr文件以将用于分离的字节位置(samplesize)设定到样本中。也就是说,音频样本条目设定部211基于.afr文件将块分配给样本。在进行分配时,音频样本条目设定部211使用例如以上如(A-1)至(A-6)、(B-1)至(B-6)和(C-1)至(C-10)描述的方法中的一种方法。
在步骤S204中,音频样本条目设定部211参考.esd文件以将用于解码当前GOB所需的解码器配置信息存储到音频样本条目中。也就是说,音频样本条目设定部211设定包括解码器配置信息的GOB初始化器,并且基于.esd文件将该设置分配给样本。在进行分配时,音频样本条目设定部211使用例如以上如(A-1)至(A-6)、(B-1)至(B-6)和(C-1)至(C-10)描述的方法中的一种方法。
以与图29中的步骤S115至步骤S119的处理类似的方式执行步骤S205至步骤S209的处理。当已如上所述生成MP4文件时,MP4文件生成处理终止。然后,控制返回至图28中的处理。
当如上所述执行处理时,将DSD无损流存储到MP4文件中,并且关于DSD无损流的信息(管理信息)被存储至音频样本条目(AudioSampleEntryV1)中。因此,使用MPEG-DASH发送更高品质的音频数据。
<再现终端>
图42是描绘该情况下再现终端103的另一代表性配置的框图。如图42所示,除了以上参照图20说明的配置之外,这种情况下的再现终端103还包括音频样本条目分析部221。音频样本条目分析部221执行与分析音频样本条目有关的处理。
<解码处理的流程>
该情况下的再现处理也基本上以与以上参照图31的流程图说明的类似方式来执行。
参照图43的流程图说明这种情况下的解码处理的典型流程。当解码处理开始时,在步骤S231中样本表盒分析部151参考由MP文件获取部141获取的MP4文件中的样本表盒,以识别与再现开始时间对应的DSD无损轨道的解码开始样本、同步样本和分块的字节位置。在步骤S232中,音频样本条目分析部221参考音频样本条目(AudioSampleEntryV1)。
在步骤S233中,音频样本条目分析部221确定是否存在解码器配置信息。在确定不存在解码器配置信息的情况下,控制转移至步骤S234。
在这种情况下,在步骤S234中,音频样本条目分析部221通过从MP4文件中读取由同步样本指定的样本的数据来获取GOB初始化器。由于GOB初始化器被获得,控制转移至步骤S235。在步骤S233中确定存在解码器配置信息的情况下,跳过步骤S234,并且控制转移至步骤S235。
以与图32中的步骤S145至步骤S148的处理类似的方式来执行步骤S235至步骤S238的处理。在步骤S238结束时,解码处理终止。然后,控制返回至图31中的处理。
当如上所述执行处理时,使用在音频样本条目(AudioSampleEntryV1)中存储的关于DSD无损流(管理信息)的信息来对MP4文件中存储并发送的DSD无损流进行解码,并且将解码的音频数据输出。也就是说,使用MPEG-DASH发送更高品质的音频数据。
<5.第四实施方式>
<设定扩展盒>
要注意的是,优选地,可以在音频样本条目(AudioSampleEntryV1)中重新定义扩展盒,并且可以将特定于DSD无损压缩编码技术的信息(配置信息)存储在扩展盒中。这使得可以获知流的属性(解码器配置信息),而无需获得对媒体数据盒(mdat)内部的访问。然后,例如,期望在随机访问时更快地执行再现处理。
在图44的子图A中描绘了该情况下的音频样本条目(DSDAudioSampleEntryV1)的句法的示例。如图44的子图A所示,在底行中定义扩展盒(DSDSpecificBox())。
<存储共享信息>
在图44的子图B中示出了扩展盒(DSDSpecificBox())的句法的示例。如子图B所示,在流中共享的基本解码器配置信息可以存储在扩展盒(DSDSpecificBox())中。例如,可以从DSD无损流的DSD无损有效载荷(DSD_lossless_payload())读取format_version和DSD_lossless_gob_configuration(),并将其存储到扩展盒(DSDSpecificBox())中。
在这种情况下,给定如图45的子图A所示配置的DSD无损流171,生成了如图45的子图B所示配置的MP4文件231。如图45的子图B所示,在DSD音频样本条目(DSDAudioSampleEntryV1)(‘dsd1’)中设置扩展盒(‘dsc1’)。仅在流中共享的基本参数被复制到此扩展盒(‘dsc1’)。
因此,引用扩展盒(‘dsc1’)允许仅在系统层中获知流的基本属性。另外,因为解码每个GOB需要针对每个GOB的DSD_lossless_gob_data(),所以有必要在再现开始之前访问GOB初始化器。然而,在这种情况下,样本条目计数仅为“1”,因此数据量的任何增加都被最小化。
<存储单独的信息>
要注意的是,优选地,特定于给定GOB的信息可以存储在扩展盒(DSDSpecificBox())中。在图46的子图A中描绘了这种情况下扩展盒(DSDSpecificBox())的句法的示例。如图46的子图A所示,可以读出DSD_lossless_gob_header()和DSD_lossless_gob_data()(码簿),并将其存储到扩展盒(DSDSpecificBox())中。如上所述,从DSD_lossless_gob()读取DSD_lossless_gob_header()和DSD_lossless_gob_data()(码簿)。也就是说,这些信息项被包括在GOB初始化器中,并且包含特定于当前GOB的信息。
在这种情况下,给定如图45的子图A所示配置的DSD无损流171,生成了如图46的子图B所示配置的MP4文件232。如图46的子图B所示,在DSD音频样本条目(DSDAudioSampleEntryV1)(‘dsd1’)中设置了多个扩展盒(‘dsc2’)。在该扩展盒(‘dsc2’)中存储有用于解码与每个扩展盒对应的GOB所需的信息(解码器配置信息)。
因此,引用给定的扩展盒(‘dsc2’)使得与该扩展盒对应的GOB能够被解码。也就是说,在不参考GOB初始化器的情况下解码GOB,这允许以更高的速度进行处理。
<文件生成装置>
图47是描绘该情况下的文件生成装置101的另一代表性配置的框图。如图47所示,除了以上参照图19说明的配置之外,这种情况下的文件生成装置101还包括DSD音频样本条目设定部241。DSD音频样本条目设定部241执行与设定音频样本条目和扩展盒有关的处理。
<MP4文件生成处理的流程>
在该情况下,传送数据生成处理也基本上以与以上参照图28的流程图讨论的类似方式来执行。
参照图48的流程图说明了该情况下的MP4文件生成处理的典型流程。当MP4文件生成处理开始时,在步骤S251中样本表盒设定部121设定样本表盒。在步骤S252中,DSD音频样本条目设定部241设定DSD音频样本条目,并且还在其中设定扩展盒(DSDSpecificBox)。
在步骤S253中,DSD音频样本条目设定部241参考.afr文件以将用于分离的字节位置(样本大小)设定到样本中。也就是说,DSD音频样本条目设定部241基于.afr文件将块分配给样本。在进行分配时,DSD音频样本条目设定部241使用例如以上如(A-1)至(A-6)、(B-1)至(B-6)和(C-1)至(C-10)描述的方法中的一种方法。
在步骤S254中,DSD音频样本条目设定部241参考.esd文件以将解码器配置信息存储到DSD音频样本条目中的扩展盒(DSDSpecificBox)中。也就是说,DSD音频样本条目设定部241设定包括解码器配置信息的GOB初始化器,并且基于.esd文件将该设置分配给样本。在进行分配时,DSD音频样本条目设定部241使用例如以上如(A-1)至(A-6)、(B-1)至(B-6)和(C-1)至(C-10)描述的方法中的一种方法。
以与图29中的步骤S115至步骤S119的处理类似的方式来执行步骤S255至步骤S259的处理。当如上所述生成MP4文件时,MP4文件生成处理终止。然后,控制返回至图28中的处理。
当如上所述执行处理区域时,DSD无损流被存储至MP4文件中,并且关于DSD无损流的信息(管理信息)被存储至DSD音频样本条目(DSDAudioSampleEntryV1)中的扩展盒(DSDSpecificBox)中。因此,使用MPEG-DASH发送更高品质的音频数据。
<再现终端>
图49是描绘该情况下的再现终端103的另一代表性配置的框图。如图49所示,除了以上参照图20说明的配置之外,这种情况下的再现终端103还包括DSD音频样本条目分析部251。DSD音频样本条目分析部251执行与分析音频样本条目和扩展盒有关的处理。
<解码处理的流程>
该情况下的再现处理也基本上以与以上参照图31的流程图说明的类似方式来执行。
参照图50的流程图说明这种情况下的解码处理的典型流程。当解码处理开始时,在步骤S271中样本表盒分析部151参考由MP4文件获取部141获取的MP4文件中的样本表盒,以便识别与再现开始时间对应的DSD无损轨道的解码开始样本、同步样本和分块的字节位置。在步骤S232中,DSD音频样本条目分析部251参考DSD音频样本条目(DSDAudioSampleEntryV1),并且还参考其中的扩展盒(DSDSpecificBox)。
在步骤S273中,DSD音频样本条目分析部251设定存储在扩展盒(DSDSpecificBox)中的解码器配置信息。
以与图32中的步骤S146至步骤S148的处理类似的方式来执行步骤S274至步骤S276的处理。在步骤S276结束时,解码处理终止。然后,控制返回至图31中的处理。
当如上所述执行处理时,使用在DSD音频样本条目(DSDAudioSampleEntryV1)中的扩展盒(DSDSpecificBox)中存储的解码器配置信息来解码当前GOB,并且将解码的音频数据输出。也就是说,使用MPEG-DASH发送更高品质的音频数据。
<6.其他>
<协议>
以上描述了在DSD无损流存储在MP4文件中并使用MPEG-DASH进行传送的情况。然而,这不是对本技术的限制,本技术还可以应用于其他情况。例如,除DSD无损流之外,本技术可以应用于任何数据。此外,除MP4文件之外,本技术可以应用于任何格式的数据存储。此外,本技术可以应用于除MPEG-DASH之外的协议下的数据传送。
<本技术的适用领域>
应用本技术的系统、装置、处理器和其他设备可用于诸如运输、医药、犯罪预防、农业、畜牧业、采矿、美容护理、工厂、消费电子产品、天气和自然监控的多种领域。
例如,本技术可以应用于用于发送图像以供视觉欣赏的系统和设备。在其他示例中,本技术可以应用于用于运输的系统和设备、用于安保的系统和设备、用于体育的系统和设备、用于农业的系统和设备以及用于畜牧业的系统和设备。此外,本技术可以应用于例如用于监视火山、森林、海洋和其他自然资源的状态的系统和设备。在另一示例中,本技术可以应用于天气观测系统和气象观测设备,以观测天气、温度、湿度、风速、日照持续时间和其他气象条件。此外,本技术可以应用于例如用于观察野生动物(例如鸟类、鱼类、爬行动物、两栖动物、哺乳动物、昆虫和植物)的生态状况的系统和装置。
<计算机>
上述一系列处理可以由硬件或软件来执行。在由软件执行一系列处理的情况下,构成该软件的程序被安装到合适的计算机中以供执行。这样的计算机可以包括预先将软件并入其专用硬件中的计算机,以及能够基于安装在其中的各种程序来执行各种功能的计算机,例如通用个人计算机等。
图51是示出执行上述一系列处理的计算机的典型硬件配置的框图。
在图51所示的计算机900中,中央处理单元(CPU)901、只读存储器(ROM)902以及随机存取存储器(RAM)903通过总线904互连。
总线904还与输入/输出接口910连接。输入/输出接口910与输入部911、输出部912、存储部913,通信部914和驱动器915连接。
输入部911例如由键盘、鼠标、麦克风、触摸板和输入端子构成。输出部912例如由显示单元、扬声器和输出端子形成。存储部913通常配置有硬盘、RAM盘或非易失性存储器。通信部914通常由网络接口构成。驱动器915驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质921。
在如上所述配置的计算机900中,例如,CPU 901通过经由输入/输出接口910和总线904将适当的程序从存储部913加载至RAM 903并且通过执行所加载的程序来执行以上提及的一系列处理。根据需要,RAM 903还存储CPU 901在执行各种处理时所需的数据。
由计算机900执行的程序可以在被提供时记录在可移动介质921(例如打包的介质)上。在那种情况下,程序可以经由输入/输出接口910从加载到驱动器915中的一块可移动介质921安装至存储部913中。
还可以通过诸如局域网、互联网或数字卫星广播的有线或无线传输介质来提供程序。在这种情况下,可以通过通信部914来接收程序,此后将该程序安装至存储单元913中。
可替选地,程序例如可以预先安装在ROM 902或存储部913中。
<其他>
要注意的是,该描述已经处理了将各种信息项多路复用为编码数据(比特流)并将其从编码侧发送至解码侧的示例。在这种情况下,用于发送信息的技术不限于以上讨论的那些。例如,信息项不需要被多路复用成编码数据;这些项可以作为与编码数据相关联的单独的数据项被发送或记录。在此上下文中,术语“关联”是指处理在编码数据中包括的图像(或其一部分,例如切片或块)和对应于该图像的信息,以使得可以在解码时图像和信息彼此链接。也就是说,与编码数据(图像)相关联的信息可以通过与传输编码数据(图像)的路径不同的传输路径传输。此外,与编码数据(图像)相关联的信息可以被记录在与记录编码数据(图像)的介质不同的记录介质上(或者可以将该信息记录在同一记录介质上的不同记录区域中)。此外,图像和与其对应的信息可以以期望的单位(例如,以多个帧、单个帧或每个帧的一部分为单位)彼此相关联。
此外,如以上在本说明书中所讨论的,诸如“组合”、“多路复用”、“附加”、“集成”、“包括”、“存储”、“推入”、“放入”和“插入”的术语是指将多个对象统一到单个对象中,例如,将编码数据和元数据带入单个数据项中。这些术语指的是如上所述“关联”多个事物的一种方法。
此外,本技术的实施方式不限于以上讨论的那些实施方式。在本技术的范围和精神内,可以以各种方式修改或改变实施方式。
例如,在本说明书中,术语“系统”指多个部件(装置或模块(部件))的集合。所有部件是否都被容置在同一壳体中并不重要。因此,系统可以配置有容置在单独的壳体中并且经由网络互连的多个装置或者将多个模块容置在单个壳体中的单个装置。
此外,在前述段落中作为一个装置(或处理部)说明的任何配置可以被划分为多个装置(或处理部)。相反,以上作为多个装置(或处理部)说明的配置可以被统一到一个装置(或处理部)中。此外,每个装置(或处理部)的配置明显可以补充除了以上所论述的配置之外的一个或更多个配置。此外,如果对于作为整体的系统而言配置和操作方式保持基本相同,则可以将装置(或处理部)的配置的一部分包括在另一装置(或处理部)的配置中。
例如,本技术可以被实现为云计算设置,其中,由多个联网装置在共享的基础上协同处理单个功能。
上述程序可以例如由期望的装置来执行。在这种情况下,装置仅需具有必要的功能(如功能块)并获得必要的信息。
此外,以上参照上述流程图讨论的每个步骤可以由单个装置执行或者由多个装置在共享的基础上执行。此外,如果单个步骤包括多个处理,则这些处理可以由单个装置执行或者由多个装置在共享的基础上执行。
要注意的是,待由计算机执行的每个程序可以按时间顺序、以本说明书中描绘的顺序、与其他程序并行地或者以另外适当定时的方式(例如当根据需要被调用时)进行处理。也就是说,可以以与以上讨论的顺序不同的顺序来执行以上步骤,只要这些步骤之间不存在冲突即可。此外,描述给定程序的步骤的处理可以与其他程序的处理并行执行或与其他程序的处理组合执行。
要注意的是,本说明书中说明的本技术的多个元素可以彼此独立地实现,只要它们之间不发生冲突即可。显然,本技术的多个元素可以以组合方式实现。例如,结合一个实施方式讨论的本技术可以与结合另一实施方式说明的技术进行组合来实现。此外,上述本技术的任何元素可以与本说明书中未讨论的技术进行组合来实现。
将要注意的是,在实现本技术时,可以优选地对其进行如下配置:
(1)
一种信息处理装置,包括:
样本设定部,所述样本设定部以下述方式配置:给定用于存储来源于音频数据的编码数据的具有预定文件格式的文件,所述编码数据处于成组的预定数量的块中,向所述文件设定样本,所述样本构成所述文件中的最小访问单元并且包括用于对所述成组的块中的每个块进行解码的初始化信息。
(2)
根据上述段落(1)所述的信息处理装置,
其中,所述样本设定部还被配置成向每个所述块设定样本。
(3)
根据上述段落(1)或(2)所述的信息处理装置,还包括:
同步样本设定部,所述同步样本设定部被配置成将由所述样本设定部设定的并且包括所述初始化信息和每个组中的第一块的所述样本设定为同步样本,所述同步样本包括开始解码所需的信息。
(4)
根据上述段落(1)至(3)中任一项所述的信息处理装置,
其中,所述样本设定部被配置成设定两个样本,所述两个样本中的一个包括所述初始化信息和每个组中的第一块,另一个样本与每个组中的其他块中的每个块对应。
(5)
根据上述段落(1)至(4)中任一项所述的信息处理装置,还包括:
同步样本设定部,所述同步样本设定部被配置成将由所述样本设定部设定的并且包括所述初始化信息和每个组中的第一块的所述样本设定为同步样本,所述同步样本包括开始解码所需的信息。
(6)
根据上述段落(1)至(5)中任一项所述的信息处理装置,还包括:
子样本设定部,所述子样本设定部被配置成向由所述样本设定部设定的并且包括所述初始化信息和每个组中的第一块的所述样本设定两个子样本,所述子样本中的一个包括所述初始化信息,另一个子样本包括每个组中的所述第一块。
(7)
根据上述段落(1)至(6)中任一项所述的信息处理装置,还包括:
同步样本设定部,所述同步样本设定部被配置成将由所述样本设定部设定的并且包括所述初始化信息和每个组中的第一块的所述样本设定为同步样本,所述同步样本包括开始解码所需的信息。
(8)
根据上述段落(1)至(7)中任一项所述的信息处理装置,
其中,所述样本设定部设定包括所述初始化信息和每个组中的所有块的样本。
(9)
根据上述段落(1)至(8)中任一项所述的信息处理装置,还包括:
子样本设定部,所述子样本设定部被配置成向由所述样本设定部设定的并且包括所述初始化信息和每个组中的所有块的样本设定两个子样本,所述子样本中的一个包括所述初始化信息和每个组中的第一块,另一个子样本与每个组中的每个块对应。
(10)
根据上述段落(1)至(9)中任一项所述的信息处理装置,还包括:
子样本设定部,所述子样本设定部被配置成向由所述样本设定部设定的并且包括所述初始化信息和每个组中的所有块的样本设定三个子样本,所述三个子样本中的一个包括所述初始化信息,所述三个子样本中的另一个包括每个组中的第一块,所述三个子样本中的最后一个与每个组中的每个块对应。
(11)
根据上述段落(1)至(10)中任一项所述的信息处理装置,
其中,由所述样本设定部设定的所有样本构成同步样本,该同步样本包括用于开始解码所需的信息。
(12)
根据上述段落(1)至(11)中任一项所述的信息处理装置,还包括:
同步样本设定部,所述同步样本设定部被配置成将由所述样本设定部设定的并且包括所述初始化信息的样本设定为同步样本,所述同步样本包括开始解码所需的信息。
其中,所述样本设定部还被配置成设定包括每个组中的所有块的样本。
(13)
根据上述段落(1)至(12)中任一项所述的信息处理装置,还包括:
子样本设定部,所述子样本设定部被配置成向由所述样本设定部设定的并且包括每个组中的所有块的样本设定子样本,所述子样本与每个所述块对应。
(14)
根据上述段落(1)至(13)中任一项所述的信息处理装置,其中,所述样本设定部被配置成设定包括所述初始化信息和每个组中的第一块的样本,以及包括每个组中的所有其他块的样本,
所述信息处理装置还包括:
同步样本设定部,所述同步样本设定部被配置成将由所述样本设定部设定的并且包括所述初始化信息和每个组中的第一块的样本设定为同步样本,所述同步样本包括开始解码所需的信息。
(15)
根据上述段落(1)至(14)中任一项所述的信息处理装置,还包括:
子样本设定部,所述子样本设定部被配置成向由所述样本设定部设定的并且包括每个组中的所有其他块的样本设定子样本,所述子样本与每个所述块对应。
(16)
根据上述段落(1)至(15)中任一项所述的信息处理装置,
其中,所述子样本设定部还被配置成设定向由所述样本设定部设定的并且包括所述初始化信息和每个组中的第一块的样本设定两个子样本,所述子样本中的一个包括所述初始化信息,另一个子样本包括每个组中的第一块。
(17)
根据上述段落(1)至(16)中任一项所述的信息处理装置,
其中,所述样本设定部还被配置成向轨道设定与每个块对应的样本,所述轨道不同于设定有包括所述初始化信息的样本的轨道。
(18)
根据上述段落(1)至(17)中任一项所述的信息处理装置,
其中,所述样本设定部被配置成向与设定有包括所述初始化信息的样本的轨道不同的轨道设定两个样本,所述两个样本中的一个包括所述初始化信息和每个组中的第一块,另一个样本与每个组中的其他块中的每个块对应。
(19)
根据上述段落(1)至(18)中任一项所述的信息处理装置,
其中,所述样本设定部还被配置成向文件设定与每个块对应的样本,所述文件不同于设定有包括所述初始化信息的样本的文件。
(20)
根据上述段落(1)至(19)中任一项所述的信息处理装置,
其中,所述样本设定部还被配置成设定用于存储关于数字版权管理(DRM)的信息的保护方案信息盒。
(21)
根据上述段落(1)至(20)中任一项所述的信息处理装置,还包括:
音频样本条目设定部,所述音频样本条目设定部被配置成设定关于音频样本条目中的音频数据的信息。
(22)
根据上述段落(1)至(21)中任一项所述的信息处理装置,
其中,所述音频样本条目设定部被配置成在字段“codingname”中设定表示所述音频数据的格式的预定值。
(23)
根据上述段落(1)至(22)中任一项所述的信息处理装置,
其中,所述音频样本条目设定部被配置成在字段“channelcount”中设定值“2”。
(24)
根据上述段落(1)至(23)中任一项所述的信息处理装置,
其中,所述音频样本条目设定部被配置成在字段“samplesize”中设定值“1”。
(25)
根据上述段落(1)至(24)中任一项所述的信息处理装置,
其中,所述音频样本条目设定部被配置成在字段“samplerate”中设定指示“44.1kHz”的值。
(26)
根据上述段落(1)至(25)中任一项所述的信息处理装置,
其中,所述音频样本条目设定部被配置成在字段“sampling_rate”中设定与采样率盒中的“sampling_rate”相同的值。
(27)
根据上述段落(1)至(26)中任一项所述的信息处理装置,还包括:
扩展盒设定部,所述扩展盒设定部被配置成向所述音频样本条目中的扩展盒设定关于所述音频数据的信息。
(28)
根据上述段落(1)至(27)中任一项所述的信息处理装置,
其中,所述扩展盒设定部被配置成在所述扩展盒中设定特定于可应用于所述编码数据的编码方法的信息。
(29)
根据上述段落(1)至(28)中任一项所述的信息处理装置,
其中,所述扩展盒设定部被配置成在所述扩展盒中设定“DSD_lossless_gob_configuration”。
(30)
根据上述段落(1)至(29)中任一项所述的信息处理装置,
其中,所述扩展盒设定部被配置成在所述扩展盒中进一步设定“DSD_lossless_gob_header”和“DSD_lossless_gob_data”。
(31)
根据上述段落(1)至(30)中任一项所述的信息处理装置,
其中,所述初始化信息包括用于对所述编码数据进行解码的解码器配置信息。
(32)
根据上述段落(1)至(31)中任一项所述的信息处理装置,
其中,所述初始化信息包括关于片段边界的信息。
(33)
根据上述段落(1)至(32)中任一项所述的信息处理装置,
其中,所述音频数据是直接数字流(DSD)数据,并且所述编码数据是通过对所述DSD数据进行无损编码而获得的。
(34)
根据上述段落(1)至(33)中任一项所述的信息处理装置,
其中,所述文件格式符合ISO/IEC 14496标准。
(35)
根据上述段落(1)至(34)中任一项所述的信息处理装置,还包括:
文件生成部,所述文件生成部被配置成基于由所述样本设定部提供的设置来生成文件。
(36)
根据上述段落(1)至(35)中任一项所述的信息处理装置,还包括:
编码部,所述编码部被配置成通过对所述音频数据进行无损编码来生成所述编码数据。
(37)
根据上述段落(1)至(36)中任一项所述的信息处理装置,还包括:
音频数据生成部,所述音频数据生成部被配置成生成所述音频数据。
(38)
一种信息处理方法,包括:
给定具有预定文件格式的文件,用于存储来源于音频数据的编码数据,所述编码数据处于成组的预定数量的块中,向所述文件设定样本,所述样本构成所述文件中的最小访问单元并且包括用于对所述成组的块中的每个块进行解码的初始化信息。
(39)
一种信息处理装置,包括:
样本分析部,所述样本分析部被配置成对具有预定文件格式的文件中的样本进行分析,所述文件将来源于音频数据的编码数据存储到成组的块中,所述样本是所述文件中的最小访问单元并且包括用于对所述成组的块中的每个块进行解码的初始化信息,所述样本分析部还基于所述分析的结果来获取用于解码所述编码数据的解码器配置信息;
设定部,所述设定部被配置成设定由所述样本分析部获取的解码器配置信息;以及
解码部,所述解码部被配置成使用由所述设定部设定的解码器配置信息来解码所述编码数据。
(40)
一种信息处理方法,包括:
对具有预定文件格式的文件中的样本进行分析,所述文件将来源于音频数据的编码数据存储到成组的块中,所述样本是所述文件中的最小访问单元并且包括用于对所述成组的块中的每个块进行解码的初始化信息;
基于所述分析的结果来获取用于解码所述编码数据的解码器配置信息;
设定所获取的解码器配置信息;以及
使用所设定的解码器配置信息来解码所述编码数据。
附图标记列表
100传送系统、101文件生成装置、102传送服务器、103再现终端、104网络、111DSD生成部、112DSD编码部、113MP4文件生成部、114设定部、121样本表盒设定部、122样本条目设定部、123同步样本盒设定部、124子样本信息盒设定部、131MP4文件生成装置、132MP4文件生成装置、141MP4文件获取部、142DSD解码部、143输出控制部、144输出部、145控制部、151样本表盒分析部、152子样本信息盒分析部、153同步样本盒分析部、154样本条目分析部、155解码器配置信息设定部、156再现控制部、171DSD无损流、181和182MP4文件、201MP4文件、202许可文件、203MP4文件、211音频样本条目设定部、221音频样本条目分析部、231和232MP4文件、241DSD音频样本条目设定部、251DSD音频样本条目分析部,900计算机。

Claims (20)

1.一种信息处理装置,包括:
样本设定部,所述样本设定部以下述方式进行配置:给定用于存储来源于音频数据的编码数据的具有预定文件格式的文件,所述编码数据处于成组的预定数量的块中,向所述文件设定样本,所述样本构成所述文件中的最小访问单元并且包括用于对成组的块中的每个块进行解码的初始化信息。
2.根据权利要求1所述的信息处理装置,其中,所述样本设定部被配置成设定两个样本,所述两个样本中的一个包括所述初始化信息和所述组中的每个中的第一块,另一个样本与所述组中的每个中的其他块中的每个块对应,
所述信息处理装置还包括:
同步样本设定部,其被配置成将由所述样本设定部设定的并且包括所述初始化信息和所述组中的每个中的第一块的样本设定为同步样本,所述同步样本包括开始解码所需的信息。
3.根据权利要求2所述的信息处理装置,还包括:
子样本设定部,其被配置成向由所述样本设定部设定的并且包括所述初始化信息和所述组中的每个中的第一块的样本设定两个子样本,所述两个子样本中的一个包括所述初始化信息,另一个子样本包括所述组中的每个中的第一块。
4.根据权利要求1所述的信息处理装置,
其中,所述样本设定部设定包括所述初始化信息和所述组中的每个中的所有块的样本。
5.根据权利要求4所述的信息处理装置,还包括:
子样本设定部,其被配置成向由所述样本设定部设定的并且包括所述初始化信息和所述组中的每个中的所有块的样本设定两个子样本,所述两个子样本中的一个包括所述初始化信息和所述组中的每个中的第一块,另一个子样本与所述组中的每个中的每个块对应。
6.根据权利要求4所述的信息处理装置,还包括:
子样本设定部,其被配置成向由所述样本设定部设定的并且包括所述初始化信息和所述组中的每个中的所有块的样本设定三个子样本,所述三个子样本中的一个包括所述初始化信息,所述三个子样本中的另一个包括所述组中的每个中的第一块,所述三个子样本中的最后一个与所述组中的每个中的每个块对应。
7.根据权利要求4所述的信息处理装置,
其中,由所述样本设定部设定的所有样本构成包括开始解码所需的信息的同步样本。
8.根据权利要求1所述的信息处理装置,还包括:
同步样本设定部,其被配置成将由所述样本设定部设定的并且包括所述初始化信息的样本设定为同步样本,所述同步样本包括开始解码所需的信息,
其中,所述样本设定部还被配置成设定包括所述组中的每个中的所有块的样本。
9.根据权利要求8所述的信息处理装置,还包括:
子样本设定部,其被配置成向由所述样本设定部设定的并且包括所述组中的每个中的所有块的样本设定子样本,所述子样本与每个块对应。
10.根据权利要求1所述的信息处理装置,其中,所述样本设定部被配置成设定包括所述初始化信息和所述组中的每个中的第一块的样本,以及包括所述组中的每个中的所有其他块的样本,
所述信息处理装置还包括:
同步样本设定部,其被配置成将由所述样本设定部设定的并且包括所述初始化信息和所述组中的每个中的第一块的样本设定为同步样本,所述同步样本包括开始解码所需的信息。
11.根据权利要求10所述的信息处理装置,还包括:
子样本设定部,其被配置成向由所述样本设定部设定的并且包括所述组中的每个中的所有其他块的样本设定子样本,所述子样本与每个块对应。
12.根据权利要求11所述的信息处理装置,
其中,所述子样本设定部还被配置成向由所述样本设定部设定的并且包括所述初始化信息和所述组中的每个中的第一块的样本设定两个子样本,所述两个子样本中的一个包括所述初始化信息,另一个子样本包括所述组中的每个中的第一块。
13.根据权利要求1所述的信息处理装置,
其中,所述样本设定部还被配置成向轨道设定与每个块对应的样本,所述轨道不同于设定有包括所述初始化信息的样本的轨道。
14.根据权利要求1所述的信息处理装置,
其中,所述样本设定部还被配置成向文件设定与每个块对应的样本,所述文件不同于设定有包括所述初始化信息的样本的文件。
15.根据权利要求1所述的信息处理装置,还包括:
扩展盒设定部,其被配置成向音频样本条目中的扩展盒设定关于所述音频数据的信息。
16.根据权利要求1所述的信息处理装置,
其中,所述音频数据是直接数字流DSD数据,并且通过对所述DSD数据进行无损编码来获得所述编码数据。
17.根据权利要求1所述的信息处理装置,
其中,所述文件格式符合ISO/IEC 14496标准。
18.一种信息处理方法,包括:
给定用于存储来源于音频数据的编码数据的具有预定文件格式的文件,所述编码数据处于成组的预定数量的块中,向所述文件设定样本,所述样本构成所述文件中的最小访问单元并且包括用于对成组的块中的每个块进行解码的初始化信息。
19.一种信息处理装置,包括:
样本分析部,其被配置成对具有预定文件格式的文件中的样本进行分析,所述文件用于将来源于音频数据的编码数据存储到成组的块中,所述样本是所述文件中的最小访问单元并且包括用于对所述成组的块中的每个块进行解码的初始化信息,所述样本分析部还基于所分析的结果来获取用于解码所述编码数据的解码器配置信息;
设定部,其被配置成设定由所述样本分析部获取的所述解码器配置信息;以及
解码部,其被配置成使用由所述设定部设定的解码器配置信息来解码所述编码数据。
20.一种信息处理方法,包括:
对具有预定文件格式的文件中的样本进行分析,所述文件将来源于音频数据的编码数据存储到成组的块中,所述样本是所述文件中的最小访问单元并且包括用于对所述成组的块中的每个块进行解码的初始化信息;
基于所分析的结果来获取用于解码所述编码数据的解码器配置信息;
设定所获取的解码器配置信息;以及
使用所设定的解码器配置信息来解码所述编码数据。
CN201780019337.9A 2016-03-31 2017-03-17 信息处理装置和方法 Withdrawn CN108885874A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016072171 2016-03-31
JP2016-072171 2016-03-31
PCT/JP2017/010871 WO2017169890A1 (ja) 2016-03-31 2017-03-17 情報処理装置および方法

Publications (1)

Publication Number Publication Date
CN108885874A true CN108885874A (zh) 2018-11-23

Family

ID=59964307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780019337.9A Withdrawn CN108885874A (zh) 2016-03-31 2017-03-17 信息处理装置和方法

Country Status (5)

Country Link
US (1) US20200411021A1 (zh)
EP (1) EP3438976A4 (zh)
JP (1) JP6876928B2 (zh)
CN (1) CN108885874A (zh)
WO (1) WO2017169890A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10742231B2 (en) 2016-05-24 2020-08-11 Sony Corporation Compression/encoding apparatus and method, decoding apparatus and method, and program
KR102471492B1 (ko) * 2017-12-27 2022-11-28 삼성전자 주식회사 디스플레이장치 및 그 제어방법
CN110611639A (zh) * 2018-06-14 2019-12-24 视联动力信息技术股份有限公司 流媒体会议的音频数据处理方法和装置
US11184665B2 (en) * 2018-10-03 2021-11-23 Qualcomm Incorporated Initialization set for network streaming of media data
US11546402B2 (en) * 2019-01-04 2023-01-03 Tencent America LLC Flexible interoperability and capability signaling using initialization hierarchy
WO2021210837A1 (ko) * 2020-04-13 2021-10-21 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
TWI779772B (zh) * 2021-08-13 2022-10-01 瑞昱半導體股份有限公司 訊號處理方法以及訊號處理器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001344905A (ja) * 2000-05-26 2001-12-14 Fujitsu Ltd データ再生装置、その方法及び記録媒体
JP2002196794A (ja) * 2000-12-25 2002-07-12 Olympus Optical Co Ltd 音声記録再生装置
JP4296933B2 (ja) * 2001-10-03 2009-07-15 ソニー株式会社 符号化装置及び方法、並びに、その復号化装置及び方法、記録媒体の記録方法及び再生方法
EP1881485A1 (en) * 2006-07-18 2008-01-23 Deutsche Thomson-Brandt Gmbh Audio bitstream data structure arrangement of a lossy encoded signal together with lossless encoded extension data for said signal
ATE518224T1 (de) * 2008-01-04 2011-08-15 Dolby Int Ab Audiokodierer und -dekodierer
EP2131590A1 (en) * 2008-06-02 2009-12-09 Deutsche Thomson OHG Method and apparatus for generating or cutting or changing a frame based bit stream format file including at least one header section, and a corresponding data structure

Also Published As

Publication number Publication date
US20200411021A1 (en) 2020-12-31
EP3438976A1 (en) 2019-02-06
JP6876928B2 (ja) 2021-05-26
JPWO2017169890A1 (ja) 2019-02-14
WO2017169890A1 (ja) 2017-10-05
EP3438976A4 (en) 2019-04-24

Similar Documents

Publication Publication Date Title
CN108885874A (zh) 信息处理装置和方法
CN109194980A (zh) 再现装置以及再现方法
JP5547649B2 (ja) 部分的に利用可能なマルチメディアコンテンツの再生のためのシステム及び方法
CN105230006B (zh) 保存方法、再现方法、保存装置及再现装置
JP2018170791A (ja) コンテンツの送受信方法及び装置
CN105103540B (zh) 文件生成方法、文件生成装置及记录介质
CN106233380A (zh) 多对象音频的编码后位速率减少
US11245938B2 (en) Systems and methods for protecting elementary bitstreams incorporating independently encoded tiles
JP2014135749A (ja) サーバにおけるファイル伝送方法及びその装置並びに端末におけるファイル再生方法及びその装置
CN103650483A (zh) 生成装置、发布服务器、生成方法、再现装置、再现方法、再现系统、生成程序、再现程序、记录介质以及数据结构
JP2008136204A (ja) FlexMuxストリームをストリーム形成、受信及び処理する装置及び方法
CN101802823A (zh) 用于流式多媒体数据的分段的元数据和位标
JP7439762B2 (ja) 情報処理装置および情報処理方法、並びにプログラム
CN105765943B (zh) 发送广播信号的装置、接收广播信号的装置、发送广播信号的方法和接收广播信号的方法
CN105409235A (zh) 文件生成装置和方法以及内容重放装置和方法
CN106358047A (zh) 一种播放流媒体视频的方法及装置
CN108886626A (zh) 信息处理装置、信息处理方法以及信息处理系统
JP6992511B2 (ja) 情報処理装置および情報処理方法
US10284529B2 (en) Information processing apparatus and information processing method
CN108886638A (zh) 再现装置和再现方法、以及文件生成装置和文件生成方法
CN108886628A (zh) 文件生成装置和文件生成方法
JP2022522575A (ja) カプセル化されたメディアコンテンツの利用可能な部分をシグナリングするための方法、装置、及びコンピュータプログラム
EP4270962A1 (en) Information processing device and method
CN112929686B (zh) 线上实时回放录制视频的方法及装置
KR101729765B1 (ko) 실시간 리먹싱 시스템, 송신 방법 및 수신 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20181123

WW01 Invention patent application withdrawn after publication