CN109155867A - 图像处理装置及方法 - Google Patents
图像处理装置及方法 Download PDFInfo
- Publication number
- CN109155867A CN109155867A CN201780019432.9A CN201780019432A CN109155867A CN 109155867 A CN109155867 A CN 109155867A CN 201780019432 A CN201780019432 A CN 201780019432A CN 109155867 A CN109155867 A CN 109155867A
- Authority
- CN
- China
- Prior art keywords
- data
- unit
- information
- file
- switching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title abstract description 141
- 238000012545 processing Methods 0.000 title description 159
- 230000010365 information processing Effects 0.000 claims abstract description 79
- 230000005540 biological transmission Effects 0.000 claims description 54
- 238000011084 recovery Methods 0.000 claims description 30
- 238000004458 analytical method Methods 0.000 claims description 28
- 238000003672 processing method Methods 0.000 claims description 8
- 238000004088 simulation Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 abstract description 54
- 230000006978 adaptation Effects 0.000 description 269
- 230000008569 process Effects 0.000 description 111
- 238000006243 chemical reaction Methods 0.000 description 59
- 238000005516 engineering process Methods 0.000 description 56
- 238000007726 management method Methods 0.000 description 56
- 239000000872 buffer Substances 0.000 description 38
- 239000000203 mixture Substances 0.000 description 38
- 238000004891 communication Methods 0.000 description 35
- 230000005236 sound signal Effects 0.000 description 26
- 238000003860 storage Methods 0.000 description 24
- 238000002224 dissection Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 13
- 230000006835 compression Effects 0.000 description 13
- 238000007906 compression Methods 0.000 description 13
- 238000005070 sampling Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 9
- 230000004044 response Effects 0.000 description 7
- 238000001914 filtration Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 241001269238 Data Species 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 238000005056 compaction Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- AWSBQWZZLBPUQH-UHFFFAOYSA-N mdat Chemical compound C1=C2CC(N)CCC2=CC2=C1OCO2 AWSBQWZZLBPUQH-UHFFFAOYSA-N 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241000271566 Aves Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241000270322 Lepidosauria Species 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- CCEKAJIANROZEO-UHFFFAOYSA-N sulfluramid Chemical group CCNS(=O)(=O)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)C(F)(F)F CCEKAJIANROZEO-UHFFFAOYSA-N 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/762—Media network packet handling at the source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本公开涉及能够更稳定地发送内容数据的信息处理装置及其方法。在用于管理内容数据再现的管理信息中设定与在用于管理待再现数据的同一内容的数据组的第一管理单元之间切换有关的信息。本公开适用于例如信息处理装置、文件生成装置、分发服务器、再现终端等。
Description
技术领域
本公开涉及信息处理装置及其方法,特别是涉及能够更稳定地发送内容数据的信息处理装置及其方法。
背景技术
按照惯例,运动图像专家组相位-HTTP动态自适应流媒体(MPEG-DASH)为经由因特网的视频和音乐数据的流式分发而开发(例如,参照非专利文献1)。此外,使用由ISO/IEC14496-12规定的国际标准化组织(ISO)基础媒体文件格式(ISOBMFF)文件的MPEG-DASH流式分发被认为是向用户递送高品质视频和音乐的手段。视频和音乐数据的品质得到提高,同时也需要较高品质数据的分发。
例如,对于音乐的高品质编码,直接数字流(DSD)被称为高品质编码方式。因为DSD数据是高速率,所以考虑无损压缩方式(DSD无损压缩方式)。近年来,也考虑负载较小的新DSD无损压缩编码方式。
引文列表
非专利文献
非专利文献1:MPEG-DASH(Dynamic Adaptive Streaming over HTTP)(URL: http://mpeg.chiariglione.org/standards/mpeg-dash/media-presentation-descri ption-and-segment-formats/text-isoiec-23009-12012-dam-1)
发明内容
技术问题
即使当以此方式分发高品质数据时,从传输频带和兼容性的角度来看,也还需要使用常用的低品质数据分发。即,需要在不同编码方式的数据之间执行切换(分发数据的切换)。
然而,在MPEG-DASH的Media Presentation Description(MPD)中,不同编码方式的数据由不同Adaptation Set管理。另外,在常用的MPEG-DASH标准中,不考虑在多个Adaptation Set之间切换,且这种切换很难实现。因此,很难稳定地分发较高品质的内容数据。
本公开鉴于这种情况而实现,且本公开的目的在于可以更稳定地发送内容数据。
技术方案
根据本技术的一个方面的信息处理装置是具有设定单元的信息处理装置,该设定单元在用于管理内容数据再现的管理信息中设定与在用于管理待再现数据的同一内容的数据组的第一管理单元之间切换有关的信息。
与切换有关的信息可以是用于指定允许作为在待再现数据的第一管理单元之间切换的切换目的地的管理单元的信息。
用于指定管理单元的信息可以是用于指定允许作为切换目的地的其他第一管理单元的信息或用于指定用于管理其他第一管理单元中的各数据的第二管理单元的信息。
该设定单元可以在管理信息的第一管理单元或用于管理管理信息的第一管理单元中的各数据的第二管理单元中设定用于指定管理单元的信息。
与切换有关的信息可以是用于指定允许在待再现数据的第一管理单元之间切换的定时的信息。
定时可以是在数据再现时间方向上作为管理单元的第二管理单元的边界,且用于指定定时的信息可以是用于指定允许在待再现数据的第一管理单元之间切换的第二管理单元的边界的信息。
用于指定定时的信息可以是用于由第二管理单元的数量指定到下一个定时为止的定时的信息。
再现时间在定时时在切换源数据和切换目的地数据之间可以一致。
该设定单元可以在管理信息的第一管理单元或用于管理管理信息的第一管理单元中的各数据的第二管理单元中设定用于指定定时的信息。
与切换有关的信息可以是与在待再现数据的第一管理单元之间切换的优先顺序有关的信息。
与优先顺序有关的信息可以是指示第一管理单元的优先顺序的信息。
与优先顺序有关的信息可以是指示第一管理单元组的优先顺序的信息。
该设定单元可以在第一管理单元中设定与优先顺序有关的信息。
数据可以是符合ISO/IEC 14496的文件格式的文件,该文件存储通过对直接数字流(DSD)数据进行无损编码而获取的DSD无损流,该直接数字流(DSD)数据通过对音频模拟信号执行ΔΣ调制而获取。
该信息处理装置还可设置文件生成单元,该文件生成单元根据设定单元的设定来生成管理信息的文件。
该信息处理装置还可设置生成数据的数据生成单元,其中文件生成单元可被配置成生成由数据生成单元生成的数据的管理信息的文件。
该信息处理装置还可设置发送单元,该发送单元把由文件生成单元生成的文件发送给服务器。
根据本技术的一个方面的信息处理方法是在用于管理内容数据再现的管理信息中设定与在用于管理待再现数据的同一内容的数据组的第一管理单元之间切换有关的信息的信息处理方法。
根据本技术的另一个方面的信息处理装置是具有分析单元和控制单元的信息处理装置,该分析单元对包括在用于管理内容数据再现的管理信息中与在用于管理待再现数据的同一内容的数据组的第一管理单元之间切换有关的信息进行分析,该控制单元根据分析单元的分析结果来控制待再现数据的切换。
根据本技术的另一个方面的信息处理方法是对包括在用于管理内容数据再现的管理信息中与在用于管理待再现数据的同一内容的数据组的第一管理单元之间切换有关的信息进行分析并根据分析结果来控制待再现数据的切换的信息处理方法。
在根据本技术的一个方面的信息处理装置及其方法中,在用于管理内容数据再现的管理信息中设定与在用于管理待再现数据的同一内容的数据组的第一管理单元之间切换有关的信息。
在根据本技术的另一个方面的信息处理装置及其方法中,对包括在用于管理内容数据再现的管理信息中与在用于管理待再现数据的同一内容的数据组的第一管理单元之间切换有关的信息进行分析并根据分析结果来控制待再现数据的切换。
本发明的有益效果如下:
根据本公开,可以处理信息。特别是,可以更稳定地发送内容数据。
附图说明
图1是用于示出使用MPEG-DASH的数据传输的状态示例的图;
图2是示出MPD的构成例的图;
图3是用于示出内容的时间间断的图;
图4是示出MPD中的Period及较低阶的阶级结构示例的图;
图5是用于示出时间轴上的MPD文件的构成例的图;
图6是用于示出DSD方式的图;
图7是用于示出流式分发的比特率变化的状态示例的图;
图8是示出压缩编码装置的主要构成例的方块图;
图9是用于示出创建数据生成计数表pretable的方法的图;
图10是用于示出转换表table1的图;
图11是示出编码单元的构成例的方块图;
图12是用于示出压缩编码处理的流程图;
图13是示出解码装置的主要构成例的方块图;
图14是用于示出解码处理的流程图;
图15是示出DSD无损流的主要构成例的图;
图16是示出DSD无损流的语法示例的图;
图17是示出MPD的构成例的图;
图18是示出MPD的构成例的图;
图19是用于示出@ContentSwitchingAlignmentCycle的图;
图20是示出MPD的构成例的图;
图21是示出MPD的描述例的图;
图22是示出MPD的描述例的图;
图23是示出MPD的构成例的图;
图24是示出MPD的描述例的图;
图25是示出MPD的构成例的图;
图26是示出MPD的描述例的图;
图27是示出MPD的描述例的图;
图28是示出MPD的构成例的图;
图29是示出MPD的描述例的图;
图30是示出分发系统的主要构成例的方块图;
图31是示出文件生成装置的主要构成例的方块图;
图32是用于示出分发数据生成处理的流程示例的流程图;
图33是用于示出MPD文件生成处理的流程示例的流程图;
图34是示出再现终端的主要构成例的方块图;
图35是用于示出再现处理的流程示例的流程图;
图36是用于示出解析处理的流程示例的流程图;
图37是用于示出内容文件获取处理的流程示例的流程图;
图38是示出切换限制示例的图;
图39是示出@stabilityRanking示例的图;
图40是示出使用@stabilityRanking的切换控制示例的图;
图41是示出MPD的描述例的图;
图42是示出使用@stabilityRanking的切换控制示例的图;
图43是示出文件生成装置的主要构成例的方块图;
图44是用于示出MPD文件生成处理的流程示例的流程图;
图45是示出再现终端的主要构成例的方块图;
图46是用于示出解析处理的流程示例的流程图;
图47是用于示出内容文件获取处理的流程示例的流程图;
图48是用于示出切换处理的流程示例的流程图;
图49是示出@stabilityRanking和@stabilityRankingGroup示例的图;
图50是示出使用@stabilityRanking和@stabilityRankingGroup的切换控制示例的图;
图51是示出使用@stabilityRanking和@stabilityRankingGroup的切换控制示例的图;
图52是示出使用@stabilityRanking和@stabilityRankingGroup的切换控制示例的图;
图53是示出使用@stabilityRanking和@stabilityRankingGroup的切换控制示例的图;
图54是示出文件生成装置的主要构成例的方块图;
图55是用于示出MPD文件生成处理的流程示例的流程图;
图56是用于示出分组和优先顺序添加的状态示例的图;
图57是示出再现终端的主要构成例的方块图;
图58是用于示出解析处理的流程示例的流程图;
图59是用于示出内容文件获取处理的流程示例的流程图;
图60是用于示出切换处理的流程示例的流程图;
图61是示出计算机的主要构成例的方块图。
具体实施方式
下文对具体实施方式(以下称为实施例)进行说明。同时,按以下顺序进行说明。
1.在多个Adaptation Set之间切换
2.第一实施例(分发系统:切换目的地指定信息和定时指定信息)
3.第二实施例(分发系统:选择优先顺序信息)
4.第三实施例(分发系统:组信息)
5.其他
<1.在多个Adaptation Set之间切换>
<视频和音频的分发>
近来,经由因特网的流式分发有望成为向消费者递送视频和音乐的手段。然而,作为传输机构的因特网与广播和光盘相比传输不稳定。首先,传输频带的最高速率取决于用户环境而显著变化。此外,即使对于同一用户,也并不保证传输频带总是恒定且随时间而变化。此外,传输频带的变化意味着对客户端请求的响应时间不是恒定的。
运动图像专家组-HTTP动态自适应流媒体(MPEG-DASH)已发展成为经由因特网的这种传输的标准。这是拉式模型,其中不同数据大小的多个文件放置在服务器侧上,且客户端参照Media Presentation Description(MPD)来选择最适宜的文件。通过使用http而不是特殊协议,可以使用通用超文本传输协议(HTTP)服务器。文件格式不仅是运动图像专家组-传输流(MPEG-TS),而且是国际标准化组织基础媒体文件格式(ISOBMFF)。
<MPEG-DASH>
图1中示出使用MPEG-DASH的数据传输的状态示例。在图1中的信息处理系统1中,文件生成装置2生成视频数据和音频数据作为运动图像内容,对其进行编码,并把其转换为文件传输格式的文件。例如,文件生成装置2每隔大约10秒对数据进行归档(分段)。文件生成装置2把所生成的Segment文件上传到web服务器3。另外,文件生成装置2生成用于管理运动图像内容的MPD文件(管理文件)并把其上传到web服务器3。
作为DASH服务器的web服务器3在符合MPEG-DASH的系统中把由文件生成装置2生成的运动图像内容的文件经由因特网4直播地分发给再现终端5。例如,web服务器3存储从文件生成装置2上传的Segment文件和MPD文件。此外,响应于再现终端5的请求,web服务器3把所存储的Segment文件和MPD文件发送给再现终端5。
再现终端5(再现装置)执行用于控制流媒体数据的软件(以下也称为控制软件)6、运动图像再现软件7、用于HTTP访问的客户端软件(以下也称为访问软件)8等。
控制软件6是用于控制将从web服务器3流式传输的数据的软件。例如,控制软件6从web服务器3获取MPD文件。此外,控制软件6指示访问软件8根据例如指示由MPD文件、运动图像再现软件7等指定的再现时间等的再现时间信息以及因特网4的网络频带来请求发送待再现Segment文件。
运动图像再现软件7是用于再现经由因特网4从web服务器3获取的编码流的软件。例如,运动图像再现软件7在控制软件6中指定再现时间信息。另外,当运动图像再现软件7从访问软件8获取接收开始的通知时,对从访问软件8提供的编码流进行解码。运动图像再现软件7输出由于解码而获取的视频数据和音频数据。
访问软件8是用于控制使用HTTP与web服务器3进行通信的软件。例如,访问软件8把接收开始的通知提供给运动图像再现软件7。此外,响应于控制软件6的指令,访问软件8把发送待再现Segment文件的编码流的请求发送给web服务器3。此外,响应于发送请求,访问软件8接收与从web服务器3发送的通信环境等相应的比特率的Segment文件。然后,访问软件8从接收到的文件中提取编码流并把其提供给运动图像再现软件7。
<MPD>
接着,对MPD进行说明。MPD具有例如如图2所示的构成。当对MPD进行分析(解析)时,客户端(在图1中的示例的情况下的再现终端5)从包括在MPD的Period中的Representation(图2中的Media Presentation)的属性中选择最适宜的一个属性。
客户端读取选定Representation的前导Segment,获取Initialization Segment,并对其进行处理。随后,客户端获取后续Segment并再现后续Segment。
同时,MPD中的Period、Representation和Segment之间的关系如图3所示。即,可以为在时间方向上作为数据单位的各Period管理一个媒体内容,且可以为在时间方向上作为数据单位的各Segment管理各Period。此外,可以为各Period配置具有不同属性(诸如比特率)的多个Representation。
因此,MPD的文件(也称为MPD文件)具有如图4所示在Period及较低阶中的阶级结构。此外,当MPD的结构置于时间轴上时,如图5中的示例所示。从图5中的示例可以明显看出,同一Segment有多个Representation。通过自适应地选择它们中的一个,客户端可以根据通信环境、其解码能力等来获取并再现适当的流数据。
<DSD>
顺便提及,视频和音乐数据的品质得到提高,同时在分发时也需要分发较高品质的数据。例如,直接数字流(DSD)被称为高品质音频信号调制方式(图6)。如图6所示,在脉冲编码调制(PCM)的情况下,音频模拟信号的各采样时间的信号值被转换为固定位数的数字数据,而在DSD的情况下,音频模拟信号经过ΔΣ调制并转换为1位数字数据。
在DSD的情况下,因为采样频率例如高达2.8MHz、5.6MHz和11.2MHz,所以两个声道的比特率也分别变为5.6Mbps、11.2Mbps和22.4Mbps。因此,想出了以无损方式压缩这种高速率DSD数据的方式。
<DST>
例如,作为DSD数据的无损压缩编码方式,存在为超级音频光盘(SACD)开发且由MPEG4高级音频编码(AAC)(国际标准化组织/国际电工委员会(IEC/ISO)14496-3)标准化的直接流传输(DST)。然而,这种具有太多负载的DST不适合通过软件的处理。
<新DSD无损压缩编码方式>
因此,也可以通过嵌入式处理器中的软件处理而实现的新DSD无损压缩编码方式也是通过与DST不同的方法来开发。通过在分发时使用由这个新DSD无损压缩编码方式生成的DSD无损流,可以抑制传输所需的频带,且可以期望通过诸如PC或移动终端的客户端的软件处理中的实时解码。
例如,如图7中的A所示,在使用AAC作为音频数据的编码方式的一般直播流媒体的情况下,因为比特率是恒定的,所以根据传输路径的频带变化来选择视频数据的比特率。另一方面,在采用DSD无损编码方式作为音频数据的编码方式的直播流媒体(4K+DSD)的情况下,如图7中的B所示,DSD无损流具有大的局部速率变化。即,由这个速率变化引起的频带裕度可以分配给视频数据的传输,这样可以实现较高品质的视频数据传输。
<压缩编码装置的构成例>
接着,对这个新DSD无损压缩编码方式进行说明。图8中示出支持这个新DSD无损压缩编码方式的压缩编码装置的主要构成例。图8所示的压缩编码装置10是通过sigma-delta(ΣΔ)调制把模拟音频信号转换为数字信号并对已转换的音频信号进行压缩编码以输出的装置。即,压缩编码装置10是通过DSD方式对音频信号进行调制并对其数字化,通过上述新DSD无损压缩编码方式对数字数据(DSD数据)进行编码并生成DSD无损流的装置。
模拟音频信号从输入单元11输入并提供给模拟数字转换器(ADC)12。ADC 12通过ΣΔ调制对所提供的模拟音频信号进行数字化并把其输出到输入缓冲器13。
ADC 12包括加法器21、积分器22、比较器23、单采样延迟电路24和1位数字模拟转换器(DAC)25。从输入单元11提供的音频信号被提供给加法器21。加法器21在一个采样周期把之前从1位DAC 25提供的模拟音频信号与来自输入单元11的音频信号相加并把其输出到积分器22。积分器22对来自加法器21的音频信号进行积分并把其输出到比较器23。与输入音频信号的中点电位作比较的比较器23对各采样周期进行1位量化。采样周期的频率(采样频率)是常用48kHz和44.1kHz的频率的64倍或128倍。比较器23把1位量化的音频信号输出到输入缓冲器13并还把其提供给单采样延迟电路24。单采样延迟电路24使来自比较器23的音频信号延迟了一个采样周期并把其输出到1位DAC 25。1位DAC 25把来自单采样延迟电路24的数字信号转换为模拟信号并把其输出到加法器21。
如上所述构成的ADC 12把从输入单元11提供的音频信号转换(A/D转换)为1位数字信号并把其输出到输入缓冲器13。根据ΣΔ调制A/D转换,通过使采样周期的频率(采样频率)足够高,即使在少量比特(例如,1位)的情况下,也可以获取具有宽动态范围的数字音频信号。例如,立体声(双声道)音频信号从输入单元11输入到ADC 12,ADC 12把其A/D转换为采样频率为44.1kHz的128倍的1位信号并把其输出到输入缓冲器13。同时,在ΣΔ调制中,量化的比特数可以是两个或四个。
输入缓冲器13暂时地累积从ADC 12提供的1位数字音频信号并以一帧为单位把其提供给后级的控制单元14、编码单元15和数据量比较单元17。这里,一帧是用于把音频信号分成预定时间(周期)以作为一组的单位。例如,可以使三秒成为一帧。换言之,输入缓冲器13以三秒为单位把音频信号提供给控制单元14、编码单元15和数据量比较单元17。如上所述,从输入单元11输入的音频信号是立体声(双声道)信号并A/D转换为采样频率为44.1kHz的128倍的1位信号,使得一帧的数据量为44100(Hz)*128*2(ch)*3(sec)=5.6Mbits。下文中,从输入缓冲器13提供的经ΔΣ调制的数字信号也被称为DSD数据。
控制单元14控制整个压缩编码装置1的操作。此外,控制单元14具有创建编码单元15执行压缩编码所需的转换表table1并把其提供给编码单元15的功能。例如,控制单元14使用从输入缓冲器13提供的DSD数据的一帧来创建数据生成计数表pretable,且还根据数据生成计数表pretable来创建转换表table1。控制单元14把已创建的转换表table1提供给编码单元15和数据发送单元18。以一帧为单位创建(更新)转换表table1并把其提供给编码单元15。
使用从控制单元14提供的转换表table1,编码单元15以四位为单位对从输入缓冲器13提供的DSD数据进行压缩编码。因此,DSD数据在提供给控制单元14的同时从输入缓冲器13提供给编码单元15,但在编码单元15中,处理等待直到从控制单元14提供转换表。编码单元15把四位DSD数据编码为两位数据或六位数据并把数据输出到编码数据缓冲器16。
编码数据缓冲器16暂时地缓冲作为由编码单元15压缩编码的DSD数据的压缩数据并把其提供给数据量比较单元17和数据发送单元18。
数据量比较单元17以帧为单位把从输入缓冲器13提供的DSD数据(以下也称为未压缩数据)的数据量与从编码数据缓冲器16提供的压缩数据的数据量作比较。这是因为,由于编码单元15如上所述把四位DSD数据编码为两位数据或六位数据,所以在算法中可能存在压缩后的数据量超过压缩前的数据量的情况。因此,数据量比较单元17把压缩数据的数据量与未压缩数据的数据量作比较,选择具有较小数据量的数据,并把指示选定数据的选择控制数据提供给数据发送单元18。同时,在选择把指示未压缩数据的选择控制数据提供给数据发送单元18的情况下,数据量比较单元17还把未压缩数据提供给数据发送单元18。从接收侧上接收发送数据的装置来看,选择控制数据可以说是指示从数据发送单元18发送的音频数据是否为由编码单元15压缩编码的数据的标志。
根据从数据量比较单元17提供的选择控制数据,数据发送单元18选择从编码数据缓冲器16提供的压缩数据或从数据量比较单元17提供的未压缩数据并把其与选择控制数据一起经由输出单元19发送给对偶装置。此外,在发送压缩数据的情况下,数据发送单元18还把从控制单元14提供的转换表table1的数据与压缩数据相加并把其发送给对偶装置。数据发送单元18对于各预定数量的样品可以把同步信号和纠错码(ECC)与数字信号相加以作为发送数据进行发送。
<创建数据生成计数表的方法>
接着,对由控制单元14创建数据生成计数表pretable的方法进行说明。
控制单元14对于DSD数据的一帧创建数据生成计数表pretable;从输入缓冲器13提供的DSD数据以四位为单位表示如下。
...D4[n-3],D4[n-2],D4[n-1],D4[n],D4[n+1],D4[n+2],D4[n+3],...
这里,D4[n]表示四位连续数据,且以下也称为D4数据(n>3)。
控制单元14对过去三个D4数据(过去12位数据)的下一个D4数据的生成次数进行计数并创建图9所示的数据生成计数表pretable[4096][16]。这里,数据生成计数表pretable[4096][16]的[4096]和[16]指示数据生成计数表为4096行16列的表(矩阵),且[0]到[4095]中的各行对应于过去三个D4数据可以取的值(过去位模式),[0]到[15]中的各列对应于下一个D4数据可以取的值。
例如,当过去三个D4数据D4[n-3]、D4[n-2]和D4[n-1]为"0"={0000,0000,0000}时,作为数据生成计数表pretable的第一行的pretable[0][0]至pretable[0][15]指示下一个数据的生成次数;这表示当过去三个数据为“0”时下一个四位为“0”的次数是369a(十六进制计数法),且无其他数据。当过去三个D4数据D4[n-3]、D4[n-2]和D4[n-1]为"1"={0000,0000,0001}时,作为数据生成计数表pretable的第二行的pretable[1][0]至pretable[1][15]指示下一个数据的生成次数。数据生成计数表pretable的第二行中的所有元素都为“0”事实上指示无数据,其中作为这一帧中的过去数据的三个D4数据为“1”。此外,图9中,当过去三个D4数据D4[n-3]、D4[n-2]和D4[n-1]为"117"={0000,0111,0101}时,作为数据生成计数表pretable的第118行的pretable[117][0]至pretable[117][15]指示下一个数据的生成次数。在这个数据中,指示当过去三个数据为“117”时下一个四位为"0"、"1"、"2"、"3"、"4"、"5"、"6"、"7"、"8"、"9"、"10"以及"11"至"15"的次数分别是0、1、10、18、20、31、11、0、4、12、5和0。
如上所述,控制单元14对DSD数据的一帧中过去三个D4数据(过去12位数据)的下一个D4数据的生成次数进行计数并创建数据生成计数表pretable。
<创建转换表的方法>
接着,对由控制单元14创建转换表table1的方法进行说明。
控制单元14根据先前创建的数据生成计数表pretable来创建4096行3列的转换表table1[4096][3]。这里,转换表table1[4096][3]的行[0]到[4095]中的各行对应于过去三个D4数据可以取的值,且在D4的下一个D4数据可以取的16个值之中具有较高生成频率的三个值存储在各列[0]到[2]中。具有最高(第一)生成频率的值存储在转换表table1[4096][3]的第一列[0]中,具有第二生成频率的值存储在第二列[1]中,具有第三生成频率的值存储在第三列[2]中。
图10示出与图9所示的数据生成计数表pretable相对应的转换表table1[4096][3]的示例。在转换表table1[4096][3]中,作为第118行的table1[117][0]至table1[117][2]为{05,04,03}。这对应于图9中的数据生成计数表pretable的第118行的pretable[117][0]至pretable[117][15]的内容。在作为图9中的数据生成计数表pretable的第118行的pretable[117][0]至pretable[117][15]中,生成31次具有最高(第一)生成频率的值为“5”,生成20次具有第二生成频率的值为“4”,生成18次具有第三生成频率的值为“3”。因此,{05}存储在图10中的转换表table1[4096][3]的第118行第1列table1[117][0]中,{04}存储在第118行第2列table1[117][1]中,{03}存储在第118行第3列table1[117][2]中。同样地,作为图10中的转换表table1[4096][3]的第一行的table1[0][0]至table1[0][2]对应于图9中的数据生成计数表pretable的第一行的pretable[0][0]至pretable[0][15]的内容。
在图9中的数据生成计数表pretable的第一行的pretable[0][0]至pretable[0][15]中,生成369a次具有最高(第一)生成频率的值为“0”,且不生成其他值。因此,{00}存储在图10中的转换表table1[4096][3]的第一行第一列table1[0][0]中,指示无数据的{ff}存储在第一行第二列table1[0][1]和第一行第三列table1[0][2]中。指示无数据的值并不限于{ff}且可以视情况而定。由于存储在转换表table1的各元素中的值为“0”至“15”中的任何一个,所以其可以用四位表示,但就计算机处理而言,为了便于处理,其用八位表示。
如上所述,根据先前创建的数据生成计数表pretable来创建4096行3列转换表table1[4096][3]并把其提供给编码单元15。
<通过编码单元15的压缩编码方法>
接着,对通过编码单元15使用转换表table1的压缩编码方法进行说明。例如,对编码单元15对在从输入缓冲器13提供的DSD数据...D4[n-3],D4[n-2],D4[n-1],D4[n],D4[n+1],D4[n+2],D4[n+3],...之中的D4[n]进行编码的情况进行说明。
在对D4[n]进行编码的情况下,编码单元15把作为紧接其前面的过去12位数据的D4[n-3]、D4[n-2]和D4[n-1]视为一个12位数据并搜索由转换表table1[4096][3]的D4[n-3]、D4[n-2]和D4[n-1]指示的地址(行)的三个值:table1[D4[n-3],D4[n-2],D4[n-1]][0]、table1[D4[n-3],D4[n-2],D4[n-1]][1]和table1[D4[n-3],D4[n-2],D4[n-1]][2]。
在由转换表table1[4096][3]的D4[n-3]、D4[n-2]和D4[n-1]指示的地址(行)的三个值table1[D4[n-3],D4[n-2],D4[n-1]][0]、table1[D4[n-3],D4[n-2],D4[n-1]][1]和table1[D4[n-3],D4[n-2],D4[n-1]][2]中存在与D4[n]相同的值且其与table1[D4[n-3],D4[n-2],D4[n-1]][0]相同的情况下,编码单元15把D4[n]转换为两位,如“01b”,在其与table1[D4[n-3],D4[n-2],D4[n-1]][1]相同的情况下,编码单元15把D4[n]转换为两位,如“10b”,在其与table1[D4[n-3],D4[n-2],D4[n-1]][2]相同的情况下,编码单元15把D4[n]转换为两位,如“11b”。此外,当在由转换表table1[4096][3]的D4[n-3]、D4[n-2]和D4[n-1]指示的地址(行)的三个值中不存在相同值时,编码单元15通过在D4[n]前添加“00b”来转换为六位,如“00b+D4[n]”。这里,“01b”、“10b”、“11b”和“00b+D4[n]”中的b指示它们是二进制计数法。
如上所述,编码单元15使用转换表table1把四位DSD数据D4[n]转换为两位数据“01b”、“10b”或“11b”或六位数据“00b+D4[n]”并把其输出到编码数据缓冲器16。
<编码单元15的详细构成>
图11是示出执行上述压缩编码的编码单元15的构成例的图。
从输入缓冲器13提供的四位DSD数据(例如,D4[n])存储在寄存器51中,该寄存器51存储四位。此外,寄存器51的输出连接到选择器55的一个输入端子56a和寄存器52,该寄存器52存储12位,且寄存器52存储紧接存储在寄存器51中的四位DSD数据前面的过去12位数据(例如,D4[n-3],D4[n-2],and D4[n-1])。
转换表处理单元53包括从控制单元14提供的转换表table1。转换表处理单元53在由存储在寄存器52中的12位数据(例如,D4[n-3]、D4[n-2]和D4[n-1])指示的地址的三个值table1[D4[n-3],D4[n-2],D4[n-1]][0]、table1[D4[n-3],D4[n-2],D4[n-1]][1]和table1[D4[n-3],D4[n-2],D4[n-1]][2]中搜索是否存在存储在寄存器51中的四位数据(例如,D4[n]),且在存在相同值的情况下,允许两位寄存器54存储与存储相同值的列相对应的值,即,“01b”、“10b”或“11b”中的任何一个。存储在两位寄存器54中的数据被提供给选择器55的一个输入端子56c。另外,在由存储在寄存器52中的12位数据(例如,D4[n-3]、D4[n-2]和D4[n-1])指示的地址的三个值中存在存储在寄存器51中的四位数据(例如,D4[n])的情况下,转换表处理单元53把指示不转换的信号(以下称为不转换信号)输出给选择器55。
选择器55选择三个输入端子56a至56c中的一个输入端子并从输出端子57输出从选定输入端子56获取的数据。存储在寄存器51中的四位DSD数据(例如,D4[n])被提供给输入端子56a,“00b”被提供给输入端子56b,以及存储在寄存器54中的两位转换数据被提供给输入端子56c。在从转换表处理单元53提供指示不转换的不转换信号的情况下,选择器55选择输入端子56b并从输出端子57输出“00b”,之后选择输入端子56a并从输出端子57输出存储在寄存器51中的四位DSD数据(例如,D4[n])。因此,在转换表table1中不存在与D4[n]相同的数据的情况下,从输出端子57输出六位“00b+D4[n]”输出。此外,在不提供指示不转换的不转换信号的情况下(在提供指示转换的转换信号的情况下),选择器55选择输入端子56c并从输出端子57输出从寄存器54提供的两位转换数据。因此,在转换表table1中存在与D4[n]相同的数据(即,“01b”、“10b”和“11b”中的任何一个)的情况下,从输出端子57输出两位输出。
<压缩编码处理流程>
参照图12中的流程图对通过压缩编码装置10的压缩编码处理进行说明。
同时,在图12中的处理流程中,未示出ADC 12的处理,并对在从输入缓冲器13输出通过ADC12经过ΔΣ调制的DSD数据的一帧之后的处理进行说明。
首先,在步骤S1中,控制单元14对DSD数据的一帧中过去三个D4数据(过去12位数据)的下一个D4数据的生成次数进行计数并创建数据生成计数表pretable。
在步骤S2中,控制单元14根据已创建的数据生成计数表pretable来创建4096行3列转换表table1。控制单元14把已创建的转换表table1提供给编码单元15和数据发送单元18。
在步骤S3中,编码单元15使用转换表table1对一帧周期的DSD数据执行压缩编码。具体地,编码单元15对一帧周期的DSD数据执行把四位DSD数据D4[n]转换为两位数据“01b”、“10b”或“11b”或六位数据“00b+D4[n]”的处理。通过压缩编码而获取的压缩数据被提供给编码数据缓冲器16和数据量比较单元17。
在步骤S4中,数据量比较单元17把从输入缓冲器13提供的一帧的未压缩数据的数据量与从编码数据缓冲器16提供的一帧的压缩数据的数据量作比较并确定数据量与压缩前相比是否减少。
在步骤S4中确定数据量与压缩前相比减少的情况下,过程转到步骤S5,数据量比较单元17把指示选择压缩数据的选择控制数据提供给数据发送单元18。
在步骤S6中,数据发送单元18把从控制单元14提供的转换表table1的数据(转换表数据)和指示选择压缩数据的选择控制数据(指示从编码单元15提供的压缩编码数据的标志)相加并把其与压缩数据一起发送给对偶装置。
此外,在步骤S4中确定数据量与压缩前相比未减少的情况下,过程转到步骤S7,数据量比较单元17把指示选择未压缩数据的选择控制数据与未压缩数据一起提供给数据发送单元18。
在步骤S8中,数据发送单元18把指示选择未压缩数据的选择控制数据(指示未压缩编码的数据的标志)和未压缩数据发送给对偶装置。
DSD数据的一帧的压缩编码处理于此结束。对从输入缓冲器13顺序地提供的一帧的DSD数据重复执行上述步骤S1至S8中的处理。
<解码装置的构成例>
图13示出支持上述新DSD无损压缩编码方式的解码装置的主要构成例。图13中的解码装置70是接收图8中的压缩编码装置10压缩编码以发送的音频信号并执行扩展处理(无损解码)的装置。
由图8中的压缩编码装置10压缩编码并发送的音频信号由解码装置70的输入单元71通过网络(未示出)(例如,局域网(LAN)、诸如广域网(WAN)的公共线路网络、因特网、电话线网络及卫星通信网络等)接收以提供给数据接收单元72。
数据接收单元72对包括在接收到的数据中的同步信号进行分离,检测并校正在网络传输期间发生的传输错误。然后,数据接收单元72根据包括在接收到的数据中指示音频信号是否被压缩编码的选择控制数据来确定音频信号是否被压缩编码。然后,在音频信号被压缩编码的情况下,数据接收单元72把接收到的压缩数据提供给编码数据缓冲器73。此外,在音频信号未被压缩编码的情况下,数据接收单元72把接收到的未压缩数据提供给输出缓冲器76。此外,数据接收单元72把包括在接收到的数据中的转换表table1的数据(转换表数据)提供给表存储单元75。表存储单元75存储从数据接收单元72提供的转换表table1并根据需要把其提供给解码单元74。
编码数据缓冲器73暂时地累积从数据接收单元72提供的压缩数据并在预定时间把其提供给后级的解码单元74。
解码单元74把压缩数据解码(无损解码)到压缩前的状态并把其提供给输出缓冲器76。
<解码方法的细节>
对通过解码单元74的解码方法进行说明。对对E2[n]解码的情况进行说明,同时如下以两位为单位表示由压缩编码装置10压缩编码并发送的压缩数据。
...E2[n-3],E2[n-2],E2[n-1],E2[n],E2[n+1],E2[n+2],E2[n+3],...
这里,E2[n]表示两位连续数据且也被称为E2数据。
解码单元74首先确定E2[n]的值。在E2[n]为“00b”的情况下,这是在接收到的转换表table1[4096][3]中找不到的数据,使得E2[n]的下一个四位数据“E2[n+1]+E2[n+2]”是待解码数据。此外,在E2[n]为“01b”、“10b”或“11b”的情况下,这是在接收到的转换表table1[4096][3]中找得到的数据,使得使用紧接其前面解码的12位D4数据D4[n-3]、D4[n-2]和D4[n-1]通过参照转换表table1[4096][3]来搜索待解码数据。待解码数据是存储在“table1[D4[n-3],D4[n-2],D4[n-1]][E2[n]-1]”中的数据。如上所述,解码单元74可以把压缩数据解码(无损解码)到压缩前的状态。如图13所示,解码单元74包括两位寄存器91、12位寄存器92、转换表处理单元93、四位寄存器94和选择器95。
从编码数据缓冲器73提供的两位E2数据(例如,E2[n])存储在寄存器91中。选择器95的输出被提供给12位寄存器92,且寄存器92存储紧接存储在寄存器91中的两位E2数据(例如,E2[n])前面解码的12位数据(例如,D4[n-3]、D4[n-2]和D4[n-1])。在存储在寄存器91中的两位E2数据(例如,E2[n])为“00b”的情况下,选择器95选择输入端子96a并从输出端子97输出E2[n]的下一个四位数据“E2[n+1]+E2[n+2]”作为解码结果。在存储在寄存器91中的两位E2数据(例如,E2[n])为“01b”、“10b”或“11b”的情况下,转换表处理单元93允许寄存器94存储存储在从表存储单元75提供的转换表table1的“table1[D4[n-3],D4[n-2],D4[n-1]][E2[n]-1]”中的四位数据。选择器95选择输入端子96b并从输出端子97输出存储在寄存器94中的数据作为解码结果。
输出缓冲器76适当地选择从数据接收单元72提供的未压缩数据或从解码单元74提供的解码数据并把其提供给模拟滤波器77。
模拟滤波器77对从输出缓冲器76提供的解码数据执行诸如低通滤波和带通滤波的预定滤波处理并从输出单元78输出数据。
<解码处理流程>
参照图14中的流程图,还对解码装置70的解码处理进行说明。
首先,在步骤S21中,数据接收单元72根据包括在接收到的数据中的选择控制数据来确定接收到的数据是否为压缩编码的压缩数据。
在步骤S21中确定接收到的数据为压缩数据的情况下,过程转到步骤S22,数据接收单元72把包括在接收到的数据中的转换表数据提供给表存储单元75。转换表处理单元93经由表存储单元75获取接收到的转换表table1。此外,在步骤S22中,包括在接收到的数据中的压缩数据被提供给编码数据缓冲器73。
在步骤S23中,解码单元74使用转换表table1对从编码数据缓冲器73提供的压缩数据进行解码并把其提供给输出缓冲器76。即,在两位E2数据(例如,E2[n])为“00b”的情况下,解码单元74把E2[n]的下一个四位数据“E2[n+1]+E2[n+2]”作为解码结果提供给输出缓冲器76,在两位E2数据(例如,E2[n])为“01b”、“10b”或“11b”的情况下,解码单元74把存储在转换表table1的“table1[D4[n-3],D4[n-2],D4[n-1]][E2[n]-1]”中的四位数据作为解码结果提供给输出缓冲器76。
此外,在步骤S21中确定接收到的数据不是压缩数据(即,未压缩数据)的情况下,过程转到步骤S24,数据接收单元72获取包括在接收到的数据中的未压缩数据并把其提供给输出缓冲器76。
通过上述处理,未压缩数据或由解码单元74解码的数据被提供给输出缓冲器76,且提供给输出缓冲器76的数据被输出到模拟滤波器77。
在步骤S25中,模拟滤波器77对经由输出缓冲器76提供的数据执行预定滤波处理。滤波处理后的音频信号从输出单元78输出。
以一帧为单位对音频信号重复执行上述处理。
<DSD无损流的结构>
在上述新DSD无损压缩编码方式中,DSD数据被分成每个声道固定长度(4096×32=131072位)的块(Block)并被压缩。压缩后,通过向10个连续块的压缩数据添加报头来形成块组(GOB)。通过在GOB的头部进一步添加配置信息(配置)而获取的单位是DSD_lossless_payload()。扩展Block(代码簿;参照表)所需的信息存储在GOB header和GOBdata中。考虑到在AAC的情况下的流切换,Block(Block(audio frame))的时间长度被设定为与AAC相当。
图15中示出DSD无损流的基本结构的示例。如图15中最上段所示,DSD无损流包括多个DSD_lossless_payload()。
如图15中上面第二段所示,一个DSD_lossless_payload()包括format version、GOB configuration(GOB config)和GOB。
如图15中上面第三段所示,GOB包括GOB header、GOB data和10个Block(Block 1至Block 10)。GOB header和GOB data也被称为用于对GOB解码的GOB初始化程序。GOB初始化程序包括用于解码的解码器配置信息(decoder configration)元数据、代码簿等。
如图15中最下段所示,Block包括Block header、左声道(L)的音频数据、右声道(R)的音频数据以及byte align(在DSD数据为左右双声道的情况下)。
在一个Block中,不管fs,每个声道4096×32=13,1072位的数据在压缩前存储在DSD数据中。即,一个Block的长度(Block长度)在2.8MHz采样频率的情况下约为46毫秒,在5.6MHz采样频率的情况下约为23毫秒以及在11.2MHz采样频率的情况下约为12毫秒。例如,在2.8MHz采样频率的情况下,约468毫秒的数据作为再现时间存储在1个GOB中。
<语法>
图16的A中示出DSD_lossless_payload()的语法示例。如图16的A所示,例如,format version、DSD_lossless_gob_configuration()、DSD_lossless_gob(number_of_audio_data)等存储在DSD_lossless_payload()中。这个format version对应于图15中的format version。此外,DSD_lossless_gob_configuration()对应于图15中的GOBconfig。此外,DSD_lossless_gob()对应于图15中的GOB。
图16的B中示出DSD_lossless_gob_configuration()的语法示例。如图16的B所示,例如,channel_configuration、number of blocks、sampling_frequency、comment_flag、comment_size、comment_byte等存储在DSD_lossless_gob_configuration()中。
图16的C中示出DSD_lossless_gob()的语法示例。如图16的C所示,例如,DSD_lossless_gob_header()、DSD_lossless_gob_data()、DSD_lossless_block()、byte_align()等存储在DSD_lossless_gob()中。这个DSD_lossless_gob_header()对应于图15中的GOB header。DSD_lossless_gob_data()对应于图15中的GOB data。DSD_lossless_block()对应于图15中的各Block(Block 1至Block 10)。
图16的D中示出DSD_lossless_gob_header()的语法示例。如图16的D所示,例如,DSD_lossless_block_info等存储在DSD_lossless_gob_header()中。
图16的D中示出DSD_lossless_gob_data()的语法示例。如图16的D所示,例如,gob_codebook_length、gob_codebook[i]等存储在DSD_lossless_gob_data()中。它对应于图15中的代码簿gob_codebook[i]。
<切换>
在分发诸如图像和音频的内容的数据(也称为内容数据)的系统中,总是需要进一步提高待分发内容数据的品质。另外,随着内容数据的品质提高,还不时开发诸如上述新DSD无损压缩编码方式的新编码方式。
然而,即使这种高品质编码方式是新开发并应用于内容数据的分发,实际上,也存在还需要组合使用常用低品质编码方式的内容数据的分发的情况。
例如,为了更稳定地分发内容数据,可以想到,根据传输路径的传输频带的变化来切换待分发内容数据的比特率,但在这种情况下,通过一个编码方式有可能无法保证足够的比特率宽度。例如,通常,高品质内容数据具有比低品质内容数据的比特率更高的比特率。为了执行对传输频带的变化更强的更稳定分发,与在常用编码方式中一样也应当可分发低比特率的内容数据,但是可能存在新编码方式不支持这种低比特率的情况。例如,在上述新DSD编码方式的DSD无损流的情况下,执行2.8Mbps或更高的DSD数据的无损压缩以减小比特率,但是与在高级音频编码(AAC)中一样不可能始终保持128kbps的低速率。
即,随着开发更高品质的编码方式,应当支持的比特率宽度可能变得更宽,且通过一个编码方式支持可能变得更加困难。
此外,例如,即使应用新编码方式,也存在再现侧上使用的解码器不支持该编码方式且不可能再现的情况。因此,为了提高内容数据分发的通用性,需要能够通过常用编码方式进行分发。
同时,其不仅适用于音频数据,而且适用于诸如图像数据的任意内容数据。
和MPEG-DASH一致,不同编码方式的多个内容数据的分发可以由MPD管理。例如,可以根据传输频带的拥塞程度、由解码器支持的编码方式等来切换待分发内容数据。然而,在常用MPD中,对于再现期间的内容数据的切换,只考虑比特率等的切换,且不应该在再现期间切换编码方式。
例如,在MPD中,基本上,编码方式在Adaptation Set中进行管理,可以相互切换的不同编码方式的内容数据在不同Adaptation Set中进行管理。此外,基本上,比特率在Adaptation Set中的Representation中进行管理,可以相互切换的不同比特率的内容数据在同一Adaptation Set的不同Representation中进行管理。
例如,MPEG-DASH的Live Profile具有与在图17所示的示例中一样的文件结构。例如,诸如“Audio DSD 2.8MHz”和“Audio DSD 5.6MHz”的不同编码方式的内容数据在不同Adaptation Set中进行管理。此外,不同比特率的内容数据与在“Video”的“10Mbps”、“20Mbps”、“40Mbps”和“80Mbps”的示例中一样在同一Adaptation Set的不同Representation中进行管理。
此外,例如,同样在存在诸如Japanese和English的不同语言的多个音频流的情况下,它们在不同Adaptation Set中进行管理。特别是,在有意允许用户通过用户界面(UI)进行选择的情况下,由于表示语言属性的“@lang”只存在Adaptation Set中,所以需要在不同Adaptation Set中进行管理。
同时,在MPEG-DASH的On-demand profile的情况下的文件结构如图18中的示例所示。在这种情况下,此外,与Live Profile中的情况一样,在编码方式等是不同的的情况下,它使用不同Adaptation Set来管理。
因此,为了切换编码方式,执行在多个Adaptation Set之间切换。然而,虽然在MPD中准备了用于在Representation之间切换的机制,但是未准备用于实现在多个Adaptation之间切换的机制。
例如,在Live Profile的情况下,如图17所示,内容数据以Segment为单位在其再现时间方向上进行管理。如图17所示,在内容数据为MP4文件的情况下,每个Segment包括预定再现时间的Movie Fragment Box(moof)和Media Data Box(mdat)。由于这个Segment作为访问单元,所以在切换待再现内容数据的情况下,它在Segment的边界处执行。
然而,由于对于各Adaptation Set可以独立地设定Segment长度(再现时间),所以Segment边界(的再现时间)在Adaptation之间并不总是相同。如果Segment边界在切换源Adaptation Set和切换目的地Adaptation Set之间不匹配,那么可能发生不连续,使得例如在切换时中断再现或在再现时间中发生偏差(跳跃或返回)。即,无法保证无缝切换。
此外,在On-demand profile的情况下,例如,如图18所示,整个内容数据作为一个Media Segment进行管理,并通过在其再现时间方向上进一步分成Sub-Segment unit进行管理。如图18所示,在内容数据为MP4文件的情况下,每个Segment包括预定再现时间的Movie Fragment Box(moof)和Media Data Box(mdat)。由于这个Sub-Segment作为访问单元,所以在切换待再现内容数据的情况下,它在Sub-Segment的边界处执行。
即,在这种情况下,此外,与Live Profile的Segment边界中的情况一样,不能保证Adaptation之间的Sub-Segment边界(的再现时间)的重合,使得不能保证无缝切换。
以此方式,由于不能保证无缝切换,所以很难实现在多个Adaptation Set之间切换。因此,很难稳定地分发较高品质的内容数据。
<2.第一实施例>
<与在多个Adaptation之间切换有关的信息的设定>
因此,在用于管理内容数据再现的管理信息中,设定与在用于管理待再现数据的同一内容的数据组的第一管理单元之间切换有关的信息。
通过这样做,可以执行在第一管理单元之间无缝切换(切换使得保持再现连续性)(可以无缝再现),且可以支持更大的频带变化,且可以更稳定地发送内容数据。
这个管理信息可以是MPEG-DASH的MPD,且第一管理单元可以是Adaptation Set。通过这样做,可以更稳定地执行使用MPEG-DASH的分发。
同时,在就MPD而论进行说明的情况下,下文使用Live Profile进行说明,并省略On-demand profile的说明。然而,只要特别是没有矛盾,以下说明就可以适用于任意profile。例如,通过用Sub-segment替换Segment,Live Profile的Segment的说明还可以适用于On-demand profile。
<切换目的地信息>
与切换有关的信息也可以是与在待再现数据的第一管理单元之间切换的切换目的地有关的信息。例如,指定允许作为切换目的地的管理单元(即,作为切换目的地的候补者的管理单元)的信息可以设定为与切换目的地有关的信息。例如,属性@ContentSwitchingDestinationId可以设定为与切换目的地有关的信息。
例如,在管理信息为MPD的情况下,作为切换目的地的候补者的管理单元的标识信息(Id)的列表(行)可以在这个属性@ContentSwitchingDestinationId中进行设定。作为切换目的地的候补者的管理单元可以是例如另一个Adaptation Set(其他第一管理单元)、另一个Adaptation Set(管理其他第一管理单元中的各数据的第二管理单元)的Representation或它们两者。同时,“另一个Adaptation Set(其他第一管理单元)”是指除管理(切换前)当前正在再现的内容数据的Adaptation Set(第一管理单元)以外的Adaptation Set(第一管理单元)。此外,在把Adaptation Set设定为切换目的地的候补者的情况下,可以根据常用MPD的规范来指定较低阶Representation。
在把Adaptation Set(第一管理单元)设定为切换目的地的候补者的情况下,由于待添加信息量小且还使用常用规范,所以与常用MPD的兼容性高。此外,在把Representation(第二管理单元)设定为切换目的地的候补者的情况下,可以执行与切换有关更详细的控制。
<对齐>
设定为与切换目的地有关的信息的管理单元可以是使得Segment边界的再现时间与Segment的至少一部分中的当前管理单元的再现时间一致(对齐)。换言之,Segment边界的再现时间与Segment的至少一部分中的当前管理单元的再现时间对齐的管理单元可以设定为与切换目的地有关的信息。
如果Segment边界对齐,那么即使在多个Adaptation之间切换的情况下,也可以在再现装置中根据与切换目的地有关的信息通过控制切换来执行无缝切换。
<切换目的地信息的设定>
同时,与切换目的地有关的信息可以在任意管理单元中进行设定。例如,属性@ContentSwitchingDestinationId(与切换目的地有关的信息)可以在Adaptation Set(第一管理单元)、Representation(第二管理单元)或它们两者中进行设定。
在Adaptation Set(第一管理单元)中设定与切换目的地有关的信息的情况下,可以把与切换目的地有关的信息设定为属于Adaptation Set的Representation所共有并抑制信息量增加。此外,在Representation(第二管理单元)中设定与切换目的地有关的信息的情况下,可以执行与切换有关更详细的控制。
此外,指定推荐为切换目的地的管理单元的信息可以设定为与切换目的地有关的信息,指定不推荐为切换目的地的管理单元的信息可以设定为与切换目的地有关的信息,或指定禁止作为切换目的地的管理单元的信息可以设定为与切换目的地有关的信息。
<切换定时信息>
与切换有关的信息也可以是与在待再现数据的第一管理单元之间切换的定时有关的信息。例如,与定时有关的信息可以是指定允许在待再现数据的第一管理单元之间切换的定时的信息(指定切换定时的候补者的信息)。例如,属性@ContentSwitchingAlignmentCycle可以设定为与定时有关的信息。
作为候补者的定时是任意的,但是其可以是例如在待再现数据的再现时间方向上作为管理单元的第二管理单元的边界。即,指定定时的信息可以是指定允许在待再现数据的第一管理单元之间切换的第二管理单元的边界的信息。此时,作为候补者的定时可以由第二管理单元的数量指定到下一个定时为止。
例如,在管理信息为MPD的情况下,允许在待再现内容数据的多个Adaptation Set(第一管理单元)之间切换的Segment(第二管理单元)的边界可以由Segment(第二管理单元)的数量指定到下一个定时为止。同时,这里把Segment设定为第二管理单元意味着这是与作为第一管理单元的Adaptation Set不同的管理单元。另外,Segment是也与Representation不同的管理单元。即,如果不仅考虑Adaptation Set(第一管理单元)而且考虑Representation(第二管理单元),那么Segment可以说是第三管理单元。
图19中示出属性@ContentSwitchingAlignmentCycle的值与作为候补者的定时之间的关系示例。图19中,由“Segment”指示的四边形表示Segment,箭头指示作为候补者的定时。例如,如图19中最上段所示,在未设定属性@ContentSwitchingAlignmentCycle或属性@ContentSwitchingAlignmentCycle的值被设定为“1”的情况下,在各Segment边界处允许在多个Adaptation Set之间切换。此外,如上面第二段所示,在属性@ContentSwitchingAlignmentCycle的值被设定为“2”的情况下,在每隔两个Segment的边界处(即,在每隔两个Segment边界处)允许在多个Adaptation Set之间切换。此外,如最下段所示,在属性@ContentSwitchingAlignmentCycle的值被设定为“3”的情况下,在每隔三个Segment的边界处(即,在每隔三个Segment边界处)允许在多个Adaptation Set之间切换。
同时,在与定时有关的信息中,描述了允许切换的这种定时由Segment的数量(=周期长度)表示,但是周期长度也可以由除Segment的数量以外的信息表示。例如,周期长度也可以由时间(例如,秒)表示。同时,还可以由除周期长度以外的信息表示允许切换的定时。例如,允许切换的定时可以由再现时间(例如,ISOBMFF的Movie Time或Media Time)、Segment数量等表示。
通过由周期长度尤其是Segment数量来指定允许切换的定时,可以减少信息量。此外,在不需要复杂计算等的情况下,再现侧可以更容易地掌握允许切换的定时。
<对齐>
在作为候补者的这种定时时,切换源数据的再现时间也可以与切换目的地数据的再现时间一致(对齐)。例如,指定为切换定时的候补者的Segment边界可以彼此对齐。
如果Segment边界彼此对齐,那么即使切换是在多个Adaptation之间,也可以在再现装置中根据与切换定时有关的这种信息通过控制切换来执行无缝切换。
同时,在切换定时(Segment边界)时,切换源的内容数据也可以与切换目的地的内容数据不对齐。例如,切换前后的数据再现时间在切换定时时不连续的情况下,可以通过对数据进行缓冲来执行再现时间的微调。此外,例如,代替使数据对齐,可以通过利用双缓冲器配置执行平滑连接解码数据的处理来使切换前后的再现时间对齐。
然而,通过在切换定时时使数据对齐,可以在较高速度下更容易地执行无缝切换。
<与定时有关的信息的设定>
同时,上述与定时有关的信息可以在任意管理单元中进行设定。例如,属性@ContentSwitchingAlignmentCycle(与定时有关的信息)可以在Adaptation Set(第一管理单元)、Representation(第二管理单元)或它们两者中进行设定。
在Adaptation Set(第一管理单元)中设定与定时有关的信息的情况下,可以把与定时有关的信息设定为属于Adaptation Set的Representation所共有并抑制信息量增加。此外,在Representation(第二管理单元)中设定与定时有关的信息的情况下,可以执行与切换有关更详细的控制。
此外,指定推荐切换的定时的信息可以设定为与定时有关的信息,指定不推荐切换的定时的信息可以设定为与定时有关的信息,或指定禁止切换的定时的信息可以设定为与定时有关的信息。
<与切换有关的信息的示例1>
接着,对如上所述与切换有关的信息(与切换目的地有关的信息和与定时有关的信息)的应用例进行说明。首先,对对于具有如图20所示的构成的MPD设定与切换有关的信息的情况进行说明。
在图20中的示例的MPD的情况下,2.8MHz DSD无损流的MP4文件在Adaptation Set(a1)的Representation(a1r1)中进行管理,5.6MHz DSD无损流的MP4文件在AdaptationSet(a2)的Representation(a2r1)中进行管理。在Representation(a1r1)中,使2.8MHz DSD无损流的5GOB成为一个Segment,一个Segment的再现时间约为2.322秒。为了使Representation(a1r1)和Representation(a2r1)的Segment边界相互对齐,把Representation(a2r1)的一个Segment的再现时间设定为约2.322秒就够了,为此,5.6MHzDSD无损流的10GOB可以设定为Representation(a2r1)中的一个Segment。通过这样做,Segment边界如图20中箭头所示对齐。即,可以在这些Representation之间的任意Segment边界处执行无缝切换。
图21是示出在图20的情况下的MPD的描述例的图。在图21中的示例的情况下,与在多个Adaptation Set之间切换有关的信息在Representation进行设定。
如图21中的下划线所示,在Representation(a1r1)中,在属性@ContentSwitchingDestinationId中设定值“a2r1”。即,作为与切换目的地有关的信息,Representation(a2r1)设定为切换目的地的候补者。此外,在Representation(a1r1)中,在属性@ContentSwitchingAlignmentCycle中设定值“1”。即,一个周期“1”的Segment数量设定为与切换定时有关的信息。即,在这种情况下,从Representation(a1r1)可以看出,切换目的地的候补者是Representation(a2r1),且在所有Segment边界处允许切换。
此外,在Representation(a2r1)中,在属性@ContentSwitchingDestinationId中设定值“a1r1”。即,作为与切换目的地有关的信息,Representation(a1r1)设定为切换目的地的候补者。此外,在Representation(a2r1)中,在属性@ContentSwitchingAlignmentCycle中设定值“1”。即,一个周期“1”的Segment数量设定为与切换定时有关的信息。即,在这种情况下,从Representation(a2r1)可以看出,切换目的地的候补者是Representation(a1r1),且在所有Segment边界处允许切换。
如参照图20所述,由于Segment边界在这些Representation之间对齐,所以可以根据图21中的MPD通过切换来执行无缝切换。
图22是示出在图20的情况下的MPD的描述例的图。在图21中的示例的情况下,与在多个Adaptation Set之间切换有关的信息在Adaptation Set进行设定。
如图22中的下划线所示,在Adaptation Set(a1)中,在属性@ContentSwitchingDestinationId中设定值“a2”。即,Adaptation Set(a2)被指定为切换目的地的候补者。此外,在Adaptation Set(a1)中,在属性@ContentSwitchingAlignmentCycle中设定值“1”。即,一个周期“1”的Segment数量设定为与切换定时有关的信息。即,在这种情况下,从Adaptation Set(a1)可以看出,切换目的地的候补者是Adaptation Set(a2)的Representation,且在所有Segment边界处允许切换。
另外,在Adaptation Set(a2)中,在属性@ContentSwitchingDestinationId中设定值“a1”。即,Adaptation Set(a1)被指定为切换目的地的候补者。此外,在AdaptationSet(a1)中,在属性@ContentSwitchingAlignmentCycle中设定值“1”。即,一个周期“1”的Segment数量设定为与切换定时有关的信息。即,在所有Segment边界处允许在多个Adaptation Set之间切换。
如参照图20所述,由于Segment边界在Adaptation Set之间对齐,所以可以根据图21或图22中的MPD通过切换来执行无缝切换。
<与切换有关的信息的示例2>
由允许在多个Adaptation Set之间切换的Adaptation Set管理的内容数据的编码方式可以彼此不同。例如,如图23所示,在Adaptation Set(a1)的Representation中可以管理64fs 2.8MHz DSD无损流的MP4文件,在Adaptation Set(a2)的Representation中可以管理fs(44.1kHz)AAC流的MP4文件。
即使在编码方式不同的情况下,以此方式,也可以使Segment边界对齐。例如,在Adaptation Set(a1)的Representation中,当使DSD无损流的10GOB成为一个Segment时,一个Segment的再现时间为4096×32×10/64=约4.644秒。为了使Adaptation Set(a1)的Representation和Adaptation Set(a2)的Representation之间的Segment边界对齐,在Adaptation Set(a2)的Representation中也可以使一个Segment的再现时间为约4.644秒。
例如,DSD具有是44.1kHz的倍数的采样频率,如果fs=44.1kHz,那么这可以表示为64fs。通常,与视频同时再现的AAC的采样频率通常为48kHz,然而,AAC的采样频率于此被设定为44.1kHz。具有与上述约4.644秒的再现时间相对应的fs=44.1kHz的采样频率的AAC的音频帧的数量为(4096×32×10×10/64fs)*(fs/1024)=200。因此,如果AAC的Segment包括200个AAC AudioFrame,那么可以使其与DSD无损流(图23中的箭头)的Segment对齐。即,可以在这些Representation之间的任意Segment边界处执行无缝切换。
图24是示出在图23的情况下的MPD的描述例的图。在图24中的示例的情况下,与在多个Adaptation Set之间切换的信息在Adaptation Set中进行设定。
在这种情况下,在Adaptation Set(a1)中,在属性@ContentSwitchingDestinationId中设定值“a2”,如图24中的下划线所示。即,AdaptationSet(a2)作为切换目的地的候补者被设定为与切换目的地有关的信息。此外,在AdaptationSet(a1)中,在属性@ContentSwitchingAlignmentCycle中设定值“1”。即,一个周期“1”的Segment数量被设定为与切换定时有关的信息。即,在这种情况下,从Adaptation Set(a1)可以看出,切换目的地的候补者是Adaptation Set(a2),且在所有Segment边界处允许切换。
另外,在Adaptation Set(a2)中,在属性@ContentSwitchingDestinationId中设定值“a1”。即,Adaptation Set(a1)作为切换目的地的候补者被设定为与切换目的地有关的信息。此外,在Adaptation Set(a2)中,在属性@ContentSwitchingAlignmentCycle中设定值“1”。即,一个周期“1”的Segment数量被设定为与切换定时有关的信息。即,在这种情况下,从Adaptation Set(a2)可以看出,切换目的地的候补者是Adaptation Set(a1),且在所有Segment边界处允许切换。
如参照图23所述,由于Segment边界在Adaptation Set之间对齐,所以可以根据图24中的MPD通过在任意Segment边界处切换来执行无缝切换。
<与切换有关的信息的示例3>
此外,切换目的地可以有多个候补者。也可以只有定时的一部分(Segment边界的一部分)被设定为切换定时的候补者。例如,可以只有Segment边界的一部分对齐。
在图25所示的MPD的情况下,例如,2.8MHz DSD无损流的MP4文件在AdaptationSet(a1)的Representation(a1r1)中进行管理,5.6MHz DSD无损流的MP4文件在AdaptationSet(a2)的Representation(a2r1)中进行管理。此外,48kHz 16-位线性脉冲编码调制(LPCM)的MP4文件在Adaptation Set(a3)的Representation(a3r1)中进行管理,48kHz 24-位线性脉冲编码调制(LPCM)的MP4文件在Representation(a3r2)中进行管理。
此外,如图25所示,在Representation(a1r1)和Representation(a2r1)之间,在所有Segment边界处对齐。同样在Representation(a3r1)和Representation(a3r2)之间,在所有Segment边界处对齐。另外,在Representation(a1r1)和Representation(a2r1)中每隔四个Segment以及Representation(a3r1)和Representation(a3r2)中每隔五个Segment的所有Representation之间对齐Segment边界。
Adaptation Set(a3)的Segment的长度(再现时间)与Adaptation Set(a1)和Adaptation Set(a2)的Segment的长度(再现时间)不同。在这种情况下,以两个Adaptation的Segment的长度的最小公倍数使Segment边界对齐。例如,假设Adaptation Set(a1)和Adaptation Set(a2)的Segment的长度是Adaptation Set(a3)的Segment的长度的五分之四,如图25所示,在Adaptation Set(a1)和Adaptation Set(a2)中每隔四个Segment以及在Adaptation Set(a3)中每隔五个Segment使Segment边界对齐。
可以通过在如上所述在这些Representation之间已对齐的Segment边界处执行切换来执行无缝切换。
图26是示出在图25的情况下的MPD的描述例的图。在图26中的示例的情况下,与在多个Adaptation Set之间切换有关的信息在Adaptation Set中进行设定。
在Adaptation Set(a1)中,在属性@ContentSwitchingDestinationId中设定值“a2a3”,在属性@ContentSwitchingAlignmentCycle中设定值“14”,如图26中的下划线所示。即,在这种情况下,从Adaptation Set(a1)可以看出,切换目的地的候补者是Adaptation Set(a2)和Adaptation Set(a3)。此外,切换到Adaptation Set(a2)的定时的候补者是所有Segment边界,切换到Adaptation Set(a3)的定时的候补者是每隔四个Segment边界。
此外,在Adaptation Set(a2)中,在属性@ContentSwitchingDestinationId中设定值“a1a3”,在属性@ContentSwitchingAlignmentCycle中设定值“14”。即,从AdaptationSet(a2)可以看出,切换目的地的候补者是Adaptation Set(a1)和Adaptation Set(a3)。此外,切换到Adaptation Set(a1)的定时的候补者是所有Segment边界,切换到AdaptationSet(a3)的定时的候补者是每隔四个Segment边界。
图27是示出在这种情况下的MPD的描述例的图。图27所示的MPD的描述例对应于图25中的构成。在这种情况下,在Adaptation Set(a3)中,在属性@ContentSwitchingDestinationId中设定值“a1a2”,在属性@ContentSwitchingAlignmentCycle中设定值“55”,如图27中的下划线所示。即,从Adaptation Set(a3)可以看出,切换目的地的候补者是Adaptation Set(a1)和AdaptationSet(a2)。此外,切换到Adaptation Set(a1)或Adaptation Set(a2)的定时的候补者是每隔五个Segment边界。
在在假设预先切换的前提下可以创建内容的情况下,与在图23中的示例中一样,可以通过把Segment形成为各音频流固有的音频帧(也称为音频访问单元和音频帧;通常称为来自MP4的系统层的一个MP4样本)的公倍数来使Segment边界同步。在图23中的示例中,一个Segment的时间长度约为4.6秒,这是合适的长度;这是因为考虑到AAC的音频帧长度来设计DSD无损流的Block长度。
然而,通常,如果一个Segment形成为音频帧的公倍数,那么一个Segment可能变长几秒或更长。从随机访问的角度来看,期望把Segment时间长度设定为大约三秒到四秒或更短,并且根据用例,存在一个Segment无法形成为音频帧的公倍数的情况。在图25中的示例中,Segment长度被限制为大约三秒到四秒以提高随机访问的便利性,使得一个Segment的长度在DSD和LPCM之间是不同的。
然而,由于Segment长度在Adaptation Set中是固定的的特性,出现Segment边界在某个周期上重合的点。以此方式,在某个周期上出现满足实现无缝切换的必要条件的Segment边界。
因此,通过使MPD具有允许播放器立即识别如上所述MPD中的该站点的属性,可以执行无缝切换。
<MPD构成和描述例4>
同时,如果Segment长度的公倍数仅仅是可切换站点,那么通过使用MPD中所述的Segment duration的信息不可能实现Adaptation Set之间的切换。例如,在MPD中定义MultipleSegmentBaseInformation元素,并存在@duration属性。然而,在属性@duration的描述中,描述了duration的值不是严格值而是近似值(ISO/IEC23009-1:2014;“如果存在,那么指定恒定的近似Segment duration”)。以此方式,只根据MPD中的duration的信息不可能确定Segment边界在时间轴上是否完全重合。
另外,通过允许在多个Adaptation Set之间切换,可以想到,需要抑制内容创建方或分发方不期望的切换或可操作性有问题的切换的功能。流的切换迄今为止被限制在Adaptation Set内,使得内容创建方或分发方可以认为播放器执行的切换。然而,当也允许在多个Adaptation Set之间切换时,有可能可以执行内容创建方和分发方无法认为的切换。
因此,上述扩展属性(与切换目的地有关的信息和与定时有关的信息)可以用来抑制分发方不假定的这种切换。即,具体地,可以允许通过上述扩展属性(与切换目的地有关的信息和与定时有关的信息)只在已对齐的Segment边界中的边界的一部分处切换。
例如,在图28中的示例中,与在图20中的情况下一样,Segment边界在所有Representation中对齐。因此,虽然可以允许在所有Segment边界处切换,但是也可以允许只在Segment边界的一部分处切换,如图28中的箭头所示。此外,与例如在第一Segment和第二Segment之间的Segment边界处一样,也可以允许只在Representation的一部分之间(例如,只在AAC的Representation之间)切换。图29中示出MPD的描述例。如图29中的下划线部分所示,在这种情况下,允许切换的Segment边界被限制为Segment边界的一部分。
例如,在图28中的Segment构成中,当在所有Segment边界处执行Adaptation Set之间的切换时,DSD无损解码器和AAC解码器之间的切换可能每隔约4.6秒发生一次。当切换解码器时,不同编码方式需要复位和初始化设定,且当这样频繁切换时,可操作性可能降低(响应性下降),且根据播放器的硬件性能等,再现品质劣化。即,在考虑到Adaptation Set“内”的切换来定义Segment长度的情况下,这并不总是匹配Adaptation Set“之间”的可切换站点。
因此,即使在所有Segment边界在Adaptation Set之间对齐的情况下,播放器当被通知可以通过上述扩展属性(诸如与切换有关的信息和与定时有关的信息)来执行Adaptation Set之间的切换的Segment边界时也可以确定是否可以以较高速度执行Adaptation Set之间的切换。此外,由于如上所述限制(减少)可以切换的Segment边界,所以可以执行无缝切换,同时抑制播放器可操作性和再现品质降低。
同时,不能解译上述扩展属性的常用播放器可以跳过包括在MPD中的扩展属性。由于常用播放器与以常用方式一样只在Adaptation Set内切换,所以即使跳过扩散属性,也可以根据MPD的描述来正确地再现内容数据。即,通过使用扩展上述属性(与在第一管理单元之间切换有关的信息)的本技术,可以在保持兼容性的同时提供新用户界面(UI)。
<分发系统>
接着,对如上所述本技术适用的系统进行说明。图30是示出作为本技术适用的信息处理系统的一个方面的分发系统的构成例的方块图。图30所示的分发系统500是分发诸如图像和音频的数据(内容)的系统。在分发系统500中,文件生成装置501、分发服务器502和再现终端503彼此连接以能够经由网络504进行通信。
文件生成装置501是本技术适用的信息处理装置的一个方面,且是执行与存储音频数据的MP4文件以及MPD的文件(也称为MPD文件)的生成有关的处理的装置。例如,文件生成装置501生成音频数据,生成存储所生成的音频数据的MP4文件以及管理MP4文件的MPD文件,并把所生成的文件提供给分发服务器502。
分发服务器502是本技术适用的信息处理装置的一个方面,且是执行与使用MPEG-DASH的内容数据的分发服务(即,使用MPD文件的MP4文件的分发服务)有关的处理的服务器。例如,分发服务器502获取从文件生成装置501提供的MPD文件和MP4文件并管理它们,并使用MPEG-DASH来提供分发服务。例如,响应于来自再现终端503的请求,分发服务器502向再现终端503提供MPD文件。此外,响应于来自再现终端503的请求,分发服务器502基于MPD文件向再现终端503提供所请求的MP4文件。
再现终端503是本技术适用的信息处理装置的一个方面,且是执行与音频数据的再现有关的处理的装置。例如,再现终端503根据MPEG-DASH请求分发服务器502分发MP4文件,并获取响应于请求而提供的MP4文件。更具体地,再现终端503从分发服务器502获取MPD文件,并根据MPD文件的信息从分发服务器502获取存储所需内容数据的MP4文件。再现终端503对所获取的MP4文件进行解码并再现音频数据。
网络504是任意通信网络,网络504可以是有线通信网络、无线通信网络或它们两者。此外,网络504可包括一个通信网络,或网络504可包括多个通信网络。例如,网络504可包括任意通信标准的通信网络或通信路径,诸如因特网、公共电话线路网络、用于无线移动体的广域通信网络(诸如所谓3G线路和4G线路)、广域网(WAN)、局域网(LAN)、执行符合Bluetooth(注册商标)标准的通信的无线通信网络、诸如近场通信(NFC)的短距离无线通信的通信路径、红外通信的通信路径以及符合诸如高清晰度多媒体接口(HDMI)(注册商标)和通用串行总线(USB)的标准的有线通信的通信网络。
文件生成装置501、分发服务器502和再现终端503连接到网络504以能够进行通信,并可以经由网络504彼此交换信息。文件生成装置501、分发服务器502和再现终端503可以通过有线通信或无线通信或它们两者连接到网络504。
同时,图30中,一个文件生成装置501、一个分发服务器502和一个再现终端503被示出为分发系统500的构成,但是它们的数量是任意的且不一定相同。例如,在分发系统500中,文件生成装置501、分发服务器502和再现终端503各自可以是单个或多个。
<文件生成装置>
图31是示出文件生成装置501的主要构成例的方块图。如图31所示,文件生成装置501包括音频流生成单元511、内容文件生成单元512、MPD生成单元513和通信单元514。
音频流生成单元511执行与内容数据流的生成有关的处理。例如,音频流生成单元511对输入音频模拟信号(也称为音频信号)进行调制、A/D转换或编码以生成作为音频数字数据(也称为音频数据)流的音频流并把其提供给内容文件生成单元512。
同时,通过音频流生成单元511对音频模拟信号的信号处理的内容是任意的。例如,在采用调制或编码的情况下,调制系统和编码方式是任意的。例如,音频流生成单元511可以从音频模拟信号中生成DSD无损流、AAC流、LPCM流等。
内容文件生成单元512执行与存储从音频流生成单元511提供的内容数据的文件(内容文件)的生成有关的处理。例如,内容文件生成单元512生成MP4文件,并把其提供给MPD生成单元513和通信单元514,该MP4文件是存储作为内容数据从音频流生成单元511提供的音频流的内容文件。
同时,由内容文件生成单元512生成的内容文件的规范是任意的。例如,内容文件生成单元512生成存储DSD无损流、AAC流、LPCM流等的MP4文件。不言而喻,内容文件生成单元512可以生成除MP4文件以外的内容文件。
MPD生成单元513执行与由内容文件生成单元512生成的内容文件的管理信息的生成有关的处理。例如,MPD生成单元513生成与从内容文件生成单元512提供的MP4文件有关的MPD文件并把其提供给通信单元514。当生成MPD文件时,MPD生成单元513应用上述本技术并使用上述扩展属性在MPD中设定与在多个Adaptation Set之间切换有关的信息。
通信单元514执行与经由网络504与其他装置进行通信有关的处理。例如,通信单元514把所提供的MPD文件和MP4文件提供给分发服务器502。
如图31所示,MPD生成单元513包括Period设定单元521、Adaptation Set设定单元522、Representation设定单元523、Segment设定单元524、切换目的地指定信息设定单元525、定时指定信息设定单元526和文件生成单元527。
Period设定单元521执行与MPD的Period的设定有关的处理。Adaptation Set设定单元522执行与MPD的Adaptation Set的设定有关的处理。Representation设定单元523执行与MPD的Representation的设定有关的处理。Segment设定单元524执行与MPD的Segment的设定有关的处理。切换目的地指定信息设定单元525执行与与在待再现MP4文件的多个Adaptation Set之间切换的切换目的地有关的信息的设定有关的处理。定时指定信息设定单元526执行与与在待再现MP4文件的多个Adaptation Set之间切换的定时有关的信息的设定有关的处理。文件生成单元527执行与MPD文件的生成有关的处理。
<分发数据生成处理的流程>
接着,参照图32中的流程图对由分发系统500的文件生成装置501执行的分发数据生成处理的流程示例进行说明。当生成内容数据的MP4文件以及MPD文件时,文件生成装置501执行分发数据生成处理。
当分发数据生成处理开始时,在步骤S501中,文件生成装置501的音频流生成单元511从音频模拟信号中生成多个类型的音频流。例如,音频流生成单元511通过对音频模拟信号执行ΔΣ调制来生成DSD数据,还通过上述新DSD无损压缩编码方式对DSD数据进行编码以生成DSD无损流。另外,音频流生成单元511还可生成LPCM流、AAC流等。
在步骤S502中,内容文件生成单元512生成存储在步骤S501中生成的音频流的内容文件(例如,MP4文件)。
在步骤S503中,MPD生成单元513执行MPD文件生成处理并生成管理在步骤S502中生成的内容文件(MP4文件)的MPD文件。
在步骤S504中,通信单元514把在步骤S502中生成的内容文件和在步骤S503中生成的MPD文件提供(上传)给分发服务器502。
当步骤S504中的处理结束时,分发数据生成处理结束。
<MPD文件生成处理的流程>
接着,参照图33中的流程图对在图32中的步骤S503中执行的MPD文件生成处理的流程示例进行说明。
当MPD文件生成处理开始时,在步骤S511中,MPD生成单元513的Period设定单元521为在步骤S502中生成的内容文件(MP4文件)设定Period。在步骤S512中,AdaptationSet设定单元522设定Adaptation Set。在步骤S513中,Representation设定单元523设定Representation。
在步骤S514中,Segment设定单元524在适当地使Segment边界对齐的同时设定Segment。同时,如上所述,无需在所有Segment边界处使Segment边界对齐。即,Segment设定单元524也可以只使Segment边界的一部分对齐。使Segment边界对齐的方式例如根据诸如各编码方式的规范等的任意信息以及用户指令等来确定。
在步骤S515中,切换目的地指定信息设定单元525设定指定诸如允许作为在多个Adaptation Set之间切换的切换目的地的Adaptation Set或Representation的任意管理单元的切换目的地指定信息。同时,该切换目的地指定信息是与上述切换目的地有关的信息且是本技术适用的信息。即,例如,切换目的地指定信息设定单元525把本技术适用的扩展属性@ContentSwitchingDestinationId设定为切换目的地指定信息。
同时,切换目的地指定信息例如可以在诸如Adaptation Set和Representation的任意管理单元中进行设定。切换目的地指定信息设定单元525例如根据诸如MP4文件的各种类型的信息的任意信息、在步骤S514中设定的Segment边界的对齐、用户指令等来确定允许作为切换目的地的管理单元并设定切换目的地指定信息。
在步骤S516中,定时指定信息设定单元526设定用于指定允许在多个AdaptationSet之间切换的定时的定时指定信息。同时,该切换指定信息是与上述切换的定时有关的信息且是本技术适用的信息。即,例如,定时指定信息设定单元526把本技术适用的扩展属性@ContentSwitchingAlignmentCycle设定为定时指定信息。
同时,切换目的地指定信息例如可以在诸如Adaptation Set和Representation的任意管理单元中进行设定。定时指定信息设定单元526例如根据诸如MP4文件的各种类型的信息的任意信息、在步骤S514中设定的Segment边界的对齐、用户指令等来确定允许在多个Adaptation Set之间切换的定时并设定定时指定信息。
在步骤S517中,文件生成单元527生成反映在步骤S511至步骤S516中执行的各种设定的MPD文件。当生成MPD文件时,MPD文件生成处理结束,且过程返回到图32。
通过执行如上所述的各个处理,文件生成装置501可以生成具有本技术适用的扩展属性的MPD文件。即,文件生成装置501可以设定与本技术适用的切换有关的信息。因此,可以容易地实现在多个Adaptation Set之间无缝切换,且可以更稳定地发送内容数据。
<再现终端>
图34是示出再现终端503的主要构成例的方块图。如图34所示,再现终端503包括MPD获取单元551、解析单元552、内容文件获取单元553、流提取单元554、解码单元555和输出单元556。
MPD获取单元551执行与MPD文件的获取有关的处理。例如,MPD获取单元551从分发服务器502请求MPD文件并获取从分发服务器502提供的MPD文件。MPD获取单元551把所获取的MPD文件提供给解析单元552。
解析单元552执行与MPD文件的解析(分析)有关的处理。例如,解析单元552对从MPD获取单元551提供的MPD文件进行解析,生成与MPD文件的描述相对应的控制信息,并把其提供给内容文件获取单元553。
内容文件获取单元553执行与内容文件的获取有关的处理。例如,内容文件获取单元553根据从解析单元552提供的控制信息从分发服务器502获取MP4文件作为内容文件并把所获取的MP4文件提供给流提取单元554。
流提取单元554执行与流提取有关的处理。例如,流提取单元554从从内容文件获取单元553提供的MP4文件中提取音频流。例如,在对音频流进行解码并输出的情况下,流提取单元554把所提取的音频流提供给解码单元555。在按原样输出音频流的情况下,流提取单元554把所提取的音频流提供给输出单元556。
解码单元555执行与通过对内容数据进行编码而获取的编码数据的解码有关的处理。例如,解码单元555对从流提取单元554提供的音频流进行解码并复原音频模拟信号。解码单元555把复原的音频模拟信号提供给输出单元556。同时,只要这是对于流的正确方法,通过解码单元555对音频流执行的处理就是任意的。例如,不仅可以执行解码,而且还可以执行解调、D/A转换等。
例如,音频流是DSD无损流,解码单元555对DSD无损流进行解码,复原DSD数据,并还对其进行解调以复原音频模拟信号。此外,例如,音频流可以是LPCM流或AAC流。解码单元555根据数据来执行处理并复原音频模拟信号。
输出单元556执行与内容数据的输出有关的处理。例如,输出单元556包括扬声器并把从解码单元555提供的音频模拟信号从扬声器输出。此外,例如,输出单元556包括模拟信号输出端子并经由输出端子把从解码单元555提供的音频模拟信号提供给另一个装置。此外,例如,输出单元556包括数字信号的输出端子并经由输出端子把从流提取单元554提供的音频流提供给另一个装置,诸如外部解码器561等。即,音频流也可以通过设置在再现终端503外部的外部解码器561进行解码。
此外,如图34所示,解析单元552包括切换目的地指定信息分析单元571和定时指定信息分析单元572。切换目的地指定信息分析单元571执行与包括在MPD文件中的切换目的地指定信息(与在待再现内容数据的多个Adaptation Set之间切换的切换目的地有关的信息)的分析有关的处理。定时指定信息分析单元572执行与包括在MPD文件中的定时指定信息(与在待再现内容数据的多个Adaptation Set之间切换的定时有关的信息)的分析有关的处理。
此外,如图34所示,内容文件获取单元553包括切换控制单元581。切换控制单元581执行与在待再现内容数据的多个Adaptation Set之间切换的控制有关的处理。例如,根据切换目的地指定信息分析单元571和定时指定信息分析单元572的分析结果(根据反映切换目的地指定信息分析单元571和定时指定信息分析单元572的分析结果的控制信息),切换控制单元581执行该切换的控制。
<再现处理的流程>
接着,参照图35中的流程图对由分发系统500的再现终端503执行的再现处理的流程示例进行说明。当再现处理开始时,在步骤S531中,再现终端503的MPD获取单元551例如从分发服务器102获取由用户等指定的MPD文件。
在步骤S532中,解析单元552执行解析处理以对在步骤S531中获取的MPD文件进行解析并生成反映解析结果的控制信息。在步骤S533中,内容文件获取单元553执行内容文件获取处理并根据步骤S532中的解析结果(控制信息)、诸如网络504的可用频带的通信状态等从分发服务器102获取与所需内容有关的MP4文件。
在步骤S534中,流提取单元554从在步骤S533中获取的MP4文件中提取音频流。在步骤S535中,解码单元555确定是否对音频流进行解码。在确定进行解码的情况下,过程转到步骤S536。在步骤S536中,解码单元555对在步骤S534中提取的音频流进行解码并复原音频模拟信号。当对音频流进行解码时,过程转到步骤S537。此外,在步骤S535中确定不对音频流进行解码的情况下,过程转到步骤S537。
在步骤S537中,输出单元556输出音频流或音频模拟信号。当步骤S537中的处理结束时,再现处理结束。
<解析处理的流程>
接着,参照图36中的流程图对在图35中的步骤S532中执行的解析处理的流程示例进行说明。
当解析处理开始时,在步骤S541中,解析单元552对MPD文件进行分析。在步骤S542中,切换目的地指定信息分析单元571对包括在MPD文件中的切换目的地指定信息进行分析。在步骤S543中,定时指定信息分析单元572对包括在MPD文件中的定时指定信息进行分析。
当步骤S543中的处理结束时,解析处理结束,且过程返回到图35。如上所述,解析单元552可以对MPD文件进行分析并还对本技术适用的扩展属性(@ContentSwitchingDestinationId、@ContentSwitchingAlignmentCycle等)进行分析。
<内容文件获取处理的流程>
接着,参照图37中的流程图对在图35中的步骤S533中执行的内容文件获取处理的流程示例进行说明。当内容文件获取处理时,在步骤S551中,内容文件获取单元553根据解析结果、通信状态等来选择待获取内容文件(MP4文件)。当确定将要获取MP4文件时,在步骤S552中,内容文件获取单元553开始获取MP4文件。
在步骤S553中,切换控制单元581确定是否切换所获取的MP4文件。例如,在根据传输频带变化等来确定切换所获取的MP4文件的情况下,过程转到步骤S554。
在步骤S554中,切换控制单元581根据切换目的地指定信息的分析结果来选择切换目的地(即,切换后的MP4文件)。在步骤S555中,切换控制单元581根据定时指定信息的分析结果来确定执行切换的定时并在该定时时切换待获取MP4文件。
当步骤S555中的处理结束时,过程转到步骤S556。此外,在步骤S553中确定不切换待获取MP4文件的情况下,过程转到步骤S556。
在步骤S556中,内容文件获取单元553确定获取MP4文件是否结束。在确定所需内容的MP4文件的获取尚未结束且MP4文件的获取未结束的情况下,过程返回到步骤S553,并重复后续处理。然后,在步骤S556中确定所需内容的MP4文件的获取结束的情况下,内容文件获取处理结束。
通过执行如上所述的各个处理,再现终端503可以根据具有本技术适用的扩展属性的MPD文件来获取内容文件。即,根据MPD文件,再现终端503可以容易地实现在多个Adaptation Set之间无缝切换,且实现更稳定地发送内容数据。
<3.第二实施例>
<切换策略的控制>
通过应用第一实施例中所述的本技术,允许在多个Adaptation Set之间切换,且在流切换中产生很大自由度。根据自由度,可能发生内容创建方/分发方不期望的切换的组合。
例如,在视频和音频具有类似比特率的情况下,可以根据传输路径频带的变化来切换视频或音频。例如,在专注于音频的应用中,可以想到当传输频带降低时首先降低视频速率并尽可能保持音频品质的策略。以此方式,通过根据发送方所采用的流的优先级来切换而不是简单地只通过比特率值来选择流,可以保持在视频和音频组合的状态下的高品质。
此外,作为另一种情况,假设存在2.8MHz的采样频率的DSD通过所有播放器都可以再现的应用,但只有一部分播放器支持5.6MHz的DSD。此时,可能存在可以由播放器自动地执行从DSD 5.6MHz切换到DSD 2.8MHz的策略,但是除非用户明确指示这样做,否则希望不执行相反方式的切换。
此外,与在图38所示的示例中一样,也可能存在可以由播放器自动地执行从DSD5.6MHz切换到DSD 2.8MHz的策略,但是希望抑制从DSD 5.6MHz切换到LPCM。
因此,也可以把分发方所期望的切换的优先顺序、切换方向性(在某个方向上容易但在相反方向上很难的切换)等通知给播放器,从而控制通过播放器的切换。
<切换优先顺序的设定>
与在待再现数据的第一管理单元之间切换的优先顺序有关的信息可以设定为与这种切换策略有关的信息。另外,与优先顺序有关的信息可以是指示第一管理单元的优先顺序的信息。
通过设定与切换优先顺序有关的这种信息,可以从分发方控制播放器方的切换策略。因此,可以抑制播放器方执行分发方不希望的切换。这使得可以抑制内容数据的不稳定传输,诸如例如分发方不期望的仅视频数据的传输。即,可以按照分发方的意图来发送内容数据。即,可以更稳定地发送内容数据。
同时,待再现数据可以是内容数据(音频流),管理信息可以是MPEG-DASH的MPD,以及第一管理单元可以是Adaptation Set。通过这样做,可以更稳定地执行使用MPEG-DASH的分发。
例如,属性@stabilityRanking可以设定为与优先顺序有关的信息。属性@stabilityRanking是指示切换容差的属性且例如可以设定为Adaptation。例如,在该属性@stabilityRanking中,设定指示Adaptation Set的切换容差的自然数。该属性的值越大,允许切换越多,且被控制为使得当执行流的切换时较早地切换具有较大值的(较低阶)Adaptation Set。即,表明属性的值为“1”的Adaptation Set是想要切换的最后一个Adaptation Set。
<优先规则的示例>
例如,还可以根据以下规则来执行基于与优先顺序有关的这种信息的切换。
当由于不能确保传输频带而需要降低比特率时,执行Adaptation Set中的Representation之间的切换。此时,在正被选定/再现的流之中,从具有上述属性@stabilityRanking的较大值的(较低阶)Adaptation Set起按顺序切换Representation。
另外,在通过Representation的切换不能确保传输频带且需要在多个AdaptationSet之间切换的情况下,在正被选定/再现的流之中,具有属性@stabilityRanking的最大值的(最低阶)Adaptation Set切换到具有属性@stabilityRanking的较大值的(较低阶)Adaptation Set。
此外,在具有属性@stabilityRanking的最大值的(最低阶)Adaptation Set不能再切换的情况下,试图切换具有属性@stabilityRanking的第二大值的另一个(较高阶)Adaptation Set。
同时,在以上描述中,虽然属性@stabilityRanking的值被设定为自然数,但是也可以在该属性@stabilityRanking中设定值“0”。在这种情况下,值“0”可以用作与简单地指示优先级的自然数不同的特殊值。
<属性@stabilityRanking的添加示例1>
例如,图39中的B示出分配属性@stabilityRanking以使DSD的分发优先于具有如图39中的A所示的Period构成的MPD文件的各Adaptation Set的示例。如图39中的B中的表所示,在这种情况下,为DSD流的Adaptation Set设定较小数字(“1”和“2”)以尽可能地不切换DSD流。
例如,在播放器根据具有这种构成的MPD的传输(可传输)频带按总比特率的降序排列来选择待再现的视频数据和音频数据的情况下,按优先顺序选择各数据,如图40中的A中的表所示。因此,按这种优先顺序,不能优先选择DSD流。另外,例如,图像品质和音频品质是相反的,使得优先选择低比特率的AAC流而不是高比特率的DSD流。
另一方面,通过为各Adaptation Set设定如图39中的B中的表所示的值的属性@stabilityRanking并把其用于切换控制,播放器可以按图40中的B中的表所示的优先顺序来选择各数据。同时,在图40中的B中的表中,括号中的数字指示Adaptation Set的优先顺序(属性@stabilityRanking的值)。
更具体地,首先,选择最高阶音频和最高阶视频,然后,在具有属性@stabilityRanking的较大值的视频的(较低阶)Adaptation Set内切换Representation。接着,在具有属性@stabilityRanking的较大值的(较低阶)视频的多个Adaptation Set之间切换。当视频的属性@stabilityRanking的值不能再增大(阶数不能降低)时,接着执行在音频的多个Adaptation Set之间切换,并增大音频的属性@stabilityRanking的值(阶数降低)。
通过在这种过程中选择,可以选择如图40中的B所示的优先顺序。通过以这种优先顺序来选择包括在传输路径频带之内的音频和视频的组合,可以实现尽可能地保持最高音频品质DSD 5.6的切换。
图41中示出在这种情况下的MPD的描述例。图41中,只示出音频数据的AdaptationSet的描述例。如图41所示,在这种情况下,为各Adaptation Set设定属性@ContentSwitchingDestinationId和属性@stabilityRanking。
<属性@stabilityRanking的添加示例2>
例如,图42中的A示出为了优先于视频的分发把属性@stabilityRanking分配给具有如图39中的A所示的Period构成的MPD文件的各Adaptation Set的示例。如图42中的A中的表所示,在这种情况下,为了尽可能地不切换视频流,为视频流(4K/30p 20Mbps和4K/30p10Mbps)的Adaptation Set设定比DSD的Adaptation Set的数字更小的数字(“1”)。
通过在各Adaptation Set中设定该值的属性@stabilityRanking并把其用于切换控制,播放器可以按图42中的B中的表所示的优先顺序来选择各数据。同时,在图42中的B中的表中,括号中的数字指示Adaptation Set的优先顺序(属性@stabilityRanking的值)。
更具体地,首先,选择最高阶音频和最高阶视频,然后,试图切换具有属性@stabilityRanking的较大值的DSD 5.6的(较低阶)Representation,但由于只有一个,所以切换视频的Representation。当它变得不再可以切换Representation时,它在具有属性@stabilityRanking的较大值的音频的多个(较低阶)Adaptation Set之间切换。另外,然后,执行具有属性@stabilityRanking的较大值的AAC的(较低阶)Representation的切换。当它变得不再可以在音频的多个Adaptation Set之间切换以及切换音频的Representation时,执行在视频的多个Adaptation Set之间切换。
通过在这种过程中选择,可以按如图42中的B所示的优先顺序进行选择。通过以这种优先顺序来选择包括在传输路径频带之内的音频和视频的组合,可以实现尽可能地保持4K运动图像的切换。
<文件生成装置>
图43示出在这种情况下的文件生成装置501的主要构成例。同样在这种情况下,文件生成装置501基本上具有与在第一实施例(图31)的情况下类似的构成。然而,在这种情况下,MPD生成单元513包括选择优先顺序信息设定单元701。
选择优先顺序信息设定单元701执行与选择优先顺序信息的设定有关的处理。选择优先顺序信息是与在内容数据的多个Adaptation Set之间切换的优先顺序有关的信息,例如,指示Adaptation Set的优先顺序的信息,且包括例如本技术适用的扩展属性@stabilityRanking等。
<MPD文件生成处理的流程>
同样在这种情况下,以与在第一实施例(图32)的情况下类似的方式执行分发数据生成处理。参照图44中的流程图对在这种情况下的MPD文件生成处理的流程示例进行说明。
同样在这种情况下,以与图33中的步骤S511至步骤S514各者中的处理类似的方式执行步骤S571至步骤S574各者中的处理。
在步骤S575中,选择优先顺序信息设定单元701确定各Adaptation Set的选择优先顺序并设定指示选择优先顺序的选择优先顺序信息。选择优先顺序信息设定单元701根据诸如MP4文件的各种类型的信息的任意信息、用户指令等来确定选择优先顺序。
在步骤S576中,文件生成单元527生成反映在步骤S571至步骤S575中执行的各种设定的MPD文件。当生成MPD文件时,MPD文件生成处理结束,且过程返回到图32。
通过执行如上所述的各个处理,文件生成装置501可以生成具有本技术适用的扩展属性的MPD文件。即,文件生成装置501可以设定与本技术适用的切换有关的信息。因此,可以抑制分发方不希望的切换,并按照分发方的意图来发送内容数据。即,可以更稳定地发送内容数据。
<再现终端>
图45示出在这种情况下的再现终端503的主要构成例。同样在这种情况下,再现终端503具有与在第一实施例(图34)的情况下基本上类似的构成。然而,在这种情况下,解析单元552包括选择优先顺序信息分析单元711。选择优先顺序信息分析单元711执行与选择优先顺序信息的分析有关的处理。
例如,内容文件获取单元553的切换控制单元581根据选择优先顺序信息分析单元711的分析结果(根据反映选择优先顺序信息分析单元711的分析结果的控制信息)来控制切换。
<解析处理的流程>
同样在这种情况下,以与在第一实施例(图35)的情况下类似的方式执行再现处理。参照图46中的流程图对在这种情况下的解析处理的流程示例进行说明。
当解析处理开始时,在步骤S581中,解析单元552对MPD文件进行解析。在步骤S582中,选择优先顺序信息分析单元711对包括在MPD文件中的选择优先顺序信息进行分析。
当步骤S582中的处理结束时,解析处理结束,且过程返回到图35。如上所述,解析单元552可以对MPD文件进行分析并还对本技术适用的扩展属性(@stabilityRanking等)进行分析。
<内容文件获取处理的流程>
接着,参照图47中的流程图,对在这种情况下的内容文件获取处理的流程示例进行说明。同样在这种情况下,以与图37中的步骤S551至步骤S553各者中的处理类似的方式执行步骤S591至步骤S593各者中的处理。
在步骤S594中,切换控制单元581执行切换处理并根据选择优先顺序信息来切换待获取内容文件(MP4文件)。当步骤S594中的处理结束时,过程转到步骤S595。
以与图37中的步骤S556中的处理类似的方式执行步骤S595中的处理。即,在步骤S595中确定与所需内容有关的MP4文件的获取结束的情况下,内容文件获取处理结束。
<切换处理的流程>
接着,参照图48中的流程图对在图47中的步骤S594中执行的切换处理的流程示例进行说明。
当切换处理开始时,在步骤S601中,切换控制单元581使最低选择优先顺序的Adaptation Set成为处理目标。
在步骤S602中,切换控制单元581确定是否可以切换到较低比特率的Representation。在确定不可以切换的情况下,过程转到步骤S603。
在步骤S603中,切换控制单元581确定是否可以切换到不同媒体类型的Adaptation Set内较低比特率的Representation。在确定可以切换的情况下,过程转到步骤S604。同时,在有三个或更多个正在被选择/再现的Adaptation Set(例如,视频、音频、字幕等)且有两个或更多个可以切换的Adaptation Set的情况下,从较低选择优先顺序的Adaptation Set中的Representation切换。
此外,在步骤S602中确定可以切换的情况下,过程转到步骤S604。在步骤S604中,切换控制单元581切换可以切换的Representation。当步骤S604中的处理结束时,过程转到步骤S607。
此外,在步骤S603中确定不可以切换的情况下,过程转到步骤S605。在步骤S605中,切换控制单元581确定是否存在相同媒体类型的较低阶Adaptation Set。在确定存在一个相同媒体类型的较低阶Adaptation Set的情况下,过程转到步骤S606。
在步骤S606中,切换控制单元581切换Adaptation Set并选择它们中具有最高比特率的Representation。当步骤S606中的处理结束时,过程转到步骤S607。
在步骤S607中,切换控制单元581确定在切换后的状态下是否满足传输频带。在确定传输频带不足的情况下,过程返回到步骤S602,并重复后续处理。
此外,在步骤S607中确定满足传输频带的情况下,切换处理结束,且过程返回到图47。
此外,在步骤S605中确定不存在相同媒体类型的较低阶Adaptation Set的情况下,过程转到步骤S608。在步骤S608中,切换控制单元581确定是否对所有媒体类型执行处理。例如,在确定存在未处理的媒体类型使得虽然处理了视频但是尚未处理音频的情况下,过程转到步骤S609。
在步骤S609中,切换控制单元581使不同媒体类型且具有第二最高选择优先顺序的Adaptation Set成为处理目标。当步骤S609中的处理结束时,过程返回到步骤S602,并重复后续处理。
在步骤S608中确定对所有媒体类型执行处理的情况下,切换处理结束,且过程返回到图47。
通过执行如上所述的各个处理,再现终端503可以根据具有本技术适用的扩展属性的MPD文件来获取内容文件。即,再现终端503可以根据MPD文件按照分发方的意图执行切换。即,可以实现按照分发方的意图来发送内容数据,并实现更稳定地发送内容数据。
<4.第三实施例>
<切换优先级组的设定>
与在第二实施例中所述的Adaptation Set的优先顺序有关的信息可以是分级的。例如,指示第一管理单元组的优先顺序的信息可以还被设定为与优先顺序有关的信息。通过如上所述对与优先顺序有关的信息进行分级,可以控制更多种切换,并可以进一步抑制执行分发方不期望的切换。因此,可以按照分发方的意图来发送内容数据,并可以更稳定地发送内容数据。
同时,待再现数据可以是内容数据(音频流),管理信息可以是MPEG-DASH的MPD,以及第一管理单元可以是Adaptation Set。通过这样做,可以更稳定地执行使用MPEG-DASH的分发。
例如,属性@stabilityRankingGroup可以设定为与优先顺序有关的信息。该属性@stabilityRankingGroup从切换的角度来看是指示Adaptation Set的分组以及该组的优先级的信息。
该属性@stabilityRankingGroup可以取“0”或正整数的值。该属性@stabilityRankingGroup的值越大,分发方越认为这是一组较高品质的Adaptation Set。
同时,虽然一般不选择值“0”,但是值“0”具有特殊含义且指示这是为连续再现而准备的特殊Adaptation Set。该属性@stabilityRankingGroup的值为“0”的AdaptationSet属于该属性@stabilityRankingGroup的值为“1”的Adaptation Set组。即,属性@stabilityRankingGroup的值为“0”事实上表示该Adaptation Set是组1内具有特殊含义的Adaptation Set。
此外,该属性@stabilityRankingGroup的值为“0”的Adaptation Set指示不管上述属性@stabilityRanking的值,在再现开始时和在正常再现期间不应选择内容。另一方面,当该属性@stabilityRankingGroup的值是除“0”以外的值时,属性@stabilityRanking的值被视为组内的相对顺序。在该属性@stabilityRankingGroup不存在(未设定)的情况下,省略Adaptation Set的分组。播放器根据属性@stabilityRanking来确定选择的优先级。
<属性@stabilityRankingGroup的添加示例1>
对同时使用属性@stabilityRanking和属性@stabilityRankingGroup的情况进行说明。
如上所述,属性@stabilityRankingGroup从切换的角度来看是对Adaptation Set进行分类和排序的属性。例如,分发方希望对于各媒体类型(诸如视频和音频)从具有属性@stabilityRankingGroup的相同值的Adaptation Set(即,同一组的Adaptation Set)中选择用于再现的Adaptation Set。属性@stabilityRankingGroup的值越大,Adaptation Set具有的选择优先级越高。具有属性@stabilityRankingGroup的相同值的Adaptation Set组中的优先顺序由属性@stabilityRanking确定。
例如,假设各Adaptation Set的属性@stabilityRanking的值和属性@stabilityRankingGroup的值如图49中的A中的表所示设定。在图49中的A中的示例的情况下,属性@stabilityRankingGroup有三种类型的值:“1”至“3”。即,如图49中的B所示,各Adaptation Set被分成三组:组G1、组G2和组G3。由于属性@stabilityRankingGroup的值越高,优先级越高,在这种情况下,组G3的Adaptation Set的优先级最高,组G1的AdaptationSet的优先级最低。
虽然属性@stabilityRankin用于把所有Adaptation Set排列成一直线以对其切换容差进行排序,但是属性@stabiltyRankingGroup用于按此顺序设定分隔符。利用这种属性,通过向播放器通知适合同时再现的一组Adaptation Set,可以更多地实现反映分发方的意图的切换。
<属性@stabilityRankingGroup的添加示例2>
对添加属性@stabilityRanking和属性@stabilityRankingGroup的另一个示例进行说明。例如,假设属性@stabilityRanking的值和属性@stabilityRankingGroup的值如图50中的A中的表所示设定。在这种情况下,“0”和“1”的两个值被用作属性@stabilityRankingGroup的值。因此,所有Adaptation Set都属于一个组G1,如图50中的B所示。然而,AAC的Adaptation Set和Still Picture的Adaptation Set的属性@stabilityRankingGroup被设定为值“0”。
通过设定各Adaptation Set中该值的属性@stabilityRanking和属性@stabilityRankingGroup并把其用于切换控制,播放器可以按优先顺序来选择各数据,如图50中的C中的表所示。同时,在图50中的C中的表中,括号中的数字指示Adaptation Set的属性@stabilityRanking的值。
如上所述,由于Still Picture的Adaptation Set的属性@stabilityRankingGroup的值为“0”,所以在这种情况下,如图50中的C中的表所示,当选择DSD 5.6或DSD 2.8的音频数据时,切换音频数据而不是切换到Still Picture。
<属性@stabilityRankingGroup的添加示例3>
此外,例如,假设属性@stabilityRanking的值和属性@stabilityRankingGroup的值如图51中的A中的表所示设定。在这种情况下,“0”、“1”和“2”的三个值被用作属性@stabilityRankingGroup的值。因此,Adaptation Set被分成组G1和组G2,如图51中的B所示。然而,Still Picture的Adaptation Set的属性@stabilityRankingGroup的值为“0”。
通过设定各Adaptation Set中该值的属性@stabilityRanking和属性@stabilityRankingGroup并把其用于切换控制,播放器可以按优先顺序来选择各数据,如图51中的C中的表所示。同时,在图51中的C中的表中,括号中的数字指示Adaptation Set的属性@stabilityRanking的值。
在这种情况下,如图51中的C所示,优先选择属于组G2的Adaptation Set。
<属性@stabilityRankingGroup的添加示例4>
此外,例如,假设属性@stabilityRanking的值和属性@stabilityRankingGroup的值如图52中的A中的表所示设定。在这种情况下,“1”、“2”和“3”的三个值被用作属性@stabilityRankingGroup的值。因此,Adaptation Set被分成组G1、组G2和组G3,如图52中的B所示。在这种情况下,如图52中的C所示,优先选择属于组G3的Adaptation Set。
<属性@stabilityRankingGroup的添加示例5>
此外,例如,假设对于具有如图39中的A所示的Period构成的MPD的AdaptationSet,属性@stabilityRanking的值和属性@stabilityRankingGroup的值如图53中的A中的表所示设定。在这种情况下,“0”和“1”的两个值被用作属性@stabilityRankingGroup的值。
通过设定各Adaptation Set中该值的属性@stabilityRanking和属性@stabilityRankingGroup并把其用于切换控制,播放器可以按优先顺序来选择各数据,如图53中的B中的表所示。同时,在图53中的B中的表中,括号中的数字指示Adaptation Set的属性@stabilityRanking的值。
在图53中的示例的情况下,音频数据的AAC的Adaptation Set的属性@stabilityRankingGroup的值被设定为“0”,视频数据的Still Picture的Adaptation Set的属性@stabilityRankingGroup的值被设定为“0”。以此方式,通过明确指示诸如视频和音频的各媒体类型的最终撤离的Adaptation Set(尽可能不应选择的故障自动防护Adaptation Set),可以抑制例如对于分发方来说因为音频和视频(诸如DSD 5.6+StillPicture)之间的品质差异太大而不可取的组合的选择,并可以实现更平衡的切换。
当然,上述属性@stabilityRanking和属性@stabilityRankingGroup的值是示例,且属性@stabilityRanking和属性@stabilityRankingGroup的值并不限于这些示例。
<文件生成装置>
图54中示出在这种情况下的文件生成装置501的主要构成例。同样在这种情况下,文件生成装置501具有与在第二实施例(图43)的情况下基本上类似的构成。然而,在这种情况下,MPD生成单元513还包括组信息设定单元901。
组信息设定单元901执行与组信息的设定有关的处理。该组信息是用于就选择优先顺序而论对Adaptation Set进行分组并指示该组的优先顺序的信息,且包括例如本技术适用的扩展属性@stabilityRankingGroup等。
<MPD文件生成处理的流程>
同样在这种情况下,以与在第一实施例(图32)的情况下类似的方式执行分发数据生成处理。参照图55中的流程图对在这种情况下的MPD文件生成处理的流程示例进行说明。
同样在这种情况下,以与图33中的步骤S511至步骤S514各者中的处理类似的方式执行步骤S621至步骤S624各者中的处理。
在步骤S625中,组信息设定单元901确定允许同时再现的Adaptation Set组并设定Adaptation Set组。通过该处理,例如,如图56中的A所示,各Adaptation Set被分类成两个组。
在步骤S626中,组信息设定单元901确定组之间的选择优先顺序,并在存在用于继续再现以设定组信息的最小流的情况下,把组信息的值设定为“0”。通过该处理,例如,如图56中的B所示,向各组添加选择优先顺序,诸如“G1”和“G2”。此外,例如,Still Picture的Adaptation Set的属性@stabilityRankingGroup的值被设定为“0”。
在步骤S627中,组信息设定单元901确定该组中各Adaptation Set的选择优先顺序。通过该处理,例如,如图56中的C所示,在各组内设定各Adaptation Set的选择优先顺序。在图56中的C中,括号中的数字指示组内分配给各Adaptation Set的优先顺序。
在步骤S628中,选择优先顺序信息设定单元701整体地确定各Adaptation Set的选择优先顺序并设定选择优先顺序信息。通过该处理,例如,如图56中的D所示,设定各Adaptation Set的选择优先顺序。在图56中的D中,括号中的数字指示分配给各AdaptationSet的选择优先顺序。
在步骤S629中,文件生成单元527生成反映在步骤S621至步骤S628中执行的各种设定的MPD文件。当生成MPD文件时,MPD文件生成处理结束,且过程返回到图32。
通过执行如上所述的各个处理,文件生成装置501可以生成具有本技术适用的扩展属性的MPD文件。即,文件生成装置501可以设定与选择优先顺序有关的信息以及与本技术适用的组有关的信息。因此,可以根据分发方的意图实现更平衡的切换。
<再现终端>
图57示出在这种情况下的再现终端503的主要构成例。同样在这种情况下,再现终端503具有与在第二实施例(图45)的情况下基本上类似的构成。然而,在这种情况下,解析单元552还包括组信息分析单元911。组信息分析单元911执行与组信息的分析有关的处理。
例如,内容文件获取单元553的切换控制单元581根据组信息分析单元911的分析结果(根据反映组信息分析单元911的分析结果的控制信息)来控制该切换。
<解析处理的流程>
同样在这种情况下,以与在第一实施例(图35)的情况下类似的方式执行再现处理。参照图58中的流程图对在这种情况下的解析处理的流程示例进行说明。
当解析处理开始时,在步骤S641中,解析单元552对MPD文件进行分析。在步骤S642中,选择优先顺序信息分析单元711对包括在MPD文件中的选择优先顺序信息进行分析。在步骤S643中,组信息分析单元911对包括在MPD文件中的组信息进行分析。
当步骤S643中的处理结束时,解析处理结束,且过程返回到图35。如上所述,解析单元552可以对MPD文件进行分析并还对本技术适用的扩展属性(@stabilityRanking、@stabilityRankingGroup等)进行分析。
<内容文件获取处理的流程>
接着,参照图59中的流程图,对在这种情况下的内容文件获取处理的流程示例进行说明。同样在这种情况下,以与图47中的步骤S591至步骤S5933各者中的处理类似的方式执行步骤S651至步骤S653各者中的处理。
在步骤S654中,切换控制单元581执行切换处理并根据选择优先顺序信息和组信息来切换待获取内容文件(MP4文件)。当步骤S654中的处理结束时,过程转到步骤S655。
以与图47中的步骤S595中的处理类似的方式执行步骤S655中的处理。即,在步骤S655中确定与所需内容有关的MP4文件的获取结束的情况下,内容文件获取处理结束。
<切换处理的流程>
接着,参照图60中的流程图对在图59中的步骤S654中执行的切换处理的流程示例进行说明。
当切换处理开始时,在步骤S661中,切换控制单元581使组中最低选择优先顺序的Adaptation Set成为处理目标。
在步骤S662中,切换控制单元581确定是否可以切换到较低比特率的Representation。在确定不可以切换的情况下,过程转到步骤S663。
在步骤S663中,切换控制单元581确定在该组中的不同媒体类型的AdaptationSet内是否可以切换到较低比特率的Representation。在确定可以切换的情况下,过程转到步骤S664。同时,在该组中有三个或更多个正在被选择/再现的Adaptation Set(例如视频、音频、字幕等)且有两个或更多个可以切换的Adaptation Set的情况下,从较低选择优先顺序的Adaptation Set中的Representation切换。
此外,在步骤S662中确定可以切换的情况下,过程转到步骤S664。在步骤S664中,切换控制单元581切换可以切换的Representation。当步骤S664中的处理结束时,过程转到步骤S667。
此外,在步骤S663中确定不可以切换的情况下,过程转到步骤S665。在步骤S665中,切换控制单元581确定该组中是否存在相同媒体类型的较低阶Adaptation Set。在确定存在一个相同媒体类型的较低阶Adaptation Set的情况下,过程转到步骤S666。
在步骤S666中,切换控制单元581切换Adaptation Set并选择它们中具有最高比特率的Representation。当步骤S666中的处理结束时,过程转到步骤S667。
在步骤S667中,切换控制单元581确定在切换后的状态下是否满足传输频带。在确定传输频带不足的情况下,过程返回到步骤S662,并重复后续处理。
此外,在步骤S667中确定满足传输频带的情况下,切换处理结束,且过程返回到图59。
此外,在步骤S665中确定不存在相同媒体类型的较低阶Adaptation Set的情况下,过程转到步骤S668。在步骤S668中,切换控制单元581确定是否对该组中所有媒体类型执行处理。例如,在确定存在未处理的媒体类型使得虽然处理了视频但是尚未处理音频的情况下,过程转到步骤S669。
在步骤S669中,切换控制单元581使同一组中不同媒体类型且具有第二最高选择优先顺序的Adaptation Set成为处理目标。当步骤S669中的处理结束时,过程返回到步骤S662,并重复后续处理。
在步骤S668中确定对所有媒体类型执行处理的情况下,过程转到步骤S670。在步骤S670中,切换控制单元581确定是否存在较低阶组。在确定存在一个较低阶组,过程转到步骤S671。
在步骤S671中,切换控制单元581切换该组。对于各媒体类型,选择最高阶Adaptation Set。此外,在各Adaptation Set中选择最高比特率的Representation。
在步骤S672中,切换控制单元581确定在切换后的状态下是否满足传输频带。在确定传输频带不足的情况下,过程返回到步骤S661,并重复后续处理。
在步骤S670中,在确定不存在较低阶组的情况下,切换处理结束,且过程返回到图59。此外,在步骤S672中确定满足传输频带的情况下,切换处理结束,且过程返回到图59。
通过执行如上所述的各个处理,再现终端503可以根据具有本技术适用的扩展属性的MPD文件来获取内容文件。即,根据MPD文件,再现终端503可以根据分发方的意图实现更平衡的切换。
<5.其他>
<标准>
在以上说明中,对DSD无损流存储在MP4文件中并使用MPEG-DASH进行分发的情况进行说明,但是本技术也适用于其他示例。例如,本技术也适用于除DSD无损流以外的任意数据。此外,本技术也适用于以除MP4文件以外的任意文件格式存储的情况。此外,本技术也适用于除MPEG-DASH以外的任何标准的数据分发。
<本技术的适用领域>
本技术适用的系统、装置、处理单元等例如可以用于诸如交通、医疗、预防犯罪、农业、畜牧业、采矿业、美容护理、工厂、家用电器、天气和自然监测的任意领域。
例如,本技术也适用于为观看而设发送图像的系统及装置。此外,例如,本技术也适用于为交通而设的系统及装置。此外,例如,本技术也适用于用于安保的系统及装置。此外,例如,本技术也适用于为体育运动而设的系统或装置。此外,例如,本技术也适用于为农业而设的系统或装置。此外,例如,本技术也适用于为畜牧业而设的系统或装置。此外,本技术也适用于监测诸如火山、森林、海洋等自然条件的系统或装置。此外,本技术也适用于例如观察天气、温度、湿度、风速、日照时间等的天气观察系统及天气观察装置。此外,本技术也适用于用于观察诸如鸟类、鱼类、爬行动物、两栖动物、哺乳动物、昆虫、植物等野生动物的生态的系统、装置等。
<计算机>
上述一系列处理可以由硬件执行或由软件执行。当一系列处理由软件执行时,形成软件的程序安装在计算机上。这里,计算机包括内置在专用硬件中的计算机、例如通过安装各种程序能够执行各种功能的通用个人计算机等。
图61是示出通过程序执行上述一系列处理的计算机的硬件的构成例的方块图。
在图61所示的计算机1000中,中央处理单元(CPU)1001、只读存储器(ROM)1002和随机存取存储器(RAM)1003通过总线1004彼此连接。
输入/输出接口1010也连接到总线1004。输入单元1011、输出单元1012、存储单元1013、通信单元1014和驱动器1015连接到输入/输出接口1010。
输入单元1011包括例如键盘、鼠标、麦克风、触控面板、输入端子等。输出单元1012包括例如显示器、扬声器、输出端子等。存储单元1013包括例如硬盘、RAM磁盘、非易失性存储器等。通信单元1014包括网络接口等。驱动器1015驱动诸如磁盘、光盘、磁光盘和半导体存储器的可移除介质1021。
在以上述方式构成的计算机1000中,CPU 1001为了执行把例如存储在存储单元1013中的程序通过输入/输出接口1010和总线1004加载到RAM1003上,从而执行上述一系列处理。CPU 1001执行各种处理等所需的数据适当地存储在RAM 1003中。
由计算机1000执行的程序例如可以作为封装介质等记录在可移除介质1021中以待应用。在这种情况下,通过把可移除介质1021安装在驱动器1015上,程序可以通过输入/输出接口1010安装在存储单元1013上。
程序也可以通过诸如局域网、因特网和数字卫星广播的有线或无线传输介质来提供。在这种情况下,程序可以由通信单元1014接收以安装在存储单元1013上。
另外,程序可以预先安装在ROM 1002、存储单元1013等上。
<其他>
同时,与编码数据(比特流)有关的各种类型的信息可以被多路复用为编码数据并发送或记录,或在不被多路复用为编码数据的情况下可以作为与编码数据相关联的另一个数据进行发送或记录。这里,术语“相关联”旨在意指例如当对一个数据进行处理时使另一个数据可用(可链接)。即,彼此相关联的数据可以作为一个数据或可以是单独数据。例如,与编码数据(图像)相关联的信息可以在与编码数据(图像)的传输路径不同的传输路径上进行传输。此外,例如,与编码数据(图像)相关联的信息可以记录在与编码数据(图像)不同的记录介质(或同一记录介质的另一个记录区域)中。同时,这种“相关联”可能不是整个数据而是数据的一部分。例如,图像和与图像相对应的信息可以在诸如多个帧、一个帧或帧内一部分的任意单位中彼此相关联。
此外,如上所述,在本说明书中,术语“合成”、“多路复用”、“添加”、“整合”、“包括”、“存储”、“组合”、“粘贴”、“插入”等例如是指把多个对象组合成一个对象,诸如把编码数据和元数据组合成一个数据,并且是指上述“相关联”的一种方法。
此外,本技术的实施例并不限于上述实施例,且在不脱离本技术的范围的情况下可以进行多种修改。
此外,在本说明书中,系统例如旨在意指多个部件(装置、模块(零件)等)的总成,且所有部件是否都在同一外壳中并不重要。因此,贮存在不同外壳中通过网络连接且一个装置通过把多个模块贮存在一个外壳中而实现的多个装置是系统。
例如,也可以把描述为一个装置(或处理单元)的构成分成多个装置(或处理单元)。换句话说,也可以把上述作为多个装置(或处理单元)的构成组合起来作为一个装置(或处理单元)。此外,当然,除上述构成以外的构成可以添加到各装置(或各处理单元)的构成。此外,只要作为整个系统的构成及操作基本相同,某个装置(或处理单元)的构成的一部分就也可以包括在另一个装置(或另一个处理单元)的构成中。
此外,例如,本技术可以被构成为云计算,其中一个功能由多个装置通过网络共享以进行协作处理。
此外,例如,上述程序可以由任意装置执行。在这种情况下,该装置可以具有必要功能(功能模块等),使得可以获取必要信息。
此外,例如,上述流程图中所述的各步骤可以由一个装置执行或由多个装置以共享方式执行。此外,在一个步骤中包括多个处理的情况下,包括在一个步骤中的多个处理可以由一个装置执行或由多个装置以共享方式执行。
同时,由计算机执行的程序可以是使得按照本说明书中所述的顺序按时间顺序执行描述程序的步骤中的处理,或并行地执行处理或在所需定时时(诸如当发出调用时)单独执行处理。即,只要不存在不一致,就可以按照与上述顺序不同的顺序执行各个步骤中的处理。此外,描述该程序的步骤中的处理可以与另一个程序的处理并行地执行或可以与另一个程序的处理合并地执行。
同时,只要不存在不一致,本说明书中所述的多个技术中的各技术就可以作为单个单元独立实现。当然,也可以通过结合任意多个技术来实现。例如,任何实施例中所述的本技术可以结合其他实施例中所述的本技术来实现。此外,上述任意技术可以结合上面未说明的其他技术来实现。
同时,本技术还可具有以下构成。
(1)一种信息处理装置,包括:
设定单元,该设定单元在用于管理内容数据再现的管理信息中设定与在用于管理待再现数据的同一内容的数据组的第一管理单元之间切换有关的信息。
(2)根据(1)所述的信息处理装置,
其中所述管理信息是Media Presentation Description(MPD),
第一管理单元是Adaptation Set。
(3)根据(1)或(2)所述的信息处理装置,
其中与切换有关的信息是与在待再现数据的第一管理单元之间切换的切换目的地有关的信息。
(4)根据(1)至(3)中任一项所述的信息处理装置,
其中与切换目的地有关的信息是ContentSwitchingDestinationId。
(5)根据(1)至(4)中任一项所述的信息处理装置,
其中与切换目的地有关的信息是用于指定允许作为切换目的地的管理单元的信息。
(6)根据(1)至(5)中任一项所述的信息处理装置,
其中用于指定管理单元的信息是用于指定允许作为切换目的地的其他第一管理单元的信息。
(7)根据(1)至(6)中任一项所述的信息处理装置,
其中所述管理信息是Media Presentation Description(MPD),
所述第一管理单元是Adaptation Set。
(8)根据(1)至(7)中任一项所述的信息处理装置,
其中用于指定管理单元的信息是用于指定用于管理允许作为切换目的地的其他第一管理单元中的各数据的第二管理单元的信息。
(9)根据(1)至(8)中任一项所述的信息处理装置,
其中所述管理信息是Media Presentation Description(MPD),
所述第一管理单元是Adaptation Set,
所述第二管理单元是Representation。
(10)根据(1)至(9)中任一项所述的信息处理装置,
其中所述设定单元在管理信息的第一管理单元中设定与切换目的地有关的信息。
(11)根据(1)至(10)中任一项所述的信息处理装置,
其中所述管理信息是Media Presentation Description(MPD),
所述第一管理单元是Adaptation Set,
所述设定单元被配置成在管理当前待再现的数据的Adaptation Set中设定与切换目的地有关的信息。
(12)根据(1)至(11)中任一项所述的信息处理装置,
其中所述设定单元在管理管理信息的第一管理单元中的各数据的第二管理单元中设定与切换目的地有关的信息。
(13)根据(1)至(12)中任一项所述的信息处理装置,
其中所述管理信息是Media Presentation Description(MPD),
所述第一管理单元是Adaptation Set,
所述第二管理单元是Representation,
所述设定单元被配置成在管理当前待再现的数据的Representation中设定与切换目的地有关的信息。
(14)根据(1)至(13)中任一项所述的信息处理装置,
其中与切换有关的信息是与在待再现数据的第一管理单元之间切换的定时有关的信息。
(15)根据(1)至(14)中任一项所述的信息处理装置,
其中与定时有关的信息是用于指定允许在待再现数据的第一管理单元之间切换的定时的信息。
(16)根据(1)至(15)中任一项所述的信息处理装置,
其中所述定时是在数据再现时间方向上作为管理单元的第二管理单元的边界,
用于指定定时的信息是用于指定允许在待再现数据的第一管理单元之间切换的第二管理单元的边界的信息。
(17)根据(1)至(16)中任一项所述的信息处理装置,
其中用于指定定时的信息是用于由第二管理单元的数量指定到下一个定时为止的定时的信息。
(18)根据(1)至(17)中任一项所述的信息处理装置,
其中所述管理信息是Media Presentation Description(MPD),
所述第一管理单元是Adaptation Set,
所述第二管理单元是Segment。
(19)根据(1)至(18)中任一项所述的信息处理装置,
其中再现时间在定时时在切换源数据和切换目的地数据之间一致。
(20)根据(1)至(19)中任一项所述的信息处理装置,
其中与定时有关的信息是ContentSwitchingAlignmentCycle。
(21)根据(1)至(20)中任一项所述的信息处理装置,
其中所述设定单元在管理信息的第一管理单元中设定与定时有关的信息。
(22)根据(1)至(21)中任一项所述的信息处理装置,
其中所述管理信息是Media Presentation Description(MPD),
所述第一管理单元是Adaptation Set,
所述设定单元被配置成在管理当前待再现的数据的Adaptation Set中设定与定时有关的信息。
(23)根据(1)至(22)中任一项所述的信息处理装置,
其中所述设定单元在管理管理信息的第一管理单元中的各数据的第二管理单元中设定与定时有关的信息。
(24)根据(1)至(23)中任一项所述的信息处理装置,
其中所述管理信息是Media Presentation Description(MPD),
所述第一管理单元是Adaptation Set,
所述第二管理单元是Representation,
所述设定单元被配置成在管理当前待再现的数据的Representation中设定与定时有关的信息。
(25)根据(1)至(24)中任一项所述的信息处理装置,
其中与切换有关的信息是与在待再现数据的第一管理单元之间切换的优先顺序有关的信息。
(26)根据(1)至(25)中任一项所述的信息处理装置,
其中与优先顺序有关的信息是指示第一管理单元的优先顺序的信息。
(27)根据(1)至(26)中任一项所述的信息处理装置,
其中所述管理信息是Media Presentation Description(MPD),
所述第一管理单元是Adaptation Set。
(28)根据(1)至(27)中任一项所述的信息处理装置,
其中与优先顺序有关的信息是@stabilityRanking。
(29)根据(1)至(28)中任一项所述的信息处理装置,
其中与优先顺序有关的信息是指示第一管理单元组的优先顺序的信息。
(30)根据(1)至(29)中任一项所述的信息处理装置,
其中所述管理信息是Media Presentation Description(MPD),
所述第一管理单元是Adaptation Set。
(31)根据(1)至(30)中任一项所述的信息处理装置,
其中与优先顺序有关的信息是@stabilityRankingGroup。
(32)根据(1)至(31)中任一项所述的信息处理装置,
其中所述设定单元在第一管理单元中设定与优先顺序有关的信息。
(33)根据(1)至(32)中任一项所述的信息处理装置,
其中所述管理信息是Media Presentation Description(MPD),
所述第一管理单元是Adaptation Set。
(34)根据(1)至(33)中任一项所述的信息处理装置,
其中所述数据是符合ISO/IEC 14496的文件格式的文件,该文件存储通过对直接数字流(DSD)数据进行无损编码而获取的DSD无损流,该直接数字流(DSD)数据通过对音频模拟信号执行ΔΣ调制而获取。
(35)根据(1)至(34)中任一项所述的信息处理装置,还包括:
文件生成单元,该文件生成单元根据所述设定单元的设定来生成管理信息的文件。
(36)根据(1)至(35)中任一项所述的信息处理装置,还包括:
数据生成单元,该数据生成单元生成所述数据,
其中所述文件生成单元被配置成生成由所述数据生成单元生成的数据的管理信息的文件。
(37)根据(1)至(36)中任一项所述的信息处理装置,还包括:
发送单元,该发送单元把由所述文件生成单元生成的文件发送给服务器。
(38)一种信息处理方法,包括:
在用于管理内容数据再现的管理信息中设定与在用于管理待再现数据的同一内容的数据组的第一管理单元之间切换有关的信息。
(39)一种信息处理装置,包括:
分析单元,该分析单元对包括在用于管理内容数据再现的管理信息中与在用于管理待再现数据的同一内容的数据组的第一管理单元之间切换有关的信息进行分析,
控制单元,该控制单元根据所述分析单元的分析结果来控制待再现数据的切换。
(40)一种信息处理方法,包括:
对包括在用于管理内容数据再现的管理信息中与在用于管理待再现数据的同一内容的数据组的第一管理单元之间切换有关的信息进行分析,
根据分析结果来控制待再现数据的切换。
附图标记列表
500 分发系统
501 文件生成装置
502 分发服务器
503 再现终端
504 网络
511 音频流生成单元
512 内容文件生成单元
513 MPD生成单元
514 通信单元
521 Period设定单元
522 Adaptation Set设定单元
523 Representation设定单元
524 Segment设定单元
525 切换目的地指定信息设定单元
526 定时指定信息设定单元
527 文件生成单元
551 MPD获取单元
552 解析单元
553 内容文件获取单元
554 流提取单元
555 解码单元
556 输出单元
561 外部解码器
571 切换目的地指定信息分析单元
572 定时指定信息分析单元
581 切换控制单元
701 选择优先顺序信息设定单元
711 选择优先顺序信息分析单元
901 组信息设定单元
911 组信息分析单元
1000 计算机。
Claims (20)
1.一种信息处理装置,包括:
设定单元,该设定单元在用于管理内容数据再现的管理信息中设定与在用于管理待再现数据的同一内容的数据组的第一管理单元之间切换有关的信息。
2.根据权利要求1所述的信息处理装置,
其中与切换有关的信息是用于指定允许作为在待再现数据的所述第一管理单元之间切换的切换目的地的管理单元的信息。
3.根据权利要求2所述的信息处理装置,
其中用于指定所述管理单元的信息是用于指定允许作为所述切换目的地的其他所述第一管理单元的信息或用于指定用于管理其他所述第一管理单元中的各数据的第二管理单元的信息。
4.根据权利要求2所述的信息处理装置,
其中所述设定单元在所述管理信息的所述第一管理单元或用于管理所述管理信息的所述第一管理单元中的各数据的第二管理单元中设定用于指定所述管理单元的信息。
5.根据权利要求1所述的信息处理装置,
其中与所述切换有关的信息是用于指定允许在待再现数据的所述第一管理单元之间切换的定时的信息。
6.根据权利要求5所述的信息处理装置,
其中所述定时是在所述数据再现时间方向上作为管理单元的第二管理单元的边界,
用于指定所述定时的信息是用于指定允许在待再现数据的所述第一管理单元之间切换的所述第二管理单元的边界的信息。
7.根据权利要求6所述的信息处理装置,
其中用于指定所述定时的信息是用于由所述第二管理单元的数量指定到下一个定时为止的所述定时的信息。
8.根据权利要求5所述的信息处理装置,
其中再现时间在所述定时时在切换源数据和切换目的地数据之间一致。
9.根据权利要求5所述的信息处理装置,
其中所述设定单元在所述管理信息的所述第一管理单元或用于管理所述管理信息的所述第一管理单元中的各数据的第二管理单元中设定用于指定所述定时的信息。
10.根据权利要求1所述的信息处理装置,
其中所述与切换有关的信息是与在待再现数据的所述第一管理单元之间切换的优先顺序有关的信息。
11.根据权利要求10所述的信息处理装置,
其中所述与优先顺序有关的信息是指示所述第一管理单元的优先顺序的信息。
12.根据权利要求10所述的信息处理装置,
其中与优先顺序有关的信息是指示第一管理单元组的优先顺序的信息。
13.根据权利要求10所述的信息处理装置,
其中所述设定单元在第一管理单元中设定与优先顺序有关的信息。
14.根据权利要求1所述的信息处理装置,
其中所述数据是符合ISO/IEC 14496的文件格式的文件,该文件存储通过对直接数字流(DSD)数据进行无损编码而获取的DSD无损流,该直接数字流(DSD)数据通过对音频模拟信号执行ΔΣ调制而获取。
15.根据权利要求1所述的信息处理装置,还包括:
文件生成单元,该文件生成单元根据所述设定单元的设定来生成所述管理信息的文件。
16.根据权利要求15所述的信息处理装置,还包括:
数据生成单元,该数据生成单元生成所述数据,
其中所述文件生成单元被配置成生成由所述数据生成单元生成的数据的所述管理信息的文件。
17.根据权利要求15所述的信息处理装置,还包括:
发送单元,该发送单元把由所述文件生成单元生成的所述文件发送给服务器。
18.一种信息处理方法,包括:
在用于管理内容数据再现的管理信息中设定与在用于管理待再现数据的同一内容的数据组的所述第一管理单元之间切换有关的信息。
19.一种信息处理装置,包括:
分析单元,该分析单元对包括在用于管理内容数据再现的管理信息中与在用于管理待再现数据的同一内容的数据组的第一管理单元之间切换有关的信息进行分析,
控制单元,该控制单元根据所述分析单元的分析结果来控制待再现数据的切换。
20.一种信息处理方法,包括:
对包括在用于管理内容数据再现的管理信息中与在用于管理待再现数据的同一内容的数据组的第一管理单元之间切换有关的信息进行分析,
根据该分析结果来控制待再现数据的切换。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016072172 | 2016-03-31 | ||
JP2016-072172 | 2016-03-31 | ||
PCT/JP2017/010872 WO2017169891A1 (ja) | 2016-03-31 | 2017-03-17 | 情報処理装置および方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109155867A true CN109155867A (zh) | 2019-01-04 |
Family
ID=59964284
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780019432.9A Pending CN109155867A (zh) | 2016-03-31 | 2017-03-17 | 图像处理装置及方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20200314163A1 (zh) |
JP (1) | JPWO2017169891A1 (zh) |
CN (1) | CN109155867A (zh) |
WO (1) | WO2017169891A1 (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1822507A (zh) * | 2005-02-14 | 2006-08-23 | 索尼株式会社 | 多路传输设备以及多路传输数据发送与接收系统 |
CN102982817A (zh) * | 2011-09-02 | 2013-03-20 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
WO2014171385A1 (ja) * | 2013-04-19 | 2014-10-23 | ソニー株式会社 | サーバ装置、コンテンツ提供方法及びコンピュータプログラム |
WO2015001986A1 (ja) * | 2013-07-02 | 2015-01-08 | ソニー株式会社 | コンテンツ供給装置、コンテンツ供給方法、プログラム、端末装置、およびコンテンツ供給システム |
WO2015053895A1 (en) * | 2013-10-08 | 2015-04-16 | Qualcomm Incorporated | Switching between adaptation sets during media streaming |
CN104885125A (zh) * | 2012-12-27 | 2015-09-02 | 索尼电脑娱乐公司 | 信息处理设备、信息处理系统和信息处理方法 |
-
2017
- 2017-03-17 CN CN201780019432.9A patent/CN109155867A/zh active Pending
- 2017-03-17 JP JP2018509040A patent/JPWO2017169891A1/ja not_active Abandoned
- 2017-03-17 US US16/088,357 patent/US20200314163A1/en not_active Abandoned
- 2017-03-17 WO PCT/JP2017/010872 patent/WO2017169891A1/ja active Application Filing
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1822507A (zh) * | 2005-02-14 | 2006-08-23 | 索尼株式会社 | 多路传输设备以及多路传输数据发送与接收系统 |
JP2006222895A (ja) * | 2005-02-14 | 2006-08-24 | Sony Corp | 多重化装置及び多重化方法、並びに多重化データ送受信システム |
CN102982817A (zh) * | 2011-09-02 | 2013-03-20 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
CN104885125A (zh) * | 2012-12-27 | 2015-09-02 | 索尼电脑娱乐公司 | 信息处理设备、信息处理系统和信息处理方法 |
WO2014171385A1 (ja) * | 2013-04-19 | 2014-10-23 | ソニー株式会社 | サーバ装置、コンテンツ提供方法及びコンピュータプログラム |
CN105122821A (zh) * | 2013-04-19 | 2015-12-02 | 索尼公司 | 服务器装置、内容提供方法以及计算机程序 |
WO2015001986A1 (ja) * | 2013-07-02 | 2015-01-08 | ソニー株式会社 | コンテンツ供給装置、コンテンツ供給方法、プログラム、端末装置、およびコンテンツ供給システム |
CN105359539A (zh) * | 2013-07-02 | 2016-02-24 | 索尼公司 | 内容供应装置、内容供应方法、程序、终端装置及内容供应系统 |
US20160080783A1 (en) * | 2013-07-02 | 2016-03-17 | Sony Corporation | Content supply device, content supply method, program, terminal device, and content supply system |
WO2015053895A1 (en) * | 2013-10-08 | 2015-04-16 | Qualcomm Incorporated | Switching between adaptation sets during media streaming |
Also Published As
Publication number | Publication date |
---|---|
WO2017169891A1 (ja) | 2017-10-05 |
JPWO2017169891A1 (ja) | 2019-02-14 |
US20200314163A1 (en) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101868280B1 (ko) | 정보 처리 장치, 정보 처리 방법 및 컴퓨터 판독 가능한 기록 매체 | |
JP5876480B2 (ja) | マルチメディア・ストリーム・ファイルの保存ファイルフォーマット、保存方法及びそれを利用したクライアント装置 | |
CN106850586B (zh) | 媒体提供方法 | |
CN105230006B (zh) | 保存方法、再现方法、保存装置及再现装置 | |
KR101739272B1 (ko) | 멀티미디어 스트리밍 시스템에서 컨텐트의 저장 및 재생을 위한 장치 및 방법 | |
JP6876928B2 (ja) | 情報処理装置および方法 | |
JP6214765B2 (ja) | 音声デコーダ、符号化音声出力データを生成するための装置、及びデコーダの初期化を可能にする方法 | |
CN109194980A (zh) | 再现装置以及再现方法 | |
JP5709900B2 (ja) | コンテンツのプレイアウトをサポートする方法及び装置 | |
KR20180123182A (ko) | 하이퍼텍스트 전송 프로토콜을 사용한 마트로스카 컨테이너 파일들에 저장된 미디어의 적응적 비트레이트 스트리밍 | |
JP6439691B2 (ja) | ファイル生成装置および方法、並びにコンテンツ再生装置および方法 | |
WO2014112186A1 (ja) | コンテンツサーバおよびコンテンツ配信方法 | |
CN110214448A (zh) | 信息处理装置和方法 | |
JP6258168B2 (ja) | 配信装置、再生装置および配信システム | |
US20190088265A1 (en) | File generation device and file generation method | |
EP2625874B1 (en) | Apparatus and method for multimedia service | |
CN108886638A (zh) | 再现装置和再现方法、以及文件生成装置和文件生成方法 | |
CN109155867A (zh) | 图像处理装置及方法 | |
CN105122821A (zh) | 服务器装置、内容提供方法以及计算机程序 | |
JP4750759B2 (ja) | 映像音声再生装置 | |
JPWO2018142947A1 (ja) | 情報処理装置および方法 | |
WO2018079293A1 (ja) | 情報処理装置および方法 | |
KR20090000092A (ko) | 멀티미디어 콘텐츠의 스트리밍 방법 및 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190104 |
|
WD01 | Invention patent application deemed withdrawn after publication |