CN106664503B - 发送装置、发送方法、接收装置及接收方法 - Google Patents

发送装置、发送方法、接收装置及接收方法 Download PDF

Info

Publication number
CN106664503B
CN106664503B CN201680002216.9A CN201680002216A CN106664503B CN 106664503 B CN106664503 B CN 106664503B CN 201680002216 A CN201680002216 A CN 201680002216A CN 106664503 B CN106664503 B CN 106664503B
Authority
CN
China
Prior art keywords
acoustic pressure
contents
information
audio
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680002216.9A
Other languages
English (en)
Other versions
CN106664503A (zh
Inventor
塚越郁夫
知念徹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN106664503A publication Critical patent/CN106664503A/zh
Application granted granted Critical
Publication of CN106664503B publication Critical patent/CN106664503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)

Abstract

本发明的目的在于在接收侧实现对象内容的良好声压调节。产生包括预定条数的对象内容的编码数据的音频流以及发送包括音频流的预定格式的容器。指示允许每条对象内容的声压增加/减少的范围的信息被插入到音频流的层和/或容器的层中。在接收侧上，每条对象内容的声压基于该信息在可允许范围内进行增加/减少。

Description

发送装置、发送方法、接收装置及接收方法
技术领域
本技术涉及发送装置、发送方法、接收装置以及接收方法，具体地，涉及一种被配置为发送包括预定条数的对象内容的编码数据的音频流的发送装置。
背景技术
近年来，作为三维(3D)声音技术，已经提出了基于元数据将已编码的采样数据映射和渲染到位于任何位置的扬声器的技术(例如，参考专利文献1)。
引用列表
专利文献
专利文献1 JP 2014-520491T
发明内容
技术问题
考虑发送各种类型的对象内容的编码数据，该编码数据包括已编码的采样数据和元数据以及诸如5.1声道和7.1声道的声道编码数据，从而能够在接收侧上高真度地再现声音。例如，在一些情况下，根据背景声音和视听环境，难以听到诸如对话语言等对象内容。
本技术的目标是在接收侧上适当地调节对象内容的声压。
问题的解决方法
本技术的构思是一种发送装置，包括：音频编码单元，音频编码单元被配置为产生包括预定条数的对象内容的编码数据的音频流；发送单元，发送单元被配置为发送包括音频流的预定格式的容器；以及信息插入单元，信息插入单元被配置为将指示允许每条对象内容的声压增减的范围的信息插入到音频流的层和/或容器的层中。
在本技术中，音频编码单元产生包括预定条数的对象内容的编码数据的音频流。信息插入单元将指示允许每条对象内容的声压增减的范围的信息插入到音频流的层和/或容器的层中。
例如，指示允许每条对象内容的声压增减的范围的信息是关于声压的上限值和下限值的信息。此外，例如，音频流的编码方案是MPEG-H 3D音频。信息插入单元可包括扩展元素，扩展元素包括指示允许音频帧中的每条对象内容的声压增减的范围的信息。
以此方式，在本技术中，将指示允许每条对象内容的声压增减的范围的信息插入到音频流的层和/或容器的层中。因此，当在接收侧上使用插入信息时，容易在可允许范围内调节每条对象内容的声压的增减。
在本技术中，例如，预定条数的对象内容中的每条对象内容均可属于预定数目的内容组中的任一内容组，并且信息插入单元可将指示允许每个内容组的声压增减的范围的信息插入到音频流的层和/或容器的层中。在这种情况下，发送指示允许声压增减的范围的信息，以与内容组的数目对应，并且能够有效地发送指示允许每条对象内容的声压增减的范围的信息。
在本技术中，例如，可将指示多种要素类型之中要应用的类型的要素类型信息添加到指示允许每条对象内容的声压增减的范围的信息中。在这种情况下，可以应用适用于每条对象内容的要素类型。
本技术的另一构思是一种接收装置，包括：接收单元，接收单元被配置为接收预定格式的容器，该容器包括含预定条数的对象内容的编码数据的音频流；和控制单元，控制单元被配置为控制增减声压的过程，其中，对象内容的声压根据用户选择增减。
在本技术中，接收单元接收预定格式的容器，该容器包括含预定条数的对象内容的编码数据的音频流。控制单元控制增减声压的过程，其中，对象内容的声压根据用户选择增减。
以此方式，在本技术中，根据用户选择执行增减对象内容的声压的过程。因此，能够有效地调节预定条数的对象内容的声压，例如，预定对象内容的声压可增加并且另一条对象内容的声压可减少。
在本技术中，例如，可以将指示允许每条对象内容的声压增减的范围的信息插入到音频流的层和/或容器的层中，控制单元可进一步控制信息提取过程，其中，从音频流的层和/或容器的层中提取指示允许每条对象内容的声压增减的范围的信息，并且在增减声压的过程中，对象内容的声压可基于已提取的信息根据用户选择而增减。在这种情况下，容易在可允许范围内调节每条对象内容的声压。
在本技术中，例如，在增减声压的过程中，当对象内容的声压根据用户选择增加时，另一条对象内容的声压可减少，并且当对象内容的声压根据用户选择减少时，另一条对象内容的声压可增加。在这种情况下，无需用户的操作时间和精力，就可以维持全部对象内容的恒定声压。
在本技术中，例如，控制单元可进一步控制显示用户界面画面的显示过程，用户界面画面指示在增减声压的过程中声压增减的对象内容的声压状态。在这种情况下，用户能够容易识别每条对象内容的声压状态并且容易设置声压。
发明的有益效果
根据本技术，可在接收侧上适当地调节对象内容的声压。此处描述的效果仅是实施例并且本技术并不局限于此。可以提供额外的效果。
附图说明
[图1]图1是示出了作为实施方式的发送和接收系统的配置实施例的框图。
[图2]图2是示出了MPEG-H 3D音频的传送数据的配置实施例的图示。
[图3]图3是示出了MPEG-H 3D音频的传送数据中的音频帧的结构实施例的图示。
[图4]图4是示出了扩展元素的类型(ExElementType)与其值(值)之间的对应关系的图示。
[图5]图5是示出了内容增强帧的结构实施例的图示，内容增强帧包括指示允许每个内容组的声压增减的范围的信息作为扩展元素。
[图6]图6是示出了内容增强帧的结构实施例中的主要信息的内容的图示。
[图7]图7是示出了由指示允许声压增减的范围的信息所表示的声压的值(要素值)的实施例的图示。
[图8]图8是示出了音频内容增强描述符的结构实施例的图示。
[图9]图9是示出了服务发送器的流生成单元的配置实施例的框图。
[图10]图10是示出了传送流TS的结构实施例的图示。
[图11]图11是示出了服务接收器的配置实施例的框图。
[图12]图12是示出了音频解码单元的配置实施例的框图。
[图13]图13是示出了显示每条对象内容的当前声压状态的用户界面画面的实施例的图示。
[图14]图14是示出了根据用户的单位操作在对象增强器中增减声压的过程的实施例的流程图。
[图15]图15是用于描述对象内容的声压调节实施例的效果的图示。
[图16]图16是示出了由指示允许声压增减的范围的信息所表示的声压的值(要素值)的另一实施例的图示。
[图17]图17是示出了内容增强帧的另一结构实施例的图示，内容增强帧包括指示允许每个内容组的声压增减的范围信息作为扩展元素。
[图18]图18是示出了内容增强帧的结构实施例中的主要信息的内容的图示。
[图19]图19是示出了音频内容增强描述符的另一结构实施例的图示。
[图20]图20是示出了根据用户的单位操作在对象增强器中增减声压的过程的另一实施例的流程图。
[图21]图21是示出了MMT流的结构实施例的图示。
具体实施方式
在下文中，将描述用于实现本技术的形式(以下称之为“实施方式”)。将按照下列顺序进行描述。
1.实施方式
2.变形例
<1.实施方式>
[发送和接收系统的配置实施例]
图1示出了作为实施方式的发送和接收系统10的配置实施例。发送和接收系统10包括服务发送器100和服务接收器200。服务发送器100经由网络通过广播波或包发送传送流TS。
传送流TS包括音频流或视频流和音频流。音频流包括声道编码数据和预定条数的对象内容的编码数据(对象编码数据)。在该实施方式中，音频流的编码方案是MPEG-H 3D音频。
服务发送器100将指示允许每条对象内容的声压增减的范围的信息(上限值和下限值信息)插入到音频流的层和/或作为容器的传送流TS的层中。例如，预定条数的对象内容中的每条对象内容均属于预定数目的内容组中的任一内容组。服务发送器200将指示允许每个内容组的声压增减的范围的信息插入到音频流的层和/或容器的层中。
图2示出了MPEG-H 3D音频的传送数据的配置实施例。该配置实施例包括一条声道编码数据和六条对象编码数据。一条声道编码数据是指5.1声道的声道编码数据(CD)并且包括SCE1、CPE1.1、CPE1.2、以及LFE1中的每条编码采样数据。
在六条对象编码数据之中，前三条对象编码数据属于对话语言对象的内容组的编码数据(DOD)。这三条对象编码数据是与第一语言、第二语言、以及第三语言对应的对话语言对象(用于对话语言的对象)的编码数据。
与第一语言、第二语言以及第三语言对应的对话语言对象的编码数据包括编码的采样数据SCE2、SCE3、及SCE4、以及用于将编码的采样数据映射并且渲染到任意位置的扬声器的元数据(对象元数据)。
此外，在这六条对象编码数据之中，剩余三条对象编码数据属于声音效果对象的内容组中的编码数据(SEO)。这三条对象编码数据是与第一声音效果、第二声音效果、以及第三声音效果对应的声音效果对象(用于声音效果的对象)的编码数据。
与第一声音效果、第二声音效果、以及第三声音效果对应的声音效果对象的编码数据包括已编码采样数据SCE5、SCE6、及SCE7、以及用于将已编码的采样数据映射并且渲染到任意位置的扬声器的元数据(对象元数据)。
通过每个类别(category)的组(Group)的概念对编码数据进行分类。在该配置实施例中，5.1声道的声道编码数据被分类为组1(Group 1)。此外，与第一语言、第二语言、以及第三语言对应的对话语言对象的编码数据分别被分类为组2(Group 2)、组3(Group 3)、以及组4(Group 4)。此外，与第一声音效果、第二声音效果、以及第三声音效果对应的声音效果对象的编码数据分别被分类为组5(Group 5)、组6(Group 6)、以及组7(Group 7)。
此外，在接收侧上，从各组之中选择的数据在切换组(SW组)中进行登记并且编码。在该配置实施例中，属于对话语言对象的内容组的组2、组3、以及组4被分类为切换组1(SW组1)。此外，属于声音效果对象的内容组的组5、组6、以及组7被分类为切换组2(SW组2)。
图3示出了MPEG-H 3D音频的传送数据中的音频帧的结构实施例。音频帧包括多个MPEG音频流包(mpeg Audio Stream Packet)。每个MPEG音频流包均包括报头(Header)和有效载荷(Payload)。
报头包括诸如包类型(Packet Type)、包标签(Packet Label)、以及包长度(Packet Length)等信息。报头的包类型中定义的信息被分配在有效载荷中。有效载荷信息包括与同步起始码对应的“SYNC”、用作3D音频传送数据的真实数据的“帧(Frame)”、以及指示“帧”的配置的“Config”。
“帧”包括构成3D音频传送数据的声道编码数据和对象编码数据。此处，声道编码数据包括诸如单声道元素(SCE)、声道对元素(CPE)、以及低频元素(LFE)等已编码的采样数据。此外，对象编码数据包括单声道元素(SCE)的已编码采样数据和用于将已编码的采样数据映射并且渲染到任意位置的扬声器的元数据。元数据被包括作为扩展元素(Ext_element)。
在实施方式中，作为扩展元素(Ext_element)，重新定义了包括指示允许每个内容组的声压增减的范围的信息的元素(Ext_content_enhancement)。相应地，在“Config”中重新定义了该元素的配置信息(content_enhancement config)。
图4示出了扩展元素(Ext_element)的类型(ExElementType)与其值(Value)之间的对应关系。例如，128被重新定义为“ID_EXT_ELE_content_enhancement”的类型的值。
图5示出了包括指示允许每个内容组的声压增减的范围的信息作为扩展元素的内容增强帧(Content_Enhancement_frame())的结构实施例(语法)。图6示出了该配置实施例中的主要信息的内容(语义)。
“num_of_content_groups”的8位字段指示内容组的数目。重复提供“content_group_id”的8位字段、“content_type”的8位字段、“content_enhancement_plus_factor”的8位字段、以及“content_enhancement_minus_factor”的8位字段，以与内容组的数目对应。
“content_group_id”的字段指示内容组的标识符(ID)。“content_type”的字段指示内容组的类型。例如，“0”指示“对话语言”，“1”指示“声音效果”，“2”指示“BGM”，并且“3”指示“口头子标题”。
“content_enhancement_plus_factor”的字段指示声压增减的上限值。例如，如图7中的图表所示，“0x00”指示1(0dB)，“0x01”指示1.4(+3dB)，并且“0xFF”指示无穷大(+无穷大dB)。“content_enhancement_minus_factor”的字段指示声压增减的下限值。例如，如图7中的图表所示，“0x00”指示1(0dB)，“0x01”指示0.7(-3dB)，并且“0xFF”指示0.00(-无穷大dB)。图7中的图表在服务接收器200中共享。
此外，在实施方式中，重新定义了包括指示允许每个内容组的声压增减的范围的信息的音频内容增强描述符(Audio_Content_Enhancement descriptor)。因此，将该描述符插入到设置在节目映射表(PMT)下方的音频基本流循环中。
图8示出了音频内容增强描述符的结构实施例(语法)。此处，“descriptor_tag”的8位字段指示描述符类型并且此处指示音频内容增强描述符。“descriptor_length”的8位字段指示描述符的长度(大小)并且描述符的长度指示下列字节数。
“num_of_content_groups”的8位字段指示内容组的数目。重复提供“content_group_id”的8位字段、“content_type”的8位字段、“content_enhancement_plus_factor”的8位字段、以及“content_enhancement_minus_factor”的8位字段，以与内容组的数目对应。字段的信息内容与在上述内容增强帧中描述的信息内容相似(参考图5)。
再次参考图1，服务接收器200从服务发送器100接收经由网络通过包发送的广播波或传送流TS。除视频流之外，传送流TS还包括音频流。音频流包括3D音频传送数据的声道编码数据和预定条数的对象内容的编码数据(对象编码数据)。
指示允许每条对象内容的声压增减的范围的信息插入到音频流的层和/或作为容器的传送流TS的层中。例如，插入指示允许预定数目的内容组的声压增减的范围的信息。此处，一条或多条对象内容属于一个内容组。
服务接收器200对视频流执行解码处理并且获得视频数据。此外，服务接收器200对音频流执行解码处理并且获得3D音频的音频数据。
服务接收器200根据用户选择对对象内容执行增减声压的处理。在这种情况下，服务接收器200基于允许每条对象内容的声压增减的范围限制声压增减的范围，允许每条对象内容的声压增减的范围插入到音频流的层和/或作为容器的传送流TS的层中。
[服务发送器的流生成单元]
图9示出了服务发送器100的流生成单元110的配置实施例。流生成单元110包括控制单元111、视频编码器112、音频编码器113、以及多路复用器114。
视频编码器112输入视频数据SV、对视频数据SV进行编码、并且产生视频流(视频基本流)。除了作为音频数据SA的声道数据之外，音频编码器113还输入预定数目的内容组的对象数据。一条或多条对象内容属于每个内容组。
音频编码器113对音频数据SA进行编码、获得3D音频传送数据、并且产生包括3D音频传送数据的音频流(音频基本流)。除了声道编码数据之外，3D音频传送数据包括预定数目的内容组的对象编码数据。
例如，如图2中的配置实施例所示，包括声道编码数据(CD)、对话语言对象的内容组的编码数据(DOD)、以及声音效果对象的内容组的编码数据(SEO)。
音频编码器113在控制单元111的控制下将指示允许每个内容组的声压增减的范围的信息插入到音频流中。在该实施方式中，包括指示允许每个内容组的声压增减的范围的信息的重新定义元素(Ext_content_enhancement)作为扩展元素(Ext_element)插入到音频帧中(参考图3和图5)。
多路复用器114将从视频编码器112输出的视频流和从音频编码器113输出的预定数目的音频流分成PES包，此外，将流分成传送包且进行多路复用，并且获得传送流TS作为多路复用流。
多路复用器114根据控制单元111的控制，将指示允许每个内容组的声压增减的范围的信息插入到作为容器的传送流TS中。在该实施方式中，包括指示允许每个内容组的声压增减的范围的信息的重新定义的音频内容增强描述符(Audio_Content_Enhancementdescriptor)插入到设置在PMT下方的音频基本流循环中(参考图8)。
将简要描述图9中示出的流生成单元110的操作。视频数据被供应至视频编码器112。在视频编码器112中，对视频数据SV进行编码并且产生包括已编码的视频数据的视频流。视频流被供应至多路复用器114。
音频数据SA被供应至音频编码器113。除声道数据之外，音频数据SA还包括预定数目的内容组的对象数据。此处，一条或多条对象内容属于每个内容组。
在音频编码器113中，对音频数据SA进行编码并且由此获得3D音频传送数据。除声道编码数据之外，3D音频传送数据还包括预定数目的内容组的对象编码数据。因此，在音频编码器113中，产生包括3D音频传送数据的音频流。
在这种情况下，在音频编码器113中，根据控制单元111的控制将指示允许每个内容组的声压增减的范围的信息插入到音频流中。即，将包括指示允许每个内容组的声压增减的范围的信息的重新定义元素(Ext_content_enhancement)作为扩展元素(Ext_element)插入到音频帧中(参考图3和图5)。
视频编码器112中产生的视频流被供应至多路复用器114。此外，音频编码器113中产生的音频流被供应至多路复用器114。在多路复用器114中，将从每个编码器供应的流分成PES包并且又分成传送包且进行多路复用，并且获得传送流TS作为多路复用流。
在这种情况下，在多路复用器114中，根据控制单元111的控制将指示允许每个内容组的声压增减的范围的信息插入到作为容器的传送流TS中。即，将包括指示允许每个内容组的声压增减的范围的信息的重新定义的音频内容增强描述符(Audio_Content_Enhancement descriptor)插入到设置在PMT下方的音频基本流循环中(参考图8)。
[传送流TS的配置]
图10示出了传送流TS的结构实施例。结构实施例包括被标识为PID1的视频流的PES包“视频PES”和被标识为PID2的音频流的PES包“音频PES”。PES包包括PES报头(PES_header)和PES有效载荷(PES_payload)。DTS和PTS的时间戳被插入到PES报头中。
音频流(音频编码流)被插入到音频流的PES包的PES有效载荷中。包括指示允许每个内容组的声压增减的范围的信息的内容增强帧(Content_Enhancement_frame())被插入到音频流的音频帧中。
此外，在传送流TS中，包括作为节目专用信息(PSI)的节目映射表(PMT)。PSI是描述传送流中包括的每个基本流所属的节目的信息。PMT包括描述与整个节目相关联的信息的节目循环(Program loop)。
此外，PMT包括含有与每个基本流相关联的信息的基本流循环。配置实施例包括与视频流对应的视频基本流循环(视频ES循环)和与音频流对应的音频基本流循环(音频ES循环)。
在视频基本流循环(视频ES循环)中，分配了诸如与视频流对应的流类型和包标识符(PID)等信息，并且还分配了描述与视频流相关联的信息的描述符。视频流的“Stream_type”的值被设置为“0x24”，并且PID信息指示被分配给上述视频流的PES包“视频PES”的PID1。作为一个描述符，分配HEVC描述符。
此外，在音频基本流循环(音频ES循环)中，分配了诸如与音频流对应的流类型和包标识符(PID)等信息，并且还分配了描述与音频流相关联的信息的描述符。音频流的“Stream_type”的值被设置为“0x2C”，并且PID信息指示被分配给上述音频流的PES包“音频PES”的PID2。作为一个描述符，分配了音频内容增强描述符(Audio_Content_Enhancementdescriptor)，其包括指示允许每个内容组的声压增减的范围的信息。
[服务接收器的配置实施例]
图11示出了服务接收器200的配置实施例。服务接收器200包括接收单元201、解多路复用器202、视频解码单元203、视频处理电路204、面板驱动电路205、以及显示面板206。此外，服务接收器200包括音频解码单元214、音频输出电路215、以及扬声器系统216。此外，服务接收器200包括CPU 221、闪存ROM 222、DRAM 223、内部总线224、远程控制接收单元225、以及远程控制发送器226。
CPU 221控制服务接收器200的各部件的操作。闪存ROM 222储存控制软件并且保存数据。DRAM 223构成CPU 221的工作区。CPU 221将从闪存ROM 222读取的软件和数据部署在DRAM 223中，以执行软件，并且控制服务接收器200的各部件。
远程控制接收单元225接收从远程控制发送器226发送的远程控制信号(远程控制代码)并且将信号供应至CPU 221。CPU 221基于远程控制代码控制服务接收器200的各部件。CPU 221、闪存ROM 222、以及DRAM 223连接至内部总线224。
接收单元201从服务发送器100接收经由网络通过包发送的广播波或传送流TS。除视频流之外，传送流TS还包括音频流。音频流包括3D音频传送数据的声道编码数据和预定条数的对象内容的编码数据(对象编码数据)。
指示允许预定数目的内容组的声压增减的范围的信息被插入到音频流的层和/或作为容器的传送流TS的层中。一条或多条对象内容属于一个内容组。
此处，包括指示允许每个内容组的声压增减的范围的信息的重新定义元素(Ext_content_enhancement)作为扩展元素(Ext_element)插入到音频帧中(参考图3和图5)。此外，包括指示允许每个内容组的声压增减的范围的信息的重新定义音频内容增强描述符(Audio_Content_Enhancement descriptor)被插入到设置在PMT下方的音频基本流循环中(参考图8)。
解多路复用器202从传送流TS提取视频流并且将视频流发送至视频解码单元203。视频解码单元203对视频流执行解码处理并且获得未压缩的视频数据。
视频处理电路204对在视频解码单元203中获得的视频数据执行缩放处理(scaling processing)和图像质量调节处理并且获得显示视频数据。面板驱动电路205基于在视频处理电路204中获得的显示图像数据驱动显示面板206。例如，显示面板206包括液晶显示器(LCD)和有机场致发光(EL)显示器。
此外，解多路复用器202从传送流TS提取诸如描述符信息等各种类型的信息并且将信息发送至CPU 221。各种类型的信息还包括音频内容增强描述符，音频内容增强描述符包括指示允许每个内容组的声压增减的范围的上述信息。CPU 221可根据描述符识别允许每个内容组的声压增减的范围(上限值和下限值)。
此外，解多路复用器202从传送流TS提取音频流并且将音频流发送至音频解码单元214。音频解码单元214对音频流执行解码处理并且获得用于驱动扬声器系统216中的各个扬声器的音频数据。
在这种情况下，在音频解码单元214中，在音频流中包括的预定条数的对象内容的编码数据中，在CPU 221的控制下仅将切换组中的多条对象内容的编码数据之中根据用户选择的任意一条对象内容的编码数据设置为解码目标。
此外，音频解码单元214提取插入到音频流中的各种类型的信息并且将信息发送到CPU 221。各种类型的信息还包括有指示允许每个内容组的声压增减的范围的上述信息的元素。CPU 221可根据该元素识别允许每个内容组的声压增减的范围(上限值和下限值)。
此外，音频解码单元214在CPU 221的控制下根据用户选择对对象内容执行增减声压的过程。在这种情况下，基于允许每条对象内容的声压增减的范围(上限值和下限值)，其插入到音频流的层和/或作为容器的传送流TS的层中，限制声压增减的范围。下面将详细描述音频解码单元214。
音频输出处理电路215对在音频解码单元214中获得的用于驱动各个扬声器的音频数据执行诸如D/A转换和放大等必要的处理并且将结果供应至扬声器系统216。扬声器系统216包括具有多个声道的多个扬声器，例如，2声道、5.1声道、7.1声道、以及22.2声道。
[音频解码单元的配置实施例]
图12示出了音频解码单元214的配置实施例。音频解码单元214包括解码器231、对象增强器232、对象渲染器233、以及混频器234。
解码器231对在解多路复用器202中提取的音频流执行解码处理并且获得除声道数据之外的预定条数的对象内容的对象数据。解编码器213大约按照逆序执行图9中的流生成单元110的音频编码器113的过程。在切换组的多条对象内容中，在CPU 221的控制下，仅获得根据用户选择的任意一条对象内容的对象数据。
此外，解编码器231提取插入到音频流中的各种类型的信息并且将信息发送至CPU221。各种类型的信息还包括含有指示允许每个内容组的声压增减的范围的信息的元素。CPU 221可根据该元素识别允许每个内容组的声压增减的范围(上限值和下限值)。
对象增强器232对在解码器213中获得的预定条数的对象数据内根据用户选择的对象内容执行增减声压的处理。当执行增减声压的处理时，分配指示将要经历增减声压的处理的目标的对象内容的目标内容(target_content)以及指示是增加还是减少声压的命令(command)，并且根据用户操纵将允许目标内容的声压增减的范围(上限值和下限值)从CPU 221分配至对象增强器232。
对于用户的每个单位操作，对象增强器232仅在命令(command)指示的方向上将目标内容(target_content)中的对象内容的声压改变预定的宽度。在这种情况下，当声压已经是由可允许范围指示的极限值(上限值和下限值)时，不改变声压并且直接使用声压。
此外，例如，对象增强器232参考图7中的图表设置声压的变化宽度(预定宽度)。例如，在当前状态是1(0dB)并且用户的单位操作为增加时，该状态改变成1.4(+3dB)的状态。此外，例如，在当前状态是1.4(+3dB)并且用户的单位操作为增加时，该状态改变成1.9(+6dB)的状态。
此外，例如，在当前状态是1(0dB)并且用户的单位操作为减少时，该状态改变成0.7(-3dB)的状态。此外，例如，在当前状态是0.7(-3dB)并且用户的单位操作为减少时，该状态改变成0.5(-6dB)的状态。
此外，当执行增减声压的过程时，对象增强器232将指示每条对象数据的声压状态的信息发送至CPU 221。CPU 221基于该信息在显示单元(例如，显示面板206)上显示指示每条对象内容的当前声压状态的用户界面画面，并且当用户设置声压时，CPU 221提供该信息。
图13示出了显示声压状态的用户界面画面的实施例。在该实施例中，示出了提供包括对话语言对象(DOD)和声音效果对象(SEO)的两条对象内容的情况(参考图2)。阴影线标记部分处示出了当前声压状态。“plus_i”指示上限值并且“minus_i”指示下限值。
图14中的流程图示出了根据用户的单位操作在对象增强器232中增减声压的实施例。对象增强器232开始于步骤ST1的处理。然后，对象增强器232前进至步骤ST2的处理。
在步骤ST2中，对象增强器232确定命令(command)是否是增加指令。当确定是增加指令时，对象增强器232前进至步骤ST3的处理。在步骤ST3中，如果声压不是上限值，对象增强器232仅将目标内容(target_content)中的对象内容的声压增加预定的宽度。在步骤ST3的处理之后，对象增强器232在步骤ST4中结束该处理。
此外，当在步骤ST2中确定不是增加指令时，即，当确定是减少指令时，对象增强器232前进至步骤ST5的处理。在步骤ST5中，如果声压不是下限值，对象增强器232仅将目标内容(target_content)中的对象内容的声压减少预定的宽度。在步骤ST5的处理之后，对象增强器232在步骤ST4中结束该处理。
再次参考图12，对象渲染器233对通过对象增强器232获得的预定条数的对象内容的对象数据执行渲染处理，并且获得预定条数的对象内容的声道数据。此处，对象数据包括对象声源的音频数据和对象声源的位置信息。对象渲染器233通过基于对象声源的位置信息将对象声源的音频数据与扬声器位置进行映射而获得声道数据。
混频器234将在解码器231中获得的声道数据与在对象渲染器233中获得的每条对象内容的声道数据进行组合，并且获得用于驱动扬声器系统216的每个扬声器的音频数据(声道数据)。
将简要描述图11中所示的服务接收器200的操作。接收单元201接收经由网络通过广播波或包从服务发送器100发送的传送流TS。除视频流之外，传送流TS还包括音频流。
音频流包括3D音频传送数据的声道编码数据和预定条数的对象内容的编码数据(对象编码数据)。预定条数的对象内容中的每条对象内容均属于预定数目的内容组中的任一内容组。即，一条或多条对象内容属于一个内容组。
传送流TS被供应至解多路复用器202。在解多路复用器202中，从传送流TS提取视频流并且将视频流供应至视频解码单元203。在视频解码单元203中，对视频流执行解码处理并且获得未压缩的视频数据。视频数据被供应至视频处理电路204。
视频处理电路204对视频数据执行缩放处理和图像质量调节处理并且获得显示视频数据。显示视频数据被供应至面板驱动电路205。面板驱动电路205基于显示视频数据驱动显示面板206。相应地，在显示面板206上显示与显示视频数据对应的图像。
此外，解多路复用器202从传送流TS提取诸如描述符信息等各种类型的信息并且将信息发送至CPU 221。各种类型的信息还包括含指示允许每个内容组的声压增减的范围的信息的音频内容增强描述符。CPU 221根据该描述符识别允许每个内容组的声压增减的范围(上限值和下限值)。
此外，解多路复用器202从传送流TS提取音频流并且将音频流发送至音频解码单元214。音频解码单元214对音频流执行解码处理并且获得用于驱动扬声器系统216中的每个扬声器的音频数据。
在这种情况下，在音频解码单元214中，在音频流包括的预定条数的对象内容的编码数据内，根据CPU 221的控制，仅将切换组的多条对象内容的编码数据之中根据用户选择的任意一条对象内容的编码数据设置为解码目标。
此外，音频解码单元214提取插入到音频流中的各种类型的信息并且将信息发送至CPU 221。各种类型的信息还包括含有指示允许每个内容组的声压增减的范围的上述信息的元素。在CPU 221中，根据该元素识别允许每个内容组的声压增减的范围(上限值和下限值)。
此外，在音频解码单元214中，在CPU 221的控制下，根据用户选择执行增减对象内容的声压的处理。在这种情况下，在音频解码单元214中，基于允许每条对象内容的声压增减的范围(上限值和下限值)限制声压增减的范围。
即，在这种情况下，分配指示将经历增减声压的处理的目标的对象内容的目标内容(target_content)和指示是增加还是减少声压的命令(command)，并且根据用户操作将允许目标内容的声压增减的范围(上限值和下限值)从CPU 221分配至音频解码单元214。
因此，在音频解码单元214中，对于用户的每个单位操作，仅在命令(command)指示的方向上将属于目标内容(target_content)的内容组的对象数据的声压改变(增加或减少)预定的宽度。在这种情况下，当声压已经是可允许范围指示的极限值(上限值和下限值)时，不改变声压并且直接使用该声压。
在音频解码单元214中获得的用于驱动每个扬声器的音频数据被供应至音频输出处理电路215。音频输出处理电路215对音频数据执行诸如D/A转换和放大等必要的处理。因此，经过处理的音频数据被供应至扬声器系统216。相应地，从扬声器系统216输出与显示面板206的显示图像对应的声音。
如上所述，在图1所示的发送和接收系统10中，服务接收器200根据用户选择对对象内容执行增减声压的处理。相应地，能够有效地调节预定条数的对象内容的声压，例如，预定对象内容的声压会得到增加并且另一条对象内容的声压会得到减少。
图15(a)示意性地示出了对话语言的对象内容的音频数据的波形。图15(b)示意性地示出了其他对象内容的音频数据的波形。图15(c)示意性地示出了一起呈现这些音频数据时的波形。在这种情况下，因为多条其他对象内容的音频数据的波形的振幅大于对话语言的音频数据的波形的振幅，所以对话语言的声音被其他对象内容的声音所掩盖并且由此非常难以听到该声音。
图15(d)示意性地示出了声压增加的对话语言的对象内容的音频数据的波形。图15(e)示意性地示出了声压减少的其他对象内容的音频数据的波形。图15(f)示意性地示出了一起呈现这些音频数据时的波形。
在这种情况下，因为对话语言的音频数据的波形的振幅大于多条其他对象内容的音频数据的波形的振幅，所以该对话语言的声音不被其他对象内容的声音掩盖并且由此容易听到该声音。此外，在这种情况下，尽管对话语言的对象内容的声压增加，然而，因为其他对象内容的声压减少，所以保持了全部对象内容的恒定声压。
此外，在图1所示的发送和接收系统10中，服务发送器100将指示允许每条对象内容的声压增减的范围的信息插入到音频流的层和/或作为容器的传送流TS的层中。因此，当在接收侧上使用插入信息时，容易可允许范围内调节每条对象内容的声压的增减。
此外，在图1所示的发送和接收系统10中，服务发送器100将指示允许预定条数的对象内容所属的每个内容组的声压增减的范围的信息插入到音频流的层和/或作为容器的传送流TS的层中。因此，可以发送指示允许声压增减的范围信息，以与内容组的数目对应，并且可以有效地发送指示允许每条对象内容的声压增减的范围的信息。
<2.变形例>
在上述所述实施方式中，示出了下列信息所使用的一种要素类型的实施例，即，指示允许每条对象内容和每个内容组的声压增减的范围(参考图7)。然而，可以设想，能够从多种类型之中选择指示允许每条对象内容的声压增减的范围的信息的要素类型。
图16示出了能够从多种类型之中选择指示允许每个内容组的声压增减的范围的信息的要素类型的图表的实施例。该实施例是使用“factor_1”和“factor_2”两种要素类型的实施例。
在这种情况下，在接收侧，在指定“factor_1”的内容组中，参考图表中的“factor_1”的部分识别声压的上限值和下限值并且还识别调节声压增减的变化宽度。此外，同样，在接收侧，在指定“factor_2”的内容组中，参考图表中的“factor_2”的部分识别声压的上限值和下限值并且还识别调节声压增减的变化宽度。
例如，即使“content_enhancement_plus_factor”与“0x02”相同，然而，当指定“factor_1”时，将上限值识别为1.9(+6dB)，并且当指定“factor_2”时，将上限值识别为3.9(+12dB)。此外，当从1(0dB)的状态提供增加指令时，如果指定“factor_1”，状态则改变成1.4(+3dB)的状态，并且如果指定“factor_2”，状态则改变成1.9(+6dB)的状态。此外，在任意要素中，当指定值是“0x00”时，上限值和下限值皆是0dB。这表明不能够改变目标内容组的声压。
图17示出了当从多种类型之中选择指示允许每个内容组的声压增减的范围的信息的要素类型时，内容增强帧(Content_Enhancement_frame())的结构实施例(语法)。图18示出了配置实施例中的主要信息的内容(语义)。
“num_of_content_groups”的8位字段指示内容组的数目。重复提供“content_group_id”的8位字段、“content_type”的8位字段、“factor_type”的8位字段、“content_enhancement_plus_factor”的8位字段、以及“content_enhancement_minus_factor”的8位字段，以与内容组的数目对应。
“content_group_id”的字段指示内容组的标识符(ID)。“content_type”的字段指示内容组的类型。例如，“0”指示“对话语言”，“1”指示“声音效果”，“2”指示“BGM”，并且“3”指示“口头子标题”。“factor_type”的字段指示应用要素类型。例如，“0”指示“factor_1”并且“1”指示“factor_2”。
“content_enhancement_plus_factor”的字段指示声压增减的上限值。例如，如图16中的图表所示，当应用要素类型是“factor_1”时，“0x00”指示1(0dB)，“0x01”指示1.4(+3dB)，并且“0xFF”指示无穷大(+无穷大dB)。当应用要素类型是“factor_2”时，“0x00”指示1(0dB)，“0x01”指示1.9(+6dB)，并且“0x7F”指示无穷大(+无穷大dB)。
“content_enhancement_minus_factor”的字段指示声压增减的下限值。例如，如图16中的图表所示，当应用要素类型是“factor_1”时，“0x00”指示1(0dB)，“0x01”指示0.7(-3dB)，并且“0xFF”指示0.00(-无穷大dB)。当应用要素类型是“factor_2”时，“0x00”指示1(0dB)，“0x01”指示0.5(-6dB)，并且“0x7F”指示0.00(-无穷大dB)。
图19示出了当从多种类型之中选择指示允许每个内容组的声压增减的范围的信息的要素类型时，音频内容增强描述符(Audio_Content_Enhancement descriptor)的结构实施例(语法)。
此处，“descriptor_tag”的8位字段指示描述符类型并且这里指示音频内容增强描述符。“descriptor_length”的8位字段指示描述符的长度(大小)并且描述符的长度指示下列字节数。
“num_of_content_groups”的8位字段指示内容组的数目。重复提供“content_group_id”的8位字段、“content_type”的8位字段、“factor_type”的8位字段、“content_enhancement_plus_factor”的8位字段、以及“content_enhancement_minus_factor”的8位字段，以与内容组的数目对应。字段的信息内容与上述所述内容增强帧中描述的字段信息内容相似(参考图17)。
此外，在上述实施方式中，描述了服务接收器200根据用户选择仅在命令(command)指示(增加或减小)的方向上将目标内容(target_content)中的对象内容的声压改变预定的宽度的实施例。然而，当执行增减目标内容(target_content)中的对象内容的声压的处理时，可以想到在反方向上自动执行增减其他对象内容的声压的处理。
以此方式，例如，用户能够仅通过执行对对话语言的对象内容的增加操作而在服务接收器200中执行图15(d)和图15(e)的处理。
在这种情况下，图20中的流程图示出了根据用户的单位操作在对象增强器232中增减声压的处理的实施例(参考图12)。对象增强器232在步骤ST11中开始该处理。然后，对象增强器232前进至步骤ST12中的处理。
在步骤ST12中，对象增强器232确定命令(command)是否是增加指令。当确定是增加指令时，对象增强器232前进至步骤ST13中的处理。在步骤ST13中，如果声压不是上限值，则对象增强器232仅将目标内容(target_content)中的对象内容的声压增加预定的宽度。
接着，在步骤ST14中，为了维持全部对象内容的恒定声压，对象增强器232减少不是目标内容(target_content)的另一条对象内容的声压。在这种情况下，根据目标内容(target_content)中的对象内容的上述声压的增加减少声压。在这种情况下，一条或多条其他对象内容与声压减少有关。在步骤ST14的处理之后，对象增强器232在步骤ST15结束该处理。
此外，在步骤ST12中，当确定是不增加指令时，即，确定是减少指令时，对象增强器232前进至步骤ST16的处理。在步骤ST16中，如果声压不是下限值，对象增强器232则仅将目标内容(target_content)中的对象内容的声压减少预定的宽度。
接着，在步骤ST17中，为了维持全部对象内容的恒定声压，对象增强器232增加不是目标内容(target_content)的另一条内容的声压。在这种情况下，根据上述目标内容(target_content)中的对象内容的声压的增加减少声压。在这种情况下，一条或多条其他对象内容与声压减少有关。在步骤ST17的处理之后，对象增强器232在步骤ST15结束该处理。
在上述所述实施方式中，示出了将指示允许每个内容组的声压增减的范围的信息插入到音频流的层和作为容器的传送流TS的层中的实施例。然而，可以设想，将该信息仅插入到音频流的层或作为容器的传送流TS的层中。
此外，在上述所述实施方式中，示出了容器是传送流(MPEG-2TS)的实施例。然而，本技术同样可应用于通过MP4或其他格式的容器进行传送的系统。例如，可以使用基于MPEG-DASH的流传送系统或处理MPEG媒体传送(MMT)结构的传送流的发送和接收系统。
图21示出了MMT流的结构实施例。MMT流包括诸如视频和音频等资源(asset)的MMT包。结构实施例包括被标识为ID1的视频的资源的MMT包和被标识为ID2的音频的资源的MMT包。
包括指示允许每个内容组的声压增减的范围的信息的内容增强帧(Content_Enhancement_frame())被插入到音频的资源(音频流)的音频帧中。
此外，MMT流包括诸如包存取(PA)消息包等消息包。PA消息包包括诸如MMT包图表(MMT Package Table)等图表。MP图表包括有关各个资源的信息。根据音频资源(音频流)分配包括有指示允许每个内容组的声压增减的范围的信息的音频内容增强描述符(Audio_Content_Enhancement descriptor)。
此外，本技术还可被配置如下。
(1)一种发送装置，包括：
音频编码单元，音频编码单元被配置为产生包括预定条数的对象内容的编码数据的音频流；
发送单元，发送单元被配置为发送包括音频流的预定格式的容器；以及
信息插入单元，信息插入单元被配置为将指示允许每条对象内容的声压增减的范围的信息插入到音频流的层和/或容器的层中。
(2)根据(1)所述的发送装置，
其中，预定条数的对象内容中的每条对象内容均属于预定数目的内容组中的任一内容组；并且
信息插入单元将指示允许每个内容组的声压增减的范围的信息插入到音频流的层和/或容器的层中。
(3)根据(1)或(2)所述的发送装置，
其中，音频流具有作为MPEG-H 3D音频的编码方案；并且
信息插入单元包括扩展元素，扩展元素包括指示允许音频帧中的每条对象内容的声压增减的范围的信息。
(4)根据(1)至(3)中任一项所述的发送装置，
其中，将指示多个要素之中被应用的类型的要素选择信息添加到指示允许每条对象内容的声压增减的范围的信息中。
(5)一种发送方法，包括：
音频编码步骤，产生包括预定条数的对象内容的编码数据的音频流；
发送步骤，通过发送单元发送包括音频流的预定格式的容器；以及
信息插入步骤，将指示允许每条对象内容的声压增减的范围的信息插入到音频流的层和/或容器的层中。
(6)一种接收装置，包括：
接收单元，接收单元被配置为接收预定格式的容器，容器包括含有预定条数的对象内容的编码数据的音频流；和
处理单元，处理单元被配置为执行增减声压的处理，其中，对象内容的声压根据用户选择增减。
(7)根据(6)所述的接收装置，
其中，将指示允许每条对象内容的声压增减的范围的信息插入到音频流的层和/或容器的层中；
接收装置进一步包括信息提取单元，信息提取单元被配置为从音频流的层和/或容器的层中提取指示允许每条对象内容的声压增减的范围的信息；并且
处理单元基于提取的信息根据用户选择增减对象内容的声压。
(8)根据(6)或(7)所述的接收装置，
其中，当对象内容的声压根据用户选择增加时，处理单元减少另一条对象内容的声压，并且当对象内容的声压根据用户选择减少时，处理单元增加另一条对象内容的声压。
(9)根据(6)至(8)中任一项所述的接收装置，进一步包括：
显示控制单元，显示控制单元被配置为显示UI画面，UI画面指示通过处理单元增减声压的对象内容的声压状态。
(10)一种接收方法，包括：
接收步骤，通过接收单元接收预定格式的容器，容器包括含有预定条数的对象内容的编码数据的音频流；和
处理步骤，增减声压，其中，对象内容的声压根据用户选择增减。
本技术的主要特征在于，将指示允许每条对象内容的声压增减的范围的信息插入到音频流的层和/或容器的层中，并且在接收侧上，在可允许范围内适当地调节每条对象内容的声压的增减(参考图9和图10)。
参考符号列表
10 发送和接收系统
100 服务发送器
110 流生成单元
111 控制单元
112 视频编码器
113 音频编码器
114 多路复用器
200 服务接收器
201 接收单元
202 解多路复用器
203 视频解码单元
204 视频处理电路
205 面板驱动电路
206 显示面板
214 音频解码单元
215 音频输出处理电路
216 扬声器系统
221 CPU
222 闪存ROM
223 DRAM
224 内部总线
225 远程控制接收单元
226 远程控制发送器
231 解码器
232 对象增强器
233 对象渲染器
234 混频器

Claims (10)

1.一种发送装置，包括：
音频编码单元，被配置为产生包括预定条数的对象内容的编码数据的音频流；
发送单元，被配置为发送包括所述音频流的预定格式的容器；
以及
信息插入单元，被配置为将指示允许每条对象内容的声压增减的范围的信息插入到所述音频流的层和/或所述容器的层中。
2.根据权利要求1所述的发送装置，
其中，所述预定条数的对象内容中的每条对象内容属于预定数目的内容组中的任一内容组；并且
所述信息插入单元将指示允许每个内容组的声压增减的范围的信息插入到所述音频流的层和/或所述容器的层中。
3.根据权利要求1所述的发送装置，
其中，所述音频流具有MPEG-H 3D音频编码方案；并且
所述信息插入单元包括扩展元素，所述扩展元素包括指示允许音频帧中的每条对象内容的声压增减的范围的信息。
4.根据权利要求1所述的发送装置，
其中，将指示多个要素类型之中要被应用的类型的要素类型信息添加到指示允许每条对象内容的声压增减的范围的信息中。
5.根据权利要求1所述的发送装置，
其中，所述信息插入单元从多种类型之中选择指示允许每条对象内容的声压增减的范围的信息的要素类型。
6.一种发送方法，包括：
音频编码步骤，产生包括预定条数的对象内容的编码数据的音频流；
发送步骤，通过发送单元发送包括所述音频流的预定格式的容器；以及
信息插入步骤，将指示允许每条对象内容的声压增减的范围的信息插入到所述音频流的层和/或所述容器的层中。
7.一种接收装置，包括：
接收单元，被配置为接收预定格式的容器，所述容器包括含有预定条数的对象内容的编码数据的音频流；和
控制单元，被配置为控制增减声压的过程，在增减声压的过程中，对象内容的声压根据用户选择而增减，
其中，将指示允许每条对象内容的声压增减的范围的信息插入到所述音频流的层和/或所述容器的层中；
所述控制单元进一步控制信息提取过程，在所述信息提取过程中，从所述音频流的层和/或所述容器的层中提取指示允许每条对象内容的声压增减的范围的信息；并且
在增减声压的过程中，对象内容的声压基于提取的信息根据用户选择而增减。
8.根据权利要求7所述的接收装置，
其中，在增减声压的过程中，当所述对象内容的声压根据所述用户选择而增加时，另一条对象内容的声压减少，并且当所述对象内容的声压根据所述用户选择而减少时，另一条对象内容的声压增加。
9.根据权利要求7所述的接收装置，
其中，所述控制单元进一步控制显示用户界面画面的显示过程，所述用户界面画面指示在增减声压的过程中声压增减的对象内容的声压状态。
10.一种接收方法，包括：
接收步骤，通过接收单元接收预定格式的容器，所述容器包括含有预定条数的对象内容的编码数据的音频流；和
处理步骤，用于增减声压，在增减声压中，基于指示允许每条对象内容的声压增减的范围的信息根据用户选择对所述对象内容的声压进行增减，
其中，将指示允许每条对象内容的声压增减的范围的信息插入到所述音频流的层和/或所述容器的层中。
CN201680002216.9A 2015-06-17 2016-06-13 发送装置、发送方法、接收装置及接收方法 Active CN106664503B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-122292 2015-06-17
JP2015122292 2015-06-17
PCT/JP2016/067596 WO2016204125A1 (ja) 2015-06-17 2016-06-13 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
CN106664503A CN106664503A (zh) 2017-05-10
CN106664503B true CN106664503B (zh) 2018-10-12

Family

ID=57545876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680002216.9A Active CN106664503B (zh) 2015-06-17 2016-06-13 发送装置、发送方法、接收装置及接收方法

Country Status (9)

Country Link
US (3) US10553221B2 (zh)
EP (2) EP3313103B1 (zh)
JP (5) JP6308311B2 (zh)
KR (4) KR102465286B1 (zh)
CN (1) CN106664503B (zh)
BR (1) BR112017002758B1 (zh)
CA (2) CA3149389A1 (zh)
MX (1) MX365274B (zh)
WO (1) WO2016204125A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016171002A1 (ja) 2015-04-24 2016-10-27 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
EP3313103B1 (en) * 2015-06-17 2020-07-01 Sony Corporation Transmission device, transmission method, reception device and reception method
JP6988904B2 (ja) * 2017-09-28 2022-01-05 株式会社ソシオネクスト 音響信号処理装置および音響信号処理方法
CN115691518A (zh) 2018-02-22 2023-02-03 杜比国际公司 用于处理嵌入在mpeg-h 3d音频流中的辅媒体流的方法及设备
BR112021019942A2 (pt) 2019-04-11 2021-12-07 Sony Group Corp Dispositivos e métodos de processamento de informações e reprodução, e, programa

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6195438B1 (en) * 1995-01-09 2001-02-27 Matsushita Electric Corporation Of America Method and apparatus for leveling and equalizing the audio output of an audio or audio-visual system
CN101006506A (zh) * 2005-02-18 2007-07-25 松下电器产业株式会社 流再现装置、流供给装置
CN102100088A (zh) * 2008-07-17 2011-06-15 弗朗霍夫应用科学研究促进协会 用于使用基于对象的元数据产生音频输出信号的装置和方法
CN103247294A (zh) * 2012-02-03 2013-08-14 索尼公司 信号处理设备、方法、系统和通信终端
CN103649706A (zh) * 2011-03-16 2014-03-19 Dts（英属维尔京群岛）有限公司 三维音频音轨的编码及再现

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW384434B (en) * 1997-03-31 2000-03-11 Sony Corp Encoding method, device therefor, decoding method, device therefor and recording medium
US8085943B2 (en) * 1999-11-29 2011-12-27 Bizjak Karl M Noise extractor system and method
JP4497534B2 (ja) * 2004-09-21 2010-07-07 株式会社ケンウッド 無線通信装置及び無線通信方法
KR101137359B1 (ko) * 2006-09-14 2012-04-25 엘지전자 주식회사 다이알로그 증폭 기술
WO2008056775A1 (fr) * 2006-11-10 2008-05-15 Panasonic Corporation Dispositif de décodage de paramètre, dispositif de codage de paramètre et procédé de décodage de paramètre
JP4838361B2 (ja) 2006-11-15 2011-12-14 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及びその装置
EP2111618A4 (en) * 2007-02-13 2010-04-21 Lg Electronics Inc METHOD AND APPARATUS FOR PROCESSING AUDIO SIGNAL
KR20080082924A (ko) * 2007-03-09 2008-09-12 엘지전자 주식회사 오디오 신호의 처리 방법 및 장치
EP3712888B1 (en) * 2007-03-30 2024-05-08 Electronics and Telecommunications Research Institute Apparatus and method for coding and decoding multi object audio signal with multi channel
KR101061129B1 (ko) * 2008-04-24 2011-08-31 엘지전자 주식회사 오디오 신호의 처리 방법 및 이의 장치
KR101137361B1 (ko) * 2009-01-28 2012-04-26 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
WO2010087631A2 (en) * 2009-01-28 2010-08-05 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
JP5307770B2 (ja) * 2010-07-09 2013-10-02 シャープ株式会社 音声信号処理装置、方法、プログラム、及び記録媒体
US8989406B2 (en) * 2011-03-11 2015-03-24 Sony Corporation User profile based audio adjustment techniques
US9620131B2 (en) * 2011-04-08 2017-04-11 Evertz Microsystems Ltd. Systems and methods for adjusting audio levels in a plurality of audio signals
CA3151342A1 (en) * 2011-07-01 2013-01-10 Dolby Laboratories Licensing Corporation System and tools for enhanced 3d audio authoring and rendering
JP5364141B2 (ja) * 2011-10-28 2013-12-11 楽天株式会社 携帯端末、店舗端末、送信方法、受信方法、決済システム、決済方法、プログラムおよびコンピュータ読み取り可能な記憶媒体
US20130308800A1 (en) * 2012-05-18 2013-11-21 Todd Bacon 3-D Audio Data Manipulation System and Method
KR20140047509A (ko) * 2012-10-12 2014-04-22 한국전자통신연구원 객체 오디오 신호의 잔향 신호를 이용한 오디오 부/복호화 장치
EP2917908A1 (de) * 2012-11-09 2015-09-16 Storming Swiss Sàrl Nichtlineare inverse kodierung von multikanal-signalen
EP2779578B1 (en) * 2013-03-15 2019-11-20 Samsung Electronics Co., Ltd. Data Transmitting Apparatus, Data Receiving Apparatus, Data Transceiving System, Method for Transmitting Data, and Method for Receiving Data
US9607624B2 (en) * 2013-03-29 2017-03-28 Apple Inc. Metadata driven dynamic range control
EP2830050A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for enhanced spatial audio object coding
EP2830047A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for low delay object metadata coding
JP6588899B2 (ja) * 2013-10-22 2019-10-09 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ オーディオ装置のための組合せダイナミックレンジ圧縮および誘導クリッピング防止のための概念
CN117376809A (zh) * 2013-10-31 2024-01-09 杜比实验室特许公司 使用元数据处理的耳机的双耳呈现
EP2879131A1 (en) * 2013-11-27 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder, encoder and method for informed loudness estimation in object-based audio coding systems
CN104900236B (zh) * 2014-03-04 2020-06-02 杜比实验室特许公司 音频信号处理
PL3800898T3 (pl) 2014-05-28 2023-12-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Procesor danych i transport danych kontrolnych użytkownika do dekoderów audio i modułów renderowania
GB2528247A (en) * 2014-07-08 2016-01-20 Imagination Tech Ltd Soundbar
US9875751B2 (en) * 2014-07-31 2018-01-23 Dolby Laboratories Licensing Corporation Audio processing systems and methods
CN105451151B (zh) * 2014-08-29 2018-09-21 华为技术有限公司 一种处理声音信号的方法及装置
US9525392B2 (en) * 2015-01-21 2016-12-20 Apple Inc. System and method for dynamically adapting playback device volume on an electronic device
CN106303897A (zh) * 2015-06-01 2017-01-04 杜比实验室特许公司 处理基于对象的音频信号
EP3313103B1 (en) * 2015-06-17 2020-07-01 Sony Corporation Transmission device, transmission method, reception device and reception method
US9837086B2 (en) * 2015-07-31 2017-12-05 Apple Inc. Encoded audio extended metadata-based dynamic range control
US20180242042A1 (en) * 2015-08-14 2018-08-23 Thomson Licensing Method and apparatus for volume control of content
WO2018144367A1 (en) * 2017-02-03 2018-08-09 iZotope, Inc. Audio control system and related methods

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6195438B1 (en) * 1995-01-09 2001-02-27 Matsushita Electric Corporation Of America Method and apparatus for leveling and equalizing the audio output of an audio or audio-visual system
CN101006506A (zh) * 2005-02-18 2007-07-25 松下电器产业株式会社 流再现装置、流供给装置
CN102100088A (zh) * 2008-07-17 2011-06-15 弗朗霍夫应用科学研究促进协会 用于使用基于对象的元数据产生音频输出信号的装置和方法
CN103649706A (zh) * 2011-03-16 2014-03-19 Dts（英属维尔京群岛）有限公司 三维音频音轨的编码及再现
CN103247294A (zh) * 2012-02-03 2013-08-14 索尼公司 信号处理设备、方法、系统和通信终端

Also Published As

Publication number Publication date
JP6904463B2 (ja) 2021-07-14
US10522158B2 (en) 2019-12-31
JP7205571B2 (ja) 2023-01-17
KR102387298B1 (ko) 2022-04-15
MX2017001877A (es) 2017-04-27
KR101804738B1 (ko) 2017-12-04
CA2956136A1 (en) 2016-12-22
US20200118575A1 (en) 2020-04-16
WO2016204125A1 (ja) 2016-12-22
US10553221B2 (en) 2020-02-04
JPWO2016204125A1 (ja) 2017-06-29
JP2020145760A (ja) 2020-09-10
BR112017002758B1 (pt) 2022-12-20
KR20180009338A (ko) 2018-01-26
US11170792B2 (en) 2021-11-09
CA2956136C (en) 2022-04-05
KR20220051029A (ko) 2022-04-25
US20170162206A1 (en) 2017-06-08
BR112017002758A2 (pt) 2018-01-30
US20190130922A1 (en) 2019-05-02
CA3149389A1 (en) 2016-12-22
KR20220155399A (ko) 2022-11-22
CN106664503A (zh) 2017-05-10
KR102465286B1 (ko) 2022-11-10
JP6308311B2 (ja) 2018-04-11
JP2018116299A (ja) 2018-07-26
KR102668642B1 (ko) 2024-05-24
KR20170012569A (ko) 2017-02-02
EP3313103B1 (en) 2020-07-01
EP3313103A4 (en) 2018-12-19
EP3731542A1 (en) 2020-10-28
JP6717329B2 (ja) 2020-07-01
EP3313103A1 (en) 2018-04-25
JP2021152677A (ja) 2021-09-30
MX365274B (es) 2019-05-29
JP2022191490A (ja) 2022-12-27

Similar Documents

Publication Publication Date Title
CN106664503B (zh) 发送装置、发送方法、接收装置及接收方法
US11636862B2 (en) Transmission device, transmission method, reception device, and reception method
EP3913625B1 (en) Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
KR20240093802A (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant