CN114762041A - 编码设备和方法、解码设备和方法、以及程序 - Google Patents

编码设备和方法、解码设备和方法、以及程序 Download PDF

Info

Publication number
CN114762041A
CN114762041A CN202080083336.2A CN202080083336A CN114762041A CN 114762041 A CN114762041 A CN 114762041A CN 202080083336 A CN202080083336 A CN 202080083336A CN 114762041 A CN114762041 A CN 114762041A
Authority
CN
China
Prior art keywords
sensing control
distance sensing
audio data
distance
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080083336.2A
Other languages
English (en)
Inventor
辻实
知念徹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114762041A publication Critical patent/CN114762041A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Error Detection And Correction (AREA)

Abstract

本技术涉及能够基于内容创建者的意图实现距离感测控制的编码设备和方法、解码设备和方法、以及程序。该编码设备包括：对象编码单元，对对象的音频数据进行编码；元数据编码单元，对包括对象的位置信息的元数据进行编码；距离感测控制信息确定单元，确定用于音频数据的距离感测控制的距离感测控制信息；距离感测控制信息编码单元，对距离感测控制信息进行编码；多路复用单元，多路复用编码的音频数据、编码的元数据和编码的距离感测控制信息并生成编码数据。本技术可应用于内容再现系统。

Description

编码设备和方法、解码设备和方法、以及程序
技术领域
本技术涉及编码设备和方法、解码设备和方法、以及程序，并且更具体地，涉及能够基于内容创建者的意图实现距离感测控制的编码设备和方法、解码设备和方法、以及程序。
背景技术
近年来，基于对象的音频技术已经引起关注。
在基于对象的音频中，对象音频的数据由关于音频对象的波形信号和指示由与用作预定参考的收听位置的相对位置表示的音频对象的定位信息的元数据配置。
然后，基于元数据通过例如基于矢量的振幅平移(VBAP)将音频对象的波形信号渲染成期望数量的声道的信号并且再现(参见，例如，非专利文献1和非专利文献2)。
此外，作为与基于对象的音频相关的技术，例如，还提出了用于以用户可以指定任意收听位置的更高自由度实现音频再现的技术(例如，参见专利文献1)。
在该技术中，根据收听位置校正音频对象的位置信息，并且根据从收听位置到音频对象的距离的改变执行增益控制或滤波处理，使得伴随用户的收听位置的改变的频率特性或音量的改变(即，到音频对象的距离的感觉)被再现。
引用列表
非专利文献
非专利文献1：ISO/IEC 23008-3Information technology-High efficiencycoding and media delivery in heterogeneous environments-Part 3:3D audio
非专利文献2：Ville Pulkki,“Virtual Sound Source Positioning UsingVector Base Amplitude Panning”,Journal of AES,vol.45,no.6,pp.456-466,1997
专利文献
专利文献1：WO 2015107926 A
发明内容
本发明要解决的问题
然而，在上述技术中，用于再现对应于从收听位置到音频对象的距离的频率特性和音量的变化的增益控制和滤波处理是预定的。
因此，当内容创建者期望基于与频率特性和音量的变化不同的方式再现距离感时，不能再现这种距离感。即，不可能实现基于内容创建者的意图的距离感测控制。
鉴于这种情况做出了本技术，并且其目的是基于内容创建者的意图实现距离感控制。
问题的解决方案
根据本技术的第一方面的编码装置包括：对象编码单元，对对象的音频数据进行编码；元数据编码单元，对包括对象的位置信息的元数据进行编码；距离感测控制信息确定单元，确定用于对音频数据执行的距离感测控制处理的距离感测控制信息；距离感测控制信息编码单元，对距离感测控制信息进行编码；以及多路复用器，其多路复用编码的音频数据、编码的元数据和编码的距离感测控制信息以生成编码数据。
根据本技术的第一方面的编码方法或程序包括以下步骤：对对象的音频数据进行编码；对包括对象的位置信息的元数据进行编码；确定用于对所述音频数据执行的距离感测控制处理的距离感测控制信息；对所述距离感测控制信息进行编码；并且
将所述编码的音频数据、所述编码的元数据和所述编码的距离感测控制信息进行复用以生成编码数据。
在本技术的第一方面中，对对象的音频数据进行编码，对包括对象的位置信息的元数据进行编码，确定用于对音频数据执行的距离感测控制处理的距离感测控制信息，对距离感测控制信息进行编码，将编码的音频数据、编码的元数据和编码的距离感测控制信息进行复用以生成编码数据。
根据本技术的第二方面的解码设备包括：解复用器，解复用编码数据以提取对象的编码音频数据、包括对象的位置信息的编码元数据、以及用于对音频数据执行的距离感测控制处理的编码距离感测控制信息；对象解码单元，解码编码的音频数据；元数据解码单元，解码编码的元数据；距离感测控制信息解码单元，解码编码的距离感测控制信息；距离感测控制处理单元，基于所述距离感测控制信息对所述对象的所述音频数据执行所述距离感测控制处理；以及渲染处理单元，基于通过距离感测控制处理获得的音频数据和元数据执行再现处理，以生成用于再现对象的声音的再现音频数据。
根据本技术的第二方面的解码方法或程序包括以下步骤：解复用编码数据以提取对象的编码音频数据、包括对象的位置信息的编码元数据、以及用于对音频数据执行的距离感测控制处理的编码距离感测控制信息；解码所述编码的音频数据；解码所述编码的元数据；解码所述编码的距离感测控制信息；基于所述距离感测控制信息对所述对象的所述音频数据执行所述距离感测控制处理；以及基于通过距离感测控制处理获得的音频数据和元数据执行呈现处理，以生成用于再现对象的声音的再现音频数据。
在本技术的第二方面中，将编码数据解复用以提取对象的编码的音频数据，编码的元数据包括对象的位置信息，以及用于对音频数据执行的距离感测控制处理的编码的距离感测控制信息，对编码的音频数据进行解码，对编码的元数据进行解码，解码编码的所述距离感测控制信息，基于所述距离感测控制信息对所述对象的所述音频数据执行所述距离感测控制处理，并且基于通过距离感测控制处理获得的音频数据和元数据执行渲染处理，以生成用于再现对象的声音的再现音频数据。
附图说明
图1为示出编码设备的配置实例的示图。
图2为示出解码设备的配置实例的示图。
图3是示出了距离感测控制处理单元的配置实例的示图。
图4是示出了混响处理单元的配置实例的示图。
图5是用于描述增益控制处理的控制规则的实例的示图。
图6是用于描述通过高架滤波器的滤波器处理的控制规则的实例的示图。
图7是用于描述通过低架滤波器的滤波器处理的控制规则的实例的示图。
图8是用于描述混响处理的控制规则的实例的示图。
图9是用于描述湿分量的生成的图。
图10是用于描述湿分量的生成的示图。
图11是示出距离感测控制信息的实例的示图。
图12是示出增益控制的参数配置信息的实例的示图。
图13是示出滤波处理的参数配置信息的实例的示图。
图14是示出混响处理的参数配置信息的实例的示图。
图15是用于描述编码处理的流程图。
图16是用于描述解码处理的流程图。
图17是示出用于获得增益值的表和函数的实例的示图。
图18是示出增益控制的参数配置信息的实例的示图。
图19是示出了距离感测控制信息的实例的示图。
图20是示出了距离感测控制信息的实例的示图。
图21是示出了距离感测控制处理单元的配置实例的示图。
图22是示出了距离感测控制信息的实例的示图。
图23是示出计算机的配置实例的示图。
具体实施方式
在下文中，将参考附图描述应用本技术的实施方式。
<第一实施方式>
<编码设备的配置实例>
本技术涉及再现包括一个或多个音频对象的声音的基于对象的音频的音频内容。
在下文中，音频对象也被简称为对象，并且音频内容也被简称为内容。
在本技术中，将由内容创建者设置并且再现从收听位置到对象的距离感的用于距离感控制处理的距离感控制信息与对象的音频数据一起传输至解码侧。因此，可以实现基于内容创建者的意图的距离感测控制。
这里，距离感测控制处理是用于在再现对象的声音时再现从收听位置到对象的距离感测的处理，即，用于将距离感测添加到对象的声音的处理，并且是通过组合执行任意一个或多个处理步骤实现的信号处理。
具体地，例如，在距离意义控制处理中，执行对音频数据的增益控制处理、用于增加频率特性和各种声学效果的滤波处理、混响处理等。
用于使解码端重新配置这种距离感知的控制处理的信息是距离感知的控制信息，距离感知的控制信息包括配置信息和控制规则信息。即距离感应控制信息包括配置信息和控制规则信息。
例如，配置距离感测控制信息的配置信息是通过参数化由内容创建者设置的距离感测控制处理的配置而获得的信息，并且指示要组合执行以实现距离感测控制处理的一个或多个信号处理步骤。
更具体地，配置信息指示在距离感测控制处理中包括的信号处理步骤的数目、在这样的信号处理中执行的处理和处理的顺序。
应注意，在预先确定配置距离感测控制处理的一个或多个信号处理步骤以及执行这些信号处理步骤的顺序的情况下，距离感测控制信息不一定需要包括配置信息。
此外，控制规则信息是用于获得参数的信息，该参数是通过在配置距离感测控制处理的每个信号处理步骤中将由内容创建者设置的控制规则参数化而获得的，并且该参数被用在配置距离感测控制处理的每个信号处理步骤中。
更具体地，控制规则信息指示用于配置距离感测控制处理的每个信号处理步骤的参数以及参数根据从收听位置到对象的距离而改变的控制规则。
在编码端，这种距离感应控制信息以及每个对象的音频数据被编码并传输至解码端。
此外，在解码侧上，基于距离感测控制信息重新配置距离感测控制处理，并且对每个对象的音频数据执行距离感测控制处理。
此时，基于包含在距离感测控制信息中的控制规则信息确定与从收听位置到对象的距离对应的参数，并且基于该参数执行配置距离感测控制处理的信号处理。
然后，基于通过距离感测控制处理获得的音频数据执行3D音频渲染处理，并且生成用于再现内容的声音(即，对象的声音)的再现音频数据。
在下文中，将描述应用本技术的更具体的实施方式。
例如，应用本技术的内容再现系统包括：编码设备，对包括在内容中的一个或多个对象中的每个的音频数据和距离感测控制信息进行编码以生成编码数据；以及解码设备，接收编码数据的供给以生成再现音频数据。
例如，配置这种内容再现系统的编码设备被配置为如图1中所示。
图1中示出的编码设备11包括对象编码单元21、元数据编码单元22、距离感测控制信息确定单元23、距离感测控制信息编码单元24和多路复用器25。
包括在内容中的一个或多个对象中的每个的音频数据被提供给对象编码单元21。音频数据是用于再现对象的声音的波形信号(音频信号)。
对象编码单元21编码提供的每个对象的音频数据，并且将得到的编码的音频数据提供给多路复用器25。
每个对象的音频数据的元数据被提供给元数据编码单元22。
元数据至少包括指示对象在空间中的绝对位置的位置信息。位置信息是指示物体在绝对坐标系(即，例如基于空间中的预定位置的三维正交坐标系)中的位置的坐标。此外，元数据可包括用于对对象的音频数据执行增益控制(增益校正)的增益信息等。
元数据编码单元22编码供应的每个对象的元数据，并且将所生成的编码元数据供应给多路复用器25。
距离感测控制信息确定单元23根据用户的指定操作等确定距离感测控制信息，并且将所确定的距离感测控制信息提供给距离感测控制信息编码单元24。
例如，距离感测控制信息确定单元23根据用户的指定操作获取用户指定的配置信息和控制规则信息，从而确定包括配置信息和控制规则信息的距离感测控制信息。
此外，例如，距离感测控制信息确定单元23可基于内容的每个对象的音频数据、关于内容的信息(诸如，内容的类型)、关于内容的再现空间的信息等，确定距离感测控制信息。
应注意，在配置距离感测控制处理的每个信号处理步骤以及信号处理步骤的处理顺序在解码侧已知的情况下，配置信息可以不包括在距离感测控制信息中。
距离感测控制信息编码单元24对从距离感测控制信息确定单元23提供的距离感测控制信息进行编码，并且将所得编码的距离感测控制信息提供给多路复用器25。
多路复用器25多路复用从对象编码单元21提供的编码音频数据、从元数据编码单元22提供的编码元数据、以及从距离感测控制信息编码单元24提供的编码距离感测控制信息，以生成编码数据(代码串)。多路复用器25经由通信网络等将通过多路复用获得的编码数据发送(传输)至解码设备。
<解码设备的配置实例>
此外，例如，如图2所示，配置包括在内容再现系统中的解码设备。
图2中所示的解码设备51包括解复用器61、对象解码单元62、元数据解码单元63、距离感测控制信息解码单元64、用户接口65、距离计算单元66、距离感测控制处理单元67以及3D音频渲染处理单元68。
解复用器61接收从编码装置11发送的编码数据，并且对接收的编码数据进行解复用，以从编码数据中提取编码的音频数据、编码的元数据和编码的距离感测控制信息。
解复用器61将编码的音频数据提供给对象解码单元62，将编码的元数据提供给元数据解码单元63，并且将编码的距离感测控制信息提供给距离感测控制信息解码单元64。
对象解码单元62解码从解复用器61中供应的编码的音频数据，并且将所生成的音频数据供应给距离感测控制处理单元67。
元数据解码单元63解码从解复用器61中供应的编码元数据，并且将所生成的元数据供应给距离感测控制处理单元67和距离计算单元66。
距离感测控制信息解码单元64解码从解复用器61中提供的编码的距离感测控制信息，并且将所生成的距离感测控制信息提供给距离感测控制处理单元67。
用户接口65例如根据用户的操作等将指示用户指定的收听位置的收听位置信息提供至距离计算单元66、距离感测控制处理单元67以及3D音频渲染处理单元68。
在此，由收听位置信息指示的收听位置是收听再现空间中的内容的声音的收听者的绝对位置。例如，收听位置信息是指示与包括在元数据中的对象的位置信息的绝对坐标系相同的绝对坐标系中的收听位置的坐标。
距离计算单元66基于从元数据解码单元63提供的元数据和从用户接口65提供的收听位置信息，为每个对象计算从收听位置到对象的距离，并且将表示计算结果的距离信息提供给距离感测控制处理单元67。
基于从元数据解码单元63提供的元数据、从距离感测控制信息解码单元64提供的距离感测控制信息、从用户接口65提供的收听位置信息、以及从距离计算单元66提供的距离信息，距离感测控制处理单元67对从对象解码单元62提供的音频数据执行距离感测控制处理。
此时，距离感测控制处理单元67基于控制规则信息和距离信息获取参数，并且基于获取的参数对音频数据执行距离感测控制处理。
通过这种距离感测控制处理，生成对象的干分量的音频数据和湿分量的音频数据。
这里，干分量的音频数据是通过对原始对象的音频数据(诸如，对象的直达声音分量)执行一个或多个处理步骤而获得的音频数据。
原始对象的元数据(即，从元数据解码单元63输出的元数据)被用作干分量的音频数据的元数据。
并且，湿分量的音频数据是对原始对象的音频数据进行一个或多个处理步骤得到的音频数据，如对象声音的混响分量。因此，可以说，生成湿组件的音频数据是生成与原始对象相关的新对象的音频数据。
在距离感测控制处理单元67中，原始对象的元数据的必要数据、控制规则信息、距离信息以及收听位置信息被适当地用于生成湿分量的音频数据的元数据。
该元数据包括至少指示湿组件的对象的位置的位置信息。
例如，湿分量的对象的位置信息是由表示在再现空间中从收听者观看的对象的位置的在水平方向上的角度(水平角度)、在高度方向上的角度(垂直角度)、以及表示从收听位置到对象的距离的半径表示的极坐标。
距离感测控制处理单元67将干分量的音频数据和元数据以及湿分量的音频数据和元数据提供给3D音频呈现处理单元68。
3D音频渲染处理单元68基于从距离感测控制处理单元67提供的音频数据和元数据以及从用户接口65提供的收听位置信息执行3D音频渲染处理，并且生成再现音频数据。
例如，3D音频渲染处理单元68执行VBAP作为3D音频渲染处理，VBAP是极坐标系中的渲染处理等。
在这种情况下，对于干分量的音频数据，3D音频渲染处理单元68基于包括在干分量的对象的元数据中的位置信息和收听位置信息，生成由极坐标表示的位置信息，并且将所获得的位置信息用于渲染处理。该位置信息是由表示从收听者观看的对象的相对位置的水平角、垂直角、以及表示从收听位置到对象的距离的半径表示的极坐标。
通过这样的再现处理，例如，生成包括与配置用作输出目的地的扬声器系统的多个扬声器相对应的声道的音频数据的多声道再现音频数据。
3D音频渲染处理单元68将通过渲染处理获得的再现音频数据输出到后续阶段。
<距离感测控制处理单元的配置实例>
接下来，将描述解码设备51的距离感测控制处理单元67的具体配置实例。
应注意，此处，将描述提前确定距离感测控制处理单元67的配置(即，配置距离感测控制处理的一个或多个处理步骤和处理的顺序)的实例。
在这种情况下，距离感测控制处理单元67被配置为例如如图3中所示。
图3中示出的距离感测控制处理单元67包括增益控制单元101、高架滤波器处理单元102、低架滤波器处理单元103以及混响处理单元104。
在本例中，作为距离感测控制处理，依次执行增益控制处理、高架滤波器的滤波处理、低架滤波器的滤波处理、混响处理。
增益控制单元101利用与控制规则信息和距离信息相对应的参数(增益值)对从对象解码单元62提供的对象的音频数据执行增益控制，并且将生成的音频数据提供给高架滤波器处理单元102。
高架滤波器处理单元102通过由与控制规则信息和距离信息相对应的参数确定的高架滤波器对从增益控制单元101提供的音频数据进行滤波处理，并将得到的音频数据提供给低架滤波器处理单元103。
在由高架滤波器的滤波处理中，音频数据的高频增益根据从收听位置到对象的距离被抑制。
低架滤波器处理单元103通过由与控制规则信息和距离信息相对应的参数确定的低架滤波器，对从高架滤波器处理单元102提供的音频数据执行滤波器处理。
在通过低架滤波器的滤波处理中，音频数据的低频根据从收听位置到对象的距离被提高(增强)。
低架滤波器处理单元103将通过滤波处理得到的声音数据提供给3D声音渲染处理单元68和混响处理单元104。
这里，从低架滤波器处理单元103输出的音频数据是上述原始对象的音频数据，即对象的干分量的音频数据。
混响处理单元104对从低架滤波器处理单元103供给的声音数据，利用与控制规则信息以及距离信息对应的参数(增益)进行混响处理，将其提供给3D声音渲染处理单元68。
在此，从混响处理单元104输出的声音数据是上述原始对象的混响成分等湿分量的声音数据。换言之，音频数据是湿组件的对象的音频数据。
<混响处理单元的结构例>
此外，更具体地说，混响处理单元104例如如图4所示那样构成。
在图4所示的实例中，混响处理单元104包括增益控制单元141、延迟生成单元142、梳状滤波器组143、全通滤波器组144、加法单元145、加法单元146、延迟生成单元147、梳状滤波器组148、全通滤波器组149、加法单元150、和加法单元151。
在该实例中，通过混响处理针对单声道音频数据生成立体混响分量(即，位于原始对象的左侧和右侧的两个湿分量)的音频数据。
增益控制单元141基于从控制规则信息和关于从低架滤波器处理单元103提供的干分量音频数据的距离信息获得的湿增益值，执行增益控制处理(增益校正处理)，并且将所生成的音频数据提供给延迟生成单元142和延迟生成单元147。
延迟生成单元142通过将音频数据保持一定时间段来延迟从增益控制单元141提供的音频数据，并且将延迟的音频数据提供给梳状滤波器组143。
此外，延迟生成单元142将通过延迟从增益控制单元141提供的音频数据而获得的两条音频数据提供给加法单元145，两条音频数据具有与提供给梳状滤波器组143的音频数据不同的延迟量，并且具有彼此不同的延迟量。
梳状滤波器组143包括多个梳状滤波器，通过多个梳状滤波器对从延迟生成单元142提供的音频数据执行滤波处理，并将生成的音频数据提供给全通滤波器组144。
全通滤波器组144包括多个全通滤波器，通过多个全通滤波器对从梳状滤波器组143提供的音频数据执行滤波处理，并且将生成的音频数据提供给加法单元146。
加法单元145将从延迟生成单元142提供的两条音频数据相加并且将生成的音频数据提供给加法单元146。
加法单元146将从全通滤波器组144中供应的音频数据与从加法单元145中供应的音频数据相加，并且将所生成的湿分量的音频数据供应给3D音频渲染处理单元68。
延迟生成单元147通过将音频数据保持一定时间段来延迟从增益控制单元141提供的音频数据，并且将延迟的音频数据提供给梳状滤波器组148。
此外，延迟生成单元147将通过延迟从增益控制单元141提供的音频数据而获得的两条音频数据提供给加法单元150，具有与提供给梳状滤波器组148的音频数据不同的延迟量，并且具有彼此不同的延迟量。
梳状滤波器组148包括多个梳状滤波器，通过多个梳状滤波器对从延迟生成单元147提供的音频数据执行滤波处理，并将生成的音频数据提供给全通滤波器组149。
全通滤波器组149包括多个全通滤波器，通过多个全通滤波器对从梳状滤波器组148供应的音频数据执行滤波处理，并且将所生成的音频数据供应给加法单元151。
加法单元150将从延迟生成单元147提供的两条音频数据相加并且将生成的音频数据提供给加法单元151。
加法单元151将从全通滤波器组149供应的音频数据与从加法单元150供应的音频数据相加，并且将所生成的湿分量的音频数据供应给3D音频渲染处理单元68。
注意，虽然在这里描述了针对一个对象生成立体(两个)湿分量的实例，但是可以针对一个对象生成一个湿分量，或者可以生成三个或更多个湿分量。此外，混响处理单元104的结构并不限定于图4所示的结构，也可以是其他结构。
<关于参数的控制规则>
如上所述，在构成距离感测控制处理单元67的各处理块中，用于处理块中的处理的参数(即，处理的特性)根据从收听位置到对象的距离而改变。
这里，将描述与从收听位置到对象的距离对应的参数的实例，即，参数的控制规则的实例。
例如，增益控制单元101将用于增益控制处理的增益值确定为与从收听位置到对象的距离对应的参数。
在这种情况下，例如，如图5所示，增益值根据从收听位置到对象的距离而改变。
例如，箭头Q11所示的部分表示与距离对应的增益值的变化。即，纵轴表示作为参数的增益值，横轴表示从收听位置到对象的距离。
如折线L11所示，当收听位置到对象的距离d在预定最小值Min和D0之间时，增益值为0.0dB，当距离d在D0和D1之间时，增益值随着距离d增加而线性减小。此外，当距离d是在D1和预定最大值Max之间时，增益值是-40.0dB。
因此，在图5中示出的实例中，可以看出，执行随着距离d增加而抑制音频数据的增益的控制。
作为具体实例，例如，在距离d是1m(＝D0)或更小的情况下，增益值被设置为0.0dB，并且当距离d在1m和100m(＝D1)之间时，增益值可以随着距离d增加而线性改变为-40.0dB。
这里，当参数改变的点被称为控制改变点时，在图5的实例中，折线L11中的距离d＝D0的点(位置)和距离d＝D1的点是控制改变点。
在这种情况下，例如，如箭头Q12所示，当与控制改变点对应的距离d＝D0处的增益值“0.0”和距离d＝D1处的增益值“-40.0”被发送至解码设备51时，解码设备51可获得任意距离d处的增益值。
此外，在高架滤波器处理单元102中，例如，如图6中的箭头Q21所示，执行随着从收听位置到对象的距离d增加而抑制高频带中的增益的滤波器处理。
应注意，在由箭头Q21表示的部分中，垂直轴表示作为参数的增益值，并且水平轴表示从收听位置到对象的距离d。
具体地，在该实例中，由高架滤波器处理单元102实现的高架滤波器由截止频率Fc、指示锐度的Q值以及截止频率Fc处的增益值确定。
换言之，在高架滤波器处理单元102中，通过由作为参数的截止频率Fc、Q值和增益值确定的高架滤波器来执行滤波处理。
箭头Q21所示的部分中的折线L21表示关于距离d确定的截止频率Fc处的增益值。
在该实例中，当距离d在最小值Min和D0之间时，增益值为0.0dB，并且当距离d在D0和D1之间时，增益值随着距离d增加而线性减小。
并且，当距离d是在D1和D2之间时，增益值随着距离d增加而线性减小，类似地，当距离d是在D2和D3之间并且距离d是在D3和D4之间时，增益值随着距离d增加而线性减小。此外，当距离d在D4和最大值Max之间时，增益值是-12.0dB。
因此，在图6中所示的实例中，可以看出，进行控制，其中，随着距离d增加，抑制音频数据中截止频率Fc附近的频率分量的增益。
作为具体实例，例如，在距离d是1m(＝D0)或更小的情况下，作为截止频率Fc的6kHz或更大的频率分量可以被设置为通过，并且在距离d是在1m的距离d和100m的距离d(＝D4)之间的情况下，6kHz或更大的频率分量可以随着距离d增加而变成-12.0dB。
并且，为了在解码设备51中实现这种高架滤波器，例如，如箭头Q22所示，仅需要针对距离d＝D0、D1、D2、D3和D4的五个控制改变点传输作为参数的截止频率Fc、Q值和增益值。
应注意，此处，描述了截止频率Fc为6kHz并且Q值为2.0而与距离d无关的实例，但是这些截止频率Fc和Q值也可以根据距离d而改变。
此外，在低架滤波处理单元103中，例如，如图7中的箭头Q31所示，进行滤波处理，其中低频增益随着从收听位置到对象的距离d的减小而被放大。
应注意，在由箭头Q31表示的部分中，垂直轴表示作为参数的增益值，并且水平轴表示从收听位置到对象的距离d。
具体地，在该实例中，通过截止频率Fc、指示锐度的Q值以及截止频率Fc处的增益值来确定由低架滤波器处理单元103实现的低架滤波器。
换言之，在低架滤波器处理单元103中，通过由作为参数的截止频率Fc、Q值和增益值确定的低架滤波器进行滤波处理。
箭头Q31所指示的部分中的折线L31指示相对于距离d确定的截止频率Fc处的增益值。
在该实例中，当距离d在最小值Min和D0之间时，增益值为3.0dB，并且当距离d在D0和D1之间时，增益值随着距离d增加而线性减小。此外，当距离d是在D1与最大值Max之间时，增益值是0.0dB。
因此，在图7所示的实例中，可以看出，进行控制，其中，随着距离d减小，音频数据中截止频率Fc附近的频率分量的增益被放大。
作为具体实例，例如，在距离d是3m(＝D1)以上的情况下，作为截止频率Fc以下的200Hz的频率分量可以被设置为通过，并且在距离d是在3m和10cm之间(＝D0)的情况下，随着距离d减小，200Hz以下的频率分量可以改变为+3.0dB。
此外，为了在解码设备51中实现这种低架滤波器，例如，如箭头Q32所示，仅需要仅针对距离d＝D0和D1的两个控制改变点传输作为参数的截止频率Fc、Q值和增益值。
应注意，此处，描述了截止频率Fc是200Hz并且Q值是2.0而与距离d无关的实例，但是这些截止频率Fc和Q值也可以根据距离d而改变。
另外，在混响处理单元104中，例如如图8的箭头Q41所示，进行随着从收听位置到物体的距离d增加，湿分量的增益(湿润增益值)增加的混响处理。
换言之，进行控制，其中，随着距离d增加，通过混响处理生成的湿分量(混响成分)与干分量的比例增加。要注意的是，湿增益值在这里是例如在图4中所示的增益控制单元141中的增益控制中使用的增益值。
在由箭头Q41表示的部分中，垂直轴表示湿增益值作为参数，水平轴表示从收听位置到对象的距离d。此外，折线L41表示针对距离d确定的湿增益值。
如折线L41所示，当收听位置到对象的距离d在最小值Min和D0之间时，湿增益值为负无穷大(-InfdB)，当距离d在D0和D1之间时，湿增益值随着距离d增加而线性增加。此外，当距离d是在D1与最大值Max之间时，湿增益值是-3.0dB。
由此，在图8所示的实例中，可以看出，执行控制，其中湿分量随着距离d增加而增加。
作为具体实例，例如，在距离d是1m(＝D0)或更小的情况下，湿分量的增益(湿增益值)被设置为-InfdB，并且在距离d在1m的距离d和50m(＝D1)之间的情况下，增益可以随着距离d增加而线性改变为-3.0dB。
此外，为了在解码设备51中实现这样的混响处理，例如，如箭头Q42所示，仅需要针对距离d＝D0和D1的两个控制改变点发送作为参数的湿增益值。
此外，在混响处理中，可以生成任意数量的湿分量(混响分量)的音频数据。
具体地，例如，如图9中所示，可针对一个对象的音频数据(即，单声道音频数据)生成立体混响分量的音频数据。
在该实例中，作为再现空间中的三维正交坐标系的XYZ坐标系的原点O是收听位置，并且一个对象OB11被布置在再现空间中。
现在，再现空间中任意对象的位置由指示从原点O观看的水平方向上的位置的水平角和指示从原点O观看的垂直方向上的位置的垂直角来表示，并且对象OB11的位置从水平角az和垂直角el被表示为(az,el)。
应注意，当连接原点O和对象OB11的直线是LN并且通过在XZ平面上投影直线LN获得的直线是LN时，水平角az是由直线LN'和Z轴形成的角。并且，竖直角el为直线LN与XZ平面形成的角。
在图9的示例中，对于对象OB11，两个对象OB12和对象OB13被生成为湿分量对象。
特别地，这里，当从原点0观看时，物体OB12和物体OB13相对于物体OB11布置在两侧对称的位置处。
也就是说，物体OB12和物体OB13分别布置在相对于物体OB11向左和向右偏移60度的位置处。
因此，物体OB12的位置是由水平角(az+60)和垂直角el表示的位置(az+60,el)，物体OB13的位置是由水平角(az-60)和垂直角el表示的位置(az-60,el)。
如上所述，在相对于物体OB11生成两侧对称位置处的湿分量的情况下，湿分量的位置可以由相对于物体OB11的位置的偏置角指定。例如，在该实例中，仅需要指定水平角的±60度的偏置角。
注意，虽然在此描述了生成相对于一个对象位于右侧和左侧的两个右侧和左侧湿分量的实例，但是对于一个对象生成的湿分量的数量可以是任何数量，并且例如，可以生成在上、下、左和右位置处的湿分量。
此外，例如，在如图9中所示生成两侧对称的湿分量的情况下，用于指定湿分量的位置的偏置角可以根据从收听位置到如图10中所示的对象的距离而改变。
在图10中由箭头Q51表示的部分中，示出了在作为图9中所示的湿分量的物体OB12和物体OB13之间的水平角的偏置角。
即，在箭头Q51的部分，纵轴表示水平角的偏置角，横轴表示从收听位置到对象OB11的距离d。
此外，折线L51表示作为针对每个距离d确定的左湿分量的物体OB12的偏置角。在该实例中，随着距离d减小，偏置角增加，并且物体OB12被布置在远离原始物体OB11的位置处。
另一方面，折线L52表示作为针对每个距离d确定的右湿分量的物体OB13的偏置角。在该实例中，随着距离d减小，偏置角减小，并且物体OB13布置在远离原始物体OB11的位置处。
在偏置角以这种方式根据距离d改变的情况下，例如，如箭头Q52所示，当偏置角仅针对距离d＝D0的控制改变点被发送到解码设备51时，可在内容创建者预期的位置处生成湿分量。
如上所述，通过利用对应于从收听位置到物体的距离d的配置和参数执行距离感测控制处理，能够适当地再现距离感测。即，可以使收听者感受到对象的距离的感觉。
此时，当内容创建者在每个距离d处自由地确定参数时，可以实现基于内容创建者的意图的距离感控制。
应注意，与上述距离d对应的参数的控制规则仅是实例，并且通过允许内容创建者自由地指定控制规则，可改变如何感受到对象的距离的感觉。
例如，由于声音相对于距离的改变在室外和室内之间是不同的，因此需要根据要再现的空间是室外还是室内来改变控制规则。
因此，例如，通过根据内容创建者期望与内容一起再现的空间来确定(指定)控制规则，可以实现基于内容创建者的意图的距离感控制，并且可以执行具有更高真实感的内容再现。
此外，在距离感测控制处理单元67中，可根据内容(再现音频数据)的再现环境进一步调整用于距离感测控制处理的参数。
具体而言，例如，可以根据内容的再现环境来调整混响处理中所使用的湿分量的增益、即上述的湿增益值。
当在真实空间中通过扬声器等实际再现内容时，在真实空间中发生从扬声器等输出的声音的混响。此时，发生多少混响取决于再现内容的真实空间，即，再现环境。
例如，当在高度混响的环境中再现内容时，将混响进一步添加到再现的内容的声音。因此，在实际再现内容的情况下，存在收听者感觉到通过距离感控制处理实现的距离感(即，比内容创建者预期的距离感更远的距离感)的情况。
因此，在再现环境中的混响小的情况下，根据预设控制规则(即，控制规则信息)执行距离感测控制处理，但是在再现环境中的混响相对大的情况下，可执行根据控制规则确定的湿增益值的微调整。
具体地，例如，假设用户等操作用户接口65并且输入关于再现环境的混响的信息，诸如再现环境的类型信息(诸如室外或室内)以及指示再现环境是否是高度混响的信息。在这种情况下，用户接口65将关于由用户输入的再现环境的混响的信息等供应至距离感测控制处理单元67。
然后，距离感测控制处理单元67基于从用户接口65提供的控制规则信息、距离信息以及关于再现环境的混响的信息计算湿增益值。
具体地，距离感测控制处理单元67基于控制规则信息和距离信息计算湿增益值，并且基于与再现环境的混响有关的信息执行关于再现环境是否是高度混响的确定处理。
这里，例如，在提供指示再现环境是高度混响的信息或指示高度混响的再现环境的类型信息作为关于再现环境的混响的信息的情况下，确定再现环境是高度混响的。
然后，距离感测控制处理单元67在判断为再生环境不是高混响的情况下，即，判断为再生环境不是低混响的情况下，将计算出的湿增益值作为最终的湿增益值提供给混响处理单元104。
另一方面，距离感测控制处理单元67在判断为再生环境为强混响的情况下，利用-6dB等规定的校正值校正(调整)计算出的湿路增益值，将校正后的湿路增益值作为最终的湿路增益值提供给混响处理单元104。
注意，湿增益值校正值可以是预定值，或者可以由距离感测控制处理单元67基于关于再现环境的混响的信息(即，再现环境中的混响程度)来计算。
通过以这种方式根据再现环境调整湿增益值，可以改善由内容的再现环境引起的从内容创建者预期的距离感的偏差。
<距离感测控制信息的传输>
接下来，将描述上述距离感测控制信息的传输方法。
例如，由距离感测控制信息编码单元24编码的距离感测控制信息可具有图11中所示的配置。
在图11中，“DistanceRender_Attn()”指示表示在增益控制单元101中使用的参数的控制规则的参数配置信息。
此外，“DistanceRender_Filt()”指示表示在高架滤波器处理单元102或低架滤波器处理单元103中使用的参数的控制规则的参数配置信息。
此处，因为高架滤波器和低架滤波器可由相同参数配置表示，所以高架滤波器和低架滤波器由参数配置信息DistanceRender_Filt()的相同语法描述。因此，距离感测控制信息包括高架滤波器处理单元102的参数配置信息DistanceRender_Filt()和低架滤波器处理单元103的参数配置信息DistanceRender_Filt()。
此外，“DistanceRender_Revb()”指示表示在混响处理单元104中使用的参数的控制规则的参数配置信息。距离感测控制信息中包括的参数配置信息DistanceRender_Attn()、参数配置信息DistanceRender_Filt()和参数配置信息DistanceRender_Revb()对应于控制规则信息。
此外，在图11中所示的距离感测控制信息中，配置距离感测控制处理的四个处理步骤的参数配置信息按照执行处理步骤的顺序布置并存储。
因此，在解码设备51中，可基于距离感测控制信息规定在图3中所示的距离感测控制处理单元67的配置。换言之，根据图11中所示的距离感测控制信息，可以指定距离感测控制处理中包括多少个处理步骤、在那些处理步骤中执行什么处理以及按什么顺序执行处理。因此，在该实例中，可以说距离感测控制信息基本上包括配置信息。
此外，图11中所示的参数配置信息DistanceRender_Attn()、参数配置信息DistanceRender_Filt()和参数配置信息DistanceRender_Revb()被配置为例如图12至图14中所示。
图12是示出增益控制处理的参数配置信息DistanceRender_Attn()的配置实例(即，语法实例)的示图。
在图12中，“num_points”表示增益控制处理的参数的控制改变点的数量。例如，在图5所示的实例中，距离d＝D0的点(位置)和距离d＝D1的点是控制改变点。
在图12的实例中，指示对应于控制改变点的距离d的“距离[i]”和作为距离d处的参数的增益值“增益[i]”被包括与控制改变点的数量一样多。当以这种方式传输每个控制改变点的距离距离[i]和增益值增益[i]时，图5所示的增益控制可在解码设备51中实现。
图13是示出滤波处理的参数配置信息DistanceRender_Filt()的配置实例(即，语法实例)的示图。
在图13中，“filt_type”表示指示滤波器类型的索引。
例如，索引filt_type“0”指示低架滤波器，索引filt_type“1”指示高架滤波器，并且索引filt_type“2”指示峰值滤波器。
此外，索引filt_type“3”指示低通滤波器，并且索引filt_type“4”指示高通滤波器。
因此，例如，当索引filt_type的值是“0”时，可以看出参数配置信息DistanceRender_Filt()包括关于用于指定低架滤波器的配置的参数的信息。
应注意，在图3中示出的实例中，高架滤波器和低架滤波器已经被描述为配置距离感测控制处理的滤波器处理的滤波器实例。
另一方面，在图13中所示的实例中，还可使用峰值滤波器、低通滤波器、高通滤波器等。
注意，作为用于配置距离感测控制处理的滤波器处理的滤波器，可以仅使用低架滤波器和高架滤波器中的一些、峰值滤波器、低通滤波器和高通滤波器，或者可以使用其他滤波器。
在图13中所示的参数配置信息DistanceRender_Filt()中，索引filt_type之后的区域包括用于指定由索引filt_type表示的滤波器的配置的参数等。
即，“num_points”表示滤波处理的参数的控制改变点的数量。
此外，指示与控制改变点对应的距离d的“距离[i]”、作为距离d处的参数的频率“freq[i]”、Q值“Q[i]”、和增益值“增益[i]”被包括与由“num_points”指示的控制改变点的数量一样多。
例如，当索引filt_type是表示低架滤波器的“0”时，作为参数的频率“freq[i]”、Q值“Q[i]”和增益值“增益[i]”对应于图7中所示的截止频率Fc、Q值和增益值。
注意，频率freq[i]是当滤波器类型是低架滤波器和高架滤波器、低通滤波器或高通滤波器时的截止频率，但是当滤波器类型是峰值滤波器时是中心频率。
如上所述，当发送每个控制改变点的距离距离[i]、频率“freq[i]”、Q值“Q[i]”和增益值“增益[i]”时，图6中所示的高架滤波器和图7中所示的低架滤波器可在解码设备51中实现。
图14是示出混响处理的参数配置信息DistanceRender_Revb()的配置实例(即，语法实例)的示图。
在图14中，“num_points”表示混响处理的参数的控制改变点的数量，并且在该实例中，包括与那些控制改变点对应的距离d的“距离[i]”以及作为距离d处的参数的湿增益值“wet_gain[i]”与控制改变点的数量一样多。例如，湿增益值wet_gain[i]对应于图8中所示的湿增益值。
此外，在图14中，“num_wetobjs”表示生成的湿分量的数量，即，湿分量的对象的数量，并且表示湿分量的位置的偏置角与湿分量的数量一样多地被存储。
即，“wet_azimuth_offset[i][j]”表示在与第i个控制改变点对应的距离距离[i]处的第j个湿分量(对象)的水平角的偏置角。例如，偏置角wet_azimuth_offset[i][j]对应于图10中示出的水平角的偏置角。
类似地，“wet_elevation_offset[i][j]”表示在对应于第i个控制改变点的距离距离[i]处的第j个湿分量的垂直角的偏置角。
注意，所生成的湿分量的数量num_wetobjs由解码设备51进行的混响处理来确定，并且例如，湿分量的数量num_wetobjs从外部给出。
如上所述，在图14的实例中，每个控制改变点处的距离距离[i]和湿增益值wet_gain[i]，以及每个湿分量的偏置角wet_azimuth_offset[i][j]和wet_elevation_offset[i][j]被发送至解码设备51。
因此，在解码设备51中，例如，可实现在图4中示出的混响处理单元104，并且可获得干分量的音频数据和每个湿分量的音频数据和元数据。
<编码处理的描述>
接下来，将描述内容再现系统的操作。
首先，将参考图15中的流程图描述由编码设备11执行的编码处理。
在步骤S11中，对象编码单元21编码提供的每个对象的音频数据，并且将获得的编码音频数据提供给多路复用器25。
在步骤S12中，元数据编码单元22编码供应的每个对象的元数据，并且将获得的编码元数据供应给多路复用器25。
在步骤S13中，距离感测控制信息确定单元23根据用户的指定操作等确定距离感测控制信息，并且将所确定的距离感测控制信息提供给距离感测控制信息编码单元24。
在步骤S14中，距离感测控制信息编码单元24对从距离感测控制信息确定单元23提供的距离感测控制信息进行编码，并且将获得的编码的距离感测控制信息提供给多路复用器25。因此，例如，获得图11中所示的距离感测控制信息(编码的距离感测控制信息)并且将其提供给多路复用器25。
在步骤S15中，多路复用器25多路复用来自对象编码单元21的编码音频数据、来自元数据编码单元22的编码元数据、以及来自距离感测控制信息编码单元24的编码距离感测控制信息，以生成编码数据。
在步骤S16中，多路复用器25经由通信网络等将通过多路复用获得的编码数据发送给解码设备51，并且编码过程结束。
如上所述，编码设备11生成包括距离感测控制信息的编码数据，并且将编码数据发送给解码设备51。
如上所述，通过将除了音频数据和每个对象的元数据之外的距离感测控制信息传输至解码设备51，可以实现基于在解码设备51侧的内容创建者的意图的距离感测控制。
<解码处理的描述>
而且，在编码装置11中执行参照图15描述的编码处理时，在解码设备51中执行解码处理。在下文中，将参考图16中的流程图描述通过解码设备51进行的解码处理。
在步骤S41中，解复用器61接收从编码装置11发送的编码数据。
在步骤S42中，解复用器61多路分解所接收的编码数据，并且从编码数据中提取编码的音频数据、编码的元数据和编码的距离感测控制信息。
解复用器61将编码的音频数据提供给对象解码单元62，将编码的元数据提供给元数据解码单元63，并且将编码的距离感测控制信息提供给距离感测控制信息解码单元64。
在步骤S43中，对象解码单元62解码从解复用器61中供应的编码的音频数据，并且将所获得的音频数据供应给距离感测控制处理单元67。
在步骤S44中，元数据解码单元63解码从解复用器61中供应的编码元数据，并且将所获得的元数据供应给距离感测控制处理单元67和距离计算单元66。
在步骤S45中，距离感测控制信息解码单元64解码从解复用器61中供应的编码的距离感测控制信息，并且将所获得的距离感测控制信息供应给距离感测控制处理单元67。
在步骤S46中，距离计算单元66基于从元数据解码单元63提供的元数据和从用户接口65提供的收听位置信息计算从收听位置到对象的距离，并且将表示计算结果的距离信息提供给距离感测控制处理单元67。在步骤S46中，针对每个对象获得距离信息。
在步骤S47中，距离感测控制处理单元67基于从对象解码单元62供应的音频数据、从元数据解码单元63供应的元数据、从距离感测控制信息解码单元64供应的距离感测控制信息、从用户接口65供应的收听位置信息、以及从距离计算单元66供应的距离信息执行距离感测控制处理。
例如，在距离感测控制处理单元67具有在图3中示出的配置并且提供在图11中示出的距离感测控制信息的情况下，距离感测控制处理单元67基于距离感测控制信息和距离信息计算在每个处理步骤中使用的参数。
具体地，例如，距离感测控制处理单元67基于每个控制改变点的距离距离[i]和增益值增益[i]获得在由距离信息表示的距离d处的增益值，并且将增益值提供给增益控制单元101。
此外，基于高架滤波器的每个控制改变点的距离距离[i]、频率freq[i]、Q值Q[i]和增益值增益[i]，距离感测控制处理单元67获得在由距离信息表示的距离d处的截止频率、Q值和增益值，并且将截止频率、Q值和增益值提供给高架滤波器处理单元102。
因此，高架滤波器处理单元102可以构造与距离信息所指示的距离d相对应的高架滤波器。
与高架滤波器的情况类似，距离感测控制处理单元67获得在由距离信息表示的距离d处的低架滤波器的截止频率、Q值和增益值，并将它们提供给低架滤波器处理单元103。因此，低架滤波器处理单元103可构造对应于由距离信息表示的距离d的低架滤波器。
此外，距离感测控制处理单元67基于距离距离[i]和各控制改变点的湿增益值wet_gain[i]，获得由距离信息表示的距离d处的湿增益值，并将该湿增益值提供给混响处理单元104。
因此，图3所示的距离感测控制处理单元67由距离感测控制信息构造。
此外，距离感测控制处理单元67将水平角的偏置角wet_azimuth_offset[i][j]和垂直角的偏置角wet_elevation_offset[i][j]、对象的元数据、以及收听位置信息提供至混响处理单元104。
增益控制单元101基于从距离感测控制处理单元67提供的增益值对对象的音频数据执行增益控制处理，并且将所生成的音频数据提供给高架滤波器处理单元102。
高架滤波器处理单元102通过由从距离感测控制处理单元67提供的截止频率、Q值和增益值确定的高架滤波器对从增益控制单元101提供的音频数据进行滤波处理，并且将所得到的音频数据提供给低架滤波器处理单元103。
低架滤波器处理单元103通过由从距离感测控制处理单元67提供的截止频率、Q值和增益值确定的低架滤波器对从高架滤波器处理单元102提供的音频数据执行滤波处理。
距离感测控制处理单元67将通过低架滤波器处理单元103中的滤波处理获得的音频数据与干分量的对象的元数据一起作为干分量的音频数据提供给3D音频渲染处理单元68。干分量的元数据是从元数据解码单元63提供的元数据。
另外，低架滤波器处理单元103将通过滤波处理而得到的声音数据提供给混响处理单元104。
然后，例如，如参考图4所描述的，混响处理单元104基于针对干分量的音频数据的湿增益值执行增益控制、对音频数据的延迟处理、使用梳状滤波器和全通滤波器的滤波处理等，并且生成湿分量的音频数据。
此外，混响处理单元104基于偏置角wet_azimuth_offset[i][j]和偏置角wet_elevation_offset[i][j]、对象(干分量)的元数据、以及收听位置信息，计算湿分量的位置信息，并且生成包括位置信息的湿分量的元数据。
混响处理单元104将这样生成的各湿分量的声音数据和元数据供给到3D声音渲染处理单元68。
在步骤S48中，3D音频渲染处理单元68基于从距离感测控制处理单元67提供的音频数据和元数据以及从用户接口65提供的收听位置信息执行渲染处理，并且生成再现音频数据。例如，在步骤S48中，执行VBAP等作为渲染处理。
当生成再现音频数据时，3D音频渲染处理单元68将生成的再现音频数据输出到后续阶段，并且解码处理结束。
如上所述，解码设备51基于包括在编码数据内的距离感测控制信息执行距离感测控制处理，并且生成再现音频数据。以这种方式，可以实现基于内容创建者的意图的距离感觉控制。
<第一实施方式的第一变形例>
<参数配置信息的另一实例>
要注意的是，虽然上面已经描述了在图12、图13和图14中所示的实例作为参数配置信息，但是参数配置信息不限于此，并且可以使用任何参数配置信息，只要可获得距离感测控制处理的参数。
例如，还可以想到，对于配置距离感测控制处理的一个或多个处理步骤中的每个，预先准备用于获得从收听位置到对象的距离d的参数的表、函数(数学表达式)等，并且在参数配置信息中包括指示表或函数的索引。在这种情况下，表示表或函数的索引是表示参数的控制规则的控制规则信息。
在表示用于获得参数的表或函数的索引以这种方式被设置为控制规则信息的情况下，例如，如图17所示，可准备用于获得作为参数的增益控制处理的增益值的多个表和函数。
在该实例中，例如，为索引值“1”准备用于获得增益控制处理的增益值的函数“20log10(1/d)2”，并且通过将距离d代入该函数可获得与距离d对应的增益控制处理的增益值。
此外，例如，为索引值“2”准备用于获得增益控制处理的增益值的表，并且当使用该表时，作为参数的增益值随着距离d增加而减小。
解码设备51的距离感测控制处理单元67预先与这样的每个索引相关联地保存表格或功能。
在这种情况下，例如，图11中所示的参数配置信息DistanceRender_Attn()具有图18中所示的配置。
在图18的实例中，参数配置信息DistanceRender_Attn()包括表示由内容创建者指定的函数或表的索引“index”。
因此，距离感测控制处理单元67读取与指数“index”相关联地保持的表格或函数，并且基于所读取的表格或函数以及从收听位置到对象的距离d，获得增益值作为参数。
以这种方式，当预先定义多个模式(即，用于获得与距离d对应的参数的多个表格或函数)时，内容创建者可从这些模式中指定(选择)期望的模式，从而根据他/她的意图执行距离感控制处理。
注意，这里，已经描述了用于获得增益控制处理的参数的表或函数由索引指定的实例。但是，本发明不限于此，在高架滤波器等的滤波处理或混响处理的情况下，也能够同样地通过指标指定参数的控制规则。
<第一实施方式的第二变形例>
<距离感测控制信息的另一实例>
此外，在以上描述中，已经描述了对于所有对象用相同的控制规则确定与距离d对应的参数的实例。然而，可针对每个对象设置(指定)参数的控制规则。
在这种情况下，例如，如图19中所示，配置距离感测控制信息。
在图19中所示的实例中，“num_objs”表示包含在内容中的对象的数量，并且例如，对象的数量num_objs从外部提供给距离感测控制信息确定单元23。
在距离感测控制信息中，包括对象是否是距离感测控制的目标的标志“isDistanceRenderFlg”，与对象的数量num_objs一样多。
例如，在标记的值是第i个对象的isDistanceRenderFlg的值是“1”的情况下，确定对象是距离感测控制的目标，并且对对象的音频数据执行距离感测控制处理。
在标志的值为第i个对象的isDistanceRenderFlg为“1”的情况下，距离感测控制信息包括对象的参数配置信息DistanceRender_Attn()、两个参数配置信息DistanceRender_Filt()和参数配置信息DistanceRender_Revb()。
因此，在这种情况下，如上所述，距离感测控制处理单元67对目标对象的音频数据执行距离感测控制处理，并且输出所获得的音频数据和干分量和湿分量的元数据。
另一方面，在标记的值是第i个对象的isDistanceRenderFlg的值是“0”的情况下，确定对象不是距离感测控制的目标，即，不是目标，并且不对对象的音频数据执行距离感测控制处理。
因此，对于这样的对象，从距离感测控制处理单元67向3D音频渲染处理单元68供应对象的音频数据和元数据而不改变。
在标志的值为第i个对象的isDistanceRenderFlg为“0”的情况下，距离感测控制信息不包括对象的参数配置信息DistanceRender_Attn()、参数配置信息DistanceRender_Filt()和参数配置信息DistanceRender_Revb()。
如上所述，在图19中所示的实例中，距离感测控制信息编码单元24编码每个对象的参数配置信息。换言之，为每个对象编码距离感测控制信息。因此，可以针对每个对象实现基于内容创建者的意图的距离感控制，并且可以执行具有更高真实感的内容再现。
具体地，在该实例中，当标记isDistanceRenderFlg存储在距离感测控制信息中时，可以设置是否对每个对象执行距离感测控制，然后对每个对象执行不同的距离感测控制。
例如，对于人声的对象，通过设定不同于该对象以外的其他对象的控制规则或不执行距离感觉控制本身，可以使收听者感受到较小的距离感觉，即，再现收听者总是容易听到的声音(容易听到的声音)。
<第一实施方式的第三变形例>
<距离感测控制信息的另一实例>
此外，参数的控制规则可以不针对每个对象设置(指定)，而是针对包括一个或多个对象的每个对象组设置(指定)。
在这种情况下，距离感测控制信息例如如图20所示配置。
在图20所示的实例中，“num_obj_groups”表示包含在内容中的目标集的数量，并且例如，目标集的数量num_obj_groups从外部提供给距离感测控制信息确定单元23。
在距离感测控制信息中，包括与目标集的数量num_obj_groups一样多的指示目标集(更具体地，属于目标集的目标)是否是距离感测控制的目标的标志“isDistanceRenderFlg”。
例如，在标记的值是第i个目标集的isDistanceRenderFlg的值是“1”的情况下，目标集被确定为距离感测控制的目标，并且对属于目标集的目标的音频数据执行距离感测控制处理。
在标志的值为第i个目标集的isDistanceRenderFlg为“1”的情况下，距离感测控制信息包括参数配置信息DistanceRender_Attn()、两个参数配置信息DistanceRender_Filt()、目标集的参数配置信息DistanceRender_Revb()。
因此，在这种情况下，如上所述，距离感测控制处理单元67对属于目标对象组的对象的音频数据执行距离感测控制处理。
另一方面，在标记的值是第i个目标集的isDistanceRenderFlg的值是“0”的情况下，目标集被确定为不是距离感测控制的目标，并且不对目标集的目标的音频数据执行距离感测控制处理。
因此，对于这样的对象组的对象，对象的音频数据和元数据不改变地从距离感测控制处理单元67供应到3D音频呈现处理单元68。
在标志的值是第i个目标集的isDistanceRenderFlg的值是“0”的情况下，距离感测控制信息不包括目标集的参数配置信息DistanceRender_Attn()、参数配置信息DistanceRender_Filt()和参数配置信息DistanceRender_Revb()。
如上所述，在图20所示的实例中，距离感测控制信息编码单元24编码每个对象组的参数配置信息。换言之，为每个目标集编码距离感测控制信息。因此，可以针对每个对象组实现基于内容创建者的意图的距离感控制，并且可以执行具有更高真实感的内容再现。
具体地，在该实例中，当标记isDistanceRenderFlg存储在距离感测控制信息中时，可以设置是否对每个目标集执行距离感测控制，然后对每个目标集执行不同的距离感测控制。
例如，在对构成鼓组的网罗鼓、低音鼓、桶子鼓、钹等多个打击乐器设定同一控制规则的情况下，内容制作者能够将该多个打击乐器的对象集合成一个对象集合。
这样，可对与属于同一对象组并构造鼓组的多个打击乐器中的每个对应的每个对象设定相同的控制规则。即，相同的控制规则信息可被分配给多个对象中的每个。而且，如在图20中所示的实例中，通过传输用于每个对象组的参数配置信息，可以进一步减少传输给解码侧的信息(例如，参数)的信息量，即，距离感测控制信息。
<第二实施方式>
<距离感测控制处理单元的配置实例>
此外，在以上描述中，已经描述了提前确定设置在解码设备51中的距离感测控制处理单元67的配置的示例。即，已经描述了提前确定配置距离感测控制信息的配置信息所指示的距离感测控制处理和处理顺序的一个或多个处理步骤的实例。
然而，本发明不限于此，并且通过距离感测控制信息的配置信息可自由地改变距离感测控制处理单元67的配置。
在这种情况下，距离感测控制处理单元67被配置为例如如图21所示。
在图21所示的实例中，距离感测控制处理单元67根据距离感测控制信息执行程序，并且在信号处理单元201-1到信号处理单元201-3以及混响处理单元202-1到混响处理单元202-4之间实现一些处理块。
信号处理单元201-1基于从距离计算单元66提供的距离信息和从距离感测控制信息解码单元64提供的距离感测控制信息，对从对象解码单元62提供的对象的音频数据执行信号处理，并且将所生成的音频数据提供给信号处理单元201-2。
此时，在混响处理单元202-2发挥作用的情况下，即，在实现混响处理单元202-2的情况下，信号处理单元201-1也将通过信号处理得到的声音数据提供给混响处理单元202-2。
信号处理单元201-2基于从距离计算单元66提供的距离信息和从距离感测控制信息解码单元64提供的距离感测控制信息，对从信号处理单元201-1提供的音频数据执行信号处理，并且将所生成的音频数据提供给信号处理单元201-3。此时，在混响处理单元202-3发挥作用的情况下，信号处理单元201-2也将通过信号处理得到的声音数据提供给混响处理单元202-3。
信号处理单元201-3基于从距离计算单元66提供的距离信息和从距离感测控制信息解码单元64提供的距离感测控制信息，对从信号处理单元201-2提供的音频数据执行信号处理，并且将所生成的音频数据提供给3D音频渲染处理单元68。此时，在混响处理单元202-4发挥作用的情况下，信号处理单元201-3也将通过信号处理得到的声音数据提供给混响处理单元202-4。
应注意，在下文中，在不特别需要区分信号处理单元的情况下，信号处理单元201-1至201-3也将被简称为信号处理单元201。
由信号处理单元201-1、信号处理单元201-2和信号处理单元201-3执行的信号处理是由距离感测控制信息的配置信息指示的处理。
具体地，例如，由信号处理单元201进行的信号处理是由高架滤波器、低架滤波器等进行的增益控制处理和滤波处理。
混响处理单元202-1基于从距离计算单元66提供的距离信息和从距离感测控制信息解码单元64提供的距离感测控制信息，对从对象解码单元62提供的对象的音频数据执行混响处理，并且生成湿分量的音频数据。
此外，混响处理单元202-1基于从距离感测控制信息解码单元64提供的距离感测控制信息、从元数据解码单元63提供的元数据、以及从用户接口65提供的收听位置信息，生成包括湿分量的位置信息的元数据。另外，在混响处理单元202-1中，根据需要利用距离信息来生成湿分量的元数据。
混响处理单元202-1将以这种方式生成的湿分量的元数据和音频数据提供给3D音频渲染处理单元68。
混响处理单元202-2基于来自距离计算单元66的距离信息、来自距离感测控制信息解码单元64的距离感测控制信息、来自信号处理单元201-1的音频数据、来自元数据解码单元63的元数据、以及来自用户接口65的收听位置信息生成湿分量的元数据和音频数据，并且将生成的元数据和音频数据提供给3D音频渲染处理单元68。
混响处理单元202-3基于来自距离计算单元66的距离信息、来自距离感测控制信息解码单元64的距离感测控制信息、来自信号处理单元201-2的音频数据、来自元数据解码单元63的元数据、以及来自用户接口65的收听位置信息，生成湿分量的元数据和音频数据，并且将生成的元数据和音频数据提供给3D音频渲染处理单元68。
混响处理单元202-4基于来自距离计算单元66的距离信息、来自距离感测控制信息解码单元64的距离感测控制信息、来自信号处理单元201-3的音频数据、来自元数据解码单元63的元数据、以及来自用户接口65的收听位置信息，生成湿分量的元数据和音频数据，并且将生成的元数据和音频数据提供给3D音频渲染处理单元68。
在混响处理单元202-2、混响处理单元202-3、混响处理单元202-4中，进行与混响处理单元202-1同样的处理，生成湿分量的元数据和音频数据。
此外，以下，在不特别需要区别混响处理单元的情况下，将混响处理单元202-1至混响处理单元202-4简称为混响处理单元202。
在距离意义控制处理单元67中，没有混响处理单元202可以起作用，或者一个或多个混响处理单元202可以起作用。
因此，例如，距离感测控制处理单元67可以包括：混响处理单元202，其生成位于物体的右侧和左侧的湿分量(干分量)；以及混响处理单元202，其生成位于物体的上侧和下侧的湿分量。
如上所述，内容创建者能够自由地指定配置距离感测控制处理的每个信号处理步骤以及执行信号处理步骤的顺序。因此，可以实现基于内容创建者的意图的距离感测控制。
<距离感测控制信息的另一实例>
此外，在如图21所示可自由改变(指定)距离感测控制处理单元67的配置的情况下，例如，距离感测控制信息具有图22所示的配置。
在图22中所示的实例中，“num_objs”表示包含在内容中的对象的数量，并且在距离意义上的控制信息中，与对象的数量num_objs一样多地包含表示对象是否是距离感控制的目标的标记“isDistanceRenderFlg”。
要注意的是，这些对象的数量num_objs和标志isDistanceRenderFlg与在图19中所示的实例中的那些类似，因此，省略其描述。
在标记的值是第i个对象的isDistanceRenderFlg的值是“1”的情况下，距离感测控制信息包括指示信号处理的id信息“proc_id”和配置将对对象执行的距离感测控制处理的每个信号处理步骤的参数配置信息。
即，例如，根据表示第j个(其中，0≤j<4)信号处理的id信息“proc_id”，增益控制处理的参数配置信息“DistanceRender_Attn()”、滤波处理的参数配置信息“DistanceRender_Filt()”、混响处理的参数配置信息“DistanceRender_Revb()”、或者用户定义处理的参数配置信息“DistanceRender_UserDefine()”包括在距离感测控制信息中。
具体地，例如，在id信息“proc_id”是表示增益控制处理的“ATTN”的情况下，增益控制处理的参数配置信息“DistanceRender_Attn()”包括在距离感测控制信息中。
要注意的是，参数配置信息“DistanceRender_Attn()”、“DistanceRender_Filt()”和“DistanceRender_Revb()”与在图11中的情况相似，因此，省略其描述。
此外，参数配置信息“DistanceRender_UserDefine()”指示表示在用户定义处理中使用的参数的控制规则的参数配置信息，用户定义处理是用户任意定义的信号处理。
因此，在该实例中，除了增益控制处理、滤波处理和混响处理以外，还可添加由用户单独定义的用户定义处理作为配置距离感测控制处理的信号处理。
应注意，此处，已经作为实例描述了配置距离感测控制处理的信号处理步骤的数量是四个的情况，但是配置距离感测控制处理的信号处理步骤的数量可以是任何数量。
在图22所示的距离感测控制信息中，例如，当将构成距离感测控制处理的第0信号处理设定为增益控制处理、将第一信号处理设定为通过高架滤波器的滤波处理、将第二信号处理设定为通过低架滤波器的滤波处理、并且将第三信号处理设定为混响处理时，实现具有与图3所示的配置相同的配置的距离感测控制处理单元67。
在这种情况下，在图21所示的距离感测控制处理单元67中，实现了信号处理单元201-1至信号处理单元201-3以及混响处理单元202-4，并且不实现了混响处理单元202-1至混响处理单元202-3(不起作用)。
然后，信号处理单元201-1到信号处理单元201-3以及混响处理单元202-4起到图3所示的增益控制单元101、高架滤波处理单元102、低架滤波处理单元103以及混响处理单元104的作用。
如上所述，即使在距离感测控制信息具有图22中示出的配置的情况下，基本上，编码设备11执行参考图15描述的编码处理，并且解码设备51执行参考图16描述的解码处理。
然而，在编码处理中，例如，在步骤S13中，对于每个物体，确定该物体是否经受距离感测控制处理、距离感测控制处理的配置等，并且在步骤S14中，编码具有图22中所示的配置的距离感测控制信息。
另一方面，在解码处理中，在步骤S47中，根据具有在图22中所示的配置的距离感测控制信息，为每个对象确定距离感测控制处理单元67的配置，并且适当地执行距离感测控制处理。
如上所述，根据本技术，根据内容创建者的设置等，将距离感测控制信息与对象的音频数据一起传输至解码侧，从而能够在基于对象的音频中实现基于内容创建者的意图的距离感测控制。
<计算机的配置实例>
顺便提及，上述一系列处理可以由硬件执行，但也可以由软件执行。在一系列处理由软件执行的情况下，在计算机中安装配置软件的程序。这里，计算机例如包括并入专用硬件的计算机、能够通过安装各种程序来执行各种功能的通用个人计算机等。
图23是示出通过程序执行上述一系列处理的计算机的硬件的配置实例的框图。
在计算机中，中央处理单元(CPU)501、只读存储器(ROM)502和随机存取存储器(RAM)503通过总线504相互连接。
输入/输出接口505进一步连接至总线504。输入单元506、输出单元507、记录单元508、通信单元509和驱动器510连接至输入/输出接口505。
输入单元506包括键盘、鼠标、麦克风、成像元件等。输出单元507包括显示器、扬声器等。记录单元508包括硬盘、非易失性存储器等。通信单元509包括网络接口等。驱动器510驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除记录介质511。
在如上所述配置的计算机中，例如，以这样的方式执行上述一系列处理：CPU 501经由输入/输出接口505和总线504将记录在记录单元508中的程序加载到RAM 503中，并且执行该程序。
例如，由计算机(CPU 501)执行的程序可以记录并提供在作为封装介质等的可移动记录介质511上。此外，可经由诸如局域网、因特网、或者数字卫星广播等有线或无线传输介质提供程序。
在计算机中，通过将可移除记录介质511安装到驱动器510，经由输入/输出接口505将程序安装在记录单元508中。此外，程序可以由通信单元509接收并且经由有线或无线传输介质安装在记录单元508中。此外，程序可以提前安装在ROM 502或记录单元508中。
应注意，由计算机执行的程序可以是其中处理按照本说明书中描述的顺序按时间序列执行的程序，或者并行或在诸如进行调用时的必要定时执行处理的程序。
此外，本技术的实施方式不限于上述实施方式，并且在不背离本技术的主旨的情况下可以做出各种修改。
例如，本技术可以被配置为云计算，其中，一个功能经由网络被多个设备共享并且被联合处理。
此外，在上述流程图中描述的每个步骤可以由一个设备执行或者由多个设备共享。
此外，在一个步骤包括多个处理的情况下，包括在一个步骤中的多个处理可以由一个设备执行或者由多个设备共享。
此外，本技术可具有以下配置。
(1)
一种编码设备，包括：
对象编码单元，对对象的音频数据进行编码；
元数据编码单元，对包括对象的位置信息的元数据进行编码；
距离感测控制信息确定单元，确定用于对音频数据执行的距离感测控制处理的距离感测控制信息；
距离感测控制信息编码单元，对所述距离感测控制信息进行编码；以及
多路复用器，多路复用编码的音频数据、编码的元数据和编码的距离感测控制信息以生成编码数据。
(2)
根据(1)所述的编码设备，
其中，所述距离感测控制信息包括用于获得在所述距离感测控制处理中使用的参数的控制规则信息。
(3)
根据(2)所述的编码设备，
其中，参数根据从收听位置到对象的距离而改变。
(4)
根据(2)或(3)所述的编码设备，
其中，控制规则信息是指示用于获得参数的函数或表的索引。
(5)
根据(2)至(4)中任一项所述的编码设备，
其中，距离感测控制信息包括指示组合执行以实现距离感测控制处理的一个或多个处理步骤的配置信息。
(6)
根据(5)所述的编码设备，
其中，配置信息是指示一个或多个处理步骤和执行一个或多个处理步骤的顺序的信息。
(7)
根据(5)至(6)所述的编码设备，
其中，处理是增益控制处理、滤波处理、或者混响处理。
(8)
根据(1)至(7)中任一项所述的编码设备，
其中，距离感测控制信息编码单元对多个对象中的每个的距离感测控制信息进行编码。
(9)
根据(1)至(7)中任一项所述的编码设备，
其中，距离感测控制信息编码单元对包括一个或多个对象的每个对象组的距离感测控制信息进行编码。
(10)
一种由编码设备执行的编码方法，所述方法包括：
对对象的音频数据进行编码；
对包括对象的位置信息的元数据进行编码；
确定用于对所述音频数据执行的距离感测控制处理的距离感测控制信息；
编码所述距离感测控制信息；并且
将所述编码的音频数据、所述编码的元数据和所述编码的距离感测控制信息进行复用以生成编码数据。
(11)
一种程序，用于使计算机执行包括以下步骤的处理：
对对象的音频数据进行编码；
对包括对象的位置信息的元数据进行编码；
确定用于对所述音频数据执行的距离感测控制处理的距离感测控制信息；
编码所述距离感测控制信息；并且
将所述编码的音频数据、所述编码的元数据和所述编码的距离感测控制信息进行复用以生成编码数据。
(12)
一种解码设备，包括：
解复用器，解复用编码数据以提取对象的编码音频数据、包括所述对象的位置信息的编码元数据、以及用于对所述音频数据执行的距离感测控制处理的编码距离感测控制信息；
对象解码单元，对编码的音频数据进行解码；
元数据解码单元，对编码的元数据进行解码；
距离感测控制信息解码单元，对编码的距离感测控制信息进行解码；
距离感测控制处理单元，基于所述距离感测控制信息对所述对象的所述音频数据执行所述距离感测控制处理；以及
渲染处理单元，基于通过所述距离感测控制处理获得的所述音频数据和所述元数据执行再现处理，以生成用于再现所述对象的声音的再现音频数据。
(13)
根据(12)所述的解码设备，
其中，所述距离感测控制处理单元基于从包括在所述距离感测控制信息中的控制规则信息中获得的参数以及收听位置来执行所述距离感测控制处理。
(14)
根据(13)所述的解码设备，
其中，参数根据从收听位置到对象的距离而改变。
(15)
根据(13)或(14)所述的解码设备，
其中，距离感测控制处理单元根据再现音频数据的再现环境调整参数。
(16)
根据(13)至(15)中任一项所述的解码设备，
其中，所述距离感测控制处理单元基于所述参数执行所述距离感测控制处理，在所述距离感测控制处理中，组合由所述距离感测控制信息指示的一个或多个处理步骤。
(17)
根据(16)所述的解码设备，
其中，处理是增益控制处理、滤波处理、或者混响处理。
(18)
根据(12)至(17)中任一项所述的解码设备，
其中，距离感测控制处理单元通过距离感测控制处理生成对象的湿分量的音频数据。
(19)
一种由解码设备执行的解码方法，所述方法包括：
解复用编码数据以提取对象的编码音频数据、包括对象的位置信息的编码元数据、以及用于对音频数据执行的距离感测控制处理的编码距离感测控制信息；
解码编码的音频数据；
解码所述编码的元数据；
解码所述编码的距离感测控制信息；
基于所述距离感测控制信息对所述对象的所述音频数据执行所述距离感测控制处理；并且
基于通过所述距离感测控制处理获得的所述音频数据和所述元数据执行渲染处理，以生成用于再现所述对象的声音的再现音频数据。
(20)
一种程序，用于使计算机执行包括以下步骤的处理：
解复用编码数据以提取对象的编码音频数据、包括对象的位置信息的编码元数据、以及用于对音频数据执行的距离感测控制处理的编码距离感测控制信息；
解码编码的音频数据；
解码所述编码的元数据；
解码所述编码的距离感测控制信息；
基于所述距离感测控制信息对所述对象的所述音频数据执行所述距离感测控制处理；并且
基于通过所述距离感测控制处理获得的所述音频数据和所述元数据执行渲染处理，以生成用于再现所述对象的声音的再现音频数据。
附图标记列表
11 编码设备
21 对象编码单元
22 元数据编码单元
23 距离感测控制信息确定单元
24 距离感测控制信息编码单元
25 多路复用器
51 解码设备
61 解复用器
62 对象解码单元
63 元数据解码单元
64 距离感测控制信息解码单元
66 距离计算单元
67 距离感测控制处理单元
68 3D音频渲染处理单元
101 增益控制单元
102 高架滤波器处理单元
103 低架滤波器处理单元
104 混响处理单元

Claims (20)

1.一种编码设备，包括：
对象编码单元，对对象的音频数据进行编码；
元数据编码单元，对包括所述对象的位置信息的元数据进行编码；
距离感测控制信息确定单元，确定用于对音频数据执行的距离感测控制处理的距离感测控制信息；
距离感测控制信息编码单元，对所述距离感测控制信息进行编码；以及
多路复用器，多路复用编码的音频数据、编码的元数据和编码的距离感测控制信息以生成编码数据。
2.根据权利要求1所述的编码设备，
其中，所述距离感测控制信息包括用于获得在所述距离感测控制处理中使用的参数的控制规则信息。
3.根据权利要求2所述的编码设备，
其中，所述参数根据从收听位置到所述对象的距离而改变。
4.根据权利要求2所述的编码设备，
其中，所述控制规则信息是指示用于获得所述参数的函数或表格的索引。
5.根据权利要求2所述的编码设备，
其中，所述距离感测控制信息包括指示组合执行以实现所述距离感测控制处理的一个或多个处理步骤的配置信息。
6.根据权利要求5所述的编码设备，
其中，所述配置信息是指示所述一个或多个处理步骤和执行所述一个或多个处理步骤的顺序的信息。
7.根据权利要求5所述的编码设备，
其中，所述处理是增益控制处理、滤波处理或混响处理。
8.根据权利要求1所述的编码设备，
其中，所述距离感测控制信息编码单元为多个所述对象中的每个对象对所述距离感测控制信息进行编码。
9.根据权利要求1所述的编码设备，
其中，所述距离感测控制信息编码单元对包括一个或多个所述对象的每个对象组的所述距离感测控制信息进行编码。
10.一种由编码设备执行的编码方法，所述方法包括：
对对象的音频数据进行编码；
对包括所述对象的位置信息的元数据进行编码；
确定用于对所述音频数据执行的距离感测控制处理的距离感测控制信息；
对所述距离感测控制信息进行编码；以及
多路复用编码的音频数据、编码的元数据和编码的距离感测控制信息以生成编码数据。
11.一种用于使计算机执行处理的程序，所述处理包括以下步骤：
对对象的音频数据进行编码；
对包括所述对象的位置信息的元数据进行编码；
确定用于对所述音频数据执行的距离感测控制处理的距离感测控制信息；
对所述距离感测控制信息进行编码；以及
多路复用编码的音频数据、编码的元数据和编码的距离感测控制信息以生成编码数据。
12.一种解码设备，包括：
解复用器，解复用编码数据以提取对象的编码的音频数据、包括所述对象的位置信息的编码的元数据、以及用于对所述音频数据执行的距离感测控制处理的编码的距离感测控制信息；
对象解码单元，对编码的音频数据进行解码；
元数据解码单元，对编码的元数据进行解码；
距离感测控制信息解码单元，对编码的距离感测控制信息进行解码；
距离感测控制处理单元，基于所述距离感测控制信息对所述对象的音频数据执行所述距离感测控制处理；以及
渲染处理单元，基于通过所述距离感测控制处理获得的所述音频数据和所述元数据执行渲染处理，以生成用于再现所述对象的声音的再现音频数据。
13.根据权利要求12所述的解码设备，
其中，所述距离感测控制处理单元基于从包括在所述距离感测控制信息中的控制规则信息获得的参数以及收听位置来执行所述距离感测控制处理。
14.根据权利要求13所述的解码设备，
其中，所述参数根据从所述收听位置到所述对象的距离而改变。
15.根据权利要求13所述的解码设备，
其中，所述距离感测控制处理单元根据所述再现音频数据的再现环境调整所述参数。
16.根据权利要求13所述的解码设备，
其中，所述距离感测控制处理单元基于所述参数执行所述距离感测控制处理，在所述距离感测控制处理中，组合由所述距离感测控制信息指示的一个或多个处理步骤。
17.根据权利要求16所述的解码设备，
其中，所述处理是增益控制处理、滤波处理或混响处理。
18.根据权利要求12所述的解码设备，
其中，所述距离感测控制处理单元通过所述距离感测控制处理生成所述对象的湿分量的音频数据。
19.一种由解码设备执行的解码方法，所述方法包括：
解复用编码数据以提取对象的编码的音频数据、包括所述对象的位置信息的编码的元数据、以及用于对所述音频数据执行的距离感测控制处理的编码的距离感测控制信息；
对编码的音频数据进行解码；
对编码的元数据进行解码；
对编码的距离感测控制信息进行解码；
基于所述距离感测控制信息对所述对象的音频数据执行所述距离感测控制处理；以及
基于通过所述距离感测控制处理获得的所述音频数据和所述元数据执行渲染处理，以生成用于再现所述对象的声音的再现音频数据。
20.一种用于使计算机执行处理的程序，所述处理包括以下步骤：
解复用编码数据以提取对象的编码的音频数据、包括所述对象的位置信息的编码的元数据、以及用于对所述音频数据执行的距离感测控制处理的编码的距离感测控制信息；
对编码的音频数据进行解码；
对编码的元数据进行解码；
对编码的距离感测控制信息进行解码；
基于所述距离感测控制信息对所述对象的音频数据执行所述距离感测控制处理；以及
基于通过所述距离感测控制处理获得的所述音频数据和所述元数据执行渲染处理，以生成用于再现所述对象的声音的再现音频数据。
CN202080083336.2A 2020-01-10 2020-12-25 编码设备和方法、解码设备和方法、以及程序 Pending CN114762041A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-002711 2020-01-10
JP2020002711 2020-01-10
PCT/JP2020/048729 WO2021140959A1 (ja) 2020-01-10 2020-12-25 符号化装置および方法、復号装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
CN114762041A true CN114762041A (zh) 2022-07-15

Family

ID=76788406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080083336.2A Pending CN114762041A (zh) 2020-01-10 2020-12-25 编码设备和方法、解码设备和方法、以及程序

Country Status (7)

Country Link
US (1) US20230056690A1 (zh)
EP (1) EP4089673A4 (zh)
JP (1) JPWO2021140959A1 (zh)
KR (1) KR20220125225A (zh)
CN (1) CN114762041A (zh)
BR (1) BR112022013235A2 (zh)
WO (1) WO2021140959A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2022387785A1 (en) * 2021-11-09 2024-05-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Late reverberation distance attenuation

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4772315B2 (ja) * 2004-11-10 2011-09-14 ソニー株式会社 情報変換装置及び情報変換方法、並びに通信装置及び通信方法
JP5988710B2 (ja) * 2011-06-14 2016-09-07 ヤマハ株式会社 音響システム及び音響特性制御装置
WO2014175668A1 (ko) * 2013-04-27 2014-10-30 인텔렉추얼디스커버리 주식회사 오디오 신호 처리 방법
WO2014187990A1 (en) * 2013-05-24 2014-11-27 Dolby International Ab Efficient coding of audio scenes comprising audio objects
CN109996166B (zh) 2014-01-16 2021-03-23 索尼公司 声音处理装置和方法、以及程序
WO2018047667A1 (ja) * 2016-09-12 2018-03-15 ソニー株式会社 音声処理装置および方法
BR112020000759A2 (pt) * 2017-07-14 2020-07-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. aparelho para gerar uma descrição modificada de campo sonoro de uma descrição de campo sonoro e metadados em relação a informações espaciais da descrição de campo sonoro, método para gerar uma descrição aprimorada de campo sonoro, método para gerar uma descrição modificada de campo sonoro de uma descrição de campo sonoro e metadados em relação a informações espaciais da descrição de campo sonoro, programa de computador, descrição aprimorada de campo sonoro
JP7294135B2 (ja) * 2017-10-20 2023-06-20 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
CN111164673B (zh) * 2017-10-20 2023-11-21 索尼公司 信号处理装置、方法和程序
EP3776543B1 (en) * 2018-04-11 2022-08-31 Dolby International AB 6dof audio rendering

Also Published As

Publication number Publication date
EP4089673A1 (en) 2022-11-16
KR20220125225A (ko) 2022-09-14
JPWO2021140959A1 (zh) 2021-07-15
BR112022013235A2 (pt) 2022-09-06
WO2021140959A1 (ja) 2021-07-15
EP4089673A4 (en) 2023-01-25
US20230056690A1 (en) 2023-02-23

Similar Documents

Publication Publication Date Title
KR101507901B1 (ko) 오디오 신을 변환하기 위한 장치 및 방향 함수를 발생시키기 위한 장치
CN109313907B (zh) 合并音频信号与空间元数据
US20220159400A1 (en) Reproduction apparatus, reproduction method, information processing apparatus, information processing method, and program
JP6186435B2 (ja) ゲームオーディオコンテンツを示すオブジェクトベースオーディオの符号化及びレンダリング
KR101054932B1 (ko) 스테레오 오디오 신호의 동적 디코딩
CN104054126B (zh) 空间音频渲染和编码
US11749252B2 (en) Signal processing device, signal processing method, and program
CN103563403B (zh) 音频系统及方法
MX2008012250A (es) Metodos y aparatos para codificar y descodificar señales de audio basadas en objeto.
US11074921B2 (en) Information processing device and information processing method
CN108174341A (zh) 测量高阶高保真度立体声响复制响度级的方法及设备
US20230254655A1 (en) Signal processing apparatus and method, and program
EP4089673A1 (en) Encoding device and method, decoding device and method, and program
US11483669B2 (en) Spatial audio parameters
WO2022009694A1 (ja) 信号処理装置および方法、並びにプログラム
KR20240021911A (ko) 3차원 오디오 신호를 인코딩하기 위한 방법 및 장치, 인코더 및 시스템
CN113632501A (zh) 信息处理装置和方法、再现装置和方法、以及程序
KR20240004869A (ko) 3차원 오디오 신호 인코딩 방법 및 장치, 및 인코더
CN116643712A (zh) 电子设备、音频处理的系统及方法、计算机可读存储介质
CN117119369A (zh) 音频生成方法、计算机设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination