CN112585999A - 信息处理设备、信息处理方法和程序 - Google Patents

信息处理设备、信息处理方法和程序 Download PDF

Info

Publication number
CN112585999A
CN112585999A CN201980054349.4A CN201980054349A CN112585999A CN 112585999 A CN112585999 A CN 112585999A CN 201980054349 A CN201980054349 A CN 201980054349A CN 112585999 A CN112585999 A CN 112585999A
Authority
CN
China
Prior art keywords
objects
control unit
information processing
processing apparatus
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980054349.4A
Other languages
English (en)
Inventor
辻实
知念徹
畠中光行
山本优树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112585999A publication Critical patent/CN112585999A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/46Volume control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40Visual indication of stereophonic sound image
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155Musical effects
    • G10H2210/265Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
    • G10H2210/295Spatial effects, musical uses of multiple audio channels, e.g. stereo
    • G10H2210/305Source positioning in a soundscape, e.g. instrument positioning on a virtual soundstage, stereo panning or related delay or reverberation changes; Changing the stereo width of a musical source
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
    • G10H2220/106Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters using icons, e.g. selecting, moving or linking icons, on-screen symbols, screen regions or segments representing musical elements or parameters
    • G10H2220/111Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters using icons, e.g. selecting, moving or linking icons, on-screen symbols, screen regions or segments representing musical elements or parameters for graphical orchestra or soundstage control, e.g. on-screen selection or positioning of instruments in a virtual orchestra, using movable or selectable musical instrument icons
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Stereophonic System (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本技术涉及一种能够更有效地编辑的信息处理设备和方法以及程序。信息处理设备具有控制单元,该控制单元选择并分组存在于预定空间中的多个对象,并且在保持该空间中的多个分组对象的相对位置关系的同时改变多个对象的位置。本技术可以应用于信息处理设备。

Description

信息处理设备、信息处理方法和程序
技术领域
本技术涉及一种信息处理设备和方法以及程序,并且特别地,涉及一种能够更有效地编辑的信息处理设备和方法以及程序。
背景技术
近年来,基于对象的音频技术引起了人们的关注。
在基于对象的音频中,对象音频的数据包括到音频对象的波形信号和表示由距收听位置的相对位置作为预定参考表示的音频对象的定位信息的元信息。
然后,基于元信息,通过例如基于矢量的幅度平移(VBAP),将音频对象的波形信号渲染为具有期望的声道数的信号,并进行再现(例如,参见非专利文件1和非专利文件2)。
在基于对象的音频中,在音频内容的产生中,可以在三维空间中的各个方向上排列音频对象。
例如,在Pro Tools的Dolby Atoms Panner插件中(例如,参见非专利文件3),可以指定3D图形用户界面上音频对象的位置。在本技术中,通过将在用户界面上显示的虚拟空间的图像上的位置指定为音频对象的位置,可以在三维空间中的任何方向上定位音频对象的声音的声像。
另一方面,通过称为平移的技术来调整声像相对于传统的两声道立体声的定位。例如,通过用户界面改变预定音频轨道对左右两个声道的比例,从而确定在左右方向上哪个位置定位声像。
引文清单
非专利文件
非专利文件1:ISO/IEC 23008-3 Information technology-High efficiencycoding and media delivery in heterogeneous environments-Part 3:3D audio
非专利文件2:Ville Pulkki,“Virtual Sound Source Positioning UsingVector Base Amplitude Panning”,Journal of AES,vol.45,no.6,pp.456-466,1997
非专利文件3:Dolby Laboratories,Inc.,“Authoring for Dolby Atmos(R)Cinema Sound Manual”,[online],[2018年8月1日搜索],互联网<https://www.dolby.com/us/en/technologies/dolby-atmos/authoring-for-dolby-atmos-cinema-sound-manual.pdf>
发明内容
本发明要解决的问题
顺便提及,在基于对象的音频中,对于每个音频对象,可以执行诸如改变空间中音频对象的位置(即,声像定位位置)以及调整音频对象的波形信号的增益的编辑。
然而,由于在产生实际的基于对象的音频内容时要处理大量的音频对象,因此需要花费时间来执行诸如这些音频对象的位置调整和增益调整之类的编辑。
例如,为空间中的每个音频对象指定位置并确定每个音频对象的声像的定位位置的工作一直是麻烦的。
因此,需要在产生音频内容时能够有效的编辑音频对象的方法。
考虑到这种情况而做出了本技术,并且使得能够进行更有效的编辑。
问题解决方案
本技术的一个方面的信息处理设备包括控制单元,该控制单元选择并分组存在于预定空间中的多个对象,并且在保持空间中的多个分组对象的相对位置关系的同时改变多个对象的位置。
本技术的一个方面的信息处理方法或程序包括以下步骤:选择并分组存在于预定空间中的多个对象,并且在保持空间中的多个分组对象的相对位置关系的同时改变多个对象的位置。
在本技术的一方面,选择并分组存在于预定空间中的多个对象,并且在保持空间中的多个分组对象的相对位置关系的同时改变多个对象的位置。
附图说明
图1是示出信息处理设备的配置示例的图。
图2是示出编辑画面的示例的图。
图3是示出POV图像的示例的图。
图4是说明分组处理的流程图。
图5是说明分组对象的移动的图。
图6是说明分组对象的移动的图。
图7是说明分组对象的移动的图。
图8是说明对象移动处理的流程图。
图9是说明L/R对的图。
图10是说明L/R对的图。
图11是说明L/R对的图。
图12是说明L/R对的图。
图13是说明分组处理的流程图。
图14是说明以偏移量为单位的对象位置信息的变化的图。
图15是说明以偏移量为单位的对象位置信息的变化的图。
图16是说明以偏移量为单位的对象位置信息的变化的图。
图17是说明以偏移量为单位的对象位置信息的变化的图。
图18是说明偏移移动处理的流程图。
图19是说明对象位置信息的插值处理的图。
图20是说明对象位置信息的插值处理的图。
图21是说明对象位置信息的插值处理的图。
图22是说明插值方法选择处理的流程图。
图23是示出编辑画面的示例的图。
图24是示出POV图像的示例的图。
图25是说明静音设置和独奏设置的图。
图26是说明静音设置和独奏设置的视图。
图27是说明静音设置和独奏设置的图。
图28是说明设置处理的流程图。
图29是说明音频文件的导入的图。
图30是示出轨道类型选择画面的示例的图。
图31是示出编辑画面的示例的图。
图32是示出轨道类型选择画面的示例的图。
图33是示出编辑画面的示例的图。
图34是示出POV图像的示例的图。
图35是说明导入处理的流程图。
图36是示出计算机的配置示例的图。
具体实施方式
下面将参考附图描述应用本技术的实施例。
<第一实施例>
<信息处理设备的配置示例>
本技术通过在三维空间中保持多个分组对象的相对位置关系的同时,通过对多个对象进行分组并改变多个对象的位置来实现更有效的编辑。
要注意的是,在此提及的对象可以是任何对象,只要该对象能够给出指示空间中位置的位置信息,例如作为声源等的音频对象以及可以作为图像上的主题的图像对象。
在下文中,将描述对象是音频对象的情况作为具体示例。另外,音频对象在下文中也将简称为对象。
图1是示出根据应用本技术的实施例的信息处理设备的配置示例的图。
图1所示的信息处理设备11具有输入单元21、记录单元22、控制单元23、显示单元24、通信单元25和扬声器单元26。
输入单元21包括例如叠加设置在显示单元24上的开关、按钮、鼠标、键盘和触摸面板,并且将与作为内容的创建者的用户的输入操作相对应的信号提供给控制单元23。
记录单元22包括例如诸如硬盘的非易失性存储器,记录诸如从控制单元23提供的音频内容的数据的各种数据,并且将记录的数据提供给控制单元23。要注意的是,记录单元22可以是可移除记录介质,该可移除记录介质可附接到信息处理设备11并可从信息处理设备11拆卸。
控制单元23例如由处理器等实现,并且控制整个信息处理设备11的操作。控制单元23具有位置确定单元41和显示控制单元42。
位置确定单元41基于从输入单元21提供的信号,确定空间中的每个对象的位置,即,每个对象的声音的声像定位位置。显示控制单元42控制显示单元24以控制图像等在显示单元24上的显示。
显示单元24包括例如液晶显示面板等,并且在显示控制单元42的控制下显示各种图像等。
通信单元25包括例如通信接口等,并且经由诸如因特网的有线或无线通信网络与外部设备进行通信。例如,通信单元25接收从外部设备发送的数据,并将数据提供给控制单元23,或者将从控制单元23提供的数据发送到外部设备。
扬声器单元26包括例如具有预定声道配置的扬声器系统的各个声道的扬声器,并且基于从控制单元23提供的音频信号来再现(输出)内容的声音。
<关于对象分组>
信息处理设备11可以用作实现对包括至少多个对象的对象数据的基于对象的音频内容进行编辑的编辑设备。
要注意的是,音频内容的数据可以包括不是对象数据的数据,具体地,包括各个声道的音频信号的声道音频数据。
另外,当然,音频内容可以是诸如音乐之类的单个内容,而不伴随视频等,但是在此假设音频内容中也存在对应的视频内容。即,假设音频内容的音频信号是伴随包括静止图像或运动图像(视频)的视频数据的音频信号,即视频内容的视频数据。例如,在视频内容是实况视频的情况下,与视频内容相对应的音频内容例如是实况视频的语音。
音频内容的数据中包括的每个对象数据包括作为对象的声音的波形信号的音频信号和对象的元信息。
另外,元信息包括指示在作为三维空间的再现空间中的对象的位置的对象位置信息,例如,指示对象的音频信号的增益的增益信息,以及指示对象优先级的优先级信息。
此外,在本实施例中,假设指示对象的位置的对象位置信息由极坐标系的坐标表示,该极坐标系相对于收听再现空间中音频内容的声音的收听者的位置(以下也称为收听位置)。
即,对象位置信息包括水平角、垂直角和半径。要注意的是,在此,将描述由极坐标表示对象位置信息的示例,但是对象位置信息不限于此,并且可以是诸如由绝对坐标表示的绝对位置信息之类的任何东西。
水平角是在水平方向(方位角)上的角度,指示从收听位置观看时对象在水平方向(左右方向)上的位置,并且垂直角是垂直方向(仰角)上的角度,指示从收听位置观看时对象在垂直方向(上下方向)上的位置。另外,半径是从收听位置到对象的距离(半径)。在下文中,作为对象位置信息的坐标表示为(方位角,仰角,半径)。
例如,当再现音频内容时,通过VBAP等执行基于每个对象的音频信号的渲染,使得对象的声音的声像定位在对象位置信息所指示的位置。
另外,当编辑音频内容时,基本上将一个对象数据,即一个对象的音频信号视为一个音频轨道。另一方面,对于声道音频数据,构成声道音频数据的多个音频信号被视为一个音频轨道。要注意的是,在下文中,音频轨道也将简称为轨道。
通常,音频内容的数据包括大量的对象数据,例如数十或数百个对象。
因此,在信息处理设备11中,可以将多个对象分组,使得可以更有效地编辑音频内容。即,可以对多个选择的对象进行分组,使得可以将从存在于再现空间中的多个对象中选择的多个对象视为一组。
在信息处理设备11中,对于多个分组对象,即,属于同一组的多个对象,在在再现空间中保持那些对象的相对位置关系的同时改变对象位置信息。
通过这样做,当编辑音频内容时,信息处理设备11可以以组为单位编辑对象位置信息,即,指定(改变)对象的声像定位位置。在这种情况下,与针对每个对象编辑对象位置信息的情况相比,可以大大减少指定对象位置信息的操作次数。因此,信息处理设备11可以更有效和容易地编辑音频内容。
要注意的是,在此,将描述以组为单位编辑对象位置信息的示例,但是优先级信息和增益信息也可以以组为单位编辑。
在这种情况下,例如,当指定预定对象的优先级信息时,与预定对象属于同一组的所有其他对象的优先级信息也被改变为与预定对象的优先级信息相同的值。要注意的是,可以在保持那些对象的优先级的相对关系的同时改变属于同一组的对象的优先级信息。
另外,例如,当指定预定对象的增益信息时,与预定对象属于同一组的所有其他对象的增益信息也被改变。此时,在保持那些对象的增益信息的相对大小关系的同时,改变属于该组的所有对象的增益信息。
在下文中,将更具体地描述在编辑音频内容时的对象的分组以及分组对象的对象位置信息的指定(改变)。
例如,在编辑音频内容时,显示控制单元42使显示单元24显示编辑画面,作为内容产生工具的显示画面,在该编辑画面上显示每个轨道的音频信号的时间波形。另外,显示控制单元42还使显示单元24显示视角(POV)图像,作为内容制作工具的显示画面,该视角是从收听位置或收听位置附近的位置拍摄的视角。要注意的是,编辑画面和POV图像可以显示在彼此不同的窗口上,或者可以显示在同一窗口上。
例如,编辑画面是用于针对音频内容的每个轨道指定或改变对象位置信息、增益信息或优先级信息的画面(图像)。另外,POV图像是模仿再现空间的3D图形的图像,即,从收听者的收听位置或收听者附近的位置观看的再现空间的图像。
要注意的是,为了简化描述,在此假设编辑包括预先在再现空间中给出位置的对象的对象数据,即对象位置信息的音频内容。
作为示例,显示控制单元42使显示单元24显示图2所示的编辑画面ED11。
在该示例中,针对每个轨道,在编辑画面ED11上设置有轨道区域和时间线区域,在轨道区域显示与该轨道有关的信息,在时间线区域显示音频信号的时间波形、对象位置信息、增益信息以及优先级信息。
具体地,在编辑画面ED11中,例如,图左侧的区域TR11是用于一个轨道的轨道区域,并且与图右侧的区域TR11相邻设置的区域TM11是用于对应于区域TR11的轨道的时间线区域。
另外,每个轨道区域设置有组显示区域,对象名称显示区域和坐标系选择区域。
组显示区域是其中显示表示轨道的信息的区域,即,对应于该轨道的对象所属的组。
例如,在区域TR11中,区域TR11中的图左侧的区域GP11是组显示区域,并且区域GP11中的字符(数字)“1”表示指示对象(轨道)所属的组的信息,即组ID。通过查看在组显示区域中显示的组ID,用户可以立即掌握对象所属的组。
要注意的是,指示组的信息,即,用于识别组的信息,不限于由数字表示的组ID,而是可以是任何其他信息,例如字符或颜色信息。
此外,在编辑画面ED11中,以相同的颜色显示属于同一组的对象(轨道)的轨道区域。例如,预先为每个组定义代表该组的颜色,并且当操作输入单元21并且由用户选择(指定)对象组时,显示控制单元42使对象的轨道区域以代表为对象选择的组的颜色显示。
在图2的示例中,在编辑画面ED11中,以相同的颜色显示图上侧的四个轨道区域,并且用户可以立即掌握与这些轨道区域相对应的四个对象(轨道)属于到同一组。要注意的是,为包括多个对象的组定义的颜色,即表示该组的颜色在下文中也将被称为组颜色。
对象名称显示区域是其中显示对象名称的区域,该对象名称指示给予轨道的对象(即,对应于该轨道的对象)的名称(标题)。
例如,在区域TR11中,区域OB11是对象名称显示区域,并且在该示例中,在区域OB11中显示的字符“Kick”是对象名称。对象名称“Kick”表示构成鼓(鼓套件)的大鼓,即所谓的底鼓。因此,通过查看对象名称“Kick”,用户可以立即掌握该对象是底鼓。
要注意的是,在下文中,在希望阐明对象是哪种对象名称的情况下,通过在单词对象之后添加对象名称,例如对象“Kick”,来描述对象名称为“Kick”的对象。
在编辑画面ED11中,对象名称显示区域中显示对象名称“OH_L”、“OH_R”和“Snare”的对象的组ID为“1”,与对象“Kick”的组ID相同。
对象“OH_L”是由设置在鼓演奏者的头部上方左侧的头顶麦克风拾取的声音的对象。另外,对象“OH_R”是由设置在鼓演奏者的头部上方的右侧的头戴式麦克风拾取的声音的对象,并且对象“Snare”是构成鼓的军鼓。
由于对象名称为“Kick”、“OH_L”、“OH_R”和“Snare”的各个对象构成鼓,因此将这些对象带入组ID为“1”的同一组。
通常,构成鼓(鼓套件)的对象(如底鼓和军鼓)的相对位置关系不会改变。因此,如果将那些对象放入相同的组并且在保持相对位置关系的同时改变对象位置信息,则仅通过改变一个对象的对象位置信息,就可以适当地改变其他对象的对象位置信息。
坐标系选择区域是用于在编辑时选择对象位置信息的坐标系的区域。例如,在坐标系选择区域中,可以通过下拉列表格式从多个坐标系中选择任何坐标系。
在区域TR11中,区域PS11是坐标系选择区域,并且在该示例中,指示作为选择的坐标系的极坐标系的字符“Polar”(极)显示在区域PS11中。
要注意的是,在此将描述选择极坐标系的示例。然而,例如,在编辑画面ED11上,可以利用在坐标系选择区域中选择的坐标系的坐标来编辑对象位置信息,然后可以将对象位置信息转换成在极坐标系中表示的坐标,以作为元信息的对象位置信息,或者在坐标系选择区域中选择的坐标系的坐标可以照原样是元信息的对象位置信息。
另外,例如,在指定(选择)与轨道相对应的一组对象的情况下,用户操作输入单元21以显示组选择窗口GW11。
具体地,例如,在要指定组的情况下,通过使用指针、光标等来指定期望轨道的组显示区域,用户选择目标轨道并显示用于分组的菜单。
在图2的示例中,包括用于显示字符“Group”的菜单项ME11和用于显示字符“L/Rpair”的菜单项ME12的菜单被显示为用于分组的菜单。
当显示组选择窗口GW11时选择菜单项ME11,该组选择窗口GW11用于通过指针、光标等来指定与处于选择状态的轨道相对应的对象的组ID。另一方面,当通过指针、光标等将与处于选择状态的轨道相对应的对象设置为稍后描述的L/R对时,选择(操作)菜单项ME12。
在此,由于选择菜单项目ME11,因此在编辑画面ED11上重叠显示组选择窗口GW11。
在组选择窗口GW11上显示表示可选组的多个组图标和用于选择那些组图标之一的光标CS11。
在该示例中,组图标具有四边形形状,并且在组图标中显示组ID。例如,组图标GA11表示组ID为“1”的组,并且在组图标GA11中显示组ID“1”。此外,每个组图标均以组颜色显示。
用户通过操作输入单元21来移动光标CS11,并且通过选择期望的组图标来选择与轨道相对应的对象所属的组。
另外,例如,显示单元24将图3所示的图像显示为与编辑画面ED11相对应的POV图像。
在图3所示的示例中,在预定窗口中显示POV图像P11。在POV图像P11中,显示从收听位置O的稍后方观看的作为再现空间的房间的墙壁等,并且在房间中的收听者面前的位置处布置有画面SC11,在其上叠加并显示视频内容的视频。在POV图像P11中,几乎照原样再现从实际收听位置O附近观看的再现空间。
在画面SC11上显示鼓、电吉他、原声吉他以及这些乐器的演奏者,作为视频内容的视频中的主题。
特别地,在该示例中,在画面SC11上显示鼓演奏者PL11、电吉他演奏者PL12、第一声学吉他演奏者PL13和第二声学吉他演奏者PL14,作为各个乐器的演奏者。
另外,在POV图像P11上还显示作为表示对象的标记,更具体地表示对象的位置的标记的对象球BL11至BL19。在该示例中,那些对象球BL11至BL19位于画面SC11上。
在每个对象球上还显示表示与对象球相对应的对象的对象名称的字符。
具体地,例如,在对象球BL11上显示对象名称“Kick”,并且对象球BL11表示与图2中的区域TR11的轨道相对应的对象,更具体地,表示在再现空间中的对象的位置。在POV图像P11上,在由对象“Kick”的对象位置信息指示的位置处显示对象球BL11。
另外,在对象球BL12上显示对象名称“OH_L”,并且可以理解,对象球BL12表示对象“OH_L”。
类似地,在对象球BL13上显示对象名称“OH_R”,并且在对象球BL14上显示对象名称“Snare”。
在POV图像P11中,以相同的颜色显示属于同一组的对象的对象球。换句话说,以对象所属的组的组颜色显示分组对象的对象球。
在此,在图2所示的编辑画面ED11中,以相同的颜色显示属于由组ID“1”表示的组并且具有对象名称“Kick”、“OH_L”、“OH_R”和“Snare”的各个对象的对象球BL11~BL14。特别地,对于这些对象,以由组ID“1”表示的组的组颜色显示对象球BL11至BL14和编辑画面ED11上的轨道区域。
因此,用户可以容易地掌握在编辑画面ED11和POV图像P11中哪些对象属于同一组。另外,用户还可以容易地掌握哪个对象球对应于编辑画面ED11和POV图像P11之间的哪个轨道。
此外,在图3中,未预先分组的对象(即不属于该组的对象)的对象球BL15至BL19以预先定义的颜色(即与任何组颜色不同的颜色)显示。
用户可以在观看编辑画面ED11和POV图像P11的同时,通过操作输入单元21、输入每个轨道的对象位置信息的坐标、以及直接操作对象球的位置以移动对象球,来指定声像的定位位置。通过这样做,用户可以容易地确定(指定)声像的适当的定位位置。
要注意的是,在图3中,通过操作输入单元21,用户可以将POV图像P11中的视线方向改变为任何方向。在这种情况下,显示控制单元42使得在改变的视线方向上的再现空间的图像显示为POV图像P11。
此时,在将POV图像P11的视点位置设置在收听位置O附近的位置的情况下,收听位置O总是显示在POV图像P11的近侧区域中。因此,即使在视点位置与收听位置O不同的情况下,观看POV图像P11的用户也可以容易地掌握将图像设置为所显示的POV图像P11的视点位置的位置。
此外,在图3的示例中,在POV图像P11上的收听位置O的左前侧和右前侧显示扬声器。用户将这些扬声器假定为构成在音频内容再现时使用的扬声器系统的各个声道的扬声器。
另外,在本实施例中,说明了在编辑画面ED11上显示组选择窗口GW11并通过对各轨道指定组ID对对象进行分组的示例。
然而,通过输入单元21的用户操作,组选择窗口可以显示有在POV图像P11上选择了一个或多个对象球的情况下,并且可以通过指定组ID来对对象进行分组。
此外,可以对多个组进行分组,以便形成由多个组构成的大组。在这种情况下,例如,通过以大组为单位改变对象的对象位置信息,可以在保持属于大组的多个对象的相对位置关系的同时,同时改变各对象位置信息。
当希望在临时保持多个组的对象的相对位置关系的同时改变每个对象的对象位置信息时,这样的大组特别有用。在这种情况下,当不再需要大组时,可以将大组取消分组,然后可以以单个组为单位执行后续编辑。
<分组处理的说明>
接下来,将描述当上述对象被分组时由信息处理设备11执行的操作。即,下面将参照图4的流程图描述信息处理设备11进行的分组处理。要要注意的是,假设在开始分组处理的时间点已经在显示单元24上显示编辑画面。
在步骤S11中,控制单元23通过对输入单元21的输入操作来接收要分组的对象和组的指定。
例如,用户操作输入单元21以从图2所示的编辑画面ED11中指定(选择)与要分组的期望对象相对应的轨道的组显示区域,从而指定要分组的对象。控制单元23通过从输入单元21提供的信号来指定所指定的对象。
另外,在通过指定组显示区域而显示的组选择窗口GW11中,用户通过移动光标CS11以指定组图标来指定组。
此时,控制单元23的显示控制单元42基于从输入单元21提供的信号使显示单元24显示组选择窗口GW11,并且控制单元23基于从输入单元21提供的信号来指定所指定的组。
在步骤S12中,控制单元23对对象进行分组,使得在步骤S11中指定的对象属于在步骤S11中指定的组,并且控制单元23生成组信息。
例如,组信息是指示哪个对象属于哪个组的信息,并且包括组ID和指示属于该组ID指示的组的对象的信息。要注意的是,指示对象的信息可以是用于识别对象自身的对象ID等,或者可以是指示诸如用于间接识别对象的轨道ID的轨道的信息。
控制单元23根据需要将所生成的组信息提供给记录单元22,以使记录单元22记录组信息。要注意的是,在组信息已经被记录在记录单元22中的情况下,控制单元23更新所指定的组的组信息,使得指示新指定的对象的信息被添加到组信息中。
通过以这种方式生成组信息,对对象进行分组。
在步骤S13中,显示控制单元42基于新生成或更新的组信息来更新已经在显示单元24上显示的编辑画面和POV图像的显示。
例如,显示控制单元42控制显示单元24,以使显示单元24以组的组颜色在如图2所示的编辑画面ED11的每个轨道区域中显示属于同一组的对象的轨道区域。
类似地,显示控制单元42控制显示单元24,以使显示单元24以组的组颜色在如图3所示的POV图像P11中的各个对象球中显示属于同一组的对象的对象球。这使得可以容易地区分属于同一组的对象,即高度相关的对象。
当如上所述对对象进行分组并且相应地更新编辑画面和POV图像的显示时,分组处理结束。
如上所述,信息处理设备11对对象进行分组,使得通过对输入单元21的输入操作指定的对象属于指定的组。
通过执行这样的分组,可以以组为单位编辑对象位置信息等,并且可以更有效地执行编辑。
<关于对象位置信息的编辑>
当对对象进行分组时,信息处理设备11变得能够以组为单位编辑关于对象的信息,诸如对象位置信息。
具体地,例如,对于多个分组对象,可以在保持多个对象的相对位置关系的同时改变每个对象的对象位置信息。
例如,假设在显示单元24上显示图5所示的编辑画面和POV图像。要注意的是,在图5中,与图3中相对应的部分给予相同的附图标记,因此,将适当省略其描述。
在图5所示的示例中,在显示单元24上显示编辑画面ED21和POV图像P21。要注意的是,在此,为了更好地观看附图,仅示出编辑画面ED21的一部分。
在编辑画面ED21中,类似于图2所示的情况,为每个轨道提供轨道区域和时间线区域。
即,在此,针对对象名称为“Vo”的声乐对象的轨道以及对象名称为“EG”的电吉他对象的轨道分别显示轨道区域和时间线区域。
例如,区域TR21是用于声乐对象的轨道的轨道区域,并且区域TM21是用于声乐对象的轨道的时间线区域。
在该示例中,除了作为组显示区域的区域GP21、作为对象名称显示区域的区域OB21和作为坐标系选择区域的区域PS21之外,在区域TR21中还显示轨道颜色显示区域TP21、静音按钮MU21和独奏按钮SL21。
在此,轨道颜色显示区域TP21是显示轨道颜色编号的区域。轨道颜色编号是指示可以提供给每个轨道并且是用于识别轨道的颜色的轨道颜色的信息。
如稍后将描述的,在信息处理设备11中,可以选择POV图像上的对象球是以组颜色显示还是以轨道颜色显示。
因此,用户可以通过操作输入单元21以操作编辑画面ED21上的轨道颜色显示区域来指定每个轨道的轨道颜色。即,例如,用户使类似于图2所示的组选择窗口GW11的轨道颜色选择窗口被显示,并且从轨道颜色选择窗口中选择轨道颜色编号,从而选择轨道的轨道颜色。
例如,在轨道颜色显示区域TP21中写入的数字“3”指示轨道颜色编号,并且以由轨道颜色编号指示的轨道颜色来显示轨道颜色显示区域TP21。
要注意的是,可以为每个轨道选择任何轨道颜色,并且例如,可以为与属于同一组的两个对象相对应的轨道选择(指定)彼此不同的轨道颜色。另外,例如,也可以为与属于彼此不同的组的两个对象相对应的轨道选择相同的轨道颜色。
静音按钮MU21是当执行稍后描述的静音设置时要操作的按钮,并且独奏按钮SL21是当执行稍后描述的独奏设置时要操作的按钮。
另外,在区域TM21中,该区域TM21是用于声乐对象的轨道的时间线区域,例如,显示轨道的时间波形L21(即对象的音频信号)以及表示对象的水平角、垂直角和时间序列半径的折线L22至L24。
特别地,折线L22、折线L23和折线L24上的点表示编辑点,在该编辑点处可以指定在特定时间点(时刻)处对象位置信息的水平角、垂直角和半径。编辑点可以是预先定义的时间点,或者可以是用户指定的时间点。或者,用户可能能够删除编辑点。
此外,在编辑每个轨道时,用户可以在收听再现声音的同时再现所渲染的音频内容的声音并执行编辑,并且在编辑画面ED21上还显示指示音频内容的声音的再现位置的再现光标TC21,即,再现期间的时间点。在POV图像P21中,在再现光标TC21所指示的时间点(时刻),基于对象位置信息显示每个对象的对象球。
在图5所示的示例中,在与声乐和电吉他的每个对象相对应的轨道的组显示区域中显示相同的组ID“3”,从而指示那些对象属于同一组。
因此,在POV图像P21中,以相同的组颜色显示电吉他对象的对象球BL15和声乐对象的对象球BL16。
另外,在图5所示的示例中,再现光标TC21位于时间点“13197”。
假设在该时间点,声乐对象的对象位置信息为坐标(方位角,仰角,半径)=(-5.62078,1.36393,1),而电吉他对象的对象位置信息为坐标(-3.57278,-3.79667,1)。
假设从图5所示的这种状态,例如,用户已经操作如图6所示的输入单元21,并且已经在时间点“20227”处改变了声乐对象的对象位置信息。要注意的是,在图6中,与图5中的部分相对应的部分给予相同的附图标记,并且将适当省略其描述。
例如,用户通过操作输入单元21以移动编辑点的位置或移动对象球或通过直接输入改变后的对象位置信息来指示对象位置信息的改变。即,输入改变后的对象位置信息。
在图6的示例中,假设用户已经在时间点“20227”处将坐标(-22.5,1.36393,1)指定为声乐对象的改变后的对象位置信息。
然后,根据响应于用户操作从输入单元21提供的信号,位置确定单元41根据用户指定的坐标(-22.5,1.36393,1)在声乐对象的时间点“20227”处确定对象位置信息。
同时,通过参考记录在记录单元22中的组信息,位置确定单元41指定与对象位置信息已经改变的声乐对象属于同一组的另一个对象。在此,指定电吉他对象是与声乐对象属于同一组的对象。
位置确定单元41改变(确定)属于这样指定的同一组的电吉他对象的对象位置信息,从而保持与声乐对象的相对位置关系。此时,基于作为声乐对象的改变后的对象位置信息的坐标(-22.5,1.36393,1)来确定电吉他对象的对象位置信息。
因此,在该示例中,电吉他对象在时间点“20227”处的对象位置信息是坐标(-20.452,-3.79667,1)。
当改变(确定)如此分组的对象的对象位置信息时,显示控制单元42控制显示单元24以使显示单元24将那些对象的对象球移动到由改变后的对象位置信息指示的位置。
在图6所示的示例中,在保持那些对象的相对位置关系的同时,属于同一组的声乐对象的对象球BL16和电吉他对象的对象球BL15在图中向右移动。
此外,例如,假设从图6所示的状态起,用户已经操作了如图7所示的输入单元21,并且在时间点“27462”处已经改变了声乐对象的对象位置信息。要注意的是,在图7中,与图5中的部分相对应的部分给予相同的附图标记,并且将适当省略其描述。
在图7的示例中,假设用户已经在时间点“27462”处将坐标(-56,1.36393,1)指定为声乐对象的改变后的对象位置信息。
然后,根据响应于用户操作从输入单元21提供的信号,位置确定单元41根据用户指定的坐标(-56,1.36393,1)在声乐对象的时间点“27462”处确定对象位置信息。
同时,位置确定单元41改变(确定)与声乐对象属于同一组的电吉他对象的对象位置信息,从而保持与声乐对象的相对位置关系。
因此,在该示例中,电吉他对象在时间点“27462”处的对象位置信息是坐标(-53.952,-3.79667,1)。
当改变如此分组的对象的对象位置信息时,显示控制单元42控制显示单元24以使显示单元24将那些对象的对象球移动到由改变后的对象位置信息指示的位置。
在图7所示的示例中,在保持那些对象的相对位置关系的同时,与图6的情况相比,属于同一组的声乐对象的对象球BL16和电吉他对象的对象球BL15在图中向更右方移动。
在图6和图7的示例中,要求用户输入声乐对象的改变后的对象位置信息,但是与声乐对象属于同一组的电吉他对象不需要输入改变后的对象位置信息等。
也就是说,仅通过改变一个对象的对象位置信息,与该对象的对象属于同一组的所有其他对象的对象位置信息也自动地集体改变,而无需用户的任何指示。换句话说,用户不必一个接一个地输入和改变所有对象的对象位置信息。此外,可以在保持对象的相对位置关系的同时适当地改变对象位置信息。
如上所述,通过在保持它们的相对位置关系的同时改变属于同一组的所有对象的对象位置信息,可以更有效且容易地编辑对象位置信息。
要注意的是,在图6和图7中,说明一个示例,其中当改变声乐对象的对象位置信息时,根据该改变来改变属于同一组的电吉他对象的对象位置信息。
然而,相反,当用户改变电吉他对象的对象位置信息时,根据该改变而改变声乐对象的对象位置信息。
<对象移动处理的说明>
在此将描述在参照图5至图7描述的,改变对象位置信息以在再现空间中移动对象的位置的情况下执行的处理。即,下面将参考图8的流程图描述信息处理设备11进行的对象移动处理。要注意的是,当开始该对象移动处理时,在显示单元24上至少显示编辑画面。
在步骤S41中,控制单元23接收对象位置信息的改变目标的对象的指定和对象的改变后的对象位置信息。
例如,用户通过操作输入单元21以选择编辑画面上的轨道区域等来指定改变目标对象,并且控制单元23基于从输入单元21提供的信号来指定所指定的对象。
另外,例如,用户通过操作输入单元21以执行诸如移动构成在编辑画面的时间线区域中显示的对象位置信息的水平角、垂直角和半径的编辑点的位置之类的输入来指定改变后的对象位置信息。
在步骤S42中,通过参考记录在记录单元22中的组信息,控制单元23指定与在步骤S41中指定的对象属于同一组的对象。
在步骤S43中,位置确定单元41根据指定改变后的对象位置信息的操作,基于从输入单元21提供的信号来改变(更新)指定对象的对象位置信息。
另外,位置确定单元41还根据指定对象的对象位置信息的改变来改变属于在步骤S42中指定的同一组的所有其他对象的对象位置信息。此时,改变对象位置信息,从而保持(维持)属于该组的所有对象的相对位置关系。
在步骤S44中,显示控制单元42根据步骤S43中的对象位置信息的改变来控制显示单元24以更新显示在显示单元24上的编辑画面和POV图像的显示,并且对象移动处理结束。
例如,显示控制单元42在编辑画面的时间线区域中更新构成对象位置信息的水平角、垂直角和半径的位置的显示,并在POV图像上移动对象球的位置。当对象位置信息以这种方式改变时,对象在再现空间中移动。
如上所述,当改变一个对象的对象位置信息时,信息处理设备11不仅改变对象的对象位置信息,而且改变与该对象属于同一组的所有其他对象的对象位置信息。此时,信息处理设备11改变属于同一组的所有对象的对象位置信息,从而在改变之前和之后保持那些对象的相对位置关系。
因此,通过在保持那些对象的相对位置关系的同时同时改变属于同一组的对象的对象位置信息,可以更有效地执行编辑。
<关于L/R对>
顺便提及,在将两个成对的对象分组的情况下,有时期望相对于用作预定参考的参考平面对称地布置这两个对象在再现空间中的位置。在此提到的参考平面例如是中间平面,该中间平面包括平行于从收听位置O观看的正面方向的直线。
例如,关于混响分量,即环境等,有许多要求,期望使两个环境对象彼此配对并相对于参考平面对称地布置那些对象。
因此,也可以将期望相对于参考平面对称地布置的两个对象指定为构成L/R对的对象。
L/R对中的两个对象组成一组。然后,在指示这两个对象之一的对象位置信息的改变的情况下,不仅一个对象的对象位置信息而且另一个对象的对象位置信息也被改变,从而相对于再现空间中的参考平面对称。
具体地,例如,在将要分组的对象指定为构成L/R对的对象的情况下,用户执行指定菜单项ME12的操作,如图9所示。要注意的是,在图9中,与图2中的部分相对应的部分给予相同的附图标记,并且将适当省略其描述。
图9示出显示在显示单元24上的编辑画面ED31的一部分,并且在该示例中,编辑画面ED31显示两个轨道中的每个轨道的轨道区域和时间线区域。
例如,区域TR31是与从收听位置O观看时布置在左前侧的环境中的对象名称为“Amb_L”的对象相对应的轨道的轨道区域。类似地,区域TR32是从收听位置O观看时布置在右前侧的环境中的对象名称为“Amb_R”的对象相对应的轨道的轨道区域。
此外,在图9中,在选择(指定)与区域TR32(即对象“Amb_R”)相对应的轨道的状态下显示菜单项ME11、菜单项ME12和组选择窗口GW11。
在这种状态下,当用户操作输入单元21以将用于指定为L/R对的菜单项ME12进行操作时,在菜单项ME12中的字符“L/R对”的图形的左侧显示复选标记。因此,对象“Amb_R”成为构成L/R对的对象。
另外,在组选择窗口GW11中,此处通过光标CS11指定(选择)其组ID为“9”的组图标。因此,对象“Amb_R”属于组ID为“9”的组,并且成为构成L/R对的对象。
在图9的示例中,还在与对象“Amb_L”相对应的轨道的区域TR31中的组显示区域中显示组ID“9”。
因此,可以理解,对象“Amb_L”和对象“Amb_R”属于组ID为“9”的组,并且是构成L/R对的对象。
因此,在不仅可以指定每个对象所属的组而且可以指定每个对象是否在L/R对中的情况下,组信息中仅需要包括L/R对标志,该L/R对标志是指示每个对象是否是构成L/R对的对象的信息。
在这种情况下,例如,组信息包括组ID、指示属于该组的对象的信息以及L/R对标志。
例如,L/R对标志的值“1”表示属于该组的两个对象在L/R对中,并且L/R对标志的值“0”表示属于该组的多个对象不在L/R对中。
特别地,与包括其值为“1”的L/R对标志的组信息相对应的组总是由两个对象组成。换句话说,仅在两个对象构成一组的情况下才可以将两个对象指定为L/R对。因此,可以说作为L/R对表示该组的一个特征。
如上所述,在将对象“Amb_L”和对象“Amb_R”制成L/R对的情况下,例如,如图10至图12所示,根据用户操作改变这些对象的对象位置信息。要注意的是,在图10至12中,与图9中的部分相对应的部分给予相同的附图标记,并且将适当省略其描述。
例如,在图10所示的示例中,在显示单元24上显示编辑画面ED31和POV图像P31。
在编辑画面ED31中,以对象所属的组ID为“9”的组的组颜色显示作为对象“Amb_L”的轨道区域的区域TR31和作为对象“Amb_R”的轨道区域的区域TR32。另外,在编辑画面ED31上的时间线区域中,再现光标TC31位于时间点“0”处。
在这种状态下,假设用户已经操作输入单元21并且在时间点“0”处已经将坐标(30,0,1)指定为对象“Amb_L”的对象位置信息。
然后,位置确定单元41在时间点“0”处确定对象“Amb_L”的对象位置信息到坐标(30,0,1)。同时,位置确定单元41在时间点“0”处确定对象“Amb_R”的对象位置信息,以使得对象“Amb_R”在再现空间中的位置与对象“Amb_L”的位置相对于参考平面对称。换句话说,对象“Amb_R”的对象位置信息被改变。
在此,在时间点“0”处的对象“Amb_R”的对象位置信息是坐标(-30,0,1)。
当以此方式确定了属于同一组并且在L/R对中的对象“Amb_L”和对象“Amb_R”的对象位置信息时,显示控制单元42基于确定的对象位置信息更新POV图像P31的显示。
在此,对象“Amb_L”的对象球BL31显示在与POV图像P31上的坐标(30,0,1)相对应的位置处。
对象名称“Amb_L”显示在对象球BL31上,并且对象球BL31以组ID为“9”的组的组颜色显示。
另一方面,对象“Amb_R”的对象球BL32显示在与POV图像P31上的坐标(-30,0,1)相对应的位置处。
对象名称“Amb_R”显示在对象球BL32上,并且对象球BL32以组ID为“9”的组的组颜色显示。
特别地,在此,将包括收听位置O和平行于图中的深度方向的直线的平面用作参考平面,并且对象球BL31和对象球BL32布置在相对于参考平面对称的位置。
另外,假设从图10所示的状态起,用户已经操作图11所示的输入单元21,并且在时间点“20000”处已经将坐标(56.5,0,1)指定为对象“Amb_L”的对象位置信息。
然后,位置确定单元41根据坐标(56.5,0,1)作为对象“Amb_L”的对象位置信息将在时间点“20000”处的对象“Amb_R”的对象位置信息设置为坐标(-56.5,0,1)。
然后,显示控制单元42基于坐标(56.5,0,1)和坐标(-56.5,0,1)作为改变后的对象位置信息来控制显示单元24,并更新POV图像P31的显示。
因此,对象球BL31移动到与POV图像P31上的坐标(56.5,0,1)相对应的位置,并且对象球BL32移动到与POV图像P31上的坐标(-56.5,0,1)相对应的位置。即使在移动之后,类似于图10的情况,对象球BL31和对象球BL32也处于布置在相对于参考平面对称的位置的状态。
此外,假设从图11所示的状态起,用户已经操作图12所示的输入单元21,并且在时间点“40000”处已经将坐标(110,25,1)指定为对象“Amb_L”的对象位置信息。
然后,位置确定单元41根据坐标(110,25,1)作为对象“Amb_L”的对象位置信息将在时间点“40000”处的对象“Amb_R”的对象位置信息设置为坐标(-110,25,1)。
然后,显示控制单元42基于坐标(110,25,1)和坐标(-110,25,1)作为改变的对象位置信息来控制显示单元24,并更新POV图像P31的显示。
因此,对象球BL31移动到与POV图像P31上的坐标(110,25,1)相对应的位置,并且对象球BL32移动到与POV图像P31上的坐标(-110,25,1)相对应的位置。即使在移动之后,类似于图10和11的情况,对象球BL31和对象球BL32也处于布置在相对于参考平面对称的位置的状态。
要注意的是,当指定L/R对中的对象“Amb_L”的对象“Amb_L”和对象“Amb_R”的对象位置信息时,在此已经描述了相应地改变对象“Amb_R”的对象位置信息。然而,相反,当确定对象“Amb_R”的对象位置信息时,位置确定单元41相应地改变对象“Amb_L”的对象位置信息。
如上所述,在属于该组的对象的数量为两个的情况下,用户可以将这两个对象指定为L/R对。换句话说,可以将L/R对设置为该组的特征。
如果执行L/R对的设置,则仅通过改变L/R对中的一个对象的对象位置信息,另一对象的对象位置信息也将自动改变,而无需来自用户的视点的任何特别的指示。此外,由于L/R对中的两个对象布置在相对于参考平面对称的位置,因此用户可以容易地设置对称的声像位置。
<分组处理的说明>
在此将描述在如上所述可以指定L/R对的情况下由信息处理设备11执行的分组处理。即,下面将参考图13的流程图描述信息处理设备11执行的分组处理。
当开始分组处理时,执行步骤S71的处理,并且步骤S71的处理与图4中的步骤S11的处理相似,因此将省略其描述。然而,在步骤S71中,用户通过适当地操作用于指定的菜单项作为L/R对在编辑画面上来指定L/R对。
在步骤S72中,控制单元23基于从输入单元21提供的信号,确定被指定为要分组的对象的对象数量是否为两个。
在步骤S72中确定未对两个,即对三个或更多个对象进行分组的情况下,则处理进入步骤S75。
另一方面,在步骤S72中确定要对两个对象进行分组的情况下,控制单元23在步骤S73中确定两个要分组的对象是否在L/R对中。例如,当对两个对象进行分组时,在已经操作了图9所示的菜单项ME12并且已经指定了L/R对的情况下,将它们确定为L/R对。
在步骤S73中确定两个对象在L/R对中的情况下,控制单元23在步骤S74中将要分组的两个对象属于的组的L/R对标志的值设置为“1”。即,生成值为“1”的L/R对标志。
在执行步骤S74的处理之后,处理进入步骤S76。
另一方面,在步骤S73中确定两个对象不在L/R对中的情况下,则处理进入步骤S75。
在步骤S73中确定对象不在L/R对中或者在步骤S72中确定指定对象的数量不是两个的情况下,执行步骤S75的处理。
在步骤S75中,控制单元23将要分组的多个对象属于的组的L/R对标志的值设置为“0”。即,生成值为“0”的L/R对标志。
在执行步骤S75的处理之后,处理进入步骤S76。
在步骤S74或步骤S75中生成L/R对标志之后,执行步骤S76和步骤S77的处理,并且分组处理结束。
要注意的是,步骤S76和步骤S77的处理与图4中的步骤S12和步骤S13的处理相似,因此将省略其描述。然而,在步骤S76中,控制单元23根据用户在步骤S71中的指定操作,生成包括组ID、指示属于该组的对象的信息以及在步骤S74或步骤S75中生成的L/R对标志的组信息。
如上所述,信息处理设备11根据对输入单元21的输入操作执行分组,并且生成包括L/R对标志的组信息。
通过以这种方式执行分组,可以以组为单位更有效地编辑对象位置信息等。此外,对于作为L/R对的对象对,仅通过指定对象之一的位置,用户就可以将对象布置在对称位置。
另外,即使在执行参照图13描述的分组处理的情况下,当指示对象位置信息的改变时,基本上也执行与参照图8描述的对象移动处理类似的处理。
然而,在这种情况下,当对象是构成L/R对的对象时,改变两个对象的对象位置信息,使得在步骤S43中位于L/R对中的两个对象相对于参考平面对称。即,改变两个对象的对象位置信息,同时两个对象保持相对于参考平面对称的关系。因此,同样在这种情况下,用户可以更有效和容易地执行编辑。
<关于多个时间点的对象位置信息的同时编辑>
顺便说一下,在编辑画面上,用户可以指定(改变)每个时间点即每个编辑点的构成对象位置信息的水平角、垂直角和半径。
此外,在对象位置信息改变的情况下,信息处理设备11可以通过指定包括在时间方向上布置的多个编辑点的改变范围来选择多个编辑点,并且将多个编辑点的位置(坐标值)同时偏移(改变)预定的改变量。
在下文中,将通过一次操作同时改变包括在指定改变范围内的多个编辑点的坐标值(即,水平角、垂直角和半径)的改变量具体地称为偏移量。另外,包括在改变范围内的编辑点也具体地称为选择编辑点。
在此,将参考图14至图17通过指定改变范围同时选择彼此不同的时间点的多个编辑点并且通过偏移量来改变那些选择编辑点的坐标值的情况的具体示例进行描述。要注意的是,在图14至图17中,彼此对应的部分给予相同的附图标记,并适当省略其说明。
首先,例如,如图14所示,假设在显示单元24上显示的画面ED41上为对象“Amb_L”的轨道显示作为轨道区域的区域TR41和作为时间线区域的区域TM41。
在图14中,在作为时间线区域的区域TM41中的折线L41、L42和L43表示对象“Amb_L”的水平角、垂直角和时间序列的半径。
特别地,在此,在表示构成对象位置信息的水平角的折线L41上设置编辑点EP41-1至EP41-4,该编辑点EP41-1至EP41-4分别表示在时间点“20000”、时间点“25000”、时间点“30000”和时间点“35000”处的水平角。要注意的是,在不需要将编辑点EP41-1至EP41-4彼此区分的情况下,编辑点EP41-1至EP41-4在下文中也将简称为编辑点EP41。
类似地,在折线L42上设置编辑点EP42-1至EP42-4,该编辑点EP42-1至EP42-4分别表示在时间点“20000”、时间点“25000”、时间点“30000”和时间点“35000”处的垂直角。要注意的是,在不需要将编辑点EP42-1至EP42-4彼此区分的情况下,编辑点EP42-1至EP42-4在下文中也将简称为编辑点EP42。
此外,在折线L43上设置编辑点EP43-1至EP43-4,该编辑点EP43-1至EP43-4分别表示在时间点“20000”、时间点“25000”、时间点“30000”和时间点“35000”处的半径。要注意的是,在不需要将编辑点EP43-1至EP43-4彼此区分的情况下,编辑点EP43-1至EP43-4在下文中也将简称为编辑点EP43。
现在,令对象“Amb_L”在时间点“20000”、时间点“25000”、时间点“30000”和时间点“35000”的各个时间点的坐标作为对象位置信息,分别为(方位角,标高,半径)=(56.5,0,1),(65.0,0,1),(35.0,0,1)和(90.0,0,1)。
在这种状态下,例如,当用户通过操作输入单元21以执行诸如以鼠标作为输入单元21范围选择之类的操作来选择包括多个编辑点的范围作为改变范围时,显示如图15所示的改变范围的框W41。
在该示例中,由框W41包围在折线L42上包括四个编辑点EP42-1至EP42-4的范围,并且将由框W41包围的范围指定为改变范围。
要注意的是,可以将仅包括一个编辑点EP42的范围指定为改变范围,或者可以将包括彼此不同类型(坐标分量)的编辑点(例如水平角和垂直角)的范围指定为改变范围。即,例如,可以将包括多个编辑点EP41、EP42和EP43的范围指定为改变范围。
另外,例如,当预定时间点处的编辑点包括在改变范围内时,与编辑点相同时间点处的另一坐标分量的编辑点可以被选择为包括在改变范围内。
另外,指定改变范围的方法,即指定要包括在改变范围内的编辑点的方法可以是任何方法,例如,通过在按下键盘的控制键的同时操作鼠标,通过使用指针单击等来指定每个编辑点。
当指定了改变范围时,显示控制单元42控制显示单元24以使显示单元24例如在编辑画面ED41上显示图16所示的偏移画面OF41。
在图16所示的示例中,偏移画面OF41叠加显示在区域TM41上,该区域TM41是编辑画面ED41的时间线区域。
偏移画面OF41上设置有偏移显示区域OFT41,该偏移显示区域OFT41指示当在时间方向上移动选择编辑点的位置(即,改变选择编辑点的时间点)时的偏移量。在偏移显示区域OFT41中显示指示选择编辑点的时间点的偏移量(特别是在下文中也称为时间偏移量)的字符“100”。
另外,在偏移画面OF41上的偏移显示区域OFT41的两端设置有按钮BT41-1和按钮BT41-2,用于将选择编辑点的位置在时间方向上移动时间偏移量“100”。
例如,每当用户操作输入单元21一次按下按钮BT41-1时,选择编辑点的位置在时间方向上移动在未来方向上的时间偏移量“100”。即,对象位置信息的时间点增加时间偏移量“100”。
相反,例如,每当用户操作输入单元21一次按下按钮BT41-2时,选择编辑点的位置在时间方向上移动在过去方向上的时间偏移量“100”。即,对象位置信息的时间点减少时间偏移量“100”。要注意的是,在不需要将按钮BT41-1和BT41-2彼此区分的情况下,按钮BT41-1和BT41-2在下文中也将简称为按钮BT41。
偏移画面OF41上设置有偏移显示区域OFT42,该偏移显示区域OFT42指示当改变由选择编辑点指示的水平角(即,移动选择编辑点的位置)时的偏移量。在偏移显示区域OFT42中显示指示水平角的偏移量(特别是在下文中也称为水平角偏移量)的字符“10”。
在偏移画面OF41上的偏移显示区域OFT42的两端设置有按钮BT42-1和按钮BT42-2,用于将水平角在上下方向上移动水平角偏移量“10”,该水平角是选择编辑点的值,即选择编辑点的位置。
例如,每当用户操作输入单元21一次按下按钮BT42-1时,选择编辑点的位置沿图的向上方向移动水平角偏移量“10”。即,对象位置信息的水平角增加水平角偏移量“10”。
相反,例如,每当用户操作输入单元21一次按下按钮BT42-2时,选择编辑点的位置沿图的向下方向移动水平角偏移量“10”。即,对象位置信息的水平角减少水平角偏移量“10”。要注意的是,在下文中,在不需要将按钮BT42-1和BT42-2彼此区分的情况下,按钮BT42-1和BT42-2也将简称为按钮BT42。
偏移画面OF41上设置有偏移显示区域OFT43,该偏移显示区域OFT43指示当改变由选择编辑点指示的垂直角(即,移动选择编辑点的位置)时的偏移量。在偏移显示区域OFT43中显示指示垂直角的偏移量(特别是在下文中也称为垂直角偏移量)的字符“10”。
在偏移画面OF41上的偏移显示区域OFT43的两端设置有按钮BT43-1和按钮BT43-2,用于将垂直角在上下方向上移动垂直角偏移量“10”,该垂直角是选择编辑点的值,即选择编辑点的位置。
例如,每当用户操作输入单元21一次按下按钮BT43-1时,选择编辑点的位置沿图的向上方向移动垂直角偏移量“10”。即,对象位置信息的垂直角增加垂直角偏移量“10”。
相反,例如,每当用户操作输入单元21一次按下按钮BT43-2时,选择编辑点的位置沿图的向下方向移动垂直角偏移量“10”。即,对象位置信息的垂直角减少垂直角偏移量“10”。要注意的是,在不需要将按钮BT43-1和BT43-2彼此区分的情况下,按钮BT43-1和BT43-2在下文中也将简称为按钮BT43。
偏移画面OF41上设置有偏移显示区域OFT44,该偏移显示区域OFT44指示当改变由选择编辑点指示的半径(即,移动选择编辑点的位置)时的偏移量。在偏移显示区域OFT44中显示指示半径的偏移量(特别是在下文中也称为半径偏移量)的字符“0.1”。
在偏移画面OF41上的偏移显示区域OFT44的两端设置有按钮BT44-1和按钮BT44-2,用于将半径在上下方向上移动半径偏移量“0.1”,该半径是选择编辑点的值,即选择编辑的位置。
例如,每当用户操作输入单元21一次按下按钮BT44-1时,选择编辑点的位置沿图的向上方向移动半径偏移量“0.1”。即,对象位置信息的半径增加半径偏移量“0.1”。
相反,例如,每当用户操作输入单元21一次按下按钮BT44-2时,选择编辑点的位置沿图的向下方向移动半径偏移量“0.1”。即,对象位置信息的半径减少半径偏移量“0.1”。要注意的是,在下文中,在不需要将按钮BT44-1和BT44-2彼此区分的情况下,按钮BT44-1和BT44-2也将简称为按钮BT44。
另外,可以通过输入单元21的用户操作将偏移显示区域OFT41至偏移显示区域OFT44中的数值,即偏移量改变为任何值。
如上所述,当将由框W41包围的范围指定为改变范围并且显示偏移画面OF41时,用户通过操作输入单元21来操作在偏移画面OF41上设置的按钮BT41、按钮BT42、按钮BT43和按钮BT44。
这允许用户针对对象位置信息的每个分量指示以偏移量为单位的改变。即,用户可以在作为偏移画面OF41的用户界面上执行操作,并且相对于另一个编辑点移动选择编辑点。
例如,假设用户在图15所示的状态下操作了按钮BT43-1五次,即在作为对象位置信息的时间点“20000”、时间点“25000”、时间点“30000”和时间点“35000”的坐标是(56.5,0,1)、(65.0,0,1)、(35.0,0,1)和(90.0,0,1)的状态下。即,假设用户已经执行了将垂直角增加50度的操作,该垂直角由作为选择编辑点的四个编辑点EP42指示。
当执行这样的操作时,位置确定单元41基于从输入单元21提供的信号,将与选择编辑点相对应的对象“Amb_L”的时间点“20000”、时间点“25000”、时间点“30000”和时间点“35000”的对象位置信息的垂直角增加50。
因此,作为对象位置信息的对象“Amb_L”的时间点“20000”、时间点“25000”、时间点“30000”和时间点“35000”的坐标变为(56.5,50,1)、(65.0,50,1)、(35.0,50,1)和(90.0,50,1)。
在该示例中,仅通过操作按钮BT43,用户就可以同时在四个时间点处将对象位置信息改变垂直角偏移量。
当对象位置信息以这种方式改变时,显示控制单元42控制显示单元24以更新编辑画面ED41的显示。即,如图16所示,显示控制单元42更新编辑画面ED41的显示,使得与图15所示的情况相比,编辑点EP42-1至EP42-4在图中向上移动。
此外,假设在该状态下用户已经操作了按钮BT41-1十次。即,假设用户已经执行了将选择编辑点的时间点增加1000的操作。
当执行这样的操作时,位置确定单元41基于从输入单元21提供的信号,将与选择编辑点相对应的对象“Amb_L”的对象位置信息的时间点增加1000。
即,将具有时间点“20000”、时间点“25000”、时间点“30000”和时间点“35000”的对象“Amb_L”的对象位置信息改变为时间点“21000”、时间点“26000”、时间点“31000”和时间点“36000”的对象位置信息。
结果,在作为对象位置信息的对象“Amb_L”的时间点“21000”、时间点“26000”、时间点“31000”和时间点“36000”处的坐标变为(56.5,50,1)、(65.0,50,1)、(35.0,50,1)和(90.0,50,1)。
同时,在到目前为止已存在编辑点的时间点“20000”、时间点“25000”、时间点“30000”和时间点“35000”处不再存在编辑点,然后通过稍后描述的插值处理获得那些时间点处的对象位置信息。
要注意的是,在此仅垂直角的编辑点EP42是选择编辑点,但是在编辑点的时间点改变的情况下,对象位置信息的时间点也改变,编辑点EP41和编辑点EP43在与编辑点EP42的时间点相同的时间点也是选择编辑点。
当对象位置信息以这种方式改变时,显示控制单元42控制显示单元24以更新编辑画面ED41的显示。即,如图17所示,显示控制单元42更新编辑画面ED41的显示,使得与图16所示的情况相比,编辑点EP41至EP43在图中向右移动。
如上所述,通过使偏移范围内包括的多个编辑点可以共同地以偏移量改变,与一个接一个编辑不同时间点处的多个对象位置信息的情况相比,可以更容易和有效地执行编辑。
要注意的是,在一个对象的多个时间点处的对象位置信息共同地以偏移量改变的情况下,当存在与对象属于同一组的另一对象时,在另一对象的多个时间点处的对象位置信息也改变。
例如,假设对象“Amb_L”和对象“Amb_R”属于同一组,并且通过对偏移画面OF41的操作,指示了对象“Amb_L”的时间点A1和时间点A2的对象位置信息的改变。
在这种情况下,在保持对象“Amb_L”和对象“Amb_R”之间的相对位置关系的同时,位置确定单元41以偏移量为单位改变对象“Amb_L”和对象“Amb_R”的时间点A1和时间点A2的对象位置信息。
<偏移移动处理的说明>
接下来,将描述当通过上述操作将多个不同时间点的对象位置信息共同并同时改变到偏移画面时信息处理设备11的操作。即,下面将参考图18的流程图描述信息处理设备11进行的偏移移动处理。
在步骤S101中,控制单元23接收对象位置信息的改变目标的对象和对象的改变范围的指定。
例如,用户操作输入单元21以直接指定在编辑画面的时间线区域中显示的一个或多个编辑点,或者指定包括一个或多个编辑点的区域,从而指定改变范围。基于从输入单元21提供的信号,控制单元23指定被指定为改变目标的对象和为该对象指定的改变范围,即,用于同时改变坐标值的选择编辑点。
在步骤S102中,显示控制单元42控制显示单元24以使得偏移画面叠加并显示在显示单元24上显示的编辑画面的时间线区域上。因此,例如,显示图16所示的偏移画面OF41。
在步骤S103中,控制单元23通过在偏移画面上的操作,即,输入坐标值的改变量,来接收选择编辑点的位置的改变操作。
当显示偏移画面时,用户操作输入单元21以偏移量为单位输入用于改变选择编辑点的改变量。例如,在图16所示的示例中,用户通过操作按钮BT41、按钮BT42、按钮BT43和按钮BT44来指示坐标值的改变。
在步骤S104中,基于从输入单元21提供的信号,位置确定单元41以偏移量为单位同时改变包括在指定对象的改变范围内的选择编辑点的值,即,对象位置信息。在步骤S104中,通过用户以偏移量为单位指定的改变量,同时改变一个或多个时间点中的每个时间点处的对象位置信息。
例如,在图15所示的状态下,在用户仅操作图16所示的按钮BT43-1一次的情况下,位置确定单元41在与选择编辑点相对应的时间点处将构成对象位置的垂直角增加10度。
在步骤S105中,控制单元23基于记录在记录单元22中的对象位置信息和组信息中的改变目标的对象,确定改变目标的对象是否属于该组。换句话说,确定是否存在与改变目标的对象属于同一组的另一对象。
在步骤S105中确定没有对象属于该组,即,没有其他对象属于同一组的情况下,处理进入步骤S107。
另一方面,在步骤S105中确定对象属于该组,即,存在另一个对象属于同一组的情况下,处理进入步骤S106。
在步骤S106中,位置确定单元41改变与改变目标的对象属于同一组的所有其他对象的对象位置信息。此时,位置确定单元41根据改变目标的对象的对象位置信息的改变,以偏移量为单位改变其他对象的对象位置信息,使得保持属于该组的所有对象在再现空间中的相对位置关系。要注意的是,在改变目标的对象是L/R对的对象的情况下,相对于改变目标的对象改变在L/R对中的另一对象的对象位置信息,使得在L/R对中的两个对象相对于参考平面对称。
在另一对象的对象位置信息改变之后,处理进入步骤S107。
在步骤S105中确定对象不属于该组之后,或者执行步骤S106的处理之后,执行步骤S107的处理,并且偏移移动处理结束。要注意的是,步骤S107的处理类似于图8中的步骤S44的处理,因此将省略其描述。
如上所述,信息处理设备11以偏移量为单位同时改变与包括在改变范围内的一个或多个编辑点相对应的对象位置信息。这样,与将编辑点的位置即坐标值一个接一个改变的情况相比,可以减少用户操作的次数,并且可以更有效且容易地执行编辑。
<关于对象位置信息的插值处理>
顺便说一下,信息处理设备11保持对象位置信息,即,关于基本存在编辑点的时间点的元信息,而不保持关于不存在编辑点的时间点的元信息。
但是,在渲染音频内容时,需要所有时间点的对象位置信息。因此,在信息处理设备11中,在渲染音频内容时或在输出音频内容时,通过插值处理获得不存在编辑点的时间点处的对象位置信息。
例如,如图19所示,通常选择两个相邻的编辑点,并通过线性插值获得这些编辑点之间的每个时间点处的坐标值。
在图19中,编辑画面ED51显示折线L51至L53,该折线L51至L53代表对象名称为“Vo”的对象的轨道的构成时间序列的对象位置信息的水平角、垂直角和半径。
例如,关注由折线L51指示的时间序列的水平角,信息处理设备11保持存在编辑点EP51-1的时间点处的水平角(对象位置信息)和存在与编辑点EP51-1相邻的编辑点EP51-2的时间点处的水平角。
另一方面,由于不保持在那些编辑点EP51-1和EP51-2之间存在的时间点的水平角,因此基于那些时间点在编辑点EP51-1处的坐标值和那些时间点的坐标值在编辑点EP51-2处的坐标值,通过线性插值获得那些时间点的水平角。要注意的是,在不需要将编辑点EP51-1和EP51-2彼此区分的情况下,编辑点EP51-1和EP51-2在下文中也将简称为编辑点EP51。
假设在执行线性插值的情况下,对象的水平角在两个编辑点EP51之间以恒定的速度改变,即,对象以恒定的角速度在水平角方向上移动。换句话说,水平角的线性改变表示对象以恒定的角速度在水平角方向上移动。
但是,由于对象并非总是以恒定的角速度移动,因此能够根据对象的移动方式从多种插补方法中选择对象位置信息的插值处理方法(插值方法)是方便的。
因此,在信息处理设备11中,可以针对构成对象位置信息的每个分量,针对彼此相邻的编辑点之间的每个区间选择插值方法。
具体地,例如,如图20所示,用户可以通过操作输入单元21以选择在编辑画面ED51的时间线区域中彼此相邻的两个编辑点之间的区间来显示插值方法选择画面SG51。
要注意的是,在图20中,与图19中的部分相对应的部分给予相同的附图标记,并且将适当省略其描述。用于显示插值方法选择画面SG51的操作可以是诸如点击操作的任何操作。
在图20的示例中,指定编辑点EP51-1和EP51-2之间的区间,并且在插值方法选择画面SG51中,可以在该区间中选择水平角的插值方法。
具体地,插值方法选择画面SG51设置有菜单项ME51至ME54,当将四种不同的插值方法中的每一种指定为插值方法时,菜单项ME51至ME54将被操作,并且用户通过指定这些菜单项中的任一个来指定插值方法。
例如,菜单项ME51指示线性插值,并且菜单项ME52指示余弦插值,余弦插值是使用余弦函数的插值。
另外,菜单项ME53指示实现直角坐标值改变的插值方法,其中,相同的坐标值从插值目标的区间的开始一直持续到区间的结束之前,并且坐标值在区间的终点之前快速改变。菜单项ME54指示实现直角坐标值改变的插值方法,其中,坐标值在插值目标的区间的开始之后,立即快速改变,此后,相同的坐标值一直持续到区间的结束。
在每个菜单项中,绘制表示当通过与菜单项相对应的插值方法执行插值处理时坐标值中的变化的直线、曲线或折线,并且用户仅通过查看菜单项就可以直观地掌握插值方法。例如,在菜单项ME52中绘制表示余弦插值的余弦曲线,并且用户可以直观地掌握插值方法是余弦插值。
要注意的是,插值处理的方法(插值方法)不限于参考图20描述的方法,并且可以是任何其他方法,诸如使用另一二次函数的插值方法等。
另外,如图20所示,当用户在指定编辑点EP51-1和EP51-2之间的区间的状态下通过操作输入单元21来选择(指定)菜单项ME52时,位置确定单元41根据输入单元21提供的信号执行余弦插值。
即,基于由编辑点EP51-1指示的水平角和由编辑点EP51-2指示的水平角,位置确定单元41通过使用余弦函数的余弦插值来获得在那些编辑点EP51-1和EP51-2之间的每个时间点处的水平角。要注意的是,尽管已经描述了仅对对象位置信息的水平角执行余弦插值的示例,但是可以对垂直角和半径与水平角在执行余弦插值的区间内同时执行余弦插值。即,在针对一个区间指定诸如余弦插值的一种插值方法的情况下,可以通过指定的插值方法对区间中的对象位置信息的水平角、垂直角和半径进行插值。
如上所述,当执行余弦插值作为插值处理时,例如,如图21所示,更新编辑画面ED51的显示。要注意的是,在图21中,与图19中的部分相对应的部分给予相同的附图标记,并且将适当省略其描述。
在图21所示的示例中,已经执行了余弦插值的编辑点EP51-1和编辑点EP51-2之间的区间不是绘制为直线,而是绘制为余弦曲线。
要注意的是,在没有指定特定插值方法的情况下,可以通过由初始设置定义的插值方法,例如线性插值等,来插值编辑点之间的坐标值。
另外,在这种情况下,在已经选择了不同于初始设置的另一种插值方法的区间中,连接两个相邻编辑点的线(直线、曲线和折线)可以以与已执行由初始设置定义的线性插值的区间中的线不同的颜色显示。除此之外,对于每种选择的插值方法,可以用不同的颜色显示连接编辑点的线。通过这样做,用户可以立即辨别已经指定了哪种插值方法等。
<插值方法选择处理的说明>
随后,将描述当用户为编辑点之间的区间选择插值方法时信息处理设备11的操作。即,下面将参考图22的流程图描述由信息处理设备11执行的插值方法选择处理。要注意的是,当开始该插值方法选择处理时,编辑画面显示在显示单元24上。
在步骤S131中,控制单元23接收在编辑画面的时间线区域上显示的两个编辑点的指定。
例如,在为期望区间选择插值方法的情况下,用户通过操作输入单元21以指定两个编辑点来指定插值方法的选择目标的区间。基于响应于用户操作从输入单元21提供的信号,控制单元23将编辑点指定为插值方法的选择目标的区间的开始位置和结束位置。
在步骤S132中,显示控制单元42控制显示单元24以使显示单元24在编辑画面的时间线区域上叠加并显示插值方法选择画面。因此,例如,显示图20所示的插值方法选择画面SG51。
当显示插值方法选择画面时,用户通过操作输入单元21以选择(指定)插值方法选择画面上的期望菜单项来指定插值方法。
在步骤S133中,基于响应于用户操作从输入单元21提供的信号,控制单元23针对在步骤S131中指定的两个编辑点之间的区间选择插值方法,并生成指示选择结果的插值方法指定信息。控制单元23将由此生成的插值方法指定信息提供给记录单元22。
在步骤S134中,记录单元22将从控制单元23提供的插值方法指定信息记录为音频内容的数据的一部分。
另外,当生成插值方法指定信息时,显示控制单元42控制显示单元24以更新编辑画面的显示。因此,例如,如图21所示,以与插值方法指定信息所指示的插值方法相对应的形状和颜色来显示处理目标的区间中的线,即连接两个编辑点的线。
另外,在诸如渲染音频内容时的适当时刻执行对象位置信息(更具体地,构成对象位置信息的水平角、垂直角和半径的每个分量)的插值处理。
即,在步骤S135中,位置确定单元41针对没有保持对象位置信息的每个时间点处执行插值处理,并且生成所有对象的对象位置信息。
此时,基于在另一时间点处保持的对象位置信息,位置确定单元41通过记录在记录单元22中的插值方法指定信息所指示的插值方法对对象位置信息的每个分量执行插值处理。
当通过插值处理获得每个时间点处的对象位置信息时,插值方法选择处理结束。此后,适当地,输出音频内容的数据,并且基于音频内容的数据执行渲染。
如上所述,信息处理设备11生成并记录插值方法指定信息,该插值方法指定信息指示针对构成对象位置信息的每个分量针对每个区间指定的插值方法。然后,信息处理设备11通过由插值方法指定信息指示的插值方法执行插值处理,以获得每个时间点处的对象位置信息。通过这样做,可以更准确地表达对象的移动(运动)。即,可以增加对象移动的表达的自由度,并且各种声像表达成为可能。
<关于轨道颜色的显示>
顺便提及,在图5所示的示例中,已经说明了在编辑画面ED21的轨道区域设置有每个轨道的轨道颜色显示区域。
在轨道颜色显示区域中显示轨道颜色编号,并且以针对轨道颜色编号预先定义的轨道颜色显示每个轨道颜色显示区域。
另外,如上所述,在信息处理设备11中,可以选择以组颜色还是轨道颜色显示POV图像上的对象球。
例如,在设置以轨道颜色显示POV图像上的对象球的情况下,显示控制单元42控制显示单元24的显示,使得在更新POV图像的显示时以轨道颜色显示对象球,例如图4中的步骤S13和图8中的步骤S44。
如果可以为对象即轨道以这种方式单独指定轨道颜色,则用户可以通过查看轨道颜色来容易地区分每个轨道。特别地,即使在构成音频内容的对象的数量很大的情况下,用户也可以容易地区分哪个对象球对应于哪个轨道。
另外,在图5中,已经说明了在每个轨道区域中显示轨道颜色显示区域和组显示区域的示例。然而,在设置以轨道颜色显示对象球的情况下,可以在轨道区域中显示轨道颜色显示区域,同时可以不显示组显示区域。
在这种情况下,例如,在显示单元24上显示例如图23所示的编辑画面ED61。
在图23所示的示例中,在编辑画面ED61上显示11个轨道的轨道区域和那些轨道的时间线区域。
特别是,显示对象名称为“Kick”、“OH_L”、“OH_R”,“Snare”、“Vo”、“EG”、“Cho”、“AG1”、“AG2”、“Amb_L”和“Amb_R”的11个对象中的每一个的轨道区域和时间线区域。
每个对象的轨道区域设置有轨道颜色显示区域,并且在轨道颜色显示区域中显示轨道颜色编号。另外,以预先针对轨道颜色编号定义的轨道颜色显示每个轨道颜色显示区域。
具体地,例如,区域TR61是对象“Kick”的轨道的轨道区域。然后,在区域TR61中提供作为对象名称显示区域的区域OB61和轨道颜色显示区域TP61。在区域OB61中显示对象名称“Kick”,并且在轨道颜色显示区域TP61中显示轨道颜色编号“1”。然后,以针对轨道颜色编号“1”定义的轨道颜色显示包括轨道颜色显示区域TP61的整个区域TR61。
在图23中,为四个对象,更具体地,构成鼓的对象名称为“Kick”、“OH_L”、“OH_R”和“Snare”的四个对象的轨道,指定轨道颜色编号“1”。另外,为与电吉他演奏者的声乐相对应的对象“Vo”和电吉他的对象“EG”指定轨道颜色编号“3”。
为与民谣吉他演奏者的合唱相对应的对象“Cho”和民谣吉他的对象“AG1”指定轨道颜色编号“6”。
类似地,为另一把民谣吉他的对象“AG2”指定轨道颜色编号“22”。此外,为与环境相对应的对象“Amb_L”和对象“Amb_R”指定轨道颜色编号“9”。
在显示如图23所示的编辑画面ED61的情况下,例如,在显示单元24上显示如图24所示的POV图像P61。要注意的是,在图24中,与图3或图10中的部分相对应的部分给予相同的附图标记,并且将适当省略其描述。
在图24中,构成鼓的对象名称为“Kick”、“OH_L”、“OH_R”和“Snare”的各个对象的对象球BL11至BL14以轨道颜色“蓝色”显示,对应于轨道颜色编号“1”。
另外,对象“EG”的对象球BL15和对象“Vo”的对象球BL16以轨道颜色“橙色”显示,对应于轨道颜色编号“3”。
对象“AG1”的对象球BL17和对象“Cho”的对象球BL18以轨道颜色“绿色”显示,对应于轨道颜色编号“6”,并且对象“AG2”的对象球BL19以轨道颜色“深蓝色”显示,对应于轨道颜色编号“22”。
此外,对象“Amb_L”的对象球BL31和对象“Amb_R”的对象球BL32以轨道颜色“紫色”显示,对应于轨道颜色编号“9”。
在显示POV图像P61的情况下,基于针对每个对象的轨道指定(选择)的轨道颜色编号,显示控制单元42以针对该轨道颜色编号定义的轨道颜色显示每个对象的对象球。
通过以此方式以轨道颜色显示每个对象的对象球,即使在对象数量大的情况下,也可以容易地区分哪个对象球对应于哪个对象(轨道)。
要注意的是,尽管上面已经说明了以组颜色或轨道颜色显示对象球的示例,但是也可以以组颜色和轨道颜色显示对象球。
在这种情况下,例如,显示控制单元42使对象球的中心部分以轨道颜色显示,并且使剩余部分,即,对象球的以轨道颜色显示的部分之外的部分,以组颜色显示。这允许用户立即区分对象对应于每个对象球属于哪个轨道以及对象属于哪个组。
除此之外,对象球不仅可以以诸如组颜色或轨道颜色之类的颜色显示,而且可以以为用于识别与组或轨道颜色编号或其组合相对应的轨道的信息而定义的显示格式来显示。具体地,例如,可以以为该组定义的形状显示对象球。
<关于静音设置和独奏设置>
另外,如图5所示,在编辑画面上设置有用于执行静音设置的静音按钮和用于执行独奏设置的独奏按钮。
静音设置是使指定对象的声音静音,即,在编辑音频内容时再现音频内容时不再现(输出)对象的声音。在下文中,特别地,将指定为要静音的对象也称为打开静音设置,并且将静音设置打开的状态也称为静音状态。
在信息处理设备11中,在POV图像上隐藏处于静音状态的对象的对象球。即,对象的静音设置也反映在POV图像上的对象球上。要注意的是,在输出音频内容的数据时,处于静音状态的对象的对象数据可以不包括在音频内容的数据中。
另一方面,独奏设置是在再现音频内容时编辑音频内容时仅再现(输出)指定对象的声音并且使其他对象的声音静音。在下文中,特别地,将指定为用于再现声音的对象也称为打开独奏设置,并且将独奏设置打开的状态也称为独奏状态。
在信息处理设备11中,在POV图像上显示处于独奏状态的对象的对象球,并且隐藏未处于独奏状态的其他对象。即,对象的独奏设置也反映在POV图像上的对象球上。要注意的是,在输出音频内容的数据时,仅处于独奏状态的对象的对象数据可以包括在音频内容的数据中。
另外,当执行静音设置和独奏设置之一时,另一设置无效。即,例如,当执行静音设置时,取消独奏设置,相反,当执行独奏设置时,取消静音设置。
通过以这种方式执行静音设置和独奏设置,隐藏其中不再现声音的静音对象的对象球,并且仅使其中再现声音的对象的对象球显示在POV图像上,可以提高可用性。
即,静音对象应该是用户当前不关注的对象,并且非静音对象应该是用户正在关注的对象。
因此,例如,通过仅在POV图像上显示未静音对象的对象球,用户可以容易地掌握用户关注的对象的位置的变化。这样可以提高内容制作工具的可用性。
在此将参照图25至图27描述静音设置和独奏设置的具体示例。要注意的是,在图25至图27中,与图5或图24中的部分相对应的部分给予相同的附图标记,将适当省略其描述。另外,要注意的是,在图25至27中,彼此对应的部分给予相同的附图标记,并且将适当省略其描述。
例如,在既未执行独奏设置也未执行静音设置的状态下,如图25所示,在POV图像P71上显示与所有轨道相对应的对象球。要注意的是,在图25中,仅显示编辑画面ED21的一部分。
在图25所示的示例中,用于所有对象的轨道的静音按钮处于未操作的状态,该静音按钮包括用于对象“Vo”的轨道的静音按钮MU21和用于对象“EG”的轨道的静音按钮MU22。即,没有任何对象处于静音状态。
同时,用于所有对象的轨道的独奏按钮处于未操作状态,该独奏按钮包括用于对象“Vo”的轨道的独奏按钮SL21和用于对象“EG”的轨道的独奏按钮SL22。即,没有针对任何对象执行了独奏状态的设置。
在这种状态下,在POV图像P71中显示所有对象的对象球。
在此,在POV图像P71中显示对象名称为“Kick”、“OH_L”、“OH_R”,“Snare”、“EG”、“Vo”、“AG1”、“Cho”、“AG2”、“Amb_L”和“Amb_R”的各个对象的对象球BL11至BL19、对象球BL31和对象球BL32。
在这种状态下,假设已经通过用户操作输入单元21以通过单击等操作在编辑画面ED21上的静音按钮MU21和静音按钮MU22来打开对象“Vo”和对象“EG”的静音设置。即,假设对象“Vo”和对象“EG”进入静音状态。
然后,例如,如图26所示,以与操作之前不同的颜色在编辑画面ED21上显示所操作的静音按钮MU21和静音按钮MU22。
例如,当执行静音设置时,未打开静音设置的对象的静音按钮将以与执行静音设置之前的颜色相同的颜色显示,并且打开静音设置的对象的静音按钮将以与执行静音设置之前的颜色不同的颜色显示。
在图26的示例中,打开对象“Vo”和对象“EG”的静音设置,而未打开其他对象的静音设置。因此,显示控制单元42控制显示单元24以更新POV图像P71的显示,使得在显示单元24上显示图26的右侧所示的POV图像P71。
即,在图26的示例中,到目前为止已经在POV图像P71中显示但是处于静音状态的对象“EG”的对象球BL15和对象“Vo”的对象球BL16,处于不显示(即隐藏)的状态。
另一方面,未处于静音状态的其他对象的对象球,即对象球BL11至BL14、对象球BL17至BL19、对象球BL31和对象球BL32,仍显示在POV图像中P71。
另外,例如,在图25所示的状态下,假设已经通过用户操作输入单元21以通过单击等操作在编辑画面ED21上的独奏按钮SL21和独奏按钮SL22来打开对象“Vo”和对象“EG”的独奏设置。即,假设对象“Vo”和对象“EG”进入独奏状态。
然后,例如,如图27所示,以与操作之前不同的颜色在编辑画面ED21上显示所操作的独奏按钮SL21和独奏按钮SL22。
例如,当执行独奏设置时,未打开独奏设置的对象的独奏按钮将以与执行独奏设置之前的颜色相同的颜色显示,并且打开独奏设置的对象的静音按钮将以与执行独奏设置之前的颜色不同的颜色显示。
在图27的示例中,打开对象“Vo”和对象“EG”的独奏设置,而未打开其他对象的独奏设置。因此,显示控制单元42控制显示单元24以更新POV图像P71的显示,使得在显示单元24上显示图27的右侧所示的POV图像P71。
即,在图27的示例中,在POV图像P71中,打开独奏设置,并且仅显示与处于独奏状态的对象“EG”和“Vo”相对应的对象球BL15和BL16。
因此,已经显示但未处于独奏状态的其他对象的对象球的显示被擦除并且处于隐藏状态。即,在图27的POV图像P71中,对象球BL11至BL14、对象球BL17至BL19、对象球BL31和对象球BL32处于未显示的状态。
通过这样结合静音设置和独奏设置使POV图像上的对象球进入显示状态或隐藏状态,用户可以在视觉上容易地理解对应的轨道处于静音状态还是独奏状态。这样可以提高可用性。
<设置处理的说明>
接下来,将描述当用户执行静音设置或独奏设置时信息处理设备11的操作。即,下面将参考图28的流程图描述由信息处理设备11执行的设置处理。要注意的是,当开始该设置处理时,在显示单元24上显示编辑画面。
在步骤S161中,控制单元23基于从输入单元21提供的信号来确定是否已经操作了编辑画面上的静音按钮。
例如,在对图25所示的静音按钮MU21或静音按钮MU22进行了诸如点击之类的操作的情况下,控制单元23确定已经操作了静音按钮。
在步骤S161中确定未操作静音按钮的情况下,不执行步骤S162的处理,然后处理进入步骤S163。
另一方面,在步骤S161中确定已经操作了静音按钮的情况下,控制单元23在步骤S162中使通过用户对静音按钮的操作所指定的对象(轨道)进入静音状态。
具体地,例如,如图25所示,在对象“Vo”不处于静音状态的状态下操作静音按钮MU21的情况下,控制单元23使对象“Vo”进入静音状态。要注意的是,例如,在对象“Vo”处于静音状态时操作静音按钮MU21的情况下,控制单元23取消对象“Vo”的静音状态。
在以这种方式执行根据静音按钮上的操作的静音设置之后,处理进入步骤S163。
当在步骤S161中确定未操作静音按钮时,或者当执行步骤S162的处理时,执行步骤S163的处理。
在步骤S163中,控制单元23基于从输入单元21提供的信号来确定是否已经操作了编辑画面上的独奏按钮。例如,在对图25所示的独奏按钮SL21或独奏按钮SL22已经进行了诸如点击之类的操作的情况下,控制单元23确定已经操作了独奏按钮。
在步骤S163中确定未操作独奏按钮的情况下,不执行步骤S164的处理,然后处理进入步骤S165。
另一方面,在步骤S163中确定已经操作了独奏按钮的情况下,控制单元23在步骤S164中使通过用户对独奏按钮的操作所指定的对象(轨道)进入独奏状态。
具体地,例如,如图25所示,在对象“Vo”不处于独奏状态的状态下操作独奏按钮SL21的情况下,控制单元23使对象“Vo”进入独奏状态。要注意的是,例如,在对象“Vo”处于独奏状态时操作独奏按钮SL21的情况下,控制单元23取消对象“Vo”的独奏状态。
在以这种方式执行根据独奏按钮上的操作的独奏设置之后,处理进入步骤S165。
要注意的是,在处于静音状态或独奏状态的对象属于该组的情况下,控制单元23还可以将与该对象属于同一组的所有其他对象带入静音状态或独奏状态。在这种情况下,控制单元23通过参考组信息来指定处理目标的对象是否属于该组,并且根据指定结果确定执行静音设置或独奏设置的对象单元和组单元中的哪一个。
当在步骤S163中确定未操作独奏按钮时,或者当执行步骤S164的处理时,在步骤S165中,显示控制单元42根据控制单元23的静音设置或独奏设置来控制显示单元24,并且更新编辑画面和POV图像的显示。
具体地,例如,假设通过对静音按钮的操作使对象进入静音状态。在这种情况下,显示控制单元42在编辑画面上改变处于静音状态的对象的跟踪区域中的静音按钮的显示格式,并且在POV图像上隐藏处于静音状态的对象的对象球。
当静音设置或独奏设置以这种方式反映到编辑画面和POV图像的显示器上时,设置处理结束。
如上所述,信息处理设备11根据对静音按钮和独奏按钮的操作来执行静音设置和独奏设置,并且将设置内容反映到编辑画面和POV图像的显示器上。这允许用户容易地掌握哪个对象(轨道)处于静音状态或独奏状态,并且允许提高可用性。
<关于轨道的导入>
顺便说一下,信息处理设备11可以导入(获取)任何音频信号的文件,即,作为构成音频内容的对象数据或声道音频数据的任何音频文件。
例如,导入目标的音频文件可以是记录在记录单元22中的音频文件、通信单元25接收的音频文件、从外部可移动记录介质读取的音频文件等。
具体地,例如,在将记录在记录单元22中的音频文件作为构成音频内容的数据导入的情况下,可以通过如图29所示的拖放操作等来执行导入。
在图29所示的示例中,显示单元24显示编辑画面ED81和窗口WD81,在其上显示记录在记录单元22中的音频文件的列表。
例如,用户可以通过操作输入单元21来指示导入音频文件,以如箭头Q11所示在窗口WD81中拖动任何音频文件并将音频文件拖放到编辑画面ED81上。要注意的是,用于指定要导入的音频文件并指示导入的操作不限于拖放操作,而可以是任何其他操作,例如从文件菜单中选择(指定)所需的音频文件。
当执行这样的拖放操作时,控制单元23从记录单元22获取由用户指定的音频文件,并且接收所获取的音频文件作为构成正在编辑的音频内容的数据。
在该示例中,将文件名为“Congas.wav”的WAV格式的音频文件作为音频内容的数据。
例如,在指定的音频文件是单声道音频信号,即单声道音频信号的文件的情况下,控制单元23仅需要在编辑画面ED81上将音频文件扩展为构成对象数据的音频信号。即,仅需要控制单元23将音频文件添加到音频内容的数据中作为对象数据的音频信号。
但是,指定的音频文件可以是多个声道的文件,即,诸如两声道的音频信号的多声道文件。在这种情况下,有必要指定是导入指定的音频文件作为与声道数一样多的对象数据,还是导入指定的音频文件作为声道音频数据。
因此,例如,在指定的音频文件是多声道文件的情况下,显示控制单元42控制显示单元24以使显示单元24显示图30所示的轨道类型选择画面CO81。
在图30所示的示例中,轨道类型选择画面CO81设置有三个按钮BT81至BT83。
按钮BT81是当将指定的音频文件作为对象数据即对象轨道导入时要操作的按钮。
按钮BT82是当将指定的音频文件作为声道音频数据即声道轨道导入时要操作的按钮。另外,按钮BT83是当取消指定的音频文件的导入时要操作的按钮。
此外,在将指定的音频文件作为对象数据导入的情况下,在轨道类型选择画面CO81中还显示当给出并导入表示股特定位置的对象位置信息时要操作的复选框CB81。
在该示例中,由于指定的多声道文件是两声道音频信号的文件,因此在复选框CB81的图的右侧上显示字符消息“设置具有L/R位置(方位角+30/-30)的2ch WAV(s)”。该字符消息中的“L/R位置(方位角+30/-30)”表示将水平角“30”和“-30”作为对象位置信息给出。通过观看这样的显示,用户可以容易地掌握将什么对象位置信息提供给通过导入新添加的对象。
除此之外,例如,可以在轨道类型选择画面CO81上显示复选框等,该复选框等可以指定是否导入指定的音频文件(即,构成多声道文件的多个声道的音频信号)作为属于同一组的多个对象的对象数据。
另外,例如,在指定的音频文件是包括两声道音频信号的多声道文件的情况下,也可以在轨道类型选择画面CO81上显示复选框,该复选框可以指定是否导入那些两声道音频信号作为L/R对的对象数据。
例如,假设用户在复选框CB81中未显示复选标记的状态下操作输入单元21以操作(选择)轨道类型选择画面CO81上的按钮BT81。
然后,控制单元23根据指定的音频文件的声道数,将音频文件扩展为多个对象的轨道。
具体地,基于从输入单元21提供的信号,控制单元23从记录单元22等读取构成指定的多声道文件的每个声道的音频信号,并将音频信号作为每个对象的对象数据。即,将多个声道的各个音频信号视为多个对象的各个音频信号。结果,生成与多声道文件的声道数量一样多的新对象。
当以这种方式导入音频文件时,显示控制单元42根据导入的执行来控制显示单元24,并且更新编辑画面和POV图像的显示。
在图29和30所示的示例中,当操作按钮BT81以导入两声道音频文件时,例如,出现如图31所示的更新后的编辑画面ED81。要注意的是,在图31中,与图29中的部分相对应的部分给予相同的附图标记,并且将适当省略其描述。
在此,指示导入的文件名为“Congas.wav”的音频文件是两声道文件,因此,在控制单元23中通过导入生成对象“Congas-0”和对象“Congas-1”的两个对象。
然后,更新编辑画面ED81的显示,使得为与那些对象相对应的每个轨道提供轨道区域和时间线区域。
即,在图31所示的示例中,编辑画面ED81的区域TR81和区域TM81是对象“Congas-0”的轨道的轨道区域和时间线区域。类似地,区域TR82和区域TM82是对象“Congas-1”的轨道的轨道区域和时间线区域。
要注意的是,在指定的音频文件包括诸如声像定位位置之类的位置信息的情况下,仅需要使用位置信息作为对象位置信息来生成对象的元信息。
另一方面,在指定的音频文件不具有位置信息(即,再现空间中的位置)的情况下,可以给出预先定义的位置(例如,收听位置O前面的位置)作为对象的再现空间中的位置。在这种情况下,相同的对象位置信息被提供给多个对象中的每一个。
此外,指定的音频文件有时是多声道文件,具有特定声道数量,例如两个声道、六个声道或八个声道。
在这种情况下,当将指定的音频文件扩展为多个对象的轨道时,可以通过将特定位置作为初始值提供给多个对象中的每个对象来节省编辑的时间和精力。
例如,在音频文件是两声道文件的情况下,通常,构成音频文件的两声道音频信号通常是左右声道的音频信号,即,L声道音频信号和R声道音频信号。
因此,可以将作为一般的左右(LR)声道布置的位置的坐标(方位角,仰角,半径)=(30,0,1)和(-30,0,1)作为指示再现空间中的位置的对象位置信息提供给与这两个声道相对应的对象。由坐标(30,0,1)表示的位置和由坐标(-30,0,1)表示的位置是相对于再现空间中的上述参考平面对称的位置。
通过以这种方式给出特定位置,用户不必将每个时间点的对象位置信息输入到通过导入新添加的对象。
要注意的是,在此将描述示例,在该示例中,将分别由坐标(30,0,1)和(-30,0,1)表示的位置提供给通过导入双声道音频文件而添加的两个对象,但是可以给出任何其他位置。
另外,类似于两个声道的情况,当音频文件具有六个声道时,例如,考虑将坐标(方位角,仰角,半径)=(30,0,1)、(-30,0,1)、(0,0,1)、(0,-30,0)、(110,0,1)和(-110,0,1)作为与那些声道相对应的六个对象的对象位置信息来给出。
此外,当音频文件具有八个声道时,例如,考虑将坐标(30,0,1)、(-30,0,1)、(0,0,1)、(0,-30,0)、(110,0,1)、(-110,0,1)、(30,30,1)和(-30,30,1)作为与那些声道相对应的八个对象的对象位置信息来给出。
轨道类型选择画面CO81设置有复选框CB81,从而可以将指示再现空间中特定位置的对象位置信息作为初始值提供给以这种方式通过导入新添加的对象。
例如,假设如图29所示已经执行了导入文件名为“Congas.wav”的两声道音频文件的操作。然后,假设当响应于该操作在显示单元24上显示轨道类型选择画面CO81时,如图32所示,用户在使复选框CB81上显示对勾标记之后,已经操作输入单元21并且已经操作(选择)按钮BT81。要注意的是,在图32中,与图30中的部分相对应的部分给予相同的附图标记,并适当省略其描述。
当如图32所示在复选框CB81中显示对勾标记之后操作按钮BT81时,控制单元23根据音频文件的声道数量,将指定的音频文件扩展为多个对象的轨道。
即,与在上述复选框CB81中未显示对勾标记的情况类似,控制单元23将构成指定的两声道音频文件的每个声道的音频信号作为新添加的每个对象的音频信号。
此外,位置确定单元41将坐标(30,0,1)作为对象位置信息提供给与两个新添加的对象的L声道相对应的对象。类似地,位置确定单元41将坐标(-30,0,1)作为对象位置信息提供给与两个新添加的对象的R声道相对应的对象。
当以这种方式导入音频文件时,显示控制单元42根据导入的执行来控制显示单元24,并且更新编辑画面和POV图像的显示。
在图29和32所示的示例中,当操作按钮BT81以导入两声道音频文件时,出现分别如图33和34所示的更新后的编辑画面和POV图像。要注意的是,在图33中,与图29中的部分相对应的部分给予相同的附图标记,并且将适当省略其描述。
在图33中,指示导入的文件名为“Congas.wav”的音频文件是两声道文件,因此在控制单元23中通过导入生成对象“Congas-L”和对象“Congas-R”的两个对象。
然后,更新编辑画面ED81的显示,使得为与那些对象相对应的每个轨道提供轨道区域和时间线区域。
即,在图33中,编辑画面ED81的区域TR91和区域TM91是对象“Congas-L”的轨道的轨道区域和时间线区域,并且特别地,对象“Congas-L”的每个时间点处的对象位置信息是坐标(30,0,1)。
类似地,区域TR92和区域TM92是对象“Congas-R”的轨道的轨道区域和时间线区域,并且特别地,对象“Congas-R”的每个时间点处的对象位置信息是坐标(-30,0,1)。
此外,显示控制单元42使显示单元24显示图34所示的POV图像P91作为与图33所示的编辑画面ED81相对应的POV图像。
在图34中,从收听位置O观看时,在图中的左前侧布置有表示对象“Congas-L”的位置的对象球BL91,以及从收听位置O观看时,在图中的右前侧布置有表示对象“Congas-R”的位置的对象球BL92。
在要导入的音频文件是具有特定声道数量的文件的情况下,如果根据用户的指令将特定位置作为初始值提供给要通过导入新添加的对象,则可以减少用户进行对象位置信息的输入工作的时间和精力。这样可以更有效和容易地执行编辑。
要注意的是,如上所述,在导入音频文件的时间点处,对象可以被分组或者可以被带入L/R对中。
<导入处理的说明>
随后,将描述当如上所述地导入期望的音频文件时,特别是导入包括在再现空间中没有位置的音频信号的音频文件时,信息处理设备11的操作。
即,下面将参考图35的流程图描述信息处理设备11进行的导入处理。例如,如图29所示,当通过诸如对所需音频文件的拖放等操作来指示导入时,开始该导入处理。
在步骤S191中,控制单元23基于从输入单元21提供的信号,确定指示要导入的音频文件是否是多声道文件。
在步骤S191中确定音频文件不是多声道文件的情况下,即,在指示单声道音频文件的导入的情况下,执行步骤S192的处理。
在步骤S192中,控制单元23将指定的音频文件作为一个对象数据导入。
例如,作为要新添加的一个对象的对象数据,即对象的音频信号,控制单元23接收构成指示了导入的单声道音频文件的一个音频信号。此时,控制单元23将预先定义的预定位置的对象位置信息、增益信息、优先级信息等适当地提供给音频信号以提供元信息,并生成包括元信息和音频信号的对象数据。
在以这种方式添加对象数据之后,处理进入步骤S199。
另一方面,在步骤S191中确定音频文件是多声道文件的情况下,显示控制单元42在步骤S193中使显示单元24显示轨道类型选择画面。
因此,例如,显示图30所示的轨道类型选择画面CO81。然后,通过操作输入单元21,例如,用户适当地对轨道类型选择画面CO81中的复选框CB81和按钮BT81进行操作。
在步骤S194中,控制单元23响应于轨道类型选择画面上的用户操作,基于从输入单元21提供的信号,确定是否将音频文件作为对象数据导入。
例如,在操作图30所示的轨道类型选择画面CO81的按钮BT81的情况下,控制单元23在步骤S194中确定将音频文件作为对象数据导入。
在步骤S194中确定不将音频文件作为对象数据导入的情况下,即,在用户指示将音频文件作为声道音频数据的导入的情况下,处理进入步骤S195。
在步骤S195中,控制单元23将指定的音频文件作为一个声道音频数据导入。在这种情况下,接收多个声道中的每个声道的音频信号作为一个声道音频数据,即一个轨道的数据。在以这种方式添加声道音频数据之后,处理进入步骤S199。
另一方面,在步骤S194中确定将音频文件作为对象数据导入的情况下,执行步骤S196的处理。
在步骤S196中,控制单元23以与音频文件的声道数目相对应的数目将指定的音频文件作为对象的对象数据导入。
例如,控制单元23接收构成要为其指示导入的音频文件的多个声道的音频信号,作为构成与那些声道相对应的多个对象的对象数据的音频信号。即,生成与音频文件的声道数量一样多的对象,并将那些对象添加到音频内容。
在步骤S197中,位置确定单元41确定是否将在再现空间中的特定位置提供给步骤S196中生成的对象。
例如,如图32所示,在轨道类型选择画面CO81的复选框CB81中显示有对勾标记的状态下操作按钮BT81的情况下,在步骤S197中确定给出特定位置。
在步骤S197中确定没有给出特定位置的情况下,不执行步骤S198的处理,然后处理进入步骤S199。
在这种情况下,位置确定单元41将预先定义的位置(例如,再现空间中的前位置)提供给在步骤S196的处理中新添加的对象。
即,位置确定单元41生成包括对象位置信息的元信息,该对象位置信息指示针对多个新添加的对象中的每一个预先定义的位置,并且提供包括元信息和音频信号的对象数据。特别地,在这种情况下,将相同的位置提供给所有多个新添加的对象。
另一方面,在步骤S197中确定要给出特定位置的情况下,位置确定单元41在步骤S198中针对在步骤S196的处理中新添加的那些对象中的每个对象在再现空间中给出特定位置。
即,例如,位置确定单元41生成包括对象位置信息的元信息,该对象位置信息指示针对多个新添加的对象中的每一个不同的特定位置,并且提供包括元信息和音频信号的对象数据。
具体地,例如,在新添加的对象的数量为两个的情况下,如以上示例所示,将坐标(30,0,1)表示的位置提供给其中一个对象,并将坐标(-30,0,1)表示的位置提供给另一个对象。特别地,在此,对每个对象提供不同的位置,例如对称位置。提供给每个对象的特定位置是针对指示导入的音频文件的每个声道定义的位置。即,将与要导入的音频文件的声道数量相对应的特定位置提供给对象。
通过以这种方式给出特定位置,用户不必一个接一个地输入新添加的对象的对象位置信息,因此对象位置信息的设置变得容易。即,可以提高编辑效率。
要注意的是,在通过导入添加新对象的情况下,控制单元23可以将那些对象分组。在这种情况下,可以根据用户指令进行分组,或者,特别地即使没有用户指令也同时添加多个新对象时,可以无条件地对这些对象进行分组。此外,在新添加的对象的数量为两个的情况下,根据用户指令等,这两个对象可以是L/R对。
也可以说,在执行分组的情况下,控制单元23执行对在再现空间中不具有位置的多个对象进行分组并将在再现空间中的位置提供给多个分组对象的处理。
特别地,在要被分组的对象的数量为两个的情况下,可以将再现空间中的位置提供给这两个对象,使得两个对象具有相对于再现空间中的预定参考平面对称的位置关系。
在步骤S198中将特定位置提供给对象之后,处理进入步骤S199。
在已经执行了步骤S192、步骤S195或步骤S198的处理的情况下,或者在步骤S197中确定没有给出特定位置的情况下,执行步骤S199的处理。
在步骤S199中,显示控制单元42根据音频文件的导入来控制显示单元24,并且更新显示在显示单元24上的编辑画面和POV图像的显示,并且导入处理结束。
例如,在步骤S199中,如图31、33和34所示,更新编辑画面和POV图像的显示。
如上所述,信息处理设备11根据音频文件的声道数量和轨道类型选择画面上的用户操作来导入音频文件,并添加新的对象数据等。
通过根据音频文件的声道数量和用户操作适当地执行导入,可以减少例如由用户输入对象位置信息的时间和精力,并且可以更有效且更容易地执行编辑。
<计算机的配置示例>
顺便提及,上述一系列处理可以由硬件执行或可以由软件执行。在通过软件执行一系列处理的情况下,构成软件的程序被安装到计算机中。在此,计算机包括结合在专用硬件中的计算机和例如能够通过安装各种程序来执行各种功能的通用个人计算机。
图36是示出通过程序执行上述一系列处理的计算机的硬件的配置示例的框图。
在计算机中,中央处理单元(CPU)501、只读存储器(ROM)502和随机存取存储器(RAM)503通过总线504互连。
输入/输出接口505还连接到总线504。输入单元506、输出单元507、记录单元508、通信单元509和驱动器510连接到输入/输出接口505。
输入单元506包括键盘、鼠标、麦克风、成像元件等。输出单元507包括显示器、扬声器等。记录单元508包括硬盘、非易失性存储器等。通信单元509包括网络接口等。驱动器510驱动可移动记录介质511,例如磁盘、光盘、磁光盘或半导体存储器。
例如,通过CPU 501经由输入/输出接口505和总线504将记录在记录单元508中的程序加载到RAM 503中并执行该程序,如上所述配置的计算机执行上述一系列处理。
例如,可以通过将计算机(CPU 501)执行的程序记录在诸如包装介质之类的可移动记录介质511中来提供该程序。另外,可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。
在计算机中,可以通过将可移除记录介质511安装到驱动器510上来经由输入/输出接口505将程序安装到记录单元508中。此外,可以由通信单元509经由有线或无线传输介质接收程序,并且将程序安装在记录单元508中。除此之外,可以将程序预先安装在ROM 502或记录单元508中。
要注意的是,由计算机执行的程序可以是按照本说明书中描述的顺序按时间顺序执行处理的程序,或者可以是并行或在必要的时刻(例如拨打电话时)执行处理的程序。
要注意的是,本技术的实施例不限于上述实施例,并且可以在不脱离本技术的精神的范围内进行各种修改。
例如,本技术可以被配置为云计算,其中一种功能由多个设备经由网络共享并且被共同处理。
另外,上述流程图中描述的每个步骤可以由一个设备执行或由多个设备以共享的方式执行。
此外,在一个步骤包括多个处理的情况下,一个步骤中包括的多个处理可以由一个设备执行或由多个设备以共享的方式执行。
此外,本技术可以具有以下配置。
(1)信息处理设备,包括
控制单元,其选择并分组存在于预定空间中的多个对象,并且在保持空间中的多个分组对象的相对位置关系的同时,改变多个对象的位置。
(2)根据(1)的信息处理设备,其中,控制单元将在空间中没有位置的多个对象进行分组,并且将空间中的位置提供给多个分组对象。
(3)根据(1)的信息处理设备,其中
在对两个对象进行分组的情况下,控制单元在空间中保持两个对象相对于预定平面对称的关系的同时改变两个对象的位置。
(4)根据(1)的信息处理设备,其中
控制单元将在空间中没有位置的两个对象进行分组,并将位置提供给空间中的两个对象,使得两个分组对象在空间中具有相对于预定平面对称的位置关系。
(5)根据(1)的信息处理设备,其中
控制单元将在空间中具有位置的多个对象进行分组。
(6)根据(1)至(5)中任一项的信息处理设备,其中
基于预定时间点处的对象的位置和不同于预定时间点的另一时间点处的对象的位置,控制单元通过插值处理来获得对象在预定时间点和另一个时间点之间的时间点处的对象的位置。
(7)根据(6)的信息处理设备,其中
控制单元通过从多个插值方法中选择的插值方法来执行插值处理。
(8)根据(1)至(7)中任一项的信息处理设备,其中
在选择了对象的彼此不同的多个时间点的位置并且指示位置改变的情况下,控制单元同时将所选择的多个时间点的位置改变指定的改变量。
(9)根据(1)至(8)中任一项的信息处理设备,还包括
显示控制单元,其控制以空间中的预定位置作为视点位置来显示其中布置有对象的空间的图像。
(10)根据(9)的信息处理设备,其中
显示控制单元使属于同一组的对象以相同的颜色显示在图像上。
(11)根据(9)的信息处理设备,其中
显示控制单元使对象以为与对象相对应的音频轨道选择的颜色显示在图像上。
(12)根据(9)的信息处理设备,其中
显示控制单元使对象以为与该对象相对应的音频轨道选择的颜色和为对象所属的组定义的颜色显示在图像上。
(13)根据(9)至(12)中任一项的信息处理设备,其中
显示控制单元仅使空间内存在的多个对象中的指定对象显示在图像上。
(14)根据(1)至(13)中任一项的信息处理设备,其中
对象是音频对象。
(15)信息处理方法,包括
通过信息处理设备,选择并分组存在于预定空间中的多个对象,并在保持空间中的多个分组对象的相对位置关系的同时,改变多个对象的位置。
(16)使计算机执行处理的程序,所述处理包括以下步骤
选择并分组存在于预定空间中的多个对象,并在保持空间中的多个分组对象的相对位置关系的同时,改变多个对象的位置。
参考标志列表
11 信息处理设备
21 输入单元
23 控制单元
24 显示单元
41 位置确定单元
42 显示控制单元

Claims (16)

1.一种信息处理设备,包括
控制单元,其选择并分组存在于预定空间中的多个对象,并且在保持所述空间中的分组后的多个所述对象的相对位置关系的同时,改变多个所述对象的位置。
2.根据权利要求1所述的信息处理设备,其中
所述控制单元将在所述空间中没有位置的多个对象进行分组,并且将所述空间内的位置付与分组后的多个对象。
3.根据权利要求1所述的信息处理设备,其中,
在对两个所述对象进行分组的情况下,所述控制单元在所述空间中保持两个所述对象相对于预定平面对称的关系的同时,改变两个所述对象的位置。
4.根据权利要求1所述的信息处理设备,其中,
所述控制单元将在所述空间中没有位置的两个所述对象进行分组,并将位置付与给所述空间中的两个所述对象,使得分组后的两个所述对象在所述空间中具有相对于预定平面对称的位置关系。
5.根据权利要求1所述的信息处理设备,其中
所述控制单元将在所述空间中具有位置的多个所述对象进行分组。
6.根据权利要求1所述的信息处理设备,其中,
基于预定时间点处的所述对象的位置和不同于所述预定时间点的另一时间点处的所述对象的位置,所述控制单元通过插值处理来获得在所述预定时间点和所述另一时间点之间的时间点处的所述对象的位置。
7.根据权利要求6所述的信息处理设备,其中,
所述控制单元通过从多个插值方法中选择的一插值方法来执行所述插值处理。
8.根据权利要求1所述的信息处理设备,其中
在选择了所述对象的彼此不同的多个时间点的位置并且指示位置改变的情况下,所述控制单元同时将所选择的所述多个时间点的位置改变指定的改变量。
9.根据权利要求1所述的信息处理设备,还包括
显示控制单元,其控制以所述空间中的预定位置作为视点位置来显示其中布置有所述对象的所述空间的图像。
10.根据权利要求9所述的信息处理设备,其中,
所述显示控制单元使属于同一组的所述对象以相同的颜色显示在所述图像上。
11.根据权利要求9所述的信息处理设备,其中
所述显示控制单元使所述对象以为与所述对象相对应的音频轨道选择的颜色显示在所述图像上。
12.根据权利要求9所述的信息处理设备,其中,
所述显示控制单元使所述对象以为与所述对象相对应的音频轨道选择的颜色和为所述对象所属的组定义的颜色显示在所述图像上。
13.根据权利要求9所述的信息处理设备,其中
所述显示控制单元仅使所述空间内存在的多个所述对象中的指定对象显示在所述图像上。
14.根据权利要求1所述的信息处理设备,其中
所述对象是音频对象。
15.一种信息处理方法,包括
通过信息处理设备,选择并分组存在于预定空间中的多个对象,并且在保持所述空间中的分组后的多个所述对象的相对位置关系的同时,改变多个所述对象的位置。
16.一种使计算机执行处理的程序,所述处理包括以下步骤:
选择并分组存在于预定空间中的多个对象,并在保持所述空间中的分组后的多个所述对象的相对位置关系的同时,改变所述多个所述对象的位置。
CN201980054349.4A 2018-08-30 2019-08-16 信息处理设备、信息处理方法和程序 Pending CN112585999A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018160969 2018-08-30
JP2018-160969 2018-08-30
PCT/JP2019/032132 WO2020045126A1 (ja) 2018-08-30 2019-08-16 情報処理装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
CN112585999A true CN112585999A (zh) 2021-03-30

Family

ID=69643222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980054349.4A Pending CN112585999A (zh) 2018-08-30 2019-08-16 信息处理设备、信息处理方法和程序

Country Status (7)

Country Link
US (3) US11368806B2 (zh)
EP (1) EP3846501A4 (zh)
JP (2) JP7491216B2 (zh)
KR (1) KR20210049785A (zh)
CN (1) CN112585999A (zh)
BR (1) BR112021003091A2 (zh)
WO (1) WO2020045126A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112585999A (zh) 2018-08-30 2021-03-30 索尼公司 信息处理设备、信息处理方法和程序
US20220400352A1 (en) * 2021-06-11 2022-12-15 Sound Particles S.A. System and method for 3d sound placement

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010055398A1 (en) * 2000-03-17 2001-12-27 Francois Pachet Real time audio spatialisation system with high level control
US20140241538A1 (en) * 2013-02-26 2014-08-28 Harman International Industries, Ltd. Method of retrieving processing properties and audio processing system
CN107465990A (zh) * 2013-03-28 2017-12-12 杜比实验室特许公司 用于创作和渲染音频再现数据的非暂态介质和设备
EP3336834A1 (en) * 2016-12-14 2018-06-20 Nokia Technologies OY Controlling a sound object

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3492404B2 (ja) * 1993-12-24 2004-02-03 ローランド株式会社 音響効果装置
JPH08140199A (ja) * 1994-11-08 1996-05-31 Roland Corp 音像定位設定装置
JP4304845B2 (ja) * 2000-08-03 2009-07-29 ソニー株式会社 音声信号処理方法及び音声信号処理装置
US8068105B1 (en) * 2008-07-18 2011-11-29 Adobe Systems Incorporated Visualizing audio properties
EP2863657B1 (en) 2012-07-31 2019-09-18 Intellectual Discovery Co., Ltd. Method and device for processing audio signal
MX2015014065A (es) 2013-04-05 2016-11-25 Thomson Licensing Metodo para manejar campo reverberante para audio inmersivo.
EP3261367B1 (en) 2016-06-21 2020-07-22 Nokia Technologies Oy Method, apparatus, and computer program code for improving perception of sound objects in mediated reality
CN112585999A (zh) 2018-08-30 2021-03-30 索尼公司 信息处理设备、信息处理方法和程序

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010055398A1 (en) * 2000-03-17 2001-12-27 Francois Pachet Real time audio spatialisation system with high level control
US20140241538A1 (en) * 2013-02-26 2014-08-28 Harman International Industries, Ltd. Method of retrieving processing properties and audio processing system
CN107465990A (zh) * 2013-03-28 2017-12-12 杜比实验室特许公司 用于创作和渲染音频再现数据的非暂态介质和设备
EP3336834A1 (en) * 2016-12-14 2018-06-20 Nokia Technologies OY Controlling a sound object

Also Published As

Publication number Publication date
JPWO2020045126A1 (ja) 2021-08-10
WO2020045126A1 (ja) 2020-03-05
KR20210049785A (ko) 2021-05-06
US20240073639A1 (en) 2024-02-29
JP7491216B2 (ja) 2024-05-28
EP3846501A1 (en) 2021-07-07
US11368806B2 (en) 2022-06-21
US20210329397A1 (en) 2021-10-21
US20220394415A1 (en) 2022-12-08
EP3846501A4 (en) 2021-10-06
BR112021003091A2 (pt) 2021-05-11
JP2024042045A (ja) 2024-03-27
US11849301B2 (en) 2023-12-19

Similar Documents

Publication Publication Date Title
US20240073639A1 (en) Information processing apparatus and method, and program
US5636283A (en) Processing audio signals
EP1866742B1 (en) System and method for forming and rendering 3d midi messages
KR102548644B1 (ko) 신호 처리 장치 및 방법, 그리고 프로그램
RU2735095C2 (ru) Устройство и способ аудиообработки, и программа
JP2019533195A (ja) 分離されたオブジェクトを使用してオーディオ信号を編集する方法および関連装置
KR102508815B1 (ko) 오디오와 관련하여 사용자 맞춤형 현장감 실현을 위한 컴퓨터 시스템 및 그의 방법
CN111512648A (zh) 启用空间音频内容的渲染以用于由用户消费
CN113821190B (zh) 音频播放方法、装置、设备及存储介质
JPH08140199A (ja) 音像定位設定装置
CN114520950A (zh) 音频输出方法、装置、电子设备及可读存储介质
JP2005150993A (ja) オーディオデータ処理装置、およびオーディオデータ処理方法、並びにコンピュータ・プログラム
CN115103293B (zh) 一种面向目标的声重放方法及装置
JP2016109971A (ja) 信号処理装置および信号処理装置の制御方法
KR20190081163A (ko) 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법 및 이를 위한 어플리케이션
WO2023085140A1 (ja) 情報処理装置および方法、並びにプログラム
WO2024004651A1 (ja) 音声再生装置、音声再生方法及び音声再生プログラム
KR20000037594A (ko) 3차원 공간 상의 가상음원의 임의 위치 및 이동 정보에 따른음상정위 방법
Öz et al. Creative Panning Techniques for 3D Music Productions: PANNERBANK Project as a Case Study
Lopes INSTRUMENT POSITION IN IMMERSIVE AUDIO: A STUDY ON GOOD PRACTICES AND COMPARISON WITH STEREO APPROACHES
JPH08255071A (ja) 音声情報処理システムにおける音声データ選択装置
JP2022090748A (ja) 録音装置、音再生装置、録音方法、および音再生方法
KR20190082056A (ko) 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법 및 이를 위한 어플리케이션

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210330

RJ01 Rejection of invention patent application after publication