CN103229520B - 信息处理设备、音响处理设备、音响处理系统和程序 - Google Patents
信息处理设备、音响处理设备、音响处理系统和程序 Download PDFInfo
- Publication number
- CN103229520B CN103229520B CN201180041945.2A CN201180041945A CN103229520B CN 103229520 B CN103229520 B CN 103229520B CN 201180041945 A CN201180041945 A CN 201180041945A CN 103229520 B CN103229520 B CN 103229520B
- Authority
- CN
- China
- Prior art keywords
- sound
- voice data
- processed voice
- data
- control signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 108
- 238000000034 method Methods 0.000 claims abstract description 208
- 230000008569 process Effects 0.000 claims abstract description 204
- 239000000126 substance Substances 0.000 claims abstract description 37
- 230000015572 biosynthetic process Effects 0.000 claims description 27
- 208000033748 Device issues Diseases 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 24
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 17
- 238000012937 correction Methods 0.000 description 14
- 230000004807 localization Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Otolaryngology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Stereophonic System (AREA)
Abstract
本发明能够在实际发声装置的发声条件下用基于标准发声条件处理了的已处理声音数据来发出预定声音。音响处理设备与发声装置关联地获取已处理声音数据,已处理声音数据通过对原始声音数据进行处理使得在标准发声条件下发出第一声音而获得。音响处理设备获取包含表示对原始声音数据的处理的参数和表示已处理声音数据的结构的信息中的至少一个的控制信号,以及获取发声装置的装置发声条件。为了使第二声音接近第一声音,第二声音由发声装置在所获取的装置发声条件下所发出,音响处理设备基于装置发声条件与标准发声条件之间的差异、所获取的控制信号、以及与发声装置关联地获取的已处理声音数据来指定已处理声音数据的校正内容。音响处理设备根据所指定的校正内容来校正已处理声音数据,并且将校正了的已处理声音数据提供给发声装置。
Description
技术领域
本发明涉及使用计算机表达诸如视频游戏软件之类的内容时的音频处理技术。
背景技术
作为由具有嵌入式计算机、个人计算机等的专用视频游戏机(下文中称其为视频游戏机)所执行的视频游戏软件(下文中称其为视频游戏软件),存在这样的视频游戏软件,其根据视频游戏的进程来表达三维空间或者再现运动图像。还存在这样一种再现器,其根据用户操作来对记录在市场上可买到的DVD(数字通用盘)视频、蓝光(注册商标)盘视频等(下文中称其为DVD视频等)中的视频内容进行再现。
执行视频游戏软件的视频游戏机或者再现视频内容的再现器均为执行信息处理的信息处理器。通常,信息处理器连接至包含诸如扬声器之类的发声装置的放大器,并且将声音信号发送到放大器以使得声音与视频内容同步。尽管许多信息处理器将声音混合以根据事先针对全部内容定义的标准音频环境来形成声场,然后将声音发送到放大器,但是已开发出了这样的信息处理器,其根据内容的进程来改变感觉到的声场以获得真实感或强烈的冲击感。例如,专利文献1公开了一种技术,其根据视频游戏的进程来切换再现声音的效果。
引用列表
专利文献
专利文献1:JP-A-8-243254
发明内容
技术问题
但是,根据专利文献1的技术,尽管声场在满足视频游戏进程相关的条件时改变,但是存在诸如操作声音、环境声音、和BGM(背景音乐)之类的各种声音,并且基于标准发声条件来对多种类型的声音一律施加相同的声场。因此,在专利文献1的技术中,当在实际发声条件下进行再现时不能根据声音的类型或发声条件来获得期望的音响效果。
本发明的目的是用基于标准发声条件处理了的已处理声音数据来在发声装置的实际发声条件下发出预定声音。
解决问题的方案
为了解决上述问题,根据本发明的音频处理器是这样一种音频处理器,其用于连接至根据所提供的数据发出声音的发声装置,该音频处理器包括:已处理声音数据获取器,其适合于获取根据处理内容对原始声音数据进行处理所获得的已处理声音数据,处理内容被定义为使得在作为预定发声条件的标准发声条件下发出确定的第一声音,其中与发声装置关联地获取已处理声音数据;控制信号获取器,其适合于获取控制信号,该控制信号包含表示了对原始声音数据的处理内容的参数和表示了用该参数对原始声音数据进行处理所获得的已处理声音数据的构成的信息中的至少一个;发声条件获取器,其适合于获取作为发声装置的发声条件的装置发声条件;识别器,其适合于基于装置发声条件和标准发声条件之间的差异、控制信号获取器所获取的控制信号、以及由已处理声音数据获取器与发声装置关联地获取的已处理声音数据来识别已处理声音数据的校正内容,以使得第二声音接近第一声音或者使得第二声音接近被定义为不同于第一声音的第三声音,第二声音由发声装置在发声条件获取器所获取的装置发声条件下发出;校正器,其适合于根据识别器所识别的校正内容来校正已处理声音数据;以及供应器,其适合于将校正器所校正了的已处理声音数据提供给发声装置。
优选地,包括识别信息获取器,其适合于获取原始声音数据的识别信息,并且,控制信号获取器适合于将识别信息获取器所获取的原始声音数据的识别信息发送到外部装置,以及从外部装置获取控制信号,该控制信号包含识别信息所表示的原始声音数据的参数和表示用该参数对原始声音数据进行处理所获得的已处理声音数据的构成的信息中的至少一个。
优选地,包括发送器,其适合于将表示由发声条件获取器所获取的装置发声条件的信号发送到使已处理声音数据获取器获取已处理声音数据的信息处理器,并且,当已处理声音数据获取器所获取的已处理声音数据为根据以下处理内容对原始声音数据进行处理所获得的已处理声音数据时,不通过校正器对已处理声音数据进行校正,供应器将未校正的已处理声音数据提供给发声装置,该处理内容被定义为使得在由发送器发送的信号所表示的装置发声条件下发出第一声音。
根据本发明的信息处理器包括:生成器,其适合于根据用户操作来生成表示原始声音的原始声音数据和表示对原始声音数据的处理内容的参数;已处理声音数据生成器,其适合于根据参数所表示的处理内容来对生成器所生成的原始声音数据进行处理,以生成已处理声音数据;已处理声音数据输出部分,其适合于从多个声道中的任意声道输出已处理声音数据生成器所生成的已处理声音数据;以及控制信号输出部分,其适合于输出控制信号,该控制信号包含表示了对原始声音数据的处理内容的参数和表示了用该参数对原始声音数据进行处理所获得的已处理声音数据的构成的信息中的至少一个。
根据本发明的音频处理系统包括:上述音频处理器和上述信息处理器。
根据本发明的程序是使连接至根据所提供的数据发声的发声装置的计算机具有如下功能的程序:已处理声音数据获取器,其适合于获取根据处理内容对原始声音数据进行处理所获得的已处理声音数据,处理内容被定义为使得在作为预定发声条件的标准发声条件下发出确定的第一声音,其中与发声装置关联地获取已处理声音数据;控制信号获取器,其适合于获取控制信号,该控制信号包含表示了对原始声音数据的处理内容的参数和表示了用该参数对原始声音数据进行处理所获得的已处理声音数据的构成的信息中的至少一个;发声条件获取器,其适合于获取作为发声装置的发声条件的装置发声条件;识别器,其适合于基于装置发声条件和标准发声条件之间的差异、控制信号获取器所获取的控制信号、以及由已处理声音数据获取器与发声装置关联地获取的已处理声音数据来识别已处理声音数据的校正内容,以使得第二声音接近第一声音或者使得第二声音接近被定义为不同于第一声音的第三声音,第二声音由发声装置在发声条件获取器所获取的装置发声条件下发出;校正器,其适合于根据识别器所识别的校正内容来校正已处理声音数据;以及供应器,其适合于将校正器所校正了的已处理声音数据提供给发声装置。
发明的有益效果
根据本发明,能够用基于标准发声条件处理了的已处理声音数据来在发声装置的实际发声条件下发出预定声音。
附图说明
图1是示出根据本发明的一个实施例的音频处理系统的配置的示图。
图2是示出视频游戏机的配置的示图。
图3是示出视频游戏机的功能配置的示图。
图4是示出控制信号生成单元所生成的控制信号示例的示图。
图5是示出从输出单元发送的已处理控制信号的示例的示图。
图6是示出处理单元的功能配置的示图。
图7是示出音频处理器的配置的示图。
图8是示出音频处理器的主要控制单元的功能配置的示图。
图9是示出存储在存储单元中的校正内容列表示例的列表。
图10是示出校正处理概要的示图。
图11是示出根据修改实施例的音频处理系统的示图。
图12是示出根据修改实施例的视频游戏机的功能配置的示图。
图13是示出根据修改实施例的处理单元的功能配置的示图。
具体实施方式
1.配置
1-1.系统的整体配置
图1是示出根据本发明的实施例的音频处理系统9的配置的示图。音频处理系统9包括视频游戏机1、音频处理器2、和发声装置3。视频游戏机1和音频处理器2通过根据诸如HDMI(高清多媒体接口,注册商标)之类的标准的多信道通信电缆连接在一起。术语“信道”是指传输数据的传输路径,术语“多信道通信电缆”是指具有多个独立信道的通信电缆。视频游戏机1是再现软件或内容的信息处理器的示例。音频处理器2和发声装置3通过用于传输音频信号的音频电缆连接在一起。视频游戏机1和音频处理器2能够相互交换信息,并且尽管能够如图1中的虚线所示来执行从音频处理器2到视频游戏机1的信息传输,但是在以下的对该实施例的描述中省略其描述。
1-2.视频游戏机的配置
图2是示出视频游戏机1的配置的示图。控制单元11具有CPU(中央处理单元)、ROM(只读存储器)、和RAM(随机访问存储器),并且使用CPU来控制视频游戏机1的各单元,CPU读取并执行存储在ROM中的引导装载程序或者存储在RAM上的存储单元12中的各种程序。控制单元11包括解码器,该解码器对运动图像和根据诸如MPEG2或MPEG4之类的标准压缩的声音数据进行解压缩,并且生成未压缩的PCM(脉冲编码调制)数据。解码器可以由为不同于CPU的硬件的专用处理器实现,或者可以由执行程序的CPU实现。控制单元11用作例如视频游戏进程单元110、原始声音数据生成单元111等。
存储单元12是诸如硬盘驱动器之类的高容量存储装置,存储读入控制单元11的各种程序。视频游戏程序121是各种程序中的一个。存储单元12可以为诸如外部非易失性存储器之类的记录介质。该情况下,存储单元12通过连接接口(未示出)等连接到视频游戏机1。存储单元12可以包括读取诸如光盘之类的记录介质的读取器。该情况下,存储单元12可以读取装载在读取器中的记录介质,并且如果记录介质为可重写的,则可以对该记录介质进行重写。
操作单元13包括给出各种指令的操作器131。操作单元13接收用户操作,并且根据操作内容向控制单元11提供操作信号。
显示单元14例如包括诸如液晶显示器之类的显示器,并且在控制单元11的控制下根据视频游戏的进程来显示视频。
输出单元15是这样的接口,其向音频处理器2发送多个声音数据和控制信号,以使得根据视频游戏进程的多种声音在控制单元11的控制下发出到音频处理器2。输出单元15包括包处理单元151和处理单元152。处理单元152对从下述原始声音数据生成单元111获得的表示原始声音的声音数据(下文中称其为原始声音数据)进行处理,以根据视频游戏进程生成多个声音数据(下文中称其为已处理声音数据)。处理单元152是在控制单元11的控制下执行诸如原始声音数据的混合之类的处理的处理器。包处理单元151以音频帧为声音再现的单位来划分所生成的已处理声音数据,并且添加包含表示了再现时间的时间戳的头部等,以形成数据包。
输出单元15通过多信道通信电缆连接至音频处理器2。该通信电缆具有七个信道。将控制信号输出到这些信道中的一个信道ct,将分成包的已处理声音数据发送到剩余的六个信道L、R、C、SL、SR、和SW。以下将描述控制信号的细节。
1-3.视频游戏机的功能配置
图3是示出视频游戏机1的功能配置的示图。控制单元11读取并执行存储在存储单元12中的视频游戏程序121(参见图2),以用作视频游戏进程单元110、原始声音数据生成单元111、和控制信号生成单元112。视频游戏进程单元110根据用户沿视频游戏程序121的操作来进行视频游戏。即,视频游戏进程单元110用作适合于根据用户操作来进行视频游戏的视频游戏进程部分。具体地,视频游戏进程单元110读取存储在存储单元12中的视频游戏的配置信息,并且根据该配置信息确定视频游戏的进程、操作信号的分配等。视频游戏进程单元110对操作单元13所接收到的表示用户操作的操作信号进行解释并且进行视频游戏。视频游戏进程单元110从存储单元12读取表示基于视频游戏进程的视频的视频数据,将视频数据发送到显示单元14,以及在显示单元14上显示根据视频数据的视频。视频游戏进程单元110根据视频游戏的进程从存储单元12读取将在该视频游戏中使用的声音数据。
原始声音数据生成单元111基于视频游戏进程单元110所读取的声音数据来分别生成表示原始声音的各原始声音数据。原始声音数据生成单元111与原始声音数据关联地生成用于识别将要生成的原始声音数据的识别信息和表示根据原始声音数据的已处理声音数据发声的时刻的时间戳。术语“原始声音”是指作为根据视频游戏的进程视频游戏的用户将要听到的已处理声音的基础的声音,包括例如BGM、环境声音、语音、系统声音等。BGM(背景音乐)是用于增加用户的情感的音乐。环境声音是诸如用户操作的游戏角色的脚步声或风声和雨声之类的表达视频游戏中的虚拟空间的声音。语音是出现在视频游戏中的游戏角色的语音。系统声音是使用户认识到操作单元13接收到操作的声音,包括例如滴答声、钟声等。原始声音数据生成单元111同时生成的原始声音数据的数量将根据视频游戏的进程而改变。这里,如图4所示,原始声音数据生成单元11所生成的原始声音数据的数量为最大值5。这些原始声音数据通过信道ch1至ch5提供至处理单元152。原始声音数据生成单元111用作适合于根据用户操作生成表示原始声音的原始声音数据的生成器。该情况下,特别地,原始声音数据生成单元111用作适合于根据视频游戏进程部分所进行的视频游戏进程来生成原始声音数据的原始声音数据生成器。原始声音数据的识别信息或时间戳可以包括原始声音数据的头部等。
控制信号生成单元112与原始声音数据生成单元111所生成的每个原始声音数据的识别信息关联地生成描述每个原始声音数据的属性的控制信号。该属性是指定原始声音数据所表示的原始声音如何被用户听到的信息。具体地,该属性是指确定将要在连接到音频处理器2的发声装置3的标准发声条件(下文中将其称为标准发声条件)下发出的声音(下文中将其称为第一声音)的属性,包括例如听到声音的方向、声音的混响声、声音的声响范围等。通过参数来定义对原始声音数据的处理内容,以使得在标准发声条件下发出第一声音。根据视频游戏的进程来定义表示处理内容的参数。
发声条件是根据发声装置3的布置或能力定义的发声条件,包括例如扬声器之类的发声装置3的数量、关于用户收听位置的角度和距离、可以发声的声响范围、混响强度等条件。标准发声条件是针对基于杜比(Dolby)AC-3(注册商标)的5.1ch环绕事先定义的条件,其表示与左前信号L、右前信号R、中央主信号C、左环绕信号SL、右环绕信号SR、以及低音信号SW总共六个信道信号相对应的声音源的布置以及表达每个声音源的扬声器的发声能力。因此,控制信号生成单元112用作这样的生成器,其适合于根据用户操作来生成表示对原始声音数据的处理内容的参数。该情况下,特别地,控制信号生成单元112用作这样的生成器,其适合于根据视频游戏进程部分所进行的视频游戏进程来生成表示对原始声音数据的处理内容的参数。
输出单元15的处理单元152从控制信号生成单元112获取参数。处理单元152基于所获取的参数对原始声音数据生成单元111所生成的每个原始声音数据进行处理,并且生成多个已处理声音数据。以下将描述处理单元152的细节。这里,假设已处理声音数据为像原始声音数据一样的PCM数据。
处理单元152通过用所获取的参数来生成表示通过对原始声音数据进行处理而获得的已处理声音数据的构成的信息,并且输出包含该信息的控制信号(下文中称其为已处理控制信号)。
包处理单元151将处理单元152所生成的多个已处理声音数据分成包,并且使用各信道将这些包输出到音频处理器2。因此,输出单元15用作已处理声音数据输出部分,其适合于从多个信道中的任意信道输出已处理声音数据生成器所生成的已处理声音数据。
为了在针对发声装置3的实际发声条件(下文中称其为装置发声条件)下而不是标准发声条件下对原始声音数据进行处理,需要发声装置3中的各种信息,例如音频处理器2的连接单元24连接的每个发声装置3的位置或再现能力。为此,视频游戏机1在事先定义的标准发声条件下对原始声音数据进行处理以生成已处理声音数据,并且音频处理器2在发声装置3的实际装置发声条件下对已生成的已处理声音数据进行校正。
输出单元15的包处理单元151将处理单元152所生成的已处理控制信号输出到与多个已处理声音数据的信道关联的音频处理器2。通过包含在控制信号中的时间戳和在将每个已处理声音数据分成包时所使用的时间戳来对已处理声音数据和控制信号进行同步。因此,输出单元15用作控制信号输出部分,其适合于输出这样的控制信号(已处理控制信号),其包括表示已处理声音数据的构成的信息,已处理声音数据通过用表示对生成器所生成的原始声音数据的处理内容的参数对原始声音数据进行处理而获得。
1-4.控制信号和已处理控制信号的配置
图4是示出控制信号生成单元112所生成的控制信号示例的示图。图5是示出处理单元152所生成的并且从输出单元15的信道ct发送的已处理控制信号的示例的示图。如图4所示,控制信号描述了表示应用该控制信号的时刻的时间戳以及表示针对各信道(ch1至ch5)定义的类型、定位、混响率、和比特率四种属性的参数。
类型是指原始声音数据表示的原始声音的类型,具体地包括BGM、SE(环境声音)、VO(语音)、SYS(系统声音)等。由于原始声音数据可根据类型而识别,因此这里将表示类型的参数用作原始声音数据的识别信息。
定位是用户感觉到的存在声音生成点的方向。例如,0度是用户的前方,从前方向左侧起(即,从用户的头部的上方观看时的逆时针方向)的一周被表示为360度。
混响率是表示混响强度的值,其为对声音施加混响以使得用户能够感觉到空间宽度的音响效果,当作为基础的原始声音的音量为100%时,其表示所施加的混响声与原始声音的音量百分比。由于该百分比较高,所施加的混响较强,因此用户能够感觉到空间宽度。
比特率以比特数量表示原始声音数据中所包含的每秒声音的信息量,并且表示原始声音数据的质量。
例如,在图4的(a)所示的控制信号中,时间戳为t=0.0秒,从信道ch1发送的原始声音数据的类型为BGM(L),定位为45度。对于从信道ch5发送的原始声音数据,其类型为VO(语音),定位为0度,混响为0%,比特率为64kbps。
如图5所示,已处理控制信号描述了与该控制信号相对应的时间戳,以及针对每个信道(L、R、SL、SR和C)描述了通过每个信道传输的已处理声音数据的构成。具体地,所述配置是指分配给每个已处理声音数据的原始声音的类型、音响效果、和比特率的内容。
例如,在如图5(a)所示的已处理控制信号中,时间戳为t=0.0秒,从信道L发送的原始声音数据的类型为BGM(L)和SE(环境声音),音响效果为0%。对于从信道SL发送的原始声音数据,其类型为SE(环境声音),音响效果为12%,比特率为64kbps。
1-5.处理单元的功能配置
图6是示出处理单元152的功能配置的示图。处理单元152用作解释单元1520、同步单元1521、音响效果应用单元1523、和定位处理单元1524。解释单元1520对控制信号生成单元112所生成的控制信号进行解释。即,解释单元1520读取控制信号中包含的时间戳,并且将该时间戳发送给同步单元1521。同步单元1521从原始声音数据生成单元111所生成的原始声音数据中搜索与这样的时间戳关联的原始声音数据,该时间戳与从解释单元1520发送的时间戳相对应,或者该时间戳表示该时间戳所表示的时间之后的时间。将原始声音数据顺序发送到音响效果应用单元1523和定位处理单元1524。
解释单元1520从控制信号读取从信道ch1至ch5发送的原始声音数据的混响率和定位的参数,并且将这些参数发送给音响效果应用单元1523和定位处理单元1524。
解释单元1520根据已解释控制信号生成已处理控制信号,并且将已处理控制信号发送给音频处理器2。
音响效果应用单元1523从解释单元1520获取从信道ch1至ch5发送的每个原始声音数据的混响率,并且以该混响率执行混响处理。即,对原始声音数据施加该混响率的混响以生成表示第一已处理声音的声音数据(被称为第一已处理声音数据)。
定位处理单元1524从解释单元1520获取所生成的每个第一已处理声音数据的定位,并且当假设发声装置3具有标准发声条件时,定位处理单元1524设置将要在发声装置3中发出的声音的声压以使得声像位于该定位。因此,定位处理单元1524根据第一已处理声音数据生成表示第二已处理声音的声音数据(被称为第二已处理声音数据)。
第二已处理声音数据被包处理单元151分成包,并且被基于标准发声条件通过六个信道L、R、C、SL、SR和SW发送到音频处理器2。
1-6.音频处理器的配置
图7是示出音频处理器2的配置的示图。控制单元21具有CPU、ROM和RAM,并且使用CPU来控制音频处理器2的各单元,CPU读取并执行存储在ROM中的引导装载程序或存储在RAM上的存储单元22中的控制程序。控制单元21包括DSP(数字信号处理器),其对通过获取单元25获取的已处理声音数据(第二已处理声音数据)进行校正。
存储单元22是诸如硬盘驱动器之类的高容量存储装置,并且存储读入到控制单元21中的控制程序。存储单元22存储校正内容列表221。校正内容列表221是这样的列表:其中根据音频处理器2所连接的发声装置3的装置发声条件与标准发声条件之间的差异,来描述对根据与视频游戏机1中的标准发声条件相对应的处理内容而处理的已处理声音数据(第二已处理声音数据)进行校正的校正处理的内容。
存储单元22可以为诸如外部非易失性存储器之类的记录介质。该情况下,存储单元22通过连接接口(未示出)等连接至音频处理器2。
操作单元23包括给出各种指令的操作器231。操作单元23接收用户操作并且向控制单元21提供根据操作内容的操作信号。
获取单元25具有包处理单元251,包处理单元251获取分别从六个信道L、R、C、SL、SR和SW发送的多个数据包,从每个所获取的数据包中提取划分的第二已处理声音数据,并且将划分的第二已处理声音数据进行组合以获取原始第二已处理声音数据。即,具有包处理单元251的获取单元25用作已处理声音数据获取器,其适合于获取来自多个信道当中的任意信道的通过根据与发声装置的标准发声条件相对应的处理内容对原始声音数据进行处理所获得的已处理声音数据。原始数据包的头部中所包含的时间戳与所获取的第二已处理声音数据关联。
获取单元25获取从视频游戏机1的输出单元15输出的已处理控制信号。即,获取单元25用作控制信号获取器,其适合于获取包括这样的信息的控制信号(已处理控制信号),该信息表示了通过利用表示对原始声音数据的处理内容的参数来对原始声音数据进行处理所获得的已处理声音数据的构成。
连接单元24包括D/A转换器241和放大器242。D/A转换器241将控制单元21所生成的已处理声音数据转换为模拟数据以获取已处理声音。放大器242放大已获取的已处理声音并且将已处理声音发送到六个发声装置3(3L、3R、3C、3SL、3SR、3SW)以进行发声。连接单元24包括检测器243,其以用户的位置为中心检测六个发声装置3的装置发声条件。具体地,检测器243检测连接到音频处理器2的发声装置3的数量、每个发声装置3相对于用户收听位置的角度和距离、以及发声装置3可以发声的声响范围。检测器243检测到的每个发声装置3的装置发声条件被传输到控制单元21。检测器243使用收听点处的声音获取器来获取测试声音,以根据声音的延迟时间或声压的衰减率来计算各扬声器的布置,或者在从收听位置旋转的同时向附着于扬声器的反射密封件发射红外线等,以测量距离和角度,从而检测每个扬声器放置的方向。检测器243可以检测到事先通过用户操作输入的装置发声条件以作为发声装置3的装置发声条件。
控制单元21首先获取连接单元24的检测器243所检测到的发声装置3的装置发声条件。其次,控制单元21获取通过获取单元25所获取的第二已处理声音数据以及包括表示第二已处理声音数据的构成的信息的已处理控制信号。第三,控制单元21参照存储单元22的校正内容列表221,并且根据所获取的装置发声条件与标准发声条件之间的差异以及所获取的已处理控制信号来确定校正处理的内容。第四,控制单元21基于所确定的内容对所获取的已处理声音数据执行校正处理。
1-7.音频处理器的功能配置
图8是示出音频处理器的主控制单元21的功能配置的示图。控制单元21用作识别单元210、同步单元211、声音质量校正单元212、和音响效果校正单元213。识别单元210获取通过获取单元25所获取的已处理控制信号以及通过连接单元24的检测器243所检测到的发声装置3的装置发声条件。识别单元210参照存储单元22的校正内容列表221,并且为了使发声装置3在所获取的装置发声条件下发出的声音(下文中称其为第二声音)接近第一声音,基于装置发声条件与标准发声条件之间的差异、已处理控制信号、以及与发声装置3关联地获取的第二已处理声音数据来识别第二已处理声音数据的校正内容。
以下将描述校正内容列表221。图9是示出存储在存储单元22中的校正内容列表221的示例的列表。如图9所示,校正内容列表221描述了这样的校正条件,其描述了将由识别单元210确定的与识别单元210确定满足该校正条件时所识别的校正内容关联的条件。因此,识别单元210确定校正条件中所描述的条件,并且根据确定的结果识别校正内容。
例如,图9所示的条件“缺乏”表示这样的条件:在装置发声条件下缺乏存在于标准发声条件下的发声装置3。此时,对处理声音数据“分配给靠近的发声装置”被识别单元210识别为校正内容。即,校正内容变为这样的处理:对于分配给在装置发声条件下缺乏的发声装置3的已处理声音数据将其分配给从发声装置3应该存在于标准发声条件下的位置处观看时被布置为靠近该发声装置3的另一个不同的发声装置3。
图9所示的条件“声响范围再现能力的缺乏”表示这样的条件,在存在于标准发声条件下的发声装置3存在于装置发声条件下时,与在标准发声条件下的发声装置3相比,在装置发声条件下的发声装置3在任意声响范围中缺乏再现能力。此时,对已处理声音数据“分配给靠近的发声装置”被识别单元210识别为校正内容。即,校正内容变成这样的处理:将已处理声音数据分配给与仅用于在装置发声条件下缺乏再现能力的声响范围的发声装置3靠近的另一个不同的发声装置3。
参照图7,识别单元210读取已处理控制信号中包含的时间戳,并且将该时间戳发送到同步单元211。同步单元211从获取单元25通过信道L、R、C、SL、SR和SW所获取的第二已处理声音数据中搜索与这样的时间戳关联的第二已处理声音数据,该时间戳与从识别单元210发送的时间戳相对应,或者该时间戳表示该时间戳所表示的时间之后的时间。将第二已处理声音数据顺序发送到声音质量校正单元212和音响效果校正单元213。
识别单元210将所识别的校正内容发送到声音质量校正单元212和音响效果校正单元213。
声音质量校正单元212从已处理控制信号读取已处理声音数据的构成,并且当比特率低于阈值时,对已处理声音数据执行根据该比特率值的声音质量改进处理。因此,声音质量校正单元212对第二已处理声音数据执行声音质量改进处理以生成表示第三已处理声音的声音数据(被称为第三已处理声音数据)。
当检测器243检测到的发声装置3的装置发声条件下的混响强度不同于标准发声条件下的混响强度时,音响效果校正单元213根据该差异移除或添加混响。例如,当装置发声条件下的混响强度比标准发声条件下的混响强度强时,视频游戏机1中施加的混响变得过强。因此,为了解决过强的混响,音响效果校正单元213根据预定算法移除施加给第三已处理声音数据的混响。相反,当装置发声条件下的混响强度比标准发声条件下的混响强度弱时,视频游戏机1中施加的混响不足。该情况下,为了解决不足的混响,音响效果校正单元213对第三已处理声音数据重新添加混响。以此方式,音响效果校正单元213移除或添加第三已处理声音数据的混响,以生成表示第四已处理声音的声音数据(被称为第四已处理声音数据)。
第四已处理声音数据通过六个信道L、R、C、SL、SR和SW从连接单元24发送到发声装置3(3L、3R、3C、3SL、3SR和3SW)。
2.操作
接下来,将基于作为示例的图4所示的控制信号来描述音频处理系统9的操作。该操作被分成与视频游戏机1中的原始声音数据的处理相关的操作和与音频处理器2中的已处理声音数据的校正相关的操作。
2-1.视频游戏机的操作
视频游戏进程单元110沿视频游戏程序121从存储单元12读取多个视频数据和声音数据以开始视频游戏,并且如果通过控制信号生成单元112生成图4的(a)中所示的控制信号,则输出单元15的处理单元152基于所生成的控制信号中包含的参数来对原始声音数据生成单元111所生成的原始声音数据进行处理,以生成多个已处理声音数据。已处理声音数据的构成如图5的(a)的已处理控制信号中所示。
例如,在视频游戏开始时(即,t=0.0),通过信道ch1传输的原始声音定位在从用户偏移45度角处,并且施加12%的混响。
接下来,当从视频游戏的开始经过2.5秒时,控制信号生成单元112生成图4的(b)所示的控制信号。当接收到该控制信号时,音频处理器2搜索并处理t=2.5秒处的每个原始声音数据。图4的(b)中粗框架所指示的部分是基于t=0.0时的控制信号改变的部分。具体地,改变信道ch3的定位和混响率以及信道ch5的定位。因此,例如,在t=2.5秒时,通过信道ch3传输的原始声音定位在从用户偏移30度角处,并且施加12%的混响。已处理声音数据的构成如图5的(b)的已处理控制信号中所示。
接下来,当从视频游戏的开始经过10.0秒时,通过控制信号生成单元112生成图4的(c)所示的控制信号。这里,视频游戏机1暂时处于没有从操作单元13接收到移动游戏角色的操作的状态。例如,对于用于解释视频游戏中的故事的时间或者用于加载对应于下一阶段的视频游戏程序121的待机时间,视频游戏机1不接收除了对视频游戏系统的操作(例如用于强制退出的操作)之外的任何操作,并且当在显示单元14上显示运动图像或文字屏幕时播放BGM。此时,由于视频游戏上的游戏角色没有谈话,如图5的(b)所示,直到此时分配给作为语音的“VO”的信道SL都为空。因此,如图5(c)所示,视频游戏进程单元110将BGM分配给所有信道L、R、SL和SR,并且将对视频游戏系统进行操作时生成的系统声音(SYS)分配给信道L和R。
输出单元15将以上述方式生成的多个已处理声音数据和用于对已处理声音数据进行处理的控制信号发送给音频处理器2。
如上所述,由于视频游戏机1输出被处理为使得在标准发声条件下发出第一声音的已处理声音数据以及包括表示已处理声音数据的构成的信息的已处理控制信号,因此接收到已处理声音数据和已处理控制信号的音频处理器2可以识别已处理声音数据的构成。音频处理器2可以基于实际装置发声条件和标准发声条件之间的差异来识别已处理声音数据所需的校正内容,以使得第一声音发出到具有该装置发声条件的发声装置。
即使当音频处理器2不能根据从视频游戏机1所获取的数据来识别校正内容时,视频游戏机1也对原始声音数据进行处理以使得在标准发声条件下发出第一声音。因此,当连接到音频处理器2的发声装置3的装置发声条件接近标准发声条件时,视频游戏机1仅将没有被音频处理器2校正过的已处理声音数据提供给发声装置3,从而允许接近第一声音的声音发出到发声装置3。即,确定来自多个发声装置3的平均发声条件,并将其定义为标准发声条件,从而基于其与装置发声条件的差异来抑制已处理声音数据中的转变。
视频游戏机1可以连接至多个音频处理器2。该情况下,即使当连接到每个音频处理器2的发声装置3在装置发声条件下不同时,也根据该装置发声条件在每个音频处理器2中校正从视频游戏机1输出的已处理声音数据。因此,视频游戏机1不必单独生成根据不同的处理内容处理的已处理声音数据并且不必单独将这些已处理声音数据输出至多个音频处理器2。
2-2.音频处理器的操作
当从视频游戏机1接收到已处理控制信号时,音频处理器2的控制单元21搜索从与已处理控制信号的时间戳相对应的数据包重建的每个已处理声音数据,基于存储在存储单元22中的校正内容列表221以及已处理控制信号来确定校正处理的内容,并且校正每个已处理声音数据。
图10是示出校正处理的概要的示图。图10的(a)所示黑圆圈表示标准发声条件下的发声装置3的布置,虚线表示发声装置3的实际布置。例如,如图10的(a)所示,连接至音频处理器2的发声装置3的装置发声条件根据房间的形状或大小而不同于标准发声条件。图10的(b)中所示的实线表示用于标准发声条件下的发声装置3C的声响范围的再现能力,虚线表示用于实际装置发声条件下的发声装置3C的声响范围的再现能力。即,关于每个发声装置3的能力,实际装置发声条件可能不同于标准发声条件。音频处理器2校正所获取的已处理声音数据以补偿实际装置发声条件与标准发声条件之间的差异,并且基于校正后的已处理声音数据来向发声装置3发声。
以下将描述校正处理的具体示例。
(1)发声装置3的存在/不存在
尽管在标准发声条件中,定义了对应于六个信道L、R、C、SL、SR和SW的发声装置3(3L、3R、3C、3SL、3SR和3SW),但是实际上可能不使用所有的六个发声装置3,或者可能存在七个或更多发声装置。存储在存储单元12中的校正内容列表221描述了这样的校正处理内容,其用于将用于向发声装置3C发声的已处理声音数据分配至发声装置3L和发声装置3R,以使得已处理声音数据所表示的已处理声音的声像定位在假设发声装置3C存在于标准发声条件下的位置处,例如,当实际连接的发声装置3当中不存在表达了在标准发声条件下来自前面中间位置处的声源的发声装置3时。
因此,如果连接单元24的检测器243检测到发声装置3C不存在,则控制单元21参照校正内容列表221,并且处理单元152将分配给发声装置3C(即,信道C)的已处理声音数据分配给发声装置3L和发声装置3R,设置每个已处理声音数据所表示的已处理声音的声压,并且发出声音。所设置的声压为发声装置3C本身将发出的已处理声音的声压的50%。声压比等基于已处理控制信号而确定。
当不存在环绕扬声器(发声装置3SL和发声装置3SR)时,类似地,作为校正处理,控制单元21把将被发出到发声装置3SL和发声装置3SR的已处理声音的已处理声音数据分配给发声装置3L和发声装置3R。已处理声音数据所表示的已处理声音的声压比等基于已处理控制信号而确定。
当不存在低音炮(发声装置3SW)时,作为校正处理,控制单元21把将被发出到发声装置3SW的已处理声音的已处理声音数据分配给发声装置3L和发声装置3R。此时,检测器243检测发声装置3L和发声装置3R的低频再现能力,并且如果确定对已处理声音的发出的影响程度较低,则省略已处理声音的发出或者设置较低声压。
(2)发声装置3的能力
检测器243检测每个发声装置3的能力并且将该内容传输到控制单元21。例如,假设,通过与事先设置的阈值进行比较,检测器243检测到发声装置3R具有足够的低频再现能力,并且检测到发声装置3SR不具有低频再现能力。这里,如果原始声音数据被处理单元152处理为使得用户感觉到任意类型的原始声音的声像在标准发声条件下都正从发声装置3R的位置移动到发声装置3SR的位置,则控制单元21参照已处理控制信号在声像移动的情况下通过诸如高通滤波器或低通滤波器之类的滤波器对每个范围的通过信道SR发送的已处理声音数据进行划分,并且校正已处理声音数据以使得所划分的已处理声音数据所表示的已处理声音中的中高范围内的已处理声音发出到发声装置3SR,对应于低频分量的已处理声音发出到发声装置3SW。代替执行划分处理,可以不使用发声装置3SW进行发声。
控制单元21识别标准发声条件下的每个发声装置3的能力与装置发声条件下的每个发声装置3的能力之间的差异,并且执行相应的声音质量改进处理或音响效果施加。例如,当检测器243使用声音获取装置获取发出到每个发声装置3的测试声音,并且检测作为每个发声装置3的能力之一的“混响强度”时,控制单元21对该混响强度与事先在标准发声条件下定义的混响强度进行比较,并且当装置发声条件下的混响强度比标准发声条件下的混响强度强时,执行处理以移除通过视频游戏机1中的处理所施加的已处理声音数据的混响。相反,当装置发声条件下的混响强度比标准发声条件下的混响强度弱时,控制单元21执行处理以对从视频游戏机1获取的已处理声音数据添加混响。因此,减小了根据实际房间中的混响大于还是小于被假设为标准的虚拟房间中的混响而发生的音响效果的偏差。
(3)发声装置3的布置
例如,当收听位置处的用户前方为0度,并且通过从用户头部上方逆时针方向增大角度来表示每个发声装置3的布置时,假设,在标准发声条件下,发声装置3C被布置在0度处,发声装置3L被布置在45度处。这里,如果控制信号被提供来定位30度处的任意原始声音,则定位处于发声装置3C与发声装置3L之间,并且比发声装置3C更靠近发声装置3L。为此,视频游戏机1生成已处理声音数据以使得原始声音发出到声压比发声装置3C更高(例如,为两倍)的发声装置3L。
这里,假设检测器243检测到实际发声装置3C布置在0度处,并且实际发声装置3L布置在60度处。此时,由于控制信号定位原始声音的角度为30度,这恰好位于实际发声装置3C与发声装置3L的中间。然而,如果视频游戏机1所生成的已处理声音数据被原样使用,则上述原始声音发出到声压比发声装置3C更高的发声装置3L,以使得原始声音被定位在角度比原始声音将要定位的位置更高的位置处。因此,作为校正处理,控制单元21校正已处理声音数据以使得发声装置3C和发声装置3L所发出的已处理声音的声压相等。
例如,当视频游戏机执行诸如角色扮演游戏之类的视频游戏软件时,游戏角色、游戏角色说话的词语、如何回声、以及收听声音的方向根据视频游戏的进程(例如,与游戏角色搭配的成员的选择、地牢的选择、或游戏角色面向方向的选择)而改变。根据声音的类型,存在各种收听声音的方式,并且这些收听声音的方式根据发声装置的实际装置发声条件而改变。因此,如果在未知发声的装置发声条件的阶段一律施加音响效果,则在实际发声装置中用户可能听到意外的声音。但是,由于诸如视频游戏机之类的对软件或内容进行再现的信息处理器应该发出各种装置发声条件下的内容中所包含的声音,因此通常,一律基于标准发声条件来对表示声音的数据进行处理,并且将其输出到音频处理器。为此,当连接到音频处理器的发声装置的装置发声条件远离标准发声条件时,可能影响将要发出的声音。
在音频处理系统9中,如上所述,作为处理后的数据的已处理声音数据和包括表示已处理声音数据的构成的信息的控制信号被发送到音频处理器2,并且音频处理器2基于相应的参数以及所连接的发声装置的装置发声条件与标准发声条件之间的差异来校正已处理声音数据,从而减小该差异对发声的影响。
3.修改
尽管已描述了上述实施例,但是实施例的内容可以如下所述被修改。此外,下述修改可以被组合。
(1)尽管在前述实施例中,输出单元15将作为PCM数据的已处理声音数据发送到信道L、R、C、SL、SR和SW,但是也可以发送压缩的已处理声音数据。该情况下,控制信号可以包括表示对通过每个信道发送的原始声音数据进行压缩处理的压缩格式或压缩率的信息。
(2)尽管在上述实施例中,输出单元15使用包处理单元151来将处理单元152所处理的已处理声音数据照原样分成包,但是也可以在分包之前执行加密。例如,输出单元15可以包括基于HDCP(高带宽数字内容保护)协议执行加密处理的处理器,并且可以通过CPU实现加密功能。该情况下,可以在音频处理器2的获取单元25中提供用于解密代码的机制。
(3)尽管在上述实施例中,控制信号生成单元112生成针对每个时间戳描述所有已处理声音数据的整体配置的已处理控制信号,但是也可以生成仅描述具有改变的配置的已处理控制信号。即,可以仅将图4的(b)和图4的(c)中粗框架所指示的部分作为已处理控制信号发送至与每个时间戳关联的音频处理器2。该情况下,音频处理器2可以不改变已发送的已处理控制信号中不包括的信道和参数。
(4)尽管在上述实施例中,将原始声音数据发送到音频处理器2的配置是视频游戏机1,但是也可以提供视频游戏机之外的配置。例如,可以提供对记录在DVD视频中的运动图像进行再现的再现器。该情况下,再现器根据用户操作切换将要显示的视频,并且根据用户操作切换将要发送到音频处理器2的对应于每个已处理声音数据的已处理控制信号。例如,当存在多角度捕获的视频数据时,可以根据用户所选择的角度来获得应该发出的声音(已处理声音)的定位,可以在标准发声条件下生成根据该定位的已处理声音数据,并且可以沿着已处理控制信号将所生成的已处理声音数据的构成发送到音频处理器2。音频处理器2可以参照已处理声音数据、已处理控制信号、检测器243所检测到的发声装置3的装置发声条件、以及标准发声条件来对已处理声音数据进行校正,以适合于连接至音频处理器2的发声装置3。因此,当假设用户面向用户所选择的角度时,音频处理器2可以增大声像接近应该能听到声音的方向的可能性。
(5)尽管在上述实施例中,从单个视频游戏机1输出已处理声音数据和用来生成已处理声音数据的控制信号,但是诸如视频游戏机1之类的信息处理器可以输出已处理声音数据而不输出相应的已处理控制信号。该情况下,音频处理器2可以从信息处理器之外的装置获取已处理控制信号。
图11是示出根据修改的音频处理系统9a的示图。音频处理系统9a具有再现器1a、音频处理器2a、发声装置3、网络4、和服务器装置5。再现器1a是用来再现DVD视频等的运动图像内容的装置。再现器1a用作这样的信息处理器,其包括:适合于根据用户操作来生成表示原始声音的原始声音数据和表示对原始声音数据的处理内容的参数的生成器、适合于根据参数所表示的处理内容对生成器所生成的原始声音数据进行处理以生成已处理声音数据的已处理声音数据生成器、以及适合于从多个信道中的任意信道输出由已处理声音数据生成器所生成的已处理声音数据的已处理声音数据输出部分。即,除了不存在与适合于输出控制信号的控制信号输出部分相对应的配置之外,再现器1a与上述实施例中的视频游戏机1相同,控制信号包括表示已处理声音数据的构成的信息,已处理声音数据通过利用表示了对原始声音数据的处理内容的参数对原始声音数据进行处理而获得,并且当运动图像内容的再现开始时,将运动图像内容的识别信息输出到音频处理器2a。发声装置3具有与上述实施例相同的配置。
音频处理器2a通过网络4连接至服务器装置5。如果从再现器1a接收到运动图像内容的识别信息,则音频处理器2a向服务器装置5请求事先针对由所接收到的识别信息识别的运动图像内容而定义的已处理控制信号。服务器装置5响应于该请求而将所请求的已处理控制信号发送到音频处理器2a。已处理控制信号描述了表示已处理声音数据的构成的信息,已处理声音数据通过用表示标准发声条件下的相应处理内容的参数对原始声音数据进行处理而获得。音频处理器2a从服务器装置5接收已处理控制信号,并且参照附着于该已处理控制信号的时间戳来识别与运动图像内容的进程相对应的已处理控制信号。音频处理器2a参照从再现器1a输出的已处理声音数据、所识别的已处理控制信号、检测器所检测到的发声装置3的装置发声条件、以及标准发声条件来对已处理声音数据进行校正。因此,如在上述实施例中一样,音频处理器2a可以将用表示标准发声条件下的相应处理内容的参数处理了的已处理声音数据校正为接近基于连接至音频处理器2a的发声装置3的装置发声条件而处理的已处理声音数据。
(6)视频游戏机1的控制单元11和音频处理器2的控制单元21中执行的每个程序可以存储在计算机可读记录介质(例如,磁带或磁盘、诸如光盘之类的光记录介质、磁光记录介质、或半导体存储器)中而提供。也可以通过诸如因特网之类的网络来下载该程序。关于控制单元11和控制单元21,可以将CPU之外的各种装置用作CPU所示的控制装置,例如,可以使用专用处理器等。
(7)尽管在上述实施例中,输出单元15包括对从原始声音数据生成单元111获得的原始声音数据进行处理的处理单元152,但是对原始声音数据进行处理的功能也可以通过执行上述程序的控制单元11实现。
(8)尽管在上述实施例中,视频游戏机1具有根据视频游戏的进程显示视频的显示单元14,但是视频游戏机1也可以不具有显示单元14。例如,视频游戏机1可以执行对声音进行处理而不显示视频的视频游戏软件,或者可以包括连接至外部显示装置的视频终端,视频信号通过该视频终端提供到显示装置。
(9)尽管在上述实施例中,音频处理系统9包括六个发声装置3,并且实现了所谓的5.1ch环绕发声,但是也可以提供更多或更少的发声装置3。例如,发声装置3可以被提供为对应于7.1ch系统或2.1ch系统。
(10)尽管在上述实施例中,控制信号生成单元112根据视频游戏的进程生成表示对原始声音数据的处理内容的参数,但是也可以基于从音频处理器2获取的信息来生成该参数。该情况下,视频游戏机1的控制单元11具有通过其从音频处理器2获取数据的信道(下文中称其为获取信道)以及通过其将数据输出到音频处理器2的信道,控制单元11通过获取信道获取诸如连接至音频处理器2的发声装置3的数量、位置、或低频再现能力之类的装置发声条件。即,控制单元11用作发声条件获取器,其适合于从音频处理器获取被音频处理器强迫发声的发声装置的发声条件,音频处理器为已处理声音数据输出装置输出已处理声音数据的输出目的地。
控制信号生成单元112可以根据从获取信道获取的发声条件来确定处理内容,并且可以生成参数。处理单元152可以获取通过控制信号生成单元112所生成的参数,可以基于所获取的参数来对原始声音数据生成单元111所生成的每个原始声音数据进行处理,并且可以生成多个已处理声音数据。
该情况下,音频处理器2通过获取信道将表示检测器243所检测到的发声装置3的装置发声条件的信号发送给视频游戏机1。当通过根据以下所定义的处理内容对原始声音数据进行处理来获得由音频处理器2的获取单元25所获取的已处理声音数据时,控制单元21可以不确定对已处理声音数据进行校正处理的内容,并且可以不执行校正处理,上述处理内容被定义为使得在视频游戏机1的接收信号的处理单元152接收到的信号所指示的装置发声条件下来发出第一声音。因此,控制单元21可以将来自连接单元24的未校正的已处理声音数据提供给每个发声装置3。
可以基于例如由获取单元25所获取的已处理控制信号来确定是否根据被定义为使得在装置发声条件下发出第一声音的处理内容对所获取的已处理声音数据进行处理。该情况下,当视频游戏机1的处理单元152通过根据被定义为使得在由从音频处理器2发送的信号表示的装置发声条件下发出第一声音的处理内容对原始声音数据进行处理而生成已处理声音数据时,处理单元152可以包括表示了与已处理声音数据关联的已处理控制信号中的效果的标志信息。因此,当获取单元25所获取的已处理控制信号中包括该标志信息时,音频处理器2的控制单元21可以确定根据被定义为使得在装置发声条件下发出第一声音的处理内容来对与该已处理控制信号关联的已处理声音数据进行处理,并且可以对已处理的已处理声音数据执行校正处理。
(11)尽管在上述实施例中,视频游戏进程单元110根据用户沿视频游戏程序121的操作来进行视频游戏,但是例如,视频游戏程序121的内容可以如下所述。
视频游戏程序121描述一个虚拟空间、以及置于该虚拟空间中的游戏角色和声音生成对象。当视频游戏程序121被控制单元11读取并被执行时,表达该虚拟空间、游戏角色、和声音生成对象的数据被存储在控制单元11的RAM上。如果接收到用户操作,则视频游戏进程单元110根据该操作来进行计算,以改变RAM上的数据。因此,根据用户操作来操作虚拟空间中的游戏角色,从而进行视频游戏。所操作的游戏角色在虚拟空间中根据用户操作来摆姿势或移动到根据该操作的位置。
针对布置在虚拟空间中的游戏角色,定义在该虚拟空间中发出的声音被听到的收听位置。原始声音数据生成单元111根据针对游戏角色定义的收听位置与布置在虚拟空间中的声音生成对象之间的关系来计算并生成表示针对该声音生成对象设置的原始声音的原始声音数据。输出单元15的处理单元152根据视频游戏的进程,通过对原始声音数据生成单元111所计算和生成的多个原始声音数据进行处理来生成多个已处理声音数据。输出单元15的包处理单元151将所生成的已处理声音数据分成包,并通过各信道将这些数据包输出到音频处理器2。控制信号生成单元112生成这样的控制信号,其包括表示与每个原始声音数据的识别信息关联的每个原始声音数据的处理内容的参数。该参数根据视频游戏的进程和用户操作而确定,并且指定用户如何借助该参数来收听该原始声音数据所表示的原始声音。输出单元15将所生成的控制信号输出到音频处理器2。
(12)尽管在上述实施例中,原始声音数据生成单元111同时生成的原始声音数据的数量最多为五个,但是原始声音数据的数量也可以等于或小于四,或者等于或大于六。
(13)尽管在上述实施例中,视频游戏机1的处理单元152生成表示通过用从控制信号生成单元112获取的参数对原始声音数据进行处理所获得的已处理声音数据的构成的信息,并且通过包处理单元151将包括该信息的已处理控制信号输出到音频处理器2,但是已处理控制信号也可以不输出到音频处理器2。该情况下,音频处理器2可以获取控制信号生成单元112所生成的控制信号而不是已处理控制信号。
图12是示出根据修改的视频游戏机1的功能配置的示图。图13是示出根据修改的处理单元152的功能配置的示图。以此方式,控制信号生成单元112所生成的控制信号被提供到处理单元152并被用来对原始声音数据进行处理,并且在不被改变为已处理控制信号的情况下通过包处理单元151输出到音频处理器2。由于控制信号包括表示根据视频游戏的进程对原始声音数据的处理内容的参数,因此控制单元21可以更准确地识别已处理声音数据的校正内容。
例如,当检测器243所检测到的发声装置3的装置发声条件下的布置与标准发声条件下的布置之间存在差异(未对准)时,控制单元21根据该差异调节发声装置3中的发声声压。例如,当装置发声条件下的发声装置3的位置比标准发声条件下的发声装置3的位置更靠近针对任意声像所设置的定位时,控制单元21增大发声装置3的声压。相反,当位置分开时,控制单元21减小发声装置3的声压。从而,抑制了由于未对准所造成的声像定位的偏离。
(14)尽管在上述实施例中,功能由音频处理器的控制单元21实现的识别单元210参照存储单元22的校正内容列表221,并且识别已处理声音数据的校正内容以使得发声装置3在所获取的装置发声条件下所发出的第二声音接近在视频游戏机1侧确定的第一声音,但是也可以识别校正内容以使得第二声音接近在音频处理器2侧确定的第三声音。类似于第一声音,术语“第三声音”是指关于用户如何收听原始声音数据所表示的原始声音而指定的声音,并且与第一声音具有明显的差异。指定第三声音的信息可以通过用户对音频处理器2的操作单元23的操作来确定,或者可以事先存储在存储单元22中。即,在上述实施例中,作为第三声音的示例,设置了在视频游戏机1侧确定的第一声音(即与第一声音不存在差异)。
通过获取单元25获取的已处理声音数据被视频游戏机1处理为使得在标准发声条件下发出第一声音,并且音频处理器2获取已处理控制信号或控制信号,从而识别视频游戏机1中的处理内容。因此,识别单元210可以使用在音频处理器2侧确定的第三声音与在视频游戏机1侧确定的第一声音之间的差异。即,识别单元210可以基于装置发声条件与标准发声条件之间的差异、已处理控制信号(或控制信号)、以及与发声装置3关联地获取的已处理声音数据来识别对直接接近第三声音的已处理声音数据进行校正的校正内容。
附图标记列表
1:视频游戏机,1a:再现器,11:控制单元,110:视频游戏进程单元,111:原始声音数据生成单元,112:控制信号生成单元,12:存储单元,121:视频游戏程序,13:操作单元,131:操作器,14:显示单元,15:输出单元,151:包处理单元,152:处理单元,1520:解释单元,1521:同步单元,1523:音响效果应用单元,1524:定位处理单元,2、2a:音频处理器,21:控制单元,210:识别单元,211:同步单元,212:声音质量校正单元,213:音响效果校正单元,22:存储单元,221:校正内容列表,23:操作单元,231:操作器,24:连接单元,241:D/A转换器,242:放大器,243:检测器,25:获取单元,251:包处理单元,3、3C、3L、3R、3SL、3SR、3SW:发声装置,4:网络,5:服务器装置,9、9a:音频处理系统。
Claims (6)
1.一种音频处理器,其用于连接至根据所提供的数据发出声音的发声装置,该音频处理器包括:
已处理声音数据获取器,其适合于获取根据处理内容对原始声音数据进行处理所获得的已处理声音数据,处理内容被定义为使得在作为预定发声条件的标准发声条件下发出确定的第一声音,其中与发声装置关联地获取已处理声音数据;
控制信号获取器,其适合于获取控制信号,该控制信号包含表示了对原始声音数据的处理内容的参数和表示了用该参数对原始声音数据进行处理所获得的已处理声音数据的构成的信息中的至少一个;
发声条件获取器,其适合于获取作为发声装置的发声条件的装置发声条件;
识别器,其适合于基于装置发声条件和标准发声条件之间的差异、控制信号获取器所获取的控制信号、以及由已处理声音数据获取器与发声装置关联地获取的已处理声音数据来识别已处理声音数据的校正内容,以使得第二声音接近第一声音或者使得第二声音接近被定义为不同于第一声音的第三声音,第二声音由发声装置在发声条件获取器所获取的装置发声条件下发出,第三声音是指关于用户如何收听原始声音数据所表示的原始声音而指定的声音;
校正器,其适合于根据识别器所识别的校正内容来校正已处理声音数据;以及
供应器,其适合于将校正器所校正了的已处理声音数据提供给发声装置。
2.根据权利要求1所述的音频处理器,包括:
识别信息获取器,其适合于获取原始声音数据的识别信息,其中,
控制信号获取器适合于将识别信息获取器所获取的原始声音数据的识别信息发送到外部装置,以及从外部装置获取控制信号,该控制信号包含识别信息所表示的原始声音数据的参数和表示用该参数对原始声音数据进行处理所获得的已处理声音数据的构成的信息中的至少一个。
3.根据权利要求1或2所述的音频处理器,包括:
发送器,其适合于将表示由发声条件获取器所获取的装置发声条件的信号发送到使已处理声音数据获取器获取已处理声音数据的信息处理器,其中,
当已处理声音数据获取器所获取的已处理声音数据为根据被定义为使得在由发送器发送的信号所表示的装置发声条件下发出第一声音的处理内容来对原始声音数据进行处理所获得的已处理声音数据时,不通过校正器对已处理声音数据进行校正,供应器将未校正的已处理声音数据提供给发声装置。
4.一种用于权利要求1-3中任一项所述的音频处理器的信息处理器,包括:
生成器,其适合于根据用户操作来生成表示原始声音的原始声音数据和表示对原始声音数据的处理内容的参数;
已处理声音数据生成器,其适合于根据参数所表示的处理内容来对生成器所生成的原始声音数据进行处理,以生成已处理声音数据;
已处理声音数据输出部分,其适合于从多个声道中的任意声道输出已处理声音数据生成器所生成的已处理声音数据;以及
控制信号输出部分,其适合于输出控制信号,该控制信号包含表示了对原始声音数据的处理内容的参数和表示了用该参数对原始声音数据进行处理所获得的已处理声音数据的构成的信息中的至少一个。
5.一种音频处理系统,包括:
根据权利要求1至3中任一项所述的音频处理器;以及
根据权利要求4所述的信息处理器。
6.一种将声音数据提供至根据所提供的数据发声的发声装置的方法,所述方法包括以下步骤:
获取根据处理内容对原始声音数据进行处理所获得的已处理声音数据,处理内容被定义为使得在作为预定发声条件的标准发声条件下发出确定的第一声音,其中与发声装置关联地获取已处理声音数据;
获取控制信号,该控制信号包含表示了对原始声音数据的处理内容的参数和表示了用该参数对原始声音数据进行处理所获得的已处理声音数据的构成的信息中的至少一个;
获取作为发声装置的发声条件的装置发声条件;
基于装置发声条件和标准发声条件之间的差异、所获取的控制信号、以及与发声装置关联地获取的已处理声音数据来识别已处理声音数据的校正内容,以使得第二声音接近第一声音或者使得第二声音接近被定义为不同于第一声音的第三声音,第二声音由发声装置在装置发声条件下发出,第三声音是指关于用户如何收听原始声音数据所表示的原始声音而指定的声音;
根据所识别的校正内容来校正已处理声音数据;以及
将校正步骤中所校正的已处理声音数据提供给发声装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010-192968 | 2010-08-30 | ||
JP2010192968A JP5521908B2 (ja) | 2010-08-30 | 2010-08-30 | 情報処理装置、音響処理装置、音響処理システムおよびプログラム |
PCT/JP2011/069649 WO2012029808A1 (ja) | 2010-08-30 | 2011-08-30 | 情報処理装置、音響処理装置、音響処理システムおよびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103229520A CN103229520A (zh) | 2013-07-31 |
CN103229520B true CN103229520B (zh) | 2016-02-10 |
Family
ID=45772889
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180041945.2A Expired - Fee Related CN103229520B (zh) | 2010-08-30 | 2011-08-30 | 信息处理设备、音响处理设备、音响处理系统和程序 |
Country Status (5)
Country | Link |
---|---|
US (2) | US9294854B2 (zh) |
EP (1) | EP2613571B1 (zh) |
JP (1) | JP5521908B2 (zh) |
CN (1) | CN103229520B (zh) |
WO (1) | WO2012029808A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5518638B2 (ja) | 2010-08-30 | 2014-06-11 | ヤマハ株式会社 | 情報処理装置、音響処理装置、音響処理システム、プログラムおよびゲームプログラム |
JP6228387B2 (ja) * | 2013-05-14 | 2017-11-08 | 日本放送協会 | 音響信号再生装置 |
US10771907B2 (en) * | 2014-12-11 | 2020-09-08 | Harman International Industries, Incorporated | Techniques for analyzing connectivity within an audio transducer array |
CN105611191B (zh) * | 2016-01-29 | 2019-01-01 | 高翔 | 语音视频文件合成方法、装置及系统 |
CN117632482A (zh) | 2017-12-08 | 2024-03-01 | 谷歌有限责任公司 | 数字语音助理计算设备当中的信号处理协调 |
US10971173B2 (en) | 2017-12-08 | 2021-04-06 | Google Llc | Signal processing coordination among digital voice assistant computing devices |
JP6928842B2 (ja) * | 2018-02-14 | 2021-09-01 | パナソニックIpマネジメント株式会社 | 制御情報取得システム、及び、制御情報取得方法 |
JP2020036113A (ja) * | 2018-08-28 | 2020-03-05 | シャープ株式会社 | 音響システム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008047114A1 (en) * | 2006-10-19 | 2008-04-24 | Sony Computer Entertainment Europe Limited | Apparatus and method for transforming audio characteristics of an audio recording |
JP2009027601A (ja) * | 2007-07-23 | 2009-02-05 | Sharp Corp | 表示システム |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4030129A (en) | 1976-06-14 | 1977-06-14 | Lase Industries | Pulse code modulated digital audio system |
JP2711152B2 (ja) | 1989-10-11 | 1998-02-10 | 三菱電機株式会社 | 多チャンネル音声信号再生装置 |
JPH03258176A (ja) | 1990-03-08 | 1991-11-18 | Sharp Corp | テレビジョン受像機 |
DE69322805T2 (de) | 1992-04-03 | 1999-08-26 | Yamaha Corp | Verfahren zur Steuerung von Tonquellenposition |
JPH07222299A (ja) | 1994-01-31 | 1995-08-18 | Matsushita Electric Ind Co Ltd | 音像移動処理編集装置 |
JP2734400B2 (ja) | 1995-03-08 | 1998-03-30 | ヤマハ株式会社 | ゲーム機 |
JPH10137445A (ja) | 1996-11-07 | 1998-05-26 | Sega Enterp Ltd | ゲーム装置、画像音響処理装置および記録媒体 |
JPH10211358A (ja) | 1997-01-28 | 1998-08-11 | Sega Enterp Ltd | ゲーム装置 |
JP4095227B2 (ja) | 2000-03-13 | 2008-06-04 | 株式会社コナミデジタルエンタテインメント | ビデオゲーム装置、ビデオゲームにおける背景音出力設定方法及び背景音出力設定プログラムが記録されたコンピュータ読み取り可能な記録媒体 |
CA2386446A1 (en) * | 2001-05-15 | 2002-11-15 | James Phillipsen | Parameterized interactive control of multiple wave table sound generation for video games and other applications |
JP4471086B2 (ja) | 2004-01-14 | 2010-06-02 | 日本電気株式会社 | オーディオ再生装置、オーディオデータ配信サーバ、オーディオデータ配信システム、その方法及びプログラム |
US7563168B2 (en) | 2004-02-13 | 2009-07-21 | Texas Instruments Incorporated | Audio effect rendering based on graphic polygons |
US7492915B2 (en) | 2004-02-13 | 2009-02-17 | Texas Instruments Incorporated | Dynamic sound source and listener position based audio rendering |
JP2005286903A (ja) * | 2004-03-30 | 2005-10-13 | Pioneer Electronic Corp | 音響再生装置、音響再生システム、音響再生方法及び制御プログラム並びにこのプログラムを記録した情報記録媒体 |
JP2006033551A (ja) | 2004-07-20 | 2006-02-02 | Matsushita Electric Ind Co Ltd | 音像定位制御装置 |
JP2006267226A (ja) | 2005-03-22 | 2006-10-05 | Yamaha Corp | 楽音制御装置 |
JP4988716B2 (ja) | 2005-05-26 | 2012-08-01 | エルジー エレクトロニクス インコーポレイティド | オーディオ信号のデコーディング方法及び装置 |
WO2007083958A1 (en) | 2006-01-19 | 2007-07-26 | Lg Electronics Inc. | Method and apparatus for decoding a signal |
JP5285626B2 (ja) | 2007-03-01 | 2013-09-11 | ジェリー・マハバブ | 音声空間化及び環境シミュレーション |
JP4221035B2 (ja) | 2007-03-30 | 2009-02-12 | 株式会社コナミデジタルエンタテインメント | ゲーム音出力装置、音像定位制御方法、および、プログラム |
US8705748B2 (en) * | 2007-05-04 | 2014-04-22 | Creative Technology Ltd | Method for spatially processing multichannel signals, processing module, and virtual surround-sound systems |
GB2457508B (en) * | 2008-02-18 | 2010-06-09 | Ltd Sony Computer Entertainmen | System and method of audio adaptaton |
JP2010118838A (ja) * | 2008-11-12 | 2010-05-27 | Nec Electronics Corp | 音響システム及びそのスピーカ配置方法 |
-
2010
- 2010-08-30 JP JP2010192968A patent/JP5521908B2/ja active Active
-
2011
- 2011-08-30 EP EP11821823.9A patent/EP2613571B1/en active Active
- 2011-08-30 US US13/819,794 patent/US9294854B2/en active Active
- 2011-08-30 WO PCT/JP2011/069649 patent/WO2012029808A1/ja active Application Filing
- 2011-08-30 CN CN201180041945.2A patent/CN103229520B/zh not_active Expired - Fee Related
-
2016
- 2016-01-06 US US14/989,136 patent/US9774980B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008047114A1 (en) * | 2006-10-19 | 2008-04-24 | Sony Computer Entertainment Europe Limited | Apparatus and method for transforming audio characteristics of an audio recording |
JP2009027601A (ja) * | 2007-07-23 | 2009-02-05 | Sharp Corp | 表示システム |
Also Published As
Publication number | Publication date |
---|---|
JP2012050046A (ja) | 2012-03-08 |
CN103229520A (zh) | 2013-07-31 |
EP2613571A4 (en) | 2016-11-16 |
JP5521908B2 (ja) | 2014-06-18 |
EP2613571B1 (en) | 2018-08-29 |
US20130170658A1 (en) | 2013-07-04 |
WO2012029808A1 (ja) | 2012-03-08 |
EP2613571A1 (en) | 2013-07-10 |
US9774980B2 (en) | 2017-09-26 |
US20160119736A1 (en) | 2016-04-28 |
US9294854B2 (en) | 2016-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103229520B (zh) | 信息处理设备、音响处理设备、音响处理系统和程序 | |
US20100166193A1 (en) | Multiple Display Systems with Enhanced Acoustics Experience | |
EP2613570B1 (en) | Information processor, acoustic processor, acoustic processing system, and respective processing methods | |
TW201926999A (zh) | 音視頻播放系統及應用於其上的音訊資料的播放方法 | |
TWI496479B (zh) | 增進多聲道之再生 | |
CN104956689A (zh) | 用于个性化音频虚拟化的方法和装置 | |
CN113348677B (zh) | 沉浸式和双耳声音的组合 | |
US20230292049A1 (en) | Method for Reproducing Content | |
US20100232627A1 (en) | Audio mixing device | |
US6917915B2 (en) | Memory sharing scheme in audio post-processing | |
CN114339297B (zh) | 音频处理方法、装置、电子设备和计算机可读存储介质 | |
JP2009087449A (ja) | 音声再生装置及び音声再生方法 | |
CN112346694B (zh) | 显示装置 | |
JP6004031B2 (ja) | 音響処理装置および情報処理装置 | |
JP5729509B2 (ja) | 情報処理装置、音響処理装置、音響処理システムおよびプログラム | |
US7440676B2 (en) | Method and apparatus for transmitting dummy video sync and audio signals in optical disc player | |
JP2008147840A (ja) | 音声信号生成装置、音場再生装置、音声信号生成方法およびコンピュータプログラム | |
CN111601157A (zh) | 一种音频输出方法及显示设备 | |
KR20070071595A (ko) | 디지털 데이터 재생장치 및 그 제공방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160210 Termination date: 20180830 |