CN101019465A - 发音方法、音源电路、使用其的电子电路和电子设备 - Google Patents
发音方法、音源电路、使用其的电子电路和电子设备 Download PDFInfo
- Publication number
- CN101019465A CN101019465A CNA2005800308755A CN200580030875A CN101019465A CN 101019465 A CN101019465 A CN 101019465A CN A2005800308755 A CNA2005800308755 A CN A2005800308755A CN 200580030875 A CN200580030875 A CN 200580030875A CN 101019465 A CN101019465 A CN 101019465A
- Authority
- CN
- China
- Prior art keywords
- sound
- voice data
- information
- pronunciation
- virtual source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H1/00—Measuring characteristics of vibrations in solids by using direct conduction to the detector
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
- G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
- G10H1/0058—Transmission between separate instruments or between individual components of a musical system
- G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/155—Musical effects
- G10H2210/265—Acoustic effect simulation, i.e. volume, spatial, resonance or reverberation effects added to a musical sound, usually by appropriate filtering or delays
- G10H2210/295—Spatial effects, musical uses of multiple audio channels, e.g. stereo
- G10H2210/301—Soundscape or sound field simulation, reproduction or control for musical purposes, e.g. surround or 3D sound; Granular synthesis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2230/00—General physical, ergonomic or hardware implementation of electrophonic musical tools or instruments, e.g. shape or architecture
- G10H2230/005—Device type or category
- G10H2230/021—Mobile ringtone, i.e. generation, transmission, conversion or downloading of ringing tones or other sounds for mobile telephony; Special musical data formats or protocols herefor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2230/00—General physical, ergonomic or hardware implementation of electrophonic musical tools or instruments, e.g. shape or architecture
- G10H2230/025—Computing or signal processing architecture features
- G10H2230/031—Use of cache memory for electrophonic musical instrument processes, e.g. for improving processing capabilities or solving interfacing problems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Stereophonic System (AREA)
Abstract
抑制如声场内的虚拟音源的位置调整这样的效果处理和发音的同步偏离。在音源电路(100)中,FIFO存储器(20)存储表示再现声场内的虚拟音源的变化的信息以及音频数据。控制部分(30)对于存储在FIFO存储器(20)中的音频数据,与进行该再现声场内的虚拟音源的位置调整的3D定位部分(210)协同将被进行过位置调整的音频数据发音。控制部分(30)检测出上述信息后通知给3D定位部分(210)。此时,也可以经由专用的信号线将与该信息对应的中断信号发送给3D定位部分(210)。
Description
技术领域
本发明涉及用于将进行过效果处理的音频数据发音的发音方法、音源电路、使用其的电子电路和电子设备。
背景技术
伴随携带电话机的高性能化,对音质的要求也提高。因此,逐渐在携带电话等携带终端中搭载立体声扬声器。此外,在这样的携带终端的狭窄的壳体中,即使内置立体声扬声器,其发音也难以得到良好的立体感。
另一方面,作为利用用户的左右耳来再现三维声场的音频信号处理技术,专利文献1中公开了仅使用一对扬声器以及两个信号声道的声场的合成技术。在该声场中,能够使用户感到如同音源出现在包围以位于球体的中心的用户的头的球体上的某处。
这样的音响处理效果为例如从接近用户的头的空间位置发散这样的声音、或者随时间而朝向用户移动或远离的声音、或在用户的耳边耳语的人的声音等。
专利文献1:特表2001-511995号公报
发明内容
在携带电话等携带终端中,有的搭载有由发出用于通知来电的旋律等的音源LSI(Large Scale Integration,大规模集成电路)等构成的音源电路。这样的音源电路的发音数据为MIDI(注册商标)数据(Musical Instruments DigitalInterface,乐器数字接口)等的情况下,由该数据内的时间管理命令设定发音定时。从而,在音源电路内的存储器中写入了数据之后,在音源电路上执行的音序器(sequencer)等的软件难以识别在多长时间内发音。在这样的音源电路和如上所述的用于在声场内调整音源的感觉位置的引擎协同的情况下,该音源电路的发音和通过该引擎的位置调整引起同步偏离,可能将声象定位在不能预期的位置上。
本发明鉴于这样的状况而完成,其目的在于提供一种能够抑制如声场内的虚拟音源的位置调整这样的效果处理和发音的同步偏离的发音方法、音源电路、使用其的电子电路和电子设备。
为了解决上述课题,本发明的某一方式的发音方法包括:对音频数据的发音定时进行解读的步骤;将表示发音定时的信息加到音频数据中的步骤;以及对应于参照信息而取得的发音定时,对要发音的音频数据进行效果处理的步骤。
根据该方式,通过参照表示发音定时的信息来进行效果处理,从而能够抑制效果处理和发音之间的同步偏离。
本发明的其它方式也是发音方法。该方法包括:对由音频数据引起的再现声场内的虚拟音源的变化进行解读的步骤;将表示虚拟音源的变化的信息加到音频数据中的步骤;以及对应于参照信息而取得的虚拟音源的变化,进行要发音的音频数据的再现声场内的虚拟音源的位置调整的步骤。“虚拟音源的变化”也可以包含虚拟音源的切换、虚拟音源的移动引起的变化。
根据该方式,通过参照表示虚拟音源的变化的信息来进行再现声场内的虚拟音源的位置调整,从而能够抑制该位置调整和发音之间的同步偏离。
本发明的其它方式是音源电路。该音源电路包括:存储部分,对表示发音定时的信息以及音频数据进行存储;以及控制部分,与效果处理部分协同将被处理过的音频数据进行发音,所述效果处理部分对所述存储部分中存储的音频数据进行效果处理。控制部分在检测出所述信息时,对所述效果处理部分通知检测到所述信息的情况。
根据该方式,通过对效果处理部分通知表示发音定时的信息,从而能够抑制效果处理和发音之间的同步偏离。
本发明的其它方式也是音源电路。该音源电路包括:存储部分,对表示再现声场内的虚拟音源的变化的信息以及音频数据进行存储;以及控制部分,与位置调整部分协同将被进行过位置调整的音频数据进行发音,所述位置调整部分对所述存储部分中存储的音频数据进行该再现声场内的虚拟音源的位置调整。控制部分在检测出所述信息时,对位置调整部分通知检测到所述信息的情况。
根据该方式,通过对位置调整部分通知表示再现声场内的虚拟音源的变化的信息,从而能够抑制位置调整和发音的同步偏离。
控制部分也可以经由专用的信号线对位置调整部分发送与所述信息对应的中断信号。根据该方式,能够抑制位置调整和发音的同步偏离而不会对控制部分和位置调整部分的音频数据的输入输出带来影响。
控制部分也可以在再现声场内设置了多个虚拟音源的情况下,检测到表示各个虚拟音源的变化的信息的至少一个以上时,经由与各个虚拟音源对应的专用的信号线对位置调整部分发送与所述信息对应的中断信号。根据该方式,即使在声场内存在多个虚拟音源,并且在分别独立变化的情况下,也能够抑制中断信号的频发引起的误动作。
控制部分也可以在对位置调整部分发送的音频数据内的空余部分嵌入所述信息。在“音频数据”包含多个声道的情况下,也可以嵌入其空余声道中。根据该方式,即使不设置专用的信号线也能够抑制位置调整和发音的同步偏离。
本发明的其它方式是电子电路。该电子电路包括:上述音源电路;以及效果处理部分,对音频数据进行效果处理。根据该方式,能够实现可以抑制效果处理和发音之间的同步偏离的电子电路。
本发明的其它方式是电子电路。该电子电路包括:上述音源电路;以及位置调整部分,对音频数据进行该再现声场内的虚拟音源的位置调整。根据该方式,能够实现可以抑制再现声场内的虚拟音源的位置调整处理和发音之间的同步偏离的电子电路。
本发明的其它方式是电子设备。该电子设备包括:扬声器;以及上述方式的电子电路,用于使扬声器发音。根据该方式,能够实现可以抑制效果处理和发音之间的同步偏离的电子设备。
另外,将以上的构成元件的任意组合、本发明的表现在装置、方法、系统、计算机程序、记录了该程序的记录介质等之间变换的结果,作为本发明的方式也有效。
根据本发明,能够抑制效果处理和发音的同步偏离。
附图说明
图1是表示实施方式1的音源电路的概略结构的图。
图2是表示音源电路的控制定时的图,图2(a)表示以往的控制定时,图2(b)表示实施方式1的控制定时。
图3是表示搭载了包含实施方式1的音源LSI和3D定位部分的电子电路的电子设备的结构的图。
图4是用于说明立体扩展处理的图,图4(a)表示以往的未进行立体扩展处理的发音,图4(b)表示实施方式1的进行了立体扩展处理的发音。
图5是表示实施方式1的音源电路和3D定位部分的处理步骤的流程图。
图6是表示图3所示的各信号的波形变化的一例的图。
图7是表示实施方式2的音源电路的概略结构的图。
图8是表示搭载了包含实施方式2的音源LSI和3D定位部分的电子电路的电子设备的结构的图。
图9是表示图8所示的各信号的波形变化的一例的图。
图10是表示从控制部分经由音频I/F传输到3D定位部分的信号的一例的定时图。
图11是表示实施方式3的各信号的波形变化的一例的图。
标号说明
10 CPUI/F,20 FIFO存储器,30控制部分,32立体扩展部分,34音源音序器,40音频I/F,52、54 DAC,62、64扬声器,100音源电路,110音源LSI,200应用处理器,210 3D定位部分,300电子电路,400电子设备。
具体实施方式
(实施方式1)
图1是表示实施方式1的音源电路100的概略结构的图。实施方式1提供用于取得由音源LSI110等构成的音源电路100的发音定时、和调整三维声场中的虚拟音源的感觉位置的引擎(以下称作3D定位部分)的位置调整定时的同步的技术。3D定位部分210对各个音频数据施加特殊效果的效果处理,使得例如,如果是飞机的声音则听起来来自头上,如果是车的声音则听起来来自地面附近。
首先,说明实施方式1的概略部分。设置在音源电路100的外部的应用处理器等CPU经由CPU接口(以下表示为CPUI/F)10,将音频数据写入音源电路100内的FIFO(First-In First-Out,先进先出)存储器20。上述音频数据可以由MIDI格式或ADPCM(Adaptive Diffrential Pulse Code Modulation,自适应音频脉冲编码)格式等记述。在图1中,作为一例,将MIDI数据写入FIFO存储器20。MIDI数据将乐曲的信息作为音色、音长、强度、特殊效果等的组合来记录。
上述CPU在解读上述音频数据内的与时间管理有关的命令,并再现了该音频数据时,确定用于切换生成的声场中的虚拟音源在三维空间上的感觉位置的定时。然后,为了表示该切换定时,将Callback(回叫)消息这样的数据插入该音频数据内的感觉位置的切换部分等规定的位置,然后写入FIFO存储器20。
FIFO存储器20是将先输入的数据按照其输入顺序进行先输出的存储器。音源音序器34是进行MIDI数据的加工、再现等的软件,也可以由上述CPU执行。音源音序器34再现FIFO存储器20的MIDI数据,并从未图示的扬声器发音。此外,音源音序器34在处理FIFO存储器20内的数据时,如检测到Callback消息则发生中断信号MIDIINT。该中断信号MIDIINT被输出到图3的应用处理器200。通过使用中断信号MIDIINT,从而取得音源音序器34的发音定时和3D定位部分210的3D定位处理的同步。
图2是表示音源电路100的控制定时的图。在图2中,首先,在FIFO存储器20中写入表示飞机的声音的音频数据和表示车的声音的音频数据。
图2(a)是不使用实施方式1的技术的情况下的例子。音源音序器34将FIFO存储器20内的音频数据按照其顺序而不断发音。在MIDI数据的情况下,音频数据被写入FIFO存储器内之后直到该音频数据发音为止的期间,根据该MIDI数据内的Tempo等时间管理命令的量而变化。此外,也根据曲调等而变化。在图2中,音源音序器34不能预测表示车的声音的音频数据被存储在FIFO存储器20内之后直到该音频数据发音为止的期间t1。从而,音源音序器34不能预测从飞机的声音切换到车的声音的定时。
图2中,位置A表示与飞机的声音对应的位置,例如以用户为中心的声场的上方的位置,位置B表示与车的声音对应的位置,例如以用户为中心的声场的下方的位置。例如图2(a)这样,在使位置A和位置B的切换定时与FIFO存储器20中的从表示飞机的声音的音频数据切换到表示车的声音的音频数据的切换定时一致时,产生与音源音序器34的发音的切换定时偏离的期间t2。该期间t2,从在地面行驶的车的位置听见飞机的声音,与用户想象的图像不同步。
相反,图2(b)是使用实施方式1的技术的情况的例子。音源音序器34检测到与MIDI数据的发音定时同步的Callback消息时,使执行3D定位处理的应用处理器200发生中断信号MIDIINT。3D定位部分210利用该中断信号MIDIINT能够与音源音序器34的发音定时取得同步。从而,在图2(b)中,与音源音序器34从飞机的发音切换到车的发音的定时同步,3D定位部分210能够从位置A切换到位置B。
以下,详细说明实施方式1。图3是表示搭载了包含音源LSI110和应用处理器200的电子电路300的电子设备400的结构的图。音源LSI110用单芯片化的集成电路实现了上述音源电路100。设置在音源LSI110的外部的应用处理器200经由CPUI/F10将音频数据写入音源LSI110内的FIFO存储器20。应用处理器200包含3D定位部分210以及固件220。
3D定位部分210在解读上述音频数据内的与时间管理有关的命令并再现了该音频数据时,确定用于切换该音频数据的虚拟音源在三维空间上的感觉位置的定时。然后,为了表示该虚拟音源的切换定时,将Callback消息这样的数据插入该音频数据内的表示飞机的声音的音频数据和表示车的声音的音频数据的切换部分等规定的位置,然后写入FIFO存储器20。
控制部分30对从FIFO存储器20读出的音频数据施加各种效果处理,将读出的音频数据发音。控制部分30对音频数据进行顺序处理后,作为数字数据,经由音频数据接口(以下表示为音频I/F)40交付给应用处理器200。
3D定位部分210是主要通过上述应用处理器200和3D定位用的固件220的协同来实现的块。控制部分30或3D定位部分210也可以被单芯片化。3D定位部分210经由音频I/F40对从控制部分30交付的音频数据施加三维定位处理,并返回到控制部分30。
在图3中,在应用处理器200和音频I/F40之间输入输出四个信号BCLK、信号LRCLK、信号SDO以及信号SDI。信号BCLK是将用于取得比特单位的同步的时钟输出到应用处理器200的信号。信号LRCLK提供一次的数据交付定时的信号,能够表示是左右哪个声道的数据。信号SDO是用于从控制部分30对应用处理器200顺序地输出音频数据的信号。信号SDI是用于反过来从应用处理器200对控制部分30顺序地输出音频数据的信号。通过信号BCLK、信号LRCLK、信号SDO以及信号SDI交换的信号可以使用I2S(Isquare S)等标准。
控制部分30包含立体扩展部分32。立体扩展部分32例如对右声道的信号加上左声道的信号的反相位,反之也同样处理,从而能够制作出对于用户来说有宽度的声场。从右扬声器输出的声音由从左扬声器输出的声音抵消后,用户主要用右耳感觉从右扬声器输出的声音。反之同样。这样,能够分离右声道输出的声音和左声道输出的声音,并且能够扩展声场。
立体扩展部分32对于由3D定位部分210进行了3D定位的音频数据实施如上所述的立体扩展处理。在作为用户接口,设有一对扬声器62、64和未图示的头戴式耳机的情况下,对于扬声器62、64和头戴式耳机实施。
此外,控制部分30在从FIFO存储器20读出的数据中检测到上述Callback消息时,对应用处理器200输出中断信号MIDIINT。在图3中,从控制部分30对应用处理器200输出中断信号MIDIINT。中断信号MIDIINT是用于对应用处理器200传输表示上述虚拟音源的感觉位置的切换定时的控制信号的信号。
两个数字模拟变换器(以下称作DAC)52、54将从控制部分30输出的左右声道的音频数字信号分别变换为模拟信号后输出到左右的扬声器62、64。另外,在未图示的头戴式耳机等连接到携带终端等设备的情况下,也输出到头戴式耳机。一对扬声器62、64输出左右声道的音频信号。
图4是用于说明立体扩展处理的图。图4(a)是不使用实施方式1的技术的情况下的例子。在携带电话机或携带型游戏机等携带型电子设备的情况下,由于该电子设备的壳体大小的制约而难以加长一对扬声器62、64之间的距离。从而,如图4(a)所示,从左右扬声器62、64的发音混合,即使设置一对扬声器62、64也感到好像从相同场所发音,难以产生立体感。
相对于此,图4(b)是使用实施方式1的技术的情况的例子。通过对左右声道实施立体扩展处理,能够产生如同在一对扬声器62、64之间确保了充分的距离的立体感。
图5是表示实施方式1的音源电路100和应用处理器200的处理顺序的流程图。以图1的音源电路100与图3的应用处理器200协同的方式进行说明。该流程图的左侧的流程表示应用处理器200的动作定时,右侧的流程表示作为硬件资源的音源电路100的动作定时。
首先,应用处理器200在MIDI数据内设定Callback消息(S10)。此时,接着该Callback消息,后处理选择值也设定为后处理选择消息。后处理选择值是示出如何从音源电路100输出MIDI数据的值。
通过该设定,Callback消息和后处理检测值被连续设定在音源电路100内的FIFO存储器20中(S30)。接着,音源音序器34读出FIFO存储器20内的数据时,检测Callback消息(S32)。于是,将输出到应用处理器200的中断信号MIDIINT设定为低电平。
音源音序器34在检测出Callback消息之后,检测后处理选择消息(S34)。后处理选择消息命令经由音源音序器34和应用处理器200的串行I/F将成为3D定位处理的对象的MIDI数据输出到应用处理器200。
应用处理器200通过从中断信号MIDIINT中检测表示3D定位处理的定时的Callback消息,从而取得Callback状态(S12)。3D定位部分210在中断信号MIDIINT为低电平时执行中断例行程序(routine)。中断例行程序设定屏蔽,以不从音源电路100侧对应用处理器200侧输出MIDI数据(S14)。3D定位部分210设定将来自音源电路100的中断清除(S16),并开始3D定位处理(S18)。
音源音序器34对应于来自应用处理器200的中断清除设定,将中断信号MIDIINT的Callback消息清除(S36)。3D定位部分210解除在上述中断例行程序中施加的屏蔽(S20)。屏蔽被解除后,音源音序器34能够经由串行I/F对应用处理器200送出MIDI数据,并开始MIDI数据的发送(S38)。从在先的后处理选择消息的检测到该MIDI数据的发送为止的期间可以设定为4msec左右。
3D定位部分210对经由串行I/F发送来的上述MIDI数据施加3D定位处理(S22)。音源音序器34可以将这样被进行了效果处理的MIDI数据发音。
以上,说明了将表示进行发音的定时的Callback消息装入FIFO存储器20并发生对应用处理器200的中断信号的步骤。在这一点上,不限于MIDI数据,对于ADPCM数据等也能够应用同样的步骤。
图6是表示图3所示的信号LRCLK、信号SDO以及中断信号MIDIINT的波形变化的一例的图。本例是从图2中例示的飞机的声音在中途切换到车的声音的例子。信号LRCLK是周期的重复波形,该重复波形的单位周期是数据交接的单位周期。信号SDO表示被输入应用处理器200的音频数据。在图6中示出,表示飞机的声音的音频数据被输入2次,然后表示车的声音的音频数据被输入2次的情况。中断信号MIDIINT是对应用处理器200的中断信号。在图6中,在该中断信号MIDIINT的从高电平到低电平的下降沿,对3D定位部分210通知从通过对飞机声音的3D定位处理的声象的定位场所切换到对于车的声音的声象的定位场所的定时。
如以上所说明的,根据实施方式1,通过将Callback消息用作与3D定位部分的同步信号,在音源音序器发音时,可以抑制发音定时和3D定位处理的同步偏离,并避免将声象定位在不能预期的位置上的情况。
(实施方式2)
图7是表示实施方式2的音源电路100的概略结构的图。实施方式2提供用于取得音源电路100的发音定时、以及调整三维声场中的多个虚拟音源的感觉位置的3D定位部分210的位置调整定时的同步的技术。3D定位部分210在来自多个虚拟音源的发音混合而成的声音中,对表示这些多个虚拟音源的音频数据施加效果处理,以便能够从声场内的规定场所听到各个虚拟音源。
实施方式2的音源电路100的结构是与实施方式1的结构基本上相同的结构。以下,说明不同点。设置在外部的CPU经由CPUI/F10将音频数据写入音源电路100内的FIFO存储器20。该CPU解读上述音频数据内的与管理时间有关的命令,并分别确定该音频数据的再现声场中的多个虚拟音源在三维空间上的感觉位置的切换定时。然后,为了表示这些虚拟音源在三维空间上的感觉位置的切换定时,将Callback消息1、Callback消息2...等各Callback消息BOX插入该音频数据内的该感觉位置的切换部分等中,然后写入FIFO存储器20。
音源音序器34在对FIFO存储器20内的数据进行处理时,检测到任何的Callback消息时,发生与检测出的Callback消息对应的中断信号3DINT。中断信号3DINT1对应于Callback消息1,中断信号3DINT2对应于Callback消息2。在实施方式2中,从音源电路100向执行3D定位处理的应用处理器200配置各Callback消息专用的3DINT线,音源音序器34经由与检测出的Callback消息对应的3DINT线对应用处理器200传送中断信号3DINT1或中断信号3DINT2。
以下,详细说明实施方式2。图8是表示搭载了包含实施方式2的音源LSI110和应用处理器200的电子电路300的电子设备400的结构的图。实施方式2的音源LSI110和应用处理器200与实施方式1中说明的图3的结构基本相同。以下,说明不同点。
3D定位部分210解读上述音频数据内的与时间管理有关的命令,分别确定该音频数据的再现声场中的多个虚拟音源在三维空间上的位置的切换定时。然后,为了表示这些虚拟音源在三维空间上的位置的切换定时,将Callback消息这样的数据插入该音频数据内的各个位置的切换部分等,然后写入FIFO存储器20。
控制部分30和应用处理器200由多个中断信号线连接。在图8中,明示了3条,但不限定于3条。控制部分30在从FIFO存储器20中读出的数据中检测出任何的Callback消息时,经由对应的中断信号线对应用处理器200输出中断信号3DINT1、中断信号3DINT2、中断信号3DINT3。
图9是表示图8所示的信号LRCLK、信号SDO、信号3DINT1以及信号3DINT2的波形变化的一例的图。该例是在中途从飞机和UFO的声音混合的声音切换到车和导弹混合的声音的例子。信号LRCLK和信号SDO与图6的说明同样。在图9中,示出输入2次表示飞机和UFO的声音混合的声音的音频数据,然后输入2次表示车和导弹的声音混合的声音的音频数据的情况。中断信号3DINT1和中断信号3DINT2是对应用处理器200的中断信号。
在图9中,在从中断信号3DINT1的高电平到低电平的下降沿,对3D定位部分210通知从对飞机的声音的3D定位处理的声象的定位场所切换到对于车的声音的3D定位处理的声象的定位场所的定时。同样,在从中断信号3DINT2的高电平到低电平的下降沿,对3D定位部分210通知从对UFO的声音的3D定位处理的声象的定位场所切换到对于导弹的声音的3D定位处理的声象的定位场所的定时。
如以上所说明的,根据实施方式2,准备多个Callback消息,分别设置用于对应用处理器200发送与多个Callback消息对应的中断信号的专用信号线,从而在将多个声音定位在声场内的多个位置时,能够抑制对于特定的信号线的中断信号的频繁发生。即,为了能够进行并行处理而设置多个Callback消息,并设置多个与多个Callback消息对应的信号线,从而应用处理器200能够存储取得的信息而不会意外失败,并且一定能够执行通过3D定位部分210的处理。
(实施方式3)
实施方式3如实施方式1以及2这样,提供一种不设置用于从音源电路100对应用处理器200发送Callback消息的专用信号线,在音频数据内的空余声道中嵌入定时信息,取得音源电路100和应用处理器200的同步的技术。实施方式3的音源LSI110和应用处理器200的结构与实施方式1中说明的图3的结构基本上相同。以下,说明不同点,不同点在于不设置将控制部分30和应用处理器200连接的中断信号线。
图10是表示从控制部分30经由音频I/F40传送给应用处理器200的信号的一例的定时图。控制部分30以I2S格式由信号SDO串行传输音频数据。在图10中,信号LRCLK表示一次的数据交接定时。一周期交接一次数据。通过I2S格式能够一次交接64比特或128比特。信号BCLK表示单位比特的传输定时。另外,图内的条纹区域表示省略了数据串的位置。
在图10中,在信号LRCLK的每一周期能够交接左声道的Lch64比特、右声道Rch64比特的共128比特的数据。这是在信号LRCLK的一周期的数据中设定每一声道16比特的8声道的例子。信号SDO表示通过一次的交接能够发送8种类的16比特的数据,信号SDO下面的比特串表示实际交接的数据。在图10中,在1声道CH1和5声道CH5中写入音频数据。图10是在声场内的虚拟音源为一个的情况下的例子,在声场内的虚拟音源为多个的情况下,也使用其它的声道CH。
在对上述DAC52、54使用16比特用的器件的情况下,在信号LRCLK的每一周期交接包含左右声道共32比特的数据就足够。因此,如图10这样,能够产生空余声道。在图10中,将用于取得音频数据的发音定时和该音频数据的3D定位处理的定时的信息写入3声道CH3。3D定位部分210参照该定时信息,能够取得对三维声场内的虚拟音源的感觉位置进行切换的定时。
图11是表示实施方式3的信号LRCLK和信号SDO的波形变化的一例的图。本例是从图2中例示的飞机的声音在中途切换到车的声音的例子。信号SDO表示被输入应用处理器200的音频数据。在图11中,示出输入2次表示飞机的声音的音频数据,然后输入1次表示车的声音的音频数据的情况。在图11中,在表示车的声音的音频数据的初次交接时,在该一次的音频数据的空余声道中嵌入上述定时信息。
如以上所说明的,根据实施方式3,通过在从音源电路100传输到应用处理器200的音频数据的空余声道中嵌入用于取得同步的消息,从而不使用用于传输通过中断处理而生成的信号的信号线,即通过简单的结构也能够取得音频数据的发音定时和该音频数据的3D定位处理的同步。
以上,基于实施方式说明了本发明。本实施方式为例示,本领域技术人员应当理解这些各构成元件和各处理过程的组合中可以有各种变形例,而且这样的变形例也属于本发明的范围。
在实施方式中,如图3以及图8所示,说明了由不同的LSI芯片构成音源LSI110和应用处理器200的例子。从而,说明了一方面在音源LSI110和应用处理器200之间抑制电路规模,一方面难以配置多个信号线而通过串行接口交换音频数据的例子。在这一点上,也可以将电子电路300整体单芯片化。在该情况下,如将应用处理器200设置在外部的情况这样,可以将多个信号线配置在音源LSI110和应用处理器200之间而不增大电路规模。从而,也可以通过并行接口交换音源LSI110和应用处理器200之间的音频数据。进而,也可以设置在实施方式3中说明的用于传输定时信息的专用信号线。由此,能够一边抑制电路规模而一边使信号高速化。
此外,在实施方式中,控制部分30执行了3D定位功能和立体扩展功能。这方面,不限于这些功能,也可以执行混响功能、合唱(chorus)功能等效果功能。同样可以应用实施方式1、2中说明的中断处理和实施方式3中说明的对空余声道的定时信息嵌入技术。由此,能够取得音频数据的发音定时和各种效果功能的处理定时的同步。
产业上的可利用性
本发明能够应用于对音频数据进行效果处理后再现的电子设备的领域中。
Claims (11)
1.一种发音方法,其特征在于,包括:
对音频数据的发音定时进行解读的步骤;
将表示所述发音定时的信息加到所述音频数据中的步骤;以及
对应于参照所述信息而取得的所述发音定时,对要发音的音频数据进行效果处理的步骤。
2.一种发音方法,其特征在于,包括:
对由音频数据引起的再现声场内的虚拟音源的变化进行解读的步骤;
将表示所述虚拟音源的变化的信息加到所述音频数据中的步骤;以及
对应于参照所述信息而取得的所述虚拟音源的变化,进行要发音的音频数据再现声场内的虚拟音源的位置调整的步骤。
3.一种音源电路,其特征在于,包括:
存储部分,对表示发音定时的信息以及音频数据进行存储;以及
控制部分,与效果处理部分协同将被处理过的音频数据进行发音,所述效果处理部分对所述存储部分中存储的音频数据进行效果处理,
所述控制部分在检测出所述信息时,对所述效果处理部分通知检测到所述信息的情况。
4.一种音源电路,其特征在于,包括:
存储部分,对表示再现声场内的虚拟音源的变化的信息以及音频数据进行存储;以及
控制部分,与位置调整部分协同将被进行过位置调整的音频数据进行发音,所述位置调整部分对所述存储部分中存储的音频数据进行其再现声场内的虚拟音源的位置调整,
所述控制部分在检测出所述信息时,对所述位置调整部分通知检测到所述信息的情况。
5.如权利要求4所述的音源电路,其特征在于,
所述控制部分经由专用的信号线对所述位置调整部分发送与所述信息对应的中断信号。
6.如权利要求4所述的音源电路,其特征在于,
所述控制部分在所述再现声场内设置了多个虚拟音源的情况下,检测到表示各个虚拟音源的变化的信息的至少一个以上时,经由与各个虚拟音源对应的专用的信号线对所述位置调整部分发送与所述信息对应的中断信号。
7.如权利要求4所述的音源电路,其特征在于,
所述控制部分在对所述位置调整部分发送的音频数据内的空余部分嵌入所述信息。
8.如权利要求3至7的任何一项所述的音源电路,其特征在于,
所述音源电路被一体集成在同一半导体衬底上。
9.一种电子电路,其特征在于,包括:
权利要求3所述的音源电路;以及
效果处理部分,对所述音频数据进行效果处理。
10.一种电子电路,其特征在于,包括:
权利要求4至8的任何一项所述的音源电路;以及
位置调整部分,对所述音频数据进行该再现声场内的虚拟音源的位置调整。
11.一种电子设备,其特征在于,包括:
扬声器;以及
权利要求9或10所述的电子电路,用于从所述扬声器发音。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP307352/2004 | 2004-10-21 | ||
JP2004307352 | 2004-10-21 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101019465A true CN101019465A (zh) | 2007-08-15 |
Family
ID=36202803
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2005800308755A Pending CN101019465A (zh) | 2004-10-21 | 2005-09-14 | 发音方法、音源电路、使用其的电子电路和电子设备 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20080123867A1 (zh) |
EP (1) | EP1814357A1 (zh) |
JP (1) | JPWO2006043380A1 (zh) |
KR (1) | KR20070070166A (zh) |
CN (1) | CN101019465A (zh) |
TW (1) | TW200614848A (zh) |
WO (1) | WO2006043380A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104635578A (zh) * | 2015-01-08 | 2015-05-20 | 江苏杰瑞科技集团有限责任公司 | 一种声纳听觉指示电路 |
CN107912084A (zh) * | 2015-03-18 | 2018-04-13 | T移动美国公司 | 基于路径的数据中断检测 |
CN112309441A (zh) * | 2019-07-30 | 2021-02-02 | 拉碧斯半导体株式会社 | 半导体装置 |
CN113555033A (zh) * | 2021-07-30 | 2021-10-26 | 乐鑫信息科技(上海)股份有限公司 | 语音交互系统的自动增益控制方法、装置及系统 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10203839B2 (en) | 2012-12-27 | 2019-02-12 | Avaya Inc. | Three-dimensional generalized space |
US9892743B2 (en) | 2012-12-27 | 2018-02-13 | Avaya Inc. | Security surveillance via three-dimensional audio space presentation |
US9301069B2 (en) * | 2012-12-27 | 2016-03-29 | Avaya Inc. | Immersive 3D sound space for searching audio |
US9838824B2 (en) | 2012-12-27 | 2017-12-05 | Avaya Inc. | Social media processing with three-dimensional audio |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2294854B (en) * | 1994-11-03 | 1999-06-30 | Solid State Logic Ltd | Audio signal processing |
JPH09160549A (ja) * | 1995-12-04 | 1997-06-20 | Hitachi Ltd | 三次元音響提示方法および装置 |
JPH10143151A (ja) * | 1996-01-30 | 1998-05-29 | Pfu Ltd | 指揮装置 |
JPH1063470A (ja) * | 1996-06-12 | 1998-03-06 | Nintendo Co Ltd | 画像表示に連動する音響発生装置 |
-
2005
- 2005-09-14 EP EP05783672A patent/EP1814357A1/en not_active Withdrawn
- 2005-09-14 WO PCT/JP2005/016906 patent/WO2006043380A1/ja active Application Filing
- 2005-09-14 KR KR1020077007377A patent/KR20070070166A/ko not_active Application Discontinuation
- 2005-09-14 US US11/666,147 patent/US20080123867A1/en not_active Abandoned
- 2005-09-14 JP JP2006542280A patent/JPWO2006043380A1/ja active Pending
- 2005-09-14 CN CNA2005800308755A patent/CN101019465A/zh active Pending
- 2005-09-23 TW TW094133141A patent/TW200614848A/zh unknown
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104635578A (zh) * | 2015-01-08 | 2015-05-20 | 江苏杰瑞科技集团有限责任公司 | 一种声纳听觉指示电路 |
CN104635578B (zh) * | 2015-01-08 | 2017-05-17 | 江苏杰瑞科技集团有限责任公司 | 一种声纳听觉指示电路 |
CN107912084A (zh) * | 2015-03-18 | 2018-04-13 | T移动美国公司 | 基于路径的数据中断检测 |
CN112309441A (zh) * | 2019-07-30 | 2021-02-02 | 拉碧斯半导体株式会社 | 半导体装置 |
CN113555033A (zh) * | 2021-07-30 | 2021-10-26 | 乐鑫信息科技(上海)股份有限公司 | 语音交互系统的自动增益控制方法、装置及系统 |
Also Published As
Publication number | Publication date |
---|---|
US20080123867A1 (en) | 2008-05-29 |
JPWO2006043380A1 (ja) | 2008-05-22 |
WO2006043380A1 (ja) | 2006-04-27 |
KR20070070166A (ko) | 2007-07-03 |
EP1814357A1 (en) | 2007-08-01 |
TW200614848A (en) | 2006-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101019465A (zh) | 发音方法、音源电路、使用其的电子电路和电子设备 | |
JP3915585B2 (ja) | データ生成方法、プログラム、記録媒体およびデータ生成装置 | |
JP4700071B2 (ja) | 波面合成システムをシミュレートするための装置および方法 | |
US20080156175A1 (en) | Waveform processing apparatus with versatile data bus | |
JP4066778B2 (ja) | 楽曲演奏システム | |
US20210134256A1 (en) | Midi events synchronization system, method and device | |
US11418883B2 (en) | Audio interface apparatus and recording system | |
JP2005092191A (ja) | 楽曲シーケンスデータのデータ交換フォーマット、音源システム及び楽曲ファイル作成ツール | |
JP3781171B2 (ja) | 楽音発生方法 | |
KR100667814B1 (ko) | 전기 기타의 톤 및 이펙터 기능을 갖는 휴대용 오디오 재생장치 | |
JP3741047B2 (ja) | 音源装置 | |
WO2023181747A1 (ja) | 音源システム、方法及びプログラム | |
CN112420005A (zh) | 全景音效网络协同系统 | |
JPH0823599A (ja) | 音響再生装置 | |
WO2001063593A1 (en) | A mode for band imitation, of a symphonic orchestra in particular, and the equipment for imitation utilising this mode | |
JP3991475B2 (ja) | 音声データ処理装置およびコンピュータシステム | |
JP3368912B2 (ja) | 楽音波形信号発生装置及び楽音波形信号処理方法 | |
JP4674623B2 (ja) | 音源システム及び楽曲ファイル作成ツール | |
JP3933147B2 (ja) | 発音制御装置 | |
JP4259422B2 (ja) | 演奏制御装置及びプログラム | |
JP2010186028A (ja) | コマンド送信制御装置、集積回路装置、音再生評価システム及び音再生装置のテスト方法 | |
JP2006121397A (ja) | 立体音響再生装置、および立体音響再生装置を搭載した携帯電話機 | |
JP2006133687A (ja) | 音響信号読出装置及びプログラム | |
Chameleon | Products of Interest | |
JPH07140973A (ja) | 楽音発生方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20070815 |