CN101132838B - 声音输出装置及其声音输出方法 - Google Patents

声音输出装置及其声音输出方法 Download PDF

Info

Publication number
CN101132838B
CN101132838B CN2006800070243A CN200680007024A CN101132838B CN 101132838 B CN101132838 B CN 101132838B CN 2006800070243 A CN2006800070243 A CN 2006800070243A CN 200680007024 A CN200680007024 A CN 200680007024A CN 101132838 B CN101132838 B CN 101132838B
Authority
CN
China
Prior art keywords
sound
sounding
change
rate
magnifying power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2006800070243A
Other languages
English (en)
Other versions
CN101132838A (zh
Inventor
中山启之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konami Digital Entertainment Co Ltd
Original Assignee
Konami Digital Entertainment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konami Digital Entertainment Co Ltd filed Critical Konami Digital Entertainment Co Ltd
Publication of CN101132838A publication Critical patent/CN101132838A/zh
Application granted granted Critical
Publication of CN101132838B publication Critical patent/CN101132838B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/04—Sound-producing devices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/02—Synthesis of acoustic waves
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6081—Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/64—Methods for processing data by generating or executing the game program for computing dynamical parameters of game objects, e.g. motion determination or computation of frictional forces for a virtual car

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Processing Or Creating Images (AREA)

Abstract

为了明确两个发声体的声音的差异提高现场感，声音输出装置(201)的存储部(202)存储在虚拟空间内移动的两个发声体的声音信息和音量系数，距离计算部(203)计算注视点与发声体中的每个之间的距离，变化率计算部(204)计算发声体发出的声音的音量随着离开各自的距离而变化的变化率，放大率计算部(205)对音量系数中大的一方计算比其变化率大的放大率，对音量系数中小的一方计算比其变化率小的放大率，混合输出部(206)，输出将与发声体中的每个相对应的声音信息用对该发声体计算出的放大率进行放大并相加后的声音。

Description

声音输出装置及其声音输出方法
技术领域
本发明涉及适合使虚拟空间内移动的两个发声体的声音的差异明确并提高现场感地进行输出的声音输出装置、声音输出方法以及记录了计算机上实现它们的程序的计算机可读取的信息记录媒体，以及该程序。
背景技术
现有技术中，提案有如下的技术，即：在二维平面或三维空间等的虚拟空间内，使摩托车、汽车、飞机等的各种乘坐物或在地面上跑、跳，在空中飞行以及在水中游动的角色(以下，统称为“对象”)，通过玩家利用控制器进行的操作在该虚拟空间内移动，或对应于规定的算法使对象自动地在该虚拟空间内移动，进行比赛的技术。
另外，此时，提案有生成设想的对象发出的声音，提供更真实的环境的技术。这样，称设想的在虚拟空间内发出声音的对象为发声体。在这样的技术中，例如公开有如下的文献。
专利文献1：日本特许第3455739号公报
在专利文献1中，公开有如下的技术，即，在赛马游戏的比赛中，以距视点位置从近到远的顺序对马蹄赋予优先顺序，将优先顺序低的蹄发出的蹄声的声音作为组汇集到一起，从而抑制合成输出中利用的发声数。
使用户可以感觉到虚拟空间内的情况的观点来看，上述的对虚拟空间内移动的对象发出的声音进行合成输出的技术是重要的。
这样的提供虚拟空间的多个对象发出声音的情况下，存在着想要突显这些对象发出的声音的差异，明确地使用户感觉到对象的对比的情况。因此，需要对应这样的需要的技术。
发明内容
本发明为了解决上述问题而做出，其目的在于提供一种适用于明确两个发声体的声音差异并提高现场感来进行输出的声音输出装置、声音输出方法、存储了在计算机上实现它们的程序的计算机可读取信息记录媒体以及程序。
为了达成上述的目的，按照本发明的原理，公开下述的发明。
根据本发明的第一观点的声音输出装置，具有：存储部、距离计算部、变化率计算部、放大率计算部以及混合输出部，构成如下。
即，存储部存储与在虚拟空间内移动的两个发声体中的每个相对应的声音信息和音量系数。
典型地，声音信息作为PCM(Pulse Coded Modulation：脉冲编码调制)形式或MP3(MPeg audio layer 3：MPEG音频第3层)形式等存储在CD-ROM(Compact Disk Read Only Memory：紧致盘只读存储器)或硬盘等的存储媒体上。另外，声音系数，为与该声音信息的“压迫力”的程度关联的系数，与发声体的声音输出的能量或声音信息的平均音量等对应。
另外，距离计算部计算该虚拟空间内的规定的注视点和该两个发声体中的每个之间的距离。
在此，规定的注视点，典型地，为相当于对虚拟空间内进行三维图形显示的情况下的视点位置的点。发声体发出的声音的大小，距离越远离则越小，为了考虑该距离的影响，计算注视点与发声体的距离。另外，作为“距离”，除了通常的距离(位置矢量的差的大小)之外，可以采用平方距离(位置矢量的差的大小的平方)或曼哈顿距离(位置矢量的差的各要素的绝对值的总和)。
另外，变化率计算部，计算该两个发声体中的每个发出的声音的音量随着离开对该发声体计算出的距离而变化的变化率。
如上所述，发生体与听它们发出的声音的注视点之间的距离越大，则能听到的声音的大小越变小，因此，求出表示该变小的程度的变化率。若对基于发声体的声音信息的波动的振幅单纯地乘以该变化率，则可以进行通常的虚拟空间内的发声体发出的声音的模拟。
放大率计算部，对与该两个音量系数中大的一方相对应的发声体，计算比其变化率大的放大率，对与该两个音量系数中小的一方相对应的发声体，计算比其变化率小的放大率。
如上所述，若对声音信息的振幅单纯地乘以变化率，则可以进行虚拟空间中的发声体发出的声音的模拟，但是，为了突出两个发声体发出的声音的差异，明确对比，声音系数大的一方采用比求出的变化率还要大的放大率，声音系数小的一方采用比求出的变化率还要小的放大率。考虑了各种计算方法，在后面叙述其优选的实施方式。
另外，混合输出部输出声音，该声音为将与该两个发声体中的每个相对应的声音信息、用对所述该发声体计算出的放大率进行放大并相加后的声音。
即，对于两个发声体中的每个，用分别求出的放大率对各声音信息进行放大，并对其波形相加，从而生成在注视点可听到的声音的波形。
通过本发明，可以根据分配给两个发声体的音量系数，更加突出两个发声体发出的声音的差异，并明确对比，本声音输出装置的用户可以进一步地把握两个发声体的特征。
另外，在本发明的声音输出装置中，所述混合输出部，在该虚拟空间中的该规定的注视点的位置和该两个发声体的位置满足规定的条件的情况下，输出将与该两个发声体中的每个相对应的声音信息用所述计算出的变化率进行放大并相加后的声音，在不满足该规定的条件的情况下，输出将与该两个发声体的每个相对应的声音信息用对该发声体计算出的放大率进行放大并相加后的声音。
例如，在利用立体声声音输出或5.1声道声音输出表示发声体的声音发出的方向的情况下，在从注视点看到的两个发声体在虚拟空间的配置方向分开的情况下，存在不需要上述的差异明确化的情况。因此，在该情况下，单纯地用两个声音信息乘以变化率后进行相加。
两个发声体的位置和注视点的位置的关系可以采用，例如，第一发声体——注视点——第二发声体构成的角是否比一定的角度小，或者，第一发声体和第二发声体之间的距离是否比一定的长度小等各种的条件。
通过本发明，可以提供在由于两个发声体的位置关系而不需要突出声音的差异的情况下，不给予强调对比效果地进行声音输出，并使用户得到自然印象的声音输出装置。
另外，本发明的声音输出装置中，放大率计算部可以构成为，利用该两个音量系数中大的一方与小的一方的比，使对于与该两个音量系数中大的一方相对应的发声体的放大率，为该变化率乘以该比的结果，使对于与该两个音量系数中小的一方相对应的发声体的放大率，为该变化率乘以该比的倒数的结果。
例如，一方的发声体的音量系数为p1、变化率为c1、放大率为A1，另一方的发声体的音量系数为p2、变化率为c2、放大率为A2，并且p1＞p2＞0的情况下有如下的关系：
A1＝c1×(p1/p2)＞c1；
A2＝c2×(22/p1)＜c2
本发明为上述发明的优选实施方式，可以通过利用音量系数容易地计算放大率。
另外，本发明的声音输出装置中，放大率计算部可以构成为，利用该两个音量系数中大的一方与小的一方的比的规定的幂，使对于与该两个音量系数中大的一方相对应的发声体的放大率，为该变化率乘以该比的规定的幂的结果，使对于与该两个音量系数中小的一方相对应的发声体的放大率，为该变化率乘以该比的规定的幂的倒数的结果。
与上述例一样地考虑，将规定的幂设为R次幂(其中R≥1)，则
A1＝c1×(p1/p2)R＞c1；
A2＝c2×(p22/p1)R＜c2
本发明为上述发明的优选实施方式，可以通过利用音量系数容易地进行放大率的计算。
另外，在本发明的声音输出装置中，混合输出部可以构成为在该声音信息的相加运算中利用饱和加法运算。
特别地，在基于放大率或变化率进行声音信息的放大的计算中，采用饱和乘法运算或通常的乘法运算，在加法运算的差异中利用饱和加法运算。
在本发明中，通过利用饱和加法运算，可以模拟音量非常大的情况的破音现象，因此，在强调对比声音地进行输出的情况下，可以提供给用户更加具有压迫力的声音。
根据本发明的另一观点的声音输出方法中利用存储部，具有距离计算工序、变化率计算工序、放大率计算工序、混合输出工序，构成如下。
即，在存储部中，存储有与在虚拟空间内移动的两个发声体的每个相对应的声音信息和音量系数。
另外，在距离计算工序中，计算该虚拟空间内的规定的注视点和该两个发声体中的每个之间的距离。
另外，变化率计算工序中，计算该两个发声体中的每个发出的声音的音量随着离开对该发声体计算出的距离而变化的变化率。
而且，放大率计算工序中，对与该两个音量系数中大的一方相对应的发声体，计算比其变化率大的放大率，对与该两个音量系数中小的一方相对应的发声体，计算比其变化率小的放大率。
另外，混合输出工序中，输出声音，该声音为将与该两个发声体中的每个相对应的声音信息、用对该发声体计算出的放大率进行放大并相加后的声音。
根据本发明的其他观点的程序，使计算机具有作为上述声音输出装置的功能，另外，使计算机执行上述声音输出方法。
另外，本发明的程序可以存储在紧致盘、软盘、硬盘、光磁盘、数字视频光盘、磁带以及半导体存储器等的计算机可读取的信息存储媒体上。
上述程序可独立于执行它们的计算机经由计算机通信网进行分发、销售。另外上述信息存储媒体可独立于计算机进行分发、销售。
发明效果
通过本发明，可以提供适合于明确两个发声体的声音的差异并提高现场感地进行输出的声音输出装置、声音输出方法、记录了在计算机上实现它们的程序的计算机可读取的信息记录媒体、以及该程序。
附图说明
图1是表示实现本发明的实施方式之一的声音输出装置的典型的信息处理装置的概要构成的说明图。
图2是表示本发明的实施方式之一的声音输出装置的概要构成的模式图。
图3是表示该声音输出装置中执行的声音输出处理的控制的流程的流程图。
图4是表示虚拟空间内配置的注视点以及两个发声体的位置关系的说明图。
符号说明
100 信息处理装置
101 CPU
102 ROM
103 RAM
104 接口
105 控制器
106 外部存储器
107 图像处理部
108 DVD-ROM驱动器
109 NIC
110 声音处理部
201 声音输出装置
202 存储部
203 距离计算部
204 变化率计算部
205 放大率计算部
206 混合输出部
401 虚拟空间
405 注视点
411 发声体
412 发声体
具体实施方式
下面说明本发明的实施方式。以下为了便于理解，对进行三维图像显示和声音输出的游戏装置中适用的本发明的实施方式进行说明，但是，在各种计算机、PDA(Personal Data Assistants：个人数据助理)、手机等的信息处理装置中同样可以适用本发明。即，下面说明的实施方式只是为了说明，不限定本发明的范围。因此，本领域技术人员可以采用将这些各要素或全部要素置换为与它们均等的装置的实施方式，这些实施方式也包含在本发明中。
实施例1
图1是表示实现了本发明的声音输出装置的典型的信息处理装置的概要构成的说明图。下面参照附图进行说明。
信息处理装置100具有：CPU(Central Processing Unit：中央处理单元)101、ROM102、RAM(Random Access Memory：随机存取存储器)103、接口104、控制器105、外部存储器106、图像处理部107、DVD-ROM(Digital Versatile Disc ROM：数字多功能盘ROM)驱动器108、NIC(Network Interface Card：网络接口卡)109以及声音处理部110。
将存储了游戏用的程序以及数据的DVD-ROM安装在DVD-ROM驱动器108上，通过接通信息处理装置100的电源，执行该程序，可以实现本实施方式的显示装置。
CPU101控制信息处理装置100整体的动作，与各构成要素连接并进行控制信号或数据的交换。另外，CPU101可以在称为寄存器(未图示)的可以进行高速访问的存储区域利用ALU(Arithmetic LogicUnit：算术逻辑单元)(未图示)进行加减乘除等的算术运算或逻辑和、逻辑积、逻辑否等的逻辑运算、位和、位积、位反转、移位、位旋转等的位运算等。另外，具有CPU101本身的构成装置或协处理器，可以进行用于多媒体处理对应的加减乘除等的饱和运算或三角函数等、矢量运算等。
在ROM102上，存储有接通电源后立即执行的IPL(InitialProgram Loader：初始程序装入)，通过对其加以执行，将DVD-ROM上存储的程序读出到RAM103开始CPU101的执行。另外，在ROM102上，存储有信息处理装置100整体的动作控制需要的操作系统的程序或各种数据。
RAM103，是用于暂时存储数据或程序的装置，保持从DVD-ROM读出的程序或数据、其他的游戏的进行或聊天通信中需要的数据。另外，CPU101还进行如下的处理，即，在RAM103上设置变量区域，对该变量区域内存储的值直接通过ALU的作用而进行运算，RAM103内存储的值一旦存储在寄存器中便对寄存器进行运算，将运算结果写回到存储器中等。
经由接口104连接的控制器105，接收用户在竞速游戏等的游戏执行时进行的操作输入。
在经由接口104可以自由拆装地连接的外部存储器106上，可改写地存储有表示竞速游戏等的比赛状况(过去的成绩等)的数据、表示游戏的进行状态的数据、聊天通信的日志(记录)的数据等。用户可以通过经由控制器105进行的指示输入，将这些数据适当地存储在外部存储器106中。
在安装在DVD-ROM驱动器108上的DVD-ROM上，存储有用于实现游戏的程序和附随于游戏的图像数据或声音数据。通过CPU101的控制，DVD-ROM驱动器108，进行对安装在其上的DVD-ROM的读出处理，读出需要的程序或数据，将它们暂时存储在RAM103等上。
图像处理部107，在通过CPU101或图像处理部107具有的图像运算处理器(未图示)对从DVD-ROM读出的数据进行加工处理后，将它们存储在图像处理部107具有的帧存储器(未图示)中。存储在帧存储器中的图像信息以规定的同步定时转换为视频信号向图像处理部107连接的监视器(未图示)输出。由此，可以进行各种图像的显示。
图像运算处理器，可以高速执行二维图像的重叠计算或α混合等的透过计算、各种饱和计算。
另外，将配置于虚拟三维空间并附加有各种纹理(texture)信息的多边形信息通过Z缓冲法进行绘制(rendering)，得到从规定的视点位置向规定的视线方向俯瞰配置于虚拟三维空间的绘制图像的计算也可以高速地执行。
另外，通过CPU101和图像计算处理器的协同动作，可以按照定义字符形状的字体信息，将字符串作为二维图像描绘到帧存储器中或描绘到各多边形表面。
NIC109为将游戏装置100与因特网等的计算机通信网(未图示)连接的装置，其由符合构成LAN(Local Area Network：局域网)时利用的10BASE-T/100BASE-T标准的装置、或用电话线与因特网连接用的模拟调制解调器、ISDN(Integrated Services Digital Network：综合服务数字网)调制解调器、ADSL(Asymmetric Digital SubscriberLine：非对称数字用户线路)调制解调器、用有线电视线路与因特网连接用的有线调制解调器等，以及进行它们与CPU101之间的中介的接口(未图示)构成。
声音处理部110，将从DVD-ROM读出的声音数据转换为模拟声音信号，从与其连接的扬声器(未图示)输出。另外，在CPU101的控制下，生成在游戏的进行中应该产生的效果音或乐曲数据，将对应于它们的声音从扬声器输出。
在声音处理部110中，在存储在DVD-ROM上的声音数据为MIDI数据的情况下，参照它们具有的音源数据，将MIDI数据转换为PCM数据。另外，在为ADPCM形式或Ogg Vorbis形式等的压缩后的声音数据的情况下，将它们展开转换为PCM数据。PCM数据，以对应于其取样频率的定时进行D/A(Digital/Analog：数字/模拟)转换，通过向扬声器输出可以进行声音输出。
此外，信息处理装置100也可以构成为，利用硬盘等的大容量外部存储装置，使其具有与ROM102、RAM103、外部存储器106、DVD-ROM驱动器108上安装的DVD-ROM等相同的功能。
图2表示本发明的实施方式之一的声音输出装置的概要构成的模式图。该声音输出装置在上述信息处理装置100上实现。下面，参照附图说明。
声音输出装置201，具有存储部202、距离计算部203、变化率计算部204、放大率计算部205以及混合输出部206。
首先，存储部202存储与在虚拟空间内移动的两个发声体分别对应的声音信息以及音量系数。
在本实施方式中，声音信息为PCM形式或MP3形式等的文件。另外，音量系数为与该声音信息的“压迫力”的程度关联的系数，与发声体的声音输出的能量或声音信息的平均音量等相对应。
在采用声音信息的平均音量作为音量系数的情况下，可以预先求得音量系数存储在存储部202中，也可以通过根据需要对声音信息扫描，实时地求得音量系数，将该结果存储在存储部202中。
因此，RAM103、安装在DVD-ROM驱动器108上的DVD-ROM或CD-ROM、硬盘等的大容量外部存储装置具有作为存储部202的功能。
将一个发声体的音量系数设为p1、另一个发声体的音量系数设为p2，并且设p1＞p2＞0。
通过经过时间t的振幅，将一个发声体的声音信息表示为a1(t)，另一个发声体的声音信息表示为a2(t)。
音量系数可以如上所述地任意设定。该声音信息分别在时间长度T、T’内循环再现后，在音量系数为平均音量的情况下，分别成立如下关系：
p1＝(1/T)∫0 T|a1(t)|2dt；
p2＝(1/T’)∫0 T’|a2(t)|2dt
另外，在声音系数为平均振幅的情况下，可以分别通过如下的公式进行计算求得：
|p1|2＝(1/T)∫0 T|a1(t)|2dt；
|p2|2＝(1/T’)∫0 T’|a2(t)|2dt
在此，该积分可以通过PCM波形等容易地进行计算。
此外，在RAM103上存在存储虚拟空间中的两个发声体或注视点(观察虚拟空间的视点)的位置或速度等的各种状态参数的区域，基于用户的指示输入或规定的算法，适当地在虚拟空间内移动。
从这样的声音信息和声音系数等存储在存储部202中的状态，开始声音输出装置201中的声音输出处理。图3是表示该声音输出装置中执行的声音输出处理的控制流程的流程图。下面参照附图进行说明。
首先，对注视点以及两个发声体的位置等的各种状态参数进行初始化(步骤S301)。该初始化，相当于游戏的比赛开始前的初始化，各初始值可以为预先存储在DVD-ROM或外部存储器106等上的值，也可以为通过随机数确定的值。
在存储RAM103内准备的存储放大率A1、A2的区域上设0(步骤S302)。
另外，混合输出部206向信息处理装置100的声音处理部110发出如下指示，“参照RAM103内存储的放大率A1、A2利用存储在A1的值对声音信息a1(t)进行放大，利用存储在A2上的值对声音信息a2(t)进行放大，混合并输出”(步骤S303)。通过声音处理部110的声音放大、混合、输出与以后的处理并行进行。
所以，CPU101，与RAM103或声音处理部110共同作用，具有作为混合输出部206的功能。
另外，可以利用适当的饱和运算进行用于对a1(t)放大A1倍、对a2(t)放大A2倍的乘法及对它们的结果进行混合的加法。利用饱和运算后，可以得到如同在麦克风的附近产生大音量的情况的破音(音割れ)那样的效果。
在声音的混合输出并行地开始后，根据现在的注视点以及两个发声体的位置等的各种状态参数，计算规定的微小时间后的这些状态参数(步骤S304)，将RAM103中存储的这些状态参数更新为计算出的新的值(步骤S305)。作为状态规定的微小时间，例如，若采用监视器画面垂直同步中断的间隔等，可以抑制显示的差异的图像的摇晃或闪烁。
另外，状态参数的计算，按照虚拟空间内设定的物理法则等，基于玩家利用控制器105给予的指示输入或CPU101基于规定的算法生成的指示输入进行更新。例如，可以采用与竞速游戏或赛马游戏中的确定玩家角色或非玩家角色的动作的手法相同的手法。
图4是表示在这样的更新后的时刻t，配置在虚拟空间内的注视点以及两个发声体的位置关系的说明图。下面，参照附图进行说明。
如本图所示，在虚拟空间401中，设注视点405的位置矢量为s(t)，设对应于音量系数p1的发声体411的位置矢量为r1(t)，设对应于音量系数p2的发声体412的位置矢量为r2(t)。
这样，在配置有注视点405、发声体411、发声体412的情况下，注视点405与发声体411的平方距离可表示为
|r1(t)-s(t)|2＝(r1(t)-s(t))·(r1(t)-s(t))
欧几里得距离可表示为
|r1(t)-s(t)|
同样地，注视点405和发声体412的平方距离可表示为
|r2(t)-s(t)|2＝(r2(t)-s(t)·(r2(t)-s(t))
欧几里得距离可表示为
|r2(t)-s(t)|
其中，u·v是矢量u和矢量v的内积的意思。
另外，在采用欧几里得坐标系的情况下，曼哈顿距离可以作为矢量r1(t)-s(t)等的x、y、z的分别的轴向的要素的绝对值的总和而求出。
在进行了上述更新后，距离计算部203计算该虚拟空间401内的规定的注视点405和该发声体411、发声体412的各自的距离。(步骤S306)
作为“距离”，若采用平方距离、欧几里得距离、曼哈顿距离的某一种，则注视点405和发声体411的距离d1，以及注视点405和发声体412的距离d2可以通过上述的矢量计算而求出。因此，CPU101与RAM103等共同作用，具有作为距离计算部203的功能。这些距离d1、d2也暂时存储在RAM103内。
变化率计算部204，计算该发声体411、发声体412分别发出的声音的音量分别通过距注视点405离开距离d1、d2而变化的变化率c1、c2(步骤S307)。
设求得该变化率c1、c2的函数为f(·)，则可以写成
c1＝f(d1)；
c2＝f(d2)
函数f(·)为典型的单调减小函数，越近(距离越小)则越大，越远(距离越大)则越小。
例如，设K、J为正的常数，可以采用如下的函数。
(1)f(s)＝K-J×s(0≤s≤K/J)；
       ＝0(K/J≤s)
(2)f(s)＝K/s；
(3)f(s)＝K/(s×s)；
(4)f(s)＝K×exp(-J×s)
如上所述，发声体411或发声体412距离听它们发出的声音的注视点405的距离越远，则可以听到的声音的大小越小，因此，求出表示该变小的程度的变化率。若对基于发声体的声音信息的波动的振幅单纯地乘以该变化率，则可以得到通常的虚拟空间401内的发声体发出的声音的模拟。
另外，在本实施方式中，与距离的计算一起，还要计算出从注视点405注视发声体411以及发声体412的注视角(見込む角)θ或cosθ(步骤S308)。即，通过
cosθ＝(r 1(t)-s(t))·(r2(t)-s(t))/(|r1(t)-s(t)|×|r2(t)-s(t)|)；
θ＝arccos(r1(t)-s(t))·(r2(t)-s(t))/(|r1(t)-s(t)|×|r2(t)-s(t)|)
来计算θ或cosθ。可以知道到达注视点405的从发声体411起源的声音和从发声体412起源的声音从怎样不同的方向传来。在该计算中，由于使用与上述距离的计算共同的值，因此可以适当地汇集共同的计算而有效率地进行。
CPU101判断计算出的角θ是否比规定的角度Ф小(步骤S309)。作为规定的角度Ф，希望是一定程度上较大的角度，但是，例如若为90度(＝π/2)，则即使不直接计算θ或cosθ，也可以通过内积(r1(t)-s(t))·(r2(t)-s(t))的正负来判断，因此可以抑制计算量，很便利。
角θ是否比规定的角度小，可以通过cosθ是否比对应的规定的值大来判断。因此，若利用后者的判断，可以不进行计算成本大的arccos(·)的计算。
判断的结果为角θ比规定的角度Ф小的情况下(步骤S309：是)，放大率计算部205计算放大率A1和放大率A2，该放大率A1比对于与该两个声音系数中的大的p1相对应的发声体411的变化率c1大，该放大率A2比对于与该两个声音系数中的小的p2相对应的发声体412的变化率c2小，将计算结果存储在RAM103内的上述区域而进行更新(步骤S310)。
即，在p1＞p2时，分别通过某种方法来计算满足A1＞c1的A1和满足A2＜c2的A2。
如上所述，若单纯地在声音信息的振幅上乘以变化率，可以进行虚拟空间401内的发声体发出的声音的模拟，但是，为了突出发声体411、发声体412发出的声音的差异、明确对比，音量系数大的一方采用比求得的变化率还大的放大率，音量系数小的一方采用比求得的变化率还小的放大率。可考虑各种的计算方法，例如，可考虑下面的方法。
(1)利用p1和p2的比p1/p2＞1和其倒数p2/p1＜1
A1＝c1×(p1/p2)＞c1；
A2＝c2×(p2/p1)＜c2
(2)上述(1)之外，进一步利用规定的1以上的正整数R
A1＝c1×(p1/p2)R＞c1；
A2＝c2×(p2/p1)R＜c2
(3)利用比1大的正常数P和比1小的正常数Q
A1＝c1×P＞c1；
A2＝c2×Q＜c2
如上所述，由于混合输出部206，输出利用所计算的放大率A1、A2对与该发声体411、发声体412的每个对应的声音信息a1(t)、a2(t)进行放大并相加后的声音，因此，可以基于分配给它们的音量系数p1、p2而对发声体411、发声体412发出的声音的差异进一步地突出并明确对比，用户可以进一步地把握发声体411、发声体412的特征。
在结束了A1、A2的计算和对RAM103的更新后，进入步骤S312。
另一方面，在判断出角θ为规定的角度Ф以上的情况下(步骤S309：否)，分别采用变化率c1作为放大率A1，采用变化率c2作为放大率A2而对RAM内进行更新(步骤S311)，进入步骤S312。这相当于发声体411和发声体412充分离开，不需要明确两者的对比的情况。例如，在立体声输出或5.1声道声音输出中表示发声体的声音发出的方向的情况下，从注视点405看到的发声体411、发声体412在虚拟空间401内配置的方向离开的情况下，也有这样的不需要差异的明确化的情况。
另外，可以完全省略cosθ或θ的计算以及θ和Ф的比较，总是进行步骤S310的处理。
另外，也可以不使用注视角θ，而通过虚拟空间401内的发声体411和发声体412的距离|r1(t)-r2(t)|是否比固定的阙值小来判断。
另外，根据声音处理部110的硬件的状态的不同，还存在设定了混合对象的声音信息a1(t)、a2(t)后，直接指示在希望的时刻应该变化的放大率A1、A2的情况。在这样的情况下，除了在RAM103上存储并更新的处理之外，可以进行向声音处理部110的硬件发出指定放大率A1、A2的指示。
这样，在存储在RAM103中的放大率A1、A2更新后，生成在包含这些发声体411、发声体412的三维空间401中从注视点405看到的三维图形图像(步骤S312)，待机到产生垂直同步中断为止(步骤S313)，在产生了垂直同步中断后将生成的图形图像传送到帧存储器(步骤S314)，返回步骤S304。
这样，通过本实施方式，可以基于分配到两个发声体的音量系数，更加突出两个发声体发出的声音的差异，并明确对比。本声音输出装置的用户可以进一步地把握两个发声体的特征。
实施例2
下面说明的实施方式，为对应于有三个以上发声体的情况(并且，对所有的发生体想要明确对比的情况)。即，发声体为n个，其音量系数为p1，p2，p3，…，pn，考虑存在如下关系的情况，
p1＞p3＞…＞pn＞p2
首先，对于音量系数为p1，p2，p3，…，pn的发声体的每一个的变化率，可以同上述实施方式一样地求得。
c1，c2，c3，…，cn
然后，音量系数为p1，p2时的放大率A1，A2可以同上述实施方式一样地求得。
之后，考虑怎样确定对于音量系数为p3，…，pn的发声体的每一个的放大率A3，…，An。
在这样的情况下存在如下的方法，即，例如，对于音量系数为pi(3≤i≤n)的发声体，确定放大率Ai(3≤i≤n)，以满足下面的各种关系。
(1)A1/c1∶Ai/ci＝Ai/ci∶A2/c2；即Ai＝ci×(A1×A2/(c1×c2))1/2
(2)A1/c1∶Ai/ci＝p1∶pi；即Ai＝ci×pi×A1/(c1×p1)
(3)A2/c2∶Ai/ci＝p1∶pi；即Ai＝ci×pi×A2/(c2×p2)
(4)(A1/c1-Ai/ci)∶(Ai/ci-A2/c2)＝(p1-pi)∶(pi-p2)；即进行内分。
通过采用这样的方法，即使在有三个以上的发声体的情况下，也可以基于分配给各发声体的音量系数，进行进一步的突出以及明确对比。
另外，在本申请中，以日本国专利申请特愿2005-060312号为基础并要求优先权，该基础申请的内容可以全部援用于此。
产业上的可应用性
如上所述，通过本发明，可以提供适合于明确两个发声体的声音的差异并提高现场感地进行输出的声音输出装置、声音输出方法、记录了在计算机上实现它们的程序的计算机可读取的信息记录媒体以及该程序，除了实现游戏装置中的各种比赛游戏等的情况下，还可以适用在提供以教育等为目的的各种虚拟体验的虚拟现实技术中。

Claims (6)

1.一种声音输出装置(201)，其特征在于，具有：
存储部(202)，存储与在虚拟空间内移动的两个发声体中的每个相对应的声音信息和音量系数；
距离计算部(203)，计算该虚拟空间内的规定的注视点和该两个发声体中的每个之间的距离；
变化率计算部(204)，计算该两个发声体中的每个发出的声音的音量随着离开对该发声体计算出的距离而变化的变化率；
放大率计算部(205)，在该虚拟空间内的该两个发声体的位置从该注视点的位置看时未分开的情况下，对与该两个音量系数中大的一方相对应的发声体，计算比其变化率大的放大率，对与该两个音量系数中小的一方相对应的发声体，计算比其变化率小的放大率；以及
混合输出部(206)，在该虚拟空间内的该两个发声体的位置从该注视点的位置看时未分开的情况下，输出声音，该声音为将与该两个发声体中的每个相对应的声音信息、用对所述该发声体计算出的放大率进行放大并相加后的声音，在该虚拟空间内的该两个发声体的位置从该注视点的位置看时分开的情况下，输出声音，该声音为将与该两个发声体中的每个相对应的声音信息、用所计算出的变化率进行放大并相加后的声音。
2.如权利要求1所述的声音输出装置(201)，其特征在于：
在该虚拟空间内的该两个发声体的位置从该注视点的位置看时是分开还是未分开，通过从该注视点看到该两个发声体的注视角是否小于规定的角度、或者该两个发声体的距离是否小于规定的长度来判断。
3.如权利要求1所述的声音输出装置(201)，其特征在于：
所述放大率计算部(205)，利用该两个音量系数(p1，p2)中大的一方(p1)与小的一方(p2)的比(p1/p2)，使对于与该两个音量系数(p1，p2)中大的一方(p1)相对应的发声体的放大率(A1)，为其变化率(c1)乘以该比(p1/p2)而得到的结果，使对于与该两个音量系数(p1，p2)中小的一方(p2)相对应的发声体的放大率(A2)，为其变化率(c2)乘以该比(p1/p2)的倒数(p2/p1)而得到的结果。
4.如权利要求1所述的声音输出装置(201)，其特征在于：
所述放大率计算部(205)，利用规定的1以上的常数R和该两个音量系数(p1，p2)中大的一方(p1)与小的一方(p2)的比(p1/p2)，使对于与该两个音量系数(p1，p2)中大的一方(p1)相对应的发声体的放大率(A1)，为其变化率(c1)乘以该比(p1/p2)的规定的幂((p1/p2)R)而得到的结果，使对于与该两个音量系数(p1，p2)中小的一方(p2)相对应的发声体的放大率(A2)，为其变化率(c2)乘以该比(p1/p2)的规定的幂的倒数((p2/p1)R)而得到的结果。
5.如权利要求1所述的声音输出装置(201)，其特征在于：
所述混合输出部(206)，在该声音信息的相加运算中利用饱和加法运算。
6.一种声音输出方法，利用存储有与在虚拟空间内移动的两个发声体的每个相对应的声音信息和音量系数的存储部，其特征在于，具有如下工序：
距离计算工序，计算该虚拟空间内的规定的注视点和该两个发声体中的每个之间的距离；
变化率计算工序，计算该两个发声体中的每个发出的声音的音量随着离开对该发声体计算出的距离而变化的变化率；
放大率计算工序，在该虚拟空间内的该两个发声体的位置从该注视点的位置看时未分开的情况下，对与该两个音量系数中大的一方相对应的发声体，计算比其变化率大的放大率，对与该两个音量系数中小的一方相对应的发声体，计算比其变化率小的放大率；以及
混合输出工序，在该虚拟空间内的该两个发声体的位置从该注视点的位置看时未分开的情况下，输出声音，该声音为将与该两个发声体中的每个相对应的声音信息、用对该发声体计算出的放大率进行放大并相加后的声音，在该虚拟空间内的该两个发声体的位置从该注视点的位置看时分开的情况下，输出声音，该声音为将与该两个发声体中的每个相对应的声音信息、用所计算出的变化率进行放大并相加后的声音。
CN2006800070243A 2005-03-04 2006-02-28 声音输出装置及其声音输出方法 Expired - Fee Related CN101132838B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP060312/2005 2005-03-04
JP2005060312A JP3863165B2 (ja) 2005-03-04 2005-03-04 音声出力装置、音声出力方法、ならびに、プログラム
PCT/JP2006/303746 WO2006093145A1 (ja) 2005-03-04 2006-02-28 音声出力装置、音声出力方法、情報記録媒体、ならびに、プログラム

Publications (2)

Publication Number Publication Date
CN101132838A CN101132838A (zh) 2008-02-27
CN101132838B true CN101132838B (zh) 2010-09-08

Family

ID=36941174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800070243A Expired - Fee Related CN101132838B (zh) 2005-03-04 2006-02-28 声音输出装置及其声音输出方法

Country Status (7)

Country Link
US (1) US20090023498A1 (zh)
EP (1) EP1854516A4 (zh)
JP (1) JP3863165B2 (zh)
KR (1) KR100903500B1 (zh)
CN (1) CN101132838B (zh)
TW (1) TWI305705B (zh)
WO (1) WO2006093145A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2568506T3 (es) 2004-06-18 2016-04-29 Tobii Ab Control ocular de aparato computador
JP4074879B1 (ja) 2006-10-18 2008-04-16 株式会社コナミデジタルエンタテインメント ゲーム装置、メッセージ表示方法、および、プログラム
JP4561766B2 (ja) * 2007-04-06 2010-10-13 株式会社デンソー 音データ検索支援装置、音データ再生装置、プログラム
CN102186544B (zh) * 2008-01-17 2014-05-14 维沃克斯公司 用于在采用每个具象的渲染环境的虚拟现实系统中提供实时的每个具象的流数据的可扩展技术
TWI563850B (en) * 2012-09-07 2016-12-21 Hon Hai Prec Ind Co Ltd Spot detection system and method
US9898081B2 (en) 2013-03-04 2018-02-20 Tobii Ab Gaze and saccade based graphical manipulation
US10895908B2 (en) 2013-03-04 2021-01-19 Tobii Ab Targeting saccade landing prediction using visual history
US11714487B2 (en) 2013-03-04 2023-08-01 Tobii Ab Gaze and smooth pursuit based continuous foveal adjustment
ES2633016T3 (es) 2013-08-23 2017-09-18 Tobii Ab Sistemas y métodos para proveer audio a un usuario según una entrada de mirada
US9143880B2 (en) * 2013-08-23 2015-09-22 Tobii Ab Systems and methods for providing audio to a user based on gaze input
CN104715753B (zh) * 2013-12-12 2018-08-31 联想(北京)有限公司 一种数据处理的方法及电子设备
US9952883B2 (en) 2014-08-05 2018-04-24 Tobii Ab Dynamic determination of hardware
JP6798502B2 (ja) * 2015-12-11 2020-12-09 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005046270A (ja) * 2003-07-31 2005-02-24 Konami Computer Entertainment Yokyo Inc ゲーム装置、コンピュータの制御方法及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2684833B2 (ja) * 1990-09-11 1997-12-03 ヤマハ株式会社 楽音信号発生装置
US5633993A (en) * 1993-02-10 1997-05-27 The Walt Disney Company Method and apparatus for providing a virtual world sound system
JP3377272B2 (ja) * 1993-12-22 2003-02-17 株式会社ナムコ マルチプレーヤ型ゲーム装置
JPH1073525A (ja) * 1996-08-30 1998-03-17 Shimadzu Corp 比重測定装置
DE69841857D1 (de) * 1998-05-27 2010-10-07 Sony France Sa Musik-Raumklangeffekt-System und -Verfahren
JP2000267675A (ja) * 1999-03-16 2000-09-29 Sega Enterp Ltd 音響信号処理装置
JP4226238B2 (ja) * 2001-09-18 2009-02-18 日本放送協会 音場再現装置
JP3455739B2 (ja) * 2001-12-26 2003-10-14 コナミ株式会社 ゲーム装置、及びプログラム
JP2004267433A (ja) 2003-03-07 2004-09-30 Namco Ltd 音声チャット機能を提供する情報処理装置、サーバおよびプログラム並びに記録媒体
GB2414369B (en) * 2004-05-21 2007-08-01 Hewlett Packard Development Co Processing audio data
US7928311B2 (en) * 2004-12-01 2011-04-19 Creative Technology Ltd System and method for forming and rendering 3D MIDI messages

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005046270A (ja) * 2003-07-31 2005-02-24 Konami Computer Entertainment Yokyo Inc ゲーム装置、コンピュータの制御方法及びプログラム

Also Published As

Publication number Publication date
KR20070104625A (ko) 2007-10-26
US20090023498A1 (en) 2009-01-22
EP1854516A4 (en) 2008-05-21
TW200701824A (en) 2007-01-01
JP2006239211A (ja) 2006-09-14
CN101132838A (zh) 2008-02-27
KR100903500B1 (ko) 2009-06-18
WO2006093145A1 (ja) 2006-09-08
EP1854516A1 (en) 2007-11-14
TWI305705B (en) 2009-01-21
JP3863165B2 (ja) 2006-12-27

Similar Documents

Publication Publication Date Title
CN101132838B (zh) 声音输出装置及其声音输出方法
CN101410157B (zh) 声音处理装置和声音处理方法
KR100945130B1 (ko) 게임음 출력장치, 게임음 제어방법 및 프로그램을 기록한 정보기록매체
CN101622647B (zh) 角色显示装置和角色显示方法
US7330769B2 (en) Parameterized interactive control of multiple wave table sound generation for video games and other applications
KR100878964B1 (ko) 게임장치, 게임장치 제어방법 및 프로그램을 기록한 컴퓨터 판독가능한 정보기록매체
CN101347043B (zh) 声音处理装置及声音处理方法
JP4425890B2 (ja) シミュレーション装置、シミュレーション方法、ならびに、プログラム
Paul Granulation of sound in video games
Grimshaw The Resonating spaces of first-person shooter games
JP4437993B2 (ja) 音声処理装置、音声処理方法、ならびに、プログラム
Fish Interactive and adaptive audio for home video game consoles
JP4245642B2 (ja) 画像生成装置及び情報記憶媒体
JP4245643B2 (ja) 画像生成装置及び情報記憶媒体
Östlund From vision to prototype: Virtual road racing

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100908

Termination date: 20160228

CF01 Termination of patent right due to non-payment of annual fee