JP2019165845A - Program, image processing method, and information processing device - Google Patents
Program, image processing method, and information processing device Download PDFInfo
- Publication number
- JP2019165845A JP2019165845A JP2018054334A JP2018054334A JP2019165845A JP 2019165845 A JP2019165845 A JP 2019165845A JP 2018054334 A JP2018054334 A JP 2018054334A JP 2018054334 A JP2018054334 A JP 2018054334A JP 2019165845 A JP2019165845 A JP 2019165845A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- volume
- distance
- late reverberation
- game
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Stereophonic System (AREA)
Abstract
Description
本発明は、プログラム、画像処理方法、及び情報処理装置に関する。 The present invention relates to a program, an image processing method, and an information processing apparatus.
従来、コンピュータゲーム等において、ゲームの状況に応じて音を出力する場合、エフェクタ(残響エフェクタ、リバーブレータ)を用いて、直接音に応じた残響音を出力する技術が知られている(例えば、特許文献1を参照)。このエフェクタにおいて、ゲームの設計者は、残響音を生成するための各種のパラメータを、例えば、ゲームにおける部屋の大きさ、形状、壁材質、聴取者と音源の位置関係を想定して指定することができる。 2. Description of the Related Art Conventionally, in a computer game or the like, a technique for outputting a reverberant sound according to a direct sound using an effector (reverberation effector, reverberator) when outputting a sound according to the game situation is known (for example, (See Patent Document 1). In this effector, the game designer specifies various parameters for generating reverberation sound, for example, assuming the room size, shape, wall material, and the positional relationship between the listener and the sound source in the game. Can do.
しかしながら、従来技術においては、例えば、同時に発音される複数の音源に対してエフェクタを共有させる場合、ユーザに違和感を覚えさせる場合があるという問題がある。 However, in the related art, for example, when sharing an effector with a plurality of sound sources that are simultaneously sounded, there is a problem that the user may feel uncomfortable.
そこで、一側面では、より違和感が低い残響音を出力することができる技術を提供することを目的とする。 Therefore, an object of one aspect is to provide a technique capable of outputting a reverberant sound with a lower sense of incongruity.
一つの案では、情報処理装置に、ゲームの仮想3次元空間におけるユーザの位置と、前記ゲームにおいて出力される音の発生源の位置との距離を算出する処理と、前記音の初期反射音の音量と、前記音の後期残響音の音量との比が前記距離に応じて異なるように、前記距離に応じた前記初期反射音の音量と前記後期残響音の音量とをそれぞれ決定する処理と、を実行させる。 In one proposal, the information processing device is configured to calculate a distance between the position of the user in the virtual three-dimensional space of the game and the position of the sound source that is output in the game, and the initial reflected sound of the sound. A process for determining the volume of the early reflection sound and the volume of the late reverberation sound according to the distance, respectively, so that the ratio between the volume and the volume of the late reverberation sound of the sound differs according to the distance; Is executed.
一側面によれば、より違和感が低い残響音を出力することができる。 According to one aspect, it is possible to output a reverberant sound that is less uncomfortable.
以下、図面に基づいて本発明の実施形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
<ハードウェア構成>
図1は、実施形態に係る情報処理装置10のハードウェア構成例を示す図である。図1に示す情報処理装置10は、それぞれバスBで相互に接続されているドライブ装置100、補助記憶装置102、メモリ装置103、CPU104、インタフェース装置105、表示装置106、及び入力装置107等を有する。
<Hardware configuration>
FIG. 1 is a diagram illustrating a hardware configuration example of an
情報処理装置10での処理を実現するゲームプログラムは、記録媒体101によって提供される。ゲームプログラムを記録した記録媒体101がドライブ装置100にセットされると、ゲームプログラムが記録媒体101からドライブ装置100を介して補助記憶装置102にインストールされる。但し、ゲームプログラムのインストールは必ずしも記録媒体101より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置102は、インストールされたゲームプログラムを格納すると共に、必要なファイルやデータ等を格納する。
A game program for realizing processing in the
メモリ装置103は、例えば、DRAM(Dynamic Random Access Memory)、またはSRAM(Static Random Access Memory)等のメモリであり、プログラムの起動指示があった場合に、補助記憶装置102からプログラムを読み出して格納する。CPU104は、メモリ装置103に格納されたプログラムに従って情報処理装置10に係る機能を実現する。インタフェース装置105は、ネットワークに接続するためのインタフェースとして用いられる。表示装置106はプログラムによるGUI(Graphical User Interface)等を表示する。入力装置107は、コントローラ等、キーボード及びマウス等、またはタッチパネル及びボタン等で構成され、様々な操作指示を入力させるために用いられる。
The
なお、記録媒体101の一例としては、CD−ROM、DVDディスク、ブルーレイディスク、又はUSBメモリ等の可搬型の記録媒体が挙げられる。また、補助記憶装置102の一例としては、HDD(Hard Disk Drive)、SSD(Solid State Drive)、又はフラッシュメモリ等が挙げられる。記録媒体101及び補助記憶装置102のいずれについても、コンピュータ読み取り可能な記録媒体に相当する。
An example of the
<機能構成>
次に、図2を参照し、情報処理装置10の機能構成について説明する。図2は、実施形態に係る情報処理装置10の機能ブロック図である。
<Functional configuration>
Next, the functional configuration of the
情報処理装置10は、記憶部11を有する。記憶部11は、例えば、補助記憶装置102等を用いて実現される。記憶部11は、リバーブに関する設定データであるリバーブ設定データ111、及び減衰曲線データ112等を記憶する。減衰曲線データ112については後述する。
The
図3は、実施形態に係るリバーブ設定データ111の一例を示す図である。図3の例では、リバーブ設定データ111は、マルチメディアオーディオの業界団体であるIASIG(Interactive Audio Special Interest Group)により定義されたI3DL2(Interactive 3-D Audio, Level 2)の使用に準拠した設定項目を有する。図3の例では、リバーブ設定データ111は、初期反射に影響する項目として、初期反射の音量(レベル)を示す「Reflections」、及び初期反射の遅延時間を示す「ReflectionsDelay」等の項目を有する。また、後期残響に影響する項目として、後期残響の音量を示す「Reverb」、初期反射を基準とした後期残響の遅延時間を示す「ReverbDelay」、減衰時間を示す「DecayTime」、低周波数の減衰時間に対する高周波数の減衰時間の比率を示す「DecayHFRatio」、エコー密度(拡がり)を示す「Diffusion」、モーダル密度(響き方)を示す「Density」等の項目を有する。また、全体に影響する項目として、全体レベルを示す「Room」、全体の高周波数減衰量を示す「RoomHF」、全体の高周波数減衰の基準周波数を示す「HFReference」等の項目を有する。リバーブ設定データ111の各項目には、ゲームの音を設計するアーティスト等により調整された値が予め設定されている。
FIG. 3 is a diagram illustrating an example of the
また、情報処理装置10は、受付部12、制御部13、算出部14、決定部15、残響音生成部16、及び出力制御部17を有する。これら各部は、情報処理装置10にインストールされた1以上のプログラムが、情報処理装置10のCPU104に実行させる処理により実現される。
In addition, the
受付部12は、プレイヤーキャラクターを仮想3次元空間上で移動させる等の操作をユーザから受け付ける。制御部13は、ゲームの進行等を制御する。
The accepting
算出部14は、ゲームの仮想3次元空間におけるユーザの位置と、ゲームにおいて出力される音の発生源の位置との距離を算出する。ここで、ゲームの仮想3次元空間におけるユーザの位置は、例えば、当該ユーザにより操作されるプレイヤーキャラクター等の位置でもよいし、仮想3次元空間上のユーザの視点(仮想的なカメラ、仮想カメラ)等の位置でもよい。なお、制御部13は、仮想カメラにより撮影される仮想3次元空間を、3次元コンピュータグラフィックスにより画面に表示する。仮想カメラの位置は、例えば、プレイヤーキャラクターの中心位置から仮想3次元空間上で所定の距離離れた球面上の位置であり、ユーザの操作により当該球面上で移動されてもよい。
The
決定部15は、ゲームにおいて出力される音の初期反射音(初期反射による残響音)の音量と、当該音の後期残響音(後期残響による残響音)の音量との比が、算出部14により算出された距離に応じて異なるように、当該距離に応じた初期反射音の音量と後期残響音の音量とをそれぞれ決定する。
The
残響音生成部16は、ゲームにおいて出力される音の残響音を生成する。 The reverberant sound generation unit 16 generates a reverberant sound that is output in the game.
出力制御部17は、制御部13からの指示に従い、ゲームにおける画像を画面に表示させる。また、出力制御部17は、制御部13からの指示に従い、ゲームにおける音をスピーカに出力させる。
The
<処理>
次に、図4乃至図9を参照して、情報処理装置10の処理について説明する。図4は、実施形態に係る情報処理装置10の処理の一例を示すフローチャートである。
<Processing>
Next, processing of the
ステップS1において、残響音生成部16は、情報処理装置10の電源が起動されると、初期反射用のリバーブのオブジェクト(インスタンス)を生成する。なお、初期反射音とは、発生した音が、仮想3次元空間上のオブジェクトにより比較的少ない回数(例えば、1回)だけ反射され、仮想3次元空間におけるユーザの位置に到達する残響音である。
In step S <b> 1, the reverberation sound generation unit 16 generates a reverb object (instance) for initial reflection when the
ここで、残響音生成部16は、例えば、上述した「Reverb」の値をゼロ(0)に指定し、他の項目については図3におけるリバーブ設定データ111に予め設定されている値を用いて、I3DL2仕様に準拠したリバーブの第1オブジェクトを、初期反射用のリバーブのオブジェクトとして生成してもよい。
Here, for example, the reverberation sound generation unit 16 designates the value of “Reverb” described above as zero (0), and uses the values preset in the
初期反射用のリバーブは、例えば、マルチタップディレイにより、直接音の信号(データ)に対して遅延時間の異なるディレイを並列に生成し、生成した信号を当該直接音に対する初期反射音として出力してもよい。これにより、比較的限られた計算資源(リソース)においても、リアルタイムで初期反射音を出力できる。なお、初期反射音を生成する手法として、他の公知の手法を用いてもよい。 The initial reflection reverb, for example, generates multi-tap delays with different delay times for the direct sound signal (data) in parallel, and outputs the generated signal as the initial reflected sound for the direct sound. Also good. Thereby, the initial reflected sound can be output in real time even with relatively limited computing resources (resources). Note that other known methods may be used as a method for generating the initial reflected sound.
続いて、残響音生成部16は、後期残響用のリバーブのオブジェクトを生成する(ステップS2)。なお、後期残響音とは、発生した音が、仮想3次元空間上のオブジェクトにより比較的多い回数反射され、仮想3次元空間におけるユーザの位置に到達する残響音である。 Subsequently, the reverberation sound generation unit 16 generates a reverberation object for late reverberation (step S2). The late reverberation sound is a reverberation sound in which the generated sound is reflected a relatively large number of times by the object in the virtual three-dimensional space and reaches the position of the user in the virtual three-dimensional space.
ここで、残響音生成部16は、例えば、上述した「Reflections」の値をゼロ(0)に指定し、他の項目については図3におけるリバーブ設定データ111に予め設定されている値を用いて、I3DL2仕様に準拠したリバーブの第2オブジェクトを、後期残響用のリバーブのオブジェクトとして生成してもよい。
Here, for example, the reverberation sound generation unit 16 specifies the value of “Reflections” described above to zero (0), and uses the values set in advance in the
後期残響用のリバーブは、例えば、直接音を遅延させた信号に1より小さいゲインを掛けてフィードバックすることで入力信号(直接音の信号)を減衰させながら一定周期で繰り返し出力するコムフィルタ等により生成された信号を、当該直接音に対する後期残響音として出力してもよい。なお、後期残響音を生成する手法として、他の公知の手法を用いてもよい。 The reverberation for late reverberation is performed by, for example, a comb filter that repeatedly outputs a signal obtained by delaying an input signal (direct sound signal) at a constant cycle while attenuating the input signal (direct sound signal) by feeding back the delayed signal with a gain smaller than 1. You may output the produced | generated signal as the late reverberation sound with respect to the said direct sound. Other known methods may be used as a method for generating the late reverberation sound.
続いて、制御部13は、ゲームにおいて、仮想3次元空間上の1以上の所定のオブジェクト(音の発生源)により音が生じるイベントを発生させる(ステップS3)。続いて、算出部14は、仮想3次元空間におけるユーザの位置と、当該音を生じさせる当該1以上の所定のオブジェクトとの間の距離を算出する(ステップS4)。
Subsequently, the control unit 13 generates an event in which sound is generated by one or more predetermined objects (sound generation sources) in the virtual three-dimensional space in the game (step S3). Subsequently, the
続いて、決定部15は、当該1以上の所定のオブジェクトとの間の距離に応じて、当該音の直接音、当該音の初期反射音、及び当該音の後期残響音の各音量をそれぞれ決定する(ステップS5)。ここで、決定部15は、複数のオブジェクトによる音を同時に発生させる場合、当該複数のオブジェクトの各々に対して、直接音、初期反射音、及び後期残響音の各音量をそれぞれ決定する。図5は、実施形態に係る減衰曲線データ112の一例を示す図である。図5の減衰曲線データ112では、音源IDに対応付けて、初期反射音の減衰量の曲線を示すデータ、及び後期残響音の減衰量の曲線を示すデータが設定されている。音源IDは、例えば、ゲームにて出力される音の識別情報である。音源IDは、音を生じさせるオブジェクトが位置する仮想3次元空間上の空間の識別情報でもよい。また、音源IDは、音を生じさせるオブジェクトが位置する仮想3次元空間上の空間(場所)の種別の識別情報でもよい。この場合、当該空間の種別としては、例えば、比較的狭い部屋内、比較的広い部屋内、森、及び洞窟等、残響の物理的な特性が同様である空間の種別でもよい。
Subsequently, the
図5の減衰曲線データ112に記憶される初期反射音の減衰量の曲線を示すデータ、及び後期残響音の減衰量の曲線を示すデータには、音源IDに対応付けて、例えば、ゲームの仮想3次元空間上の空間に応じたデータが予め設定されている。これらの曲線を示すデータは、例えば、ゲームの音を設計するアーティスト等により調整された値が設定されてもよいし、ゲームの空間を設計する設計者等により調整された値が設定されてもよい。
The data indicating the attenuation curve of the early reflection sound and the data indicating the attenuation curve of the late reverberation sound stored in the
次に、図5の減衰曲線データ112に記憶される初期反射音の減衰量の曲線を示すデータ、及び後期残響音の減衰量の曲線を示すデータについて、図6を参照して説明する。図6は、初期反射音の減衰量の曲線を示すデータ、及び後期残響音の減衰量の曲線を示すデータの一例について説明する図である。図6の例では、仮想3次元空間におけるユーザと音の発生源との間の距離を横軸とし、音量を縦軸とした、直接音の減衰量の曲線601、初期反射音の減衰量の曲線602、及び後期残響音の減衰量の曲線603が示されている。なお、直接音の減衰量の曲線601は、音の発生源から放射される直接音の音量(振幅レベル)が当該距離に反比例する曲線でもよい。
Next, data indicating the attenuation curve of the early reflection sound and data indicating the attenuation curve of the late reverberation sound stored in the
図6の例では、初期反射音の減衰量の曲線602として、当該距離が近い程音量が大きく、当該距離が所定の値を超えると、比較的急に音量が小さくなる曲線が設定されている。これは、初期反射音の減衰量の曲線602が対応付けられているゲームの仮想3次元空間上の空間が、例えば、6面で囲われた所定の大きさの箱型の部屋であるためである。なお、当該空間が所定の大きさの箱型の部屋である場合、現実の残響音は、音を聞く人と音の発生源との間の距離が遠くなる程、当該人とその背後の壁との距離、及び音の発生源とその背後の壁との距離は近くなる。そのため、直接音と初期反射音の到達時間の差(遅延)が小さくなるため、当該距離が所定の値を超えると、いわゆるハース効果により、初期反射音が知覚されにくくなると考えられる。なお、初期反射音の減衰量の曲線602の代わりに、直接音の減衰量の曲線601に乗算する初期反射音の減衰量の係数の曲線を用いるようにしてもよい。この場合、決定部15は、当該距離に対する直接音の減衰量の曲線601上の値に、当該距離に対する当該係数の曲線上の値を乗算することにより、初期反射音の減衰量の曲線602の値を算出してもよい。
In the example of FIG. 6, a
図6の例では、後期残響音の減衰量の曲線603として、当該距離の増加による減衰量の減少が比較的緩やかで、かつ比較的小さい音量となる曲線が設定されている。これは、現実の後期残響音は、複数回の反射により遅延が大きくなるため、いわゆるハース効果は生じず、音量は小さいながらも遠距離になっても減衰しにくいものとして減衰量の曲線を設定するのが自然であると考えられるためである。図6の例では、当該距離が距離604(「所定の閾値」の一例。)以下の場合、初期反射音の音量が、後期残響音の音量以上の大きさに設定されており、当該距離が距離604よりも大きい場合、初期反射音の音量が、後期残響音の音量よりも小さくなるように設定されている。また、距離604よりも大きい距離605において、初期反射音の音量は、後期残響音の音量の約半分と設定されている。なお、後期残響音の減衰量の曲線603の代わりに、直接音の減衰量の曲線601に乗算する後期残響音の減衰量の係数の曲線を用いるようにしてもよい。この場合、決定部15は、当該距離に対する直接音の減衰量の曲線601上の値に、当該距離に対する当該係数の曲線上の値を乗算することにより、後期残響音の減衰量の曲線603の値を算出してもよい。
In the example of FIG. 6, as the
続いて、残響音生成部16は、初期反射用のリバーブのオブジェクトにより、当該音における初期反射音のデータを生成する(ステップS6)。ここで、残響音生成部16は、例えば、ステップS5で決定した初期反射音の音量に応じた係数を、当該音の直接音の振幅に乗算して、初期反射音を算出するための直接音の振幅(「第1の振幅」)を算出し、算出した振幅の直接音の信号データを初期反射用のリバーブのオブジェクトに入力する。 Subsequently, the reverberation sound generation unit 16 generates data of the initial reflection sound in the sound by using the reverberation object for initial reflection (step S6). Here, the reverberant sound generation unit 16 multiplies the direct sound amplitude of the sound by a coefficient corresponding to the volume of the initial reflected sound determined in step S5, for example, to calculate the initial reflected sound. Is calculated, and the signal data of the direct sound having the calculated amplitude is input to the reverb object for initial reflection.
図7は、初期反射音の一例について説明する図である。図7の例では、音が生じるイベントが発生してから音が出力されるまでの時間を横軸とし、音量を縦軸とした、入力信号701に対する初期反射音702が示されている。図7の例では、入力信号701は、当該音における初期反射音を生成するために、上述した距離に応じて振幅が調整された直接音の信号であり、初期反射用のリバーブのオブジェクトに入力される短い矩形波の信号データである。また、初期反射音702は、所定のアルゴリズムにより、入力信号701に基づいて生成された複数の矩形波である。
FIG. 7 is a diagram illustrating an example of the initial reflected sound. In the example of FIG. 7, the initial
続いて、残響音生成部16は、後期残響用のリバーブのオブジェクトにより、当該音における後期残響音のデータを生成する(ステップS7)。ここで、残響音生成部16は、例えば、ステップS5で決定した後期残響音の音量に応じた係数を、当該音の直接音の振幅に乗算して、後期残響音を算出するための直接音の振幅(「第2の振幅」)を算出し、算出した振幅の直接音の信号データを後期残響用のリバーブのオブジェクトに入力する。 Subsequently, the reverberant sound generation unit 16 generates data of the late reverberation sound in the sound by using the reverberation object for the late reverberation (step S7). Here, the reverberation sound generation unit 16 multiplies the direct sound amplitude of the sound by a coefficient corresponding to the volume of the late reverberation sound determined in step S5, for example, to calculate the direct sound for the later reverberation sound. The amplitude ("second amplitude") is calculated, and the signal data of the direct sound with the calculated amplitude is input to the reverberation object for late reverberation.
図8は、後期残響音の一例について説明する図である。図8の例では、音が生じるイベントが発生してから音が出力されるまでの時間を横軸とし、音量を縦軸とした、入力信号801に対する後期残響音802が示されている。図8の例では、入力信号801は、当該音における後期残響音を生成するために、上述した距離に応じて振幅が調整された直接音の信号であり、後期残響用のリバーブのオブジェクトに入力される短い矩形波の信号データである。後期残響音802は、所定のアルゴリズムにより、入力信号801に基づいて生成された複数の矩形波である。図7、及び図8の例は、図6の例における距離605の場合の例であり、図7の入力信号701の振幅は、図8の入力信号801の振幅の約半分に調整されている。
FIG. 8 is a diagram illustrating an example of the late reverberation sound. In the example of FIG. 8, a
続いて、出力制御部17は、決定した各音量で、当該音の直接音、当該音の初期反射音、及び当該音の後期残響音を合成して出力する(ステップS8)。ここで、出力制御部17は、上述した距離に応じて減衰させた音量の直接音、図7の初期反射音702、及び図8の後期残響音802が、当該イベントが発生してからの各時点において合成されてスピーカ等より出力される。
Subsequently, the
続いて、制御部13は、ゲームを終了するか否かを判定し(ステップS9)、ゲームを終了しない場合(ステップS9でNO)は、ステップS3の処理を進む。ゲームを終了する場合(ステップS9でYES)は、処理を終了する。 Subsequently, the control unit 13 determines whether or not to end the game (step S9). When the game is not ended (NO in step S9), the process proceeds to step S3. If the game is to end (YES in step S9), the process ends.
図9は、実施形態に係る情報処理装置10の処理の一例について説明する図である。図9の例では、音源A901乃至音源D904の4つの音が同時に発生した場合の例が示されている。図9の例では、出力制御部17は、処理901Aにより、音源A901の直接音の信号の音量に対して、仮想3次元空間におけるユーザの位置と音源A901との距離に応じた減衰量を乗算して後段の処理911に出力する。ここで、出力制御部17は、例えば、音源A901の直接音の信号の音量を、当該距離に反比例するように減衰させる。また、出力制御部17は、処理902A、処理903A、及び処理904Aにより、それぞれ、音源B902、音源C903、及び音源D904に対して、処理901Aと同様に、各音源の直接音の信号の音量に対して、ユーザの位置と各音源との距離にそれぞれ応じた減衰量を乗算して後段の処理911に出力する。
FIG. 9 is a diagram illustrating an example of processing of the
また、出力制御部17は、処理901Bにより、音源A901の直接音の信号の音量に対して、図4のステップS5の処理により決定部15により決定された、図6の初期反射音の減衰量の曲線を示すデータにおける当該距離に応じた減衰量を乗算して後段の処理921に出力する。また、出力制御部17は、処理902B、処理903B、及び処理904Bにより、それぞれ、音源B902、音源C903、及び音源D904に対して、処理901Bと同様に、各音源の直接音の信号の音量に対して、決定部15により初期反射音に対してそれぞれ決定された、ユーザの位置と各音源との距離にそれぞれ応じた減衰量を乗算して後段の処理921に出力する。
Further, the
また、出力制御部17は、処理901Cにより、音源A901の直接音の信号の音量に対して、図4のステップS5の処理により決定部15により決定された、図6の後期残響音の減衰量の曲線を示すデータにおける当該距離に応じた減衰量を乗算して後段の処理931に出力する。また、出力制御部17は、処理902C、処理903C、及び処理904Cにより、それぞれ、音源B902、音源C903、及び音源D904に対して、処理901Cと同様に、各音源の直接音の信号の音量に対して、決定部15により後期残響音に対してそれぞれ決定された、ユーザの位置と各音源との距離にそれぞれ応じた減衰量を乗算して後段の処理931に出力する。
Further, the
また、出力制御部17は、処理911により、処理901A、処理902A、処理903A、及び処理904Aにより出力された各音源の直接音の信号を合成して後段の処理941に出力する。
Further, the
また、出力制御部17は、処理921により、処理901B、処理902B、処理903B、及び処理904Bにより出力された各音源の直接音の信号を合成して後段の処理922に出力する。そして、残響音生成部16は、処理922において、図4のステップS6の処理により、当該音における初期反射音の信号のデータを初期反射用のリバーブのオブジェクトに生成させ、後段の処理941に出力する。
Further, the
また、出力制御部17は、処理931により、処理901C、処理902C、処理903C、及び処理904Cにより出力された各音源の直接音の信号を合成して後段の処理932に出力する。そして、残響音生成部16は、処理932において、図4のステップS7の処理により、当該音における後期残響音の信号のデータを後期残響用のリバーブのオブジェクトに生成させ、後段の処理941に出力する。
Further, the
そして、出力制御部17は、処理941において、図4のステップS8の処理により、直接音の信号、初期反射音の信号、及び後期残響音の信号を合成して出力する。これにより、例えば、ゲームの状況に応じて複数の音源の音を同時に発生させる場合に、リバーブを共有化することにより、処理コストを低減しながら、より違和感が低い残響音を出力することができる。
In
<実施形態の効果>
実空間と同様の残響音を物理法則に従って正確に算出すると、膨大な計算コストが生じるため、実際のゲーム機等でそのような処理を行うことは困難である。そのため、従来、所定のパラメータが設定されたエフェクタにより、直接音に応じた残響を生成していた。 コンピュータゲーム等においては、同時に発音される音源(サウンド)の数が比較的多くなる場合がある。そのため、各音源に対して、聴取者と音源の位置関係に応じたパラメータが設定されたリバーブを用いる場合、処理コストが比較的大きくなる。そこで、同時に発音される複数の音源の各々の音量を調整して、共有された所定数(例えば、5個以下)のリバーブを用いて、当該複数の音源の各々に対する残響音を生成することが考えられる。この場合、処理コストは低減できるが、部屋の大きさ、形状、壁材質による違和感は比較的小さいとしても、聴取者と各音源の位置関係による違和感をユーザに覚えさせる場合がある。例えば、仮想3次元空間上におけるユーザと音の発生源との距離が比較的近い場合、または比較的遠い場合等において、聴取者と各音源の位置関係による違和感をユーザに覚えさせる場合がある。また、例えば、VR(Virtual Reality)のゲームで、BGM(Back Ground Music)等がなく、ユーザによる没入感が高い場合等において、ユーザに違和感を覚えさせる場合があるという問題がある。
<Effect of embodiment>
If a reverberant sound similar to that in real space is accurately calculated according to the laws of physics, it will be difficult to perform such processing with an actual game machine or the like because enormous calculation costs arise. Therefore, conventionally, reverberation corresponding to direct sound has been generated by an effector in which predetermined parameters are set. In a computer game or the like, there may be a relatively large number of sound sources (sounds) that are simultaneously sounded. Therefore, when using reverb in which parameters corresponding to the positional relationship between the listener and the sound source are set for each sound source, the processing cost is relatively high. Therefore, the reverberation sound for each of the plurality of sound sources can be generated using a predetermined number (for example, five or less) of shared reverbs by adjusting the volumes of the plurality of sound sources that are simultaneously sounded. Conceivable. In this case, the processing cost can be reduced, but the user may feel uncomfortable due to the positional relationship between the listener and each sound source even if the discomfort due to the size, shape, and wall material of the room is relatively small. For example, when the distance between the user and the sound generation source in the virtual three-dimensional space is relatively close or relatively far away, the user may feel uncomfortable due to the positional relationship between the listener and each sound source. In addition, for example, in a VR (Virtual Reality) game, when there is no BGM (Back Ground Music) or the like and the user feels immersive, there is a problem that the user may feel uncomfortable.
一方、上述した実施形態によれば、ゲームの仮想3次元空間におけるユーザの位置と、前記ゲームにおいて出力される音の発生源の位置との距離に応じて、前記音の初期反射音の音量と、前記音の後期残響音の音量との比が異なるように、前記距離に応じた前記初期反射音の音量と前記後期残響音の音量とをそれぞれ決定する。これにより、より違和感が低い残響音を出力することができる。また、物理法則に従って正確に算出する手法と比較して少ない計算コストで、違和感が比較的低い残響音を出力することができる。 On the other hand, according to the above-described embodiment, the volume of the initial reflected sound of the sound is determined according to the distance between the position of the user in the virtual three-dimensional space of the game and the position of the sound generation source output in the game. The volume of the early reflection sound and the volume of the late reverberation sound according to the distance are determined so that the ratio of the sound to the volume of the late reverberation sound is different. Thereby, it is possible to output a reverberant sound with a lower sense of incongruity. In addition, it is possible to output a reverberant sound with a relatively low sense of incongruity at a low calculation cost compared to a method of calculating accurately according to the physical law.
以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 As mentioned above, although the Example of this invention was explained in full detail, this invention is not limited to such specific embodiment, In the range of the summary of this invention described in the claim, various deformation | transformation・ Change is possible.
情報処理装置10の各機能部は、例えば1以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。また、情報処理装置10は、ユーザの端末にゲームの画面を表示させる、オンラインゲーム用のサーバであってもよい。
Each functional unit of the
10 情報処理装置
11 記憶部
111 リバーブ設定データ
112 減衰曲線データ
12 受付部
13 制御部
14 算出部
15 決定部
16 残響音生成部
17 出力制御部
DESCRIPTION OF
Claims (7)
ゲームの仮想3次元空間におけるユーザの位置と、前記ゲームにおいて出力される音の発生源の位置との距離を算出する処理と、
前記音の初期反射音の音量と、前記音の後期残響音の音量との比が前記距離に応じて異なるように、前記距離に応じた前記初期反射音の音量と前記後期残響音の音量とをそれぞれ決定する処理と、
を実行させるプログラム。 In the information processing device,
A process of calculating a distance between the position of the user in the virtual three-dimensional space of the game and the position of the sound generation source output in the game;
The volume of the early reflection sound and the volume of the late reverberation sound according to the distance, so that the ratio of the volume of the early reflection sound of the sound and the volume of the late reverberation sound of the sound differs according to the distance, The process of determining each,
A program that executes
前記ユーザの位置と、前記ゲームにおいて出力される複数の音の発生源の位置との距離をそれぞれ算出し、
前記決定する処理は、
前記複数の音のそれぞれについて、前記初期反射音の音量と、前記後期残響音の音量との比が前記距離に応じて異なるように、前記距離に応じた前記初期反射音の音量と前記後期残響音の音量とをそれぞれ決定する、
請求項1に記載のプログラム。 The calculation process is as follows:
Calculating the distance between the position of the user and the position of the source of the plurality of sounds output in the game,
The determination process is as follows:
For each of the plurality of sounds, the volume of the early reflection sound according to the distance and the late reverberation are such that the ratio of the volume of the early reflection sound and the volume of the late reverberation sound varies according to the distance. Determine the volume of each sound,
The program according to claim 1.
前記距離が所定の閾値以下の場合、前記初期反射音の音量を、前記後期残響音の音量以上の音量に決定し、前記距離が所定の閾値よりも大きい場合、前記初期反射音の音量を、前記後期残響音の音量よりも小さい音量に決定する、
請求項1または2に記載のプログラム。 The determination process is as follows:
When the distance is less than or equal to a predetermined threshold, the volume of the initial reflected sound is determined to be equal to or higher than the volume of the late reverberation sound, and when the distance is greater than the predetermined threshold, the volume of the initial reflected sound is Determining the volume to be lower than the volume of the late reverberation,
The program according to claim 1 or 2.
前記音、前記ゲームにおいて音が発生する仮想3次元空間上の空間、または前記ゲームにおいて音が発生する仮想3次元空間上の空間の種別に応じて設定された、前記距離に応じた前記初期反射音の音量の設定データ、及び前記距離に応じた前記後期残響音の音量の設定データに基づいて、前記距離に応じた前記初期反射音の音量と前記後期残響音の音量とをそれぞれ決定する、
請求項1乃至3のいずれか一項に記載のプログラム。 The determination process is as follows:
The initial reflection according to the distance set according to a type of the sound, a space in a virtual three-dimensional space where sound is generated in the game, or a space in a virtual three-dimensional space where sound is generated in the game Based on the setting data of the sound volume and the setting data of the volume of the late reverberation sound according to the distance, the volume of the early reflection sound and the volume of the late reverberation sound according to the distance are determined, respectively.
The program according to any one of claims 1 to 3.
前記決定する処理により決定された前記初期反射音の音量に応じて前記音の直接音の振幅を調整し、調整した第1の振幅の直接音に基づいて、前記初期反射音を生成する処理と、
前記決定する処理により決定された前記後期残響音の音量に応じて前記音の直接音の振幅を調整し、調整した第2の振幅の直接音に基づいて、前記後期残響音を生成する処理と、
生成された前記初期反射音と、前記後期残響音とを合成して出力する処理と、
を実行させる、請求項1乃至4のいずれか一項に記載のプログラム。 In the information processing apparatus,
Adjusting the amplitude of the direct sound of the sound according to the volume of the initial reflected sound determined by the determining process, and generating the initial reflected sound based on the adjusted direct sound of the first amplitude; ,
Adjusting the amplitude of the direct sound of the sound according to the volume of the late reverberation sound determined by the determining process, and generating the late reverberation sound based on the adjusted direct sound of the second amplitude; ,
A process of synthesizing and outputting the generated early reflection sound and the late reverberation sound;
The program according to any one of claims 1 to 4, wherein the program is executed.
ゲームの仮想3次元空間におけるユーザの位置と、前記ゲームにおいて出力される音の発生源の位置との距離を算出する処理と、
前記音の初期反射音の音量と、前記音の後期残響音の音量との比が前記距離に応じて異なるように、前記距離に応じた前記初期反射音の音量と前記後期残響音の音量とをそれぞれ決定する処理と、
を実行する情報処理方法。 Information processing device
A process of calculating a distance between the position of the user in the virtual three-dimensional space of the game and the position of the sound generation source output in the game;
The volume of the early reflection sound and the volume of the late reverberation sound according to the distance, so that the ratio of the volume of the early reflection sound of the sound and the volume of the late reverberation sound of the sound differs according to the distance, The process of determining each,
Information processing method to execute.
前記音の初期反射音の音量と、前記音の後期残響音の音量との比が前記距離に応じて異なるように、前記距離に応じた前記初期反射音の音量と前記後期残響音の音量とをそれぞれ決定する決定部と、
を有する情報処理装置。 A calculation unit for calculating a distance between the position of the user in the virtual three-dimensional space of the game and the position of the sound generation source output in the game;
The volume of the early reflection sound and the volume of the late reverberation sound according to the distance, so that the ratio of the volume of the early reflection sound of the sound and the volume of the late reverberation sound of the sound differs according to the distance, A determination unit for determining each,
An information processing apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018054334A JP7157537B2 (en) | 2018-03-22 | 2018-03-22 | Program, image processing method, and information processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018054334A JP7157537B2 (en) | 2018-03-22 | 2018-03-22 | Program, image processing method, and information processing apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019165845A true JP2019165845A (en) | 2019-10-03 |
JP7157537B2 JP7157537B2 (en) | 2022-10-20 |
Family
ID=68107143
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018054334A Active JP7157537B2 (en) | 2018-03-22 | 2018-03-22 | Program, image processing method, and information processing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7157537B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021117576A1 (en) * | 2019-12-13 | 2021-06-17 | ソニーグループ株式会社 | Signal processing device, signal processing method, and program |
CN115334366A (en) * | 2022-08-16 | 2022-11-11 | 中国传媒大学 | Modeling method for interactive immersive sound field roaming |
US12035128B2 (en) | 2019-12-13 | 2024-07-09 | Sony Group Corporation | Signal processing device and signal processing method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000267675A (en) * | 1999-03-16 | 2000-09-29 | Sega Enterp Ltd | Acoustical signal processor |
JP2006254166A (en) * | 2005-03-11 | 2006-09-21 | Hitachi Ltd | Video conference system, conference terminal, and video server |
US20170171685A1 (en) * | 2015-12-09 | 2017-06-15 | Microsoft Technology Licensing, Llc | Redirecting audio output |
US20180077514A1 (en) * | 2016-09-13 | 2018-03-15 | Lg Electronics Inc. | Distance rendering method for audio signal and apparatus for outputting audio signal using same |
-
2018
- 2018-03-22 JP JP2018054334A patent/JP7157537B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000267675A (en) * | 1999-03-16 | 2000-09-29 | Sega Enterp Ltd | Acoustical signal processor |
JP2006254166A (en) * | 2005-03-11 | 2006-09-21 | Hitachi Ltd | Video conference system, conference terminal, and video server |
US20170171685A1 (en) * | 2015-12-09 | 2017-06-15 | Microsoft Technology Licensing, Llc | Redirecting audio output |
US20180077514A1 (en) * | 2016-09-13 | 2018-03-15 | Lg Electronics Inc. | Distance rendering method for audio signal and apparatus for outputting audio signal using same |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021117576A1 (en) * | 2019-12-13 | 2021-06-17 | ソニーグループ株式会社 | Signal processing device, signal processing method, and program |
US12035128B2 (en) | 2019-12-13 | 2024-07-09 | Sony Group Corporation | Signal processing device and signal processing method |
CN115334366A (en) * | 2022-08-16 | 2022-11-11 | 中国传媒大学 | Modeling method for interactive immersive sound field roaming |
Also Published As
Publication number | Publication date |
---|---|
JP7157537B2 (en) | 2022-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Taylor et al. | Resound: interactive sound rendering for dynamic virtual environments | |
EP0593228B1 (en) | Sound environment simulator and a method of analyzing a sound space | |
US9888333B2 (en) | Three-dimensional audio rendering techniques | |
JP6082160B2 (en) | Audio rendering using speakers organized as an arbitrary N-shaped mesh | |
US8995675B2 (en) | Methods and systems for direct-to-indirect acoustic radiance transfer | |
US10045144B2 (en) | Redirecting audio output | |
RU2015109613A (en) | SYSTEM AND TOOLS FOR THE IMPROVED AUTHOR'S DEVELOPMENT AND PRESENTATION OF THREE-DIMENSIONAL AUDIO DATA | |
US20100197401A1 (en) | Reliable, efficient and low cost method for games audio rendering | |
US10911885B1 (en) | Augmented reality virtual audio source enhancement | |
JP7157537B2 (en) | Program, image processing method, and information processing apparatus | |
Beig et al. | An introduction to spatial sound rendering in virtual environments and games | |
Rosen et al. | Interactive sound propagation for dynamic scenes using 2D wave simulation | |
EP3807872B1 (en) | Reverberation gain normalization | |
US7463740B2 (en) | Sound data processing apparatus for simulating acoustic space | |
US20230306953A1 (en) | Method for generating a reverberation audio signal | |
Siltanen et al. | Room acoustics modeling with acoustic radiance transfer | |
Manocha et al. | Interactive sound rendering | |
WO2023274400A1 (en) | Audio signal rendering method and apparatus, and electronic device | |
Raghuvanshi et al. | Interactive and Immersive Auralization | |
EP3566471B1 (en) | Audio simulation in video games comprising indirect propagation paths | |
KR102032803B1 (en) | Method for providing stereophonic sound effect for multimedia contents and multimedia device for performing the method | |
Moreira et al. | An Architecture Using a Finite Difference Method to Calculate Realistic Sound Equalization in Games | |
JP7267007B2 (en) | Information processing device, information processing method, and program | |
US20230224661A1 (en) | Method and apparatus for rendering object-based audio signal considering obstacle | |
Cowan et al. | Spatial sound rendering for dynamic virtual environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221007 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7157537 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |