JP2015149549A - Multiple sound source arrangement device, multiple sound source arrangement method - Google Patents

Multiple sound source arrangement device, multiple sound source arrangement method Download PDF

Info

Publication number
JP2015149549A
JP2015149549A JP2014020414A JP2014020414A JP2015149549A JP 2015149549 A JP2015149549 A JP 2015149549A JP 2014020414 A JP2014020414 A JP 2014020414A JP 2014020414 A JP2014020414 A JP 2014020414A JP 2015149549 A JP2015149549 A JP 2015149549A
Authority
JP
Japan
Prior art keywords
sound source
sound
interface
signal
sources
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014020414A
Other languages
Japanese (ja)
Other versions
JP6254864B2 (en
Inventor
千晶 森
Chiaki Mori
千晶 森
敏行 西口
Toshiyuki Nishiguchi
敏行 西口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2014020414A priority Critical patent/JP6254864B2/en
Publication of JP2015149549A publication Critical patent/JP2015149549A/en
Application granted granted Critical
Publication of JP6254864B2 publication Critical patent/JP6254864B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

PROBLEM TO BE SOLVED: To set multiple sound sources from one sound source signal only with simple parameter setting, without involving complex operations, in a multi-channel acoustic system.SOLUTION: A multiple sound source arrangement device for arranging one sound source signal, as a multi-channel acoustic signal, as multiple sound sources includes a display section displaying an interface for setting the multiple sound sources, a sound source position setting section for setting the position of each of the multiple sound sources based on an input to the interface, a coordinate converting section for converting the position of each sound source into polar coordinate, and a signal distributing section for distributing the sound source signal to a corresponding speaker based on the polar coordinate of each sound source. The interface can set the multiple sound sources collectively.

Description

この発明は、マルチチャンネル音響方式に対応した複数音源配置装置及び方法に関する。   The present invention relates to an apparatus and method for arranging a plurality of sound sources corresponding to a multi-channel sound system.

映画やテレビの音響方式には、従来の2chステレオシステムや、5.1ch、7.1ch、8.2ch、10.2chの各サラウンドシステム、次世代のテレビ方式として提案されている22.2マルチチャンネル音響方式などがあり、チャンネル数は多様である。マルチチャンネル音響のコンテンツ制作では、一般にチャンネル数の増加に伴い作業が煩雑化し、制作の所要時間が長くなる傾向にある。そこで、直感的かつ簡便に制作できる環境を構築することが望まれる。   Movie and TV sound systems include the conventional 2ch stereo system, 5.1ch, 7.1ch, 8.2ch, and 10.2ch surround systems, and the 22.2 multichannel sound system proposed as the next-generation TV system. The number of channels is diverse. In content production of multi-channel sound, generally, the work becomes complicated as the number of channels increases, and the time required for production tends to increase. Therefore, it is desirable to construct an environment that allows intuitive and simple production.

例えば、従来の音声卓では、「音の距離感」を調整するために音量フェーダー(音の大きさ)、イコライザ(音色)、リバーブ送りの3要素を個別に操作する必要があり、その調整は聴感だけに頼っているという問題があった。このような複雑な操作を解消するため、複雑な操作を伴うことなく、番組制作に必要な立体音響効果(音の距離感制御や方向制御など)を実現する機能が提案されている(例えば、非特許文献1参照)。非特許文献1に記載の「距離フェーダー」によれば、音の距離感に関する3つのパラメータを1本のフェーダーにより自由に調整することが可能となる。   For example, in a conventional voice console, it is necessary to individually operate the three elements of volume fader (sound volume), equalizer (tone), and reverb feed to adjust the “distance of sound”. There was a problem of relying only on hearing. In order to eliminate such a complicated operation, a function that realizes a three-dimensional sound effect (such as sound distance control and direction control) necessary for program production without complicated operation has been proposed (for example, Non-patent document 1). According to the “distance fader” described in Non-Patent Document 1, it is possible to freely adjust three parameters related to the sense of distance of sound with one fader.

このように、立体音響効果を簡単な操作で実現することによって、コンテンツ制作の所要時間が短くなり、より効率的な音響制作が可能となる。音の距離感の他にも、音の方向制御や幅(拡がり)の制御など、様々な立体音響効果を簡単な操作で実現することが期待される。   Thus, by realizing the three-dimensional sound effect with a simple operation, the time required for content production is shortened, and more efficient sound production is possible. In addition to the sense of distance of sound, various stereophonic effects such as sound direction control and width (expansion) control are expected to be realized with simple operations.

特許第5010148号公報Japanese Patent No. 501148 特許第5010185号公報Japanese Patent No. 5010185

小宮山摂、濱崎公男、大久保洋幸、波多野渉「高機能サラウンドミクサーの試作」放送技術2004.6,pp.173-177Satoshi Komiyama, Kimio Amagasaki, Hiroyuki Okubo, Wataru Hatano “Prototype of High-Functional Surround Mixer” Broadcast Technology 2004.6, pp.173-177 Doug Coulter, “Digital Audio Processing,” CMP Books R&D Developer Series pp.267-273Doug Coulter, “Digital Audio Processing,” CMP Books R & D Developer Series pp.267-273

ところで、番組制作に必要な立体音響効果の一つに「コーラス」がある。「コーラス」とは、一つの音源から、その音源があたかも複数鳴っているような状態にする効果である。「コーラス」は、遅延回路によりごく微小時間を原音から遅らせ、その音を一定周期で揺らす(低い周波数で変調をかける)ことにより、複数の音が同時になっているような効果を出すものであり、ギター用のエフェクターなどで実現されている(例えば、非特許文献2参照)。マルチチャンネル音響システムにおいてコーラス効果を簡単に実現するためには、元の音源信号を簡単な操作で平面もしくは空間内の、任意の複数の位置に配置し、分配された各音響信号を、コーラス効果付与回路に通す必要がある。   By the way, “Chorus” is one of the three-dimensional sound effects necessary for program production. “Chorus” is an effect that makes a sound source sound as if multiple sound sources are being played. “Chorus” delays a very small amount of time from the original sound using a delay circuit, and shakes the sound at a fixed period (modulates at a low frequency) to produce the effect that multiple sounds are simultaneously. It is realized by an effector for a guitar or the like (for example, see Non-Patent Document 2). In order to easily realize the chorus effect in a multi-channel sound system, the original sound source signal can be arranged at a plurality of arbitrary positions in a plane or space with a simple operation, and each distributed sound signal is converted into a chorus effect. It is necessary to pass through the application circuit.

しかし、5.1chサラウンドシステムや22.2マルチチャンネル音響システムなどを始めとするマルチチャンネル音響システムには、先に述べた「距離フェーダー」のような、「コーラスフェーダー」(コーラス効果を簡単に実現するためのインターフェース)はなく、一つ一つの音源のパラメータをエンジニアが手動で細かく調整しなくてはならない。具体的には、図11に例示するように、ミクシングコンソールのパンポットや三次元振幅パンニング装置(例えば、特許文献1、2参照)などを用いて、元の音源の一つ一つを個別の操作により所望の位置に配置した上で、各音源にコーラス効果を与える処理が必要となる。そのため、作業が煩雑化し、制作の所要時間が長くなっている。また、煩雑な作業の発生はコーラス効果に限られず、元の音源信号を平面もしくは空間内の任意の複数の位置に配置する任意の立体音響効果について、同様に生じ得るものである。   However, multi-channel sound systems such as 5.1ch surround system and 22.2 multi-channel sound system have “chorus faders” (such as the “distance fader” described earlier) to easily realize the chorus effect. There is no interface), and engineers must fine-tune the parameters of each sound source manually. Specifically, as illustrated in FIG. 11, each original sound source is individually separated using a mixing console panpot, a three-dimensional amplitude panning apparatus (see, for example, Patent Documents 1 and 2), or the like. A process of giving a chorus effect to each sound source after being arranged at a desired position by operation is required. For this reason, the work is complicated and the time required for production is long. Further, the occurrence of complicated work is not limited to the chorus effect, and can similarly occur for any stereophonic effect in which the original sound source signal is arranged at any of a plurality of positions in a plane or space.

したがって、かかる点に鑑みてなされた本発明の目的は、マルチチャンネル音響システムにおいて、複雑な操作を伴うことなく簡単なパラメータ設定のみで、一つの音源信号から複数の音源を設定可能な複数音源配置装置及び方法を提供することにある。   Therefore, an object of the present invention made in view of such points is to provide a multi-channel sound system that can set a plurality of sound sources from a single sound source signal by simple parameter setting without complicated operations. It is to provide an apparatus and method.

上述した諸課題を解決すべく、本発明に係る複数音源配置装置は、マルチチャンネル音響信号として一つの音源信号を複数音源として配置する複数音源配置装置であって、前記複数音源を設定するインターフェースを表示する表示部と、前記インターフェースへの入力に基づき前記複数音源の各音源の位置を設定する音源位置設定部と、前記各音源の位置を極座標に変換する座標変換部と、前記各音源の極座標に基づき前記音源信号を対応するスピーカに分配する信号分配部と、を備え、前記インターフェースは、前記複数音源を一括設定可能である。   In order to solve the above-described problems, a multiple sound source placement device according to the present invention is a multiple sound source placement device that places a single sound source signal as a multi-channel sound signal as a plurality of sound sources, and includes an interface for setting the multiple sound sources. A display unit for displaying; a sound source position setting unit for setting the position of each sound source of the plurality of sound sources based on an input to the interface; a coordinate conversion unit for converting the position of each sound source to polar coordinates; and the polar coordinates of each sound source And a signal distribution unit that distributes the sound source signal to the corresponding speakers based on the information, and the interface can collectively set the plurality of sound sources.

また、前記インターフェースは、前記複数音源の分布範囲及び数を入力するインターフェースオブジェクトを含む、ことが好ましい。   The interface preferably includes an interface object for inputting a distribution range and number of the plurality of sound sources.

また、前記インターフェースは、前記複数音源による音響効果毎にインターフェースオブジェクトが設定される、ことが好ましい。   Moreover, it is preferable that an interface object is set for each sound effect by the plurality of sound sources.

上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。   As described above, the solution of the present invention has been described as an apparatus. However, the present invention can be realized as a method, a program, and a storage medium storing the program, which are substantially equivalent thereto, and the scope of the present invention. It should be understood that these are also included.

例えば、本発明を方法として実現した複数音源配置方法は、マルチチャンネル音響信号として一つの音源信号を複数音源として配置する複数音源配置装置による複数音源配置方法であって、前記複数音源を設定するインターフェースを表示するステップと、前記インターフェースへの入力に基づき前記複数音源の各音源の位置を設定するステップと、前記各音源の位置を極座標に変換するステップと、前記各音源の極座標に基づき前記音源信号を対応するスピーカに分配するステップと、を含み、前記インターフェースは、前記複数音源を一括設定可能である。   For example, a plurality of sound source arrangement methods realized as a method of the present invention are a plurality of sound source arrangement methods by a plurality of sound source arrangement devices that arrange one sound source signal as a plurality of sound sources as a multi-channel sound signal, and an interface for setting the plurality of sound sources. Displaying the sound source signal based on the input to the interface, setting the position of each sound source of the plurality of sound sources, converting the position of each sound source to polar coordinates, and the sound source signal based on the polar coordinates of each sound source Distributing the sound to corresponding speakers, wherein the interface can collectively set the plurality of sound sources.

本発明に係る複数音源設定装置及び方法によれば、マルチチャンネル音響システムにおいて、複雑な操作を伴うことなく簡単なパラメータ設定のみで一つの音源信号から複数の音源を設定することが可能となる。   According to the multiple sound source setting apparatus and method of the present invention, it is possible to set a plurality of sound sources from a single sound source signal by simple parameter setting without complicated operations in a multi-channel acoustic system.

本発明の一実施形態に係る複数音源配置装置の構成を示す図である。It is a figure which shows the structure of the multiple sound source arrangement | positioning apparatus which concerns on one Embodiment of this invention. 複数音源配置装置による立体音響効果設定の概要を示す図である。It is a figure which shows the outline | summary of the stereophonic sound effect setting by a multiple sound source arrangement | positioning apparatus. 複数音源を一括設定可能なインターフェースの一例を示す図である。It is a figure which shows an example of the interface which can set a several sound source collectively. 複数音源を一括設定可能なインターフェースの他の例を示す図である。It is a figure which shows the other example of the interface which can set a several sound source collectively. 直交座標から極座標への変換を示す図である。It is a figure which shows the conversion from a rectangular coordinate to a polar coordinate. 三次元振幅パンニングの概要を示す図である。It is a figure which shows the outline | summary of a three-dimensional amplitude panning. 音源信号分配の具体例を示す図である。It is a figure which shows the specific example of sound source signal distribution. コーラス効果の原理を示す図である。It is a figure which shows the principle of a chorus effect. コーラス効果付与回路の構成例を示す図である。It is a figure which shows the structural example of a chorus effect provision circuit. 立体音響効果毎のインターフェースの一例を示す図である。It is a figure which shows an example of the interface for every stereophonic effect. 従来の立体音響効果設定の概要を示す図である。It is a figure which shows the outline | summary of the conventional stereophonic sound effect setting.

以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図1は本発明の一実施形態に係る複数音源配置装置の構成を示す図である。複数音源配置装置は、音源位置設定部11、座標変換部12、及び信号分配部13を含む制御部10と、表示部20と、操作部30とを備え、信号分配部13を通じてスピーカSPに接続される。制御部10の各処理部11〜13は好適なプロセッサにより構成され、各処理部11〜13を共通のプロセッサで実装したり、個別のプロセッサとして実装したりすることができる。表示部20は好適なディスプレイ、操作部30は好適な操作機器であって、複数音源配置装置のユーザーは表示部20に表示されるインターフェースを確認しながら、操作部30により複数音源配置装置へ所望の入力操作を行うことができる。スピーカSPは、マルチチャンネル音響方式に対応したスピーカ群であって、複数音源配置装置から出力された音響信号は、チャンネルごとに対応するスピーカSPより再生される。   FIG. 1 is a diagram showing a configuration of a multiple sound source arrangement device according to an embodiment of the present invention. The multiple sound source arrangement device includes a control unit 10 including a sound source position setting unit 11, a coordinate conversion unit 12, and a signal distribution unit 13, a display unit 20, and an operation unit 30, and is connected to the speaker SP through the signal distribution unit 13. Is done. Each processing unit 11 to 13 of the control unit 10 is configured by a suitable processor, and each processing unit 11 to 13 can be implemented by a common processor or can be implemented as an individual processor. The display unit 20 is a suitable display, and the operation unit 30 is a suitable operation device. The user of the multiple sound source placement device confirms the interface displayed on the display unit 20 while the operation unit 30 makes a request to the multiple sound source placement device. The input operation can be performed. The speaker SP is a speaker group compatible with the multi-channel acoustic system, and the acoustic signal output from the multiple sound source arrangement device is reproduced from the speaker SP corresponding to each channel.

まず、本実施形態に係る複数音源配置装置による立体音響効果の設定について概説する。図2は、複数音源配置装置による立体音響効果設定の概要を示す図である。本実施形態に係る複数音源配置装置によれば、一つの音源信号を複数音源とする際に、図11に例示する従来の方法のように各音源に対して個別の操作を行う必要はなく、一括操作により全ての複数音源にマルチチャンネル音響方式に対応した様々な立体音響効果を付与することが可能になる。   First, the setting of the stereophonic effect by the multiple sound source arrangement device according to the present embodiment will be outlined. FIG. 2 is a diagram showing an outline of setting the stereophonic sound effect by the multiple sound source arrangement device. According to the multiple sound source arrangement device according to the present embodiment, when a single sound source signal is used as a plurality of sound sources, it is not necessary to perform individual operations on each sound source as in the conventional method illustrated in FIG. It is possible to give various three-dimensional sound effects corresponding to the multi-channel sound system to all the plural sound sources by the collective operation.

音源位置設定部11は、表示部20に表示されたインターフェースへの入力に基づき、複数音源の各音源の位置を設定するものであり、当該インターフェースは、複数音源を一括設定可能なものである。図3は複数音源を一括設定可能なインターフェースの一例を示す図である。表示部20が表示するインターフェースには、複数の音源k1,k2,…,knの音源位置を図示するインターフェースオブジェクト21と、音源の分布範囲(幅w、奥行きd、高さh)を設定するインターフェースオブジェクト22と、音源の個数(横Nw、奥行きNd、縦Nh)を設定するインターフェースオブジェクト23とが表示される。ここで、インターフェースオブジェクトとは、複数音源を一括設定可能なインターフェースを構成するものであって、情報表示領域、入力フォーム、ボタン等のインターフェース用の部品を示すものである。ここで、インターフェースオブジェクト22では、スピーカSPで囲まれる平面又は空間の各辺の長さをw、d、hとすると、w≦w、d≦d、h≦hの値が設定される。音源位置設定部11は、入力された複数音源の分布範囲及び個数を基に、例えば複数音源が方向毎に等間隔、正規分布など所定の分布となるように各音源の位置を自動的に設定する。 The sound source position setting unit 11 sets the position of each sound source of a plurality of sound sources based on the input to the interface displayed on the display unit 20, and the interface can set a plurality of sound sources at once. FIG. 3 is a diagram showing an example of an interface capable of setting a plurality of sound sources at once. The interface displayed by the display unit 20 is an interface object 21 that illustrates the sound source positions of a plurality of sound sources k1, k2,..., Kn, and an interface for setting a sound source distribution range (width w, depth d, height h). An object 22 and an interface object 23 for setting the number of sound sources (horizontal Nw, depth Nd, vertical Nh) are displayed. Here, the interface object constitutes an interface capable of collectively setting a plurality of sound sources, and indicates interface parts such as an information display area, an input form, and a button. Here, the interface object 22, and the length of each side of the plane or space surrounded by the speaker SP and w 0, d 0, h 0 , the value of w ≦ w 0, d ≦ d 0, h ≦ h 0 Is set. The sound source position setting unit 11 automatically sets the position of each sound source based on the input distribution range and number of the plurality of sound sources so that the plurality of sound sources have a predetermined distribution such as an equal interval and a normal distribution for each direction. To do.

図4は、複数音源を一括設定可能なインターフェースの他の例を示す図である。表示部20が表示するインターフェースには、複数の音源k1,k2,…,knの音源位置を図示するインターフェースオブジェクト21と、各音源の座標を設定するインターフェースオブジェクト24とが表示される。この場合、音源位置設定部11は、インターフェースオブジェクト24に入力された値をそのまま各音源の位置として設定する。   FIG. 4 is a diagram illustrating another example of an interface capable of collectively setting a plurality of sound sources. The interface displayed by the display unit 20 displays an interface object 21 illustrating the sound source positions of a plurality of sound sources k1, k2,... Kn, and an interface object 24 for setting the coordinates of each sound source. In this case, the sound source position setting unit 11 sets the value input to the interface object 24 as it is as the position of each sound source.

なお、複数音源を一括設定可能なインターフェースは図3、4の例に限られず、例えば、音源位置を図示するインターフェースオブジェクト21のみを含むインターフェースとすることもできる。この場合、ユーザーは音源を表わすアイコン等を操作してインターフェースオブジェクト21上で複数音源をグラフィカルに設定し、音源位置設定部11は、設定された各音源の位置を自動的に取得することができる。すなわち、複数音源配置装置がPCやタブレット端末などとして構成する場合、インターフェース上で各音源の具体的なパラメータの値を入力してもよいし、タッチパネル等でユーザーが自由に音源を配置し、その位置情報から各パラメータの値を取得してもよい。   Note that the interface capable of setting a plurality of sound sources at once is not limited to the examples of FIGS. 3 and 4, and may be an interface including only the interface object 21 illustrating the sound source position, for example. In this case, the user graphically sets a plurality of sound sources on the interface object 21 by operating an icon representing a sound source, and the sound source position setting unit 11 can automatically acquire the set position of each sound source. . In other words, when the multiple sound source arrangement device is configured as a PC or a tablet terminal, a specific parameter value of each sound source may be input on the interface, or the user can freely arrange sound sources on the touch panel or the like. The value of each parameter may be acquired from the position information.

座標変換部12は、音源位置設定部11が設定した各音源の位置(直交座標)を極座標に変換し、受音点から見たときの各音源の方向情報を取得する。図5は、直交座標から極座標への変換を示す図である。受音点を原点とする座標系において、直交座標(x、y、z)=(w、d、h)で表される音源を極座標(r、θ、φ)に変換する場合、座標系の変換は下記式(1)〜(3)により行われる。   The coordinate conversion unit 12 converts the position (orthogonal coordinates) of each sound source set by the sound source position setting unit 11 into polar coordinates, and acquires direction information of each sound source when viewed from the sound receiving point. FIG. 5 is a diagram illustrating conversion from orthogonal coordinates to polar coordinates. When a sound source represented by orthogonal coordinates (x, y, z) = (w, d, h) is converted into polar coordinates (r, θ, φ) in the coordinate system having the sound receiving point as the origin, The conversion is performed by the following formulas (1) to (3).

Figure 2015149549
Figure 2015149549

信号分配部13は、各音源の極座標を基に、音源信号を対応するスピーカSPに分配する。例えば、信号分配部13は、一例として、三次元振幅パンニングを用いて音源信号を各スピーカSPに分配することにより、任意の位置に配置された複数の音源に定位させることができる。図6は三次元振幅パンニングの概要を示す図である。三次元振幅パンニングでは、定位させる音源Kを空間的に囲む3個のスピーカを利用する。音源Kの極座標(r、θ、φ)から得られる3個のスピーカSP1〜3の重み係数をg1〜3とすると、信号分配部13は、各スピーカSPn(n=1〜3)の出力Yn(t)がgn×S(t)となるように音源信号S(t)を各スピーカに分配する。なお、各スピーカの重み係数は、定位させる音源位置に実スピーカを置いた場合の受音点における音響インテンシティを再現するように決定されるものであり、例えば、特許文献1、2等に記載の公知技術を用いることができ、本稿での詳述は省略する。図6の場合、スピーカSP1からg1×S(t)、スピーカSP2からg2×S(t)、スピーカSP3からg3×S(t)の音が再生されることにより、音源Kの位置に音像が定位される。   The signal distribution unit 13 distributes the sound source signal to the corresponding speaker SP based on the polar coordinates of each sound source. For example, as an example, the signal distribution unit 13 can distribute a sound source signal to each speaker SP using three-dimensional amplitude panning, and can localize a plurality of sound sources arranged at arbitrary positions. FIG. 6 is a diagram showing an outline of three-dimensional amplitude panning. In the three-dimensional amplitude panning, three speakers that spatially surround the sound source K to be localized are used. If the weighting coefficients of the three speakers SP1-3 obtained from the polar coordinates (r, θ, φ) of the sound source K are g1-3, the signal distribution unit 13 outputs Yn of each speaker SPn (n = 1-3). The sound source signal S (t) is distributed to each speaker so that (t) becomes gn × S (t). Note that the weighting factor of each speaker is determined so as to reproduce the sound intensity at the sound receiving point when the actual speaker is placed at the sound source position to be localized. Can be used and will not be described in detail here. In the case of FIG. 6, the sound image is generated at the position of the sound source K by reproducing the sound from the speaker SP1 to g1 × S (t), from the speaker SP2 to g2 × S (t), and from the speaker SP3 to g3 × S (t). It is localized.

図7は、音源信号分配の具体例を示す図である。図7は、三次元空間に配置された4つのスピーカSP1〜4により、音源信号S(t)を2つの音源K1、K2に定位させるものである。音源K1は、3個のスピーカ(SP1、SP2、SP3)で囲まれた平面上に存在し、音源K2は、3個のスピーカ(SP1、SP3、SP4)で囲まれた平面上に存在するものとする。   FIG. 7 is a diagram showing a specific example of sound source signal distribution. In FIG. 7, the sound source signal S (t) is localized to the two sound sources K1 and K2 by the four speakers SP1 to SP4 arranged in the three-dimensional space. The sound source K1 exists on a plane surrounded by three speakers (SP1, SP2, SP3), and the sound source K2 exists on a plane surrounded by three speakers (SP1, SP3, SP4). And

まず、2つの音源K1(w1、d1、h1)及びK2(w2、d2、h2)の設定は、一括設定可能なインターフェースを通じて音源位置設定部11により行われる。次に、座標変換部12は、音源K1及びK2の直交座標を極座標に変換し、音源K1の極座標(r1、θ1、φ1)及び音源K2の極座標(r2、θ2、φ2)を取得する。信号分配部13は、三次元振幅パンニングにより、各音源の極座標に基づき音源信号を対応するスピーカに分配する重み係数を決定する。音源K1に対する3個のスピーカ(SP1、SP2、SP3)の重み係数を(g1、g2、g3)、音源K2に対する3個のスピーカ(SP1、SP3、SP4)の重み係数を(g1’、g3’、g4)とすると、各音源に対して各スピーカから再生される信号は下記の表1の通り表わされる。   First, setting of the two sound sources K1 (w1, d1, h1) and K2 (w2, d2, h2) is performed by the sound source position setting unit 11 through an interface that can be collectively set. Next, the coordinate conversion unit 12 converts the orthogonal coordinates of the sound sources K1 and K2 into polar coordinates, and acquires the polar coordinates (r1, θ1, φ1) of the sound source K1 and the polar coordinates (r2, θ2, φ2) of the sound source K2. The signal distribution unit 13 determines a weighting coefficient for distributing the sound source signal to the corresponding speaker based on the polar coordinates of each sound source by three-dimensional amplitude panning. The weight coefficients of the three speakers (SP1, SP2, SP3) for the sound source K1 are (g1, g2, g3), and the weight coefficients of the three speakers (SP1, SP3, SP4) for the sound source K2 are (g1 ′, g3 ′). , G4), the signal reproduced from each speaker for each sound source is expressed as shown in Table 1 below.

Figure 2015149549
Figure 2015149549

各音源に対する再生信号を統合すると、各スピーカから再生される信号Yn(t)(n=1〜4)は、下記の表2の通り表わされる。   When the reproduction signals for the respective sound sources are integrated, signals Yn (t) (n = 1 to 4) reproduced from the respective speakers are represented as shown in Table 2 below.

Figure 2015149549
Figure 2015149549

信号分配部13は、表2の通り音源信号を各スピーカSP1〜4に分配することにより、音源K1及びK2の位置に定位させることができる。音源位置が増えた場合でも同様の手順で処理を行えばよい。   As shown in Table 2, the signal distribution unit 13 distributes the sound source signals to the speakers SP1 to SP4, so that the signal distribution unit 13 can be localized at the positions of the sound sources K1 and K2. Even if the number of sound source positions increases, the same procedure may be performed.

次に、複数音源配置装置を用いた立体音響効果の応用例として、コーラス効果の設定について詳述する。図8は、コーラス効果の原理を示す図である。入力信号(実線)に対して、僅かに遅延した信号(コーラス信号)(点線)が複数音源として足し合わされることによって、コーラス効果が実現される。ここで、図8の点線で示す3つの音源は、複数音源配置装置により一括設定することができる。また、図1に示す複数音源配置装置において、信号分配部13とスピーカSPとの間にコーラス効果付与回路を挿入することによって、マルチチャンネル音響システムにおいてコーラス効果を簡単に実現することができる。   Next, setting of the chorus effect will be described in detail as an application example of the stereophonic effect using the multiple sound source arrangement device. FIG. 8 is a diagram illustrating the principle of the chorus effect. A chorus effect is realized by adding a slightly delayed signal (chorus signal) (dotted line) to the input signal (solid line) as a plurality of sound sources. Here, the three sound sources indicated by the dotted lines in FIG. 8 can be collectively set by a plurality of sound source arrangement devices. In the multiple sound source arrangement device shown in FIG. 1, a chorus effect can be easily realized in a multichannel acoustic system by inserting a chorus effect applying circuit between the signal distributor 13 and the speaker SP.

図9はコーラス効果付与回路の構成例を示す。各遅延器41〜43のディレイタイムを10〜50msec程度に設定し、さらに低周波発振器51〜53により、入力信号とコーラス信号との時間間隔を周期的に変化させる(1Hz前後)。そして、入力信号とコーラス信号とを合わせて出力することによって、コーラス効果が実現される。   FIG. 9 shows a configuration example of the chorus effect applying circuit. The delay times of the delay devices 41 to 43 are set to about 10 to 50 msec, and the time interval between the input signal and the chorus signal is periodically changed (around 1 Hz) by the low frequency oscillators 51 to 53. Then, the chorus effect is realized by outputting the input signal and the chorus signal together.

このように、本実施形態によれば、複数音源を一括設定可能なインターフェースへの入力に基づき、音源信号が対応するスピーカに分配されるため、マルチチャンネル音響システムにおいて、複雑な操作を伴うことなく簡単なパラメータ設定のみで一つの音源信号から複数の音源を設定することが可能となる。例えば、5.1chサラウンドシステムや22.2マルチチャンネル音響システムなどを始めとするマルチチャンネル音響システムにおいて、複雑な操作を伴うことなく、簡単なパラメータ設定のみで、元の音源信号を各スピーカによって囲まれた平面もしくは空間内の任意の複数の位置に一度に配置し、コーラス効果を実現することができる。   As described above, according to the present embodiment, since the sound source signal is distributed to the corresponding speakers based on the input to the interface capable of setting a plurality of sound sources at once, the multichannel sound system does not involve complicated operations. It is possible to set a plurality of sound sources from a single sound source signal with only simple parameter settings. For example, in a multi-channel sound system such as a 5.1ch surround system or 22.2 multi-channel sound system, the original sound source signal is surrounded by each speaker with simple parameter settings without complicated operations. Alternatively, the chorus effect can be realized by arranging them at a plurality of arbitrary positions in the space at once.

また、インターフェースを複数音源の分布範囲及び数を入力するインターフェースオブジェクトを含むものとすることにより、ユーザーが各音源の位置をミクシングコンソールのパンポットや三次元振幅パンニング装置などを用いて個別に設定することなく、音源位置設定部11により、自動的に各音源の位置を設定することができる。すなわち、ユーザーはより簡易な操作により所望の立体音響効果を付与することが可能になる。   Also, by including an interface object that inputs the distribution range and number of multiple sound sources, the user can set the position of each sound source individually using a mixing console panpot, 3D amplitude panning device, etc. The sound source position setting unit 11 can automatically set the position of each sound source. That is, the user can give a desired stereophonic effect by a simpler operation.

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各機能部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の機能部やステップなどを一つに組み合わせたり、或いは分割したりすることが可能である。   Although the present invention has been described based on the drawings and examples, it should be noted that those skilled in the art can easily make various modifications and corrections based on the present disclosure. Therefore, it should be noted that these variations and modifications are included in the scope of the present invention. For example, the functions included in each functional unit, each step, etc. can be rearranged so that there is no logical contradiction, and multiple functional units, steps, etc. can be combined or divided into one It is.

例えば、上記実施形態において、信号分配部13は、三次元振幅パンニング法に基づく信号分配を行うものとして記載したが、他の任意の音源定位制御法を用いることができる。   For example, in the above embodiment, the signal distribution unit 13 is described as performing signal distribution based on the three-dimensional amplitude panning method, but any other sound source localization control method can be used.

また、図8、9では、入力信号に対して3つのコーラス信号が加わる場合を示しているが、入力信号に対して少なくとも一つ以上のコーラス信号が加われば、コーラス効果は実現される。ギターやシンセサイザーなどの楽器で使用されるコーラス機能では、原信号とコーラス信号を同じ一つの楽器から出すことによってコーラス効果を実現しているが、本装置では、各コーラス信号を別々のスピーカから再生することにより、マルチチャンネル音響システムにおけるコーラス効果を実現することができる。   8 and 9 show the case where three chorus signals are added to the input signal. However, if at least one chorus signal is added to the input signal, the chorus effect is realized. The chorus function used by instruments such as guitars and synthesizers achieves the chorus effect by outputting the original signal and the chorus signal from the same instrument, but this device plays each chorus signal from a separate speaker. By doing so, the chorus effect in the multi-channel sound system can be realized.

また、本発明に係る複数音源配置装置の適用範囲は、コーラス効果に限定されず、任意の立体音響効果の設定に利用できるものであり、また、複数音源配置装置は、当該任意の立体音響効果に関する好適な回路や装置と組み合わせて利用できるものである。   Further, the application range of the multiple sound source arrangement device according to the present invention is not limited to the chorus effect, and can be used for setting an arbitrary stereophonic effect. Can be used in combination with a suitable circuit or device.

例えば、立体音響効果として、コンサートホール等の拡散音場(各到来方向から音色が等しくかつ互いに無相関な音が到来する状態)を意図したサラウンド感(音の広がり感)を付与する場合、複数の音源は類似した音色を持ちかつ互いに相関が低いことが求められる。本発明による複数音源配置装置によれば、一つの音源信号に基づき類似した音色でかつ互いに相関の低い複数の音源を一括設定することが可能である。また、信号分配部13とスピーカSPとの間に好適な遅延回路等を設けることにより、臨場感の高いサラウンド感を容易に実現することが可能である。   For example, in the case of providing a surround sound (a sound spread feeling) intended as a three-dimensional sound effect, such as a diffuse sound field in a concert hall (a state in which sounds having the same timbre and uncorrelated sounds arrive from each arrival direction) Are required to have similar timbres and low correlation with each other. According to the multiple sound source arrangement device according to the present invention, it is possible to collectively set a plurality of sound sources having similar timbres and low correlations based on one sound source signal. Further, by providing a suitable delay circuit or the like between the signal distribution unit 13 and the speaker SP, it is possible to easily realize a highly realistic surround feeling.

また、複数音源を一括設定可能なインターフェースは、複数音源による音響効果毎にインターフェースオブジェクトを設定することができる。これにより、ユーザーは、音響効果毎に最適なインターフェースにより立体音響効果の設定を行うことができる。図10は、立体音響効果毎のインターフェースの一例を示す図である。例えば、図10(a)のようにコーラス効果設定用のインターフェースオブジェクト25が選択された場合、インターフェースオブジェクト21にはコーラス効果に適した複数音源が図示され、当該複数音源の情報を入力するインターフェースオブジェクト27が表示される。また、図10(b)のようにサラウンド効果設定用のインターフェースオブジェクト26が選択された場合、インターフェースオブジェクト21にはサラウンド効果に適した複数音源が図示され、当該複数音源の情報を入力するインターフェースオブジェクト28が表示される。なお、インターフェースを個別設定可能な立体音響効果はコーラス効果及びサラウンド効果に限定されず、任意の立体音響効果に対して設定可能なものである。   In addition, an interface that can set a plurality of sound sources at once can set an interface object for each sound effect of the plurality of sound sources. Accordingly, the user can set the three-dimensional sound effect with an optimum interface for each sound effect. FIG. 10 is a diagram illustrating an example of an interface for each stereophonic effect. For example, when the interface object 25 for setting the chorus effect is selected as shown in FIG. 10A, a plurality of sound sources suitable for the chorus effect are shown in the interface object 21, and an interface object for inputting information on the plurality of sound sources. 27 is displayed. Further, when the interface object 26 for setting the surround effect is selected as shown in FIG. 10B, a plurality of sound sources suitable for the surround effect are illustrated in the interface object 21, and an interface object for inputting information on the plurality of sound sources. 28 is displayed. Note that the stereophonic effect in which the interface can be individually set is not limited to the chorus effect and the surround effect, and can be set for any stereophonic effect.

さらに、立体音響効果の付加に関し、複数音源配置装置に付加的な回路、装置の追加をすることなく複数音源配置装置のみにより立体音響効果を実現することも可能である。例えば、複数音源の範囲や数、座標などから論理的に決定される各音源位置に対し、乱数等に基づく差分位置情報を付加して各音源位置に意図的な「ずれ」を発生させることにより、信号分配部13により各スピーカに分配される信号自体の遅延及び相関が変化し、コーラス効果やサラウンド効果で求められる信号間の遅延や無相関化等の効果をソフトウェア処理により実現することができる。   Furthermore, regarding the addition of the stereophonic sound effect, it is also possible to realize the stereophonic sound effect only by the multiple sound source placement device without adding an additional circuit or device to the multiple sound source placement device. For example, for each sound source position that is logically determined from the range, number, coordinates, etc. of multiple sound sources, by adding differential position information based on a random number or the like to generate an intentional “deviation” at each sound source position The delay and correlation of the signal itself distributed to each speaker by the signal distributor 13 changes, and the effects such as delay between signals and decorrelation required by the chorus effect and the surround effect can be realized by software processing. .

10 制御部
11 音源位置設定部
12 座標変換部
13 信号分配部
20 表示部
21〜28 インターフェースオブジェクト
30 操作部
41〜43 遅延器
51〜53 低周波発振器
SP(SP1〜4) スピーカ
DESCRIPTION OF SYMBOLS 10 Control part 11 Sound source position setting part 12 Coordinate conversion part 13 Signal distribution part 20 Display part 21-28 Interface object 30 Operation part 41-43 Delay device 51-53 Low frequency oscillator SP (SP1-4) Speaker

Claims (4)

マルチチャンネル音響信号として一つの音源信号を複数音源として配置する複数音源配置装置であって、
前記複数音源を設定するインターフェースを表示する表示部と、
前記インターフェースへの入力に基づき前記複数音源の各音源の位置を設定する音源位置設定部と、
前記各音源の位置を極座標に変換する座標変換部と、
前記各音源の極座標に基づき前記音源信号を対応するスピーカに分配する信号分配部と、を備え、
前記インターフェースは、前記複数音源を一括設定可能である、複数音源分配装置。
A multiple sound source arrangement device that arranges one sound source signal as a plurality of sound sources as a multi-channel acoustic signal,
A display for displaying an interface for setting the plurality of sound sources;
A sound source position setting unit that sets the position of each sound source of the plurality of sound sources based on an input to the interface;
A coordinate converter for converting the position of each sound source to polar coordinates;
A signal distribution unit that distributes the sound source signal to a corresponding speaker based on the polar coordinates of each sound source,
The plurality of sound source distribution devices, wherein the interface can set the plurality of sound sources at once.
前記インターフェースは、前記複数音源の分布範囲及び数を入力するインターフェースオブジェクトを含む、請求項1に記載の複数音源配置装置。   The multiple sound source arrangement device according to claim 1, wherein the interface includes an interface object that inputs a distribution range and number of the multiple sound sources. 前記インターフェースは、前記複数音源による音響効果毎にインターフェースオブジェクトが設定される、請求項1に記載の複数音源配置装置。   The multiple sound source arrangement device according to claim 1, wherein an interface object is set for each sound effect of the multiple sound sources in the interface. マルチチャンネル音響信号として一つの音源信号を複数音源として配置する複数音源配置装置による複数音源配置方法であって、
前記複数音源を設定するインターフェースを表示するステップと、
前記インターフェースへの入力に基づき前記複数音源の各音源の位置を設定するステップと、
前記各音源の位置を極座標に変換するステップと、
前記各音源の極座標に基づき前記音源信号を対応するスピーカに分配するステップと、を含み
前記インターフェースは、前記複数音源を一括設定可能である、複数音源配置方法。
A multi-sound source placement method by a multi-sound source placement device that places a single sound source signal as a multi-sound source as a multi-channel sound signal,
Displaying an interface for setting the plurality of sound sources;
Setting the position of each sound source of the plurality of sound sources based on the input to the interface;
Converting the position of each sound source to polar coordinates;
Distributing the sound source signal to a corresponding speaker based on polar coordinates of each sound source, wherein the interface is capable of collectively setting the plurality of sound sources.
JP2014020414A 2014-02-05 2014-02-05 Multiple sound source placement apparatus and multiple sound source placement method Expired - Fee Related JP6254864B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014020414A JP6254864B2 (en) 2014-02-05 2014-02-05 Multiple sound source placement apparatus and multiple sound source placement method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014020414A JP6254864B2 (en) 2014-02-05 2014-02-05 Multiple sound source placement apparatus and multiple sound source placement method

Publications (2)

Publication Number Publication Date
JP2015149549A true JP2015149549A (en) 2015-08-20
JP6254864B2 JP6254864B2 (en) 2017-12-27

Family

ID=53892622

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014020414A Expired - Fee Related JP6254864B2 (en) 2014-02-05 2014-02-05 Multiple sound source placement apparatus and multiple sound source placement method

Country Status (1)

Country Link
JP (1) JP6254864B2 (en)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0591596A (en) * 1991-09-30 1993-04-09 Nippon Hoso Kyokai <Nhk> Multichannel stereo reproduction system
JPH08140199A (en) * 1994-11-08 1996-05-31 Roland Corp Acoustic image orientation setting device
JPH11352963A (en) * 1998-06-08 1999-12-24 Yamaha Corp Information display method and recording medium for recording information display program
JP2003023700A (en) * 2001-07-11 2003-01-24 Sony Corp Controller and method, recording medium, and program
JP2003302979A (en) * 2002-04-09 2003-10-24 Yamaha Corp Sound field reproducing device and control method therefor, program and recording medium
JP2004193877A (en) * 2002-12-10 2004-07-08 Sony Corp Sound image localization signal processing apparatus and sound image localization signal processing method
JP2005223747A (en) * 2004-02-06 2005-08-18 Nippon Hoso Kyokai <Nhk> Surround pan method, surround pan circuit and surround pan program, and sound adjustment console
US20080181438A1 (en) * 2005-06-16 2008-07-31 Frauhofer-Gesellschaft Zur Forderung Der Angewandten Forchung E.V. Apparatus and Method for Generating a Speaker Signal on the Basis of a Randomly Occurring Audio Source
JP2009198947A (en) * 2008-02-25 2009-09-03 Yamaha Corp Music signal output device
JP2012049967A (en) * 2010-08-30 2012-03-08 Nippon Hoso Kyokai <Nhk> Acoustic signal conversion device and program thereof and 3-dimensional acoustic panning device and program thereof
US20120057715A1 (en) * 2010-09-08 2012-03-08 Johnston James D Spatial audio encoding and reproduction
JP2013201564A (en) * 2012-03-23 2013-10-03 Yamaha Corp Acoustic processing device

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0591596A (en) * 1991-09-30 1993-04-09 Nippon Hoso Kyokai <Nhk> Multichannel stereo reproduction system
JPH08140199A (en) * 1994-11-08 1996-05-31 Roland Corp Acoustic image orientation setting device
JPH11352963A (en) * 1998-06-08 1999-12-24 Yamaha Corp Information display method and recording medium for recording information display program
JP2003023700A (en) * 2001-07-11 2003-01-24 Sony Corp Controller and method, recording medium, and program
JP2003302979A (en) * 2002-04-09 2003-10-24 Yamaha Corp Sound field reproducing device and control method therefor, program and recording medium
JP2004193877A (en) * 2002-12-10 2004-07-08 Sony Corp Sound image localization signal processing apparatus and sound image localization signal processing method
JP2005223747A (en) * 2004-02-06 2005-08-18 Nippon Hoso Kyokai <Nhk> Surround pan method, surround pan circuit and surround pan program, and sound adjustment console
US20080181438A1 (en) * 2005-06-16 2008-07-31 Frauhofer-Gesellschaft Zur Forderung Der Angewandten Forchung E.V. Apparatus and Method for Generating a Speaker Signal on the Basis of a Randomly Occurring Audio Source
JP2008547255A (en) * 2005-06-16 2008-12-25 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ Method and apparatus for generating speaker signal for randomly generated sound source
JP2009198947A (en) * 2008-02-25 2009-09-03 Yamaha Corp Music signal output device
JP2012049967A (en) * 2010-08-30 2012-03-08 Nippon Hoso Kyokai <Nhk> Acoustic signal conversion device and program thereof and 3-dimensional acoustic panning device and program thereof
US20120057715A1 (en) * 2010-09-08 2012-03-08 Johnston James D Spatial audio encoding and reproduction
JP2013541275A (en) * 2010-09-08 2013-11-07 ディーティーエス・インコーポレイテッド Spatial audio encoding and playback of diffuse sound
JP2013201564A (en) * 2012-03-23 2013-10-03 Yamaha Corp Acoustic processing device

Also Published As

Publication number Publication date
JP6254864B2 (en) 2017-12-27

Similar Documents

Publication Publication Date Title
US9514723B2 (en) Distributed, self-scaling, network-based architecture for sound reinforcement, mixing, and monitoring
CN1750717B (en) Method of reproducing audio signals and playback apparatus therefor
CN101848409A (en) Audio mixer
CN103024634B (en) A kind of processing method and processing device of audio signal
EP1790194A1 (en) Audio/visual apparatus with ultrasound
JP2022083443A (en) Computer system for achieving user-customized being-there in association with audio and method thereof
KR101543535B1 (en) A system, an apparatus, and a method for providing stereophonic sound
JP6254864B2 (en) Multiple sound source placement apparatus and multiple sound source placement method
CN109923877A (en) The device and method that stereo audio signal is weighted
US20240163624A1 (en) Information processing device, information processing method, and program
US10270551B2 (en) Mixing console with solo output
Woszczyk et al. Space Builder: An Impulse Response-Based Tool for Immersive 22.2 Channel Ambiance Design
JPH0415693A (en) Sound source information controller
Ellis-Geiger Music production for Dolby atmos and auro 3D
JP2005086537A (en) High presence sound field reproduction information transmitter, high presence sound field reproduction information transmitting program, high presence sound field reproduction information transmitting method and high presence sound field reproduction information receiver, high presence sound field reproduction information receiving program, high presence sound field reproduction information receiving method
CN109348390B (en) Realization method of immersive panoramic acoustic electronic music diffusion system
JP2022152984A (en) Audio mixer and acoustic signal processing method
JP2018067757A (en) Sound processing device and method
US20090097675A1 (en) Sound providing system
Ramakrishnan Zirkonium: Non-invasive software for sound spatialisation
Austin-Stewart et al. The Extended Stereo Speaker Configuration as an Individual Spatial Experience
Estakhrian et al. Production approaches, loudspeaker configurations, and signal processing architectures for live virtual acoustic performance
JP2013038511A (en) Audio data reproduction method and audio data reproduction apparatus
JP2014107764A (en) Position information acquisition apparatus and audio system
US11323812B2 (en) Signal processing apparatus, signal processing method, and signal processing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171201

R150 Certificate of patent or registration of utility model

Ref document number: 6254864

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees