JP2023007982A - Player fingering detection system for woodwind instrument - Google Patents

Player fingering detection system for woodwind instrument Download PDF

Info

Publication number
JP2023007982A
JP2023007982A JP2021111169A JP2021111169A JP2023007982A JP 2023007982 A JP2023007982 A JP 2023007982A JP 2021111169 A JP2021111169 A JP 2021111169A JP 2021111169 A JP2021111169 A JP 2021111169A JP 2023007982 A JP2023007982 A JP 2023007982A
Authority
JP
Japan
Prior art keywords
fingering
acoustic
woodwind instrument
player
instrument
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021111169A
Other languages
Japanese (ja)
Inventor
直行 寺下
Naoyuki Terashita
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2021111169A priority Critical patent/JP2023007982A/en
Publication of JP2023007982A publication Critical patent/JP2023007982A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Electrophonic Musical Instruments (AREA)

Abstract

To detect the fingering of a player with a device that can be easily attached/detached without degrading the operational feeling of an acoustic woodwind instrument that the user himself/herself always uses.SOLUTION: A mouthpiece having a built-in speaker is attached to an acoustic woodwind instrument. The speaker built in the mouthpiece reproduces a sound having certain frequency characteristics irrespective of time. The sound reflected in the acoustic woodwind instrument is recorded with a microphone. Fingering of a player is estimated based on a signal recorded with the microphone.SELECTED DRAWING: Figure 10

Description

特許法第30条第2項適用申請有り CHI2021 予稿,Association for Computing Machinery(発行者名)、Extended Abstracts of the 2021 CHI Conference on Human Factors in Computing Systems(刊行物名)、2021年5月8日(発行日)、https://dl.acm.org/doi/abs/10.1145/3411763.3451719(掲載アドレス) 〔刊行物等〕CHI2021 Video Preview、Association for Computing Machinery(掲載者名)、2021年4月23日(掲載日)、https://www.youtube.com/watch?v=spMeqQ4Y20U(掲載アドレス)Patent Act Article 30, Paragraph 2 application filed CHI2021 Proceedings, Association for Computing Machinery (publisher name), Extended Abstracts of the 2021 CHI Conference on Human Factors in Computing Systems (05/2020, Publication name) date of issue), https://dl. acm. org/doi/abs/10.1145/3411763.3451719 (publication address) [Publications, etc.] CHI2021 Video Preview, Association for Computing Machinery (publisher name), April 23, 2021 (publication date), https:/ /www. youtube. com/watch? v=spMeqQ4Y20U (published address)

本発明は木管楽器演奏者の運指検知に関する。 The present invention relates to fingering detection of a player of a woodwind instrument.

木管楽器演奏者の運指検知に関し、特許文献1には「本体部1の前面側に複数のキースイッチ3a~3pが配置され」との記載と「音高指定用のキースイッチ3a~3pの押圧によるON/OFFの組み合わせと、運指表の規則に従ってノートナンバとの対応関係を示す対応テーブルが予めROM56(図8)に記憶されている」との記載がある。また、特許文献2には「各操作子11の腕部11aには、それぞれ小型の磁石13が固定され、楽器本体10の周面における指操作部12に対向する部分には、フレキシブル基板14が貼り付けられている。このフレキシブル基板14における磁石13に対向する部分には、それぞれホールセンサー15が設けられている。操作子11を押圧操作し、磁石13がホールセンサー15に接近したときに、ホールセンサー15が磁石13の磁気を検出する。これによって、どの操作子11が操作されたかが検出される。」との記載がある。 Regarding the fingering detection of a woodwind player, Patent Document 1 states that "a plurality of key switches 3a to 3p are arranged on the front side of the main body 1" and that "the key switches 3a to 3p for specifying pitches are arranged." The ROM 56 (FIG. 8) stores in advance a correspondence table showing the correspondence between ON/OFF combinations by pressing and note numbers according to fingering chart rules." Further, Patent Document 2 states that "a small magnet 13 is fixed to the arm portion 11a of each operation element 11, and a flexible substrate 14 is attached to a portion of the peripheral surface of the musical instrument body 10 facing the finger operation portion 12. A Hall sensor 15 is provided on each portion of the flexible substrate 14 that faces the magnet 13. When the manipulator 11 is pressed and the magnet 13 approaches the Hall sensor 15, A Hall sensor 15 detects the magnetism of the magnet 13. This detects which operator 11 has been operated."

特開平11-85159Japanese Patent Laid-Open No. 11-85159 特開2009-258750JP 2009-258750

Laura A. Stambaugh,“An Examination of a MIDI Wind Controller for Use in Instrumental Research”,Proceedings of the International Symposium on Performance Science,2011Laura A. Stambaugh, "An Examination of a MIDI Wind Controller for Use in Instrumental Research", Proceedings of the International Symposium on Performance Science, 2011 環境省,“騒音に係る環境基準について”,[online],平成24年3月30日,[令和2年5月4日検索],インターネット<https://www.env.go.jp/kijun/oto1-1.html>Ministry of the Environment, “Environmental standards for noise”, [online], March 30, 2012, [searched May 4, 2020], Internet <https://www.env.go.jp/ kijun/oto1-1.html> Nelson Posse Lago,他1名,“The Quest for Low Latency”,PROCEEDINGS OF THE INTERNATIONAL COMPUTER MUSIC CONFERENCE,2004Nelson Posse Lago, and one others, "The Quest for Low Latency", PROCEEDINGS OF THE INTERNATIONAL COMPUTER MUSIC CONFERENCE, 2004

多くのアコースティック木管楽器は演奏時の音量が大きいため、屋内での演奏練習は困難である。屋内でアコースティック木管楽器を練習する方法の一つは、アコースティック木管楽器を模したミュージックコントローラーであるウィンドコントローラーを使用することである。演奏者はウィンドコントローラーに対し息の吹込みおよび、トーンホールをあるいはキーを模したスイッチの押下を行い、ウィンドコントローラーから得られる音量、発音タイミング、音価および音階を含む情報に基づいてシンセサイザーが出力する合成音をヘッドホンから聴くことで、小音量で演奏練習を行うことができる。ウィンドコントローラーは,合成音の音階を決定するために,運指検知手段を備えている。ここで運指は、アコースティック木管楽器に対して演奏者が押下するキーあるいは指で塞ぐトーンホールの組み合わせ、あるいはウィンドシンセサイザー対して演奏者が押下するキーあるいはスイッチの組み合わせである。以下、既存のウィンドコントローラーを演奏練習に用いる場合に生じる懸念について説明する。懸念は既存のウィンドコントロ-ラーの運指検知の手段に関する。 Many acoustic woodwind instruments are loud when played, making it difficult to practice playing indoors. One way to practice acoustic woodwind instruments indoors is to use a wind controller, a music controller that mimics an acoustic woodwind instrument. The performer blows into the wind controller and presses a tone hole or key-like switch, and the synthesizer outputs based on the information obtained from the wind controller, including volume, pronunciation timing, note value and scale. By listening to the synthesized sound through headphones, you can practice playing at a low volume. The wind controller is equipped with fingering detection means to determine the scale of the synthesized sound. Here, fingering is a combination of keys pressed by a player or tone holes closed with a finger for an acoustic woodwind instrument, or a combination of keys or switches pressed by a player for a wind synthesizer. Concerns that arise when an existing wind controller is used for performance practice will be described below. The concern relates to existing means of fingering detection in wind controllers.

特許文献1に記載の運指検知の手段は、キーを模しリターンスプリングを備えたスイッチとそれに付随する感圧センサーを用いて運指を検知する。しかし、このような構造を使用するウィンドコントローラーを用いた演奏練習は、演奏者が感じる操作感がアコースティック木管楽器と異なるため、演奏者のアコースティック木管楽器における演奏能力を十分効率的に向上させない懸念がある。演奏者が、キーを模しリターンスプリングを備えたスイッチを備えるウィンドコントローラーを使用する一部の場合においては、演奏者の演奏ミスがアコースティック木管楽器の場合と比較して増加することが報告されている(非特許文献1)。 The means for detecting fingering described in Patent Document 1 detects fingering using a switch imitating a key and having a return spring and a pressure-sensitive sensor attached thereto. However, there is a concern that playing practice using a wind controller that uses such a structure will not sufficiently and efficiently improve a player's ability to play an acoustic woodwind instrument, because the feeling of operation that the player feels is different from that of an acoustic woodwind instrument. be. It has been reported that, in some cases, when a player uses a wind controller with a switch that mimics a key and has a return spring, the player's playing errors are increased compared to acoustic woodwind instruments. (Non-Patent Document 1).

そのほか、特許文献2では、アコースティック木管楽器の各キーにホール効果センサーを取り付けることで運指を検知し、ウィンドコントローラーを構成する。この場合、演奏者はアコースティック木管楽器本来の操作感が得られるが、このウィンドコントローラーを用いた練習は、演奏者が常用する楽器を使用した際の演奏能力を十分に向上させない懸念がある。これは、アコースティック木管楽器は同一モデルの楽器であっても個体ごとに各キーを押さえるのに要する力が異なり、ウィンドコントローラーを構成するのに用いるアコースティック木管楽器と演奏者が常用するアコースティック木管楽器との間に操作感の差異があるためである。また、演奏者が常用するアコースティック木管楽器の演奏感を得る目的で演奏者が常用する楽器へ前期センサーを取り付けウィンドコントローラーとして使用する場合、演奏者に与える時間的な負担が大きいことが想定される。これは、演奏者が常用するアコースティック木管楽器をウィンドコントローラーとして使用した後、演奏者が通常のアコースティック音声を発する演奏を行う際に、音色や美観に影響を与える懸念から前期センサーを取り外した場合、再度常用する楽器をウィンドコントローラーとして使用するために前期センサーの取り付け作業を再度行う必要があるためである。前期センサーの取り付けにおいて、演奏者はキーと同数程度のセンサーと導線を演奏操作に支障がないように取り付ける必要があり、実装にかかる演奏者の時間的コストが大きいことが想定される。 In addition, in Patent Document 2, fingering is detected by attaching a Hall effect sensor to each key of an acoustic woodwind instrument to constitute a wind controller. In this case, the player can obtain the original feeling of operating the acoustic woodwind instrument, but there is a concern that practice using this wind controller will not sufficiently improve the performance ability of the player when using the instrument that the player regularly uses. This is because acoustic woodwind instruments require different amounts of force to press each key, even if they are of the same model. This is because there is a difference in operational feeling between In addition, if the instrument used by the player is used as a wind controller by attaching the sensor to the acoustic woodwind instrument that is commonly used by the player for the purpose of obtaining a playing feeling, it is assumed that the time burden imposed on the player will be large. . This is because, after using an acoustic woodwind instrument that is commonly used by a performer as a wind controller, when the performer performs a performance that emits a normal acoustic voice, if the front sensor is removed due to concerns that it will affect the tone and aesthetics, This is because it is necessary to re-install the pre-sensor in order to use the instrument that is used regularly as a wind controller. When installing the sensors, the player needs to install as many sensors and conductors as there are keys so as not to hinder the playing operation.

以上を考慮した本発明の課題は、容易に着脱可能な装置を用いて演奏者に自身の常用するアコースティック木管楽器の操作感を損なわせることなく演奏者の運指を検知することである。 In view of the above, it is an object of the present invention to detect a player's fingerings using an easily attachable/detachable device without impairing the player's sense of operation of his/her usual acoustic woodwind instrument.

スピーカーを内蔵したマウスピースをアコースティック木管楽器に取り付け、マウスピースに内蔵されたスピーカーが時間に依らず一定の周波数特性をもつ音声を再生し、アコースティック木管楽器管内で反射した前期音声をマイクロフォンで収録し、前記マイクロフォンが収録した信号に基づいて演奏者の運指を推定する。 A mouthpiece with a built-in speaker is attached to an acoustic woodwind instrument, the speaker built into the mouthpiece reproduces sound with constant frequency characteristics regardless of time, and the first sound reflected inside the acoustic woodwind instrument is recorded with a microphone. , to estimate the fingering of the performer based on the signals recorded by the microphone;

容易に着脱可能な装置を用いて演奏者に自身の常用するアコースティック木管楽器の操作感を損なわせることなく演奏者の運指を検知することができる。 To detect a player's fingering by using an easily attachable/detachable device without impairing the player's operational feeling of an acoustic woodwind instrument that he or she usually uses.

実施例1に記載の運指検知システムに係るブロック図である。2 is a block diagram of the fingering detection system described in Example 1. FIG. 実施例1に記載のスピーカーの取り付け位置を例示したものである。4 illustrates the mounting position of the speaker described in Example 1. FIG. 実施例1に記載の運指推定部の処理内容の例を示すフローチャートである。5 is a flowchart showing an example of processing contents of a fingering estimation unit described in Embodiment 1; 実施例1に記載のマイクロフォンが取得する信号xとサンプリング時間Δtと運指推定を行う周期ΔTの関係を示す図である。4 is a diagram showing the relationship between the signal x acquired by the microphone according to the first embodiment, the sampling time Δt, and the cycle ΔT for fingering estimation. FIG. 実施例1に記載の運指検知システムに係る装置図である。FIG. 2 is a device diagram relating to the fingering detection system described in Example 1; 実施例2に記載の運指検知システムに係るブロック図である。FIG. 11 is a block diagram of the fingering detection system according to the second embodiment; FIG. 実施例2に記載の気圧センサーおよび部材の取り付け位置を例示したものである。4 illustrates the mounting positions of the air pressure sensor and members described in Example 2. FIG. 実施例2に記載の演奏情報制御部が取得する気圧センサー出力電圧値および運指番号の時間推移の例を示す図である。FIG. 10 is a diagram showing an example of time transition of an air pressure sensor output voltage value and a fingering number acquired by the performance information control unit described in Example 2; 実施例2に記載の運指検知システムに係る装置図である。FIG. 10 is a device diagram of the fingering detection system described in Example 2; 実施例2に記載の運指検知システムを演奏者が使用した場合の構成を例示したものである。10 illustrates a configuration when a player uses the fingering detection system described in Example 2. FIG. 実施例2に記載の遮音隔壁の取り付け位置を例示したものである。3 illustrates the mounting position of the sound insulation partition described in Example 2. FIG.

以下、図面を用いて実施例を説明する。 An embodiment will be described below with reference to the drawings.

本実施例では、本発明をアコースティック木管楽器上の演奏者の運指検知に適用する場合について説明する。 In this embodiment, a case where the present invention is applied to fingering detection of a player on an acoustic woodwind instrument will be described.

本実施例において、アコースティック木管楽器はウィンドシンセサイザーと区別される実際の木管楽器である。ここで、アコースティック木管楽器は演奏者の呼気によるリードの振動から生じる空気振動を管内部で増幅させて発音し、管側面に開けられたトーンホールの開閉によって特に増幅される周波数を決定することで、発音される音の音階を変化させる楽器である。演奏者は楽器側面に取り付けられたキーを押さえる、あるいはトーンホールを指の腹でふさぐことでトーンホールの開閉を行う。このとき、押さえられたキー、あるいはふさがれたトーンホールの組み合わせを運指と呼ぶ。運指検知は、運指情報を出力することであり、運指情報は例えば、検知対象の運指の各運指に割り当てられる運指番号である。運指番号は自然数であり、例えば一般的なアルトサクソフォンの音域(B♭3~F♭6)に対応する運指を検知対象とする場合、「1,2,…,32」のいずれかである。 In this embodiment, acoustic woodwinds are actual woodwinds as distinguished from wind synthesizers. Here, an acoustic woodwind instrument amplifies the air vibration generated by the vibration of the reed by the player's exhalation inside the tube to produce a sound. , is an instrument that changes the scale of the sound produced. The player opens and closes the tone holes by pressing the keys attached to the side of the instrument or by covering the tone holes with the pads of the fingers. At this time, the combination of pressed keys or blocked tone holes is called fingering. Fingering detection is to output fingering information, and the fingering information is, for example, a fingering number assigned to each fingering of the fingering to be detected. Fingering numbers are natural numbers. be.

図1は実施例1に係る運指検知システム100の構成を示すブロック図である。 FIG. 1 is a block diagram showing the configuration of a fingering detection system 100 according to the first embodiment.

図1において運指検知システム100は、発声制御部101、スピーカー102、アコースティック木管楽器103、マイクロフォン104および運指推定部105を備える。 The fingering detection system 100 shown in FIG.

発声制御部101はスピーカー102で発声する信号を決定し、信号を増幅し、増幅した信号をスピーカー102に出力する。前期信号は例えばあらかじめ図1に図示しないROMから読み込む音声ファイルを図1に図示しないA/D変換部でアナログ変換したものである。音声ファイルは、スピーカー102から発音される音声の周波数特性が時間に対し一定となることを特徴とする。前期音声ファイルは例えばガウス分布からサンプリングした値を並べた系列データであり、該系列データは、すべての周波数で同じ強度であり時間によってその特性が変化しないホワイトノイズとなることが期待される。音声ファイルはあらかじめ図1に図示しないROMに保存される。 The utterance control unit 101 determines a signal to be uttered by the speaker 102 , amplifies the signal, and outputs the amplified signal to the speaker 102 . The first signal is, for example, an audio file read in advance from a ROM (not shown in FIG. 1) and analog-converted by an A/D converter (not shown in FIG. 1). A sound file is characterized in that the frequency characteristics of the sound emitted from the speaker 102 are constant with respect to time. The audio file is, for example, series data in which values sampled from a Gaussian distribution are arranged, and the series data is expected to be white noise whose intensity is the same at all frequencies and whose characteristics do not change with time. A voice file is stored in advance in a ROM (not shown in FIG. 1).

スピーカー102は前期増幅された信号に基づいて音声を発生する。スピーカー102はアコースティック木管楽器103内部に取り付けられることを特徴とする。これは、マイクロフォン104が録音する信号の周波数特性が、運指によって決定されるアコースティック木管楽器103の周波数特性を良く反映する必要があるためである。さらに、検知対象のすべての運指について運指を検知できるようにするため、スピーカー102は検知対象のすべての運指に対応するアコースティック木管楽器103の有効管路のうち最も短い有効管路内に取り付けられる必要がある。スピーカー102の取り付け位置は例えば、マウスピース内部である。サクソフォンのマウスピース内部にスピーカー102を取り付けた場合のマウスピースの内部構造の例を図2に示す。図2においてスピーカー102はマウスピース内部に、アコースティック木管楽器103内部の空気を振動を効率的に振動させるように取り付けられる。例えば、スピーカーがコイルとマグネットと振動板で構成される円形のスピーカーユニットである場合、振動板が露出する方向を管体側にしてマウスピースにはめ込まれる。また、スピーカー102はアコースティック木管楽器103への着脱が容易であることを特徴とする。このため例えば、スピーカー102は演奏者が通常演奏時に使用するマウスピースとは異なるマウスピースの内部に取り付けられる。この場合、演奏者はマウスピースの交換によって容易にスピーカー102を着脱できる。 Speaker 102 generates sound based on the pre-amplified signal. The speaker 102 is characterized by being installed inside the acoustic woodwind instrument 103 . This is because the frequency characteristics of the signal recorded by the microphone 104 must well reflect the frequency characteristics of the acoustic woodwind instrument 103 determined by fingering. Furthermore, in order to detect all fingerings to be detected, the speaker 102 is placed in the shortest effective pipe of the acoustic woodwind instrument 103 corresponding to all fingerings to be detected. must be attached. The mounting position of the speaker 102 is, for example, inside the mouthpiece. FIG. 2 shows an example of the internal structure of a saxophone mouthpiece in which the speaker 102 is attached. In FIG. 2, the speaker 102 is mounted inside the mouthpiece so as to effectively vibrate the air inside the acoustic woodwind instrument 103 . For example, when the speaker is a circular speaker unit composed of a coil, a magnet, and a diaphragm, it is fitted into the mouthpiece with the direction in which the diaphragm is exposed facing the tubular body. Also, the speaker 102 is characterized in that it can be easily attached to and detached from the acoustic woodwind instrument 103 . For this reason, for example, the speaker 102 is mounted inside a mouthpiece that is different from the mouthpiece that the player normally uses during playing. In this case, the player can easily attach and detach the speaker 102 by exchanging the mouthpiece.

アコースティック木管楽器103は、楽器内のスピーカーが発する音の一部の周波数に対応する強度を増幅あるいは減衰させ、管内外における空気振動の周波数特性を変化させる。アコースティック木管楽器103は演奏者の運指によって前期周波数特性を変化させるため、変化した周波数特性は運指ごとに異なることが期待される。アコースティック木管楽器103は、例えばサクソフォンである。 The acoustic woodwind instrument 103 amplifies or attenuates the intensity corresponding to some frequencies of the sound emitted by the speaker in the instrument, and changes the frequency characteristics of air vibration inside and outside the tube. Since the acoustic woodwind instrument 103 changes the initial frequency characteristic according to the fingering of the player, the changed frequency characteristic is expected to differ for each fingering. The acoustic woodwind instrument 103 is, for example, a saxophone.

マイクロフォン104はマイクロフォン104周囲の空気振動を電気信号に変換し出力する。マイクロフォン104は前期周波数特性の変化した空気振動を観測できる位置に取り付けられればよく、例えばアコースティック木管楽器103の終端のベルに、ばねクリップを用いて取り付けられる。 The microphone 104 converts air vibrations around the microphone 104 into electrical signals and outputs the electrical signals. The microphone 104 may be attached at a position where it can observe air vibrations with changed frequency characteristics, for example, attached to the bell at the end of the acoustic woodwind instrument 103 using a spring clip.

運指推定部105はマイクロフォン104から電気信号を取得し、電気信号に基づいて運指情報を出力する。運指推定部105は時刻tの演奏者の運指情報を出力するため、例えば図3に示す処理を実行する。 A fingering estimation unit 105 acquires an electrical signal from the microphone 104 and outputs fingering information based on the electrical signal. The fingering estimation unit 105 executes the processing shown in FIG. 3, for example, in order to output the player's fingering information at time t.

ステップ301:図1に図示しないROMから運指推定に使用する運指推定モデルのパラメータベクトルを取得し、ステップ302に進む。運指推定モデルは、マイクロフォン104から取得される信号を入力に運指情報を出力する関数である。運指推定モデルは例えば、入力としてマイクロフォン104が観測するΔt秒間の信号をデジタル変換して得られるデジタル信号に短時間フーリエ変換を適用して算出されるパワースペクトル密度ベクトルを受けとり、運指番号を出力する多項ロジスティック回帰モデルである。運指推定モデルは、出力される運指番号が、時刻t-Δt秒から時刻t秒までの間の演奏者の運指に対応する運指番号をできるだけ正確に推定する必要がある。このため、例えばモデルのパラメータはあらかじめ、デジタル信号のパワースペクトル密度ベクトルと、デジタル信号の取得された時刻の演奏者の運指に対応する運指番号のペアの集合を用いて最尤推定で学習され、図1に図示しないROMに格納される。また、Δtは一回の運指推定に要するサンプリング時間である。Δtは演奏者の運指の変化に十分小さな遅延で追従するために、一般的な楽曲で用いられる音価より十分小さな値であり、かつ、運指推定に十分な周波数解像度が得られるだけ十分に大きい必要がある。Δtは例えば、30ミリ秒である。
ステップ302:現時刻をτとし、tにτ+Δtをセットし、ステップ303に進む。
ステップ303:τ=tとなるまで待機し、ステップ304に進む。この間マイクロフォン104から取得されたアナログ信号は図1に図示しないA/D変換部でフレームレートf回/秒の頻度でデジタル信号に変換され図1に図示しないRAMに書き込まれる。
ステップ304:時刻t-Δt秒から時刻t秒までの間のデジタル信号xをRAMから取得し、ステップ305に進む。xはサンプリングレートをfとするとき長さfΔtのベクトルである。
ステップ305:短時間フーリエ変換を用いてxを複素周波数ベクトルに変換し、さらに該複素周波数ベクトルの各要素の大きさを二乗して得られるパワースペクトル密度ベクトルXを取得し、ステップ306に進む。
ステップ306:運指推定モデルにXを入力し運指番号を取得し、出力し、ステップ308に進む。
ステップ308:tにt+ΔTを代入しステップ303に進む。ここでΔTは運指推定を行う周期である。ΔTは演奏者の運指の変化に十分小さな遅延で追従するために、一般的な楽曲で用いられる音価より十分小さな値に設定される必要がある。ΔTは例えば、5ミリ秒である。ステップ3はΔT秒ごとに複数回実行される。ΔTおよびΔtと、任意の繰り返し回数Nとその次の繰り返しN+1のステップ304における異なるxとの関係を図4に図示する。図4に示すようにΔT<Δtの場合、隣接する二回のxはそれらの一部に同一の信号を含む。
Step 301: Acquire the parameter vector of the fingering estimation model used for fingering estimation from the ROM (not shown in FIG. 1), and proceed to step 302 . The fingering estimation model is a function that receives a signal obtained from the microphone 104 and outputs fingering information. For example, the fingering estimation model receives a power spectrum density vector calculated by applying a short-time Fourier transform to a digital signal obtained by digitally converting a signal for Δt seconds observed by the microphone 104 as an input, and calculates the fingering number. The output is a multinomial logistic regression model. The fingering estimation model should estimate as accurately as possible the fingering numbers that the output fingering numbers correspond to the player's fingerings from time t−Δt seconds to time t seconds. For this reason, for example, model parameters are learned in advance by maximum likelihood estimation using a set of pairs of fingering numbers corresponding to the power spectrum density vector of the digital signal and the fingering of the performer at the time the digital signal was acquired. and stored in a ROM (not shown in FIG. 1). Δt is the sampling time required for one fingering estimation. Δt is a value sufficiently smaller than the note value used in general music in order to follow changes in the fingering of the performer with a sufficiently small delay, and is sufficient to obtain sufficient frequency resolution for fingering estimation. need to be big. Δt is, for example, 30 milliseconds.
Step 302: Set the current time to τ, set t to τ+Δt, and proceed to step 303 .
Step 303: Wait until τ=t, and proceed to step 304; During this time, the analog signal acquired from the microphone 104 is converted into a digital signal by an A/D converter (not shown in FIG. 1) at a frame rate of f times/second and written to a RAM (not shown in FIG. 1).
Step 304: Acquire the digital signal x from time t−Δt seconds to time t seconds from the RAM, and proceed to step 305 . x is a vector of length fΔt where f is the sampling rate.
Step 305: Convert x into a complex frequency vector using short-time Fourier transform, and obtain a power spectral density vector X obtained by squaring the magnitude of each element of the complex frequency vector, and proceed to step 306;
Step 306: Input X into the fingering estimation model to obtain and output the fingering number, and proceed to step 308;
Step 308 : Substitute t+ΔT for t and proceed to step 303 . Here, ΔT is the cycle of fingering estimation. ΔT needs to be set to a value sufficiently smaller than the note value used in general music in order to follow changes in the fingering of the performer with a sufficiently small delay. ΔT is, for example, 5 milliseconds. Step 3 is executed multiple times every ΔT seconds. The relationship between ΔT and Δt versus a given number of iterations N and different x in step 304 for the next iteration N+1 is illustrated in FIG. If ΔT<Δt, as shown in FIG. 4, two adjacent x's contain the same signal in their portion.

運指検知システム100は例えば図5に記載のハードウェア構成を備える。図5において運指検知システム100は、マイクロフォン104、スピーカー102、アンプ501、A/D変換部502、バス503、RAM504、ROM505およびCPU506を備える。ROM505は発声制御部101が使用する音声ファイルおよび運指推定部105が使用する運指推定モデルのパラメータベクトルを格納する不揮発性メモリである。CPU506は発声制御部101および運指推定部105の演算に用いられ、RAM504は前期演算時に使用される揮発性メモリである。バス503はA/D変換部502、RAM504、ROM505およびCPU506を接続する。A/D変換部502はマイクロフォン104から取得される電圧をデジタル値に、バス503から取得される音声ファイルに基づくデジタル信号をアナログ信号に変換する。アンプ501は前期アナログ信号を増幅し、スピーカー102に出力する。 The fingering detection system 100 has the hardware configuration shown in FIG. 5, for example. The fingering detection system 100 in FIG. The ROM 505 is a non-volatile memory that stores an audio file used by the utterance control unit 101 and a parameter vector of a fingering estimation model used by the fingering estimation unit 105 . A CPU 506 is used for calculations of the utterance control unit 101 and the fingering estimation unit 105, and a RAM 504 is a volatile memory used during the previous calculation. A bus 503 connects the A/D converter 502 , RAM 504 , ROM 505 and CPU 506 . The A/D converter 502 converts the voltage obtained from the microphone 104 into a digital value, and the digital signal based on the audio file obtained from the bus 503 into an analog signal. The amplifier 501 amplifies the analog signal and outputs it to the speaker 102 .

本発明によれば、運指検知システムは、容易に着脱可能な装置を用いて演奏者に自身の常用するアコースティック木管楽器の操作感を損なわせることなく演奏者の運指を検知することができる。 According to the present invention, the fingering detection system uses an easily attachable/detachable device to detect the player's fingering without impairing the player's sense of operation of the acoustic woodwind instrument that he or she usually uses. .

本実施例の図5で、アンプ501はマイクロフォン104が接続されるバス503に接続されるとしたが、アンプ501およびスピーカー102はマイクロフォン104が接続されるバス503と電気的および物理的に独立した装置内に構成されていてもよい。この場合、前記独立した装置はアンプ501、スピーカー102、A/D変換部、バス、ROM,RAMおよびCPUを備え、該A/D変換部、ROM、RAMおよびCPUはマイクロフォン104が接続されるバス503に接続されるA/D変換部502、ROM505、RAM504、およびCPU506とそれぞれ異なるものである。 Although the amplifier 501 is connected to the bus 503 to which the microphone 104 is connected in FIG. 5 of this embodiment, the amplifier 501 and the speaker 102 are electrically and physically independent of the bus 503 to which the microphone 104 is connected. It may be configured within the device. In this case, the independent device comprises an amplifier 501, a speaker 102, an A/D converter, a bus, a ROM, a RAM and a CPU, and the A/D converter, ROM, RAM and CPU are connected to the bus to which the microphone 104 is connected. They are different from the A/D converter 502, ROM 505, RAM 504, and CPU 506 connected to 503, respectively.

また、本実施例でスピーカー102はマウスピース内部に取り付けられるとしたが、検知対象のすべての運指に対応するアコースティック木管楽器103の有効管路のうち最も短い有効管路内に取り付けられていればよい。例えば、スピーカー102はサクソフォンのネック内部に取り付けられてもよい。
また、本実施例でアコースティック木管楽器103はサクソフォンであるとしたが、ウィンドシンセサイザーと区別される実際の木管楽器であればよく、例えばクラリネット、オーボエ、フルートであってもよい。
In addition, in this embodiment, the speaker 102 is attached inside the mouthpiece, but it should be attached in the shortest effective duct of the acoustic woodwind instrument 103 corresponding to all the fingerings to be detected. Just do it. For example, speaker 102 may be mounted inside the neck of a saxophone.
Also, although the acoustic woodwind instrument 103 is a saxophone in this embodiment, it may be any actual woodwind instrument that is distinguished from a wind synthesizer, such as a clarinet, an oboe, or a flute.

また、本実施例で運指推定部105はパワースペクトル密度ベクトルを入力に運指番号を出力する多項ロジスティック回帰モデルを用いるとしたが、マイクロフォン104から取得される信号を入力に運指情報を出力する関数を用いればよい。例えば、運指推定部105は順序ロジスティック回帰を用いてパワースペクトル密度ベクトルを入力に運指番号を推定してもよいし、線形回帰モデルを用いてデジタル信号を入力に各運指に対応する音階の周波数を推定してもよいし、学習に依らないルールベースのモデル、例えばパワースペクトル密度ベクトルの最大値を出力する関数を用いて特に増幅される周波数を推定してもよい。線形回帰モデルなどを用い推定値が周波数となる場合は、推定された周波数に最も近い周波数をもつ音階に対応する運指の運指番号を出力する。 In the present embodiment, the fingering estimation unit 105 uses a multinomial logistic regression model that outputs a fingering number to a power spectrum density vector as an input. You can use a function that For example, the fingering estimator 105 may use an ordinal logistic regression to estimate the fingering numbers with the power spectrum density vector as an input, or may use a linear regression model to estimate the scale corresponding to each fingering with a digital signal as an input. , or a non-learning rule-based model, such as a function that outputs the maximum value of the power spectral density vector, may be used to estimate the frequencies that are particularly amplified. When the estimated value is the frequency using a linear regression model or the like, the fingering number corresponding to the scale having the frequency closest to the estimated frequency is output.

また、本実施例で検知対象の運指はアコースティック木管楽器の音域に対応する全運指をとしたが、検知対象の運指はこれら全運指の一部であってもよいし、類似した運指を同一運指として扱ってもよい。類似した運指を同一運指として扱う場合の例は、運指推定部105が高い精度で識別できない運指ペアを同一運指として扱う場合である。前期運指ペアは例えば、サクソフォンにおいてオクターブキーの有無だけが異なる2つの運指である。ただしこの場合、運指情報の決定にはオクターブキー押下の有無の情報が別途必要である。このために、例えば運指検知システム100は、オクターブキーが押下されている間だけオンになるスイッチを備え、運指推定部105は前期スイッチの状態にもとづいて推定した運指がオクターブキーの押下を含むものか否かを決定することができる。前期スイッチは、例えばオクターブキーと楽器管体の間に取り付けられるボタンスイッチである。このような単一のスイッチの取り付けは、本発明の、アコースティック木管楽器への着脱の容易性を損なわない。 In this embodiment, the fingerings to be detected are all fingerings corresponding to the sound range of the acoustic woodwind instrument, but the fingerings to be detected may be a part of these fingerings or similar fingerings. Fingerings may be treated as identical fingerings. An example of handling similar fingerings as identical fingerings is a case where fingering pairs that cannot be identified with high accuracy by the fingering estimation unit 105 are handled as identical fingerings. The first fingering pair is, for example, two saxophone fingerings that differ only in the presence or absence of octave keys. However, in this case, information on whether or not the octave key is pressed is separately required for determining the fingering information. For this reason, for example, the fingering detection system 100 has a switch that is turned on only while the octave key is pressed, and the fingering estimation unit 105 detects the fingering that is estimated based on the state of the switch. can be determined whether it contains The early switch is, for example, a button switch attached between the octave key and the instrument tube. Such a single switch attachment does not compromise the ease of attaching and detaching the present invention to an acoustic woodwind instrument.

本実施例は、実施例1において、運指検知システム100がさらに振動抑制部、呼気検知部、演奏情報制御部を備えることで演奏情報を決定および出力し、さらにシンセサイザーおよびヘッドホンを備えることで前期演奏情報に基づいて音声を合成し、該音声を演奏者にフィードバックする場合である。ここで演奏情報は、シンセサイザーが合成音の信号を決定するために用いる情報である。例えば演奏情報はMIDI形式のデータであり、「C5、音声オン、音量50」のような情報である。 In this embodiment, the fingering detection system 100 of the first embodiment further includes a vibration suppression unit, an expiration detection unit, and a performance information control unit to determine and output performance information, and further includes a synthesizer and headphones. This is the case where voice is synthesized based on performance information and fed back to the performer. Here, the performance information is information used by the synthesizer to determine the synthesized sound signal. For example, the performance information is data in MIDI format, such as "C5, sound on, volume 50".

本実施例で運指検知システム100は実施例1で示した構成に加え図6に示す振動抑制部106、呼気検知部107、演奏情報制御部108、シンセサイザー109およびヘッドホン110を備える。以下、本実施例で追加された構成について説明する。 In this embodiment, the fingering detection system 100 includes a vibration suppression unit 106, an expiration detection unit 107, a performance information control unit 108, a synthesizer 109, and headphones 110 shown in FIG. 6 in addition to the configuration shown in the first embodiment. The configuration added in this embodiment will be described below.

図7を用いて、呼気検知部107と振動抑制部106について説明する。図7に示すマウスピースは、その内部に気圧センサー703、呼気排出孔701、および部材704を備える。また、部材704の先端を部材先端705と呼ぶ。 The breath detector 107 and the vibration suppressor 106 will be described with reference to FIG. The mouthpiece shown in FIG. 7 has an air pressure sensor 703, an exhalation hole 701 and a member 704 therein. Also, the tip of the member 704 is called a member tip 705 .

呼気検知部107は、演奏情報に含まれる発音のタイミングや音価、音量を決定する目的で、呼気情報を取得し、出力する。例えば、呼気検知部107および呼気情報はそれぞれ、気圧センサー703および気圧センサー出力電圧値である。気圧センサー703は例えば、図7のようにマウスピース内部に実装される。気圧センサー703はマウスピース内部の気圧に応じて出力される電圧値の大小を変化させる。また、演奏者の呼気は呼気排出孔701を通って排出される。演奏者が息を吹き入れた際にマウスピース内部の気圧が大気圧よりも高くなるよう、呼気排出孔701は十分に小さく設計される。 The breath detector 107 acquires and outputs breath information for the purpose of determining the pronunciation timing, note value, and volume included in the performance information. For example, the breath detector 107 and breath information are the air pressure sensor 703 and the air pressure sensor output voltage value, respectively. For example, the air pressure sensor 703 is mounted inside the mouthpiece as shown in FIG. The atmospheric pressure sensor 703 changes the magnitude of the output voltage value according to the atmospheric pressure inside the mouthpiece. Also, the player's breath is discharged through the breath discharge hole 701 . The exhalation hole 701 is designed to be sufficiently small so that the air pressure inside the mouthpiece becomes higher than the atmospheric pressure when the player blows into the mouthpiece.

振動抑制部106は演奏者の息の吹き入れによってアコースティック木管楽器103の管内空気が振動することで演奏音が生じ、マイクロフォン104が観測する信号に影響を与えることや、大音量の発声が生じることを防ぐ目的でマウスピースに実装される構造物である。振動抑制部106は例えば自然リードの形状を模し、部材先端705の図7に記載の第一および第二の方向が成す平面に関する断面の輪郭が十分に大きい曲率を有し、自然リードの代わりにマウスピースに取り付けられる部材である部材704である。この場合、演奏者の息の吹き入れによって演奏音が生じるのを防ぎながら、演奏者がマウスピースを咥える際の感触を通常のマウスピースの感触に近づけることができる。 The vibration suppression unit 106 prevents the air inside the acoustic woodwind instrument 103 from vibrating due to blowing in by the player, thereby generating performance sounds, affecting signals observed by the microphone 104, and generating loud vocalizations. It is a structure mounted on the mouthpiece for the purpose of preventing The vibration suppressing portion 106 imitates, for example, the shape of a natural reed, and has a sufficiently large curvature in the cross-sectional contour of the member distal end 705 with respect to the plane defined by the first and second directions shown in FIG. A member 704 is a member that is attached to the mouthpiece. In this case, it is possible to make the feel of the player holding the mouthpiece closer to the feel of a normal mouthpiece while preventing the player from blowing into the mouthpiece to produce a performance sound.

演奏情報制御部108は、呼気検知部107から得られる呼気情報および運指推定部105から得られる運指情報を用いて、演奏情報を出力する。図8に、呼気情報が気圧センサー出力電圧値であり、運指情報が運指番号である場合の気圧センサー出力電圧値と運指番号の時間推移の例を示す。以下、図8を用いて演奏情報制御部108が演奏情報を決定する方法の例を説明する。図8において演奏情報制御部108は気圧センサー出力電圧値および運指情報をΔT秒ごとに同時に取得し、それに同期して演奏情報を出力するものとする。演奏情報制御部108は時刻1001、時刻1002、時刻1003、時刻1004および時刻1005に、以下のように演奏情報を決定し、出力する。なお、時刻1001以前の演奏情報は「音声オフ、音量0」であるとする。 The performance information control section 108 uses the breath information obtained from the breath detection section 107 and the fingering information obtained from the fingering estimation section 105 to output performance information. FIG. 8 shows an example of temporal transition of the atmospheric pressure sensor output voltage value and the fingering number when the breath information is the atmospheric pressure sensor output voltage value and the fingering information is the fingering number. An example of a method for determining performance information by the performance information control section 108 will be described below with reference to FIG. In FIG. 8, it is assumed that the performance information control unit 108 simultaneously acquires the atmospheric pressure sensor output voltage value and the fingering information every ΔT seconds, and outputs the performance information in synchronization therewith. Performance information control section 108 determines and outputs performance information at time 1001, time 1002, time 1003, time 1004 and time 1005 as follows. It is assumed that the performance information before time 1001 is "voice off, volume 0".

時刻1001: 時刻1001以前の演奏情報に「音声オフ」が含まれかつ時刻1001における気圧センサー出力電圧値が発音しきい値1006よりも小さいため、消音状態と判断し、「音声オフ、音量0」を出力する。
時刻1002: 時刻1002における気圧センサー出力電圧値が発音しきい値1006よりも大きいため発音状態と判断し、時刻1002における運指番号がA4♯に対応する「12」であるため、「A4♯、音声オン、音量50」のように出力する。音量は例えば、演奏情報の出力時刻における気圧センサー出力電圧値とあらかじめRAMに格納されたスケール係数の積で与えられる。
時刻1003:直前の演奏情報に音声オンが含まれ、気圧センサー出力電圧値が時刻1002における値および消音しきい値1007より大きく、かつ時刻1003における運指番号がA4♯に対応する「12」であるため、「A4♯、音声オン、音量60」のように出力する。これは、発音後に音量を上げる操作に対応する。
時刻1004:直前の演奏情報に音声オンが含まれ、気圧センサー出力電圧値が時刻1003における値および消音しきい値1007より大きく、かつ時刻1004における運指番号がA4に対応する「11」であるため、「A4、音声オン、音量70」のように出力する。これは、音量を上げながら音階を変更する操作に対応する。
時刻1005:直前の演奏情報に音声オンが含まれ、気圧センサー出力電圧値が消音しきい値1007より小さく、かつ時刻1005における運指番号がA4に対応する11であるため、「A4、音声オフ、音量0」のように出力する。これは、発音を止める操作に対応する。
Time 1001: Since the performance information before time 1001 includes "voice off" and the pressure sensor output voltage value at time 1001 is smaller than the sound generation threshold value 1006, it is determined that the sound is muted, and "voice off, volume 0". to output
Time 1002: Since the atmospheric pressure sensor output voltage value at time 1002 is greater than the sound generation threshold value 1006, it is determined that sound is being generated. Sound on, volume 50". The sound volume is given by, for example, the product of the air pressure sensor output voltage value at the output time of the performance information and a scale factor stored in advance in the RAM.
Time 1003: The immediately preceding performance information includes sound ON, the air pressure sensor output voltage value is greater than the value at time 1002 and the mute threshold 1007, and the fingering number at time 1003 is "12" corresponding to A4#. Therefore, "A4#, sound on, volume 60" is output. This corresponds to the operation of increasing the volume after pronunciation.
Time 1004: The immediately preceding performance information includes sound on, the air pressure sensor output voltage value is greater than the value at time 1003 and the mute threshold 1007, and the fingering number at time 1004 is "11" corresponding to A4. Therefore, output like "A4, sound on, volume 70". This corresponds to the operation of changing the scale while increasing the volume.
Time 1005: Since the immediately preceding performance information includes sound on, the air pressure sensor output voltage value is smaller than the mute threshold value 1007, and the fingering number at time 1005 is 11 corresponding to A4, "A4, sound off , volume 0”. This corresponds to an operation to stop sounding.

シンセサイザー109は演奏情報制御部108から取得する一連の演奏情報に基づいて合成音を生成し、出力する。合成音はアナログ信号であり、例えば、あらかじめ録音されたアコースティック木管楽器の音声から生成するソフトウェア音源である。 A synthesizer 109 generates and outputs synthesized sound based on a series of performance information acquired from the performance information control unit 108 . Synthetic sounds are analog signals, for example, software sound sources generated from pre-recorded acoustic woodwind sounds.

ヘッドホン110は演奏者の耳部付近に装着され、シンセサイザー109から取得し、増幅された合成音を空気振動に変換する。 Headphones 110 are worn near the ears of the performer, and convert synthesized sounds obtained from the synthesizer 109 and amplified into air vibrations.

本実施例で運指検知システム100は実施例1で示した図5のハードウェア構成に加え図9に示す気圧センサー703、出力I/F507、シンセサイザー109およびヘッドホン110を備える。気圧センサー703で取得されたアナログ信号は、マイクロフォン104と同様にA/D変換部502でデジタル信号に変換される。また、出力I/F507は演奏情報をシンセサイザー109に出力するためのインターフェースであり、例えばMIDI-OUTである。また、シンセサイザー109は出力I/F507に、ヘッドホン110はシンセサイザー109に接続される。また図9のようにA/D変換部502、バス503、RAM504、ROM505、CPU506および出力I/F507を計算装置900に格納する場合、演奏者と各ハードウェアとの関係は図10のようになる。 In this embodiment, the fingering detection system 100 includes the hardware configuration of FIG. 5 shown in Embodiment 1, and an atmospheric pressure sensor 703, output I/F 507, synthesizer 109, and headphones 110 shown in FIG. An analog signal acquired by the atmospheric pressure sensor 703 is converted into a digital signal by the A/D converter 502 in the same manner as the microphone 104 . Also, the output I/F 507 is an interface for outputting performance information to the synthesizer 109, and is, for example, MIDI-OUT. Also, the synthesizer 109 is connected to the output I/F 507 and the headphone 110 is connected to the synthesizer 109 . When the A/D converter 502, the bus 503, the RAM 504, the ROM 505, the CPU 506 and the output I/F 507 are stored in the computing device 900 as shown in FIG. Become.

本構成によれば、運指検知システム100は、音階、発音タイミング、音量および音価を含む一連の演奏情報を出力し、合成音を演奏者にフィードバックすることができる。 According to this configuration, the fingering detection system 100 can output a series of performance information including the scale, pronunciation timing, volume, and note value, and feed back synthesized sounds to the performer.

本実施例では本発明が使用される環境を限定しなかったが、本発明を住宅内での木管楽器の演奏練習に使用する場合、スピーカー102が発声する音声の音量は楽器周囲の音量が住宅環境での許容レベルを超えないように設定する。前期許容レベルは例えば非特許文献2に記載の60デシベルである。これにより、本発明の使用時に発する音量が実際の演奏のそれより小さく、実際の演奏を住宅で行う場合の騒音問題の発生を抑制することが期待される。 In the present embodiment, the environment in which the present invention is used is not limited, but when the present invention is used for practice playing a woodwind instrument in a house, the volume of the sound produced by the speaker 102 is equal to the volume of the surroundings of the instrument. Do not exceed acceptable levels for your environment. The previous permissible level is 60 decibels described in Non-Patent Document 2, for example. As a result, the sound volume generated when using the present invention is lower than that of an actual performance, and it is expected that the occurrence of noise problems when performing an actual performance at home can be suppressed.

また本実施例で、振動抑制部106は自然リードの形状を模し、部材先端705の断面が十分に大きい曲率を有し、自然リードの代わりにマウスピースに取り付けられる部材704であるとしたが、演奏者の息の吹き入れによってアコースティック木管楽器103管内空気が振動することで演奏音が生じるのを防ぐ構造物であればよい。例えば、振動抑制部106は自然リードの代わりに取り付けられる、自然リードと同形状で弾性係数が十分に高い部材であってもよいし、取り付けられた自然リードの振動が励起しないよう、自然リードを楽器管内の空間と物理的隔てる構造であってもよい。 In this embodiment, the vibration suppressing portion 106 is a member 704 that imitates the shape of a natural reed, has a sufficiently large curvature in the cross section of the member tip 705, and is attached to the mouthpiece instead of the natural reed. Any structure may be used as long as it prevents the air inside the acoustic woodwind instrument 103 from vibrating due to the breath of the player blowing into it. For example, the vibration suppression part 106 may be a member having the same shape as the natural reed and having a sufficiently high elastic modulus, which is attached instead of the natural reed. It may be a structure that physically separates it from the space inside the instrument tube.

また、本実施例ではアコースティック木管楽器はサクソフォンであるとしたが、アコースティック木管楽器はフルートやピッコロなどエアリードを備える楽器であってもよい。この場合、振動抑制部106は例えば、演奏者が歌口に息を吹きあてる際に生じる空気振動によって管内の空気振動が励起しないよう、歌口が通ずる空間と楽器管内の空間とを物理的隔てる構造である。 Also, in this embodiment, the acoustic woodwind instrument is the saxophone, but the acoustic woodwind instrument may be a flute, piccolo, or other instrument with air reeds. In this case, the vibration suppression unit 106 physically separates the space through which the mouthpiece communicates with the space inside the instrument tube so that air vibrations generated when the player blows on the mouthpiece do not excite air vibrations in the tube. Structure.

また本実施例において本発明をアコースティック木管楽器103の練習に使用する場合、よりアコースティック木管楽器103に近い演奏感を得るには、演奏者の演奏操作のタイミングから合成音を演奏者が近くするまでにかかる遅延を十分短くする必要がある。これを考慮する場合、Δtは一般に許容される遅延よりも小さく設定される必要がある。一般的に許容される遅延が非特許文献3に記載の30ミリ秒であるとすると、運指推定部105の処理時間および運指検知後のシンセサイザー109の処理時間を考慮する場合、Δtは30ミリ秒より小さく設定される必要がある。例えばΔtは25ミリ秒に設定する。 Also, in this embodiment, when the present invention is used for practicing the acoustic woodwind instrument 103, in order to obtain a performance feeling closer to that of the acoustic woodwind instrument 103, it is necessary to adjust the timing from the player's performance operation until the player approaches the synthesized sound. delay should be sufficiently short. When considering this, Δt should generally be set smaller than the allowed delay. Assuming that the generally allowable delay is 30 milliseconds described in Non-Patent Document 3, Δt is 30 when considering the processing time of the fingering estimation unit 105 and the processing time of the synthesizer 109 after fingering detection. Must be set to less than milliseconds. For example, Δt is set to 25 milliseconds.

また、マウスピースは図11に示すような遮音隔壁702を気圧センサー703とスピーカー102の間に備えていてもよい。これにより、振動抑制部106によって演奏音が抑制される場合でも演奏者の呼気によって生じるノイズが、アコースティック木管楽器103の管内を伝わり、マイクロフォン104で収集される音声に影響を及ぼすことを防ぐことができる。遮音隔壁702は例えば円形の吸音スポンジであり、マウスピース内壁との間に隙間ができないようにマウスピース内部に接着される。 The mouthpiece may also include a sound insulation partition 702 between the air pressure sensor 703 and the speaker 102 as shown in FIG. As a result, even when the sound of the performance is suppressed by the vibration suppression unit 106, noise generated by the player's exhalation can be prevented from being transmitted through the pipe of the acoustic woodwind instrument 103 and affecting the sound collected by the microphone 104. can. The sound insulating partition 702 is, for example, a circular sound absorbing sponge, and is adhered to the inside of the mouthpiece so as not to form a gap with the inner wall of the mouthpiece.

100…運指検知システム、103…アコースティック木管楽器、104…マイクロフォン、101…発声制御部、102…スピーカー、105…運指推定部、501…アンプ、502…A/D変換部、503…バス、504…RAM、505…ROM、506…CPU、106…振動抑制部、107…呼気検知部、108…演奏情報制御部、109…シンセサイザー、110…ヘッドホン、703…気圧センサー、701…呼気排出孔、702…遮音隔壁、704…部材、705…部材先端、507…出力I/F、900…計算装置、1006…発音しきい値、1007…消音しきい値 DESCRIPTION OF SYMBOLS 100... Fingering detection system, 103... Acoustic woodwind instrument, 104... Microphone, 101... Vocalization control part, 102... Speaker, 105... Fingering estimation part, 501... Amplifier, 502... A/D conversion part, 503... Bus, 504...RAM, 505...ROM, 506...CPU, 106...Vibration suppression unit, 107...Expiration detection unit, 108...Performance information control unit, 109...Synthesizer, 110...Headphones, 703...Air pressure sensor, 701...Expiration hole, 702 Sound insulation partition wall 704 Member 705 Tip of member 507 Output I/F 900 Computing device 1006 Sound generation threshold 1007 Silence threshold

Claims (4)

アコースティック木管楽器と、該アコースティック木管楽器内部に取り付けられ、時間に依らず周波数特性が一定であることを特徴とする音声を連続的に発するスピーカーと、前期アコースティック木管楽器付近に位置するマイクロフォンと、前記マイクロフォンから取得した信号に基づいて時々刻々の演奏者の前記アコースティック木管楽器に対する運指を推定することを特徴とする運指検知システム。 an acoustic woodwind instrument, a speaker mounted inside the acoustic woodwind instrument and continuously emitting sound characterized by constant frequency characteristics regardless of time, a microphone positioned near the acoustic woodwind instrument, and A fingering detection system for estimating a player's fingering on said acoustic woodwind instrument from moment to moment based on a signal acquired from a microphone. 前記マイクロフォンから取得した信号から算出したパワースペクトル密度ベクトルを入力として各運指に対応する運指番号を出力することで前記運指を推定することを特徴とする請求項1に記載の運指検知システム。 2. The fingering detection according to claim 1, wherein said fingering is estimated by outputting a fingering number corresponding to each fingering with a power spectrum density vector calculated from a signal obtained from said microphone as an input. system. 前記スピーカーが発する音声の音量が楽器周囲において60デシベル以下となることを特徴とし、演奏者の息の吹込みによる前期アコースティック木管楽器内部の空気振動の励起を防ぐ振動抑制部を備えることを特徴とする請求項1および請求項2のいずれかに記載の運指検知システム。 The sound volume emitted by the speaker is 60 decibels or less in the vicinity of the instrument, and the acoustic woodwind instrument is provided with a vibration suppressing section that prevents excitation of air vibration inside the acoustic woodwind instrument due to blowing of a player's breath. The fingering detection system according to any one of claims 1 and 2. 前記マイクロフォンから取得され、一回の前記運指の推定に使用される信号の長さが30ミリ秒未満であることを特徴とする請求項1から請求項3のいずれかに記載の運指検知システム。 Fingering detection according to any one of claims 1 to 3, wherein the length of the signal obtained from the microphone and used to estimate the fingering once is less than 30 milliseconds. system.
JP2021111169A 2021-07-03 2021-07-03 Player fingering detection system for woodwind instrument Pending JP2023007982A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021111169A JP2023007982A (en) 2021-07-03 2021-07-03 Player fingering detection system for woodwind instrument

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021111169A JP2023007982A (en) 2021-07-03 2021-07-03 Player fingering detection system for woodwind instrument

Publications (1)

Publication Number Publication Date
JP2023007982A true JP2023007982A (en) 2023-01-19

Family

ID=85112537

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021111169A Pending JP2023007982A (en) 2021-07-03 2021-07-03 Player fingering detection system for woodwind instrument

Country Status (1)

Country Link
JP (1) JP2023007982A (en)

Similar Documents

Publication Publication Date Title
EP1804236B1 (en) Performance assist apparatus of wind instrument
CN107863094B (en) Electronic wind instrument, musical sound generation device, musical sound generation method
EP2602787B1 (en) Signal processing device
JP5803720B2 (en) Electronic wind instrument, vibration control device and program
US6881890B2 (en) Musical tone generating apparatus and method for generating musical tone on the basis of detection of pitch of input vibration signal
JP6789975B2 (en) Electronic systems for generating electronic sounds that can be combined with wind instruments and musical instruments containing such systems
US11551653B2 (en) Electronic musical instrument
CN111986638A (en) Electronic wind instrument, musical sound generation device, musical sound generation method, and recording medium
JP7262347B2 (en) electronic wind instrument
JP2021139933A (en) Electronic wind instrument
JP7140083B2 (en) Electronic wind instrument, control method and program for electronic wind instrument
JPH09237087A (en) Electronic musical instrument
US7919704B2 (en) Voice signal blocker, talk assisting system using the same and musical instrument equipped with the same
JP2023007982A (en) Player fingering detection system for woodwind instrument
US9905209B2 (en) Electronic keyboard musical instrument
US20140305286A1 (en) Keyboard musical instrument, and method for reproducing half performance of pedal or key damper on keyboard musical instrument
JP5531382B2 (en) Musical sound synthesizer, musical sound synthesis system and program
JPS6224311Y2 (en)
JP7346865B2 (en) Electronic wind instrument, musical sound generation method, and program
JP4131288B2 (en) Performance assist device
JP2010066640A (en) Musical instrument
JP4768651B2 (en) Performance assist device and wind instrument
JP4661803B2 (en) Performance assist device and musical instrument
JP6305275B2 (en) Voice assist device and program for electronic musical instrument
JP2008224532A (en) Apparatus for estimating pipe length, performance aid apparatus and wind instrument

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20210716