JP2016142893A - Signal processing apparatus and signal processing system - Google Patents
Signal processing apparatus and signal processing system Download PDFInfo
- Publication number
- JP2016142893A JP2016142893A JP2015018279A JP2015018279A JP2016142893A JP 2016142893 A JP2016142893 A JP 2016142893A JP 2015018279 A JP2015018279 A JP 2015018279A JP 2015018279 A JP2015018279 A JP 2015018279A JP 2016142893 A JP2016142893 A JP 2016142893A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- performance
- unit
- signal processing
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 55
- 230000009471 action Effects 0.000 claims abstract description 20
- 238000011156 evaluation Methods 0.000 claims description 17
- 230000001133 acceleration Effects 0.000 description 19
- 238000000034 method Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 206010049816 Muscle tightness Diseases 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000010835 comparative analysis Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Landscapes
- Auxiliary Devices For Music (AREA)
Abstract
Description
この発明は、楽器演奏を評価する技術に関する。 The present invention relates to a technique for evaluating musical instrument performance.
楽器演奏の上達には、客観的な評価の元に苦手とする演奏パートや演奏法の練習を繰り返すことが重要であり、特許文献１には、このような演奏練習を可能にする演奏評価装置の発明が記載されている。 In order to improve the performance of musical instruments, it is important to repeat the practice of performance parts and performance methods that are not good at objective evaluation. Patent Document 1 discloses a performance evaluation apparatus that enables such performance practice. The invention is described.
楽器演奏の評価では、演奏音の良否で評価が下されることが一般的であり、この点は特許文献１に開示の技術も同様である。しかし、演奏音による評価のみでは不十分な場合がある。その理由は、以下の通りである。一般に演奏の良否は演奏者の身体の姿勢や身体の動き、力の入り具合（以下、姿勢、動きおよび力の入り具合をまとめて「身体状態」と呼ぶ）にも依存することが知られており、脱力した状態で演奏することが理想とされている。演奏音の良否のみで評価を下したのでは、不適切な身体状態での演奏であったとしても、演奏音が一定の水準を超えていれば良好な演奏であるとの評価が下され、姿勢等を矯正すればより高いレベルへの向上が見込めるような場合であっても、その向上の芽を摘んでしまう虞があるからである。このような不具合を回避するには、楽器を演奏中の演奏者の身体状態を評価できることが望ましいが、従来このような技術はなかった。 In the evaluation of musical instrument performance, the evaluation is generally made based on the quality of the performance sound. This is also the case with the technique disclosed in Patent Document 1. However, there are cases where evaluation based on performance sound alone is insufficient. The reason is as follows. In general, it is known that the quality of performance depends on the posture, movement, and strength of the performer (hereinafter referred to as “body state”). It is ideal to play in a weak state. Even if the performance sound was evaluated based only on the quality of the performance sound, even if the performance sound was in an inappropriate physical state, it was evaluated as a good performance if the performance sound exceeded a certain level. This is because even if the posture or the like is corrected, even if an improvement to a higher level can be expected, there is a possibility that the improvement buds may be picked. In order to avoid such problems, it is desirable to be able to evaluate the physical condition of the player who is playing the instrument, but there has been no such technique in the past.
本発明は上記課題に鑑みて為されたものであり、楽器を演奏中の演奏者の身体状態の評価を可能にする技術を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a technique that makes it possible to evaluate the physical condition of a player who is playing a musical instrument.
上記課題を解決するために本発明は、演奏者の演奏動作に応じて楽器から発せられる演奏音を表す第１の信号と前記演奏者の身体状態を表す第２の信号とを取得する信号取得手段と、前記第１の信号から演奏動作の為されたタイミングを特定する特定手段と、前記特定手段により特定されたタイミングを含む時間区間における前記第１の信号の波形の特徴量と前記第２の信号の波形の特徴量とを比較し、比較結果に応じた信号を生成する比較手段と、を有することを特徴とする信号処理装置を提供する。 In order to solve the above-described problems, the present invention provides a signal acquisition for acquiring a first signal representing a performance sound emitted from a musical instrument in response to a performance action of a performer and a second signal representing the physical state of the performer. Means, a specifying means for specifying a timing at which a performance operation is performed from the first signal, a feature quantity of the waveform of the first signal in the time interval including the timing specified by the specifying means, and the second A signal processing apparatus comprising: a comparison unit configured to compare a feature amount of a waveform of the signal and generate a signal corresponding to the comparison result.
本発明によれば、上記第１および第２の信号の波形の特徴量（ピークの高さ、ピークとなるタイミング、ピークとなるまでの傾斜、半値幅など）の比較により楽器を演奏中の演奏者の身体状態が客観的に評価される。前記比較手段により生成した信号に応じた報知を行う報知手段を設けるようにすれば、当該報知手段による報知内容を通じて身体状態の良否を演奏者に把握させつつ演奏練習を行わせることが可能になる。また、別の好ましい態様においては、上記比較手段により生成された信号を第１の信号と対応付けて記憶する記憶手段を設けても良い。このような態様によれば、記憶手段の記憶内容を通じて、楽曲を演奏し終えた後に、演奏中の身体状態の時間変化を演奏者に把握させることが可能になる。 According to the present invention, the performance while playing the musical instrument by comparing the waveform feature values (peak height, peak timing, slope until peak, half width, etc.) of the first and second signals. The physical condition of the person is evaluated objectively. By providing notification means for performing notification according to the signal generated by the comparison means, it is possible to perform performance practice while allowing the player to grasp the quality of the physical state through the notification contents by the notification means. . In another preferable aspect, a storage unit that stores the signal generated by the comparison unit in association with the first signal may be provided. According to such an aspect, it is possible to allow the player to grasp the temporal change of the physical condition during the performance after the music has been played through the stored contents of the storage means.
上記信号取得手段の具体例としては、演奏者の演奏動作に応じて楽器から発せられる演奏音を検出し当該演奏音を表す第１の信号を出力する第１のセンサと演奏動作を検出し当該演奏者の身体状態を表す第２の信号を出力する第２のセンサとが接続される外部機器インタフェース（以下、Ｉ／Ｆ）部が挙げられる。したがって、当該外部機器Ｉ／Ｆ部と上記特定手段と上記比較手段とを有する信号処理装置の上記外部機器Ｉ／Ｆ部に上記第１および第２のセンサを接続して楽器演奏の評価のための信号処理システムを構築しても良い。また、上記外部機器Ｉ／Ｆ部と当該外部機器Ｉ／Ｆ部に接続された第１および第２のセンサとにより上記信号取得手段を構成しても良い。 As a specific example of the signal acquisition means, a first sensor for detecting a performance sound emitted from a musical instrument in accordance with a performance action of a performer and outputting a first signal representing the performance sound and a performance action are detected. An external device interface (hereinafter referred to as I / F) unit connected to a second sensor that outputs a second signal representing the physical state of the performer is exemplified. Therefore, the first and second sensors are connected to the external device I / F unit of the signal processing apparatus having the external device I / F unit, the specifying unit, and the comparing unit to evaluate the musical instrument performance. A signal processing system may be constructed. Further, the signal acquisition means may be configured by the external device I / F unit and the first and second sensors connected to the external device I / F unit.
より好ましい態様においては、上記信号処理装置は、前記比較手段により生成された比較結果に応じた信号に基づいて、演奏音の音量を調整する調整手段を有することを特徴とする。調整手段による音量の調整態様の具体例としては、演奏動作の大きさに比較して音量が低い場合には音量を補填する（増加させる）一方、演奏動作の大きさに比較して音量が高い場合には音量を抑制する（低減させる）態様が考えられる。このような態様によれば、演奏者の疲労や演奏技術の未熟さにより十分に大きな動作で演奏を行っているにも拘らず演奏音の音量が不足するような場合に演奏音の音量を補填するなどの演奏補助を行うことができる。 In a more preferred aspect, the signal processing device includes an adjusting unit that adjusts the volume of the performance sound based on a signal corresponding to the comparison result generated by the comparing unit. As a specific example of the volume adjustment mode by the adjusting means, the volume is compensated (increased) when the volume is low compared to the size of the performance action, while the volume is high compared to the magnitude of the performance action. In this case, a mode in which the volume is suppressed (reduced) can be considered. According to such an aspect, the volume of the performance sound is compensated when the performance sound volume is insufficient even though the performance is performed with a sufficiently large motion due to the fatigue of the performer or imperfection of the performance technique. Performing assistance such as playing can be performed.
また、上記課題を解決するために本発明は、ＣＰＵ（Central Processing Unit）などのコンピュータを、演奏者の演奏動作に応じて楽器から発せられる演奏音を検出し当該演奏音を表す第１の信号を出力する第１のセンサの出力信号から演奏動作の為されたタイミングを特定する特定手段と、前記特定手段により特定されたタイミングを含む時間区間における前記第１の信号の波形の特徴量と前記演奏者の身体状態を検出しその身体状態を表す第２の信号を出力する第２のセンサの出力信号の前記時間区間における波形の特徴量とを比較し、比較結果に応じた信号を生成する比較手段として機能させることを特徴とするプログラム、を提供する。このようなプログラムにしたがって一般的なコンピュータを作動させることで、当該コンピュータを本発明の信号処理装置として機能させることができる。なお、このようなプログラムの具体的な配布態様としては、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）やＤＶＤ（Digital Versatile Disc）などのコンピュータ読み取り可能な記録媒体に書き込んで配布する態様や、インターネットなどの電気通信回線経由のダウンロードにより配布しても良い。 In order to solve the above-described problem, the present invention provides a computer such as a CPU (Central Processing Unit) that detects a performance sound emitted from a musical instrument in accordance with a performance performance of a performer and represents a first signal representing the performance sound. Specifying means for specifying the timing of the performance action from the output signal of the first sensor that outputs, the feature quantity of the waveform of the first signal in the time interval including the timing specified by the specifying means, and the The player's physical condition is detected and the second sensor output signal that outputs the second signal representing the physical condition is compared with the waveform feature quantity in the time interval, and a signal corresponding to the comparison result is generated. A program characterized by functioning as a comparing means is provided. By operating a general computer in accordance with such a program, the computer can function as the signal processing device of the present invention. As a specific distribution mode of such a program, a mode in which the program is written and distributed on a computer-readable recording medium such as a CD-ROM (Compact Disk-Read Only Memory) or a DVD (Digital Versatile Disc), or the Internet It may be distributed by downloading via a telecommunication line.
以下、図面を参照しつつ、本発明の実施形態について説明する。
（Ａ：第１実施形態）
図１は、本発明の第１実施形態の信号処理システムの構成例を示す図である。
この信号処理システムは、楽器演奏の評価のためのシステムであり、より正確には、楽器を演奏中の演奏者の身体状態の評価を可能にするシステムである。図１に示すように、この信号処理システムは、２つのセンサ（本実施形態では、センサ２０およびセンサ３０Ａ）と、これら２つのセンサに接続された信号処理装置１０とを含んでいる。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(A: 1st Embodiment)
FIG. 1 is a diagram showing a configuration example of a signal processing system according to the first embodiment of the present invention.
This signal processing system is a system for evaluating musical instrument performance, and more precisely, is a system that enables evaluation of the physical condition of a player who is playing the musical instrument. As shown in FIG. 1, this signal processing system includes two sensors (in this embodiment, a sensor 20 and a
本実施形態では、演奏対象の楽器はアコースティックドラム（図１では図示略）である。センサ２０は、演奏者の演奏動作に応じて上記演奏対象の楽器から発せられる演奏音を検出し、当該演奏音を表す第１の信号（本実施形態では、当該演奏音の時間波形を示すデジタル信号）を出力するセンサである。なお、センサ２０の出力信号がアナログ信号である場合にはＡ／Ｄ変換器を介してセンサ２０を信号処理装置１０に接続すれば良い。本実施形態では、センサ２０として、演奏対象の楽器の近傍に配置されたマイクロフォンが採用されている。これに対して、センサ３０Ａは、演奏者の演奏動作に応じて当該演奏者の身体状態を表すデジタル信号（以下、第２の信号）を出力するセンサである。本実施形態では、センサ３０Ａとして、演奏者の腕（スティック等を持つ腕）に巻きつけられ、当該腕の筋肉の径の変化（すなわち、筋肉の張）に応じた信号を出力する歪みセンサが採用されている。センサ３０Ａについても、その出力がアナログ信号である場合にはＡ／Ｄ変換器を介して信号処理装置１０に接続するようにすれば良い。
In the present embodiment, the musical instrument to be played is an acoustic drum (not shown in FIG. 1). The sensor 20 detects a performance sound emitted from the musical instrument to be performed in accordance with the performance operation of the performer, and a first signal representing the performance sound (in this embodiment, a digital signal indicating a time waveform of the performance sound). Signal). In addition, what is necessary is just to connect the sensor 20 to the
信号処理装置１０は、例えばパーソナルコンピュータであり、演奏対象の楽器を演奏中の演奏者（信号処理装置１０のユーザ）の身体状態の評価を行い、その評価結果を報知する処理を行う。信号処理装置１０は、図１に示すように、制御部１００、ユーザＩ／Ｆ部１１０、外部機器Ｉ／Ｆ部１２０、記憶部１３０、およびこれら構成要素間のデータ授受を仲介するバス１４０を有している。
The
制御部１００は例えばＣＰＵである。制御部１００は、記憶部１３０（より正確には不揮発性記憶部１３４）に記憶されている信号処理プログラム１３４ａを実行することにより信号処理装置１０の制御中枢として機能する。制御部１００が信号処理プログラム１３４ａにしたがって実行する処理の詳細については後に明らかにする。
The
ユーザＩ／Ｆ部１１０は、操作部と表示部とを含んでいる（図１では、何れも図示略）。操作部は、テンキーやカーソルキーを備えたキーボードである。操作部は、各種キーの押下などの入力操作がユーザによって為されるとその操作内容を表すデータを制御部１００に与える。これによりユーザの操作内容が制御部１００に伝達される。表示部は例えば液晶ディスプレイ装置である。表示部には、制御部１００による制御の下、各種画面が表示される。表示部に表示される画面の一例としては、信号処理装置１０の使用を促すメニュー画面や演奏動作についての評価結果をユーザに報知するための画面が挙げられる。
The user I /
外部機器Ｉ／Ｆ部１２０は、ＵＳＢ（Universal Serial Bus）インタフェースやパラレルインタフェースなど、各種外部機器を接続するためのインタフェースの集合体である。本実施形態では、センサ２０およびセンサ３０Ａの各々は信号線を介して外部機器Ｉ／Ｆ部１２０に接続される。センサ２０および３０Ａの各々の出力信号は外部機器Ｉ／Ｆ部１２０を介して信号処理装置１０に入力される。つまり、外部機器Ｉ／Ｆ部１２０は、センサ２０およびセンサ３０Ａの各々の出力信号を取得する信号取得手段の役割を果たす。
The external device I /
記憶部１３０は、図１に示すように揮発性記憶部１３２と不揮発性記憶部１３４とを含んでいる。揮発性記憶部１３２は例えばＲＡＭ（Random Access Memory）である。揮発性記憶部１３２は、信号処理プログラム１３４ａを実行する際のワークエリアとして制御部１００によって利用される。不揮発性記憶部１３４は、例えばフラッシュＲＯＭ（Read Only Memory）やハードディスクである。不揮発性記憶部１３４には、信号処理プログラム１３４ａが格納されている。
As shown in FIG. 1, the
制御部１００は、信号処理装置１０の電源（図示略）の投入またはリセットを契機として信号処理プログラム１３４ａを不揮発性記憶部１３４から揮発性記憶部１３２に読み出し、当該信号処理プログラム１３４ａの実行を開始する。信号処理プログラム１３４ａは、図２に示すフローチャートにおける特定処理ＳＡ１００と比較処理ＳＡ１１０とを制御部１００に実行させるプログラムである。つまり、信号処理プログラム１３４ａにしたがって作動している制御部１００は、特定処理ＳＡ１００を実行する特定手段１００ａ（図１参照）および比較処理ＳＡ１１０を実行する比較手段１００ｂ（図１参照）として機能する。これら各手段の役割（換言すれば、特定処理ＳＡ１００および比較処理ＳＡ１１０の処理内容）は以下の通りである。
The
特定手段１００ａは、信号取得手段（外部機器Ｉ／Ｆ部１２０）により取得された第１の信号（すなわち、センサ２０の出力信号）を解析して演奏動作の為されたタイミング（以下、演奏タイミング）を特定する。特定手段１００ａにおける演奏タイミングの特定態様については種々の態様が考えられる。例えば、第１の信号のエンベロープ（包絡線）の振幅が第１の閾値未満である場合を無音状態とし、当該振幅が当該第１の閾値以上となった時刻を演奏タイミングとする態様や、上記エンベロープがピークとなった時刻（すなわち、上記エンベロープの振幅が増加から減少に転じた時刻）を演奏タイミングとする態様が考えられる。なお、第１の信号のエンベロープの算出アルゴリズムについては、ローパスフィルタ処理などの既存のアルゴリズムを用いれば良く、上記第１の閾値やローパスフィルタ処理におけるカットオフ周波数については、演奏対象の楽器の音域等に応じて定めるようにすれば良い。
The specifying
比較手段１００ｂは、特定手段１００ａにより特定された演奏タイミングを含む所定時間長の時間区間（当該演奏タイミングを始点または終点とする区間、或いは当該演奏タイミングを中点とするなど当該演奏タイミングを内包する時間区間）における第１の信号の波形の特徴量と第２の信号の波形の特徴量とを比較し、その比較結果を示す信号（以下、比較結果信号）を生成する。ここで比較対象の特徴量としてどのようなものを用いるかなど、比較手段１００ｂにおける比較態様については種々の態様が考えられる。具体的には、以下の（ａ）〜（ｄ）の各態様が挙げられる。
The
（ａ）第１に、上記時間区間内の各時刻における第１の信号の振幅と第２の信号の振幅を上記特徴量とし、両者の比（第１の信号の振幅を第２の信号の振幅で除した値）を算出して所定の閾値と比較する態様が考えられる。本実施形態では、この態様（ａ）が採用されている。本実施形態の比較手段１００ｂは、第１の信号の振幅と第２の信号の振幅の比が上記閾値を上回っている場合には値が１の比較結果信号を生成し、上記閾値以下である場合には値が０の比較結果信号を生成する。そして、制御部１００は、値が０の比較結果信号が上記比較手段により生成された場合には、力んでいる（或いは疲れている）旨を演奏者に報知するメッセージ（或いはリラックスを促すメッセージ）を表示部に表示させる一方、値が１の比較結果信号が生成された場合にはメッセージの表示を行わない。つまり、制御部１００は比較手段１００ｂにより生成された比較結果信号に応じた報知を行う報知手段としても機能する。
(A) First, the amplitude of the first signal and the amplitude of the second signal at each time in the time interval are used as the feature amount, and the ratio between them (the amplitude of the first signal is the second signal's amplitude). A mode in which the value divided by the amplitude is calculated and compared with a predetermined threshold value is conceivable. In this embodiment, this aspect (a) is adopted. The
第１の信号の振幅と第２の信号の振幅の比が上記閾値以下となる要因としては演奏音の音量が小さい割に演奏者の筋肉が張っていることが挙げられる。そして、筋肉の張の原因としては力みや疲労が考えられる。このため本実施形態では、第１の信号の振幅と第２の信号の振幅の比が上記閾値以下となっている場合に、リラックスを促すメッセージ等の出力が行われるのである。なお、上記閾値の具体的な値については適宜実験を行って定めるようにすれば良い。また、値が０の比較結果信号が生成された場合にメッセージ出力を行うのではなく、値が１の比較結果信号が生成された場合にメッセージ出力（例えば、演奏音が必要以上に大きいことを報知するメッセージの出力）を行うようにしても良い。 A factor that causes the ratio of the amplitude of the first signal to the amplitude of the second signal to be equal to or less than the above threshold is that the performer's muscles are stretched even though the volume of the performance sound is small. And the cause of muscle tension may be strength and fatigue. For this reason, in this embodiment, when the ratio between the amplitude of the first signal and the amplitude of the second signal is equal to or less than the threshold value, a message or the like for prompting relaxation is output. It should be noted that the specific value of the threshold value may be determined by performing experiments as appropriate. In addition, when a comparison result signal with a value of 0 is generated, a message is not output, but when a comparison result signal with a value of 1 is generated, a message is output (for example, the performance sound is louder than necessary). (Output of a message to be notified) may be performed.
（ｂ）比較手段１００ｂにおける比較態様の第２の具体例としては、第１の信号がピークとなった時刻と第２の信号がピークとなった時刻を比較対象の特徴量とし、両者の時間差（後者に対する前者の遅れ）を所定の閾値と比較してその比較結果に応じた比較結果信号を生成する態様が挙げられる。具体的には比較手段１００ｂは、上記時間差が所定の閾値を上回っている場合には値が１の比較結果信号を生成し、上記時間差が所定の閾値以下であれば値が０の比較結果信号を生成する。この態様において値が１の比較結果信号が生成された場合には、制御部１００は、筋肉の動きに対して発音が遅れていること（すなわち、演奏の効率が悪いこと）を報知するメッセージを表示部に表示させる。本態様における閾値の具体的な値についても適宜実験を行って定めるようにすれば良い。
(B) As a second specific example of the comparison mode in the
（ｃ）比較手段１００ｂにおける比較態様の第３の具体例としては、第１の信号の傾斜（第１の信号の振幅がピークに達するまでの当該第１の信号の振幅についての時間勾配）と第２の信号の傾斜を比較対象の特徴量とし、両者の比（すなわち、前者を後者で除した値）を所定の閾値と比較してその比較結果に応じた比較結果信号を生成する態様が挙げられる。この態様においても、比較手段１００ｂは、上記比が所定の閾値を上回っている場合には値が１の比較結果信号を生成し、上記比が所定の閾値以下であれば値が０の比較結果信号を生成する。本態様における閾値の具体的な値についても適宜実験を行って定めるようにすれば良い。
(C) As a third specific example of the comparison mode in the
上記比が大きくなる要因としては、演奏音のメリハリに比較して演奏動作のメリハリが欠けること（すなわち、演奏動作がシャープさに欠け、鈍っていること）が挙げられる。また、上記比が小さくなる要因としては、楽器そのものの調整ができていないなど楽器に不具合があることが想定される。そこで、本態様において値が１の比較結果信号が生成された場合に演奏動作が鈍っていることを報知するメッセージを表示部に表示させる処理を制御部１００に実行させるようにしても良く、逆に、値が０の比較結果信号が生成された場合に楽器の不具合を報知するメッセージを表示部に表示させる処理を制御部１００に実行させても良い。なお、演奏音のメリハリと演奏動作のメリハリの比較評価の他の態様としては、信号の傾斜に代えて信号の半値幅（信号の振幅値がピーク値の半分となった時から、ピークとなって、再び振幅値がピーク値の半分へ戻るまでの時間間隔）を用いる態様や、波形の面積（ピーク値付近の面積、具体的には、ピークを挟む所定時間の面積、或いはピーク直前の所定時間の面積）を用いる態様が考えられる。
As a factor that increases the ratio, there is a lack of sharpness in performance performance compared to sharpness in performance sound (that is, performance performance is not sharp and dull). In addition, as a factor for the reduction of the ratio, it is assumed that the musical instrument has a problem such as that the musical instrument itself cannot be adjusted. Therefore, in this aspect, when a comparison result signal having a value of 1 is generated, the
（ｄ）上記（ａ）〜（ｃ）の各態様では、第１の信号の波形と第２の信号の波形を時間軸上で比較したが、両信号の波形の比較を周波数軸で行っても勿論良い。例えば、周波数帯域を区切って（例えば低域だけに区切って)、ピーク値、傾斜、面積等を比較するといった具合である。演奏対象の楽器がバスドラムとスネアドラムとを含むドラムセットである場合、演奏音の音高を特定できれば演奏動作を推測できるので、演奏動作についての推測結果から閾値、分析帯域等を変化させるようにしても良い。バスドラムとスネアドラムとでは演奏動作が大きく異なるので、各々に適した比較評価態様（或いは閾値）を採用することが好ましいからである。また、演奏者の身体の複数の箇所にセンサ３０Ａを装着し、演奏動作に関連する部位（スネアドラムに対する演奏動作であると推測された場合には腕、バスドラムに対する演奏動作であると推測された場合には脚など）に装着されたセンサ３０Ａの出力信号の波形と演奏音の波形との比較を行うようにしても良い。また、演奏動作とは無関係な部位に装着されたセンサ３０Ａの出力波形を評価対象とし、演奏動作とは無関係な部位に余分な力が入っていないかを評価するようにしても良い。
以上が信号処理装置１０の構成である。
(D) In each of the above aspects (a) to (c), the waveform of the first signal and the waveform of the second signal are compared on the time axis, but the waveforms of both signals are compared on the frequency axis. Is of course good. For example, the frequency band is divided (for example, divided only into the low band), and the peak value, inclination, area, and the like are compared. If the musical instrument to be played is a drum set including a bass drum and a snare drum, the performance action can be estimated if the pitch of the performance sound can be specified, so that the threshold, analysis band, etc. are changed from the estimation result of the performance action. Anyway. This is because the performance performance is greatly different between the bass drum and the snare drum, and it is preferable to adopt a comparative evaluation mode (or threshold value) suitable for each. Further, the
The above is the configuration of the
図３（Ａ）は、本実施形態の動作例を示す図である。前述したように、本実施形態における演奏対象の楽器はアコースティックドラムであり、当該アコースティックドラムに対する演奏動作（すなわち、スティック等によるヘッドの打撃）が為されると、その演奏音がセンサ２０によって検出される。特定手段１００ａは、信号取得手段により取得した第１の信号（センサ２０の出力信号）から演奏タイミングを特定し、比較手段１００ｂは、演奏タイミングを含む所定時間長の時間区間における第１の信号の波形の特徴量と第２の信号の波形の特徴量とを比較し、比較結果信号を生成する。
FIG. 3A is a diagram illustrating an operation example of the present embodiment. As described above, the musical instrument to be played in the present embodiment is an acoustic drum, and when a performance operation is performed on the acoustic drum (that is, the head is hit with a stick or the like), the performance sound is detected by the sensor 20. The
前述したように本実施形態では、比較手段１００ｂにおける比較態様として（ａ）の態様が採用されており、制御部１００は、値が０の比較結果信号が比較手段１００ｂにより生成された場合に、力んでいる旨等を報知するメッセージ（或いはリラックスを促すメッセージ）を表示部に表示させる。演奏者は、このメッセージを視認することで、無意識のうちに力んでいること（或いは疲労していること）を把握し、リラックスを心がけるなど身体状態をより好ましい状態にすることができる。なお、上記メッセージの出力に加えて（或いは、メッセージの出力に代えて）、第１の信号と第２の信号の波形を時間軸を揃えて表示部に表示させても良く、この場合、図３（Ｂ）に示すように、各波形を各々のピーク値で正規化して（すなわち、ピーク値が１などの所定値となるように各波形の振幅を調整して）表示部に表示させても良い。演奏タイミングの前後において、どのように筋肉の張り具合が変化しているかを表示することでインパクトの瞬間にだけ力がはいっているか、緊張して力がはいっていないか、疲れていないかを視覚を通じて演奏者に把握させることが可能になるからである。
As described above, in the present embodiment, the aspect (a) is adopted as the comparison aspect in the
本実施形態では、演奏者の演奏動作に応じて演奏対象の楽器から発せられる演奏音を検出し、その演奏音の時間波形を示す信号を出力する第１のセンサとして、マイクロフォンを用いたがその楽器の発音機構（打楽器であればヘッド、弦楽器であれば弦）の振動を検出する振動センサを用いても良い。また、演奏対象の楽器が電子楽器であれば、その電子楽器に搭載されたキースイッチ（感圧センサなど）を用いた速度センサを上記演奏音検出用のセンサとして用い、当該センサに割り当てられたノート番号および当該センサの出力するベロシティ値を、演奏音を表す信号として用いても良い。また、演奏対象の楽器がアコースティックピアノであれば、光学式センサによる速度センサ（グレースケール板にレーザを透過させる）等を演奏音検出用のセンサとして用いることが考えられる。演奏動作に応じて演奏者の身体状態を示す第２の信号を出力する第２のセンサについても同様に、演奏者の腕の筋肉の張を検出する歪みセンサに代えて、演奏者の腕の加速度を検出する加速度センサや、スティック等に内蔵された加速度センサ、又は衝撃センサを用いても良く、演奏者の姿勢やその変化を検出するために演奏者の身体の１または複数の部位に装着されるジャイロセンサであっても良い。 In the present embodiment, a microphone is used as a first sensor that detects a performance sound emitted from a musical instrument to be performed in accordance with a performance action of a performer and outputs a signal indicating a time waveform of the performance sound. You may use the vibration sensor which detects the vibration of the sound generation mechanism of a musical instrument (a head for a percussion instrument, a string for a stringed instrument). Further, if the musical instrument to be played is an electronic musical instrument, a speed sensor using a key switch (such as a pressure-sensitive sensor) mounted on the electronic musical instrument is used as the sensor for detecting the performance sound and assigned to the sensor. You may use a note number and the velocity value which the said sensor outputs as a signal showing a performance sound. If the musical instrument to be played is an acoustic piano, it is conceivable to use a speed sensor by an optical sensor (transmitting a laser through a gray scale plate) or the like as a sensor for detecting a performance sound. Similarly, the second sensor that outputs the second signal indicating the player's physical state in accordance with the performance action similarly replaces the strain sensor that detects the muscle tension of the player's arm. An acceleration sensor that detects acceleration, an acceleration sensor built in a stick, etc., or an impact sensor may be used, and it is attached to one or more parts of the player's body to detect the player's posture and changes. It may be a gyro sensor.
このように本実施形態によれば、楽器を演奏中の演奏者の身体状態（筋肉の張として現れる疲労や緊張）の評価を行い、適切な身体状態で演奏できているかを評価することが可能になる。 As described above, according to the present embodiment, it is possible to evaluate the physical condition (fatigue and tension appearing as muscle tension) of the performer who is playing the musical instrument, and to evaluate whether or not the performance is performed in an appropriate physical condition. become.
（Ｂ：第２実施形態）
図４は、本発明の第２実施形態の信号処理システムの構成例を示す図である。
本実施形態における演奏対象の楽器は第１実施形態と同様にアコースティックドラムである。図４と図１とを対比すれば明らかなように、本実施形態では、センサ３０Ａに代えてセンサ３０Ｂが信号処理装置１０の外部機器Ｉ／Ｆ部１２０に接続されており、この点が第１実施形態と異なる。センサ３０Ｂは、第１実施形態におけるセンサ３０Ａと同様に、上記アコースティックドラムに対する演奏動作に応じて演奏者の身体状態を表す第２の信号を出力するセンサである。センサ３０Ｂは、上記アコースティックドラムのヘッドを打撃するためのスティックに内蔵された加速度センサである。
(B: Second embodiment)
FIG. 4 is a diagram illustrating a configuration example of a signal processing system according to the second embodiment of the present invention.
The musical instrument to be played in this embodiment is an acoustic drum as in the first embodiment. As is clear from the comparison between FIG. 4 and FIG. 1, in this embodiment, the
演奏対象の楽器（アコースティックドラム）に対して演奏動作（すなわち、スティックによるヘッドの打撃）が為されると、その演奏音がセンサ２０によって検出される。特定手段１００ａは、第１の信号（センサ２０の出力信号）から演奏タイミングを特定し、比較手段１００ｂは、演奏タイミングを含む所定時間長の時間区間における第１の信号の波形の特徴量と第２の信号の波形の特徴量とを比較して比較結果信号を生成する。制御部１００は、比較結果信号に応じた報知（例えば、メッセージ出力）を行うとともに、第１の信号および第２の信号の波形を表示部に表示させる。
When a performance operation (that is, hitting the head with a stick) is performed on the musical instrument (acoustic drum) to be performed, the performance sound is detected by the sensor 20. The specifying
図５は、表示部に表示される第１の信号および第２の信号の波形の一例を示す図である。なお、図５では鉛直下向きの加速度を正の加速度としている。図５に示すように、スティックの加速度は打撃直後に反転する。ドラム演奏の良し悪しを評価する１つの観点として、打撃前後のスティックの動きが挙げられる。例えば、スティックのリバウンドを最大限に利用する演奏（すなわち、打撃前後の加速度の山の高さと谷の深さがほぼ等しくなるような演奏）は、脱力の観点から良いとされている。本実施形態によれば、演奏タイミング前後のスティックの加速度の大きさを視覚化することで上記評価を行い易くなる。また、演奏者は演奏タイミング前後のスティックの加速度の大きさを視覚を通じて把握することで、自身の身体状態を把握することができる。 FIG. 5 is a diagram illustrating an example of waveforms of the first signal and the second signal displayed on the display unit. In FIG. 5, the vertical downward acceleration is defined as a positive acceleration. As shown in FIG. 5, the acceleration of the stick is reversed immediately after hitting. One aspect of evaluating the quality of drum performance is the movement of the stick before and after hitting. For example, a performance that makes full use of stick rebound (that is, a performance in which the height of the acceleration peaks and the depth of the valleys before and after hitting are substantially equal) is considered good from the viewpoint of weakness. According to this embodiment, it becomes easy to perform the evaluation by visualizing the magnitude of the stick acceleration before and after the performance timing. Also, the performer can grasp his / her physical condition by visually grasping the magnitude of the stick acceleration before and after the performance timing.
このように本実施形態によっても、前述した第１実施形態と同様に、楽器を演奏中の演奏者の身体状態の評価を行うことが可能になる。なお、スティックの加速度の大きさ（絶対値）は、打撃後のほうが大きい場合もあるので、打撃前後の加速度の絶対値を比較することで打撃の仕方を解析するようにしても良い。また、本実施形態では、演奏者の身体状態を検出するためのセンサ（演奏動作に伴ってスティックに生じる加速度を検出するためのセンサ）としてスティックに内蔵された加速度センサを用いたが、演奏者の手首や手の甲等に装着される加速度センサを用いても勿論良い。 As described above, according to the present embodiment, it is possible to evaluate the physical condition of a player who is playing a musical instrument, as in the first embodiment described above. In addition, since the magnitude (absolute value) of the acceleration of the stick may be larger after the impact, the manner of impact may be analyzed by comparing the absolute values of the acceleration before and after the impact. In the present embodiment, the acceleration sensor built in the stick is used as a sensor for detecting the physical state of the performer (a sensor for detecting acceleration generated in the stick in accordance with the performance operation). Of course, an acceleration sensor attached to the wrist or back of the hand may be used.
（Ｃ：第３実施形態）
図６は、本発明の第３実施形態の信号処理システムの構成例を示す図である。
図６と図１とを対比すれば明らかなように、本実施形態では、センサ２０およびセンサ３０Ａの他に調整手段４０が信号処理装置１０の外部機器Ｉ／Ｆ部１２０に接続されており、この点が第１実施形態と異なる。調整手段４０は、演奏動作の大きさと演奏音の音量が釣り合ってないこと（具体的には演奏動作の大きさの割に演奏音の音量が低いこと、或いはその逆）を示す比較結果信号を比較手段１００ｂから受け取ったことを契機として、以降の演奏音の音量を調整する。例えば、演奏動作の大きさに比較して音量が低い場合には調整手段４０は演奏音の音量を増加させ、逆に、演奏動作の大きさに比較して音量が高い場合には調整手段４０は演奏音の音量を低減させる、といった具合である。なお、演奏音を増加（或いは低減）させる際の調整量については、適宜実験等を行って定めるようにすれば良い。
(C: Third embodiment)
FIG. 6 is a diagram illustrating a configuration example of a signal processing system according to the third embodiment of the present invention.
As apparent from a comparison between FIG. 6 and FIG. 1, in the present embodiment, in addition to the sensor 20 and the sensor 30 </ b> A, the adjusting means 40 is connected to the external device I /
調整手段４０としてどのようなものを用いるかについては、演奏対象の楽器に応じて定めれば良い。例えば演奏対象の楽器がアコースティックピアノである場合には、ハンマーの動きを補填或いは抑制するアクチュエータや、響板の振動を補填或いは抑圧するアクチュエータを調整手段４０として用いるようにすれば良い。また、演奏対象の楽器がＭＩＤＩ音源などの電子音源を利用した電子楽器である場合には、当該電子音源から出力されるオーディオ信号の振幅を増幅或いは抑制するアンプを調整手段４０として用いるようにすれば良い。以下、演奏対象の楽器がアコースティックピアノであり、調整手段４０が響板の振動を補填或いは抑制するアクチュエータであるとともに、比較手段１００ｂにおける比較態様として（ａ）の態様が採用されている場合を例にとって、本実施形態の動作を説明する。 What is used as the adjusting means 40 may be determined according to the musical instrument to be played. For example, when the musical instrument to be played is an acoustic piano, an actuator that compensates or suppresses the movement of the hammer or an actuator that compensates or suppresses the vibration of the soundboard may be used as the adjusting means 40. When the musical instrument to be played is an electronic musical instrument using an electronic sound source such as a MIDI sound source, an amplifier that amplifies or suppresses the amplitude of the audio signal output from the electronic sound source is used as the adjusting means 40. It ’s fine. Hereinafter, an example in which the musical instrument to be played is an acoustic piano, the adjustment means 40 is an actuator that compensates or suppresses vibrations of the soundboard, and the aspect (a) is adopted as a comparison aspect in the comparison means 100b. Therefore, the operation of this embodiment will be described.
演奏対象の楽器に対して演奏動作（すなわち、鍵の押下）が為されると、その演奏操作に応じて放射された音がセンサ２０によって検出される。特定手段１００ａは、第１の信号（センサ２０の出力信号）を解析して演奏タイミングを特定し、比較手段１００ｂは、演奏タイミングを含む所定時間長の時間区間における第１の信号の波形の特徴量と第２の信号の波形の特徴量とを比較して比較結果信号を生成する。本実施形態では比較手段１００ｂにおける比較態様として、第１実施形態と同様に（ａ）の態様が採用されている。一般に、「演奏音の音量」と「歪みセンサによる検出出力」の比（前者を後者で除した値）は、演奏者が疲労することで徐々に小さい方へシフトする等、長い演奏の間で徐々に変化すると考えられる。したがって、上記比較結果信号の値は演奏開始当初は１で、演奏の継続に伴って何れかのタイミングで０に変化すると考えられる。
When a performance action is performed on the musical instrument to be played (that is, a key is pressed), a sound emitted in response to the performance operation is detected by the sensor 20. The specifying
比較結果信号の値が１から０に変化すると、制御部１００は、演奏者の身体に加わった力の大きさの割に演奏音の音量が小さいと判定し、以降の演奏音の音量を補填するように調整手段４０の作動制御を行う。このような音量の補填と並列に、制御部１００は、疲労が見受けられることを報知するメッセージを表示部に表示させても良い。演奏者の疲労により充分な音量が得られていないと考えられるからである。なお、演奏技術の未熟さや演奏者の非力さ等に起因して演奏者が指先の関節を充分に固めることができない場合も同様の現象が発生するので、演奏技術の未熟さや演奏者の非力さを指摘するメッセージを出力するようにしても良く、また、図７に示すように打鍵強度を示すグラフを表示部に表示させても良い。なお、演奏の音量が高くなってきた場合（演奏者の演奏が復帰してきた場合）には、演奏音の補填を停止するように調整手段４０の作動制御を行えば良いことは言うまでもない。また、ユーザＩ／Ｆ部１１０に対する操作（以下、停止指示操作）に応じて、調整手段４０による調整を停止しても良い。このような停止指示操作を行う前後の音量を比較することで、演奏者は自身の疲労（或いは未熟さ）を把握することができるからである。
When the value of the comparison result signal changes from 1 to 0, the
このように本実施形態によれば、楽器を演奏中の演奏者の身体状態を評価することが可能になるとともに、その評価結果に応じた演奏補助を行うことが可能になる。本実施形態では、楽器を演奏中の演奏者の身体状態の評価結果に応じて演奏音の音量を補填する場合について説明した。しかし、演奏対象の楽器が電子楽器である場合には、アタック感が少ない場合にアタック感を高める（或いはアタック感が過剰である場合にアタック感を弱める）調整を調整手段４０に行わせても良い。具体的には、調整手段４０として、演奏操作に応じて生成されたベロシティ値を比較手段１００ｂの出力信号に応じてより大きな値（或いは小さな値）に補正する手段を用いるようにすれば良い。 As described above, according to the present embodiment, it is possible to evaluate the physical condition of a player who is playing a musical instrument, and to perform performance assistance according to the evaluation result. In the present embodiment, the case where the volume of the performance sound is compensated according to the evaluation result of the physical condition of the performer who is playing the musical instrument has been described. However, when the musical instrument to be played is an electronic musical instrument, the adjustment means 40 may be adjusted to increase the attack feeling when the attack feeling is small (or to weaken the attack feeling when the attack feeling is excessive). good. Specifically, a means for correcting the velocity value generated according to the performance operation to a larger value (or a smaller value) according to the output signal of the comparison means 100b may be used as the adjusting means 40.
（Ｃ：変形）
以上本発明の各実施形態について説明したが、これら実施形態に以下の変形を加えても勿論良い。
（１）上記各実施形態の信号処理装置１０はユーザＩ／Ｆ部１１０を有していたが、ユーザＩ／Ｆ部１１０の役割を果たす入力装置や表示装置を外部機器Ｉ／Ｆ部１２０に接続し、ユーザＩ／Ｆ部１１０を省略しても良い。また、上記各実施形態では、演奏者の演奏動作に応じて楽器から発せられる演奏音を検出し当該演奏音を表す第１の信号を出力する第１のセンサ（センサ２０）と、演奏者の演奏動作に応じて当該演奏者の身体状態を表す第２の信号を出力する第２のセンサ（センサ３０Ａ或いはセンサ３０Ｂ）とが各々信号線を介して信号処理装置１０に接続されていた。しかし、外部機器Ｉ／Ｆ部１２０に代えてＮＩＣ（Network Interface Card）などの通信Ｉ／Ｆ部を信号取得手段として用い、この信号取得手段をインターネットなどの電気通信回線に接続しておくとともに、第１および第２のセンサを当該電気通信回線に接続しておいても良い。つまり、電気通信回線経由で第１および第２のセンサの出力信号を信号処理装置１０に入力するようにしても良い。この場合、比較手段１００ｂにより生成された比較結果信号を上記電気通信回線を介して他の表示装置へ送信し、その表示装置に評価画面を表示させても良い。このような態様によれば、楽器の演奏者の身体状態の評価を電気通信回線経由で行うＡＳＰ（Application Service Provider）方式のサービスを提供することが可能になる。なお、上記電気通信回線は有線の通信回線に限られず、無線通信回線であっても勿論良い。
(C: deformation)
Although each embodiment of the present invention has been described above, it goes without saying that the following modifications may be added to these embodiments.
(1) Although the
（２）上記各実施形態では、本発明の信号処理装置の具体例としてパーソナルコンピュータを挙げたが、第１および第２のセンサを直接（或いは電気通信回線経由）で接続可能で、かつプログラム実行機能を有するハードウェアであれば良く、具体的には家庭用ゲーム機でも良く、携帯型ゲーム機やプログラム実行機能を備えた携帯電話機（例えばスマートフォンなど）などの携帯端末であっても良い。また、上記各実施形態では、上記第１および第２のセンサと信号処理装置１０とが夫々別個のハードウェアであったが、上記第１および第２のセンサの何れか一方或いは両方と信号処理装置１０とが一体のハードウェアであっても良い。この場合、当該ハードウェアの内部Ｉ／Ｆ部（制御部と他の構成要素のデータ授受を仲介するＩ／Ｆ部）と当該内部Ｉ／Ｆ部に接続された第１および第２のセンサとが信号取得手段の役割を果たす。このようなハードウェアの具体例としては、加速度センサを備え、信号処理プログラム１３４ａがインストールされたスマートフォンが挙げられる。このようなスマートフォンを信号処理装置１０として利用する場合には、当該スマートフォンのマイクロフォンを上記第１のセンサとして用い、上記加速度センサを上記第２のセンサとして用いるようにすれば良い。
(2) In each of the above embodiments, a personal computer is given as a specific example of the signal processing apparatus of the present invention. However, the first and second sensors can be connected directly (or via a telecommunication line) and the program is executed. It may be hardware having a function, specifically, a home game machine, or a portable terminal such as a portable game machine or a mobile phone (for example, a smartphone) having a program execution function. In each of the above embodiments, the first and second sensors and the
（３）上記第１および第２実施形態では、楽器を演奏中の演奏者の身体状態の評価を演奏者の演奏動作に応じて楽器から発せられる演奏音を表す第１の信号及び当該演奏者の身体状態を表す第２の信号の両方をリアルタイムで取得して行う場合について説明したが、第１の信号と第２の信号のどちらか一方をハードディスク等の記憶装置に記憶させておき、記憶装置に記憶されていない方の信号を演奏中にリアルタイムで取得して評価してもよい。演奏によって発せられる音や演奏時の体の使い方はユーザの癖のようになっているケースもあり、どちらか一方を予め取得しておいても本願の効果を得ることができる。具体的には、予めドラムの打音のデータを取得しておき、その打音に合わせながら演奏をし、その際の演奏者の身体状態をリアルタイムに取得して、評価は予め取得したドラムの打音のデータとリアルタイムの身体状態のデータで行うものである。予め取得していたデータを用いるので、リアルタイムでの処理の負担を軽減できる。その逆に身体状態のデータを予め取得しておいてもよい。その際には演奏のどの段階であるかをユーザへ示す指標があることが好ましい。また、第１の信号と第２の信号の両方を記憶装置に記憶させておき、演奏終了後に当該記憶装置を外部機器Ｉ／Ｆ部１２０に接続し、外部機器Ｉ／Ｆ部１２０を介して当該記憶装置から第１および第２の信号を読み出して上記身体状態の評価を行うようにしても良い。この場合、第１の信号と第２の信号を同時に取得してもよいし、別々に取得してもよい。上述のように、ユーザの演奏には癖があることもあり、別々に取得しても評価をすることも可能である。このような態様では、外部機器Ｉ／Ｆ部１２０は、第１および第２の信号を記憶装置から取得する信号取得手段の役割を果たす。また、上記の要領で記憶装置に記憶された第１の信号を音として再生する際の音量調整に上記第３実施形態を利用することも勿論可能である。この場合、第１の信号を音として再生する際に当該第１の信号を増幅するアンプが調整手段４０の役割を果たす。
(3) In the first and second embodiments, the first signal representing the performance sound emitted from the musical instrument according to the performance action of the performer is evaluated for the evaluation of the physical condition of the performer performing the musical instrument and the performer. The case where both of the second signals representing the physical condition of the person are acquired and performed in real time has been described. However, either the first signal or the second signal is stored in a storage device such as a hard disk, and stored. The signal that is not stored in the apparatus may be acquired and evaluated in real time during the performance. There are cases where the sound produced by the performance and how to use the body during the performance are like a user's habit, and the effects of the present application can be obtained even if either one is acquired in advance. Specifically, the drum hitting data is acquired in advance, the performance is performed in accordance with the hitting sound, the player's physical condition at that time is acquired in real time, and the evaluation of the drums acquired in advance is performed. This is done with the sound data and real-time physical condition data. Since data acquired in advance is used, the processing load in real time can be reduced. Conversely, physical condition data may be acquired in advance. In that case, it is preferable that there is an index indicating to the user which stage of the performance. In addition, both the first signal and the second signal are stored in the storage device, and after the performance is completed, the storage device is connected to the external device I /
（４）上記各実施形態では、制御部１００を特定手段１００ａおよび比較手段１００ｂとして機能させる信号処理プログラム１３４ａ（すなわち、図２に示すフローチャートにしたがって特定処理ＳＡ１００と比較処理ＳＡ１１０をＣＰＵなどのコンピュータに実行させるプログラム）が信号処理装置１０の不揮発性記憶部１３４に予め記憶されていた。しかし、ＣＤ−ＲＯＭやＤＶＤなどのコンピュータ読み取り可能な記録媒体に上記信号処理プログラムを書き込んで配布しても良く、インターネットなどの電気通信回線経由のダウンロードにより上記信号処理プログラムを配布しても良い。このようにして配布されるプログラムにしたがって一般的なコンピュータを作動させることで当該コンピュータを上記各実施形態の信号処理装置１０として機能させることが可能になるからである。例えば、マイクロフォンと加速度センサとを有するスマートフォン向けのアプリケーションプログラムとして上記信号処理プログラム１３４ａを配布すれば、マイクロフォンを上記第１のセンサ、加速度センサを上記第２のセンサとして用いるとともに、当該スマートフォンの制御部を上記アプリケーションプログラムにしたがって作動させることで当該スマートフォンを本発明の信号処理装置として機能させることができる。
(4) In each of the embodiments described above, the
（５）上記各実施形態では本発明の信号処理装置に特有な各手段（特定手段および比較手段）をソフトウェアモジュールで実現したが、これら各手段を電子回路などのハードウェアモジュールで実現しても勿論良い。 (5) In each of the above embodiments, each means (specific means and comparison means) peculiar to the signal processing apparatus of the present invention is realized by a software module. However, each means may be realized by a hardware module such as an electronic circuit. Of course it is good.
１０…信号処理装置、１００…制御部、１１０…ユーザＩ／Ｆ部、１２０…外部機器Ｉ／Ｆ部、１３０…記憶部、１３２…揮発性記憶部、１３４…不揮発性記憶部、１４０…バス、２０、３０Ａ、３０Ｂ…センサ、４０…調整手段。
DESCRIPTION OF
Claims (4)
前記第１の信号から演奏動作の為されたタイミングを特定する特定手段と、
前記特定手段により特定されたタイミングを含む時間区間における前記第１の信号の波形の特徴量と前記第２の信号の波形の特徴量とを比較し、比較結果に応じた信号を生成する比較手段と、
を有することを特徴とする信号処理装置。 Signal acquisition means for acquiring a first signal representing a performance sound emitted from a musical instrument in accordance with a performance operation of the performer and a second signal representing the physical state of the performer;
A specifying means for specifying a timing at which a performance operation is performed from the first signal;
Comparing means for comparing the feature quantity of the waveform of the first signal and the feature quantity of the waveform of the second signal in a time interval including the timing specified by the specifying means, and generating a signal according to the comparison result When,
A signal processing apparatus comprising:
演奏動作を検出し前記演奏者の身体状態を表す第２の信号を出力する第２のセンサと、
前記第１および第２のセンサの各々の出力信号を取得する信号取得手段を有する信号処理装置と、を有し、
前記信号処理装置は、
前記第１の信号から演奏動作の為されたタイミングを特定する特定手段と、
前記特定手段により特定されたタイミングを含む時間区間における前記第１の信号の波形の特徴量と前記第２の信号の波形の特徴量とを比較し、比較結果に応じた信号を生成する比較手段と、を有する
ことを特徴とする楽器演奏の評価のための信号処理システム。 A first sensor for detecting a performance sound emitted from the musical instrument in accordance with a performance operation of the performer and outputting a first signal representing the performance sound;
A second sensor for detecting a performance action and outputting a second signal representing the physical state of the performer;
A signal processing device having signal acquisition means for acquiring the output signals of the first and second sensors,
The signal processing device includes:
A specifying means for specifying a timing at which a performance operation is performed from the first signal;
Comparing means for comparing the feature quantity of the waveform of the first signal and the feature quantity of the waveform of the second signal in a time interval including the timing specified by the specifying means, and generating a signal according to the comparison result. And a signal processing system for evaluation of musical instrument performance.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015018279A JP6443093B2 (en) | 2015-02-02 | 2015-02-02 | Signal processing apparatus and signal processing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015018279A JP6443093B2 (en) | 2015-02-02 | 2015-02-02 | Signal processing apparatus and signal processing system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016142893A true JP2016142893A (en) | 2016-08-08 |
| JP6443093B2 JP6443093B2 (en) | 2018-12-26 |
Family
ID=56570332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015018279A Active JP6443093B2 (en) | 2015-02-02 | 2015-02-02 | Signal processing apparatus and signal processing system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6443093B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109791740A (en) * | 2016-10-11 | 2019-05-21 | 森兰信息科技（上海）有限公司 | Intelligent measurement and feedback system for intelligent piano |
| CN112466266A (en) * | 2019-09-06 | 2021-03-09 | 雅马哈株式会社 | Control system and control method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006091633A (en) * | 2004-09-27 | 2006-04-06 | Casio Comput Co Ltd | Musical performance evaluation system and program of performance evaluation processing |
| JP2008216335A (en) * | 2007-02-28 | 2008-09-18 | Brother Ind Ltd | Karaoke apparatus |
| JP2013044889A (en) * | 2011-08-23 | 2013-03-04 | Casio Comput Co Ltd | Music player |
| JP2013122725A (en) * | 2011-12-12 | 2013-06-20 | Nikon Corp | Electronic apparatus |
-
2015
- 2015-02-02 JP JP2015018279A patent/JP6443093B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006091633A (en) * | 2004-09-27 | 2006-04-06 | Casio Comput Co Ltd | Musical performance evaluation system and program of performance evaluation processing |
| JP2008216335A (en) * | 2007-02-28 | 2008-09-18 | Brother Ind Ltd | Karaoke apparatus |
| JP2013044889A (en) * | 2011-08-23 | 2013-03-04 | Casio Comput Co Ltd | Music player |
| JP2013122725A (en) * | 2011-12-12 | 2013-06-20 | Nikon Corp | Electronic apparatus |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109791740A (en) * | 2016-10-11 | 2019-05-21 | 森兰信息科技（上海）有限公司 | Intelligent measurement and feedback system for intelligent piano |
| CN112466266A (en) * | 2019-09-06 | 2021-03-09 | 雅马哈株式会社 | Control system and control method |
| CN112466266B (en) * | 2019-09-06 | 2024-05-31 | 雅马哈株式会社 | Control system and control method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6443093B2 (en) | 2018-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8878045B2 (en) | Acoustic effect impartment apparatus, and piano | |
| CN108292496A (en) | Bulging tuning | |
| JP4144564B2 (en) | Electronic drum | |
| WO2009010713A1 (en) | Tuning or training device | |
| JP2018534631A (en) | Dynamic change of audio content | |
| JP5652415B2 (en) | Touch detection device, touch detection method, and electronic musical instrument | |
| JP2006255072A (en) | Program, information storage medium and game system | |
| JP6443093B2 (en) | Signal processing apparatus and signal processing system | |
| JP5912483B2 (en) | Music control device | |
| US20220028295A1 (en) | Evaluating percussive performances | |
| JP2013125051A5 (en) | ||
| JP6856081B2 (en) | Electronic musical instruments, control methods for electronic musical instruments, and programs | |
| KR20180072182A (en) | System for practicing musical instrument and method for supporting the practice | |
| JP2014142508A (en) | Electronic stringed instrument, musical sound generating method, and program | |
| JP5315883B2 (en) | Electronic musical instrument and musical sound generation program | |
| US9384724B2 (en) | Music playing device, electronic instrument, music playing method, and storage medium | |
| US11127387B2 (en) | Sound source for electronic percussion instrument and sound production control method thereof | |
| JP2021051106A (en) | Electronic wind instrument, control method of electronic wind instrument and program | |
| JP2015200685A (en) | Attack position detection program and attack position detection device | |
| JP5949879B2 (en) | Touch detection device, touch detection method, and electronic musical instrument | |
| WO2015111657A1 (en) | Acoustic effect setting method | |
| JP2013003205A (en) | Musical score display device, musical score display program and musical score | |
| JP2012022242A (en) | Reproducing device for musical sound, and program | |
| JPH0580750A (en) | Keyboard musical instrument | |
| KR101162437B1 (en) | Music game method and music game apparatus therefor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171222 |
|
| TRDD | Decision of grant or rejection written | ||
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181019 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181030 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181112 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6443093 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |