JP2005196074A - Musical performance system, and musical sound and video reproducing apparatus - Google Patents
Musical performance system, and musical sound and video reproducing apparatus Download PDFInfo
- Publication number
- JP2005196074A JP2005196074A JP2004004572A JP2004004572A JP2005196074A JP 2005196074 A JP2005196074 A JP 2005196074A JP 2004004572 A JP2004004572 A JP 2004004572A JP 2004004572 A JP2004004572 A JP 2004004572A JP 2005196074 A JP2005196074 A JP 2005196074A
- Authority
- JP
- Japan
- Prior art keywords
- click
- signal
- data
- time
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、送信側から受信側に演奏データと例えばオーディオビデオ信号を送信して、該受信側で演奏データに基づく楽音と該オーディオビデオ信号に基づく映像及び音声を再生する演奏システムに関する。 The present invention relates to a performance system that transmits performance data and, for example, an audio video signal from a transmission side to a reception side, and reproduces musical sounds based on the performance data and video and audio based on the audio video signal on the reception side.
従来、この種の演奏システムは、例えば自動演奏ピアノを使ったレッスンや遠隔コンサートなどを行うために開発されている。図7は従来の演奏システムの概略図であり、送信側(先生側)のコントローラ51と受信側(生徒側)のコントローラ61、送信側のビデオフォン52と受信側のビデオフォン62は、インターネット10でそれぞれ接続されている。送信側の例えば自動演奏ピアノ53の演奏で発生する演奏データ(MIDIデータ)はコントローラ51に入力され、コントローラ51は内部時計51aを参照してMIDIデータが発生した時刻をタイムスタンプとしてMIDIデータに付加し、これらのデータをパケットセンドモジュール51bからパケットデータとして送信する。また、ビデオフォン52で再生されるオーディオビデオ信号は(例えばストリーミングシステムやビデオ会議システムにより)受信側のビデオフォン62に送信される。
Conventionally, this type of performance system has been developed for performing lessons and remote concerts using an automatic performance piano, for example. FIG. 7 is a schematic diagram of a conventional performance system. A
受信側のコントローラ61は、インターネット10を介して送信されるパケットデータをパケットレシーブモジュール61bで受信し、MIDIデータを抽出してMIDIアウトバッファ61cに格納する。このMIDIデータは内部時計61aとタイムスタンプとに基づいてMIDI出力のタイミングを調整して電子楽器63に出力し、自動演奏ピアノ63でMIDIデータに基づく楽音を発生する。また、受信側のビデオファン62は、受信するオーディオビデオ信号に基づいて映像を再生するとともにオーディオ信号に基づいて音声を再生する。
The
このように、演奏データに基づいて自動演奏ピアノで再生すると、自動演奏ピアノからは生楽音(アコースティック音)が発生されるとともに、その楽音に対応する鍵も自動的に動くので、ピアノのレッスンには好適である。 In this way, when an automatic performance piano is played back based on performance data, the live performance sound (acoustic sound) is generated from the automatic performance piano, and the key corresponding to the musical sound automatically moves, making it a piano lesson. Is preferred.
なお、先生側の電子楽器である親機と生徒側の電子楽器である子機とを接続して、複数の生徒に対する楽器のレッスンを行うようにした集団演奏教習装置が例えば特開平7−199790号公報に開示されている。この従来の技術では、先生が生徒による演奏をモニタするために、モニタする生徒やそのグループを任意に選択設定できるようにしている。
しかし、従来の演奏システムでは、受信側でオーディオ信号による音声再生を普通に再生していると、送信側で集音された音声の中には、送信側で演奏された楽音も先生のアドバイス等と一緒に集音されるため、送信側から受信した演奏データに基づいて自動演奏ピアノから発生する生楽音と、オーディオ信号による音声の中の楽音とが重複してしまう。このため、従来は、ミキサなどを使って音声をミュートしたりする必要があった。例えばレッスンの場合、生徒がオーディオ信号で再生される先生の声を聞くときと、先生の演奏(生徒側の自動演奏)を聞くときとで、ミュートオフしたりミュートオンしたりしなければならず、手間を要するという問題がある。特に子供にはこのような操作は極めて困難でありレッスンの上達にも支障をきたすという問題がある。 However, in the conventional performance system, when the audio playback by the audio signal is normally played on the receiving side, the musical sound played on the transmitting side is also the teacher's advice among the sounds collected on the transmitting side. Therefore, the live music sound generated from the automatic performance piano based on the performance data received from the transmission side overlaps the music sound in the sound of the audio signal. For this reason, conventionally, it has been necessary to mute the sound using a mixer or the like. For example, in the case of a lesson, the student must mute off and mute on when listening to the teacher's voice played with an audio signal and when listening to the teacher's performance (student's automatic performance). There is a problem that it takes time and effort. Especially for children, this kind of operation is extremely difficult, and there is a problem that the lesson progress is also hindered.
また、前記特開平7−199790号公報のような技術に加えて先生の映像及び音声を生徒側に送り、映像と音声により生徒を指導することもできるが、先生側で生徒側の音声再生を制御するのは困難である。 In addition to the technique as described in JP-A-7-199790, the teacher's video and audio can be sent to the student side, and the student can be instructed by video and audio. It is difficult to control.
本発明は、送信側から受信側に演奏データと例えばオーディオビデオ信号を送信して、受信側で演奏データに基づく楽音とオーディオ信号に基づく音声を再生する演奏システムにおいて、演奏データに基づく楽音とオーディオ信号に基づく音声の中の楽音とが重複しないように自動制御することを課題とする。 The present invention relates to music and audio based on performance data in a performance system in which performance data and, for example, an audio video signal are transmitted from the transmission side to the reception side, and a musical sound based on the performance data and audio based on the audio signal are reproduced on the reception side. It is an object of the present invention to perform automatic control so as not to overlap with musical tones in speech based on signals.
本発明の請求項1の演奏システムは、送信側にて発生する演奏データ(例えばMIDIデータ)とオーディオ信号とを送信し、受信側にて該演奏データとオーディオ信号とを受信して、該演奏データによる楽音の再生と該オーディオ信号による音声再生とを行う。このとき、受信側で、受信した演奏データに基づいて、該演奏データによる楽音の再生時に前記受信したオーディオ信号による音声再生を停止し、該演奏データによる楽音の非再生時に該オーディオ信号による音声再生を行う。したがって、演奏データによる楽音が再生されているときは、オーディオ信号の音声による楽音が再生されない。
The performance system according to
本発明の請求項2の演奏システムは、記受信側は演奏データに応じた楽音信号を生成する音源を備え、受信した演奏データに応じた楽音信号の音量レベルが所定レベル以上のときに、受信したオーディオ信号による音声再生を停止し、音量レベルが所定レベル以下のときに、受信したオーディオ信号による音声再生を行う。したがって、ピアノの減衰する楽音のように演奏データに反映されないような実際の楽音の特徴に対応することができる。 The performance system according to claim 2 of the present invention includes a sound source that generates a musical sound signal corresponding to the performance data on the receiving side, and is received when the volume level of the musical sound signal corresponding to the received performance data is equal to or higher than a predetermined level. The sound reproduction by the audio signal is stopped, and the sound reproduction by the received audio signal is performed when the volume level is lower than the predetermined level. Therefore, it is possible to deal with characteristics of actual musical sounds that are not reflected in the performance data, such as piano decaying musical sounds.
本発明の請求項1及び請求項2の演奏システムによれば、演奏データに基づく楽音とオーディオ信号に基づく音声による楽音とが重複しないように自動制御することができる。
According to the performance system of
さらに請求項2の演奏システムによれば、ピアノの減衰する楽音のように演奏データに反映されないような実際の楽音の特徴に応じても簡単な処理で対応することができる。 Further, according to the performance system of the second aspect, it is possible to cope with the characteristics of the actual musical tone that is not reflected in the performance data, such as the musical tone attenuated by the piano, with a simple process.
以下、図面を参照して本発明の一実施形態について説明する。図1は本発明の実施形態における演奏システムの要部機能を説明する機能ブロック図である。この演奏システムは遠隔レッスンを行うものであり、送信側は先生側、受信側は生徒側である。送信側のコントローラ11と受信側のコントローラ21とでインターネット10を介して信号の送受信を行い、先生側である送信側の自動演奏ピアノ12の演奏操作により、生徒側である受信側の自動演奏ピアノ22でピアノの楽音を発生して生徒側での模範演奏を行う。また、送信側のビデオカメラ14で撮影した先生による指導や演奏の映像及び音声をビデオフォン13から送信して、受信側のビデオフォン23及びディスプレイ24で映像を再生し、音声はスピーカ25で再生する。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a functional block diagram for explaining main functions of the performance system according to the embodiment of the present invention. This performance system performs remote lessons. The transmitting side is the teacher side and the receiving side is the student side. The transmitting-
先ず、送信側と受信側の送受信動作によるMIDIデータとオーディオビデオ信号の同期機能について説明する。送信側のコントローラ11及び受信側のコントローラ21はコンピュータ等で構成されており、送信側の内部時計11a、タイムスタンプ付加モジュール11b、パケットセンドモジュール11c、クリック発生モジュール11dはコントローラ11の機能である。また、受信側の内部時計21a、クリック発生時刻バッファ21b、パケットレシーブモジュール21c、MIDIアウトバッファ21d、クリックタイミング検出モジュール21e、スイッチングモジュール(SW)21fはコントローラ21の機能である。
First, a synchronization function between MIDI data and an audio video signal by transmission / reception operations on the transmission side and the reception side will be described. The transmission-
送信側のピアノコントローラ12aは自動演奏ピアノ12を、受信側のピアノコントローラ22aは自動演奏ピアノ22をそれぞれ電子的に制御する装置であり、送信側の自動演奏ピアノ12の演奏がキーセンサ等で検出され、ピアノコントローラ12aから演奏に応じたMIDIデータが出力される。また、受信側のピアノコントローラ22aは受信したMIDIデータに基づいて自動演奏ピアノ22を駆動して演奏(再生)を行う。なお、自動演奏ピアノ12,22は、MIDIデータに基づいて鍵駆動用のソレノイドを制御し、打弦によりピアノ音を発生することは公知の技術である。ここで、この実施形態では、受信側のピアノコントローラ22aは内部に波形メモリ音源を備えており、入力されるMIDIデータ(ピアノの音色のプログラムチェンジ等)に基づいてピアノの音色のデジタル楽音信号を生成する。このデジタル楽音信号はコントローラ21のスイッチングモジュール21fにおいて、音量レベルを検出するのに用いる。
The transmission-
送信側のコントローラ11は送信開始時にクリック発生モジュール11dを起動して該クリック発生モジュール11dは一定間隔でクリック信号を発生し、このクリック信号はビデオフォン13に入力されるとともにコントローラ11で内部処理される。コントローラ11は、ピアノコントローラ12aからMIDIデータが発生されると、そのMIDIデータに対して、内部時計11aを参照して得られる該MIDIデータの発生時刻を示すタイムスタンプを付加し、パケットセンドモジュール11cからパケットデータとして送信する。また、クリック信号が検出されると、このクリック信号のクリック発生時刻を示すクリックタイムデータを生成し、このクリックタイムデータをパケットセンドモジュール11cからパケットデータとして送信する。また、ビデオフォン13は、クリック発生モジュール11cからクリック信号が発生する毎に、そのクリック信号をオーディオ信号に含ませて送信する。なお、パケットデータにはMIDI/クリックタイムかを識別するデータがヘッダ等に記録され、受信側ではこのヘッダの情報でMIDIデータとクリックタイムデータを識別する。
The
また、ビデオフォン13は、クリック発生モジュール11dからクリック信号が発生する毎に、そのクリック信号をオーディオ信号に含ませて送信する。ビデオカメラ14は自動演奏ピアノ12における先生の鍵盤演奏を撮像して、そのビデオ信号をビデオフォン13に出力する。ビデオフォン13は上記ビデオ信号と前記オーディオ信号を圧縮して送信する。ここで、この実施形態におけるオーディオ信号はモノラルの場合であり、このオーディオ信号に含ませるクリック信号は、例えば音声信号として頻繁には出現しないような周波数(例えば40Hz)のクリック信号である。そして、受信側でフィルタを通してクリック信号を検出する。
Further, every time a click signal is generated from the
受信側のコントローラ21は、パケットレシーブモジュール21cでパケットデータを受信し、そのパケットデータがMIDIデータである場合は、MIDIデータをMIDIアウトバッファ21dに格納し、パケットデータがクリックタイムデータである場合は、クリックタイムデータをクリック発生時刻バッファ21bに格納する。また、ビデオフォン23で受信したオーディオ信号から、クリックタイミング検出モジュール21eでクリック信号が検出されると、このクリック信号に対応するクリックタイムデータとにより、内部時計21aを補正する。
The receiving-
コントローラ11からのMIDIデータ及び前記クリックタイムデータ(クリック信号のクリック発生時刻)は、インターネット10を利用したパケット通信システムでパケットデータとしてコントローラ21に送信する。また、ビデオフォン13はビデオ信号とモノラルのオーディオ信号を圧縮して出力し、このビデオ信号とオーディオ信号は、インターネット10を利用したビデオ会議システムにより、ビデオフォン23に送信する。そして、このオーディオ信号にはクリック発生モジュール11dからのクリック信号を含めて送信する。
The MIDI data from the
図2は実施形態における時間進行に対するパケットデータとクリック信号(オーディオ信号)の関係を概念的に示す図である。クリック信号は所定間隔のパルス信号として出力される。パケットデータは主にMIDIデータ(図中「MIDI」)を送信するが、送信側でクリック信号が発生したときにクリックタイムデータ(図中「クリック」)も送信する。このクリック信号とクリックタイムデータとは、受信側でクリックタイムデータを検出するタイミングとクリック信号を検出するタイミングが略同時となるように送信することで、互いにペアとなるように対応付けられている。この対応するクリック信号とクリックタイムデータとは同時に受信できるとは限らないので所定の時間間隔内で検出されたもの同士を対応するものとする。 FIG. 2 is a diagram conceptually showing the relationship between packet data and a click signal (audio signal) with respect to time progression in the embodiment. The click signal is output as a pulse signal at a predetermined interval. The packet data mainly transmits MIDI data (“MIDI” in the figure), but also click time data (“click” in the figure) is transmitted when a click signal is generated on the transmission side. The click signal and the click time data are associated with each other so as to be paired with each other by transmitting the click time data detection timing and the click signal detection timing at substantially the same time on the receiving side. . Since the corresponding click signal and click time data are not necessarily received simultaneously, those detected within a predetermined time interval correspond to each other.
図3はクリック信号とクリックタイムデータの受信タイミングの差を吸収してペアを検出する例を示す図である。図3(A) のようにクリック信号が先に到来すると、そのクリック信号の立ち上がりでクリック検出信号がえられる。そこでこのクリック検出信号により、所定時間を計時するタイマを起動し、クリックタイムデータが検出されるまでの時間ΔTを計時する。そして、クリックタイムデータが検出された時点で、そのクリックタイムデータが示すクリックタイムtにタイマ値ΔTを加算した時刻を、受信側の現時刻として内部時計21aを補正する。これにより、内部時計21aはクリック信号が検出された時点でそのクリック信号に対応する(ペアの)クリックタイムデータに基づいて補正されたと同様な結果となる。なお、タイマが計時終了する所定時間は、断続的に送信(及び受信)するクリック信号間の間隔(インターバル)に応じて設定されており、このクリック信号が検出されてから所定時間内にクリックタイムデータが検出されない場合は、この検出した今回のクリック信号による補正動作を中止する。
FIG. 3 is a diagram illustrating an example in which a pair is detected by absorbing a difference in reception timing between the click signal and the click time data. When the click signal arrives first as shown in FIG. 3A, a click detection signal is obtained at the rise of the click signal. Therefore, a timer for measuring a predetermined time is started by this click detection signal, and the time ΔT until the click time data is detected is counted. When the click time data is detected, the
また、図3(B) のように、クリックタイムデータが先に到来した場合は、そのクリックタイムデータが示すクリックタイムtを前記クリック発生時刻バッファ21bに記憶しておき、所定時間内にクリック信号(クリック検出信号)が検出されると、クリック発生時刻バッファ21bに記憶しているクリックタイムtを、受信側のクリック信号検出時の現時刻として内部時計21aを補正する。この場合も、クリックタイムデータが検出されてから所定時間内にクリック信号が検出されない場合は、この検出した今回のクリックタイムデータによる補正動作を中止する。
As shown in FIG. 3B, when the click time data comes first, the click time t indicated by the click time data is stored in the click
次に、クリック信号(オーディオビデオ信号)を送信する第2伝送系統のシステムの違い(ビデオ会議系とストリーミング系)に応じた所定時間について説明する。MIDIデータとクリックタイムデータを送信する第1伝送系統の遅延は、ネットワーク状態によって変化する部分もあるが、通常は10〜100m秒(ミリ秒)程度である。 Next, the predetermined time corresponding to the difference between the systems of the second transmission system for transmitting the click signal (audio video signal) (video conference system and streaming system) will be described. The delay of the first transmission system that transmits MIDI data and click time data varies depending on the network state, but is usually about 10 to 100 milliseconds (milliseconds).
(ビデオ会議系)ビデオ会議系は、ビデオ側の遅延時間が200〜300m秒程度であり、ネットワーク状態によってクリックタイムデータが検出信号より先に来る場合(図3(B) )とクリックタイムデータが検出信号より後に来る場合(図3(A) )を想定してタイミング補正動作をする。クリックタイムデータが検出信号より先に来る場合には、第1伝送系統の最小遅延時間10m秒と第2伝送系統の最大遅延時間の差である300m秒弱程度の遅延時間をカバーできればよいものであり、所定時間は300+αm秒(α:数十〜200m秒)あればよい。クリックタイムデータが検出信号より後に来る場合は、上述のMIDI信号側で想定する遅延時間の範囲を超える遅延が生じた場合のものなので、仮に300m秒程度の遅延でもカバーできるものにするとすれば、所定時間は第2伝送系統の最小遅延時間の差である100m秒弱程度あればよい。なお、第1伝送系統のネットワーク状態が悪く、MIDIパケットの送信に時間がかかることを想定しているもので、このような場合には、受信した側はタイミング補正と並行して通信の停止を送信側に促したりするようにしてもよい。 (Video conferencing system) In the video conferencing system, the delay time on the video side is about 200 to 300 milliseconds, and when the click time data comes before the detection signal depending on the network state (FIG. 3 (B)), the click time data is The timing correction operation is performed assuming that the signal comes after the detection signal (FIG. 3A). When the click time data comes before the detection signal, it is only necessary to cover a delay time of about 300 msec, which is the difference between the minimum delay time of 10 msec of the first transmission system and the maximum delay time of the second transmission system. Yes, the predetermined time may be 300 + α m seconds (α: several tens to 200 m seconds). When the click time data comes after the detection signal, it is a case where a delay exceeding the range of the delay time assumed on the above-mentioned MIDI signal side occurs, so if it is possible to cover even a delay of about 300 milliseconds, The predetermined time may be about 100 milliseconds or less, which is the difference in the minimum delay time of the second transmission system. It is assumed that the network state of the first transmission system is bad and it takes a long time to send a MIDI packet. In such a case, the receiving side stops communication in parallel with the timing correction. You may make it urge the transmission side.
(ストリーミング系)ストリーミング系は、ビデオ側の遅延が15〜30秒程度であり、第1伝送系統の遅延時間と比較して桁違いに大きいものとなっている。このため、クリックタイムデータが先に来る場合にタイミング補正動作をする。クリックタイムデータが検出信号より後に来る場合は考えられなくはないが、その場合はMIDI信号自体がエラーとして処理され同期処理には利用されない。クリックタイムデータが先に来る場合の上記所定時間は、第1伝送系統の最小遅延時間と第2伝送系統の最大遅延時間との差分の補正ができればよいのだが、上述のように第2伝送系統の遅延時間が第1伝送系統に比べて非常に長いので、所定時間は30秒+β(β:数秒)あればよい。また、クリックタイムデータが後に来る場合の上記所定時間は0に設定すればよい。なお、αとβは、いずれもビデオ系の遅延が急激に変化する可能性のある値をさす。 (Streaming system) The streaming system has a delay on the video side of about 15 to 30 seconds, which is an order of magnitude larger than the delay time of the first transmission system. For this reason, the timing correction operation is performed when the click time data comes first. There is no doubt that the click time data comes after the detection signal, but in this case, the MIDI signal itself is processed as an error and is not used for the synchronization process. The predetermined time when the click time data comes first only needs to be able to correct the difference between the minimum delay time of the first transmission system and the maximum delay time of the second transmission system. Therefore, the predetermined time may be 30 seconds + β (β: several seconds). The predetermined time when the click time data comes later may be set to zero. Note that both α and β are values that may cause the video system delay to change rapidly.
これらのことに基づき、所定時間とクリック信号のインターバルの例をあげると、クリック信号(オーディオビデオ信号)を送信する第2伝送系統は、この実施形態ではビデオ会議システムであり、この場合には送信から受信に係る遅延が200〜300m秒程度であり、クリック信号間の間隔(インターバル)は2秒程度に設定されている。なお、クリックタイムデータが先に来る場合に対応して想定する所定時間を「所定時間B」とし、クリックタイムデータが後に来る場合に対応して想定する所定時間を「所定時間A」とする。この場合、上記タイマにより規制する所定時間Bは例えば0.5秒程度でよい。また、所定時間Aとしては、0.1秒程度でよい。なお、この第2伝送系統としてストリーミングシステムを利用する場合は、この伝送系統は遅延が5〜20秒程度であり、クリック信号間の間隔(インターバル)は余裕を見て30秒程度に設定するとよい。この場合は上記タイマにより規制する所定時間Bは25秒程度でよく、所定時間Aは0秒でよい。 Based on these, an example of the interval between the predetermined time and the click signal is given. The second transmission system for transmitting the click signal (audio video signal) is a video conference system in this embodiment, and in this case, the transmission is performed. From about 200 to 300 milliseconds and the interval between the click signals is set to about 2 seconds. The predetermined time assumed in response to the click time data coming first is “predetermined time B”, and the predetermined time assumed in response to the click time data coming later is “predetermined time A”. In this case, the predetermined time B regulated by the timer may be about 0.5 seconds, for example. Further, the predetermined time A may be about 0.1 seconds. When a streaming system is used as the second transmission system, the transmission system has a delay of about 5 to 20 seconds, and the interval between the click signals should be set to about 30 seconds with a margin. . In this case, the predetermined time B regulated by the timer may be about 25 seconds, and the predetermined time A may be 0 seconds.
図4は送信側のコントローラ11の送信処理の要部を示すフローチャートである。先ず、ステップS11でピアノコントローラ12aからMIDIデータが発生するのを監視するとともに、ステップS12でクリック発生モジュール11dからクリック信号が発生するのを監視する。MIDIデータが発生したら、ステップS13でMIDIデータにタイムスタンプを付加し、ステップS14でパケットデータとして送信する。また、クリック信号が発生したら、ステップS16で内部時計11aからクリックタイムを取得し、そのクリックタイムデータにタイムスタンプを付加してパケットデータとして送信する。そして、処理終了の指示があれば処理を終了する。なお、クリック発生モジュール11dからのクリック信号(オーディオ信号)はビデオフォン13により、コントローラ11の処理とは独立して送信される。
FIG. 4 is a flowchart showing a main part of the transmission process of the
図5は受信側のコントローラ21の受信処理の要部を示すフローチャートであり、この処理では、前記図3(A) 及び図3(B) の処理を併用するために、AフラグとBフラグを用いている。また、所定時間Aを計時する所定時間Aタイマ、所定時間Bを計時する所定時間Bタイマを用いている。なお、パケットレシーブモジュール21cでの受信処理は別途割込み処理により行われ、MIDIデータあるいはクリックタイムデータの受信の有無に応じた処理を行う。先ず、ステップS21でAフラグ、Bフラグ及び後述のOFFフラグを“0”にリセットするとともに、オーディオ出力オンとsるう。次に、ステップS22でMIDIデータが有るかを判定する。受信したMIDIデータがなければステップS30に進み、受信したMIDIデータが有ればステップS23で発音時刻(イベントのタイミング)の調整などのMIDIデータ処理を行ってステップS30に進む。ステップS30では、後述の図6のオーディオスイッチング処理を行ってステップS24に進み、ステップS24でクリックタイムデータが有るかを判定する。クリックタイムデータが無ければステップS25でクリック信号を検出したかを判定し、検出していなければステップS22以降を繰り返す。
FIG. 5 is a flowchart showing the main part of the receiving process of the
ステップS24でクリックタイムデータが無く、ステップS25でクリック信号が検出されていれば、前記図3(A) の場合(クリック信号が先)であり、ステップS26でBフラグ=“1”かを判定する。このBフラグはクリックタイムデータが先の場合に“1”にセットされるので、この場合は、ステップS27に進み、前記所定時間Aタイマを起動する。そして、ステップS28でAフラグを“1”にセットする。そして、ステップS29で所定時間Aタイマが計時終了したか否かを判定し、計時を終了していればステップS21に戻ってAフラグとBフラグをリセットする。所定時間Aタイマが計時終了していなければ、ステップS201に進み、処理終了の指示がなければステップS22に戻る。処理終了の指示があれば、ステップS202でオーディオ信号出力を強制的にオンにして処理を終了する。 If there is no click time data in step S24 and a click signal is detected in step S25, then it is the case of FIG. 3A (click signal is first), and it is determined in step S26 whether the B flag = “1”. To do. Since the B flag is set to “1” when the click time data is earlier, in this case, the process proceeds to step S27, and the predetermined time A timer is started. In step S28, the A flag is set to "1". Then, in step S29, it is determined whether or not the A timer has finished counting for a predetermined time. If the timing has been finished, the process returns to step S21 to reset the A flag and the B flag. If the predetermined time A timer has not ended, the process proceeds to step S201, and if there is no instruction to end the process, the process returns to step S22. If there is an instruction to end the process, the audio signal output is forcibly turned on in step S202 to end the process.
すなわち、この状態では、所定時間Aタイマによる所定時間Aの計時を行いながら、クリックタイムデータの検出を監視する。そして、所定時間A内にクリックタイムデータが検出されれば、ステップS202でAフラグ=“1”かを判定する。このAフラグはクリック信号が先の場合に“1”にセットされるので、この場合は、ステップS203に進み、クリックタイムtにタイマ値ΔTを加算して現時刻を求め、内部時計21aを補正する。そして、204でAフラグ及び所定時間Aタイマをリセットし、ステップS29に進む。
That is, in this state, the detection of the click time data is monitored while measuring the predetermined time A by the predetermined time A timer. If the click time data is detected within the predetermined time A, it is determined in step S202 whether the A flag is “1”. Since the A flag is set to “1” when the click signal is earlier, in this case, the process proceeds to step S203, the timer value ΔT is added to the click time t to obtain the current time, and the
一方、クリック信号が検出される前にステップS24でクリックタイムデータが検出されていれば、前記図3(B) の場合であり、この場合は、ステップS202からステップS205に進み、前記所定時間Bタイマを起動する。次に、ステップS206でクリックタイムデータをクリック発生時刻バッファ21bに記憶し、ステップS207でBフラグを“1”にセットする。そして、ステップS29で所定時間Bタイマが計時終了したか否かを判定し、計時を終了していればステップS21に戻ってAフラグとBフラグをリセットする。所定時間Bタイマが計時終了していなければ、ステップS201に進み、処理終了の指示がなければステップS22に戻る。
On the other hand, if the click time data is detected in step S24 before the click signal is detected, it is the case of FIG. 3B. In this case, the process proceeds from step S202 to step S205, and the predetermined time B Start the timer. Next, the click time data is stored in the click
この状態では、所定時間Bタイマによる所定時間Bの計時を行いながら、クリック信号の検出を監視する。所定時間B内にクリック信号が検出されれば、ステップS25からステップS26に進み、さらにステップS26からステップS208に進む。そして、ステップS208で、クリック発生時刻バッファ21bに記憶したクリックタイムtを現時刻(クリック信号検出タイミング)として、内部時計21aを補正する。そして、ステップS209でBフラグ及び所定時間Bタイマをリセットする。
In this state, the detection of the click signal is monitored while measuring the predetermined time B by the predetermined time B timer. If a click signal is detected within the predetermined time B, the process proceeds from step S25 to step S26, and further proceeds from step S26 to step S208. In step S208, the
このように、クリック信号の到来時にそれに対応するクリックタイムデータを現時刻とし、あるいは、クリックタイムデータが先に到来したときは、それに対応するクリック信号が到来した時点の時刻をクリックタイムデータから求め、それぞれ内部時計21aを補正している。また、クリック信号を含んでいるオーディオビデオ信号はそのクリック信号と当然に同期している(同時性が保証されている)ので、内部時計21aをタイムベースとしてMIDIデータによる自動演奏を行ったとき、この自動演奏と再生される映像とが同期したものとなる。すなわち、自動的に同期をとることができる。
Thus, when the click signal arrives, the corresponding click time data is set as the current time, or when the click time data arrives first, the time when the corresponding click signal arrives is obtained from the click time data. The
なお、何らかの事情でクリック信号あるいはクリックタイムデータを受信できなかった場合(取り逃した場合)でも、次のペアあるいはその次のペアによって時計を補正することができる。このような場合でも、一旦補正されると同期外れが生じるまで(あるいは時間のズレが目立つようになるまで)、有る程度の時間がかかるので問題はない。 Even if the click signal or the click time data cannot be received for some reason (when missed), the clock can be corrected by the next pair or the next pair. Even in such a case, there is no problem because once the correction is made, it takes a certain amount of time until the synchronization is lost (or the time shift becomes noticeable).
図6はオーディオスイッチング処理(図5のステップS30)のフローチャートであり、この処理では、受信したMIDIデータに基づいてピアノコントローラ22aで楽音信号を生成し、その楽音信号の音量レベルに応じてオーディオ出力のオン/オフを切り換える処理をする。なお、この楽音信号による楽音の再生は行われない。また、この処理では、オーディオ出力オフの状態を示すOFFフラグを用い、このOFFフラグは、オーディオ出力オフの状態で“1”にセットされ、オーディオ出力オンの状態で“0”にリセットされる。また、音量レベルが所定レベル以下になってオーディオ出力オフの状態からオーディオ出力オンの状態へ切り換えるまでに所定時間(例えば数秒間)を設けるために所定時間Cタイマを用いる。
FIG. 6 is a flowchart of the audio switching process (step S30 in FIG. 5). In this process, a musical tone signal is generated by the
先ず、ステップS31で、ピアノコントローラ22aからの楽音信号の音量レベル(エンベロープ)が所定レベル以上であるかを判定する。この所定レベルは、実際に楽音を発生した場合に殆ど聞こえないようなレベルである。音量レベルが所定レベル以上であれば、ステップS32でオーディオ出力をオフにするとともに、OFFフラグを“1”にセットし、元のルーチンに復帰する。音量レベルが所定レベル以上でなければ、ステップS33でOFFフラグ=“1”であるかを判定し、OFFフラグ=“1”であれば、ステップS34でCタイマを起動するとともにOFFフラグを“0”にリセットし、元のルーチンに復帰する。ステップS33でOFFフラグ=“0”であれば、ステップS35でCタイマが計時終了したか否かを判定し、計時を終了していなければ元のルーチンに復帰し、Cタイマが計時を終了していれば、ステップS36でオーディオ出力オンとして元のルーチンに復帰する。
First, in step S31, it is determined whether the volume level (envelope) of the musical tone signal from the
例えば、最初のキーオンの立ち上がり(アタック)等により音量レベルが所定レベル以上となるとステップS31→S32のフローでオーディオ出力オフ(OFFフラグ=“1”)とされる。次に音の減衰等によりこの音量レベルが所定レベル以下となると、まずOFFフラグ=“1”であるのでステップS31→S33→S34のフローによりCタイマが起動されるとともにOFFフラグ=“0”とされる。したがって、このままの状態で所定時間が経過するまでは、ステップS31→S33(ここでOFFフラグ=“0”)→S35のフローを繰り返す。そして、所定時間が経過した場合、ステップS31→S33→S35→S36のフローでオーディオ出力オンとされる。なお、所定時間が経過する前に音量レベルが所定レベル以上となった場合も、ステップS31→S32のフローによりオーディオ出力オフ(OFFフラグ=“1”)とされる。 For example, when the volume level exceeds a predetermined level due to the first key-on rise (attack) or the like, the audio output is turned off (OFF flag = “1”) in the flow of steps S31 → S32. Next, when the sound volume level falls below a predetermined level due to sound attenuation or the like, first, since the OFF flag = “1”, the C timer is started by the flow of steps S31 → S33 → S34 and the OFF flag = “0”. Is done. Therefore, the flow of steps S31 → S33 (here, OFF flag = “0”) → S35 is repeated until a predetermined time elapses in this state. When the predetermined time has elapsed, the audio output is turned on in the flow of steps S31 → S33 → S35 → S36. Even when the volume level becomes equal to or higher than the predetermined level before the predetermined time elapses, the audio output is turned off (OFF flag = “1”) by the flow of steps S31 → S32.
以上の処理により、ビデオ映像(ビデオ信号)と音声(オーディオ信号)とにより、先生側(送信側)から生徒側(受信側)に対して指導等を行うことができ、先生側で演奏が開始されると、生徒側では送られてくるMIDIデータに基づいて自動演奏ピアノ22で演奏が開始されるが、このとき音声は自動的にカット(オーディオ出力オフ)され、自動演奏ピアノ22による生楽音(及び鍵の動)により模範演奏等を聞くことができる。また、演奏が終了すれば、自動的に音声が回復(オーディオ出力オン)される。したがって、自動演奏ピアノによる楽音と音声(オーディオ信号)による楽音とが重複することがない。
Through the above processing, the teacher side (transmission side) can give instruction to the student side (reception side) using the video image (video signal) and audio (audio signal), and the teacher side starts playing. Then, on the student side, the performance is started on the
また、この実施形態では、MIDIデータに基づいて音源で発音に利用しない楽音信号を生成し、この楽音信号の音量レベルに応じてオーディオ出力のオン/オフを切り換えるようにしている。このような処理を行うと次のような利点がある。ピアノは減衰音なので、MIDIデータのノートオンの後、しばらくノートオフが来なくても自動演奏ピアノの楽音の音自体は聞こえなくなる可能性があり、この場合にも簡単な処理でオーディオ出力をオンとすることができる。例えば、直接MIDIデータだけでオーディオ出力のオン/オフの処理を行おうとすると、実際の音の減衰とノートオフとのタイムラグの処理を行う必要があるなど、複雑な処理となるが、実施形態によればこのような複雑な処理が不要となる。 In this embodiment, a tone signal that is not used for sound generation by the sound source is generated based on the MIDI data, and the audio output is switched on / off according to the volume level of the tone signal. Performing such a process has the following advantages. Since the piano is a decaying sound, even after the MIDI data is turned on, even if the note is not turned off for a while, the sound of the piano's musical tone itself may not be heard. In this case, the audio output is turned on with a simple process. It can be. For example, if an audio output on / off process is performed using only MIDI data directly, it is necessary to perform a time lag process between actual sound attenuation and note off. Therefore, such a complicated process becomes unnecessary.
ただし、MIDIデータのノートオンやノートオフの有無等によりオーディオ出力のオン/オフを切り換えるようにしても、ある程度の精度でよければ同様な効果を得ることができる。 However, even if the audio output is switched on / off depending on whether MIDI data is turned on or off, etc., the same effect can be obtained if it is sufficient with a certain degree of accuracy.
以上の実施形態ではオーディオ信号をモノラルの場合について説明したが、ストリーミングシステムのように、オーディオ信号として左右(LR)のステレオ信号を伝送できる場合は、片方のチャンネルにクリック信号を含ませて他のチャンネルで音声信号をそのまま送信するようにしてもよい。 In the above embodiments, the case where the audio signal is monaural has been described. However, when a left and right (LR) stereo signal can be transmitted as an audio signal as in a streaming system, a click signal is included in one channel and the other signal is included. The audio signal may be transmitted as it is on the channel.
以上の実施形態では、インターネットを利用して遠隔レッスンを行う場合について説明したが、前記特開平7−199790号公報のように、先生側の電子楽器である親機と生徒側の電子楽器である子機とを有線で接続してレッスンを行うような場合にも適用できる。この場合、先生と生徒とでマイク付ヘッドフォンのマイクによりマイクオーディオ信号のみを送受信するようにしているが、自動演奏ピアノ等を接続してMIDIデータの授受を行い、実施形態同様にこのMIDIデータで自動演奏ピアノ等を演奏することもできる。この場合も、本発明によりMIDIデータによる楽音と音声による楽音との重複を自動的に回避することができる。 In the above embodiment, the case where a remote lesson is performed using the Internet has been described. However, as described in Japanese Patent Application Laid-Open No. 7-199790, the master device is an electronic musical instrument on the teacher side and the electronic musical instrument on the student side. It can also be applied to cases where lessons are held by connecting the slave unit with a cable. In this case, only the microphone audio signal is transmitted and received between the teacher and the student using the microphone of the headphone with the microphone. However, the MIDI data is exchanged by connecting an automatic performance piano or the like, and the MIDI data is transmitted in the same manner as in the embodiment. You can also play an automatic piano. Also in this case, according to the present invention, it is possible to automatically avoid duplication of musical sounds based on MIDI data and musical sounds based on voice.
以上の実施形態では、ピアノのレッスンを行う例について説明したが、遠隔コンサートの場合でも適用できる。また、送信側から送信するMIDIデータ、あるいはオーディオビデオ信号等は予め記憶装置や記録メディア等に記録されているものを送信するようにしてもよい。 In the above embodiment, an example of performing a piano lesson has been described, but the present invention can also be applied to a remote concert. Further, MIDI data or audio / video signals transmitted from the transmission side may be transmitted in advance recorded in a storage device or a recording medium.
さらに、先生による演奏のMIDIデータと先生による指導等の音声を何らかのメディアに記録しておき、このメディアを再生してレッスンを行うような場合にも適用できる。この場合、先生による演奏の楽音をオーディオ信号の音声として同時録音しておけば、レッスンでの応用範囲が広がる。 Furthermore, the present invention can also be applied to a case where MIDI data of performance performed by the teacher and voices such as guidance from the teacher are recorded on some media, and this media is reproduced to give a lesson. In this case, if the musical sounds of the teacher's performance are recorded at the same time as the audio signal, the range of application in the lesson will be expanded.
また、上記のようにメディアに記録する場合、先生側のコントローラ等によってMIDIデータに基づいて実施形態同様にオーディオ信号を自動的にオーディオ出力オフとし、このオーディオ信号による楽音を自動的に録音しないようにもできる。 Also, when recording on media as described above, the audio signal is automatically turned off by the teacher's controller or the like based on the MIDI data, as in the embodiment, so that the musical sound by this audio signal is not automatically recorded. You can also.
また、実施形態では、受信側で、MIDIデータによる出力とオーディオ信号による出力を自動的に切り替えるようにしたが、送信側で図6のような判断を行って、MIDIデータによる出力とオーディオ信号の出力を自動的に切り替えるようにしてもよい。 In the embodiment, the output by the MIDI data and the output by the audio signal are automatically switched on the reception side. However, the transmission side performs the determination as shown in FIG. The output may be automatically switched.
また、実施形態では自動演奏ピアノの例について説明したが、MIDIデータに基づいて楽音を発生する他の形態の楽器(例えば、電子鍵盤楽器や、自動演奏型の管楽器や弦楽器、電子管楽器や電子弦楽器等)にも適用できることはいうまでもない。 In the embodiment, an example of an automatic performance piano has been described. However, other forms of musical instruments that generate musical sounds based on MIDI data (for example, electronic keyboard instruments, automatic performance wind instruments, string instruments, electronic wind instruments, and electronic string instruments). It goes without saying that the above can also be applied.
11,21…コントローラ、12,22…自動演奏ピアノ、12a,22a…ピアノコントローラ、21f…スイッチモジュール 11, 21 ... Controller, 12, 22 ... Automatic performance piano, 12a, 22a ... Piano controller, 21f ... Switch module
Claims (2)
前記受信側で、受信した演奏データに基づいて、該演奏データによる楽音の再生時に前記受信したオーディオ信号による音声再生を停止し、該演奏データによる楽音の非再生時に該オーディオ信号による音声再生を行うことを特徴とする演奏システム。 A performance that transmits performance data and an audio signal generated on the transmission side, receives the performance data and an audio signal on the reception side, and reproduces a musical sound based on the performance data and reproduces a sound based on the audio signal In the system,
On the reception side, based on the received performance data, the sound reproduction by the received audio signal is stopped when the musical sound is reproduced by the performance data, and the audio signal is reproduced by the audio signal when the musical sound is not reproduced by the performance data. A performance system characterized by that.
前記受信側は演奏データに応じた楽音信号を生成する音源を備え、受信した演奏データに応じた楽音信号の音量レベルが所定レベル以上のときに、受信したオーディオ信号による音声再生を停止し、音量レベルが所定レベル以下のときに、受信したオーディオ信号による音声再生を行うことを特徴とする演奏システム。 A performance that transmits performance data and an audio signal generated on the transmission side, receives the performance data and an audio signal on the reception side, and reproduces a musical sound based on the performance data and reproduces a sound based on the audio signal In the system,
The receiving side includes a sound source that generates a musical sound signal according to performance data, and stops sound reproduction by the received audio signal when the volume level of the musical sound signal according to the received performance data is equal to or higher than a predetermined level. A performance system for performing sound reproduction by a received audio signal when the level is equal to or lower than a predetermined level.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004004572A JP4214917B2 (en) | 2004-01-09 | 2004-01-09 | Performance system |
US11/031,724 US7288712B2 (en) | 2004-01-09 | 2005-01-07 | Music station for producing visual images synchronously with music data codes |
CN2005100036292A CN1637855B (en) | 2004-01-09 | 2005-01-10 | Music station for producing visual images synchronously with music data codes |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004004572A JP4214917B2 (en) | 2004-01-09 | 2004-01-09 | Performance system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005196074A true JP2005196074A (en) | 2005-07-21 |
JP4214917B2 JP4214917B2 (en) | 2009-01-28 |
Family
ID=34819153
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004004572A Expired - Fee Related JP4214917B2 (en) | 2004-01-09 | 2004-01-09 | Performance system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4214917B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008172409A (en) * | 2007-01-10 | 2008-07-24 | Yamaha Corp | Sound collecting apparatus, and sound transmission system |
JP2008233800A (en) * | 2007-03-23 | 2008-10-02 | Yamaha Corp | Automatic player, reproduction apparatus, reproduction system and program |
JP2009118103A (en) * | 2007-11-06 | 2009-05-28 | Yamaha Corp | Sound processor |
JP2009168911A (en) * | 2008-01-11 | 2009-07-30 | Yamaha Corp | Keyboard instrument, piano, and automatic player piano |
-
2004
- 2004-01-09 JP JP2004004572A patent/JP4214917B2/en not_active Expired - Fee Related
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008172409A (en) * | 2007-01-10 | 2008-07-24 | Yamaha Corp | Sound collecting apparatus, and sound transmission system |
US8383925B2 (en) | 2007-01-10 | 2013-02-26 | Yamaha Corporation | Sound collector, sound signal transmitter and music performance system for remote players |
JP2008233800A (en) * | 2007-03-23 | 2008-10-02 | Yamaha Corp | Automatic player, reproduction apparatus, reproduction system and program |
JP2009118103A (en) * | 2007-11-06 | 2009-05-28 | Yamaha Corp | Sound processor |
JP2009168911A (en) * | 2008-01-11 | 2009-07-30 | Yamaha Corp | Keyboard instrument, piano, and automatic player piano |
Also Published As
Publication number | Publication date |
---|---|
JP4214917B2 (en) | 2009-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4001091B2 (en) | Performance system and music video playback device | |
JP4940956B2 (en) | Audio transmission system | |
KR101554399B1 (en) | Automatic musical performance device, storage device, performance information output device and performance system | |
US7622664B2 (en) | Performance control system, performance control apparatus, performance control method, program for implementing the method, and storage medium storing the program | |
US11399249B2 (en) | Reproduction system and reproduction method | |
JP2010112981A (en) | Remote demonstration reproducing method and device | |
JP3852348B2 (en) | Playback and transmission switching device and program | |
JP2008299032A (en) | Linguistic training aid, and character data regenerator | |
JP4259329B2 (en) | Performance device and ensemble system | |
JP4214917B2 (en) | Performance system | |
JP2008060675A (en) | Sound reproduction device and method | |
CN112119456B (en) | Arbitrary signal insertion method and arbitrary signal insertion system | |
EP1784049A1 (en) | A method and system for sound reproduction, and a program product | |
JP2009005064A (en) | Ip telephone terminal and telephone conference system | |
JP5109496B2 (en) | Data distribution apparatus, data distribution method and program | |
WO2022075418A1 (en) | Communication method and system | |
JP4381108B2 (en) | Time signal processor in speech speed converter | |
JP4214908B2 (en) | Educational performance display system | |
WO2022168375A1 (en) | Communication method, communication system, and communication device | |
US20230005460A1 (en) | Signal processing apparatus, signal processing method, program, signal processing system, and encoding apparatus | |
JP2005292655A (en) | Performance system of electronic musical instrument | |
WO2021210338A1 (en) | Reproduction control method, control system, and program | |
JP4222211B2 (en) | Performance information display system | |
JP4557267B2 (en) | Electronic musical instrument performance system | |
JP2004240920A (en) | Proofreading system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060824 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080310 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080318 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080722 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080922 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081014 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081027 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4214917 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131114 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |