JP2005196074A - Musical performance system, and musical sound and video reproducing apparatus - Google Patents

Musical performance system, and musical sound and video reproducing apparatus Download PDF

Info

Publication number
JP2005196074A
JP2005196074A JP2004004572A JP2004004572A JP2005196074A JP 2005196074 A JP2005196074 A JP 2005196074A JP 2004004572 A JP2004004572 A JP 2004004572A JP 2004004572 A JP2004004572 A JP 2004004572A JP 2005196074 A JP2005196074 A JP 2005196074A
Authority
JP
Japan
Prior art keywords
click
signal
data
time
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004004572A
Other languages
Japanese (ja)
Other versions
JP4214917B2 (en
Inventor
Haruki Uehara
春喜 上原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2004004572A priority Critical patent/JP4214917B2/en
Priority to US11/031,724 priority patent/US7288712B2/en
Priority to CN2005100036292A priority patent/CN1637855B/en
Publication of JP2005196074A publication Critical patent/JP2005196074A/en
Application granted granted Critical
Publication of JP4214917B2 publication Critical patent/JP4214917B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To automatically avoid overlap between a musical sound confused with audio on a transmission side and a musical sound reproduced with MIDI data by a musical performance system that transmits MIDI data, video, and audio through a network etc., for a remote lesson and reproduces a musical sound of an automatic playing piano on a reception side with the MIDI data. <P>SOLUTION: The MIDI data received on the reception side are input to a sound source of a piano controller 22a to generate a musical sound signal corresponding to the MIDI data. A switch module 21f judges whether the sound volume level of the musical sound signal is equal to or higher than a prescribed level. When so, audio output is turned off and no audio is reproduced by a loudspeaker 25, and when not, the audio output is turned on. A time difference is given before the audio output is turned on after the sound volume level decreases to or below the prescribed level. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、送信側から受信側に演奏データと例えばオーディオビデオ信号を送信して、該受信側で演奏データに基づく楽音と該オーディオビデオ信号に基づく映像及び音声を再生する演奏システムに関する。   The present invention relates to a performance system that transmits performance data and, for example, an audio video signal from a transmission side to a reception side, and reproduces musical sounds based on the performance data and video and audio based on the audio video signal on the reception side.

従来、この種の演奏システムは、例えば自動演奏ピアノを使ったレッスンや遠隔コンサートなどを行うために開発されている。図7は従来の演奏システムの概略図であり、送信側(先生側)のコントローラ51と受信側(生徒側)のコントローラ61、送信側のビデオフォン52と受信側のビデオフォン62は、インターネット10でそれぞれ接続されている。送信側の例えば自動演奏ピアノ53の演奏で発生する演奏データ(MIDIデータ)はコントローラ51に入力され、コントローラ51は内部時計51aを参照してMIDIデータが発生した時刻をタイムスタンプとしてMIDIデータに付加し、これらのデータをパケットセンドモジュール51bからパケットデータとして送信する。また、ビデオフォン52で再生されるオーディオビデオ信号は(例えばストリーミングシステムやビデオ会議システムにより)受信側のビデオフォン62に送信される。   Conventionally, this type of performance system has been developed for performing lessons and remote concerts using an automatic performance piano, for example. FIG. 7 is a schematic diagram of a conventional performance system. A controller 51 on the transmission side (teacher side), a controller 61 on the reception side (student side), a videophone 52 on the transmission side, and a videophone 62 on the reception side are connected to the Internet 10. Are connected to each other. Performance data (MIDI data) generated by the performance of the automatic performance piano 53 on the transmission side is input to the controller 51, and the controller 51 refers to the internal clock 51a and adds the time when the MIDI data is generated as a time stamp to the MIDI data. Then, these data are transmitted from the packet send module 51b as packet data. The audio video signal reproduced by the videophone 52 is transmitted to the videophone 62 on the receiving side (for example, by a streaming system or a video conference system).

受信側のコントローラ61は、インターネット10を介して送信されるパケットデータをパケットレシーブモジュール61bで受信し、MIDIデータを抽出してMIDIアウトバッファ61cに格納する。このMIDIデータは内部時計61aとタイムスタンプとに基づいてMIDI出力のタイミングを調整して電子楽器63に出力し、自動演奏ピアノ63でMIDIデータに基づく楽音を発生する。また、受信側のビデオファン62は、受信するオーディオビデオ信号に基づいて映像を再生するとともにオーディオ信号に基づいて音声を再生する。   The controller 61 on the receiving side receives the packet data transmitted via the Internet 10 by the packet receive module 61b, extracts the MIDI data, and stores it in the MIDI out buffer 61c. The MIDI data is output to the electronic musical instrument 63 by adjusting the timing of MIDI output based on the internal clock 61a and the time stamp, and the automatic performance piano 63 generates a musical sound based on the MIDI data. The video fan 62 on the receiving side reproduces video based on the received audio video signal and reproduces audio based on the audio signal.

このように、演奏データに基づいて自動演奏ピアノで再生すると、自動演奏ピアノからは生楽音(アコースティック音)が発生されるとともに、その楽音に対応する鍵も自動的に動くので、ピアノのレッスンには好適である。   In this way, when an automatic performance piano is played back based on performance data, the live performance sound (acoustic sound) is generated from the automatic performance piano, and the key corresponding to the musical sound automatically moves, making it a piano lesson. Is preferred.

なお、先生側の電子楽器である親機と生徒側の電子楽器である子機とを接続して、複数の生徒に対する楽器のレッスンを行うようにした集団演奏教習装置が例えば特開平7−199790号公報に開示されている。この従来の技術では、先生が生徒による演奏をモニタするために、モニタする生徒やそのグループを任意に選択設定できるようにしている。
特開平7−199790号公報
A group performance learning apparatus in which a master device as an electronic musical instrument on the teacher side and a child device as an electronic musical instrument on the student side are connected to perform a lesson of musical instruments for a plurality of students is disclosed in, for example, Japanese Patent Laid-Open No. 7-199790. It is disclosed in the gazette. In this conventional technique, the teacher and the group to be monitored can be arbitrarily selected and set in order for the teacher to monitor the performance by the student.
Japanese Patent Laid-Open No. 7-199790

しかし、従来の演奏システムでは、受信側でオーディオ信号による音声再生を普通に再生していると、送信側で集音された音声の中には、送信側で演奏された楽音も先生のアドバイス等と一緒に集音されるため、送信側から受信した演奏データに基づいて自動演奏ピアノから発生する生楽音と、オーディオ信号による音声の中の楽音とが重複してしまう。このため、従来は、ミキサなどを使って音声をミュートしたりする必要があった。例えばレッスンの場合、生徒がオーディオ信号で再生される先生の声を聞くときと、先生の演奏(生徒側の自動演奏)を聞くときとで、ミュートオフしたりミュートオンしたりしなければならず、手間を要するという問題がある。特に子供にはこのような操作は極めて困難でありレッスンの上達にも支障をきたすという問題がある。   However, in the conventional performance system, when the audio playback by the audio signal is normally played on the receiving side, the musical sound played on the transmitting side is also the teacher's advice among the sounds collected on the transmitting side. Therefore, the live music sound generated from the automatic performance piano based on the performance data received from the transmission side overlaps the music sound in the sound of the audio signal. For this reason, conventionally, it has been necessary to mute the sound using a mixer or the like. For example, in the case of a lesson, the student must mute off and mute on when listening to the teacher's voice played with an audio signal and when listening to the teacher's performance (student's automatic performance). There is a problem that it takes time and effort. Especially for children, this kind of operation is extremely difficult, and there is a problem that the lesson progress is also hindered.

また、前記特開平7−199790号公報のような技術に加えて先生の映像及び音声を生徒側に送り、映像と音声により生徒を指導することもできるが、先生側で生徒側の音声再生を制御するのは困難である。   In addition to the technique as described in JP-A-7-199790, the teacher's video and audio can be sent to the student side, and the student can be instructed by video and audio. It is difficult to control.

本発明は、送信側から受信側に演奏データと例えばオーディオビデオ信号を送信して、受信側で演奏データに基づく楽音とオーディオ信号に基づく音声を再生する演奏システムにおいて、演奏データに基づく楽音とオーディオ信号に基づく音声の中の楽音とが重複しないように自動制御することを課題とする。   The present invention relates to music and audio based on performance data in a performance system in which performance data and, for example, an audio video signal are transmitted from the transmission side to the reception side, and a musical sound based on the performance data and audio based on the audio signal are reproduced on the reception side. It is an object of the present invention to perform automatic control so as not to overlap with musical tones in speech based on signals.

本発明の請求項1の演奏システムは、送信側にて発生する演奏データ(例えばMIDIデータ)とオーディオ信号とを送信し、受信側にて該演奏データとオーディオ信号とを受信して、該演奏データによる楽音の再生と該オーディオ信号による音声再生とを行う。このとき、受信側で、受信した演奏データに基づいて、該演奏データによる楽音の再生時に前記受信したオーディオ信号による音声再生を停止し、該演奏データによる楽音の非再生時に該オーディオ信号による音声再生を行う。したがって、演奏データによる楽音が再生されているときは、オーディオ信号の音声による楽音が再生されない。   The performance system according to claim 1 of the present invention transmits performance data (for example, MIDI data) and an audio signal generated on the transmission side, receives the performance data and the audio signal on the reception side, and receives the performance data. Musical sound reproduction by data and audio reproduction by the audio signal are performed. At this time, on the receiving side, based on the received performance data, the sound reproduction by the received audio signal is stopped when the musical sound based on the performance data is reproduced, and the sound reproduction based on the audio signal is performed when the musical sound based on the performance data is not reproduced. I do. Therefore, when the musical sound based on the performance data is being reproduced, the musical sound based on the audio signal is not reproduced.

本発明の請求項2の演奏システムは、記受信側は演奏データに応じた楽音信号を生成する音源を備え、受信した演奏データに応じた楽音信号の音量レベルが所定レベル以上のときに、受信したオーディオ信号による音声再生を停止し、音量レベルが所定レベル以下のときに、受信したオーディオ信号による音声再生を行う。したがって、ピアノの減衰する楽音のように演奏データに反映されないような実際の楽音の特徴に対応することができる。   The performance system according to claim 2 of the present invention includes a sound source that generates a musical sound signal corresponding to the performance data on the receiving side, and is received when the volume level of the musical sound signal corresponding to the received performance data is equal to or higher than a predetermined level. The sound reproduction by the audio signal is stopped, and the sound reproduction by the received audio signal is performed when the volume level is lower than the predetermined level. Therefore, it is possible to deal with characteristics of actual musical sounds that are not reflected in the performance data, such as piano decaying musical sounds.

本発明の請求項1及び請求項2の演奏システムによれば、演奏データに基づく楽音とオーディオ信号に基づく音声による楽音とが重複しないように自動制御することができる。   According to the performance system of claims 1 and 2 of the present invention, it is possible to automatically control so that the musical sound based on the performance data and the musical sound based on the audio signal do not overlap.

さらに請求項2の演奏システムによれば、ピアノの減衰する楽音のように演奏データに反映されないような実際の楽音の特徴に応じても簡単な処理で対応することができる。   Further, according to the performance system of the second aspect, it is possible to cope with the characteristics of the actual musical tone that is not reflected in the performance data, such as the musical tone attenuated by the piano, with a simple process.

以下、図面を参照して本発明の一実施形態について説明する。図1は本発明の実施形態における演奏システムの要部機能を説明する機能ブロック図である。この演奏システムは遠隔レッスンを行うものであり、送信側は先生側、受信側は生徒側である。送信側のコントローラ11と受信側のコントローラ21とでインターネット10を介して信号の送受信を行い、先生側である送信側の自動演奏ピアノ12の演奏操作により、生徒側である受信側の自動演奏ピアノ22でピアノの楽音を発生して生徒側での模範演奏を行う。また、送信側のビデオカメラ14で撮影した先生による指導や演奏の映像及び音声をビデオフォン13から送信して、受信側のビデオフォン23及びディスプレイ24で映像を再生し、音声はスピーカ25で再生する。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a functional block diagram for explaining main functions of the performance system according to the embodiment of the present invention. This performance system performs remote lessons. The transmitting side is the teacher side and the receiving side is the student side. The transmitting-side controller 11 and the receiving-side controller 21 transmit and receive signals via the Internet 10, and the performance-side operation of the transmitting-side automatic performance piano 12 that is the teacher side causes the student-side receiving-side automatic performance piano. At 22 the piano tone is generated and the model is played on the student side. In addition, the video and audio of the instruction and performance by the teacher taken by the video camera 14 on the transmission side are transmitted from the videophone 13, the video is reproduced on the videophone 23 and the display 24 on the reception side, and the audio is reproduced on the speaker 25. To do.

先ず、送信側と受信側の送受信動作によるMIDIデータとオーディオビデオ信号の同期機能について説明する。送信側のコントローラ11及び受信側のコントローラ21はコンピュータ等で構成されており、送信側の内部時計11a、タイムスタンプ付加モジュール11b、パケットセンドモジュール11c、クリック発生モジュール11dはコントローラ11の機能である。また、受信側の内部時計21a、クリック発生時刻バッファ21b、パケットレシーブモジュール21c、MIDIアウトバッファ21d、クリックタイミング検出モジュール21e、スイッチングモジュール(SW)21fはコントローラ21の機能である。   First, a synchronization function between MIDI data and an audio video signal by transmission / reception operations on the transmission side and the reception side will be described. The transmission-side controller 11 and the reception-side controller 21 are configured by a computer or the like, and the transmission-side internal clock 11 a, time stamp addition module 11 b, packet send module 11 c, and click generation module 11 d are functions of the controller 11. The internal clock 21a, click generation time buffer 21b, packet receive module 21c, MIDI out buffer 21d, click timing detection module 21e, and switching module (SW) 21f on the receiving side are functions of the controller 21.

送信側のピアノコントローラ12aは自動演奏ピアノ12を、受信側のピアノコントローラ22aは自動演奏ピアノ22をそれぞれ電子的に制御する装置であり、送信側の自動演奏ピアノ12の演奏がキーセンサ等で検出され、ピアノコントローラ12aから演奏に応じたMIDIデータが出力される。また、受信側のピアノコントローラ22aは受信したMIDIデータに基づいて自動演奏ピアノ22を駆動して演奏(再生)を行う。なお、自動演奏ピアノ12,22は、MIDIデータに基づいて鍵駆動用のソレノイドを制御し、打弦によりピアノ音を発生することは公知の技術である。ここで、この実施形態では、受信側のピアノコントローラ22aは内部に波形メモリ音源を備えており、入力されるMIDIデータ(ピアノの音色のプログラムチェンジ等)に基づいてピアノの音色のデジタル楽音信号を生成する。このデジタル楽音信号はコントローラ21のスイッチングモジュール21fにおいて、音量レベルを検出するのに用いる。   The transmission-side piano controller 12a is an apparatus for electronically controlling the automatic performance piano 12, and the reception-side piano controller 22a is an apparatus for electronically controlling the automatic performance piano 22. The performance of the transmission-side automatic performance piano 12 is detected by a key sensor or the like. MIDI data corresponding to the performance is output from the piano controller 12a. The reception-side piano controller 22a drives (plays back) the automatic performance piano 22 based on the received MIDI data. It is a well-known technique that the automatic performance pianos 12 and 22 control a key driving solenoid based on MIDI data and generate a piano sound by striking a string. Here, in this embodiment, the piano controller 22a on the receiving side is provided with a waveform memory sound source, and a digital musical tone signal of a piano tone is generated based on input MIDI data (such as a program change of piano tone). Generate. This digital musical tone signal is used to detect the volume level in the switching module 21f of the controller 21.

送信側のコントローラ11は送信開始時にクリック発生モジュール11dを起動して該クリック発生モジュール11dは一定間隔でクリック信号を発生し、このクリック信号はビデオフォン13に入力されるとともにコントローラ11で内部処理される。コントローラ11は、ピアノコントローラ12aからMIDIデータが発生されると、そのMIDIデータに対して、内部時計11aを参照して得られる該MIDIデータの発生時刻を示すタイムスタンプを付加し、パケットセンドモジュール11cからパケットデータとして送信する。また、クリック信号が検出されると、このクリック信号のクリック発生時刻を示すクリックタイムデータを生成し、このクリックタイムデータをパケットセンドモジュール11cからパケットデータとして送信する。また、ビデオフォン13は、クリック発生モジュール11cからクリック信号が発生する毎に、そのクリック信号をオーディオ信号に含ませて送信する。なお、パケットデータにはMIDI/クリックタイムかを識別するデータがヘッダ等に記録され、受信側ではこのヘッダの情報でMIDIデータとクリックタイムデータを識別する。   The controller 11 on the transmission side activates the click generation module 11d at the start of transmission, and the click generation module 11d generates a click signal at regular intervals. This click signal is input to the videophone 13 and is internally processed by the controller 11. The When MIDI data is generated from the piano controller 12a, the controller 11 adds a time stamp indicating the generation time of the MIDI data obtained by referring to the internal clock 11a to the MIDI data, and the packet send module 11c. Is transmitted as packet data. When the click signal is detected, click time data indicating the click occurrence time of the click signal is generated, and the click time data is transmitted as packet data from the packet send module 11c. Further, every time a click signal is generated from the click generation module 11c, the videophone 13 includes the click signal in the audio signal and transmits it. In the packet data, data for identifying the MIDI / click time is recorded in a header or the like, and the receiving side identifies the MIDI data and the click time data based on the header information.

また、ビデオフォン13は、クリック発生モジュール11dからクリック信号が発生する毎に、そのクリック信号をオーディオ信号に含ませて送信する。ビデオカメラ14は自動演奏ピアノ12における先生の鍵盤演奏を撮像して、そのビデオ信号をビデオフォン13に出力する。ビデオフォン13は上記ビデオ信号と前記オーディオ信号を圧縮して送信する。ここで、この実施形態におけるオーディオ信号はモノラルの場合であり、このオーディオ信号に含ませるクリック信号は、例えば音声信号として頻繁には出現しないような周波数(例えば40Hz)のクリック信号である。そして、受信側でフィルタを通してクリック信号を検出する。   Further, every time a click signal is generated from the click generation module 11d, the videophone 13 includes the click signal in the audio signal and transmits it. The video camera 14 images the teacher's keyboard performance on the automatic performance piano 12 and outputs the video signal to the videophone 13. The videophone 13 compresses and transmits the video signal and the audio signal. Here, the audio signal in this embodiment is a monaural case, and the click signal included in the audio signal is a click signal having a frequency (for example, 40 Hz) that does not frequently appear as an audio signal, for example. Then, the click signal is detected through the filter on the receiving side.

受信側のコントローラ21は、パケットレシーブモジュール21cでパケットデータを受信し、そのパケットデータがMIDIデータである場合は、MIDIデータをMIDIアウトバッファ21dに格納し、パケットデータがクリックタイムデータである場合は、クリックタイムデータをクリック発生時刻バッファ21bに格納する。また、ビデオフォン23で受信したオーディオ信号から、クリックタイミング検出モジュール21eでクリック信号が検出されると、このクリック信号に対応するクリックタイムデータとにより、内部時計21aを補正する。   The receiving-side controller 21 receives the packet data with the packet receive module 21c, and stores the MIDI data in the MIDI out buffer 21d when the packet data is MIDI data. If the packet data is the click time data, The click time data is stored in the click occurrence time buffer 21b. When a click signal is detected by the click timing detection module 21e from the audio signal received by the videophone 23, the internal clock 21a is corrected based on the click time data corresponding to the click signal.

コントローラ11からのMIDIデータ及び前記クリックタイムデータ(クリック信号のクリック発生時刻)は、インターネット10を利用したパケット通信システムでパケットデータとしてコントローラ21に送信する。また、ビデオフォン13はビデオ信号とモノラルのオーディオ信号を圧縮して出力し、このビデオ信号とオーディオ信号は、インターネット10を利用したビデオ会議システムにより、ビデオフォン23に送信する。そして、このオーディオ信号にはクリック発生モジュール11dからのクリック信号を含めて送信する。   The MIDI data from the controller 11 and the click time data (click generation time of the click signal) are transmitted to the controller 21 as packet data in the packet communication system using the Internet 10. The video phone 13 compresses and outputs a video signal and a monaural audio signal, and the video signal and the audio signal are transmitted to the video phone 23 by a video conference system using the Internet 10. The audio signal is transmitted including the click signal from the click generation module 11d.

図2は実施形態における時間進行に対するパケットデータとクリック信号(オーディオ信号)の関係を概念的に示す図である。クリック信号は所定間隔のパルス信号として出力される。パケットデータは主にMIDIデータ(図中「MIDI」)を送信するが、送信側でクリック信号が発生したときにクリックタイムデータ(図中「クリック」)も送信する。このクリック信号とクリックタイムデータとは、受信側でクリックタイムデータを検出するタイミングとクリック信号を検出するタイミングが略同時となるように送信することで、互いにペアとなるように対応付けられている。この対応するクリック信号とクリックタイムデータとは同時に受信できるとは限らないので所定の時間間隔内で検出されたもの同士を対応するものとする。   FIG. 2 is a diagram conceptually showing the relationship between packet data and a click signal (audio signal) with respect to time progression in the embodiment. The click signal is output as a pulse signal at a predetermined interval. The packet data mainly transmits MIDI data (“MIDI” in the figure), but also click time data (“click” in the figure) is transmitted when a click signal is generated on the transmission side. The click signal and the click time data are associated with each other so as to be paired with each other by transmitting the click time data detection timing and the click signal detection timing at substantially the same time on the receiving side. . Since the corresponding click signal and click time data are not necessarily received simultaneously, those detected within a predetermined time interval correspond to each other.

図3はクリック信号とクリックタイムデータの受信タイミングの差を吸収してペアを検出する例を示す図である。図3(A) のようにクリック信号が先に到来すると、そのクリック信号の立ち上がりでクリック検出信号がえられる。そこでこのクリック検出信号により、所定時間を計時するタイマを起動し、クリックタイムデータが検出されるまでの時間ΔTを計時する。そして、クリックタイムデータが検出された時点で、そのクリックタイムデータが示すクリックタイムtにタイマ値ΔTを加算した時刻を、受信側の現時刻として内部時計21aを補正する。これにより、内部時計21aはクリック信号が検出された時点でそのクリック信号に対応する(ペアの)クリックタイムデータに基づいて補正されたと同様な結果となる。なお、タイマが計時終了する所定時間は、断続的に送信(及び受信)するクリック信号間の間隔(インターバル)に応じて設定されており、このクリック信号が検出されてから所定時間内にクリックタイムデータが検出されない場合は、この検出した今回のクリック信号による補正動作を中止する。   FIG. 3 is a diagram illustrating an example in which a pair is detected by absorbing a difference in reception timing between the click signal and the click time data. When the click signal arrives first as shown in FIG. 3A, a click detection signal is obtained at the rise of the click signal. Therefore, a timer for measuring a predetermined time is started by this click detection signal, and the time ΔT until the click time data is detected is counted. When the click time data is detected, the internal clock 21a is corrected with the time obtained by adding the timer value ΔT to the click time t indicated by the click time data as the current time on the receiving side. As a result, the internal clock 21a has the same result as that when the click signal is detected and corrected based on the click time data corresponding to the click signal. The predetermined time for the timer to finish timing is set according to the interval (interval) between the click signals that are intermittently transmitted (and received), and the click time is within a predetermined time after the click signal is detected. If no data is detected, the correction operation by the detected current click signal is stopped.

また、図3(B) のように、クリックタイムデータが先に到来した場合は、そのクリックタイムデータが示すクリックタイムtを前記クリック発生時刻バッファ21bに記憶しておき、所定時間内にクリック信号(クリック検出信号)が検出されると、クリック発生時刻バッファ21bに記憶しているクリックタイムtを、受信側のクリック信号検出時の現時刻として内部時計21aを補正する。この場合も、クリックタイムデータが検出されてから所定時間内にクリック信号が検出されない場合は、この検出した今回のクリックタイムデータによる補正動作を中止する。   As shown in FIG. 3B, when the click time data comes first, the click time t indicated by the click time data is stored in the click occurrence time buffer 21b, and the click signal is transmitted within a predetermined time. When (click detection signal) is detected, the internal clock 21a is corrected using the click time t stored in the click occurrence time buffer 21b as the current time when the click signal on the receiving side is detected. Also in this case, when the click signal is not detected within a predetermined time after the click time data is detected, the correction operation using the detected current click time data is stopped.

次に、クリック信号(オーディオビデオ信号)を送信する第2伝送系統のシステムの違い(ビデオ会議系とストリーミング系)に応じた所定時間について説明する。MIDIデータとクリックタイムデータを送信する第1伝送系統の遅延は、ネットワーク状態によって変化する部分もあるが、通常は10〜100m秒(ミリ秒)程度である。   Next, the predetermined time corresponding to the difference between the systems of the second transmission system for transmitting the click signal (audio video signal) (video conference system and streaming system) will be described. The delay of the first transmission system that transmits MIDI data and click time data varies depending on the network state, but is usually about 10 to 100 milliseconds (milliseconds).

(ビデオ会議系)ビデオ会議系は、ビデオ側の遅延時間が200〜300m秒程度であり、ネットワーク状態によってクリックタイムデータが検出信号より先に来る場合(図3(B) )とクリックタイムデータが検出信号より後に来る場合(図3(A) )を想定してタイミング補正動作をする。クリックタイムデータが検出信号より先に来る場合には、第1伝送系統の最小遅延時間10m秒と第2伝送系統の最大遅延時間の差である300m秒弱程度の遅延時間をカバーできればよいものであり、所定時間は300+αm秒(α:数十〜200m秒)あればよい。クリックタイムデータが検出信号より後に来る場合は、上述のMIDI信号側で想定する遅延時間の範囲を超える遅延が生じた場合のものなので、仮に300m秒程度の遅延でもカバーできるものにするとすれば、所定時間は第2伝送系統の最小遅延時間の差である100m秒弱程度あればよい。なお、第1伝送系統のネットワーク状態が悪く、MIDIパケットの送信に時間がかかることを想定しているもので、このような場合には、受信した側はタイミング補正と並行して通信の停止を送信側に促したりするようにしてもよい。 (Video conferencing system) In the video conferencing system, the delay time on the video side is about 200 to 300 milliseconds, and when the click time data comes before the detection signal depending on the network state (FIG. 3 (B)), the click time data is The timing correction operation is performed assuming that the signal comes after the detection signal (FIG. 3A). When the click time data comes before the detection signal, it is only necessary to cover a delay time of about 300 msec, which is the difference between the minimum delay time of 10 msec of the first transmission system and the maximum delay time of the second transmission system. Yes, the predetermined time may be 300 + α m seconds (α: several tens to 200 m seconds). When the click time data comes after the detection signal, it is a case where a delay exceeding the range of the delay time assumed on the above-mentioned MIDI signal side occurs, so if it is possible to cover even a delay of about 300 milliseconds, The predetermined time may be about 100 milliseconds or less, which is the difference in the minimum delay time of the second transmission system. It is assumed that the network state of the first transmission system is bad and it takes a long time to send a MIDI packet. In such a case, the receiving side stops communication in parallel with the timing correction. You may make it urge the transmission side.

(ストリーミング系)ストリーミング系は、ビデオ側の遅延が15〜30秒程度であり、第1伝送系統の遅延時間と比較して桁違いに大きいものとなっている。このため、クリックタイムデータが先に来る場合にタイミング補正動作をする。クリックタイムデータが検出信号より後に来る場合は考えられなくはないが、その場合はMIDI信号自体がエラーとして処理され同期処理には利用されない。クリックタイムデータが先に来る場合の上記所定時間は、第1伝送系統の最小遅延時間と第2伝送系統の最大遅延時間との差分の補正ができればよいのだが、上述のように第2伝送系統の遅延時間が第1伝送系統に比べて非常に長いので、所定時間は30秒+β(β:数秒)あればよい。また、クリックタイムデータが後に来る場合の上記所定時間は0に設定すればよい。なお、αとβは、いずれもビデオ系の遅延が急激に変化する可能性のある値をさす。 (Streaming system) The streaming system has a delay on the video side of about 15 to 30 seconds, which is an order of magnitude larger than the delay time of the first transmission system. For this reason, the timing correction operation is performed when the click time data comes first. There is no doubt that the click time data comes after the detection signal, but in this case, the MIDI signal itself is processed as an error and is not used for the synchronization process. The predetermined time when the click time data comes first only needs to be able to correct the difference between the minimum delay time of the first transmission system and the maximum delay time of the second transmission system. Therefore, the predetermined time may be 30 seconds + β (β: several seconds). The predetermined time when the click time data comes later may be set to zero. Note that both α and β are values that may cause the video system delay to change rapidly.

これらのことに基づき、所定時間とクリック信号のインターバルの例をあげると、クリック信号(オーディオビデオ信号)を送信する第2伝送系統は、この実施形態ではビデオ会議システムであり、この場合には送信から受信に係る遅延が200〜300m秒程度であり、クリック信号間の間隔(インターバル)は2秒程度に設定されている。なお、クリックタイムデータが先に来る場合に対応して想定する所定時間を「所定時間B」とし、クリックタイムデータが後に来る場合に対応して想定する所定時間を「所定時間A」とする。この場合、上記タイマにより規制する所定時間Bは例えば0.5秒程度でよい。また、所定時間Aとしては、0.1秒程度でよい。なお、この第2伝送系統としてストリーミングシステムを利用する場合は、この伝送系統は遅延が5〜20秒程度であり、クリック信号間の間隔(インターバル)は余裕を見て30秒程度に設定するとよい。この場合は上記タイマにより規制する所定時間Bは25秒程度でよく、所定時間Aは0秒でよい。   Based on these, an example of the interval between the predetermined time and the click signal is given. The second transmission system for transmitting the click signal (audio video signal) is a video conference system in this embodiment, and in this case, the transmission is performed. From about 200 to 300 milliseconds and the interval between the click signals is set to about 2 seconds. The predetermined time assumed in response to the click time data coming first is “predetermined time B”, and the predetermined time assumed in response to the click time data coming later is “predetermined time A”. In this case, the predetermined time B regulated by the timer may be about 0.5 seconds, for example. Further, the predetermined time A may be about 0.1 seconds. When a streaming system is used as the second transmission system, the transmission system has a delay of about 5 to 20 seconds, and the interval between the click signals should be set to about 30 seconds with a margin. . In this case, the predetermined time B regulated by the timer may be about 25 seconds, and the predetermined time A may be 0 seconds.

図4は送信側のコントローラ11の送信処理の要部を示すフローチャートである。先ず、ステップS11でピアノコントローラ12aからMIDIデータが発生するのを監視するとともに、ステップS12でクリック発生モジュール11dからクリック信号が発生するのを監視する。MIDIデータが発生したら、ステップS13でMIDIデータにタイムスタンプを付加し、ステップS14でパケットデータとして送信する。また、クリック信号が発生したら、ステップS16で内部時計11aからクリックタイムを取得し、そのクリックタイムデータにタイムスタンプを付加してパケットデータとして送信する。そして、処理終了の指示があれば処理を終了する。なお、クリック発生モジュール11dからのクリック信号(オーディオ信号)はビデオフォン13により、コントローラ11の処理とは独立して送信される。   FIG. 4 is a flowchart showing a main part of the transmission process of the controller 11 on the transmission side. First, in step S11, the generation of MIDI data from the piano controller 12a is monitored, and in step S12, the generation of a click signal from the click generation module 11d is monitored. When the MIDI data is generated, a time stamp is added to the MIDI data in step S13, and it is transmitted as packet data in step S14. If a click signal is generated, the click time is acquired from the internal clock 11a in step S16, a time stamp is added to the click time data, and the packet data is transmitted. If there is an instruction to end the process, the process ends. Note that the click signal (audio signal) from the click generation module 11d is transmitted by the videophone 13 independently of the processing of the controller 11.

図5は受信側のコントローラ21の受信処理の要部を示すフローチャートであり、この処理では、前記図3(A) 及び図3(B) の処理を併用するために、AフラグとBフラグを用いている。また、所定時間Aを計時する所定時間Aタイマ、所定時間Bを計時する所定時間Bタイマを用いている。なお、パケットレシーブモジュール21cでの受信処理は別途割込み処理により行われ、MIDIデータあるいはクリックタイムデータの受信の有無に応じた処理を行う。先ず、ステップS21でAフラグ、Bフラグ及び後述のOFFフラグを“0”にリセットするとともに、オーディオ出力オンとsるう。次に、ステップS22でMIDIデータが有るかを判定する。受信したMIDIデータがなければステップS30に進み、受信したMIDIデータが有ればステップS23で発音時刻(イベントのタイミング)の調整などのMIDIデータ処理を行ってステップS30に進む。ステップS30では、後述の図6のオーディオスイッチング処理を行ってステップS24に進み、ステップS24でクリックタイムデータが有るかを判定する。クリックタイムデータが無ければステップS25でクリック信号を検出したかを判定し、検出していなければステップS22以降を繰り返す。   FIG. 5 is a flowchart showing the main part of the receiving process of the controller 21 on the receiving side. In this process, the A flag and the B flag are set in order to use the processes of FIGS. 3 (A) and 3 (B) together. Used. Further, a predetermined time A timer for measuring the predetermined time A and a predetermined time B timer for measuring the predetermined time B are used. Note that the reception process in the packet receive module 21c is separately performed by an interrupt process, and performs a process according to whether MIDI data or click time data is received. First, in step S21, an A flag, a B flag, and an OFF flag, which will be described later, are reset to “0” and the audio output is turned on. Next, in step S22, it is determined whether there is MIDI data. If there is no received MIDI data, the process proceeds to step S30. If there is received MIDI data, MIDI data processing such as adjustment of the sound generation time (event timing) is performed in step S23, and the process proceeds to step S30. In step S30, the audio switching process of FIG. 6 described later is performed, and the process proceeds to step S24. In step S24, it is determined whether there is click time data. If there is no click time data, it is determined in step S25 whether a click signal has been detected. If not detected, step S22 and subsequent steps are repeated.

ステップS24でクリックタイムデータが無く、ステップS25でクリック信号が検出されていれば、前記図3(A) の場合(クリック信号が先)であり、ステップS26でBフラグ=“1”かを判定する。このBフラグはクリックタイムデータが先の場合に“1”にセットされるので、この場合は、ステップS27に進み、前記所定時間Aタイマを起動する。そして、ステップS28でAフラグを“1”にセットする。そして、ステップS29で所定時間Aタイマが計時終了したか否かを判定し、計時を終了していればステップS21に戻ってAフラグとBフラグをリセットする。所定時間Aタイマが計時終了していなければ、ステップS201に進み、処理終了の指示がなければステップS22に戻る。処理終了の指示があれば、ステップS202でオーディオ信号出力を強制的にオンにして処理を終了する。   If there is no click time data in step S24 and a click signal is detected in step S25, then it is the case of FIG. 3A (click signal is first), and it is determined in step S26 whether the B flag = “1”. To do. Since the B flag is set to “1” when the click time data is earlier, in this case, the process proceeds to step S27, and the predetermined time A timer is started. In step S28, the A flag is set to "1". Then, in step S29, it is determined whether or not the A timer has finished counting for a predetermined time. If the timing has been finished, the process returns to step S21 to reset the A flag and the B flag. If the predetermined time A timer has not ended, the process proceeds to step S201, and if there is no instruction to end the process, the process returns to step S22. If there is an instruction to end the process, the audio signal output is forcibly turned on in step S202 to end the process.

すなわち、この状態では、所定時間Aタイマによる所定時間Aの計時を行いながら、クリックタイムデータの検出を監視する。そして、所定時間A内にクリックタイムデータが検出されれば、ステップS202でAフラグ=“1”かを判定する。このAフラグはクリック信号が先の場合に“1”にセットされるので、この場合は、ステップS203に進み、クリックタイムtにタイマ値ΔTを加算して現時刻を求め、内部時計21aを補正する。そして、204でAフラグ及び所定時間Aタイマをリセットし、ステップS29に進む。   That is, in this state, the detection of the click time data is monitored while measuring the predetermined time A by the predetermined time A timer. If the click time data is detected within the predetermined time A, it is determined in step S202 whether the A flag is “1”. Since the A flag is set to “1” when the click signal is earlier, in this case, the process proceeds to step S203, the timer value ΔT is added to the click time t to obtain the current time, and the internal clock 21a is corrected. To do. At 204, the A flag and the A timer for a predetermined time are reset, and the process proceeds to step S29.

一方、クリック信号が検出される前にステップS24でクリックタイムデータが検出されていれば、前記図3(B) の場合であり、この場合は、ステップS202からステップS205に進み、前記所定時間Bタイマを起動する。次に、ステップS206でクリックタイムデータをクリック発生時刻バッファ21bに記憶し、ステップS207でBフラグを“1”にセットする。そして、ステップS29で所定時間Bタイマが計時終了したか否かを判定し、計時を終了していればステップS21に戻ってAフラグとBフラグをリセットする。所定時間Bタイマが計時終了していなければ、ステップS201に進み、処理終了の指示がなければステップS22に戻る。   On the other hand, if the click time data is detected in step S24 before the click signal is detected, it is the case of FIG. 3B. In this case, the process proceeds from step S202 to step S205, and the predetermined time B Start the timer. Next, the click time data is stored in the click occurrence time buffer 21b in step S206, and the B flag is set to "1" in step S207. Then, in step S29, it is determined whether or not the B timer has finished counting for a predetermined time. If the timing has ended, the process returns to step S21 to reset the A flag and the B flag. If the predetermined time B timer has not timed, the process proceeds to step S201, and if there is no instruction to end the process, the process returns to step S22.

この状態では、所定時間Bタイマによる所定時間Bの計時を行いながら、クリック信号の検出を監視する。所定時間B内にクリック信号が検出されれば、ステップS25からステップS26に進み、さらにステップS26からステップS208に進む。そして、ステップS208で、クリック発生時刻バッファ21bに記憶したクリックタイムtを現時刻(クリック信号検出タイミング)として、内部時計21aを補正する。そして、ステップS209でBフラグ及び所定時間Bタイマをリセットする。   In this state, the detection of the click signal is monitored while measuring the predetermined time B by the predetermined time B timer. If a click signal is detected within the predetermined time B, the process proceeds from step S25 to step S26, and further proceeds from step S26 to step S208. In step S208, the internal clock 21a is corrected using the click time t stored in the click occurrence time buffer 21b as the current time (click signal detection timing). In step S209, the B flag and the B timer for a predetermined time are reset.

このように、クリック信号の到来時にそれに対応するクリックタイムデータを現時刻とし、あるいは、クリックタイムデータが先に到来したときは、それに対応するクリック信号が到来した時点の時刻をクリックタイムデータから求め、それぞれ内部時計21aを補正している。また、クリック信号を含んでいるオーディオビデオ信号はそのクリック信号と当然に同期している(同時性が保証されている)ので、内部時計21aをタイムベースとしてMIDIデータによる自動演奏を行ったとき、この自動演奏と再生される映像とが同期したものとなる。すなわち、自動的に同期をとることができる。   Thus, when the click signal arrives, the corresponding click time data is set as the current time, or when the click time data arrives first, the time when the corresponding click signal arrives is obtained from the click time data. The internal clock 21a is corrected. Also, since the audio video signal including the click signal is naturally synchronized with the click signal (simultaneity is guaranteed), when the automatic performance with MIDI data is performed using the internal clock 21a as a time base, This automatic performance and the reproduced video are synchronized. That is, synchronization can be automatically established.

なお、何らかの事情でクリック信号あるいはクリックタイムデータを受信できなかった場合(取り逃した場合)でも、次のペアあるいはその次のペアによって時計を補正することができる。このような場合でも、一旦補正されると同期外れが生じるまで(あるいは時間のズレが目立つようになるまで)、有る程度の時間がかかるので問題はない。   Even if the click signal or the click time data cannot be received for some reason (when missed), the clock can be corrected by the next pair or the next pair. Even in such a case, there is no problem because once the correction is made, it takes a certain amount of time until the synchronization is lost (or the time shift becomes noticeable).

図6はオーディオスイッチング処理(図5のステップS30)のフローチャートであり、この処理では、受信したMIDIデータに基づいてピアノコントローラ22aで楽音信号を生成し、その楽音信号の音量レベルに応じてオーディオ出力のオン/オフを切り換える処理をする。なお、この楽音信号による楽音の再生は行われない。また、この処理では、オーディオ出力オフの状態を示すOFFフラグを用い、このOFFフラグは、オーディオ出力オフの状態で“1”にセットされ、オーディオ出力オンの状態で“0”にリセットされる。また、音量レベルが所定レベル以下になってオーディオ出力オフの状態からオーディオ出力オンの状態へ切り換えるまでに所定時間(例えば数秒間)を設けるために所定時間Cタイマを用いる。   FIG. 6 is a flowchart of the audio switching process (step S30 in FIG. 5). In this process, a musical tone signal is generated by the piano controller 22a based on the received MIDI data, and audio output is performed according to the volume level of the musical tone signal. Processing to switch on / off. Note that the musical tone is not reproduced by the musical tone signal. In this process, an OFF flag indicating the audio output off state is used, and this OFF flag is set to “1” when the audio output is off and reset to “0” when the audio output is on. Also, a predetermined time C timer is used to provide a predetermined time (for example, several seconds) until the volume level becomes equal to or lower than the predetermined level and switches from the audio output off state to the audio output on state.

先ず、ステップS31で、ピアノコントローラ22aからの楽音信号の音量レベル(エンベロープ)が所定レベル以上であるかを判定する。この所定レベルは、実際に楽音を発生した場合に殆ど聞こえないようなレベルである。音量レベルが所定レベル以上であれば、ステップS32でオーディオ出力をオフにするとともに、OFFフラグを“1”にセットし、元のルーチンに復帰する。音量レベルが所定レベル以上でなければ、ステップS33でOFFフラグ=“1”であるかを判定し、OFFフラグ=“1”であれば、ステップS34でCタイマを起動するとともにOFFフラグを“0”にリセットし、元のルーチンに復帰する。ステップS33でOFFフラグ=“0”であれば、ステップS35でCタイマが計時終了したか否かを判定し、計時を終了していなければ元のルーチンに復帰し、Cタイマが計時を終了していれば、ステップS36でオーディオ出力オンとして元のルーチンに復帰する。   First, in step S31, it is determined whether the volume level (envelope) of the musical tone signal from the piano controller 22a is equal to or higher than a predetermined level. This predetermined level is a level that is hardly heard when a musical sound is actually generated. If the volume level is equal to or higher than the predetermined level, the audio output is turned off in step S32, the OFF flag is set to “1”, and the process returns to the original routine. If the volume level is not equal to or higher than the predetermined level, it is determined in step S33 whether the OFF flag = “1”. If the OFF flag = “1”, the C timer is started in step S34 and the OFF flag is set to “0”. To "" and return to the original routine. If the OFF flag = “0” in step S33, it is determined in step S35 whether or not the C timer has finished timing. If not, the process returns to the original routine, and the C timer finishes timing. If so, the audio output is turned on in step S36 to return to the original routine.

例えば、最初のキーオンの立ち上がり(アタック)等により音量レベルが所定レベル以上となるとステップS31→S32のフローでオーディオ出力オフ(OFFフラグ=“1”)とされる。次に音の減衰等によりこの音量レベルが所定レベル以下となると、まずOFFフラグ=“1”であるのでステップS31→S33→S34のフローによりCタイマが起動されるとともにOFFフラグ=“0”とされる。したがって、このままの状態で所定時間が経過するまでは、ステップS31→S33(ここでOFFフラグ=“0”)→S35のフローを繰り返す。そして、所定時間が経過した場合、ステップS31→S33→S35→S36のフローでオーディオ出力オンとされる。なお、所定時間が経過する前に音量レベルが所定レベル以上となった場合も、ステップS31→S32のフローによりオーディオ出力オフ(OFFフラグ=“1”)とされる。   For example, when the volume level exceeds a predetermined level due to the first key-on rise (attack) or the like, the audio output is turned off (OFF flag = “1”) in the flow of steps S31 → S32. Next, when the sound volume level falls below a predetermined level due to sound attenuation or the like, first, since the OFF flag = “1”, the C timer is started by the flow of steps S31 → S33 → S34 and the OFF flag = “0”. Is done. Therefore, the flow of steps S31 → S33 (here, OFF flag = “0”) → S35 is repeated until a predetermined time elapses in this state. When the predetermined time has elapsed, the audio output is turned on in the flow of steps S31 → S33 → S35 → S36. Even when the volume level becomes equal to or higher than the predetermined level before the predetermined time elapses, the audio output is turned off (OFF flag = “1”) by the flow of steps S31 → S32.

以上の処理により、ビデオ映像(ビデオ信号)と音声(オーディオ信号)とにより、先生側(送信側)から生徒側(受信側)に対して指導等を行うことができ、先生側で演奏が開始されると、生徒側では送られてくるMIDIデータに基づいて自動演奏ピアノ22で演奏が開始されるが、このとき音声は自動的にカット(オーディオ出力オフ)され、自動演奏ピアノ22による生楽音(及び鍵の動)により模範演奏等を聞くことができる。また、演奏が終了すれば、自動的に音声が回復(オーディオ出力オン)される。したがって、自動演奏ピアノによる楽音と音声(オーディオ信号)による楽音とが重複することがない。   Through the above processing, the teacher side (transmission side) can give instruction to the student side (reception side) using the video image (video signal) and audio (audio signal), and the teacher side starts playing. Then, on the student side, the performance is started on the automatic performance piano 22 based on the MIDI data sent, but at this time, the sound is automatically cut (audio output off), and the live music sound by the automatic performance piano 22 is played. You can listen to model performances by (and key movements). When the performance is finished, the voice is automatically recovered (audio output is turned on). Therefore, there is no overlap between the musical sound by the automatic performance piano and the musical sound by the voice (audio signal).

また、この実施形態では、MIDIデータに基づいて音源で発音に利用しない楽音信号を生成し、この楽音信号の音量レベルに応じてオーディオ出力のオン/オフを切り換えるようにしている。このような処理を行うと次のような利点がある。ピアノは減衰音なので、MIDIデータのノートオンの後、しばらくノートオフが来なくても自動演奏ピアノの楽音の音自体は聞こえなくなる可能性があり、この場合にも簡単な処理でオーディオ出力をオンとすることができる。例えば、直接MIDIデータだけでオーディオ出力のオン/オフの処理を行おうとすると、実際の音の減衰とノートオフとのタイムラグの処理を行う必要があるなど、複雑な処理となるが、実施形態によればこのような複雑な処理が不要となる。   In this embodiment, a tone signal that is not used for sound generation by the sound source is generated based on the MIDI data, and the audio output is switched on / off according to the volume level of the tone signal. Performing such a process has the following advantages. Since the piano is a decaying sound, even after the MIDI data is turned on, even if the note is not turned off for a while, the sound of the piano's musical tone itself may not be heard. In this case, the audio output is turned on with a simple process. It can be. For example, if an audio output on / off process is performed using only MIDI data directly, it is necessary to perform a time lag process between actual sound attenuation and note off. Therefore, such a complicated process becomes unnecessary.

ただし、MIDIデータのノートオンやノートオフの有無等によりオーディオ出力のオン/オフを切り換えるようにしても、ある程度の精度でよければ同様な効果を得ることができる。   However, even if the audio output is switched on / off depending on whether MIDI data is turned on or off, etc., the same effect can be obtained if it is sufficient with a certain degree of accuracy.

以上の実施形態ではオーディオ信号をモノラルの場合について説明したが、ストリーミングシステムのように、オーディオ信号として左右(LR)のステレオ信号を伝送できる場合は、片方のチャンネルにクリック信号を含ませて他のチャンネルで音声信号をそのまま送信するようにしてもよい。   In the above embodiments, the case where the audio signal is monaural has been described. However, when a left and right (LR) stereo signal can be transmitted as an audio signal as in a streaming system, a click signal is included in one channel and the other signal is included. The audio signal may be transmitted as it is on the channel.

以上の実施形態では、インターネットを利用して遠隔レッスンを行う場合について説明したが、前記特開平7−199790号公報のように、先生側の電子楽器である親機と生徒側の電子楽器である子機とを有線で接続してレッスンを行うような場合にも適用できる。この場合、先生と生徒とでマイク付ヘッドフォンのマイクによりマイクオーディオ信号のみを送受信するようにしているが、自動演奏ピアノ等を接続してMIDIデータの授受を行い、実施形態同様にこのMIDIデータで自動演奏ピアノ等を演奏することもできる。この場合も、本発明によりMIDIデータによる楽音と音声による楽音との重複を自動的に回避することができる。   In the above embodiment, the case where a remote lesson is performed using the Internet has been described. However, as described in Japanese Patent Application Laid-Open No. 7-199790, the master device is an electronic musical instrument on the teacher side and the electronic musical instrument on the student side. It can also be applied to cases where lessons are held by connecting the slave unit with a cable. In this case, only the microphone audio signal is transmitted and received between the teacher and the student using the microphone of the headphone with the microphone. However, the MIDI data is exchanged by connecting an automatic performance piano or the like, and the MIDI data is transmitted in the same manner as in the embodiment. You can also play an automatic piano. Also in this case, according to the present invention, it is possible to automatically avoid duplication of musical sounds based on MIDI data and musical sounds based on voice.

以上の実施形態では、ピアノのレッスンを行う例について説明したが、遠隔コンサートの場合でも適用できる。また、送信側から送信するMIDIデータ、あるいはオーディオビデオ信号等は予め記憶装置や記録メディア等に記録されているものを送信するようにしてもよい。   In the above embodiment, an example of performing a piano lesson has been described, but the present invention can also be applied to a remote concert. Further, MIDI data or audio / video signals transmitted from the transmission side may be transmitted in advance recorded in a storage device or a recording medium.

さらに、先生による演奏のMIDIデータと先生による指導等の音声を何らかのメディアに記録しておき、このメディアを再生してレッスンを行うような場合にも適用できる。この場合、先生による演奏の楽音をオーディオ信号の音声として同時録音しておけば、レッスンでの応用範囲が広がる。   Furthermore, the present invention can also be applied to a case where MIDI data of performance performed by the teacher and voices such as guidance from the teacher are recorded on some media, and this media is reproduced to give a lesson. In this case, if the musical sounds of the teacher's performance are recorded at the same time as the audio signal, the range of application in the lesson will be expanded.

また、上記のようにメディアに記録する場合、先生側のコントローラ等によってMIDIデータに基づいて実施形態同様にオーディオ信号を自動的にオーディオ出力オフとし、このオーディオ信号による楽音を自動的に録音しないようにもできる。   Also, when recording on media as described above, the audio signal is automatically turned off by the teacher's controller or the like based on the MIDI data, as in the embodiment, so that the musical sound by this audio signal is not automatically recorded. You can also.

また、実施形態では、受信側で、MIDIデータによる出力とオーディオ信号による出力を自動的に切り替えるようにしたが、送信側で図6のような判断を行って、MIDIデータによる出力とオーディオ信号の出力を自動的に切り替えるようにしてもよい。   In the embodiment, the output by the MIDI data and the output by the audio signal are automatically switched on the reception side. However, the transmission side performs the determination as shown in FIG. The output may be automatically switched.

また、実施形態では自動演奏ピアノの例について説明したが、MIDIデータに基づいて楽音を発生する他の形態の楽器(例えば、電子鍵盤楽器や、自動演奏型の管楽器や弦楽器、電子管楽器や電子弦楽器等)にも適用できることはいうまでもない。   In the embodiment, an example of an automatic performance piano has been described. However, other forms of musical instruments that generate musical sounds based on MIDI data (for example, electronic keyboard instruments, automatic performance wind instruments, string instruments, electronic wind instruments, and electronic string instruments). It goes without saying that the above can also be applied.

本発明の実施形態における演奏システムの要部機能を説明する機能ブロック図である。It is a functional block diagram explaining the principal part function of the performance system in embodiment of this invention. 実施形態におけるパケットデータとクリック信号の関係を概念的に示す図である。It is a figure which shows notionally the relationship between the packet data and click signal in embodiment. 実施形態におけるクリック信号とクリックタイムデータの受信タイミングの差を吸収してペアを検出する例を示す図である。It is a figure which shows the example which absorbs the difference of the reception timing of the click signal and click time data in embodiment, and detects a pair. 実施形態における送信処理の要部を示すフローチャートである。It is a flowchart which shows the principal part of the transmission process in embodiment. 実施形態における受信処理の要部を示すフローチャートである。It is a flowchart which shows the principal part of the reception process in embodiment. 実施形態におけるオーディオスイッチング処理のフローチャートである。It is a flowchart of the audio switching process in embodiment. 従来の演奏システムの概略図である。It is the schematic of the conventional performance system.

符号の説明Explanation of symbols

11,21…コントローラ、12,22…自動演奏ピアノ、12a,22a…ピアノコントローラ、21f…スイッチモジュール   11, 21 ... Controller, 12, 22 ... Automatic performance piano, 12a, 22a ... Piano controller, 21f ... Switch module

Claims (2)

送信側にて発生する演奏データとオーディオ信号とを送信し、受信側にて該演奏データとオーディオ信号とを受信して、該演奏データによる楽音の再生と該オーディオ信号による音声再生とを行う演奏システムにおいて、
前記受信側で、受信した演奏データに基づいて、該演奏データによる楽音の再生時に前記受信したオーディオ信号による音声再生を停止し、該演奏データによる楽音の非再生時に該オーディオ信号による音声再生を行うことを特徴とする演奏システム。
A performance that transmits performance data and an audio signal generated on the transmission side, receives the performance data and an audio signal on the reception side, and reproduces a musical sound based on the performance data and reproduces a sound based on the audio signal In the system,
On the reception side, based on the received performance data, the sound reproduction by the received audio signal is stopped when the musical sound is reproduced by the performance data, and the audio signal is reproduced by the audio signal when the musical sound is not reproduced by the performance data. A performance system characterized by that.
送信側にて発生する演奏データとオーディオ信号とを送信し、受信側にて該演奏データとオーディオ信号とを受信して、該演奏データによる楽音の再生と該オーディオ信号による音声再生とを行う演奏システムにおいて、
前記受信側は演奏データに応じた楽音信号を生成する音源を備え、受信した演奏データに応じた楽音信号の音量レベルが所定レベル以上のときに、受信したオーディオ信号による音声再生を停止し、音量レベルが所定レベル以下のときに、受信したオーディオ信号による音声再生を行うことを特徴とする演奏システム。
A performance that transmits performance data and an audio signal generated on the transmission side, receives the performance data and an audio signal on the reception side, and reproduces a musical sound based on the performance data and reproduces a sound based on the audio signal In the system,
The receiving side includes a sound source that generates a musical sound signal according to performance data, and stops sound reproduction by the received audio signal when the volume level of the musical sound signal according to the received performance data is equal to or higher than a predetermined level. A performance system for performing sound reproduction by a received audio signal when the level is equal to or lower than a predetermined level.
JP2004004572A 2004-01-09 2004-01-09 Performance system Expired - Fee Related JP4214917B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004004572A JP4214917B2 (en) 2004-01-09 2004-01-09 Performance system
US11/031,724 US7288712B2 (en) 2004-01-09 2005-01-07 Music station for producing visual images synchronously with music data codes
CN2005100036292A CN1637855B (en) 2004-01-09 2005-01-10 Music station for producing visual images synchronously with music data codes

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004004572A JP4214917B2 (en) 2004-01-09 2004-01-09 Performance system

Publications (2)

Publication Number Publication Date
JP2005196074A true JP2005196074A (en) 2005-07-21
JP4214917B2 JP4214917B2 (en) 2009-01-28

Family

ID=34819153

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004004572A Expired - Fee Related JP4214917B2 (en) 2004-01-09 2004-01-09 Performance system

Country Status (1)

Country Link
JP (1) JP4214917B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008172409A (en) * 2007-01-10 2008-07-24 Yamaha Corp Sound collecting apparatus, and sound transmission system
JP2008233800A (en) * 2007-03-23 2008-10-02 Yamaha Corp Automatic player, reproduction apparatus, reproduction system and program
JP2009118103A (en) * 2007-11-06 2009-05-28 Yamaha Corp Sound processor
JP2009168911A (en) * 2008-01-11 2009-07-30 Yamaha Corp Keyboard instrument, piano, and automatic player piano

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008172409A (en) * 2007-01-10 2008-07-24 Yamaha Corp Sound collecting apparatus, and sound transmission system
US8383925B2 (en) 2007-01-10 2013-02-26 Yamaha Corporation Sound collector, sound signal transmitter and music performance system for remote players
JP2008233800A (en) * 2007-03-23 2008-10-02 Yamaha Corp Automatic player, reproduction apparatus, reproduction system and program
JP2009118103A (en) * 2007-11-06 2009-05-28 Yamaha Corp Sound processor
JP2009168911A (en) * 2008-01-11 2009-07-30 Yamaha Corp Keyboard instrument, piano, and automatic player piano

Also Published As

Publication number Publication date
JP4214917B2 (en) 2009-01-28

Similar Documents

Publication Publication Date Title
JP4001091B2 (en) Performance system and music video playback device
JP4940956B2 (en) Audio transmission system
KR101554399B1 (en) Automatic musical performance device, storage device, performance information output device and performance system
US7622664B2 (en) Performance control system, performance control apparatus, performance control method, program for implementing the method, and storage medium storing the program
US11399249B2 (en) Reproduction system and reproduction method
JP2010112981A (en) Remote demonstration reproducing method and device
JP3852348B2 (en) Playback and transmission switching device and program
JP2008299032A (en) Linguistic training aid, and character data regenerator
JP4259329B2 (en) Performance device and ensemble system
JP4214917B2 (en) Performance system
JP2008060675A (en) Sound reproduction device and method
CN112119456B (en) Arbitrary signal insertion method and arbitrary signal insertion system
EP1784049A1 (en) A method and system for sound reproduction, and a program product
JP2009005064A (en) Ip telephone terminal and telephone conference system
JP5109496B2 (en) Data distribution apparatus, data distribution method and program
WO2022075418A1 (en) Communication method and system
JP4381108B2 (en) Time signal processor in speech speed converter
JP4214908B2 (en) Educational performance display system
WO2022168375A1 (en) Communication method, communication system, and communication device
US20230005460A1 (en) Signal processing apparatus, signal processing method, program, signal processing system, and encoding apparatus
JP2005292655A (en) Performance system of electronic musical instrument
WO2021210338A1 (en) Reproduction control method, control system, and program
JP4222211B2 (en) Performance information display system
JP4557267B2 (en) Electronic musical instrument performance system
JP2004240920A (en) Proofreading system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080318

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081014

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081027

R150 Certificate of patent or registration of utility model

Ref document number: 4214917

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111114

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111114

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121114

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121114

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131114

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees