JP2017151337A - Musical instrument and system - Google Patents

Musical instrument and system Download PDF

Info

Publication number
JP2017151337A
JP2017151337A JP2016035019A JP2016035019A JP2017151337A JP 2017151337 A JP2017151337 A JP 2017151337A JP 2016035019 A JP2016035019 A JP 2016035019A JP 2016035019 A JP2016035019 A JP 2016035019A JP 2017151337 A JP2017151337 A JP 2017151337A
Authority
JP
Japan
Prior art keywords
data
performance
musical instrument
packet
performance data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016035019A
Other languages
Japanese (ja)
Inventor
古川 令
Rei Furukawa
令 古川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2016035019A priority Critical patent/JP2017151337A/en
Publication of JP2017151337A publication Critical patent/JP2017151337A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a musical instrument and a system of a simple structure that can match timings of video data and performance data.SOLUTION: A musical instrument 3a generates performance data and transmits performance data to a musical instrument 3b via the Internet 5. When a packet including video data photographing how performance corresponding to the performance data goes on by a communication terminal 4a is received, only delay time is caused and is transmitted to the musical instrument 3b. Thus, the musical instrument 3b can receive the video data whose timing is matched to the performance data in advance. A student B can display to the communication terminal 4b the video data where performance sound by automatic performance based on the performance data performed by the musical instrument 3b matches timing.SELECTED DRAWING: Figure 1

Description

本発明は、演奏データを扱う楽器およびシステムに関するものである。   The present invention relates to musical instruments and systems that handle performance data.

特許文献1には、例えば自動演奏ピアノを使った遠隔レッスンにおいて、演奏データとオーディオビデオデータとを別の伝送系統で受信側へ送信し、受信側で演奏データとオーディオビデオデータとを同期させて再生するシステムが記載されている。また、非特許文献1には、非圧縮デジタル映像信号であるHD−SDI信号などを数十秒程度遅延させて出力させる遅延装置が記載されている。   In Patent Document 1, for example, in a remote lesson using an automatic performance piano, performance data and audio video data are transmitted to the receiving side through different transmission systems, and the performance data and audio video data are synchronized on the receiving side. A playback system is described. Non-Patent Document 1 describes a delay device that outputs an HD-SDI signal that is an uncompressed digital video signal with a delay of about several tens of seconds.

特開2005−84578JP-A-2005-84578

アルビスク株式会社、“HD−SDI遅延装置 DLY−800/DLY−400”、[online]、[平成27年10月27日検索]インターネット<http://www.alvix.jp/h_products/DLY−800.html>Albisque, "HD-SDI delay device DLY-800 / DLY-400", [online], [October 27, 2015 search] Internet <http: // www. alvix. jp / h_products / DLY-800. html>

近年、伝送系統の伝送速度が向上してきているため、オーディオビデオデータが送信されてから受信側で再生が開始されるまでの時間も短縮されてきている。一方、自動演奏ピアノはMIDI形式の演奏データに基づいて鍵駆動用のソレノイドを制御し、打弦によりピアノ音を発生する。ソレノイドを駆動するために所定の時間を要するため、演奏データが送信されてから受信側で再生が開始されるまでには所定の時間を要し、駆動に要する時間を短縮することは難しい。このため、オーディオビデオデータおよび演奏データが送信されてからオーディオビデオデータの再生が開始されるまでの時間よりも、演奏データの再生が開始されるまでの時間の方が長くなり、再生タイミングがずれてしまう場合があった。   In recent years, since the transmission speed of the transmission system has been improved, the time from when audio video data is transmitted to when playback is started on the receiving side has also been shortened. On the other hand, an automatic performance piano controls a solenoid for driving a key based on MIDI performance data and generates a piano sound by striking a string. Since a predetermined time is required to drive the solenoid, a predetermined time is required from the performance data transmission to the start of reproduction on the receiving side, and it is difficult to reduce the time required for driving. For this reason, the time until the playback of the performance data starts longer than the time from when the audio video data and the performance data are transmitted until the playback of the audio video data starts. There was a case.

特許文献1のシステムでは、同期がとれるものの、同期させるためにパルス信号を発生させる構成などを備える必要があり、システムが複雑化するおそれがある。また、非特許文献1に記載の遅延装置を用いることにより、演奏データに対してオーディオビデオデータを遅延させて送信することもできる。しかし、非特許文献1に記載の遅延装置は例えばビデオカメラなどの撮影手段と例えばデータの送信を行う通信手段との間に接続される必要があるため、システム構成の自由度が低くなるおそれがある。   Although the system of Patent Document 1 can be synchronized, it is necessary to have a configuration for generating a pulse signal in order to synchronize, and the system may be complicated. In addition, by using the delay device described in Non-Patent Document 1, audio video data can be delayed with respect to performance data and transmitted. However, since the delay device described in Non-Patent Document 1 needs to be connected between an imaging unit such as a video camera and a communication unit that transmits data, for example, there is a possibility that the degree of freedom of the system configuration is reduced. is there.

本願は、上記の課題に鑑み提案されたものであって、映像データと演奏データとのタイミングを合わせることができる簡易な構成の楽器およびシステムを提供することを目的とする。   The present application has been proposed in view of the above-described problems, and an object thereof is to provide a musical instrument and a system having a simple configuration capable of matching the timing of video data and performance data.

(1)本発明に係る楽器は、ネットワークを介して演奏データの送受信を行う楽器であって、演奏に基づく第1演奏データを生成する生成手段と、第1演奏データとは異なる第2演奏データに基づいて自動演奏を行う自動演奏手段と、ネットワークを介して第1演奏データの送信および第2演奏データの受信を行う通信手段と、を備え、通信手段は、第1演奏データに対応する演奏に関わる第1データを含むパケットを受信した場合には、第1データを含むパケットを第1演奏データの送信先に転送し、第2演奏データに対応する演奏に関わる第2データを含むパケット受信した場合には、第2データを含むパケットを再生手段に直接あるいは間接的に転送し、転送において、第1データを含むパケットを受信してから送信するまでの時間を予め設定された第1遅延時間に応じて遅延して送信すること、あるいは、第2データを含むパケットを受信してから送信するまでの時間を予め設定された第2遅延時間に応じて遅延して送信すること、の少なくとも何れか一方を行うことを特徴とする。   (1) A musical instrument according to the present invention is a musical instrument that transmits and receives performance data via a network, and that generates first performance data based on the performance, and second performance data different from the first performance data. An automatic performance means for performing an automatic performance based on the performance, and a communication means for transmitting the first performance data and receiving the second performance data via a network, wherein the communication means is a performance corresponding to the first performance data. When a packet including the first data related to the performance data is received, the packet including the first data is transferred to the transmission destination of the first performance data, and the packet reception including the second data related to the performance corresponding to the second performance data is received. In such a case, the packet containing the second data is transferred directly or indirectly to the reproducing means, and the time from the reception of the packet containing the first data to the transmission is determined in the transfer. The transmission is delayed according to the first delay time set for the first time, or the time from reception of the packet containing the second data to transmission is delayed according to the second delay time set in advance. And transmitting at least one of the following.

楽器は自身で演奏が行われた場合には第1演奏データを生成し、ネットワークを介して第1演奏データを送信する。また、第1演奏データに対応する、即ち、自身で行われた演奏に関わるデータを含むパケットを受信した場合、第1遅延時間だけ遅延させて第1演奏データの送信先に送信する。これにより、送信先では、予め第1演奏データとタイミングが合わせられている第1データを受信することができる。ここで、送信先としては、第1演奏データに基づいて自動演奏を行う楽器と、第1データを再生させる再生手段とを備えているものとすると良い。例えば送信先の楽器が第1演奏データを受信してから自動演奏により音を出すまでには、例えばソレノイドを駆動するなどの機構の動作時間を要する。このため、第1データが遅延されていない場合には、第1データに基づく送信先の再生手段における再生に対して自動演奏音のタイミングが遅れてしまう場合がある。この点、第1データは楽器により予め遅延されて送信されるため、相手は第1演奏データに基づく自動演奏音とタイミングの合った第1データを再生手段に再生させることができる。ここで、第1データおよび第2データとしては、例えば、演奏の様子を撮影した映像データ、例えば演奏者などの声などを録音した音声データ、テキストデータ、例えば画像などのファイルデータなどとすると良い。   When the musical instrument is played by itself, the musical instrument generates first performance data and transmits the first performance data via the network. When a packet corresponding to the first performance data, that is, a packet including data related to the performance performed by itself is received, the packet is delayed by the first delay time and transmitted to the transmission destination of the first performance data. Thereby, the transmission destination can receive the first data whose timing is matched with the first performance data in advance. Here, it is preferable that the transmission destination includes an instrument that performs an automatic performance based on the first performance data and a reproduction unit that reproduces the first data. For example, an operation time of a mechanism such as driving a solenoid is required from when the transmission destination musical instrument receives the first performance data until it makes a sound by automatic performance. For this reason, when the first data is not delayed, the timing of the automatic performance sound may be delayed with respect to the reproduction by the reproduction means of the transmission destination based on the first data. In this respect, since the first data is transmitted with a delay in advance by the musical instrument, the other party can cause the playback means to play back the first data in time with the automatic performance sound based on the first performance data. Here, the first data and the second data may be, for example, video data obtained by shooting a performance, voice data recording a voice of a performer, text data, file data such as an image, and the like. .

一方、第1演奏データの送信先から、第2演奏データを受信するとともに、第2演奏データと対応する演奏に関わる第2データを含むパケットを受信する場合には、楽器は第2データを第2遅延時間だけ遅延させて楽器に対して外部である再生手段に送信する。これにより、第2演奏データとタイミングを合わせた第2データを再生手段に送信することができる。例えば、受信する第2データが送信において遅延されていない場合、第2演奏データに基づいて自動演奏を行う場合、機構の動作時間を要するため、第2データの再生に対して自動演奏音のタイミングが遅れてしまう場合がある。この場合においても、受信する第2データを遅延して再生手段に送信するため、自動演奏音と再生手段における再生とのタイミングを合わせることができる。尚、第1データおよび第2データの何れか一方を遅延させても良いし、第1データおよび第2データの両方を遅延させても良い。   On the other hand, when the second performance data is received from the transmission destination of the first performance data and a packet including the second data related to the performance corresponding to the second performance data is received, the musical instrument receives the second data. It is delayed by two delay times and transmitted to the reproduction means external to the instrument. Thereby, the second data having the timing matched with the second performance data can be transmitted to the reproducing means. For example, when the second data to be received is not delayed in transmission, and when performing an automatic performance based on the second performance data, the operation time of the mechanism is required. Therefore, the timing of the automatic performance sound with respect to the reproduction of the second data May be delayed. Even in this case, since the received second data is delayed and transmitted to the reproduction means, the timing of the automatic performance sound and the reproduction by the reproduction means can be matched. Note that either the first data or the second data may be delayed, or both the first data and the second data may be delayed.

楽器が受信する第1データおよび第2データは例えば第1データおよび第2データの送信元にて予めパケット化されているので、圧縮されていることが期待される。特に、第1データおよび第2データが映像データである場合、圧縮されていない映像データを扱う場合には、データ量の大きい映像データを処理するために、能力の高い処理手段を備える必要が生じる。この点、楽器はパケット化されたデータを扱うため、能力の高い処理手段を備える必要がないことが期待される。   Since the first data and the second data received by the musical instrument are packetized in advance at the transmission source of the first data and the second data, for example, it is expected to be compressed. In particular, when the first data and the second data are video data, when handling uncompressed video data, it is necessary to provide a processing means with high capability in order to process video data with a large amount of data. . In this respect, since the musical instrument handles packetized data, it is expected that it is not necessary to provide a processing means with high ability.

第1データおよび第2データの送信元としては、例えば、ビデオカメラ、スマートフォン、タブレット端末、カメラを内蔵するPC、Webカメラなどとすると良い。再生手段としては、例えば、ディスプレイを有するテレビ、PC、スマートフォン、タブレット端末、あるいは、単体のディスプレイなどとすると良い。第1データおよび第2データの送信元および再生手段がパケット通信の機能を有さない場合には、パケット通信可能な例えばPCなどを介して、楽器と通信を行う構成とすると良い。また、パケットを転送する場合、予め設定された例えば送信元アドレスと受信先アドレスとの対応表に従って、転送する構成などとすると良いが、特に後述する(2)の構成のようにすると良い。尚、ここで、パケットとは、OSI参照モデルの階層に係わらず、所定のデータ量ごとに分割されたデータに例えば宛先アドレスなどのヘッダなどが付加されたデータのことである。   As a transmission source of the first data and the second data, for example, a video camera, a smartphone, a tablet terminal, a PC with a built-in camera, a Web camera, or the like may be used. As the reproducing means, for example, a television having a display, a PC, a smartphone, a tablet terminal, or a single display may be used. When the transmission source and reproducing means of the first data and the second data do not have a packet communication function, it is preferable to communicate with the musical instrument via, for example, a PC capable of packet communication. In addition, when transferring a packet, it is preferable that the packet is transferred in accordance with a preset correspondence table of, for example, a transmission source address and a reception destination address. In particular, the configuration (2) described later is preferable. Here, the packet is data in which a header such as a destination address is added to data divided for each predetermined amount of data regardless of the OSI reference model hierarchy.

(2)また、楽器は、通信手段が受信するパケットをパケットに含まれる送信先アドレスに従って転送する中継機能を有することを特徴とする。   (2) Further, the musical instrument has a relay function of transferring a packet received by the communication means in accordance with a destination address included in the packet.

楽器が例えばLAN(Local Area Network)とWAN(Wide Area Network)とを中継するルータ機能を有する場合には、ルータに転送するステップを省略することができる。楽器がLAN内でデータを中継する例えば、ブリッジ、スイッチ、スイッチングハブなどの機能を有する場合には、対応するブリッジ、スイッチ、スイッチングハブなどに送信するステップを省略することができる。   If the musical instrument has a router function for relaying, for example, a LAN (Local Area Network) and a WAN (Wide Area Network), the step of transferring to the router can be omitted. When the musical instrument has a function of relaying data in the LAN, for example, a bridge, a switch, a switching hub, etc., the step of transmitting to the corresponding bridge, switch, switching hub, etc. can be omitted.

(3)また、楽器は、第1遅延時間または第2遅延時間の少なくとも何れか一方の調整を受け付ける受付手段を備えることを特徴とする。   (3) In addition, the musical instrument includes a receiving unit that receives an adjustment of at least one of the first delay time and the second delay time.

例えば楽器から送信先へ第1演奏データおよび第1データの送信が行われる場合、楽器が第1演奏データおよび第1データを送信してから相手が受信するまでの通信時間は例えばネットワークの通信状況により変動する。また、第1演奏データに係る通信時間と第1データに係る通信時間とは、異なる場合がある。このため、第1演奏データに基づく自動演奏と第1データに基づく再生とのタイミングを揃えるためには、都度、第1遅延時間を調整する必要が生じる。ユーザは変動する通信時間に応じて、受付手段を介して遅延時間を調整することができる。これにより、第1演奏データと第1データとのタイミング、および第2演奏データと第2データとのタイミングを合わせることができる。   For example, when the first performance data and the first data are transmitted from the musical instrument to the transmission destination, the communication time from when the musical instrument transmits the first performance data and the first data until the other party receives it is, for example, the communication status of the network Varies depending on In addition, the communication time related to the first performance data may be different from the communication time related to the first data. For this reason, it is necessary to adjust the first delay time every time in order to align the timings of the automatic performance based on the first performance data and the reproduction based on the first data. The user can adjust the delay time via the accepting means according to the changing communication time. Thereby, the timing of 1st performance data and 1st data and the timing of 2nd performance data and 2nd data can be match | combined.

(4)また、本発明に係るシステムは、演奏に基づく演奏データを生成する生成手段と、ネットワークを介して演奏データの送信を行う第1通信手段と、を備え、第1通信手段は、演奏データに対応する演奏に関わるデータを含むパケットを受信した場合には、パケットを受信してから送信するまでの時間を予め設定された遅延時間に応じて遅延して送信する送信側楽器と、送信側楽器から送信された演奏データに基づいて自動演奏を行う自動演奏手段と、送信側楽器から送信されたパケットを受信し、再生手段に直接あるいは間接的に転送する第2通信手段と、を備える受信側楽器と、を含む。   (4) The system according to the present invention further includes a generating unit that generates performance data based on a performance, and a first communication unit that transmits performance data via a network. When a packet including data related to performance corresponding to the data is received, a transmission side instrument that transmits the packet after receiving the packet after transmission according to a preset delay time, and transmission Automatic performance means for performing an automatic performance based on performance data transmitted from the side musical instrument, and second communication means for receiving a packet transmitted from the transmission side musical instrument and transferring the packet directly or indirectly to the reproduction means. And a receiving instrument.

送信側楽器は、演奏データを送信するとともに、受信したデータを含むパケットを遅延させて受信側楽器へ送信する。これにより、受信側楽器は、予め演奏データとタイミングが合わせられているデータを受信することができる。ここで、受信側楽器としては、受信するデータを再生手段へ直接あるいは間接的に転送するものとすると良い。データは送信側楽器により予め遅延されて送信されるため、受信側楽器は演奏データに基づく自動演奏音とタイミングの合ったデータを再生手段に転送することができる。送信側楽器を操作するユーザは、演奏データに基づく自動演奏音とタイミングの合った演奏に関わる再生を見ることができる。   The transmission-side instrument transmits performance data, and transmits a packet including the received data to the reception-side instrument with a delay. As a result, the receiving instrument can receive data whose timing is matched with performance data in advance. Here, it is preferable that the receiving-side instrument transfers received data directly or indirectly to the reproducing means. Since the data is transmitted with a delay in advance by the transmitting musical instrument, the receiving musical instrument can transfer data in time with the automatic performance sound based on the performance data to the reproducing means. The user who operates the transmission-side musical instrument can see the reproduction related to the performance in time with the automatic performance sound based on the performance data.

本願に係る楽器およびシステムによれば、映像データと演奏データとのタイミングを合わせることができる簡易な構成の楽器およびシステムを提供することができる。   According to the musical instrument and system according to the present application, it is possible to provide a musical instrument and system with a simple configuration capable of matching the timing of video data and performance data.

システムの構成を示す図である。It is a figure which shows the structure of a system. 楽器および通信端末の電気的構成を示す図である。It is a figure which shows the electrical structure of a musical instrument and a communication terminal.

図1を用いて、本願に係るシステム1の全体構成について説明する。システム1は例えば、遠隔レッスンを行うためのシステムである。ここでは、講師Aと生徒Bとで遠隔レッスンを行う場合を例に説明する。システム1は講師Aが操作する楽器3aおよび通信端末4a、生徒Bが操作する楽器3bおよび通信端末4bを含む。楽器3aおよび楽器3bはルータ機能を有し、インターネット5に接続されている。これにより、楽器3aと楽器3bとの間で、後述する演奏データの送受が行われる。さらに、楽器3aおよび楽器3bはアクセスポイント機能を有し、夫々、通信端末4a、4bと例えばWiFi(登録商標)などの無線LANにて接続されている。これにより、通信端末4aと通信端末4bとの間で、楽器3a、3bを介して映像および音声を含む、後述する通話データの送受が行われる。尚、詳しくは、演奏データおよび通話データはパケット化されて送受信される。また、楽器3aと楽器3bとは同じ構成であり、通信端末4aと通信端末4bとは同じ構成であるため、代表して楽器3aおよび通信端末4aの構成について次に説明する。また、楽器3aと楽器3bとを区別する必要が無い場合は、総称して楽器3と記載する。同様に、区別する必要が無い場合は、通信端末4aおよび通信端末4bを総称して通信端末4と記載する。   The overall configuration of the system 1 according to the present application will be described with reference to FIG. The system 1 is a system for performing a remote lesson, for example. Here, a case where a lecturer A and a student B conduct a remote lesson will be described as an example. The system 1 includes a musical instrument 3a and a communication terminal 4a operated by the teacher A, and a musical instrument 3b and a communication terminal 4b operated by the student B. The musical instruments 3 a and 3 b have a router function and are connected to the Internet 5. Thereby, performance data to be described later is transmitted and received between the musical instrument 3a and the musical instrument 3b. Furthermore, the musical instrument 3a and the musical instrument 3b have an access point function, and are connected to the communication terminals 4a and 4b via a wireless LAN such as WiFi (registered trademark), for example. Thereby, transmission / reception of call data, which will be described later, including video and audio is performed between the communication terminal 4a and the communication terminal 4b via the musical instruments 3a and 3b. Specifically, performance data and call data are packetized and transmitted / received. Since the musical instrument 3a and the musical instrument 3b have the same configuration, and the communication terminal 4a and the communication terminal 4b have the same configuration, the configuration of the musical instrument 3a and the communication terminal 4a will be described below. When there is no need to distinguish between the musical instrument 3a and the musical instrument 3b, they are collectively referred to as the musical instrument 3. Similarly, when it is not necessary to distinguish, the communication terminal 4a and the communication terminal 4b are collectively referred to as the communication terminal 4.

楽器3aは、不図示の鍵盤、ハンマ、弦、および饗板などの一般的なアコースティックピアノが備える構成に加えて、図2に示す互いにバス39で接続されているCPU31、ROM32、RAM33、バッファ34、センサ35、駆動部36、ユーザインターフェース37、通信インターフェース38などを有する。CPU31はROM32に記憶されている各種のプログラムを実行することによって、CPU31に接続されている各部を制御する。RAM33はCPU31が各種の処理を実行するための主記憶装置として用いられる。   The musical instrument 3a has a CPU 31, ROM 32, RAM 33, and buffer 34 that are connected to each other via a bus 39 shown in FIG. 2 in addition to the configuration of a general acoustic piano such as a keyboard, a hammer, a string, and a board not shown. , Sensor 35, drive unit 36, user interface 37, communication interface 38, and the like. The CPU 31 controls each unit connected to the CPU 31 by executing various programs stored in the ROM 32. The RAM 33 is used as a main storage device for the CPU 31 to execute various processes.

センサ35はMIDI(Musical Instrument Digital Interface:登録商標)形式の演奏データを生成するために、鍵盤およびペダルなどの動きを検出し、検出した検出信号をCPU31へ送信する。CPU31は受信した検出信号に基づいてMIDI形式の演奏データを生成する。例えば、楽器3aの鍵が押されると、センサ35は鍵が押された速度などを検出し、CPU31は、例えば、押された鍵に対応するノート番号、鍵にされた操作に対応するベロシティなどの演奏動作の情報が付加されたノートオンのメッセージを生成する。また、例えば、CPU31は楽器3aの鍵が離されると、ノートオフのメッセージを生成する。CPU31はノートオンのメッセージ、ノートオフのメッセージなどで構成された演奏データを生成する。以下、演奏データとはMIDI形式のデータを示す。   The sensor 35 detects movements of the keyboard and pedals in order to generate performance data in the MIDI (Musical Instrument Digital Interface: registered trademark) format, and transmits the detected signal to the CPU 31. The CPU 31 generates performance data in MIDI format based on the received detection signal. For example, when the key of the musical instrument 3a is pressed, the sensor 35 detects the speed at which the key is pressed, and the CPU 31, for example, the note number corresponding to the pressed key, the velocity corresponding to the keyed operation, etc. A note-on message is generated with the information on the performance action of. Further, for example, when the musical instrument 3a is released, the CPU 31 generates a note-off message. The CPU 31 generates performance data including a note-on message, a note-off message, and the like. Hereinafter, the performance data refers to MIDI format data.

駆動部36は、鍵盤などを駆動するソレノイドなどを含む。CPU31は駆動部36を例えば演奏データに基づいて制御する。これにより、楽器3aは自動演奏を行うことができる。例えば、駆動部36は演奏データのノートオンのメッセージに応じて、ノート番号に対応する鍵に対応するソレノイドにベロシティに応じた駆動電流を流し、鍵を動かす。これにより、ハンマが弦に振動を与え、楽器3aから音が放射される。   The drive unit 36 includes a solenoid that drives a keyboard and the like. The CPU 31 controls the drive unit 36 based on performance data, for example. Thereby, the musical instrument 3a can perform an automatic performance. For example, in response to the note-on message of the performance data, the drive unit 36 causes the drive current corresponding to the velocity to flow to the solenoid corresponding to the key corresponding to the note number, and moves the key. As a result, the hammer vibrates the string, and sound is emitted from the musical instrument 3a.

ユーザインターフェース37は電源ボタン、および例えば後述する遅延時間の入力を受け付けるダイアルなどを有する。通信インターフェース38は不図示のアンテナおよびWANポートなどを有する。通信インターフェース38はWANポートを介してインターネット5と接続されている。また、通信インターフェース38はアンテナを介して送受信する電波の復変調を行う。これにより、楽器3aは例えば通信端末4aと無線通信することができる。バッファ34は例えば通信端末4aから送信される通話データを含むパケットを一時的に記憶する。CPU31は、受信したパケットをバッファ34にバッファリングし、設定された遅延時間だけ遅延させて通信インターフェース38より送信する。   The user interface 37 includes a power button and a dial that accepts an input of a delay time described later, for example. The communication interface 38 has an antenna and a WAN port (not shown). The communication interface 38 is connected to the Internet 5 via a WAN port. In addition, the communication interface 38 performs demodulation of radio waves transmitted and received via the antenna. Thereby, the musical instrument 3a can perform wireless communication with the communication terminal 4a, for example. The buffer 34 temporarily stores, for example, a packet including call data transmitted from the communication terminal 4a. The CPU 31 buffers the received packet in the buffer 34, delays it by the set delay time, and transmits it from the communication interface 38.

楽器3aはルータの機能を有する。詳しくは、OSI参照モデルにおける第3層においてパケットを中継する。CPU31はNAT(Network Address Translation)機能を有し、通信インターフェース38を介して受信した中継するパケットに含まれる送信元あるいは送信先IPアドレスについて、グローバルIPアドレスと、プライベートIPアドレスとの変換を行い、通信インターフェース38を介して送信する。これにより、楽器3aは受信した通信端末4a宛のパケットを通信端末4aへ転送し、通信端末4aから送信された通信端末4b宛のパケットを転送する。また、CPU31は通信インターフェース38を介して演奏データを送信する際には、パケット化する処理を行う。詳しくは、演奏データを分割して、ヘッダなどを付加してパケットを生成する。さらに、CPU31は通信インターフェース38を介して演奏データを含むパケットを受信した際には、パケットに含まれる演奏データを抽出し駆動部36へ送信する。これにより、楽器3aは演奏データをパケット化して送信するとともに、受信した演奏データを含むパケットに応じて自動演奏することができる。   The musical instrument 3a has a router function. Specifically, the packet is relayed in the third layer in the OSI reference model. The CPU 31 has a NAT (Network Address Translation) function, performs conversion between a global IP address and a private IP address for a source or destination IP address included in a relay packet received via the communication interface 38, The data is transmitted via the communication interface 38. As a result, the musical instrument 3a transfers the received packet addressed to the communication terminal 4a to the communication terminal 4a and transfers the packet addressed to the communication terminal 4b transmitted from the communication terminal 4a. In addition, when the performance data is transmitted via the communication interface 38, the CPU 31 performs a packetizing process. Specifically, the performance data is divided and a header is added to generate a packet. Further, when the CPU 31 receives a packet including performance data via the communication interface 38, the CPU 31 extracts the performance data included in the packet and transmits it to the drive unit 36. Thereby, the musical instrument 3a can packetize performance data and transmit it, and can perform automatically according to the packet containing the received performance data.

通信端末4aは、例えば、iPad(登録商標)などのタブレット端末、スマートフォンなどであり、互いにバス49で接続されているCPU41、ROM42、RAM43、通信インターフェース44、カメラ45、マイクロフォン46、スピーカ47、およびタッチパネル48を備える。CPU41はROM42に記憶されている各種のプログラムを実行することによって、CPU41に接続されている各部を制御する。RAM43はCPU41が各種の処理を実行するための主記憶装置として用いられる。通信インターフェース44は不図示のアンテナを有し、アンテナが介して送受信する電波の複変調を行う。   The communication terminal 4a is, for example, a tablet terminal such as iPad (registered trademark), a smartphone, or the like, and the CPU 41, ROM 42, RAM 43, communication interface 44, camera 45, microphone 46, speaker 47, and A touch panel 48 is provided. The CPU 41 controls each unit connected to the CPU 41 by executing various programs stored in the ROM 42. The RAM 43 is used as a main storage device for the CPU 41 to execute various processes. The communication interface 44 has an antenna (not shown) and performs double modulation of radio waves transmitted and received through the antenna.

カメラ45が講師Aの手元を撮影できる位置に通信端末4aは設置されている。これにより、カメラ45は演奏している講師Aの運指の様子を撮影することができる。マイクロフォン46は講師Aの発言および演奏音などを集音する。スピーカ47は音声データに応じて放音する。タッチパネル48は映像データに応じて表示を行う。また、タッチパネル48は例えば操作画面などを表示し、例えばタップなどの操作によりユーザから入力された指示を受け付ける。通信端末4aは例えばSkype(登録商標)などのインターネット5を介した画像付きの通話サービス、所謂テレビ電話が利用可能となっている。詳しくは、通信端末4aにはテレビ電話のアプリケーションがインストールされている。通信端末4aがテレビ電話を利用している期間、アプリケーションに従って、CPU41はカメラ45が取得した映像およびマイクロフォン46が取得した音声に基づき、パケット化した通話データを生成し、通信インターフェース44を介して送信する。また、通話データを含むパケットを受信すると、パケットから映像データおよび音声データを抽出し、夫々タッチパネル48およびスピーカ47へ送信する。   The communication terminal 4a is installed at a position where the camera 45 can photograph the hand of the lecturer A. Thereby, the camera 45 can image the state of the fingering of the instructor A who is playing. The microphone 46 collects the speech of the lecturer A and the performance sound. The speaker 47 emits sound according to the audio data. The touch panel 48 displays according to the video data. The touch panel 48 displays an operation screen, for example, and accepts an instruction input from the user by an operation such as a tap. As the communication terminal 4a, for example, a call service with an image via the Internet 5, such as Skype (registered trademark), a so-called videophone can be used. Specifically, a videophone application is installed in the communication terminal 4a. During the period when the communication terminal 4a is using the videophone, the CPU 41 generates packetized call data based on the video acquired by the camera 45 and the audio acquired by the microphone 46 according to the application, and transmits it via the communication interface 44. To do. When a packet containing call data is received, video data and audio data are extracted from the packet and transmitted to the touch panel 48 and the speaker 47, respectively.

次にシステム1の動作について説明する。講師Aおよび生徒Bはそれぞれ楽器3a、3bの電源をオンし、楽器3a、3bを起動させる。これにより、楽器3a、3bのルータ機能が有効となり、楽器3aと楽器3bとで演奏データの送受が行える状態となる。また、例えば講師Aは通信端末4aのテレビ電話を利用可能な状態にして、生徒Bへ通信要求し、講師Aと生徒Bとはそれぞれ通信端末4a、4bを用いて、通話可能な状態とする。これにより、通信端末4a、4bは夫々楽器3a、3bをルータとして、インターネット5を介した通話データの送受を行うことができる。講師Aが操作する通信端末4aのタッチパネル48には生徒Bの手元の画像が表示されるとともに、スピーカ47からは生徒Bの声および演奏音が放音される。同様に、生徒Bが操作する通信端末4bのタッチパネル48には講師Aの手元の画像が表示されるとともに、スピーカ47からは講師Aの声および演奏音が放音される。   Next, the operation of the system 1 will be described. Instructor A and student B turn on the power of musical instruments 3a and 3b, respectively, and activate musical instruments 3a and 3b. As a result, the router function of the musical instruments 3a and 3b becomes effective, and performance data can be transmitted and received between the musical instruments 3a and 3b. In addition, for example, the instructor A makes the videophone of the communication terminal 4a available and requests communication to the student B, and the instructor A and the student B use the communication terminals 4a and 4b, respectively, to make a callable state. . Accordingly, the communication terminals 4a and 4b can transmit and receive call data via the Internet 5 using the musical instruments 3a and 3b as routers, respectively. On the touch panel 48 of the communication terminal 4a operated by the teacher A, an image at hand of the student B is displayed, and the voice and performance sound of the student B are emitted from the speaker 47. Similarly, the image at hand of the teacher A is displayed on the touch panel 48 of the communication terminal 4 b operated by the student B, and the voice and performance sound of the teacher A are emitted from the speaker 47.

次に、演奏データに基づく自動演奏と通話データに基づく表示画像とのタイミングを合わせるために、まず、講師Aが楽器3aで演奏を行って、楽器3aにおける遅延時間の調整を行う。鍵盤が操作されるに応じて音を出すとともに、演奏データを生成して楽器3bへ送信するようにするように、講師Aは楽器3aを設定する。一方、楽器3bは、受信する演奏データに応じて、自動演奏するよう設定する。これにより、楽器3aで行われた演奏が楽器3bで再現される。並行して、生徒Bの通信端末4bのタッチパネル48には、講師Aの運指の様子が表示される。生徒Bは、自動演奏音と表示画像とを比較し、遅延時間の調整を講師Aに指示する。尚、遅延時間は例えば楽器3の出荷時に予め初期値が設定されており、電源投入後には、遅延時間は初期値に設定される。   Next, in order to synchronize the timing of the automatic performance based on the performance data and the display image based on the call data, first, the lecturer A performs with the musical instrument 3a and adjusts the delay time in the musical instrument 3a. The instructor A sets the musical instrument 3a so that a sound is produced as the keyboard is operated, and performance data is generated and transmitted to the musical instrument 3b. On the other hand, the musical instrument 3b is set to perform automatically according to the received performance data. Thereby, the performance performed with the musical instrument 3a is reproduced with the musical instrument 3b. In parallel, the state of fingering of the teacher A is displayed on the touch panel 48 of the communication terminal 4b of the student B. The student B compares the automatic performance sound with the display image and instructs the teacher A to adjust the delay time. For example, the delay time is set in advance at the time of shipment of the musical instrument 3, and the delay time is set to the initial value after the power is turned on.

さて、楽器3aから演奏データが送信されてから楽器3bで音が出るまでには、主にインターネット5を介した通信および楽器3bの駆動部36の動作に時間がかかる。一方、楽器3aで通話データが送信されてから、通信端末4bで通話データに応じた表示、放音がされるまでには、主にインターネット5を介した通信に時間がかかる。演奏データに係るインターネット5を介した通信に要する通信時間および通話データに係る通信時間は、例えば通信速度の向上などにより、近年、短縮されてきている。これに対し、駆動部36の動作に要する動作時間を短縮することが難しい。駆動部36が動作する時間を短縮するには鍵盤を速く動かすことが必要となる。鍵盤の動く速さに応じて音を出す楽器3において鍵盤を一様に速く動かしてしまっては、演奏を再現することができなくなるためである。このため、特に通信時間が短い場合に、通信端末4bで通話データに応じた表示・放音がされるまでよりも、楽器3bで音が出るまでの方に時間がかかる場合がある。   From the time when performance data is transmitted from the musical instrument 3a to the time when a sound is produced by the musical instrument 3b, it mainly takes time to communicate via the Internet 5 and to operate the drive unit 36 of the musical instrument 3b. On the other hand, it takes time to communicate mainly via the Internet 5 from when the call data is transmitted by the musical instrument 3a to when the communication terminal 4b displays and emits sound according to the call data. In recent years, communication time required for communication via the Internet 5 related to performance data and communication time related to call data have been shortened in recent years, for example, due to an improvement in communication speed. On the other hand, it is difficult to shorten the operation time required for the operation of the drive unit 36. In order to shorten the time during which the drive unit 36 operates, it is necessary to move the keyboard quickly. This is because the performance cannot be reproduced if the keyboard 3 is moved uniformly fast in the musical instrument 3 that produces sound according to the speed of the keyboard movement. For this reason, especially when the communication time is short, it may take more time for the sound to be emitted by the musical instrument 3b than when the communication terminal 4b displays and emits sound according to the call data.

通信時間はインターネット5の通信状況などにより変動するが、楽器3aで音が出てから、楽器3bで音が出るまでの時間は例えば250ms程度であるのに対し、楽器3aで音が出てから、通信端末4bで表示・放音されるまでの時間は250msよりも短い場合がある。この場合、通信端末4bのタッチパネル48に表示される画像より遅れて、自動演奏が行われてしまう。タッチパネル48に表示される画像と自動演奏音とのタイミングが合っていないと、演奏を正確に把握することが難しくなるため、レッスンに支障が出るおそれがある。このため、画像と自動演奏とのタイミングを合わせることが必要となる。そこで、送信元の楽器3aで予め通話データを遅延時間に応じて遅延させて送信することで、受信先の楽器3bでは、タイミングが合った演奏データおよび通話データを受け取ることができる。通信時間は変動するため、レッスン開始時に自動演奏音と表示画像とを比較して、初期値に設定されている遅延時間の調節を行う。遅延時間は例えば10〜100ms程度である。   Although the communication time varies depending on the communication status of the Internet 5, etc., the time from when the sound is emitted from the musical instrument 3a to when the sound is emitted from the musical instrument 3b is about 250 ms, for example, while the sound is emitted from the musical instrument 3a. The time until the display / sound is displayed on the communication terminal 4b may be shorter than 250 ms. In this case, the automatic performance is performed later than the image displayed on the touch panel 48 of the communication terminal 4b. If the timing of the image displayed on the touch panel 48 and the automatic performance sound does not match, it becomes difficult to accurately grasp the performance, and there is a possibility that the lesson may be hindered. For this reason, it is necessary to synchronize the timing of the image and the automatic performance. Therefore, by transmitting the call data with the delay in accordance with the delay time in advance by the transmission source musical instrument 3a, the reception destination musical instrument 3b can receive performance data and call data in time. Since the communication time fluctuates, the delay time set to the initial value is adjusted by comparing the automatic performance sound and the display image at the start of the lesson. The delay time is, for example, about 10 to 100 ms.

生徒Bは、表示画像に対して自動演奏音のタイミングが遅い場合には、遅延時間を長くするように指示し、表示画像に対して自動演奏音のタイミングが早い場合には、遅延時間を短くするように指示する。講師Aは、生徒Bの指示に基づき、ユーザインターフェース37のダイアルで、遅延時間を調整し、再度演奏する。必要に応じて、演奏と遅延時間の調整を繰り返すことにより、自動演奏と画像表示とのタイミングを合わせることができる。同様に、生徒Bの楽器3bの遅延時間を調整し、自動演奏と画像表示とのタイミングを合わせる。楽器3a、3bでの調整を終了すると、講師Aと生徒Bとで遠隔レッスンを開始する。   Student B gives an instruction to increase the delay time when the timing of the automatic performance sound is late with respect to the display image, and shortens the delay time when the timing of the automatic performance sound is early with respect to the display image. To instruct. The instructor A adjusts the delay time with the dial of the user interface 37 based on the instruction from the student B, and plays again. If necessary, the timing of the automatic performance and the image display can be matched by repeating the adjustment of the performance and the delay time. Similarly, the delay time of the musical instrument 3b of the student B is adjusted, and the timing of automatic performance and image display is matched. When the adjustment with the musical instruments 3a and 3b is completed, the lesson A and the student B start a remote lesson.

通信端末4は、テレビ電話のアプリケーションに従って、音声・映像データを符号化・圧縮し、パケット化して、楽器3に送信する。このため、楽器3は、既に圧縮された音声・映像データを含むパケットを受信することとなる。楽器3は、受信したパケットをバッファリングし、設定された遅延時間だけ遅延させて送信する簡易な処理を行うだけで良い。例えば、通信端末4aに替えて、ビデオカメラを楽器3に接続する構成とすることもできる。詳しくは、楽器3は、ビデオカメラで撮影された音声・映像を、ケーブルを介して取得する。しかし、この場合、楽器3は圧縮されていないデータ量の大きい音声・映像データを処理する必要が生じ、圧縮するために処理速度が速いCPUなどが必要となる。同様に、通信端末4aに替えて、ディスプレイを楽器3に接続する構成とすることもできる。この場合、受信したパケットから映像データを抽出し、復元する必要が生じる。これに対し、システム1の構成では、楽器3は映像データの圧縮・復元を行う必要がない。処理能力の高いCPU、RAMなどを備える必要がない。   The communication terminal 4 encodes / compresses audio / video data according to a videophone application, packetizes it, and transmits it to the musical instrument 3. For this reason, the musical instrument 3 receives a packet containing already compressed audio / video data. The musical instrument 3 only needs to perform a simple process of buffering the received packet and transmitting it with a delay of a set delay time. For example, a video camera can be connected to the musical instrument 3 instead of the communication terminal 4a. Specifically, the musical instrument 3 acquires audio / video captured by the video camera via a cable. In this case, however, the musical instrument 3 needs to process uncompressed audio / video data with a large amount of data, and a CPU having a high processing speed is required for compression. Similarly, instead of the communication terminal 4a, the display can be connected to the musical instrument 3. In this case, it is necessary to extract and restore the video data from the received packet. On the other hand, in the configuration of the system 1, the musical instrument 3 does not need to compress / decompress video data. It is not necessary to provide a CPU, RAM, etc. with high processing capability.

ここで、CPU31は生成手段の一例であり、駆動部36は自動演奏手段の一例であり、通信インターフェース38は通信手段の一例である。ルータ機能は中継機能の一例である。ユーザインターフェース37は受付手段の一例である。映像データは演奏に関わる第1データおよび第2データの一例である。通信端末4は再生手段の一例である。   Here, the CPU 31 is an example of a generation unit, the drive unit 36 is an example of an automatic performance unit, and the communication interface 38 is an example of a communication unit. The router function is an example of a relay function. The user interface 37 is an example of a reception unit. Video data is an example of first data and second data related to performance. The communication terminal 4 is an example of a reproducing unit.

上記した第1実施形態によれば、以下の効果を奏する。   According to the first embodiment described above, the following effects are obtained.

楽器3aは演奏データを生成し、インターネット5を介して演奏データを楽器3bに送信する。また、演奏データに対応する演奏の様子を通信端末4aにより撮影された映像データを含むパケットを受信した場合、遅延時間だけ遅延させて楽器3bに送信する。これにより、楽器3bは、予め演奏データとタイミングが合わせられている映像データを受信することができる。生徒Bは楽器3bにより行われる演奏データに基づく自動演奏による演奏音とタイミングの合った映像データを通信端末4bに表示させることができる。   The musical instrument 3a generates performance data and transmits the performance data to the musical instrument 3b via the Internet 5. When a packet including video data captured by the communication terminal 4a is received for the performance corresponding to the performance data, it is delayed by a delay time and transmitted to the musical instrument 3b. As a result, the musical instrument 3b can receive video data whose timing is matched with performance data in advance. The student B can display on the communication terminal 4b video data in time with the performance sound by the automatic performance based on the performance data performed by the musical instrument 3b.

楽器3aが受信する映像データは通信端末4aにて予めパケット化されているので、圧縮されている。このため、楽器3aはパケット化された映像データを扱うため、能力の高い処理手段を備える必要がない。また、楽器3aはルータ機能を有するため、ルータに転送するステップを省略することができる。また、ユーザは変動する通信時間に応じて、ユーザインターフェース37を介して遅延時間を都度調整することができる。   Since the video data received by the musical instrument 3a is previously packetized by the communication terminal 4a, it is compressed. For this reason, since the musical instrument 3a handles packetized video data, it is not necessary to provide a processing means with high capability. Moreover, since the musical instrument 3a has a router function, the step of transferring to the router can be omitted. Also, the user can adjust the delay time each time via the user interface 37 according to the changing communication time.

次に実施形態の変形例について説明する。上記では、楽器3aは通信端末4aから受信したパケットを遅延させて通信端末4b宛てに送信すると説明した。これに加え、楽器3aは通信端末4bから受信したパケットを遅延させて通信端末4a宛てに送信する構成としても良い。例えば、講師Aは表示画像に対して自動演奏音が遅い場合には、遅延時間を長くするように楽器3aを設定し、表示画像に対して自動演奏音が早い場合には、遅延時間を短くするように楽器3aを設定する。これにより、送信側だけではなく、受信側でもタイミングを合わせる操作を行うことができる。   Next, a modification of the embodiment will be described. In the above description, it has been described that the musical instrument 3a transmits the packet received from the communication terminal 4a to the communication terminal 4b with a delay. In addition to this, the musical instrument 3a may be configured to delay the packet received from the communication terminal 4b and transmit it to the communication terminal 4a. For example, the instructor A sets the musical instrument 3a to increase the delay time when the automatic performance sound is slow with respect to the display image, and shortens the delay time when the automatic performance sound is early with respect to the display image. The musical instrument 3a is set as follows. Thereby, not only the transmission side but also the reception side can perform an operation for adjusting the timing.

尚、本発明は前記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内での種々の改良、変更が可能であることは言うまでもない。
上記では、例えば楽器3aが通話データの送信元の場合、送信元の楽器3aで通話データを遅延させる、あるいは送信元の楽器3aおよび受信先の楽器3bの両者で通話データを遅延させると説明したが、受信先のみで、通話データを遅延させて、通信端末に送信する構成としても良い。少なくとも、送信元あるいは受信先のいずれかが遅延させる構成であれば、演奏データと通話データとのタイミングを合わせることができる。
Needless to say, the present invention is not limited to the above-described embodiment, and various improvements and modifications can be made without departing from the spirit of the present invention.
In the above description, for example, when the musical instrument 3a is a call data transmission source, the call data is delayed by the transmission source musical instrument 3a, or the call data is delayed by both the transmission source musical instrument 3a and the reception destination musical instrument 3b. However, the configuration may be such that the call data is delayed and transmitted to the communication terminal only at the receiver. As long as at least one of the transmission source and the reception destination is delayed, the timing of the performance data and the call data can be matched.

また、楽器3a、3bはルータ機能を有すると説明したが、ルータ機能に替えて例えばブリッジ機能、スイッチ機能、スイッチングハブ機能、プロキシサーバ機能などの中継機能を有し、システム1はルータを備える構成としても良い。また、楽器3a、3bと通信端末4a、4bとは夫々無線LANにより接続されていると説明したが、これに限定されず、有線LANにより接続されている構成としても良い。   The musical instruments 3a and 3b have been described as having a router function. However, the system 1 includes a router function instead of the router function, for example, a bridge function, a switch function, a switching hub function, a proxy server function, and the like. It is also good. In addition, the musical instruments 3a and 3b and the communication terminals 4a and 4b have been described as being connected by a wireless LAN, but the present invention is not limited to this, and a configuration in which the musical instruments 3a and 3b are connected by a wired LAN is also possible.

また、上記ではパケットの送信元および送信先、および再生手段として、通信端末4を例示したが、通信端末4に限定するものではない。再生手段として、例えば、ディスプレイを有するテレビ、単体のディスプレイなどとしても良い。このうち、ビデオカメラ、テレビなど、再生手段がパケット通信の機能を有さない場合であっても、楽器3との間にパケット通信可能な例えばPCなどを介する構成とすることにより、楽器3はパケット化された通話データを受け取ることができる。   Moreover, although the communication terminal 4 was illustrated as a transmission source and transmission destination of a packet, and a reproduction | regeneration means above, it is not limited to the communication terminal 4. FIG. As the reproducing means, for example, a television having a display or a single display may be used. Among these, even if the reproducing means does not have a packet communication function, such as a video camera or a television, the musical instrument 3 can be configured by using a configuration such as a PC that can perform packet communication with the musical instrument 3. Packetized call data can be received.

また、楽器3の電源がオンされた状態で、遅延時間は初期値に設定されると説明したが、これに限定されない。例えば楽器3の電源がオフされる際に、遅延時間を記憶しておき、オンされてから記憶している遅延時間を読み出し、設定値とする構成としても良い。あるいは、例えば送信先に係る楽器3のアドレスと遅延時間との対応を履歴として記憶しておき、履歴がある場合、即ち、過去に送信したことがある相手には、前回使用した遅延時間を設定値とする構成としても良い。   In addition, although it has been described that the delay time is set to the initial value in a state where the power source of the musical instrument 3 is turned on, the present invention is not limited to this. For example, when the power of the musical instrument 3 is turned off, the delay time may be stored, and the stored delay time may be read after being turned on and set as a set value. Alternatively, for example, the correspondence between the address of the musical instrument 3 associated with the transmission destination and the delay time is stored as a history, and when there is a history, that is, the previously used delay time is set for a partner who has transmitted in the past. It is good also as a structure made into a value.

また、通信端末はSkypeを用いて通話すると説明したが、これに限定されず、例えばFaceTime(登録商標)などの他の通話サービスを用いる構成としても良い。   In addition, although it has been described that the communication terminal uses the Skype to talk, the present invention is not limited to this. For example, another communication service such as FaceTime (registered trademark) may be used.

また、ユーザインターフェース37が備えるダイアルにより遅延時間が入力されると説明したが、これに限定されず、付属のリモコン、コントローラアプリケーションがインストールされた例えば通信端末により入力される構成としても良い。   In addition, although it has been described that the delay time is input by the dial provided in the user interface 37, the present invention is not limited to this, and a configuration may be adopted in which the input is performed by, for example, a communication terminal in which an attached remote controller or controller application is installed.

また、楽器3aはCPU31を備え、CPU31が例えば、演奏データの生成、パケット化などの各処理を行うと説明したが、これに限定されない。例えば、DSP(Digital Signal Processor)、PLD(Programmable Logic Device)などを備え、例えば協同して処理を行う構成としても良い。また、バッファ34を備えると説明したが、バッファ34を備えず、通話データは一時的にRAM33に記憶させる構成としても良い。   Moreover, although the musical instrument 3a was provided with CPU31, and CPU31 performed each process, such as the production | generation of performance data, packetization, etc., it was not limited to this. For example, a DSP (Digital Signal Processor), a PLD (Programmable Logic Device), and the like may be provided, and for example, the processing may be performed in cooperation. Although the buffer 34 is described as being provided, the call data may be temporarily stored in the RAM 33 without the buffer 34 being provided.

また、演奏データに関わるデータとして映像データを例示したが、パケットに含まれるデータの種類を限定するものではない。データは、例えば、音声データ、テキストデータ、ファイルデータなどでも良い。   Further, although video data is exemplified as data related to performance data, the type of data included in the packet is not limited. The data may be voice data, text data, file data, or the like, for example.

1 システム
3a、3b 楽器
4a、4b 通信端末
5 インターネット
31 CPU
34 バッファ
35 センサ
36 駆動部
37 ユーザインターフェース
38 通信インターフェース
45 カメラ
46 マイクロフォン
47 スピーカ
48 タッチパネル

1 System 3a, 3b Musical instrument 4a, 4b Communication terminal 5 Internet 31 CPU
34 buffer 35 sensor 36 drive unit 37 user interface 38 communication interface 45 camera 46 microphone 47 speaker 48 touch panel

Claims (4)

ネットワークを介して演奏データの送受信を行う楽器であって、
演奏に基づく第1演奏データを生成する生成手段と、
前記第1演奏データとは異なる第2演奏データに基づいて自動演奏を行う自動演奏手段と、
前記ネットワークを介して前記第1演奏データの送信および前記第2演奏データの受信を行う通信手段と、を備え、
前記通信手段は、
前記第1演奏データに対応する演奏に関わる第1データを含むパケットを受信した場合には、前記第1データを含むパケットを前記第1演奏データの送信先に転送し、
前記第2演奏データに対応する演奏に関わる第2データを含むパケットを受信した場合には、前記第2データを含むパケットを再生手段に直接あるいは間接的に転送し、
前記転送において、
前記第1データを含むパケットを受信してから送信するまでの時間を予め設定された第1遅延時間に応じて遅延して送信すること、あるいは、前記第2データを含むパケットを受信してから送信するまでの時間を予め設定された第2遅延時間に応じて遅延して送信すること、の少なくとも何れか一方を行うことを特徴とする楽器。
An instrument that transmits and receives performance data over a network,
Generating means for generating first performance data based on performance;
Automatic performance means for performing automatic performance based on second performance data different from the first performance data;
Communication means for transmitting the first performance data and receiving the second performance data via the network,
The communication means includes
When a packet including first data related to a performance corresponding to the first performance data is received, the packet including the first data is transferred to a transmission destination of the first performance data;
If a packet containing second data related to a performance corresponding to the second performance data is received, the packet containing the second data is transferred directly or indirectly to the reproduction means;
In the transfer,
Transmitting a time from reception of a packet containing the first data to transmission after delaying according to a preset first delay time, or receiving of a packet containing the second data A musical instrument characterized by performing at least one of transmission after delaying according to a preset second delay time.
前記楽器は、前記通信手段が受信する前記パケットを前記パケットに含まれる送信先アドレスに従って転送する中継機能を有することを特徴とする請求項1に記載の楽器。   The musical instrument according to claim 1, wherein the musical instrument has a relay function of transferring the packet received by the communication unit according to a destination address included in the packet. 前記楽器は、
前記第1遅延時間または前記第2遅延時間の少なくとも何れか一方の調整を受け付ける受付手段を備えることを特徴とする請求項1または請求項2に記載の楽器。
The instrument is
The musical instrument according to claim 1, further comprising a reception unit that receives an adjustment of at least one of the first delay time and the second delay time.
演奏に基づく演奏データを生成する生成手段と、
ネットワークを介して前記演奏データの送信を行う第1通信手段と、を備え、
前記第1通信手段は、
前記演奏データに対応する演奏に関わるデータを含むパケットを受信した場合には、前記パケットを受信してから送信するまでの時間を予め設定された遅延時間に応じて遅延して送信する送信側楽器と、
前記送信側楽器から送信された前記演奏データに基づいて自動演奏を行う自動演奏手段と、
前記送信側楽器から送信された前記パケットを受信し、再生手段に直接あるいは間接的に転送する第2通信手段と、を備える受信側楽器と、
を含むシステム。

Generating means for generating performance data based on the performance;
First communication means for transmitting the performance data via a network,
The first communication means includes
When a packet including data related to the performance corresponding to the performance data is received, a transmission-side instrument that transmits the packet after receiving the packet after transmission according to a preset delay time When,
Automatic performance means for performing an automatic performance based on the performance data transmitted from the transmitting instrument;
A second communication unit that receives the packet transmitted from the transmission instrument and directly or indirectly transfers the packet to the reproduction unit;
Including system.

JP2016035019A 2016-02-26 2016-02-26 Musical instrument and system Pending JP2017151337A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016035019A JP2017151337A (en) 2016-02-26 2016-02-26 Musical instrument and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016035019A JP2017151337A (en) 2016-02-26 2016-02-26 Musical instrument and system

Publications (1)

Publication Number Publication Date
JP2017151337A true JP2017151337A (en) 2017-08-31

Family

ID=59740747

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016035019A Pending JP2017151337A (en) 2016-02-26 2016-02-26 Musical instrument and system

Country Status (1)

Country Link
JP (1) JP2017151337A (en)

Similar Documents

Publication Publication Date Title
US10930262B2 (en) Artificially generated speech for a communication session
JP4001091B2 (en) Performance system and music video playback device
USRE42565E1 (en) MIDIwan: a system to enable geographically remote musicians to collaborate
EP1320213A1 (en) Network system and ouput device used in this system
JP2008067203A (en) Device, method and program for synthesizing video image
KR20070109315A (en) Apparatus and method for tranmitting and receiving moving picture data using a close range communication
Kapur et al. Interactive Network Performance: a dream worth dreaming?
JP2011066544A (en) Network speaker system, transmitting apparatus, reproduction control method, and network speaker program
JP2006262467A (en) Method for processing voice signal in network and push-to-talk telephony system
JP2017151337A (en) Musical instrument and system
CN102394860A (en) Signal transmission system, method, computer program product and computer readable storage media
JP2022552893A (en) wireless midi headset
JP4218456B2 (en) Call device, call method, and call system
CN109314631B (en) Synchronization setting device, transmission system, synchronization setting method, and recording medium
JP2008271415A (en) Received voice output apparatus
JP3977784B2 (en) Real-time packet processing apparatus and method
JP7279861B2 (en) Transmission device, communication method, and program
JP2019211638A (en) Processing device, output device, synchronization control system, and these control methods, as well as programs
JP4214908B2 (en) Educational performance display system
JP6159581B2 (en) Online karaoke system using sound collecting microphone
JP2019050543A (en) Information processing device and program
JP2003085068A (en) Live information providing server, information communication terminal, live information providing system and live information providing method
JP5210788B2 (en) Speech signal communication system, speech synthesizer, speech synthesis processing method, speech synthesis processing program, and recording medium storing the program
JP2024001600A (en) Reproducing device, reproducing method, and reproducing program
JP5605458B2 (en) Mixing relay device and mixing system