JP2017151337A - Musical instrument and system - Google Patents
Musical instrument and system Download PDFInfo
- Publication number
- JP2017151337A JP2017151337A JP2016035019A JP2016035019A JP2017151337A JP 2017151337 A JP2017151337 A JP 2017151337A JP 2016035019 A JP2016035019 A JP 2016035019A JP 2016035019 A JP2016035019 A JP 2016035019A JP 2017151337 A JP2017151337 A JP 2017151337A
- Authority
- JP
- Japan
- Prior art keywords
- data
- performance
- musical instrument
- packet
- performance data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、演奏データを扱う楽器およびシステムに関するものである。 The present invention relates to musical instruments and systems that handle performance data.
特許文献1には、例えば自動演奏ピアノを使った遠隔レッスンにおいて、演奏データとオーディオビデオデータとを別の伝送系統で受信側へ送信し、受信側で演奏データとオーディオビデオデータとを同期させて再生するシステムが記載されている。また、非特許文献1には、非圧縮デジタル映像信号であるHD−SDI信号などを数十秒程度遅延させて出力させる遅延装置が記載されている。
In
近年、伝送系統の伝送速度が向上してきているため、オーディオビデオデータが送信されてから受信側で再生が開始されるまでの時間も短縮されてきている。一方、自動演奏ピアノはMIDI形式の演奏データに基づいて鍵駆動用のソレノイドを制御し、打弦によりピアノ音を発生する。ソレノイドを駆動するために所定の時間を要するため、演奏データが送信されてから受信側で再生が開始されるまでには所定の時間を要し、駆動に要する時間を短縮することは難しい。このため、オーディオビデオデータおよび演奏データが送信されてからオーディオビデオデータの再生が開始されるまでの時間よりも、演奏データの再生が開始されるまでの時間の方が長くなり、再生タイミングがずれてしまう場合があった。 In recent years, since the transmission speed of the transmission system has been improved, the time from when audio video data is transmitted to when playback is started on the receiving side has also been shortened. On the other hand, an automatic performance piano controls a solenoid for driving a key based on MIDI performance data and generates a piano sound by striking a string. Since a predetermined time is required to drive the solenoid, a predetermined time is required from the performance data transmission to the start of reproduction on the receiving side, and it is difficult to reduce the time required for driving. For this reason, the time until the playback of the performance data starts longer than the time from when the audio video data and the performance data are transmitted until the playback of the audio video data starts. There was a case.
特許文献1のシステムでは、同期がとれるものの、同期させるためにパルス信号を発生させる構成などを備える必要があり、システムが複雑化するおそれがある。また、非特許文献1に記載の遅延装置を用いることにより、演奏データに対してオーディオビデオデータを遅延させて送信することもできる。しかし、非特許文献1に記載の遅延装置は例えばビデオカメラなどの撮影手段と例えばデータの送信を行う通信手段との間に接続される必要があるため、システム構成の自由度が低くなるおそれがある。
Although the system of
本願は、上記の課題に鑑み提案されたものであって、映像データと演奏データとのタイミングを合わせることができる簡易な構成の楽器およびシステムを提供することを目的とする。 The present application has been proposed in view of the above-described problems, and an object thereof is to provide a musical instrument and a system having a simple configuration capable of matching the timing of video data and performance data.
(1)本発明に係る楽器は、ネットワークを介して演奏データの送受信を行う楽器であって、演奏に基づく第1演奏データを生成する生成手段と、第1演奏データとは異なる第2演奏データに基づいて自動演奏を行う自動演奏手段と、ネットワークを介して第1演奏データの送信および第2演奏データの受信を行う通信手段と、を備え、通信手段は、第1演奏データに対応する演奏に関わる第1データを含むパケットを受信した場合には、第1データを含むパケットを第1演奏データの送信先に転送し、第2演奏データに対応する演奏に関わる第2データを含むパケット受信した場合には、第2データを含むパケットを再生手段に直接あるいは間接的に転送し、転送において、第1データを含むパケットを受信してから送信するまでの時間を予め設定された第1遅延時間に応じて遅延して送信すること、あるいは、第2データを含むパケットを受信してから送信するまでの時間を予め設定された第2遅延時間に応じて遅延して送信すること、の少なくとも何れか一方を行うことを特徴とする。 (1) A musical instrument according to the present invention is a musical instrument that transmits and receives performance data via a network, and that generates first performance data based on the performance, and second performance data different from the first performance data. An automatic performance means for performing an automatic performance based on the performance, and a communication means for transmitting the first performance data and receiving the second performance data via a network, wherein the communication means is a performance corresponding to the first performance data. When a packet including the first data related to the performance data is received, the packet including the first data is transferred to the transmission destination of the first performance data, and the packet reception including the second data related to the performance corresponding to the second performance data is received. In such a case, the packet containing the second data is transferred directly or indirectly to the reproducing means, and the time from the reception of the packet containing the first data to the transmission is determined in the transfer. The transmission is delayed according to the first delay time set for the first time, or the time from reception of the packet containing the second data to transmission is delayed according to the second delay time set in advance. And transmitting at least one of the following.
楽器は自身で演奏が行われた場合には第1演奏データを生成し、ネットワークを介して第1演奏データを送信する。また、第1演奏データに対応する、即ち、自身で行われた演奏に関わるデータを含むパケットを受信した場合、第1遅延時間だけ遅延させて第1演奏データの送信先に送信する。これにより、送信先では、予め第1演奏データとタイミングが合わせられている第1データを受信することができる。ここで、送信先としては、第1演奏データに基づいて自動演奏を行う楽器と、第1データを再生させる再生手段とを備えているものとすると良い。例えば送信先の楽器が第1演奏データを受信してから自動演奏により音を出すまでには、例えばソレノイドを駆動するなどの機構の動作時間を要する。このため、第1データが遅延されていない場合には、第1データに基づく送信先の再生手段における再生に対して自動演奏音のタイミングが遅れてしまう場合がある。この点、第1データは楽器により予め遅延されて送信されるため、相手は第1演奏データに基づく自動演奏音とタイミングの合った第1データを再生手段に再生させることができる。ここで、第1データおよび第2データとしては、例えば、演奏の様子を撮影した映像データ、例えば演奏者などの声などを録音した音声データ、テキストデータ、例えば画像などのファイルデータなどとすると良い。 When the musical instrument is played by itself, the musical instrument generates first performance data and transmits the first performance data via the network. When a packet corresponding to the first performance data, that is, a packet including data related to the performance performed by itself is received, the packet is delayed by the first delay time and transmitted to the transmission destination of the first performance data. Thereby, the transmission destination can receive the first data whose timing is matched with the first performance data in advance. Here, it is preferable that the transmission destination includes an instrument that performs an automatic performance based on the first performance data and a reproduction unit that reproduces the first data. For example, an operation time of a mechanism such as driving a solenoid is required from when the transmission destination musical instrument receives the first performance data until it makes a sound by automatic performance. For this reason, when the first data is not delayed, the timing of the automatic performance sound may be delayed with respect to the reproduction by the reproduction means of the transmission destination based on the first data. In this respect, since the first data is transmitted with a delay in advance by the musical instrument, the other party can cause the playback means to play back the first data in time with the automatic performance sound based on the first performance data. Here, the first data and the second data may be, for example, video data obtained by shooting a performance, voice data recording a voice of a performer, text data, file data such as an image, and the like. .
一方、第1演奏データの送信先から、第2演奏データを受信するとともに、第2演奏データと対応する演奏に関わる第2データを含むパケットを受信する場合には、楽器は第2データを第2遅延時間だけ遅延させて楽器に対して外部である再生手段に送信する。これにより、第2演奏データとタイミングを合わせた第2データを再生手段に送信することができる。例えば、受信する第2データが送信において遅延されていない場合、第2演奏データに基づいて自動演奏を行う場合、機構の動作時間を要するため、第2データの再生に対して自動演奏音のタイミングが遅れてしまう場合がある。この場合においても、受信する第2データを遅延して再生手段に送信するため、自動演奏音と再生手段における再生とのタイミングを合わせることができる。尚、第1データおよび第2データの何れか一方を遅延させても良いし、第1データおよび第2データの両方を遅延させても良い。 On the other hand, when the second performance data is received from the transmission destination of the first performance data and a packet including the second data related to the performance corresponding to the second performance data is received, the musical instrument receives the second data. It is delayed by two delay times and transmitted to the reproduction means external to the instrument. Thereby, the second data having the timing matched with the second performance data can be transmitted to the reproducing means. For example, when the second data to be received is not delayed in transmission, and when performing an automatic performance based on the second performance data, the operation time of the mechanism is required. Therefore, the timing of the automatic performance sound with respect to the reproduction of the second data May be delayed. Even in this case, since the received second data is delayed and transmitted to the reproduction means, the timing of the automatic performance sound and the reproduction by the reproduction means can be matched. Note that either the first data or the second data may be delayed, or both the first data and the second data may be delayed.
楽器が受信する第1データおよび第2データは例えば第1データおよび第2データの送信元にて予めパケット化されているので、圧縮されていることが期待される。特に、第1データおよび第2データが映像データである場合、圧縮されていない映像データを扱う場合には、データ量の大きい映像データを処理するために、能力の高い処理手段を備える必要が生じる。この点、楽器はパケット化されたデータを扱うため、能力の高い処理手段を備える必要がないことが期待される。 Since the first data and the second data received by the musical instrument are packetized in advance at the transmission source of the first data and the second data, for example, it is expected to be compressed. In particular, when the first data and the second data are video data, when handling uncompressed video data, it is necessary to provide a processing means with high capability in order to process video data with a large amount of data. . In this respect, since the musical instrument handles packetized data, it is expected that it is not necessary to provide a processing means with high ability.
第1データおよび第2データの送信元としては、例えば、ビデオカメラ、スマートフォン、タブレット端末、カメラを内蔵するPC、Webカメラなどとすると良い。再生手段としては、例えば、ディスプレイを有するテレビ、PC、スマートフォン、タブレット端末、あるいは、単体のディスプレイなどとすると良い。第1データおよび第2データの送信元および再生手段がパケット通信の機能を有さない場合には、パケット通信可能な例えばPCなどを介して、楽器と通信を行う構成とすると良い。また、パケットを転送する場合、予め設定された例えば送信元アドレスと受信先アドレスとの対応表に従って、転送する構成などとすると良いが、特に後述する(2)の構成のようにすると良い。尚、ここで、パケットとは、OSI参照モデルの階層に係わらず、所定のデータ量ごとに分割されたデータに例えば宛先アドレスなどのヘッダなどが付加されたデータのことである。 As a transmission source of the first data and the second data, for example, a video camera, a smartphone, a tablet terminal, a PC with a built-in camera, a Web camera, or the like may be used. As the reproducing means, for example, a television having a display, a PC, a smartphone, a tablet terminal, or a single display may be used. When the transmission source and reproducing means of the first data and the second data do not have a packet communication function, it is preferable to communicate with the musical instrument via, for example, a PC capable of packet communication. In addition, when transferring a packet, it is preferable that the packet is transferred in accordance with a preset correspondence table of, for example, a transmission source address and a reception destination address. In particular, the configuration (2) described later is preferable. Here, the packet is data in which a header such as a destination address is added to data divided for each predetermined amount of data regardless of the OSI reference model hierarchy.
(2)また、楽器は、通信手段が受信するパケットをパケットに含まれる送信先アドレスに従って転送する中継機能を有することを特徴とする。 (2) Further, the musical instrument has a relay function of transferring a packet received by the communication means in accordance with a destination address included in the packet.
楽器が例えばLAN(Local Area Network)とWAN(Wide Area Network)とを中継するルータ機能を有する場合には、ルータに転送するステップを省略することができる。楽器がLAN内でデータを中継する例えば、ブリッジ、スイッチ、スイッチングハブなどの機能を有する場合には、対応するブリッジ、スイッチ、スイッチングハブなどに送信するステップを省略することができる。 If the musical instrument has a router function for relaying, for example, a LAN (Local Area Network) and a WAN (Wide Area Network), the step of transferring to the router can be omitted. When the musical instrument has a function of relaying data in the LAN, for example, a bridge, a switch, a switching hub, etc., the step of transmitting to the corresponding bridge, switch, switching hub, etc. can be omitted.
(3)また、楽器は、第1遅延時間または第2遅延時間の少なくとも何れか一方の調整を受け付ける受付手段を備えることを特徴とする。 (3) In addition, the musical instrument includes a receiving unit that receives an adjustment of at least one of the first delay time and the second delay time.
例えば楽器から送信先へ第1演奏データおよび第1データの送信が行われる場合、楽器が第1演奏データおよび第1データを送信してから相手が受信するまでの通信時間は例えばネットワークの通信状況により変動する。また、第1演奏データに係る通信時間と第1データに係る通信時間とは、異なる場合がある。このため、第1演奏データに基づく自動演奏と第1データに基づく再生とのタイミングを揃えるためには、都度、第1遅延時間を調整する必要が生じる。ユーザは変動する通信時間に応じて、受付手段を介して遅延時間を調整することができる。これにより、第1演奏データと第1データとのタイミング、および第2演奏データと第2データとのタイミングを合わせることができる。 For example, when the first performance data and the first data are transmitted from the musical instrument to the transmission destination, the communication time from when the musical instrument transmits the first performance data and the first data until the other party receives it is, for example, the communication status of the network Varies depending on In addition, the communication time related to the first performance data may be different from the communication time related to the first data. For this reason, it is necessary to adjust the first delay time every time in order to align the timings of the automatic performance based on the first performance data and the reproduction based on the first data. The user can adjust the delay time via the accepting means according to the changing communication time. Thereby, the timing of 1st performance data and 1st data and the timing of 2nd performance data and 2nd data can be match | combined.
(4)また、本発明に係るシステムは、演奏に基づく演奏データを生成する生成手段と、ネットワークを介して演奏データの送信を行う第1通信手段と、を備え、第1通信手段は、演奏データに対応する演奏に関わるデータを含むパケットを受信した場合には、パケットを受信してから送信するまでの時間を予め設定された遅延時間に応じて遅延して送信する送信側楽器と、送信側楽器から送信された演奏データに基づいて自動演奏を行う自動演奏手段と、送信側楽器から送信されたパケットを受信し、再生手段に直接あるいは間接的に転送する第2通信手段と、を備える受信側楽器と、を含む。 (4) The system according to the present invention further includes a generating unit that generates performance data based on a performance, and a first communication unit that transmits performance data via a network. When a packet including data related to performance corresponding to the data is received, a transmission side instrument that transmits the packet after receiving the packet after transmission according to a preset delay time, and transmission Automatic performance means for performing an automatic performance based on performance data transmitted from the side musical instrument, and second communication means for receiving a packet transmitted from the transmission side musical instrument and transferring the packet directly or indirectly to the reproduction means. And a receiving instrument.
送信側楽器は、演奏データを送信するとともに、受信したデータを含むパケットを遅延させて受信側楽器へ送信する。これにより、受信側楽器は、予め演奏データとタイミングが合わせられているデータを受信することができる。ここで、受信側楽器としては、受信するデータを再生手段へ直接あるいは間接的に転送するものとすると良い。データは送信側楽器により予め遅延されて送信されるため、受信側楽器は演奏データに基づく自動演奏音とタイミングの合ったデータを再生手段に転送することができる。送信側楽器を操作するユーザは、演奏データに基づく自動演奏音とタイミングの合った演奏に関わる再生を見ることができる。 The transmission-side instrument transmits performance data, and transmits a packet including the received data to the reception-side instrument with a delay. As a result, the receiving instrument can receive data whose timing is matched with performance data in advance. Here, it is preferable that the receiving-side instrument transfers received data directly or indirectly to the reproducing means. Since the data is transmitted with a delay in advance by the transmitting musical instrument, the receiving musical instrument can transfer data in time with the automatic performance sound based on the performance data to the reproducing means. The user who operates the transmission-side musical instrument can see the reproduction related to the performance in time with the automatic performance sound based on the performance data.
本願に係る楽器およびシステムによれば、映像データと演奏データとのタイミングを合わせることができる簡易な構成の楽器およびシステムを提供することができる。 According to the musical instrument and system according to the present application, it is possible to provide a musical instrument and system with a simple configuration capable of matching the timing of video data and performance data.
図1を用いて、本願に係るシステム1の全体構成について説明する。システム1は例えば、遠隔レッスンを行うためのシステムである。ここでは、講師Aと生徒Bとで遠隔レッスンを行う場合を例に説明する。システム1は講師Aが操作する楽器3aおよび通信端末4a、生徒Bが操作する楽器3bおよび通信端末4bを含む。楽器3aおよび楽器3bはルータ機能を有し、インターネット5に接続されている。これにより、楽器3aと楽器3bとの間で、後述する演奏データの送受が行われる。さらに、楽器3aおよび楽器3bはアクセスポイント機能を有し、夫々、通信端末4a、4bと例えばWiFi(登録商標)などの無線LANにて接続されている。これにより、通信端末4aと通信端末4bとの間で、楽器3a、3bを介して映像および音声を含む、後述する通話データの送受が行われる。尚、詳しくは、演奏データおよび通話データはパケット化されて送受信される。また、楽器3aと楽器3bとは同じ構成であり、通信端末4aと通信端末4bとは同じ構成であるため、代表して楽器3aおよび通信端末4aの構成について次に説明する。また、楽器3aと楽器3bとを区別する必要が無い場合は、総称して楽器3と記載する。同様に、区別する必要が無い場合は、通信端末4aおよび通信端末4bを総称して通信端末4と記載する。
The overall configuration of the
楽器3aは、不図示の鍵盤、ハンマ、弦、および饗板などの一般的なアコースティックピアノが備える構成に加えて、図2に示す互いにバス39で接続されているCPU31、ROM32、RAM33、バッファ34、センサ35、駆動部36、ユーザインターフェース37、通信インターフェース38などを有する。CPU31はROM32に記憶されている各種のプログラムを実行することによって、CPU31に接続されている各部を制御する。RAM33はCPU31が各種の処理を実行するための主記憶装置として用いられる。
The musical instrument 3a has a
センサ35はMIDI(Musical Instrument Digital Interface:登録商標)形式の演奏データを生成するために、鍵盤およびペダルなどの動きを検出し、検出した検出信号をCPU31へ送信する。CPU31は受信した検出信号に基づいてMIDI形式の演奏データを生成する。例えば、楽器3aの鍵が押されると、センサ35は鍵が押された速度などを検出し、CPU31は、例えば、押された鍵に対応するノート番号、鍵にされた操作に対応するベロシティなどの演奏動作の情報が付加されたノートオンのメッセージを生成する。また、例えば、CPU31は楽器3aの鍵が離されると、ノートオフのメッセージを生成する。CPU31はノートオンのメッセージ、ノートオフのメッセージなどで構成された演奏データを生成する。以下、演奏データとはMIDI形式のデータを示す。
The
駆動部36は、鍵盤などを駆動するソレノイドなどを含む。CPU31は駆動部36を例えば演奏データに基づいて制御する。これにより、楽器3aは自動演奏を行うことができる。例えば、駆動部36は演奏データのノートオンのメッセージに応じて、ノート番号に対応する鍵に対応するソレノイドにベロシティに応じた駆動電流を流し、鍵を動かす。これにより、ハンマが弦に振動を与え、楽器3aから音が放射される。
The
ユーザインターフェース37は電源ボタン、および例えば後述する遅延時間の入力を受け付けるダイアルなどを有する。通信インターフェース38は不図示のアンテナおよびWANポートなどを有する。通信インターフェース38はWANポートを介してインターネット5と接続されている。また、通信インターフェース38はアンテナを介して送受信する電波の復変調を行う。これにより、楽器3aは例えば通信端末4aと無線通信することができる。バッファ34は例えば通信端末4aから送信される通話データを含むパケットを一時的に記憶する。CPU31は、受信したパケットをバッファ34にバッファリングし、設定された遅延時間だけ遅延させて通信インターフェース38より送信する。
The
楽器3aはルータの機能を有する。詳しくは、OSI参照モデルにおける第3層においてパケットを中継する。CPU31はNAT(Network Address Translation)機能を有し、通信インターフェース38を介して受信した中継するパケットに含まれる送信元あるいは送信先IPアドレスについて、グローバルIPアドレスと、プライベートIPアドレスとの変換を行い、通信インターフェース38を介して送信する。これにより、楽器3aは受信した通信端末4a宛のパケットを通信端末4aへ転送し、通信端末4aから送信された通信端末4b宛のパケットを転送する。また、CPU31は通信インターフェース38を介して演奏データを送信する際には、パケット化する処理を行う。詳しくは、演奏データを分割して、ヘッダなどを付加してパケットを生成する。さらに、CPU31は通信インターフェース38を介して演奏データを含むパケットを受信した際には、パケットに含まれる演奏データを抽出し駆動部36へ送信する。これにより、楽器3aは演奏データをパケット化して送信するとともに、受信した演奏データを含むパケットに応じて自動演奏することができる。
The musical instrument 3a has a router function. Specifically, the packet is relayed in the third layer in the OSI reference model. The
通信端末4aは、例えば、iPad(登録商標)などのタブレット端末、スマートフォンなどであり、互いにバス49で接続されているCPU41、ROM42、RAM43、通信インターフェース44、カメラ45、マイクロフォン46、スピーカ47、およびタッチパネル48を備える。CPU41はROM42に記憶されている各種のプログラムを実行することによって、CPU41に接続されている各部を制御する。RAM43はCPU41が各種の処理を実行するための主記憶装置として用いられる。通信インターフェース44は不図示のアンテナを有し、アンテナが介して送受信する電波の複変調を行う。
The
カメラ45が講師Aの手元を撮影できる位置に通信端末4aは設置されている。これにより、カメラ45は演奏している講師Aの運指の様子を撮影することができる。マイクロフォン46は講師Aの発言および演奏音などを集音する。スピーカ47は音声データに応じて放音する。タッチパネル48は映像データに応じて表示を行う。また、タッチパネル48は例えば操作画面などを表示し、例えばタップなどの操作によりユーザから入力された指示を受け付ける。通信端末4aは例えばSkype(登録商標)などのインターネット5を介した画像付きの通話サービス、所謂テレビ電話が利用可能となっている。詳しくは、通信端末4aにはテレビ電話のアプリケーションがインストールされている。通信端末4aがテレビ電話を利用している期間、アプリケーションに従って、CPU41はカメラ45が取得した映像およびマイクロフォン46が取得した音声に基づき、パケット化した通話データを生成し、通信インターフェース44を介して送信する。また、通話データを含むパケットを受信すると、パケットから映像データおよび音声データを抽出し、夫々タッチパネル48およびスピーカ47へ送信する。
The
次にシステム1の動作について説明する。講師Aおよび生徒Bはそれぞれ楽器3a、3bの電源をオンし、楽器3a、3bを起動させる。これにより、楽器3a、3bのルータ機能が有効となり、楽器3aと楽器3bとで演奏データの送受が行える状態となる。また、例えば講師Aは通信端末4aのテレビ電話を利用可能な状態にして、生徒Bへ通信要求し、講師Aと生徒Bとはそれぞれ通信端末4a、4bを用いて、通話可能な状態とする。これにより、通信端末4a、4bは夫々楽器3a、3bをルータとして、インターネット5を介した通話データの送受を行うことができる。講師Aが操作する通信端末4aのタッチパネル48には生徒Bの手元の画像が表示されるとともに、スピーカ47からは生徒Bの声および演奏音が放音される。同様に、生徒Bが操作する通信端末4bのタッチパネル48には講師Aの手元の画像が表示されるとともに、スピーカ47からは講師Aの声および演奏音が放音される。
Next, the operation of the
次に、演奏データに基づく自動演奏と通話データに基づく表示画像とのタイミングを合わせるために、まず、講師Aが楽器3aで演奏を行って、楽器3aにおける遅延時間の調整を行う。鍵盤が操作されるに応じて音を出すとともに、演奏データを生成して楽器3bへ送信するようにするように、講師Aは楽器3aを設定する。一方、楽器3bは、受信する演奏データに応じて、自動演奏するよう設定する。これにより、楽器3aで行われた演奏が楽器3bで再現される。並行して、生徒Bの通信端末4bのタッチパネル48には、講師Aの運指の様子が表示される。生徒Bは、自動演奏音と表示画像とを比較し、遅延時間の調整を講師Aに指示する。尚、遅延時間は例えば楽器3の出荷時に予め初期値が設定されており、電源投入後には、遅延時間は初期値に設定される。
Next, in order to synchronize the timing of the automatic performance based on the performance data and the display image based on the call data, first, the lecturer A performs with the musical instrument 3a and adjusts the delay time in the musical instrument 3a. The instructor A sets the musical instrument 3a so that a sound is produced as the keyboard is operated, and performance data is generated and transmitted to the
さて、楽器3aから演奏データが送信されてから楽器3bで音が出るまでには、主にインターネット5を介した通信および楽器3bの駆動部36の動作に時間がかかる。一方、楽器3aで通話データが送信されてから、通信端末4bで通話データに応じた表示、放音がされるまでには、主にインターネット5を介した通信に時間がかかる。演奏データに係るインターネット5を介した通信に要する通信時間および通話データに係る通信時間は、例えば通信速度の向上などにより、近年、短縮されてきている。これに対し、駆動部36の動作に要する動作時間を短縮することが難しい。駆動部36が動作する時間を短縮するには鍵盤を速く動かすことが必要となる。鍵盤の動く速さに応じて音を出す楽器3において鍵盤を一様に速く動かしてしまっては、演奏を再現することができなくなるためである。このため、特に通信時間が短い場合に、通信端末4bで通話データに応じた表示・放音がされるまでよりも、楽器3bで音が出るまでの方に時間がかかる場合がある。
From the time when performance data is transmitted from the musical instrument 3a to the time when a sound is produced by the
通信時間はインターネット5の通信状況などにより変動するが、楽器3aで音が出てから、楽器3bで音が出るまでの時間は例えば250ms程度であるのに対し、楽器3aで音が出てから、通信端末4bで表示・放音されるまでの時間は250msよりも短い場合がある。この場合、通信端末4bのタッチパネル48に表示される画像より遅れて、自動演奏が行われてしまう。タッチパネル48に表示される画像と自動演奏音とのタイミングが合っていないと、演奏を正確に把握することが難しくなるため、レッスンに支障が出るおそれがある。このため、画像と自動演奏とのタイミングを合わせることが必要となる。そこで、送信元の楽器3aで予め通話データを遅延時間に応じて遅延させて送信することで、受信先の楽器3bでは、タイミングが合った演奏データおよび通話データを受け取ることができる。通信時間は変動するため、レッスン開始時に自動演奏音と表示画像とを比較して、初期値に設定されている遅延時間の調節を行う。遅延時間は例えば10〜100ms程度である。
Although the communication time varies depending on the communication status of the
生徒Bは、表示画像に対して自動演奏音のタイミングが遅い場合には、遅延時間を長くするように指示し、表示画像に対して自動演奏音のタイミングが早い場合には、遅延時間を短くするように指示する。講師Aは、生徒Bの指示に基づき、ユーザインターフェース37のダイアルで、遅延時間を調整し、再度演奏する。必要に応じて、演奏と遅延時間の調整を繰り返すことにより、自動演奏と画像表示とのタイミングを合わせることができる。同様に、生徒Bの楽器3bの遅延時間を調整し、自動演奏と画像表示とのタイミングを合わせる。楽器3a、3bでの調整を終了すると、講師Aと生徒Bとで遠隔レッスンを開始する。
Student B gives an instruction to increase the delay time when the timing of the automatic performance sound is late with respect to the display image, and shortens the delay time when the timing of the automatic performance sound is early with respect to the display image. To instruct. The instructor A adjusts the delay time with the dial of the
通信端末4は、テレビ電話のアプリケーションに従って、音声・映像データを符号化・圧縮し、パケット化して、楽器3に送信する。このため、楽器3は、既に圧縮された音声・映像データを含むパケットを受信することとなる。楽器3は、受信したパケットをバッファリングし、設定された遅延時間だけ遅延させて送信する簡易な処理を行うだけで良い。例えば、通信端末4aに替えて、ビデオカメラを楽器3に接続する構成とすることもできる。詳しくは、楽器3は、ビデオカメラで撮影された音声・映像を、ケーブルを介して取得する。しかし、この場合、楽器3は圧縮されていないデータ量の大きい音声・映像データを処理する必要が生じ、圧縮するために処理速度が速いCPUなどが必要となる。同様に、通信端末4aに替えて、ディスプレイを楽器3に接続する構成とすることもできる。この場合、受信したパケットから映像データを抽出し、復元する必要が生じる。これに対し、システム1の構成では、楽器3は映像データの圧縮・復元を行う必要がない。処理能力の高いCPU、RAMなどを備える必要がない。
The communication terminal 4 encodes / compresses audio / video data according to a videophone application, packetizes it, and transmits it to the musical instrument 3. For this reason, the musical instrument 3 receives a packet containing already compressed audio / video data. The musical instrument 3 only needs to perform a simple process of buffering the received packet and transmitting it with a delay of a set delay time. For example, a video camera can be connected to the musical instrument 3 instead of the
ここで、CPU31は生成手段の一例であり、駆動部36は自動演奏手段の一例であり、通信インターフェース38は通信手段の一例である。ルータ機能は中継機能の一例である。ユーザインターフェース37は受付手段の一例である。映像データは演奏に関わる第1データおよび第2データの一例である。通信端末4は再生手段の一例である。
Here, the
上記した第1実施形態によれば、以下の効果を奏する。 According to the first embodiment described above, the following effects are obtained.
楽器3aは演奏データを生成し、インターネット5を介して演奏データを楽器3bに送信する。また、演奏データに対応する演奏の様子を通信端末4aにより撮影された映像データを含むパケットを受信した場合、遅延時間だけ遅延させて楽器3bに送信する。これにより、楽器3bは、予め演奏データとタイミングが合わせられている映像データを受信することができる。生徒Bは楽器3bにより行われる演奏データに基づく自動演奏による演奏音とタイミングの合った映像データを通信端末4bに表示させることができる。
The musical instrument 3a generates performance data and transmits the performance data to the
楽器3aが受信する映像データは通信端末4aにて予めパケット化されているので、圧縮されている。このため、楽器3aはパケット化された映像データを扱うため、能力の高い処理手段を備える必要がない。また、楽器3aはルータ機能を有するため、ルータに転送するステップを省略することができる。また、ユーザは変動する通信時間に応じて、ユーザインターフェース37を介して遅延時間を都度調整することができる。
Since the video data received by the musical instrument 3a is previously packetized by the
次に実施形態の変形例について説明する。上記では、楽器3aは通信端末4aから受信したパケットを遅延させて通信端末4b宛てに送信すると説明した。これに加え、楽器3aは通信端末4bから受信したパケットを遅延させて通信端末4a宛てに送信する構成としても良い。例えば、講師Aは表示画像に対して自動演奏音が遅い場合には、遅延時間を長くするように楽器3aを設定し、表示画像に対して自動演奏音が早い場合には、遅延時間を短くするように楽器3aを設定する。これにより、送信側だけではなく、受信側でもタイミングを合わせる操作を行うことができる。
Next, a modification of the embodiment will be described. In the above description, it has been described that the musical instrument 3a transmits the packet received from the
尚、本発明は前記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内での種々の改良、変更が可能であることは言うまでもない。
上記では、例えば楽器3aが通話データの送信元の場合、送信元の楽器3aで通話データを遅延させる、あるいは送信元の楽器3aおよび受信先の楽器3bの両者で通話データを遅延させると説明したが、受信先のみで、通話データを遅延させて、通信端末に送信する構成としても良い。少なくとも、送信元あるいは受信先のいずれかが遅延させる構成であれば、演奏データと通話データとのタイミングを合わせることができる。
Needless to say, the present invention is not limited to the above-described embodiment, and various improvements and modifications can be made without departing from the spirit of the present invention.
In the above description, for example, when the musical instrument 3a is a call data transmission source, the call data is delayed by the transmission source musical instrument 3a, or the call data is delayed by both the transmission source musical instrument 3a and the reception destination
また、楽器3a、3bはルータ機能を有すると説明したが、ルータ機能に替えて例えばブリッジ機能、スイッチ機能、スイッチングハブ機能、プロキシサーバ機能などの中継機能を有し、システム1はルータを備える構成としても良い。また、楽器3a、3bと通信端末4a、4bとは夫々無線LANにより接続されていると説明したが、これに限定されず、有線LANにより接続されている構成としても良い。
The
また、上記ではパケットの送信元および送信先、および再生手段として、通信端末4を例示したが、通信端末4に限定するものではない。再生手段として、例えば、ディスプレイを有するテレビ、単体のディスプレイなどとしても良い。このうち、ビデオカメラ、テレビなど、再生手段がパケット通信の機能を有さない場合であっても、楽器3との間にパケット通信可能な例えばPCなどを介する構成とすることにより、楽器3はパケット化された通話データを受け取ることができる。 Moreover, although the communication terminal 4 was illustrated as a transmission source and transmission destination of a packet, and a reproduction | regeneration means above, it is not limited to the communication terminal 4. FIG. As the reproducing means, for example, a television having a display or a single display may be used. Among these, even if the reproducing means does not have a packet communication function, such as a video camera or a television, the musical instrument 3 can be configured by using a configuration such as a PC that can perform packet communication with the musical instrument 3. Packetized call data can be received.
また、楽器3の電源がオンされた状態で、遅延時間は初期値に設定されると説明したが、これに限定されない。例えば楽器3の電源がオフされる際に、遅延時間を記憶しておき、オンされてから記憶している遅延時間を読み出し、設定値とする構成としても良い。あるいは、例えば送信先に係る楽器3のアドレスと遅延時間との対応を履歴として記憶しておき、履歴がある場合、即ち、過去に送信したことがある相手には、前回使用した遅延時間を設定値とする構成としても良い。 In addition, although it has been described that the delay time is set to the initial value in a state where the power source of the musical instrument 3 is turned on, the present invention is not limited to this. For example, when the power of the musical instrument 3 is turned off, the delay time may be stored, and the stored delay time may be read after being turned on and set as a set value. Alternatively, for example, the correspondence between the address of the musical instrument 3 associated with the transmission destination and the delay time is stored as a history, and when there is a history, that is, the previously used delay time is set for a partner who has transmitted in the past. It is good also as a structure made into a value.
また、通信端末はSkypeを用いて通話すると説明したが、これに限定されず、例えばFaceTime(登録商標)などの他の通話サービスを用いる構成としても良い。 In addition, although it has been described that the communication terminal uses the Skype to talk, the present invention is not limited to this. For example, another communication service such as FaceTime (registered trademark) may be used.
また、ユーザインターフェース37が備えるダイアルにより遅延時間が入力されると説明したが、これに限定されず、付属のリモコン、コントローラアプリケーションがインストールされた例えば通信端末により入力される構成としても良い。
In addition, although it has been described that the delay time is input by the dial provided in the
また、楽器3aはCPU31を備え、CPU31が例えば、演奏データの生成、パケット化などの各処理を行うと説明したが、これに限定されない。例えば、DSP(Digital Signal Processor)、PLD(Programmable Logic Device)などを備え、例えば協同して処理を行う構成としても良い。また、バッファ34を備えると説明したが、バッファ34を備えず、通話データは一時的にRAM33に記憶させる構成としても良い。
Moreover, although the musical instrument 3a was provided with CPU31, and CPU31 performed each process, such as the production | generation of performance data, packetization, etc., it was not limited to this. For example, a DSP (Digital Signal Processor), a PLD (Programmable Logic Device), and the like may be provided, and for example, the processing may be performed in cooperation. Although the
また、演奏データに関わるデータとして映像データを例示したが、パケットに含まれるデータの種類を限定するものではない。データは、例えば、音声データ、テキストデータ、ファイルデータなどでも良い。 Further, although video data is exemplified as data related to performance data, the type of data included in the packet is not limited. The data may be voice data, text data, file data, or the like, for example.
1 システム
3a、3b 楽器
4a、4b 通信端末
5 インターネット
31 CPU
34 バッファ
35 センサ
36 駆動部
37 ユーザインターフェース
38 通信インターフェース
45 カメラ
46 マイクロフォン
47 スピーカ
48 タッチパネル
1
34
Claims (4)
演奏に基づく第1演奏データを生成する生成手段と、
前記第1演奏データとは異なる第2演奏データに基づいて自動演奏を行う自動演奏手段と、
前記ネットワークを介して前記第1演奏データの送信および前記第2演奏データの受信を行う通信手段と、を備え、
前記通信手段は、
前記第1演奏データに対応する演奏に関わる第1データを含むパケットを受信した場合には、前記第1データを含むパケットを前記第1演奏データの送信先に転送し、
前記第2演奏データに対応する演奏に関わる第2データを含むパケットを受信した場合には、前記第2データを含むパケットを再生手段に直接あるいは間接的に転送し、
前記転送において、
前記第1データを含むパケットを受信してから送信するまでの時間を予め設定された第1遅延時間に応じて遅延して送信すること、あるいは、前記第2データを含むパケットを受信してから送信するまでの時間を予め設定された第2遅延時間に応じて遅延して送信すること、の少なくとも何れか一方を行うことを特徴とする楽器。 An instrument that transmits and receives performance data over a network,
Generating means for generating first performance data based on performance;
Automatic performance means for performing automatic performance based on second performance data different from the first performance data;
Communication means for transmitting the first performance data and receiving the second performance data via the network,
The communication means includes
When a packet including first data related to a performance corresponding to the first performance data is received, the packet including the first data is transferred to a transmission destination of the first performance data;
If a packet containing second data related to a performance corresponding to the second performance data is received, the packet containing the second data is transferred directly or indirectly to the reproduction means;
In the transfer,
Transmitting a time from reception of a packet containing the first data to transmission after delaying according to a preset first delay time, or receiving of a packet containing the second data A musical instrument characterized by performing at least one of transmission after delaying according to a preset second delay time.
前記第1遅延時間または前記第2遅延時間の少なくとも何れか一方の調整を受け付ける受付手段を備えることを特徴とする請求項1または請求項2に記載の楽器。 The instrument is
The musical instrument according to claim 1, further comprising a reception unit that receives an adjustment of at least one of the first delay time and the second delay time.
ネットワークを介して前記演奏データの送信を行う第1通信手段と、を備え、
前記第1通信手段は、
前記演奏データに対応する演奏に関わるデータを含むパケットを受信した場合には、前記パケットを受信してから送信するまでの時間を予め設定された遅延時間に応じて遅延して送信する送信側楽器と、
前記送信側楽器から送信された前記演奏データに基づいて自動演奏を行う自動演奏手段と、
前記送信側楽器から送信された前記パケットを受信し、再生手段に直接あるいは間接的に転送する第2通信手段と、を備える受信側楽器と、
を含むシステム。
Generating means for generating performance data based on the performance;
First communication means for transmitting the performance data via a network,
The first communication means includes
When a packet including data related to the performance corresponding to the performance data is received, a transmission-side instrument that transmits the packet after receiving the packet after transmission according to a preset delay time When,
Automatic performance means for performing an automatic performance based on the performance data transmitted from the transmitting instrument;
A second communication unit that receives the packet transmitted from the transmission instrument and directly or indirectly transfers the packet to the reproduction unit;
Including system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016035019A JP2017151337A (en) | 2016-02-26 | 2016-02-26 | Musical instrument and system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016035019A JP2017151337A (en) | 2016-02-26 | 2016-02-26 | Musical instrument and system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017151337A true JP2017151337A (en) | 2017-08-31 |
Family
ID=59740747
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016035019A Pending JP2017151337A (en) | 2016-02-26 | 2016-02-26 | Musical instrument and system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017151337A (en) |
-
2016
- 2016-02-26 JP JP2016035019A patent/JP2017151337A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10930262B2 (en) | Artificially generated speech for a communication session | |
JP4001091B2 (en) | Performance system and music video playback device | |
USRE42565E1 (en) | MIDIwan: a system to enable geographically remote musicians to collaborate | |
EP1320213A1 (en) | Network system and ouput device used in this system | |
JP2008067203A (en) | Device, method and program for synthesizing video image | |
KR20070109315A (en) | Apparatus and method for tranmitting and receiving moving picture data using a close range communication | |
Kapur et al. | Interactive Network Performance: a dream worth dreaming? | |
JP2011066544A (en) | Network speaker system, transmitting apparatus, reproduction control method, and network speaker program | |
JP2006262467A (en) | Method for processing voice signal in network and push-to-talk telephony system | |
JP2017151337A (en) | Musical instrument and system | |
CN102394860A (en) | Signal transmission system, method, computer program product and computer readable storage media | |
JP2022552893A (en) | wireless midi headset | |
JP4218456B2 (en) | Call device, call method, and call system | |
CN109314631B (en) | Synchronization setting device, transmission system, synchronization setting method, and recording medium | |
JP2008271415A (en) | Received voice output apparatus | |
JP3977784B2 (en) | Real-time packet processing apparatus and method | |
JP7279861B2 (en) | Transmission device, communication method, and program | |
JP2019211638A (en) | Processing device, output device, synchronization control system, and these control methods, as well as programs | |
JP4214908B2 (en) | Educational performance display system | |
JP6159581B2 (en) | Online karaoke system using sound collecting microphone | |
JP2019050543A (en) | Information processing device and program | |
JP2003085068A (en) | Live information providing server, information communication terminal, live information providing system and live information providing method | |
JP5210788B2 (en) | Speech signal communication system, speech synthesizer, speech synthesis processing method, speech synthesis processing program, and recording medium storing the program | |
JP2024001600A (en) | Reproducing device, reproducing method, and reproducing program | |
JP5605458B2 (en) | Mixing relay device and mixing system |