JP2005128296A - オーディオ・ミキサー装置 - Google Patents

オーディオ・ミキサー装置 Download PDF

Info

Publication number
JP2005128296A
JP2005128296A JP2003364511A JP2003364511A JP2005128296A JP 2005128296 A JP2005128296 A JP 2005128296A JP 2003364511 A JP2003364511 A JP 2003364511A JP 2003364511 A JP2003364511 A JP 2003364511A JP 2005128296 A JP2005128296 A JP 2005128296A
Authority
JP
Japan
Prior art keywords
performance
time
signal
audio mixer
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003364511A
Other languages
English (en)
Other versions
JP4314964B2 (ja
Inventor
Yuukai Sakamoto
悠介 坂元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2003364511A priority Critical patent/JP4314964B2/ja
Publication of JP2005128296A publication Critical patent/JP2005128296A/ja
Application granted granted Critical
Publication of JP4314964B2 publication Critical patent/JP4314964B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

【課題】 複数の演奏者が行う演奏による楽音信号を、小規模な構成で、同期させてミキシングできるオーディオ・ミキサー装置を提供する。
【解決手段】 通信時間測定部12は、各オーディオ・ミキサーB2,C3に対し測定信号を送信し、これに応答する信号を受信することにより、各オーディオ・ミキサーB2,C3との間の通信遅延時間を測定する。演奏開始信号送信部13は、測定された通信遅延時間に応じて、各オーディオ・ミキサーB2,C3に応じた演奏開始信号を作成し、各オーディオ・ミキサーB2,C3に送信する。各オーディオ・ミキサーB2,C3は、演奏開始信号に基づいて、演奏開始を促すための報知音を発生し、電波時計24による時刻に従い、正確な演奏操作を促すためのテンポに従った報知音を発生する。
【選択図】図1

Description

本発明は、互いに離れた場所にいる複数の演奏者による合奏をミキシングして聴取したり録音したりするオーディオ・ミキサー装置に関するものである。
楽器演奏において、複数の演奏者が各自の演奏パートを決めて合奏する場合がある、(特許文献1参照)。このような合奏は、バンド演奏あるいはセッションと呼ばれることもある。
全ての演奏者が同じ場所にいる場合、合図と共に演奏を開始し、相手の演奏操作を見ながら合奏をすることが容易である。この合奏は、音として直接に聴取されたり、音響装置や放送を通して聴取されたりレコーディングされたりする。
しかし、それぞれの演奏者が、遠隔地にいて、お互いの演奏操作がわからない場合は、合奏が困難である。
そのため、例えば、合奏する相手の場所にビデオカメラやマイクロフォンをセッティングし、モニターテレビジョンやスピーカで合奏する相手の演奏操作がわかるようにする。このような大がかりなシステムであれば、各演奏者の演奏による楽音信号を、ミキシングすることにより、各演奏者から離れた遠隔の地でも合奏を聴取したり、レコーディング(録音)したりすることが可能となる。
しかし、実施するには多大な費用と設置作業が必要であり、一般のユーザには向かない。
一方、聴取あるいは記録する側からタイムコード等の時刻同期信号を演奏者の側に継続的に送信することも考えられる。各演奏者は、この時刻同期信号を基準にして演奏を開始し、テンポに従った演奏ができる。
しかし、演奏中、時刻同期信号を遠隔地にいる演奏者に送信しなければならない。しかも、この時刻同期信号を送信したとしても、演奏する場所との距離差等に応じて通信遅延時間に差が生じ、受信した互いの演奏にずれが生じたまま楽音信号をミキシングすることになる。その結果、聴感上、違和感が生じる場合がある。
特開平11−219174号公報
本発明は、上述した問題点を解決するためになされたもので、複数の演奏者が行う演奏による楽音信号を、各演奏者がいる各演奏情報発信装置との間の通信遅延時間に差があっても、小規模な構成で、互いに同期した楽音信号としてミキシングできるオーディオ・ミキサー装置を提供することを目的とするものである。
本発明は、請求項1に記載の発明においては、複数の演奏情報発信装置に通信ネットワークを介して接続され、該各演奏情報発信装置における各演奏者の演奏による楽音信号をミキシングするオーディオ・ミキサー装置であって、前記各演奏情報発信装置から送信された演奏情報を受信し、該演奏情報に基づいて楽音信号をミキシングする楽音信号受信・ミキシング手段と、前記各演奏情報発信装置との間の通信遅延時間に応じた演奏開始信号を、前記各演奏情報発信装置に送信することにより、前記各演奏情報発信装置に対し、該演奏開始信号に基づいて演奏開始タイミングを設定させ、前記各演奏者に対して演奏開始を促す報知をさせる、演奏開始信号送信手段を有するものである。
上述した演奏情報は、波形で表現される楽音信号である。または、MIDIデータなど演奏操作等をコードデータで表現する演奏データである。演奏データの場合は、音源部に入力されて楽音信号が再生される。
上述した演奏開始信号送信手段は、前記各演奏情報発信装置に対し、前記各演奏情報発信装置の設置場所における、設定させた演奏開始タイミングからの時間経過に従って、前記演奏者に対して正確なテンポに従った演奏操作を促す報知をさせてもよい。
上述したオーディオ・ミキサー装置は、より具体的には、前記各演奏情報発信装置に対し、測定信号を送信し該測定信号の応答信号を受信することにより、当該オーディオ・ミキサー装置と前記各演奏情報発信装置との間の通信遅延時間を測定する通信遅延時間測定手段を有し、前記各演奏情報発信装置は、前記測定信号を受信して応答信号を返信する応答信号返信手段を有する。
ここで、上述した演奏開始信号は、前記各演奏情報発信装置と前記オーディオ・ミキサー装置との間の通信遅延時間の相対時間差に応じて該相対時間差が相殺されるように、例えば、前記オーディオ・ミキサー装置から前記各演奏発信装置へ異なる時刻に送信され、前記各演奏情報発信装置における報知音発生手段は、演奏開始信号受信部により受信された演奏開始信号に基づいて、前記演奏の開始タイミングを設定するとともに、演奏開始を促す報知をさせる。
あるいは上述した演奏開始信号は、前記各演奏情報発信装置における現地時刻の時差を加えた演奏開始時刻から前記通信遅延時間を差し引いた時刻がわかるような情報を含む信号としてもよい。
この場合、前記各演奏情報発信装置は、前記演奏開始信号に含まれた情報に基づいて、現地時刻の時差を加えた演奏開始時刻よりも前記通信遅延時間だけ早い時刻において、演奏開始タイミングを設定するとともに、演奏開始を促す報知をさせればよい。
本発明は、遠隔地にいる複数の演奏者が行う演奏による楽音信号を、各演奏情報の発信地との間に通信遅延時間差があっても、小規模な構成で、互いに同期した合奏としてミキシングできるという効果がある。
演奏開始信号を一度送信すれば、その後は、各演奏場所での時刻に基づいて演奏進行ができるので、演奏中に、聴取側からタイムコードなどの同期制御信号を送らなくても常に同期した演奏を聴取したり録音したりできるという効果がある。
図1は、本発明の実施の一形態を説明するためのシステム構成図である。
図中、1はオーディオ・ミキサーA、2はオーディオ・ミキサーB、3はオーディオ・ミキサーCであって、互いに離れた遠隔地、例えば、浜松、福岡、ロンドンに設置されていて、ネットワーク4により相互に接続されることにより、全体として遠隔地間の合奏システムを構成している。
ネットワークがインターネット接続されるものである場合は、IP(Internet Protocol)に従ったパケット転送形式で演奏情報、その他、測定信号、応答信号、演奏開始信号等が伝送される。
オーディオ・ミキサーB2,オーディオ・ミキサーC3は、演奏情報の発信側であって、演奏者によりリアルタイムで演奏された楽器の楽音信号、あるいは、楽器から出力されるMIDIデータなどの楽音データを、演奏情報として発信する。各オーディオ・ミキサーB2,C3においては、複数の演奏者がいる場合がある。この場合は、通常、各演奏者の演奏による演奏情報をミキシングしたものを演奏情報として送信する。
オーディオ・ミキサーA1は、複数の演奏情報の受け入れ側であって、各オーディオ・ミキサーB2,オーディオ・ミキサーC3において、演奏者により演奏された楽音信号をミキシングし、これを聴取したり録音したりする。
図示の例では、オーディオ・ミキサーA1がマスターとなり、オーディオ・ミキサーB2,オーディオ・ミキサーC3を制御する。
オーディオ・ミキサーB2は、演奏情報送信部21,通信遅延時間測定応答部22,演奏開始信号受信部23,電波時計23,報知音発生部25を有する。オーディオ・ミキサーC3も同様であるが、電波時計34のみを図示している。
オーディオ・ミキサーA1は、楽音信号受信・ミキシング部11,通信遅延時間測定部12,演奏開始信号送信部13,電波時計14を有する。
オーディオ・ミキサーB2において、楽音信号送信部21は、演奏される電子楽器から直接的に出力される楽音波形信号や、演奏音やボーカル音をマイクロフォンで拾って得られる楽音信号、または、電子楽器から出力されるMIDIデータ等の演奏データ、を演奏情報として送信する。
通信遅延時間測定応答部22は、後述するオーディオ・ミキサーA1から送信された測定信号を受信し、返信信号を送信する。
演奏開始信号受信部23は、オーディオ・ミキサーA1から演奏開始信号を受信する。
電波時計24は、このオーディオ・ミキサーB2における正確なテンポおよび正確な時刻を、煩雑な時刻合わせをすることなく得るため(メンテナンスフリー)に用いる計時手段の一例である。
日本においては、日本標準時(JST)の時刻が標準電波で国内の2カ所から送信されており、これを受信する。
外国においても、多くの国で各国の標準時を標準電波で送信しており、これを受信する。
報知音発生部25は、演奏開始信号受信部23により受信された演奏開始信号に基づいて、演奏開始タイミングを設定し、演奏開始を促すための報知音を発生して演奏者に知らせるとともに、この演奏開始タイミングから電波時計24による時刻に従って、演奏者に対して正確な演奏操作を促すための、所定のテンポに従った報知音を発生する。
その結果、演奏者は、演奏開始を知らせる報知音を合図として、自分のパートを演奏し、演奏継続中は、所定のテンポに従い、好ましくはさらに所定の拍子にも従い強拍と弱拍とで報知音を異ならせるなどして、正確な時間に基づいて発生される報知音を聞きながら演奏を続けることができる。ここで、報知音は、メトロノームのようなクリック音の他に、例えば、合成音声でもよい。
上述した説明では、演奏開始を促す報知、正確なテンポに従った演奏操作を促す報知は、報知音を用いた可聴表示で実現したが、これとは別にあるいは同時に、ランプの点灯やディスプレイ上の画像表示等を用いた可視表示で実現することもできる。
オーディオ・ミキサーC3についても同様であり、説明を省略する。
オーディオ・ミキサーA1において、楽音信号受信・ミキシング部11は、上述した少なくとも2カ所の演奏発信装置である、オーディオ・ミキサーB2,C3からそれぞれ送信された演奏情報を受信し、この演奏情報に基づいて複数の楽音信号を再生する。なお、演奏情報が演奏データであれば、音源部15において演奏データに応じて楽音信号を再生しミキシングに用いる。
再生された複数の楽音信号はミキシング(混合)され、放音されて聴取者がこれを聞いたり、放送されたり、録音されたりする。録音時にも、ミキシングされたモニターとして聴取する。
通信時間測定部12は、各オーディオ・ミキサーB2,C3に対し、測定信号を送信し、この測定信号に応答する信号を受信することにより、このオーディオ・ミキサーA1と各オーディオ・ミキサーB2,C3との間の通信遅延時間を測定する。
演奏開始信号送信部13は、通信遅延時間測定部12により測定されたこのオーディオ・ミキサーA1と上述した各オーディオ・ミキサーB2,C3との間の通信遅延時間に応じて、各オーディオ・ミキサーB2,C3に応じた演奏開始信号を作成し、この演奏開始信号を各オーディオ・ミキサーB2,C3に送信する。
図2は、図1に示したオーディオ・ミキサーA1,B2,C3に共通するハードウェア構成の一例を示すブロック図である。
オーディオ・ミキサーの機能は、楽音信号をディジタル信号に変換して実現される。
以下の説明では、最初に、オーディオ・ミキサーB2,C3として用いるときの各部の機能について説明する。
図中、CPU(Central Processing Unit)42は、ROM(Read Only Memory)43に格納された、オーディオ・ミキサーの制御プログラムや各種プリセットデータを用い、RAM(Random Access Memory)44をワークエリアとして、装置全体の制御動作を行う。
CPU42は、バス41を介し、パネル上の各種の操作子(ダイアル、フェーダ、ボタンスイッチ等のパネルスイッチ)45の操作イベントを検出して、複数のオーディオ信号制御パラメータを、ミキシングDSP(Digital Signal Processor)47に設定することにより、ミキシング入力チャンネルの選択や、各ミキシング入力チャンネルの音量レベル等を制御する。
また、オーディオ信号制御パラメータを音源部57に設定することにより、音源の制御をする。
さらにまた、オーディオ信号制御パラメータをエフェクト部58に設定することにより、ミキシングDSP47から出力される楽音信号のエフェクト制御をした楽音信号を送信することができる。
従って、オーディオ・ミキサーの制御プログラムは、図1に示した各部の機能を実現させるため、CPU42を制御することにより、演奏情報を送信させるステップ、通信遅延時間測定に応答させるステップ、演奏開始信号を受信させるステップ、報知音を発生させるステップを実行する。
ディスプレイ46は、パネル上に設けられた液晶ディスプレイあるいは発光ダイオード等のランプである。液晶ディスプレイには、メニューを表示したり、操作子によってこれから設定されたり、現に設定されたりしているオーディオ信号制御パラメータの設定状況を表示したりする。楽譜を表示させてもよい。
なお、演奏開始を促す報知、正確なテンポに従った演奏操作を促す報知のために、ランプを点灯したり、ディスプレイ上の画像表示(例えば、仮想的なランプ表示あるいは、指揮者のキャラクタ画像を用いたアニメーション)で報知したりすることができる。拍子に応じて、強拍と弱拍とでランプの明るさを変えたり、指揮者の身振りを変えたりすることもできる。
ミキシングDSP47には、CPU42により、入力チャンネルの選択、ミキシング信号経路の設定等を含む、オーディオ信号制御パラメータの値等が設定される。ミキシングDSP47は、オーディオ信号入力インターフェース48(アナログ/ディジタル変換器を含む)を介して、マイクロフォンA49,電子楽器A50,マイクロフォンB51から入力されるアナログ波形信号の楽音信号に対してミキシング処理をする。
ミキシングした楽音信号をモニターする場合は、オーディオ信号出力インターフェース52(ディジタル/アナログ変換器を含む)、アンプ53を介して、スピーカ54から出力する。ミキシングした楽音信号は、また、演奏情報としてネットワークインターフェース55を介してオーディオ・ミキサーA1に送信される。
MIDIインターフェース56を介して電子楽器B57からMIDIデータを入力し、これを演奏情報としてネットワークインターフェース55を介し、オーディオ・ミキサーA1に送信することもできる。
電波時計60は、このオーディオ・ミキサーが設置されている現地の時刻情報を計時して、CPU42の処理動作の時刻基準(内部時計)を較正する。図示の例では、バス41に接続されているが、図示しないインターフェースで外部接続されたものでもよい。
音源部58は、ネットワークインターフェース55から受信した演奏開始信号に基づいて演奏開始報知音を生成し、ミキシングDSP47を介してスピーカ54から出力させる。
音源部58は、また、上述した演奏開始信号と電波時計60から出力される計時信号に基づいて、メトロノームのように、テンポを知らせるクリック音を発生させ、スピーカ54から出力させる。その際、エフェクト部59でクリック音に効果を付加することもできる。
なお、報知音は、音源部58を用いずに、電子機器一般で用いられているようなサウンダ等の発音体から出力させてもよい。
レコーディングHDD(Hard Disk Drive)61は、ネットワークインターフェース55を介しオーディオ・ミキサーA1に送信する演奏情報を録音することができる。フラッシュメモリ等、その他の記録媒体に録音してもよい。
ROM43に制御プログラムが記憶されていない場合、ハード磁気ディスクに制御プログラムを記憶させておき、それをRAM44に読み込むことができる。
次に、オーディオ・ミキサーA1として用いるときの各部の機能について説明する。
オーディオ・ミキサーの制御プログラムは、図1に示した各部の機能を実現させるため、CPU42を制御することにより、楽音信号を受信させミキシングさせるステップ、通信遅延時間を測定させるステップ、演奏開始信号を送信させるステップを実行する。
ネットワークインターフェース55を介して受信された、オーディオ・ミキサーB2、C3から送信された演奏情報は、この演奏情報が楽音信号であるときには、ミキシングDSP47において、オーディオ信号の制御パラメータに応じてミキシングされ、オーディオ信号出力インターフェース52を介して、スピーカ54から出力される。
その際、オーディオ信号制御パラメータをエフェクト部58に設定することにより、受信された楽音信号のエフェクト制御をして、ミキシングDSP(Digital Signal Processor)47に出力して、スピーカ54から出力させる。
上述した演奏信号が、演奏データである場合には、音源部58に入力されて楽音信号を発生させ、これをエフェクト部59においてエフェクトを付加し、ミキシングDSP47に出力する。
上述した演奏情報は、レコーディングHDD61に記録できる。演奏データである場合は、音源部58で楽音信号を再生し、必要に応じてエフェクト部59において効果を加して録音する。
なお、録音する場合は、通常、ミキシング後の楽音信号を録音する。しかし、ミキシングする前の、各オーディオ・ミキサーB2,C3別の楽音信号を別トラックに録音してもよい。MIDIデータで受信した場合には、MIDIデータを所定のトラックに録音してもよい。
また、演奏情報を発信する各オーディオ・ミキサーB2,C3の側において、複数の演奏者が演奏している場合に、演奏者別にそれぞれチャンネルを区別した演奏情報として送信することができる。このような場合は、ミキシングする前の各チャンネルの演奏情報を別のトラックに録音することもできる。
図2に示した構成では、ミキシングDSP47が内蔵されている。これに代えて、ミキシングDSP47を外部装置としてオーディオ・ミキサーの操作部(コンソールパネル部)から独立させてもよい。また、逆に、CPU42自体がミキシング機能をソフトウェアプログラムで実現することも可能である。
オーディオ・ミキサーA1,B2,C3は、図2に示したような共通の構成を有し、設定操作によって、演奏情報の発信側になったり、楽音信号の聴取または録音側になったりする。しかし、発信側、聴取または録音側の専用装置であってもよい。
図3は、通信遅延時間測定用の測定信号および返信信号、演奏開始信号を説明するためのシーケンス図である。
図3(a)は第1の具体例を示す。
まず、オーディオ・ミキサーA1から遅延時間確認信号として、例えば、ICMP(Internet Control Message Protocol)に規定された「ping」コマンドをオーディオ・ミキサーB2,C3の各IPアドレスを指定して送信する。
オーディオ・ミキサーB2,C3からは、それぞれ、受け取った「ping」コマンドのパケットを返信する。
その結果、オーディオ・ミキサーA1においては、コマンドを送信してから返信を受信するまでに要した往復時間の半分の値として、通信遅延時間を知ることができる。
例えば、オーディオ・ミキサーB2との間の通信遅延時間はt1であり、オーディオ・ミキサーC3との間の通信遅延時間はt2であることがわかる。
次に、オーディオ・ミキサーA1がマスターとなって、演奏を開始させるときは、演奏開始信号をオーディオ・ミキサーB2,C3に送信する。その際、所定時間(t0)を設定(図示の例ではt0=0)し、聴取あるいは録音したい演奏開始時刻(例えば、現在時刻から所定秒経過後)よりも、オーディオ・ミキサーB2に対しては、[所定時間(t0)+往復通信遅延時間(t1×2)]だけ早く送信し、オーディオ・ミキサーC3に対しては、[所定時間(t0)+往復通信遅延時間(t2×2)]だけ早く送信する。
通信遅延時間t1と通信遅延時間t2との相対時間差をなくすることが、各オーディオ・ミキサーB2,C3から送信された演奏情報を同期再生するのに必要な要件である。
オーディオ・ミキサーB2においては、演奏開始信号を受信すると、所定時間(t0)経過後(t0=0のときは、直ちに)、演奏開始を知らせるクリック音を発生して、演奏者に演奏の開始を促す。以降は、電波時計24に従ったクリック音を発生することにより、演奏者に所定のテンポを知らせる。
オーディオ・ミキサーC3においても、同様にして、演奏者に演奏開始および所定のテンポを知らせる。
演奏者は、演奏開始のクリック音を合図として演奏を開始し、テンポを報知するクリック音に従って演奏を継続し、リアルタイムで楽音信号あるいは演奏データである演奏情報を継続的にオーディオ・ミキサーA1に送信する。それぞれからの演奏情報が、オーディオ・ミキサーA1に到達したときから所定時間(t0)経過後に、聴取あるいは録音する演奏開始時刻になる。
図3(b)を参照して第2の具体例を示す。
オーディオ・ミキサーA1から遅延時間確認信号として、「ping」コマンドを送信することは、図3(a)の場合と同じである。
次に、オーディオ・ミキサーB2,C3から受信した「ping」コマンドのパケットを返信する際に、パケットに現地の時刻情報(オーディオ・ミキサーA1側で現地の時刻情報がわかるような国や地域を示す情報である場合を含む)を入れて返信する。この時刻情報は、電波時計24,34において計時された時刻である。すなわち、オーディオ・ミキサーB2は福岡にあるので、日本標準時(JST)を用いる。これに対し、オーディオ・ミキサーC3は、ロンドンにあるので、グリニッジ平均時(GMT)である。GMTは、JSTを基準にすれば、9時間の遅れがある。
その結果、オーディオ・ミキサーA1においては、通信遅延時間t1,t2に加えて、オーディオ・ミキサーB2,C3の設置場所における正確な現地時刻を知る。従って、オーディオ・ミキサーA1の設置場所での時刻を参照することにより、演奏情報発信地との時差がわかる。
次に、オーディオ・ミキサーA1がマスターとなり、演奏を開始させるときに送信する演奏開始信号として、オーディオ・ミキサーA1の設置場所での聴取あるいは録音する演奏開始時刻に時差を加えた、現地時間に換算した演奏開始時刻を指示する情報と、通信遅延時間t1(オーディオ・ミキサーC3に対してはt2)を指示する情報とを含んだものを、オーディオ・ミキサーB2,C3に送信する。
あるいは、現地時間に換算した演奏開始時刻から通信遅延時間t1を減算した結果得られる、現地時間での演奏開始時刻(演奏開始タイミングの時刻)自体を指示する情報を通知しても同じである。
すなわち、聴取あるいは録音する演奏開始時刻に、演奏情報発信地の時差と通信遅延時間とを考慮して、通信遅延時間t1だけ早い演奏開始時刻を、現地時間で通知している。
オーディオ・ミキサーB2においては、演奏開始信号を受信し、これに含まれる情報に基づいて、通信遅延時間t1を考慮した演奏開始時刻を、時差を加えた現地時間で知り、この現地時間になったときに、演奏開始タイミングを知らせるクリック音を発生し、演奏者に演奏の開始を促す。
以降は、図3(a)と同様に、電波時計24を用い、演奏者にテンポを知らせるクリック音を発生する。
オーディオ・ミキサーC3においても同様である。
演奏者は、クリック音にタイミングを合わせて演奏をし、オーディオ・ミキサーA1に送信する。オーディオ・ミキサーB2,C3のそれぞれからの演奏情報は、聴取あるいは録音する演奏開始時刻にオーディオ・ミキサーA1に到達することになる。
この方式によれば、時差を知っておく必要があるが、演奏開始時刻を正確に任意の時刻に設定することができる。
この方式を実行するには、オーディオ・ミキサーA1においても、電波時計14のような正確な時計を備える必要がある。演奏開始時刻が一致するように、演奏を発信するオーディオ・ミキサーB2,C3における現地時刻との時差を加えて、演奏開始時刻を決定し、演奏開始信号に含めて送信させている。
図1に示した通信遅延時間測定部12を、演奏情報を発信するオーディオ・ミキサーB2,C3の側に設け、通信遅延時間測定応答部23を、オーディオ・ミキサーA1の側に設けてもよい。この場合、測定された通信遅延時間をオーディオ・ミキサーA1に送信すれば、以後は、図3(b)と同様な手順を踏めばよい。
他の具体化手段として、オーディオ・ミキサーA1からは、オーディオ・ミキサーB2,C3に対し、同時に演奏開始信号を送信する方法がある。
各オーディオ・ミキサーB2,C3においては、演奏開始信号を受信した時刻から所定時間(t0)遅れた時刻から往復通信遅延時間(t1×2),(t2×2)だけ早くした時刻を、現地での演奏開始タイミングとして、演奏開始を報知してもよい。
結果として、オーディオ・ミキサーA1においては、演奏開始信号を送信した時刻から所定時間(t0)遅れた時刻が演奏開始タイミングとなる。
なお、通信遅延時間測定の実行制御をするサーバ装置を、オーディオ・ミキサーA1,B2,C3とは別に設置してもよい。各オーディオ・ミキサーA1,B2,C3に対し、上述した通信遅延時間測定を実行させる。また、演奏情報も、このサーバ装置を中継して送信されるようにしてもよい。
図4は、図1に示したオーディオ・ミキサーの動作を説明するためのフローチャートである。図4(a)は、オーディオ・ミキサーA1、図4(b)はオーディオ・ミキサーB2,C3のフローチャートである。
図5は、図4(a)に示した発音処理のステップを説明するフローチャートである。
図4のS71において、セッティングの変更があれば、一旦、S72に処理を進め、演奏情報発信側となるオーディオ・ミキサーの追加や削除を、そのID番号およびIPアドレス等を入力することにより行う。以下の説明では、図1に示したように、オーディオ・ミキサーB2,C3が接続されているものとして説明する。
次に、演奏する楽曲を選択し、スコアあるいはパート譜等の楽譜、テンポ、拍子等の情報を、オーディオ・ミキサーB2,C3に予め送信して通知する。
楽譜は、MIDIデータなどの演奏データでもよい。紙楽譜が各演奏者の手元にある場合は、曲目だけを通知すればよい。テンポや拍子も楽譜に記載された通りで演奏するのであれば通知する必要がない。
S73において、スタートボタンを押す等の操作を検出することにより、演奏開始準備が完了したかを判定し、そうであればS74に処理を進め、そうでなければS71に処理を戻す。
S74において、オーディオ・ミキサーB,Cに、遅延時間確認信号「ping」を送信し、返信された信号を受信する。往復時間の半分を通信遅延時間t1,t2とする。
S75において、演奏開始ボタンの操作を検出するなどして演奏開始を判定する。以下の動作は、図3(a)の手順をとる場合について説明する。
演奏を開始するときはS76に処理を進め、基準となる演奏開始時刻(例:現在時刻から5秒後)を設定し、オーディオ・ミキサーB2に対し、(5−t1×2)秒後に演奏開始信号を送信する。一方、オーディオ・ミキサーCに対し、(5−t2×2)秒後に演奏開始信号を送信する。
演奏情報の受信準備をし、聴取者側での受信開始の合図音「4,3,2,1,0」を発音して出力する。
S77において、演奏情報(楽音信号または演奏データ)を受信したか否かを判定し、受信したときにはS78に処理を進め、発音処理をさせる。そうでなければ、S77の検出処理を繰り返す。
図5を参照して発音処理を説明する。
発音処理には、固定遅延を許容するバッファモードとバッファを用いないリアルタイムモードが用意されている。インターネットでは、遅延補償がないので、通信遅延の変動が大きい。そのため、リアルタイムモードではうまく動作できない場合がある。このような場合に、バッファモードを用いる。ユーザの選択操作によっていずれのモードにするかを選択しておく。通信遅延時間測定を常時行うことにより、通信遅延時間の変動が大きいときにはバッファモードを自動選択するようにしてもよい。
S110において、バッファ時間を設けるか否かを、予めバッファモードに設定されていたか否かによって判定する。
バッファモードに設定されていたときは、S111に処理を進め、各オーディオ・ミキサーB2,C3側から送信された演奏情報を、バッファ(メモリ)に一時記憶することにより、演奏情報に基づいた発音時間を所定バッファ時間(例:30秒)だけ遅らせる。バッファからの演奏情報の読み出しは、オーディオ・ミキサーB2,C3からの各演奏情報に含まれたタイムコードに基づいて、30秒後に読み出すようにする。
このような、30秒遅れの発音処理と、新たな演奏情報を受信してバッファに蓄積する処理とを同時並行して行う。バッファから読み出された楽音信号または演奏データに基づき、30秒遅れの発音を継続的に行う。演奏情報が演奏データであるときには、この演奏データを音源に入力し、楽音信号を再生して発音させる。
バッファ時間を設けることにより、インターネットを介した受信時に遅延時間の変動があっても、聴取者は、音の抜けや飛びのない楽音信号を聞くことができる。
ただし、バッファモードにした場合は、オーディオ・ミキサーB2,C3に対し、タイムコードを含む演奏情報を送信させる必要がある。タイムコードには、MIDIタイムコードやSMPTEタイムコードがあり、曲頭からの絶対時間情報を示す情報である。
一方、S110においてバッファモードでないときは、S112に処理を進め、オーディオ・ミキサーB2,C3から発信されて受信された演奏情報(楽音信号または演奏データ)に基づいて、着順で順次、発音処理をして、図4(a)のS79に処理を戻す。演奏データにタイムコードが含まれていてもよいが、これは利用しなくてよい。
再び、図4(a)に戻って説明する。
S79において、演奏終了であるか否かを判定し、演奏終了でなければS77に処理を戻し、演奏を継続する。一方、演奏終了であればS80に処理を進め、発音終了処理を行う。演奏終了とするのは、マスターであるオーディオ・ミキサーA1の聴取者が終了ボタン操作をしたときである。S80における発音終了処理においては、スレーブであるオーディオ・ミキサーB2,C3に演奏終了信号を送信する。また、聴取者が、合奏を終了させたいときには、終了ボタンを操作する。
なお、演奏中に、オーディオ・ミキサーB2,C3の演奏者が演奏終了を要求するコマンドをオーディオ・ミキサーA1に送信し、聴取者がこれに応答して、終了ボタン操作をするようにしてもよい。
S81において、聴取者により合奏を終了する操作がなされたか否かを判定し、そうであれば終了し、そうでなければS71に処理を戻し、演奏を再開できるようにする。
図4(b)を参照して、オーディオ・ミキサーB2,C3側の動作を説明する。
S91において、合奏する楽曲のスコア,テンポ,拍子等の情報をオーディオ・ミキサーA1から受信する。あるいは、演奏者により別途入力させる。
S92において、遅延時間確認信号「ping」を受信したときは、一旦、S93に処理を進め、「ping」の返信信号をすぐに送信する。それとともに、演奏者に演奏開始準備を促す「ブザー音」を発音する。
S94において、演奏開始信号を受信したときには、S95に処理を進め、直ちに演奏開始のクリック音を発音して演奏開始の合図とする。演奏開始信号を受信しないときは、S91に処理を戻す。
S96において、オーディオ・ミキサーB2,あるいは、オーディオ・ミキサーC3のそれぞれにおいて、複数の演奏者がいて演奏する場合には、各演奏者の演奏した楽音信号をミキシングした楽音信号を、順次、マスターであるオーディオ・ミキサーA1に送信する。楽音信号ではなく、MIDIデータを入力する場合も同様である。
あるいは、各演奏者の演奏した楽音信号は、異なるチャンネルに割り当てて、チャンネル番号を付加して、区別できる形式で送信してもよい。各演奏者がMIDIデータを入力する場合も同様である。
S97において、電波時計の計時機能に基づき、基準時間情報を修正し、その結果、演奏テンポのタイミングを修正する。従って、各オーディオ・ミキサーB2,C3の設置された現地での正確な時刻が補償されるとともに、時間の進遅も高精度で較正できる。
S98において、演奏テンポに従い、例えば、1拍毎にクリック音(メトロノーム音)を発音することにより、正確な演奏テンポに従った演奏操作を促す。
S99において、演奏終了であるか否かを判定し、演奏終了でなければ、S96に処理を戻して演奏を継続する。演奏終了は、オーディオ・ミキサーA1が演奏終了信号を送信したことを検出して判定する。S99の前に、演奏者が演奏終了を要求するボタンを操作して、演奏終了要求コマンドをオーディオ・ミキサーA1に送信するステップを設けてもよい。
一方、演奏終了であればS100に処理を進め、演奏終了処理を行う。演奏者が、合奏を終了させたいときには、終了ボタンを操作する。S101において、演奏者が終了ボタンを操作したことを検出して、合奏を終了する。検出していないときは、S91に処理を戻し、演奏を再開できるように待機する。
上述した説明では、オーディオ・ミキサーA1,B2、C3…が、インターネットに接続できる通信機能を有し、遠隔地にある他のオーディオ・ミキサーとの間で、演奏開始信号や演奏情報を送受信するものとした。このような構成に代えて、それぞれ、各オーディオ・オーディオ・ミキサーA1,B2、C3に、上述した通信機能を備えるパーソナルコンピュータを接続し、このパーソナルコンピュータに上述した各種の信号や演奏情報の送受信を行わせるようにしてもよい。
また、オーディオ・ミキサーA1,B2、C3は、ミキシング機能を実現するソフトウェアプログラムがインストールされ、かつ、外部機器からオーディオ信号やMIDIデータ等の演奏情報の入出力が可能なパーソナルコンピュータで構成されてもよい。
上述した説明では、ネットワークとして、IPプロトコルが規定されているインターネットを利用している。インターネットへのアクセス手段は、固定電話回線、携帯電話回線、LAN(Local Area Network)など、何でもよい。また、LAN上にオーディオ・ミキサーA1,B2、C3…が接続されて配置されていてもよい。
また、上述した通信遅延時間測定信号、演奏開始信号、演奏情報等が転送できればよいので、特にIPプロトコルを用いなくても、専用のプロトコルを構築すれば、任意の通信回線を利用して転送させることができる。
上述した説明において、電波時計は、正確なテンポ、具体例によっては正確な時刻をメンテナンスフリーで得るために用いている。GPS(全地球測位システム:Global Positioning Systems)を用いても、正確な時間および時刻を知ることができるので、電波時計の代わりにGPSを用いてもよい。
また、誤差や時刻合わせの手数が問題にならないときは、水晶時計を用いるだけでもよい。
上述した説明では、聴取側のオーディオ・ミキサーA1には、マイクロフォン、電子楽器等の演奏装置が接続されていないものとした。これに代えて、聴取側のオーディオ・ミキサーA1においても、第3の演奏者、あるいは、聴取者自身が、通信遅延時間ゼロとして、演奏情報を入力してミキシングするようにしてもよい。
上述した説明では、既存のオーディオ・ミキサーあるいはパーソナルコンピュータを前提として本発明の実施の一形態を説明した。これに代えて、既存のカラオケ装置や電子楽器等、他の装置において本発明の機能を実現するようにしてもよい。
本発明の実施の一形態を説明するためのシステム構成図である。 図1に示したオーディオ・ミキサーに共通するハードウェア構成の一例を示すブロック図である。 通信遅延時間測定用の測定信号および応答信号、演奏開始信号を説明するためのシーケンス図である。 図1に示したオーディオ・ミキサーの動作を説明するためのフローチャートである。 図4に示した発音処理のステップの詳細を示すフローチャートである。
符号の説明
1…オーディオ・ミキサーA、2…オーディオ・ミキサーB、3…オーディオ・ミキサーC、11…楽音信号受信・ミキシング部、12…通信遅延時間測定部、13…演奏開始信号送信部、22…通信遅延時間測定応答部、23…演奏開始信号受信部、14,24,34…電波時計、25…報知音発生部

Claims (1)

  1. 複数の演奏情報発信装置に通信ネットワークを介して接続され、該各演奏情報発信装置における各演奏者の演奏による楽音信号をミキシングするオーディオ・ミキサー装置であって、
    前記各演奏情報発信装置から送信された演奏情報を受信し、該演奏情報に基づいて楽音信号をミキシングする楽音信号受信・ミキシング手段と、
    前記各演奏情報発信装置との間の通信遅延時間に応じた演奏開始信号を、前記各演奏情報発信装置に送信することにより、前記各演奏情報発信装置に対し、該演奏開始信号に基づいて演奏開始タイミングを設定させ、前記各演奏者に対して演奏開始を促す報知をさせる、演奏開始信号送信手段を有する、
    ことを特徴とするオーディオ・ミキサー装置。
JP2003364511A 2003-10-24 2003-10-24 合奏システム Expired - Fee Related JP4314964B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003364511A JP4314964B2 (ja) 2003-10-24 2003-10-24 合奏システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003364511A JP4314964B2 (ja) 2003-10-24 2003-10-24 合奏システム

Publications (2)

Publication Number Publication Date
JP2005128296A true JP2005128296A (ja) 2005-05-19
JP4314964B2 JP4314964B2 (ja) 2009-08-19

Family

ID=34643469

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003364511A Expired - Fee Related JP4314964B2 (ja) 2003-10-24 2003-10-24 合奏システム

Country Status (1)

Country Link
JP (1) JP4314964B2 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006337483A (ja) * 2005-05-31 2006-12-14 Yamaha Corp 電子楽器
JP2007093820A (ja) * 2005-09-28 2007-04-12 Yamaha Corp 合奏システム
JP2007142899A (ja) * 2005-11-18 2007-06-07 Yamaha Corp ドットマトリクス表示器を有するディジタルミキサ
JP2007178860A (ja) * 2005-12-28 2007-07-12 Nippon Telegr & Teleph Corp <Ntt> 遠隔地における合奏方法及びそれに用いる電子楽器及びそのプログラム
JP2013542480A (ja) * 2010-08-23 2013-11-21 ザ パブリック レコード,インコーポレイテッド 一般人タレントを見出し、展開するバーチャルスタジオ
JP2014098916A (ja) * 2007-12-12 2014-05-29 Immersion Corp 触覚同期信号を分配するための方法及び装置
CN103870234A (zh) * 2014-02-27 2014-06-18 北京六间房科技有限公司 一种混音方法及其装置
JP2014126601A (ja) * 2012-12-25 2014-07-07 Brother Ind Ltd カラオケ装置
JP2015022176A (ja) * 2013-07-19 2015-02-02 株式会社第一興商 通信デュエットの遅延判定方式に特徴を有するカラオケシステム
JP2015138040A (ja) * 2014-01-20 2015-07-30 ヤマハ株式会社 音楽セッションシステム、方法及び端末装置
JP2016507949A (ja) * 2012-12-21 2016-03-10 ジャムハブ コーポレーションJamhub Corporation トラックの取り込み及び転送
US20170231027A1 (en) * 2014-10-17 2017-08-10 Mikme Gmbh Synchronous recording of audio using wireless data transmission
JP2021028649A (ja) * 2019-08-09 2021-02-25 株式会社Nttドコモ 情報処理装置及びプログラム
KR20210030684A (ko) * 2019-09-10 2021-03-18 이세홍 무선통신 기반의 다채널 오디오 믹싱 장치 및 그 방법
JP2022028570A (ja) * 2020-08-03 2022-02-16 株式会社デザインMプラス 記録データ再生方法およびシステム
KR20220076766A (ko) * 2020-12-01 2022-06-08 주식회사 마젠타컴퍼니 복수의 원격 사이트에 대한 통합 제어 오케스트레이션 장치 및 그 방법
WO2022168375A1 (ja) * 2021-02-02 2022-08-11 ヤマハ株式会社 通信方法、通信システムおよび通信装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5633864B2 (ja) 2010-12-28 2014-12-03 ヤマハ株式会社 タイミング合わせ方法、該タイミング合わせ方法を実現するためのプログラムおよび電子音楽装置

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006337483A (ja) * 2005-05-31 2006-12-14 Yamaha Corp 電子楽器
JP4622682B2 (ja) * 2005-05-31 2011-02-02 ヤマハ株式会社 電子楽器
JP2007093820A (ja) * 2005-09-28 2007-04-12 Yamaha Corp 合奏システム
JP4692189B2 (ja) * 2005-09-28 2011-06-01 ヤマハ株式会社 合奏システム
JP2007142899A (ja) * 2005-11-18 2007-06-07 Yamaha Corp ドットマトリクス表示器を有するディジタルミキサ
JP4678594B2 (ja) * 2005-11-18 2011-04-27 ヤマハ株式会社 ドットマトリクス表示器を有するディジタルミキサ
JP2007178860A (ja) * 2005-12-28 2007-07-12 Nippon Telegr & Teleph Corp <Ntt> 遠隔地における合奏方法及びそれに用いる電子楽器及びそのプログラム
JP4612541B2 (ja) * 2005-12-28 2011-01-12 日本電信電話株式会社 遠隔地における合奏方法及びそれに用いる電子楽器及びそのプログラム
JP2014098916A (ja) * 2007-12-12 2014-05-29 Immersion Corp 触覚同期信号を分配するための方法及び装置
JP2013542480A (ja) * 2010-08-23 2013-11-21 ザ パブリック レコード,インコーポレイテッド 一般人タレントを見出し、展開するバーチャルスタジオ
JP2016507949A (ja) * 2012-12-21 2016-03-10 ジャムハブ コーポレーションJamhub Corporation トラックの取り込み及び転送
JP2014126601A (ja) * 2012-12-25 2014-07-07 Brother Ind Ltd カラオケ装置
JP2015022176A (ja) * 2013-07-19 2015-02-02 株式会社第一興商 通信デュエットの遅延判定方式に特徴を有するカラオケシステム
JP2015138040A (ja) * 2014-01-20 2015-07-30 ヤマハ株式会社 音楽セッションシステム、方法及び端末装置
CN103870234A (zh) * 2014-02-27 2014-06-18 北京六间房科技有限公司 一种混音方法及其装置
EP3207544B1 (de) * 2014-10-17 2023-06-07 Tymphany Worldwide Enterprises Limited Synchrones aufnehmen von audio mittels drahtloser datenübertragung
US20170231027A1 (en) * 2014-10-17 2017-08-10 Mikme Gmbh Synchronous recording of audio using wireless data transmission
EP3207544A1 (de) * 2014-10-17 2017-08-23 Mikme GmbH Synchrones aufnehmen von audio mittels drahtloser datenübertragung
JP2017538242A (ja) * 2014-10-17 2017-12-21 マイクミー ゲーエムベーハー 無線データ伝送を用いたオーディオの同期記録
US10080252B2 (en) * 2014-10-17 2018-09-18 Mikme Gmbh Synchronous recording of audio using wireless data transmission
JP2021028649A (ja) * 2019-08-09 2021-02-25 株式会社Nttドコモ 情報処理装置及びプログラム
JP7323374B2 (ja) 2019-08-09 2023-08-08 株式会社Nttドコモ 情報処理装置及びプログラム
KR102266560B1 (ko) * 2019-09-10 2021-06-18 인터텍 주식회사 무선통신 기반의 다채널 오디오 믹싱 장치 및 그 방법
KR20210030684A (ko) * 2019-09-10 2021-03-18 이세홍 무선통신 기반의 다채널 오디오 믹싱 장치 및 그 방법
JP2022028570A (ja) * 2020-08-03 2022-02-16 株式会社デザインMプラス 記録データ再生方法およびシステム
KR20220076766A (ko) * 2020-12-01 2022-06-08 주식회사 마젠타컴퍼니 복수의 원격 사이트에 대한 통합 제어 오케스트레이션 장치 및 그 방법
KR102499474B1 (ko) * 2020-12-01 2023-02-14 주식회사 마젠타컴퍼니 복수의 원격 사이트에 대한 통합 제어 오케스트레이션 장치 및 그 방법
WO2022168375A1 (ja) * 2021-02-02 2022-08-11 ヤマハ株式会社 通信方法、通信システムおよび通信装置

Also Published As

Publication number Publication date
JP4314964B2 (ja) 2009-08-19

Similar Documents

Publication Publication Date Title
JP4314964B2 (ja) 合奏システム
US8838835B2 (en) Session terminal apparatus and network session system
JP5257966B2 (ja) 音楽再生制御システム、音楽演奏プログラム、および演奏データの同期再生方法
KR101987473B1 (ko) 온라인 노래방 서비스의 반주 및 가창 음성 간 동기화 시스템 및 이를 수행하기 위한 장치
US20210027800A1 (en) Method for processing audio, electronic device and storage medium
JP2011081364A (ja) 記憶システムおよび記憶装置
JPH1152966A (ja) 音楽演奏システム
JP2005195982A (ja) 遅延制御電子楽器および合奏システム
CN112119456B (zh) 任意信号插入方法以及任意信号插入系统
JP2005284049A (ja) 情報通信システム、端末装置、配信用ホスト装置及びプログラム
JP4224450B2 (ja) 移動体通信端末及びプログラム
JP5454802B2 (ja) カラオケ装置
JP4422656B2 (ja) ネットワークを用いた遠隔多地点合奏システム
JP6220576B2 (ja) 複数人による通信デュエットに特徴を有する通信カラオケシステム
JP2008097096A (ja) サーバ装置及び通信セッション確立方法
KR20090085778A (ko) 진동기능을 갖는 노래방 마이크를 이용한 노래반주시스템및 그 시스템의 진동기능 제공 방법
JP2008096462A (ja) 合奏システム及び携帯情報端末
JP5233134B2 (ja) 電子音楽装置、電子音楽装置システム、及びそれらに用いるプログラム
JP2008233558A (ja) 電子楽器及びプログラム
JP4364470B2 (ja) ネットワークカラオケシステムの歌唱評価方法およびカラオケ装置
JP7456215B2 (ja) オーディオインターフェース装置、及び、録音システム
JP2018180489A (ja) 演奏支援装置、及びプログラム
JP6194202B2 (ja) 通信デュエットの遅延判定方式に特徴を有するカラオケシステム
JP3975698B2 (ja) 携帯通信端末
JP2005258267A (ja) 携帯端末

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090120

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090428

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090511

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120529

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130529

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140529

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees