JP2008172409A

JP2008172409A - 収音装置及び音声伝送システム

Info

Publication number: JP2008172409A
Application number: JP2007002361A
Authority: JP
Inventors: Haruki Uehara; 春喜上原; Kenji Matahira; 健次又平
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2007-01-10
Filing date: 2007-01-10
Publication date: 2008-07-24
Anticipated expiration: 2027-01-10
Also published as: US8383925B2; EP1944587A3; JP4940956B2; US20080163747A1; EP1944587A2; CN101221751A; CN101221751B; EP1944587B1

Abstract

【課題】遠隔レッスンにおいて指導者の音声を収音するマイクに、その指導者の音声以外の音ができるだけ収音されないようにする。
【解決手段】接話型マイクは、指導者の発音を常時、収音しており、その音声信号を遅延回路に供給する。遅延回路は、その音声信号を所定期間だけ遅延させ、制御回路に供給する。送信制御部は、骨伝導マイクによって検出された振動の大きさが閾値を超えている期間にわたっては、スイッチング素子をオンとする。スイッチング素子がオンとされている期間にわたっては、遅延回路から供給される音声信号がスイッチング素子を経由して送信回路に取り込まれ、放音装置宛に送信される。
【選択図】図３

Description

本発明は、音声の収音と、その出力ないし伝送を行う技術に関する。

例えば電子ピアノなどの自動演奏楽器を用いて遠隔レッスンを行うシステムが提案されている（例えば特許文献１〜３参照）。この種のシステムでは、送信側のコントローラと、受信側のコントローラとがネットワークを介して接続されており、送信側の電子楽器においては指導者によって模範演奏が行われ、受信側の電子楽器においてはその模範演奏が再現される。具体的には、指導者の演奏音を表すＭＩＤＩ形式の演奏データが送信側のコントローラに入力されると、コントローラはその演奏データをパケットデータとして、受信側に送信する。受信側のコントローラは、そのパケットデータを電子楽器に出力する。電子楽器はＭＩＤＩの規格に従って楽音を発生させ、自動演奏を行う。また、送信側の指導者は模範演奏を行いながら、必要に応じて音声による指導を行う。その指導者の音声は、送信側に設けられたマイクによって収音され、上記ネットワークを介して受信側に送信されてスピーカから放音される。これにより、練習者は模範演奏を聞きながら、指導者の音声による指導を受けることができる。
特開２００５−１９６０７２号公報特開２００５−１９６０７４号公報特開２００５−０８４５７８号公報

ところで、送信側のマイクにおいては、指導者の音声収音に適したように、指向特性、周波数特性及び感度などが調整されてはいるが、それでも、指導者の模範演奏中にはその演奏音も収音してしまうことがある。このため、受信側においては、パケットデータによって伝送されてきた演奏データに基づく演奏音の再生と、送信側のマイクによって収音されて受信側に伝送されてきた演奏音の再生とが同時に行われてしまうことになる。これらがそれぞれ別々に伝送されてきた場合には、互いの演奏音の再生タイミングがずれてしまい、受信側の練習者にとっては非常に聞きづらいという問題が発生する。この問題の原因は、本来は指導者の音声を収音すべきマイクにおいて、その目的とする「指導者の音声」以外の音が収音され、出力されてしまうことにある。もちろん、受信側において双方の演奏音を同期をとりつつ再生すればこの問題は解決するであろうが、演奏データに基づく演奏音と、送信側のマイクによって収音された生演奏の演奏音とが同時に発音されてしまうと、実用上好ましくないという事情がある。

本発明は、上述した背景に鑑みてなされたものであり、その目的は、例えば指導者の音声のような特定の音声を収音して出力する場合に、その特定の音声以外の音をできるだけ出力しないような仕組みを提供することにある。

上述した問題を解決するため、本発明は、放音された音声に応じた音声信号を生成する収音手段と、前記放音に伴って振動する部位に取り付けられ、その部位における振動の大きさを検出する振動検出手段と、前記収音手段によって生成された音声信号を、前記振動検出手段によって検出された振動の大きさが閾値を超えている期間にわたって出力する出力制御手段とを備えることを特徴とする収音装置を提供する。

上記収音装置において、前記振動検出手段は、人間の頭蓋骨、頬骨、顎骨、頸骨、又は、声帯ないし気管の近傍に取り付けられ、声帯からの発音に伴ってその人間の骨又は肉に伝わる振動を検出することが望ましい。また、前記収音手段によって生成された音声信号を或る期間遅延させて前記出力制御手段に供給する遅延手段を備えることが望ましい。

また、本発明は、収音装置と、前記収音装置に通信路を介して接続された放音装置とを備え、前記収音装置は、放音された音声に応じた音声信号を生成する収音手段と、前記放音に伴って振動する部位に取り付けられ、その部位における振動の大きさを検出する振動検出手段と、前記収音手段によって生成された音声信号を、前記振動検出手段によって検出された振動の大きさが閾値を超えている期間にわたって、前記通信路を介して前記放音装置に送信する送信制御手段とを備え、前記放音装置は、前記収音装置から送信されてくる音声信号を前記通信路を介して受信する受信手段と、前記受信手段によって受信された音声信号に応じて放音する放音手段とを備えることを特徴とする音声伝送システムを提供する。

また、本発明は、収音装置と、前記収音装置に通信路を介して接続された放音装置と、演奏者によって演奏される第１の楽器と、前記第１の楽器における演奏音を表す演奏データを送信する送信装置と、前記送信装置によって送信されてくる演奏データを通信路を介して受信する受信装置と、前記受信装置によって受信された演奏データに基づいて自動演奏を行う第２の楽器とを備え、前記収音装置は、前記第１の楽器における演奏音及び前記演奏者の発音に応じた音声信号を生成する収音手段と、前記演奏者の発音に伴って振動する部位に取り付けられ、その部位における振動の大きさを検出する振動検出手段と、前記収音手段によって生成された音声信号を、前記振動検出手段によって検出された振動の大きさが閾値を超えている期間にわたって、前記通信路を介して前記放音装置に送信する送信制御手段とを備え、前記放音装置は、前記収音装置から送信されてくる音声信号を前記通信路を介して受信する受信手段と、前記受信手段によって受信された音声信号に応じて放音する放音手段とを備えることを特徴とする音声伝送システムを提供する。

次に、図面を参照しつつ、本発明を実施する際の最良の形態について説明する。
図１は、本発明に係る音声伝送システムの全体構成を示すブロック図である。図１に示すように、このシステムは、演奏を指導する指導者１０の側に設けられた電子楽器１１、コントローラ１２及び収音装置１３と、その指導者１０の指導を受けながら演奏を練習する練習者２０の側に設けられた電子楽器２１、コントローラ２２及び放音装置２３とを備えている。コントローラ１２とコントローラ２２との間、及び、収音装置１３と放音装置２３との間は、それぞれインターネットやＬＡＮ（Local Area Network）等のネットワーク３０によって接続されている。なお、指導者１０の側のコントローラ１２及び収音装置１３は、電子楽器１１と一体に構成されていてもよいし、それぞれ別体であってもよい。同様に、練習者２０の側のコントローラ２２及び放音装置２３は、電子楽器２１と一体に構成されていてもよいし、それぞれ別体であってもよい。

電子楽器１１は例えば電子ピアノであり、指導者１０の演奏に応じて、その演奏音を表す演奏データをＭＩＤＩ形式で生成する。以下、この演奏データをＭＩＤＩデータという。電子楽器１１によって生成されたＭＩＤＩデータは、コントローラ１２に供給される。コントローラ１２は、データを送信する送信装置であり、ＭＩＤＩデータをネットワーク３０の通信プロトコルに適合したデータに変換し、さらにこれをパケット単位に分割して、ネットワーク３０経由でコントローラ２２へと送信する。コントローラ２２は、データを受信する受信装置であり、ネットワーク３０経由で受信したＭＩＤＩデータを電子楽器２１が解釈可能な形式に変換して、その電子楽器２１に供給する。電子楽器２１は、自動演奏機能を有する電子ピアノであり、そのＭＩＤＩデータに基づいて自動演奏を行う。なお、この自動演奏は、電子楽器２１がＭＩＤＩデータに基づいて鍵駆動用のソレノイドを制御し、打弦によりピアノ音を発生することにより行われるものであるが、その技術自体は公知であるので、詳細な説明は省略する。

収音装置１３は、接話型マイク１３１及び骨伝導マイク１３２という２種類のマイクロフォンと、送信制御部１３３と備えている。接話型マイク１３１と骨伝導マイク１３２は、いずれも所定の取付部材によって指導者２０に取り付けられる。接話型マイク１３１は、例えばヘッドセット型マイクとして構成されており、図２に示すように、音声が放たれる部位である指導者１０の口の近傍の位置Ｓに取り付けられている。この接話型マイク１３１は、口からの放音に応じた音声信号を生成して送信制御部１３３に供給する。一方、骨伝導マイク１３２は、図示せぬベルトや接着剤などの取付部材によって、指導者１０の頸骨の近傍の位置Ｖに取り付けられる。この位置Ｖは、指導者１０の声帯における発音に伴って、その声帯からの振動が伝わる部位である。骨伝導マイク１３２は、位置Ｖの部位における振動の大きさを検出し、その検出信号を送信制御部１３３に供給する。なお、この骨伝導マイク１３２の取付位置は、声帯からの振動が伝わる部位であればどこでもよく、例えば指導者１０の頭蓋骨、頬骨或いは顎骨などの近傍をその取付位置としてもよい。また、骨伝導マイク１３２に代えて、肉伝導マイクを用いてもよく、その場合の取付位置は、指導者１０の声帯ないし気管の近傍の皮膚表面が好ましい。

送信制御部１３３は、骨伝導マイク１３２からの検出信号によって表される振動の大きさに応じて、接話型マイク１３１から供給される音声信号の送信制御を行う。送信制御部１３３によってデジタルの音声データとして送信された音声信号は、ネットワーク３０経由で放音装置２３の受信部２３１によって受信される。受信部２３１はそのデジタルの音声データをアナログの音声信号にＤ／Ａ変換して放音部２３２に供給する。放音部２３２はスピーカであり、上記音声信号に応じて放音する。

接話型マイク１３１は、口の近傍で収音を行うことを前提にして、指向特性、周波数特性及び感度が調整されているが、それでも、指導者１０の口から放たれた音声のほかに、電子楽器１１から発生する演奏音も収音してしまう。上述したＭＩＤＩデータの伝送系統と、収音された音声信号の伝送系統とは、同一のネットワーク３０上であるといっても、それぞれ独立の伝送系統であるから、互いに１０〜１００ｍ秒（ミリ秒）程度の遅延が生じてしまう。これでは、練習者２０の側において、それぞれの演奏音の再生タイミングがずれてしまい、練習者２０が聞きづらくなってしまう。そこで、送信制御部１３３は、指導者１０が発音を行っているか否かを判定し、発音していると判定された期間にわたっては、接話型マイク１３１が収音した音声を放音装置２３に送信（出力）する一方、発音していないと判定された期間にわたっては、接話型マイク１３１が収音した音声を放音装置２３に送信（出力）しないようにする。

ここで、図３は、送信制御部１３３の構成を示すブロック図である。
図３に示すように、送信制御部１３３は、骨伝導マイク１３２に接続されたノイズ除去回路１３３ａと、接話型マイク１３１に接続された遅延回路１３３ｂと、ノイズ除去回路１３３ａ及び遅延回路１３３ｂに接続された制御回路１３３ｃとを備えている。骨伝導マイク１３２から供給される検出信号は、例えば図４の上段に示すような波形となる。骨伝導マイク１３２は、指導者１０の動作やその他の外部環境の影響による微少振動を絶えず検出しているから、まずは、この微少振動を除去する必要がある。そこで、ノイズ除去回路１３３ａは、予め決められた閾値ｄとした場合、−ｄ≦Ｎ≦＋ｄの範囲内のレベルの検出信号をノイズとみなして、これを除去する。即ち、ノイズ除去回路１３３ａから制御回路１３３ｃへと供給される信号の波形は、図４上段に示した検出信号の値から閾値ｄが減算された波形となる。

制御回路１３３ｃは、ノイズ除去回路１３３ａから供給されてくる検出信号の値が「０」の期間、つまり骨伝導マイク１３２によって検出された振動の大きさが閾値ｄを超えていない期間（図４上段のオフ期間）にわたっては、スイッチング素子１３３ｄをオフとする。一方、制御回路１３３ｃは、ノイズ除去回路１３３ａから供給されてくる検出信号の値が「０」でない期間、つまり骨伝導マイク１３２によって検出された振動の大きさが閾値ｄを超えている期間（図４上段のオン期間）にわたっては、スイッチング素子１３３ｄをオンとする。なお、検出信号を極めて微少な期間で観察すると、オン期間においても検出信号の値が瞬間的に「０」になるときはあるが、ここでは、このような微小期間に検出信号が「０」となるような状態は無視する。つまり、制御回路１３３ｃは、或る所定期間において検出信号が「０」でない場合には、その期間を「オン期間」と判定する。

上記の処理と並行して、接話型マイク１３１は常時、収音を行っており、収音した音声に応じた音声信号を生成して遅延回路１３３ｂに供給している。遅延回路１３３ｂは、その音声信号を所定期間だけ遅延させてから制御回路１３３ｃに供給する。ここで、音声信号を遅延させてから制御回路１３３ｃに供給するのは、指導者１０が発音し始めたとき（つまりオフ期間からオン期間に遷移したとき）の音声が欠落しないようにするためである。この遅延期間は、上記のような発音開始時の音声が欠落しないように、実験的或いは計算で求められており、さらに適宜に調整可能であることが望ましい。

スイッチング素子１３３ｄのオン期間においては、遅延回路１３３ｂから供給される音声信号がスイッチング素子１３３ｄを経由して送信回路１３３ｅに取り込まれ、この送信回路１３３ｅによりＡ／Ｄ変換されて放音装置２３宛に送信される。これにより、図４の下段に示すように、オフ期間からオン期間に遷移した時点から、遅延期間に相当する期間だけさかのぼったタイミングからが出力（送信）対象の音声信号となる。そして、図４下段に示すように、オン期間からオフ期間に遷移した時点から、遅延期間に相当する期間だけさかのぼったタイミングまでが出力（送信）対象の音声信号となる。音声信号が出力される期間の終了後は、遅延回路１３３ｂから供給される音声信号は放音装置２３に送信されずに、制御回路１３３ｃによって破棄される。

以上説明した実施形態によれば、指導者１０が発音していない期間にわたっては、接話型マイク１３１によって収音された音声が練習者２０の側に送信されず、その一方で、指導者１０が発音している期間にわたっては、接話型マイクによって収音された音声が練習者２０の側に送信される。よって、コントローラ１２及びコントローラ２２間で遣り取りされる演奏データに基づく演奏音の再生と、接話型マイク１３１によって収音された演奏音の再生とが同時に行われてしまうような期間を極力少なくすることができる。もちろん、指導者１０が発音しながら電子楽器１１を演奏した場合には、その指導者１０の音声と電子楽器１１の演奏音とが接話型マイク１３１によって収音されるから、上記の双方の演奏音の再生が同時に行われてしまうことになる。ただし、その同時再生の時間は指導者１０の発音期間だけに限定されるから、練習者にとって演奏音が聞きづらくなるという期間を従来よりも少なくすることができる。

なお、上記実施形態を次のように変形してもよい。
上記実施形態では、楽器の遠隔レッスンを目的とした例を挙げて説明したが、本発明を適用する目的はこれに限定されない、例えば「指導」と「練習」という立場ではなく、同等の立場で演奏を行う２人の演奏者同士がこのシステムを利用してもよい。また、指導者と練習者とが１対１ではなく、１対多とか、多対１とか、多対多といった様々な人数によって構成されたシステムにも適用し得る。また、例えば遠隔コンサートなどを目的としたものに適用してもよい。
また、実施形態に係る収音装置は、要するに、発音体が発音したときのみ収音を行うという機能を実現するものである。よって、応用例としては、例えば音が発生したときにだけ録音を行う録音装置の収音部として用いることが考えられる。なお、この応用例も、“特定の音声を収音して出力する場合に、その特定の音声以外の音をできるだけ出力しないような仕組みを提供する”という本発明の目的に沿うものである。

実施形態では、接話型マイク１３１による収音対象を指導者１０の音声としたが、これに限らず、収音対象は音であれば何でもよい。よって、接話型マイク１３１に代表される収音手段は、放音された音声に応じた音声信号を生成するものであればよい。

また、実施形態では、骨伝導マイク１３２による検出対象を、指導者１０の骨に発生する振動としたが、これに限らない。また、その取付位置は、振動の検出に適した部位であればどこでもよい。要するに、骨伝導マイクによって代表される振動検出手段は、上記のような放音に伴って振動が発生する部位に取り付けられ、その部位に発生した振動の大きさを検出するものであればよい。なお、放音に伴って発生する振動とは、音が放たれる部位（例えば口）からの放音に先立って伝わってくる振動、その放音とほぼ同時に伝わってくる振動、及び、その放音の後から伝わってくる振動を全て含む。

また、遅延回路１３３ｂは、振動の開始タイミングと放音の開始タイミングとの時間差を吸収する役割を担っていたが、その時間差を無視できる場合には、この遅延回路１３３ｂを設ける必要はない。

実施形態では、本発明に係る収音装置１３に特徴的な処理をハードウェアモジュールで実現する場合について説明したが、これをソフトウェアモジュールで実現してもよい。この場合、その処理を記述したソフトウェアプログラムをＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などコンピュータ装置が読取り可能な記録媒体に書き込んで収音装置１３に配布するとしてもよく、また、インターネットなどの電気通信回線を介して収音装置１３に配布するようにしてもよい。

実施形態に係るシステムにおいては、指導者１０の演奏音及び音声を練習者２０の側に出力する場合を中心に説明したが、指導者１０と練習者２０との間で演奏と音声を双方向に遣り取りするようにしても勿論よい。この場合、コントローラ１２の機能をコントローラ２２に持たせると共に、コントローラ２２の機能をコントローラ１２に持たせる。さらに、収音装置１３と同様の収音装置を練習者２０の側にも設ける一方、放音装置２３と同様の放音装置を指導者１０の側にも設ける。また、音声の遣り取りに並行して、指導者１０や練習者２０を撮像した画像を遣り取りするようにしてもよい。

本発明の実施形態における音声伝送システムの構成を示すブロック図である。接話型マイクと骨伝送マイクの取り付け位置を説明する模式図である。収音装置の構成を示すブロック図である。骨伝導マイクによる検出信号と、接話型マイクによって生成される音声信号と、スイッチング素子のオン期間及びオフ期間を説明する図である。

符号の説明

１０・・・指導者、１１・・・電子楽器（第１の楽器）、１２・・・コントローラ（送信装置）、１３・・・収音装置、２０・・・練習者、２１・・・電子楽器（第２の楽器）、２２・・・コントローラ（受信装置）、２３・・・放音装置、１３３・・・送信制御部（出力制御手段、送信制御手段）、１３１・・・接話型マイク（収音手段）、１３２・・・骨伝導マイク（振動検出手段）、２３１・・・受信部（受信手段）、２３２・・・放音部（放音手段）。

Claims

放音された音声に応じた音声信号を生成する収音手段と、
前記放音に伴って振動する部位に取り付けられ、その部位における振動の大きさを検出する振動検出手段と、
前記収音手段によって生成された音声信号を、前記振動検出手段によって検出された振動の大きさが閾値を超えている期間にわたって出力する出力制御手段と
を備えることを特徴とする収音装置。
前記振動検出手段は、人間の頭蓋骨、頬骨、顎骨、頸骨、又は、声帯ないし気管の近傍に取り付けられ、声帯からの発音に伴ってその人間の骨又は肉に伝わる振動を検出する
ことを特徴とする請求項１記載の収音装置。
前記収音手段によって生成された音声信号を或る期間遅延させて前記出力制御手段に供給する遅延手段を備える
ことを特徴とする請求項１記載の収音装置。
収音装置と、
前記収音装置に通信路を介して接続された放音装置とを備え、
前記収音装置は、
放音された音声に応じた音声信号を生成する収音手段と、
前記放音に伴って振動する部位に取り付けられ、その部位における振動の大きさを検出する振動検出手段と、
前記収音手段によって生成された音声信号を、前記振動検出手段によって検出された振動の大きさが閾値を超えている期間にわたって、前記通信路を介して前記放音装置に送信する送信制御手段とを備え、
前記放音装置は、
前記収音装置から送信されてくる音声信号を前記通信路を介して受信する受信手段と、
前記受信手段によって受信された音声信号に応じて放音する放音手段とを備える
ことを特徴とする音声伝送システム。
収音装置と、
前記収音装置に通信路を介して接続された放音装置と、
演奏者によって演奏される第１の楽器と、
前記第１の楽器における演奏音を表す演奏データを送信する送信装置と、
前記送信装置によって送信されてくる演奏データを通信路を介して受信する受信装置と、
前記受信装置によって受信された演奏データに基づいて自動演奏を行う第２の楽器とを備え、
前記収音装置は、
前記第１の楽器における演奏音及び前記演奏者の発音に応じた音声信号を生成する収音手段と、
前記演奏者の発音に伴って振動する部位に取り付けられ、その部位における振動の大きさを検出する振動検出手段と、
前記収音手段によって生成された音声信号を、前記振動検出手段によって検出された振動の大きさが閾値を超えている期間にわたって、前記通信路を介して前記放音装置に送信する送信制御手段とを備え、
前記放音装置は、
前記収音装置から送信されてくる音声信号を前記通信路を介して受信する受信手段と、
前記受信手段によって受信された音声信号に応じて放音する放音手段とを備える
ことを特徴とする音声伝送システム。