JP2014153516A - 判定装置 - Google Patents

判定装置 Download PDF

Info

Publication number
JP2014153516A
JP2014153516A JP2013022594A JP2013022594A JP2014153516A JP 2014153516 A JP2014153516 A JP 2014153516A JP 2013022594 A JP2013022594 A JP 2013022594A JP 2013022594 A JP2013022594 A JP 2013022594A JP 2014153516 A JP2014153516 A JP 2014153516A
Authority
JP
Japan
Prior art keywords
performance
recording
music
data
volume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013022594A
Other languages
English (en)
Inventor
Hideyuki Okubo
英幸 大久保
Akio Fukushima
章雄 福島
Akira Shimizu
清水  晃
Akira Miyata
明 宮田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Electronic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Electronic Corp filed Critical Pioneer Electronic Corp
Priority to JP2013022594A priority Critical patent/JP2014153516A/ja
Publication of JP2014153516A publication Critical patent/JP2014153516A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

【課題】複数の楽曲の境界を簡便且つ正確に検出する。
【解決手段】判定装置は、相互に独立して録音された、複数の楽曲M1、M2を含む楽曲群を構成する複数の楽曲パートの各々について、録音時の音量を検出する音量検出手段と、前記複数の楽曲パートの各々について、前記検出された音量が基準音量未満となる期間が重複する場合に、該重複する期間に該当する時期を、前記複数の楽曲のうち前記重複する期間を挟む二つの楽曲の境界であると判定する判定手段とを具備する。
【選択図】図15

Description

本発明は、例えば、楽曲同士の境界を判定可能な判定装置の技術分野に関する。
通信ネットワークを介して各演奏者ノード間で双方向の通信を行って音楽セッションを行う、離れた場所にいる演奏者同士でリアルタイムに音楽セッションを楽しむための、通信ネットワークを利用した音楽セッションシステムが提案されている(例えば、特許文献1参照)。
特許文献1に開示される音楽セッションシステムによれば、各ユーザ端末の演奏者は、隣接しているユーザ端末の演奏者と演奏データを双方向にやり取りし、離れて接続されているユーザ端末の演奏者とは、自ユーザ端末との間にいるユーザ端末を介して伝播する構成とすることにより、参加人数や環境において高いスケーラビリティが得られるとされている。
一方、特許文献2には、演奏開始から伴奏を付けた演奏を行うための装置が開示されている。特許文献2に開示された演奏開始時刻予想装置によれば、入力される楽音信号が所定の閾値を超えてアタックが検出される毎にカウント時刻情報が検出される。また、新たなカウント時刻情報が検出される毎に、この新たなカウント時刻情報とこれより1個古いカウント時刻情報との時間間隔の情報であるカウント間時間情報が求められる。そして、所定個数のカウント間時間情報に基づいて演奏者が実際の演奏を開始すると予想される演奏開始時刻が求められ、楽曲プレイヤーでの再生と、録音部での録音が開示される。その結果、演奏者の本来の演奏開始に合わせて伴奏を演奏させることができると共に、真に必要な部分のみの楽音信号を録音部に録音させることができるとされる。
一方、複数の楽曲が記録された録音データにおいて楽曲の境界を判定する装置が、特許文献3に開示されている。特許文献3に開示された記録装置は、入力レベルがある閾値より下がり、また一定時間経過後にある閾値以上の入力があった場合に、楽曲の境界であるとの判定がなされる構成となっている。
また、楽曲の境界判定に利用可能な方法は、特許文献4にも開示されている。特許文献4に開示された楽曲構造解析方法によれば、テンポの変化点が検出され、楽曲構造の変化点として使用される。また、テンポの変化が小さいときには、音量などの特徴量も使用される。
特開2003−323173号公報 特開2009−300622号公報 特開平7−85641号公報 特開2008−65153号公報
端末装置を介して利用者の演奏データをサーバ装置に録音する演奏録音システムの研究が進められている。この演奏録音システムでは、サーバ装置に録音されている演奏データを端末装置にダウンロードして再生することもできる。従って、利用者は、サーバに録音された演奏データの中から所望の演奏データを選択的にダウンロードして、ダウンロードされた演奏データに基づいて再生される演奏と自身の演奏とのセッションを気軽に楽しむことができる。
ここで、過去に複数の利用者によりリアルタイムに行われた演奏セッションがサーバ装置に録音される状況を想定する。この場合、演奏セッションは利用者各々に対応する複数の演奏パートの集合であり、各演奏パートの演奏データは、各演奏パートに対応する個々の端末装置を介してサーバ装置に送信され録音される。ここで特に、この録音された演奏セッションに係る演奏データが、不特定多数のユーザによりダウンロードされ、適宜に再生される状況を考えると、サーバ装置においては、この演奏セッションを高い再現性を伴って記憶することが望まれる。
ところで、演奏セッションが録音される場合、演奏セッションの開始から終了までが一のデータストリームとしてトラックに記録されるのが一般的であるが、演奏セッションが複数の楽曲から構成されることは珍しくない。即ち、通常、演奏セッションの録音時には、複数の楽曲が一のデータストリームの中に記録される。従って、例えば、後々、この演奏セッションを構成する一の楽曲の演奏データのみのダウンロードが要求されたとしても、演奏録音システム側でそのような要求に応えることは容易でない。
一方、このような問題は、何らかの方法で楽曲の境界を検出することにより解決され得る。楽曲の境界検出手法については、上記特許文献3及び4に開示されるところである。しかしながら、特許文献3及び4に開示される楽曲の境界検出手法には、以下の如き問題がある。
即ち、特許文献3に開示される技術は、元々MD(Mini Disc)でアナログ入力の録音が行われた際の楽曲の分割を想定している。即ち、複数の楽曲からなる楽曲ストリームが、既に複数の演奏パートについて集約された状態で録音されている。即ち、例えば、この演奏録音システムのように、演奏パートの各々が相互に独立して録音される状況は全く想定されていない。演奏パートの各々が相互に独立して録音される場合、録音時の音量は、録音に使用された個々の装置(上記端末装置を含む)の状態や録音環境に応じて異なるのが自然である。従って、特許文献3に開示される技術を適用するために、これら複数の演奏パートを一つにまとめてしまうと、録音時の音量が相対的に低い演奏パートについて、演奏が継続されているにもかかわらず音量が閾値以下であるとして楽曲の境界が誤判定される可能性がある。
また、特許文献4に開示される技術を適用するためには、テンポの変化点の検出を始めとする楽曲構造の解析が必要であるが、このような楽曲構造の解析アルゴリズムは、一般的に要求されるデータ処理量が大きい。即ち、特許文献4に開示される技術では、楽曲の境界検出に要する装置側の負担が大きくなり過ぎる。特に、不特定多数の利用者からの録音要求をサーバ装置で一括して処理する構成では、サーバ装置に大きな処理能力が要求されることから、システム構成を必然的に大きくせざるを得ず、高コスト且つ非効率である。
このように、現状で想定されるシステムは、少なくとも一つの問題点として、例えば、リアルタイムに行われた複数の演奏パートから構成される演奏セッションをサーバ装置に録音する場合において、その演奏セッションを構成する複数の楽曲の境界を簡便且つ正確に検出することが難しいという技術的問題点を有し得る。
本発明は、例えば、上記技術的問題点を、その解決すべき問題点の少なくとも一つとして有するものであって、複数の楽曲の境界を簡便且つ正確に検出可能な判定装置を提供することを、その課題の少なくとも一つとする。
上述した課題を解決するため、請求項1に係る判定装置は、相互に独立して録音された、複数の楽曲を含む楽曲群を構成する複数の楽曲パートの各々について、録音時の音量を検出する音量検出手段と、前記複数の楽曲パートの各々について、前記検出された音量が基準音量未満となる期間が重複する場合に、該重複する期間に該当する時期を、前記複数の楽曲のうち前記重複する期間を挟む二つの楽曲の境界であると判定する判定手段とを具備することを特徴とする。
上述した課題を解決するため、請求項6に係る判定方法は、相互に独立して録音された、複数の楽曲を含む楽曲群を構成する複数の楽曲パートの各々について、録音時の音量が検出される音量検出工程と、前記複数の楽曲パートの各々について、前記検出された音量が基準音量未満となる期間が重複する場合に、該重複する期間に該当する時期が、前記複数の楽曲のうち前記重複する期間を挟む二つの楽曲の境界であると判定される判定工程とを具備することを特徴とする。
上述した課題を解決するため、請求項7に係るコンピュータプログラムは、コンピュータシステムを請求項1に記載の判定手段として機能させることを特徴とする。
上述した課題を解決するため、請求項8に係る記録媒体は、請求項6に記載のコンピュータプログラムが記録されることを特徴とする。
本発明の第1実施例に係る演奏録音システムの概念を説明する図である。 図1の演奏録音システムにおける管理サーバのブロック図である。 図1の演奏録音システムにおける録音サーバのブロック図である。 図1の演奏録音システムにおけるコンテンツサーバのブロック図である。 図1の演奏録音システムにおける端末装置のブロック図である。 図3の録音サーバの録音トラックにおける演奏データの記録状態を概念的に説明する図である。 図4のコンテンツサーバに格納されるセッションデータの概念図である。 演奏セッションの基本的な録音処理における各装置の動作を時系列で表してなるタイミングチャートである。 演奏セッションが再生される場合の演奏録音システムの動作概念図である。 理想的に記録された各演奏パートの楽音信号を概念的に表した図である。 実際に記録された各演奏パートの楽音信号を概念的に表した図である。 演奏セッションの実際の録音処理における各装置の動作を時系列で表してなるタイミングチャートである。 録音トラックに同期信号と楽音信号とが記録された状態を概念的に表した図である。 第1の補正がなされた後の各録音トラックの様子を概念的に表した図である。 楽曲の境界検出の概念を説明する図である。
<判定装置の実施形態>
本発明の判定装置に係る実施形態は、相互に独立して録音された、複数の楽曲を含む楽曲群を構成する複数の楽曲パートの各々について、録音時の音量を検出する音量検出手段と、前記複数の楽曲パートの各々について、前記検出された音量が基準音量未満となる期間が重複する場合に、該重複する期間に該当する時期を、前記複数の楽曲のうち前記重複する期間を挟む二つの楽曲の境界であると判定する判定手段とを具備する(請求項1)。
判定装置に係る実施形態は、例えば好適な一形態として、複数の楽曲を含む一の楽曲群(即ち、楽曲ストリーム)が、楽曲パート毎に独立して録音される状況を想定し、一の効能として、楽曲パート毎の録音データからこの楽曲ストリームに含まれる複数の楽曲の境界を判定することを可能とする。尚、楽曲パートの各々は、相互に時間軸上で同期する。
楽曲パートとは、楽曲を構成するパートであって、例えば、楽器パート、要素パート、音声パート等に大別され得る。楽器パートとは、例えば、ドラムやパーカッション等の打楽器、ギター、ベースギター、ヴァイオリン、チェロ等の弦楽器、サックスやトランペット等の管楽器、ピアノ等の鍵盤楽器、キーボード等の電子楽器等のパートを含み得る。要素パートとは、例えば、リズム、メロディ、ヴォーカル等のパートを含み得る。音声パートとは、例えば、メインヴォーカル、サブヴォーカル、ラップ等のパートを含み得る。但し、これはあくまで例示であって、楽曲を構成し得る限りにおいて、楽曲パートの採り得る形態に制限は無い。
また、判定装置に係る実施形態における「楽曲パートの各々」とは、最小単位としての一の楽曲パートを意味してもよいし、最小単位としての一の楽曲パートがある程度まとまったものであってもよい。尚、同じ楽曲パートが複数存在する場合には、これらは夫々区別されてもよいし、一括りに扱われてもよい。別の観点からは、楽曲パートとは、この楽曲ストリームが複数楽曲に関する連続した演奏から構成される演奏セッションである場合には、一の演奏者の担当する演奏パートを意味してもよい。
判定装置に係る実施形態では、音量検出手段により楽曲パートの各々について録音時の音量が検出される。録音時の音量とは、例えば、録音された楽音信号又は音声信号の入力レベル、音声信号圧の大きさ、音声信号波形の振幅等を含む概念である。尚、各楽曲パートについて録音環境が等しい理想的な状況では、各楽曲パート相互間における録音時の音量の大小関係は、生音の当該大小関係のまま維持される。
ここで、判定装置に係る実施形態では、この録音時の音量が基準音量未満となる期間が、楽曲の境界の一候補(以下、適宜「境界候補」と表現する)として扱われる。ここで重要となるのは、録音時の音量と基準音量との比較が、楽曲パート毎に行われる点にある。即ち、境界候補は、楽曲パートの各々について個別に現れ得る。また、楽曲パートの各々について係る比較が行われる点に鑑みれば、実施形態に係る基準音量とは、少なくとも潜在的には、楽曲パートの各々について最適化された値である。この最適化とは、例えば、楽曲パートの固有特性に鑑みて楽曲パート毎に個別の基準音量を設定することや、各楽曲パートについて楽音信号の最大入力レベルを共通化した上で一の基準音量を適用する(即ち、楽曲パートの固有特性を楽音信号の入力レベル側で予め吸収しておく)こと等を含み得る。
一方、楽曲ストリームの実践的態様には実質的に殆ど制限が無いが、どのような形態を採るにせよ、時間軸上で隣接する楽曲の間には、一種の無音区間が現れることが多い。尚、「一種の」とは、完全に無音であることに限定されない趣旨であって、実践上無音とみなし得る程度の静寂区間を含む趣旨である。
判定装置に係る実施形態は、この一種の無音区間が、楽曲パート毎に独立した境界候補が相互に重複する期間に一致する点を利用し、判定手段が、この境界候補の重複期間に該当する時期を楽曲の境界であると判定する構成となっている。
尚、現実的な制御態様下では、楽曲の境界は楽曲ストリームにおける時間軸上の一時点を指すが、境界候補の重複期間は通常、有限の時間領域である。この時間領域のどの一点を現実的な制御態様下における楽曲の境界とするかは、少なくとも判定装置の実施形態に係る実践的意義には影響しない。即ち、この時間領域に該当する時期であれば、どの時期が楽曲の境界とされてもよい。
判定装置に係る実施形態によれば、楽曲パートの各々について録音時の音量が基準音量未満となる期間を特定することができるため、例えば、上述した従来の一技術である、全楽曲パートをまとめた楽曲ストリームそのものの音量に基づいて境界判定を行う構成と較べると、誤判定の発生を抑制することができる。また、楽曲パート毎の処理を伴うとは言え、音量の比較を行えば済むことから、従来の他の技術である楽曲構造を解析する構成と較べて明らかに処理上の負荷が緩和される。即ち、楽曲の境界を簡便且つ正確に判定することができるのである。
尚、楽曲ストリームとは、好適な一形態として、例えば複数の演奏者によりなされる、複数の楽曲に関する連続した演奏から構成される演奏セッションを意味する。この場合、楽曲パートには、少なくとも一の演奏パートが対応する。このようなリアルタイムな演奏セッションを各演奏パートについて独立して録音するシステムとしての演奏録音システムは、本発明の判定装置に係る実施形態の適用対象として好適である。
例えば、この演奏録音システムでは、演奏セッションを構成する一又は複数の演奏パートに夫々対応する複数の端末装置の各々から、対応する演奏パートの演奏データがネットワークを介して送信される。この演奏データは、各演奏パートの楽音信号が所定の規格に従ってデータ化されたものであり、例えばMP3、WAVE、WMA、AAC、M4A、FLAC等のファイル形式のデータである。
一方、この演奏データは、例えば、一時的なバッファリングを経て一定又は不定のデータサイズ毎に順次ネットワークを介して送信されサーバ装置に記憶される。例えば、サーバ装置においては、例えば、複数の録音トラックの各々に、送信される演奏データに対応する楽音信号が順次記録される。
ここで、本発明の判定装置に係る実施形態が適用された場合には、録音トラックに記録された複数楽曲分の演奏データストリームを、楽曲毎の演奏データに切り分けることができる。従って、例えば後々この演奏セッションの一楽曲の再生が要求された場合等において、必要にして十分な演奏データのみを配信することが可能となり、演奏録音システムに実践上有益なる効果を付帯させることができる。
尚、この場合、サーバ装置は、一個のコンピュータ装置であってもよいし、複数のコンピュータ装置から構成されていてもよい。後者の場合、演奏セッションの進行を管理する管理用のサーバ装置と、演奏セッションの録音処理を行う録音用のサーバ装置と、演奏セッションを最終的にコンテンツとして保存するコンテンツ保存用のサーバ装置とを含んでサーバ装置が構成されてもよい。判定装置に係る実施形態との整合を考える場合、判定装置に係る実施形態は、このサーバ装置のいずれかに備わるのが好適である。
尚、後者の態様における管理用のサーバ装置とは、例えばインターネット等の広域ネットワークの形態を採り得るネットワークを通じて展開される、例えば商業的サービスとしての演奏録音システムを提供するためのウェブサイトを制御するサーバ装置であってもよい。この場合、管理用のサーバ装置は、このウェブサイトを利用して演奏セッションを行おうとする複数のユーザに対応する複数の端末装置の各々について、ネットワークの状態の監視、ユーザの識別、端末装置と録音用のサーバ装置との仲介等を行うように構成されていてもよい。
尚、演奏録音システムの実施形態に係るサーバ装置は、例えば、好適な一形態として、所定のサービスを提供する事業者が所有するコンピュータ装置又はコンピュータシステムであってもよい。この場合、例えば利用者と然るべき契約を締結した上で、当該利用者に限定して、自己が保有するコンテンツとしての演奏データを配信する構成となっていてもよい。また、このサーバ装置は、例えば、利用者が、後述する端末装置として機能し得る各種コンピュータ装置、コンピュータシステム又はそれに類する装置を介して要求した演奏データを配信する。このようなコンテンツとしての演奏データの要求及び配信は、より具体的には、ネットワーク上に、サーバ装置と利用者との間のインターフェイスとして構築されるウェブサイトやホームページ等を通じてなされてもよい。
尚、演奏録音システムの実施形態に係る端末装置は、例えば、好適な一形態として、内蔵又は外付けされるマイクロフォンを介して音声信号を集音する機能と、例えば内蔵又は外付けされるスピーカ及び/又はディスプレイを介して音声信号を再生する機能又はストリーミング再生する機能とを有する装置である。この端末装置は、例えば、然るべき制御プログラムが実行されることによって、この端末装置として機能するように構成された、パーソナルコンピュータ又はそれに順ずるコンピュータ装置であってもよい。或いは、この端末装置は、例えば、パーソナルコンピュータ又はそれに順ずるコンピュータ装置において然るべき制御プログラムが実行されることによってこの端末装置として機能するように構成された、演奏者と上記ウェブサイトやホームページ或いは他の演奏者とのインターフェイスとなる装置であってもよい。
本発明の判定装置に係る実施形態の一態様では、前記判定手段は、前記検出された音量が基準音量未満となる期間が重複した状態が基準時間以上継続する場合に、前記重複する期間に該当する時期を前記二つの楽曲の境界であると判定する(請求項2)。
楽曲の境界は多くの場合無音期間であるが、無音期間は場合によっては一の楽曲の途中でも生じ得る。そのような無音期間を楽曲の境界と判定するのは誤判定であり回避すべきである。この態様によれば、上述した境界候補の重複期間が検出されることに加え、当該重複期間の長さが基準時間以上であることが、境界判定の一条件とされる。これは、一般的な傾向として、重複期間が長ければ、その分だけ楽曲の境界である可能性が高まり、逆に楽曲の構成により生じる楽曲中の無音期間である可能性は減少することに由来する。従って、この態様によれば、楽曲の境界をより正確に判定することができる。
尚、この態様では、前記複数の楽曲のテンポを検出するテンポ検出手段を更に具備し、前記音量が基準音量未満となる期間の長さは、拍の数によってカウントされ、前記基準時間は、拍の数により規定されてもよい(請求項3)。
楽曲には、例えばBPM(Beat Per Minute)等の指標により規定されるテンポがある。このテンポは、楽曲毎に適正値はあるにせよ、基本的に演奏態様や演奏意図によってどのようにも変化し得る。一方で、複数の楽曲パートにおける境界候補の重複期間の長さは、テンポの速い楽曲程、一般的には短くなり易い。従って、この重複期間の長さが純然たる時間値として計測される場合、楽曲のテンポに応じて境界の判定精度がばらつく可能性がある。
一方、時間当たりの拍数は、テンポが速い程多くなるから、このように拍の数によって重複期間の長さが規定された場合には、楽曲の境界判定に係る判定精度をテンポに応じて概ね安定ならしめることが可能となる。
本発明の判定装置に係る実施形態の他の態様では、前記基準音量を設定する基準音量設定手段を更に具備する(請求項4)。
この態様によれば、基準音量設定手段により、楽曲パートの各々について適正な基準音量を定めることができるため、楽曲の境界をより正確に判定することができる。尚、基準音量設定手段は、相対的に音量の小さい楽曲パートについては相対的に小さくなるように、また相対的に音量の大きい楽曲パートについては相対的に大きくなるように、夫々基準音量を設定してもよい。
尚、この態様では、前記基準音量設定手段は、前記複数の楽曲パートの各々について、前記音量の最大値の所定割合に相当する音量を前記基準音量として設定してもよい(請求項5)。
この場合、基準音量が、録音時の音量の最大値に応じて変化するため、例えば、楽曲パートに固有の性質或いは録音環境等に起因して他の楽曲パートに対して音量が小さくなり易い楽曲パートについては、基準音量も小さくなる。従って、楽曲パート相互間における無音区間の検出精度に公平性を与えることができ、楽曲の境界をより正確に判定することができる。
尚、このように、音量の最大値に対する割合として基準音量を定める代わりに、音量の最大値が各楽曲パートで等しくなるように各楽曲パートの音量を規格化した上で、固定値としての基準音量を適用しても、全く同様の効果を得ることができる。即ち、これらの間には、楽曲パート毎の録音時の音量特性の差異を当該音量で吸収するか、基準音量で吸収するかの差異があるのみである。
<判定方法の実施形態>
本発明の判定方法に係る実施形態は、相互に独立して録音された、複数の楽曲を含む楽曲群を構成する複数の楽曲パートの各々について、録音時の音量が検出される音量検出工程と、前記複数の楽曲パートの各々について、前記検出された音量が基準音量未満となる期間が重複する場合に、該重複する期間に該当する時期が、前記複数の楽曲のうち前記重複する期間を挟む二つの楽曲の境界であると判定される判定工程とを具備する(請求項6)。
判定方法の実施形態によれば、上記判定装置に係る実施形態の各手段と同等の作用を実現する各工程により、上記判定装置に係る実施形態と同様に、楽曲の境界を簡便且つ正確に判定することができる。
<コンピュータプログラムの実施形態>
本発明のコンピュータプログラムに係る実施形態は、コンピュータシステムを請求項1に記載の判定手段として機能させる(請求項6)。
本発明のコンピュータプログラムに係る実施形態によれば、当該コンピュータプログラムを格納するROM、CD−ROM、DVD−ROM、ハードディスク等の記録媒体或いはUSB(Universal Serial Bus)メモリ等コンピュータシステムに着脱可能な固体型記憶装置から、当該コンピュータプログラムをコンピュータシステムに読み込んで実行させれば、或いは、当該コンピュータプログラムを、例えば、通信手段等を介してコンピュータシステムにダウンロードさせた後に実行させれば、上述した本発明の判定装置に係る実施形態における判定手段を比較的簡単に実現できる。
<記録媒体の実施形態>
本発明の記録媒体に係る実施形態は、本発明のコンピュータプログラムに係る実施形態が記録される(請求項7)。
本発明の記録媒体に係る実施形態によれば、コンピュータシステムに装着又は接続することによって、或いはコンピュータシステムに備わる又は接続された然るべき読取装置に挿入することによって、記録している本発明のコンピュータプログラムに係る実施形態を、コンピュータシステムに読み込ませて実行させることができ、上述した本発明の判定装置に係る実施形態における判定手段を比較的簡単に実現できる。
本発明のこのような作用及び他の利得は、これ以降に説明する実施例により明らかにされる。
以下、適宜図面を参照し、本発明を実現するにあたって好適な各種の実施例について説明する。
<第1実施例>
本発明の判定装置に係る実施例として、演奏録音システム10について説明する。
<実施例の構成>
<演奏録音システム10の構成>
始めに、図1を参照し、演奏録音システム10の構成について説明する。ここに、図1は、演奏録音システム10の概念を説明する図である。
図1において、演奏録音システム10は、管理サーバ100、録音サーバ200及びコンテンツサーバ300を含むサーバ装置群と、ユーザA、ユーザB、ユーザC及びユーザDに夫々使用される端末装置400A、端末装置400B、端末装置400C及び端末装置400Dを含む端末装置群とが、ネットワーク11に収容されてなるシステムである。ネットワーク11は、インターネット等の広域ネットワークであり、このサーバ装置群は、有線のLAN(Local Area Network)12を介してこのネットワーク11に収容されている。
尚、図1では、説明の煩雑化を防ぐ目的から、4名のユーザにより演奏録音システム10が利用される構成となっているが、個々の端末装置を介して演奏録音システム10を利用するユーザの数に制限は無い。これ以降、図示されるユーザA、B、C及びDを区別する必要がない場合には、適宜「ユーザ」なる包括表現を用いることとする。同様に、図示される端末装置400A、400B、400C及び400Dを区別する必要がない場合には、適宜「端末装置400」なる包括表現を用いることとする。尚、ユーザは端末装置400を利用する不特定の人間を包括するものであって、必ずしも端末装置400の所有者でなくともよい。
演奏録音システム10は、演奏録音配信サービスを提供するシステムであり、例えば上記サーバ装置群を保有する不図示の事業者との間に所定の利用契約を締結したユーザのみが利用可能な構成となっている。但し、このようなシステムの役割及び性質もまた、演奏録音システムが採り得る実施例の一つに過ぎない。
演奏録音システム10は、大別して、演奏録音機能(演奏のアップロード機能)と演奏配信機能(演奏のダウンロード機能)との二種類の機能を備える。
演奏録音機能とは、ユーザにより行われた演奏を、その楽音信号又は楽音信号を復元可能な情報を含む所定規格の演奏データに変換し、録音サーバ200の物理的記憶領域の一部である録音トラックに記録する機能である。演奏録音システム10では特に、この録音サーバ200は演奏の録音に特化しており、録音トラックに記録された演奏データは、最終的にコンテンツサーバ300にコンテンツとして格納される。録音される演奏は、ユーザが独自に行った演奏であってもよいし、ユーザが演奏配信機能により配信され再生された演奏と擬似的な演奏セッションを行った際の演奏であってもよいし、ユーザが他のユーザとの相互同意の下でリアルタイムに行った演奏セッションの一演奏パートに関する演奏であってもよい。コンテンツサーバ300に格納された演奏データは、演奏録音システム10を利用可能な全てのユーザにより等しく利用され得る。
演奏配信機能とは、コンテンツサーバ300に格納される、コンテンツとしての演奏データの中から、ユーザが要求する演奏データを選択的に配信する機能である。ユーザが所有する端末装置400には、この演奏データに基づいて演奏を再生する機能が備わっており、ユーザは、この再生される演奏を自由に楽しむことができる。この演奏データは、例えば、予めシステム側でサンプルとして与えられた多様な楽曲ジャンル、演奏ジャンル或いは楽器ジャンルに属する各種の演奏データと、上述した演奏録音機能を利用して録音された、様々な楽曲に関する一又は複数の演奏パートの演奏に関する演奏データとを含む。後者における「一又は複数の演奏パート」とは、本実施例における、複数の演奏パートから構成される演奏セッションにおける一又は複数の演奏パートを含む。尚、この演奏パートは、本発明に係る「楽曲パート」の一例である。
演奏録音システム10では、ネットワーク11に構築された(即ち、URLが割り当てられた)不図示のウェブサイトを介して、上述した機能が実現される。例えば、ユーザは、端末装置400を介してこのウェブサイトにアクセスすることにより、所望する楽曲、演奏パート又は演奏セッションを検索したり、その配信を要求したりすることができる。或いは、所望する楽器や演奏者を検索して、それらに対応する楽曲、演奏パート又は演奏セッションの配信を要求することができる。ユーザはまた、端末装置400を介してこのウェブサイトにアクセスすることにより、自身が行う演奏に関する演奏データを、録音サーバ200を経由してコンテンツサーバ300にアップロードすることができる。
尚、演奏録音システムの実践的態様は、演奏録音システム10に限定されず変更可能である。例えば、演奏録音システムは、演奏録音システム10に係るサービスを、不特定多数の利用者に無償で提供するものであってもよい。
次に、演奏録音システム10を構成する各装置の詳細について説明する。
<管理サーバ100の構成>
始めに、図2を参照し、管理サーバ100の構成について説明する。ここに、図2は、管理サーバ100のブロック図である。尚、同図において、図1と重複する箇所には同一の符号を付してその説明を適宜省略することとする。
図2において、管理サーバ100は、演奏録音システム10を運営する事業者が保有するコンピュータ装置である。
管理サーバ100は、上述したウェブサイトの運用を管理すると共に運用状況を監視しており、例えばユーザから演奏の録音や配信が要求された場合に、これらの要求に対する応答動作が行われるように録音サーバ200及びコンテンツサーバ300を制御する構成となっている。
管理サーバ100は、制御装置110及び通信インターフェイス(I/F)120を備える。
制御装置110は、CPU(Central Processing Unit)、ROM(Read Only Memory)及びRAM(Random Access Memory)等を含む演算処理ユニットである。制御装置110は、このCPUが所定の制御プログラムを実行することにより機能する、要求処理部111及びWEB制御部112の各処理ユニットを備える。
要求処理部111は、ウェブサイトを経由して不定期に発生する各種の要求並びに録音サーバ200及びコンテンツサーバ300から不定期に発生する各種の要求を処理する処理ユニットである。具体的には、要求処理部111は、ユーザからウェブサイトを通じてなされる、アクセス要求、演奏配信要求及び演奏録音要求等の各種要求に対し、これら要求に応じた処理(例えば、認証処理、演奏配信制御処理及び演奏録音制御処理等)を実行するように構成されている。また、録音サーバ200やコンテンツサーバ300から各種の情報が要求された場合に、これら各サーバに対して必要な情報を供給するように構成されている。
WEB制御部112は、ウェブサイトを制御する処理ユニットである。具体的には、WEB制御部112は、例えばウェブサイトにおけるユーザのアクセス管理や、ウェブサイトの更新処理及びメンテナンス処理を実行するように構成されている。
通信I/F120は、LAN12と管理サーバ100との間のデータ通信を実現するための、所定の通信規格に準じたインターフェイスである。尚、LAN12は、インターネット等の広域ネットワークであるネットワーク11に収容されており、通信I/F120は、管理サーバ100と録音サーバ200及びコンテンツサーバ300とのデータ通信の他、管理サーバ100と端末装置400との間のデータ通信にも使用される。尚、通信I/F120は、有線で接続されたこれらサーバ装置相互間のデータ通信については、時間遅延を無視し得る速度でこれを行うことができるものとする。
<録音サーバ200の構成>
次に、図3を参照し、録音サーバ200の構成について説明する。ここに、図3は、録音サーバ200のブロック図である。尚、同図において、図1と重複する箇所には同一の符号を付してその説明を適宜省略することとする。
図3において、録音サーバ200は、演奏録音システム10を運営する事業者が保有するコンピュータ装置であり、制御装置210、通信インターフェイス(I/F)220、受信バッファ230及び記憶装置240を備える。
制御装置210は、CPU、ROM及びRAM等を含む演算処理ユニットである。制御装置210は、このCPUが所定の制御プログラムを実行することにより機能する、要求処理部211及びデータ補正部212の各処理ユニットを備える。
要求処理部211は、管理サーバ100からの要求を処理する処理ユニットである。具体的には、要求処理部211は、管理サーバ100が演奏録音制御処理を実行する過程において演奏の録音を要求した場合に、所定の録音処理を実行するように構成されている。
データ補正部212は、後述するデータ補正処理により演奏データを補正する処理ユニットである。データ補正部212は、録音処理により複数の演奏パートから構成される演奏セッションを録音する場合において、複数の端末装置400から送信される演奏データ又は記憶装置240に記憶された演奏データを補正するように構成されている。データ補正部212により行われる演奏データの補正は大別二種類ある。一方は複数の演奏パート相互間で演奏開始タイミングを同期させる補正であり、他方は一の演奏パートにおいて楽曲の境界を検出する補正である。これらのデータ補正については後述する。
尚、本発明の判定装置と本実施例との対比の上では、データ補正部212は、本発明に係る「音量検出手段」、「判定手段」、「テンポ検出手段」及び「基準音量設定手段」の一例である。また、データ補正部212の動作により実現される演奏データの補正は、本発明に係る「音量検出工程」及び「判定工程」の一例である。また、録音サーバ200の制御装置210をデータ補正部212として機能させる制御プログラムは、本発明に係る「コンピュータプログラム」の一例である。また、この制御プログラムは、録音サーバ200における所定の記憶装置(記憶装置240でもよい)における記録媒体(記憶装置240であればHD)に格納される。この記録媒体は、本発明に係る「記録媒体」の一例である。
尚、要求処理部211により実行される録音処理は、必ずしもこの種のリアルタイムな演奏セッションの録音を目的としたものに限定されない。例えば、ユーザが単独で行う演奏が録音されてもよい。この場合には、演奏開始タイミングに関する補正は不要である。但し、後々、この単独の演奏との演奏セッションを希望するユーザが現れ得ることを考慮すれば、このような単独演奏が録音される場合においても、演奏データには後述する同期信号が重畳されているのが望ましい。また、実際に端末装置400において生成される演奏データには、常時同期信号を重畳することができる。
通信I/F220は、LAN12と録音サーバ200との間のデータ通信を実現するための、所定の通信規格に準じたインターフェイスである。尚、LAN12は、インターネット等の広域ネットワークであるネットワーク11に収容されており、通信I/F220は、録音サーバ200と管理サーバ100及びコンテンツサーバ300とのデータ通信の他、録音サーバ200と端末装置400との間のデータ通信にも使用される。尚、通信I/F220は、有線で接続されたこれらサーバ装置相互間のデータ通信については、時間遅延を無視し得る速度でこれを行うことができるものとする。
受信バッファ230は、端末装置400から送信される演奏データを一時的に蓄積するバッファとして機能する揮発性記憶装置である。受信バッファ230のバッファ容量は、演奏データのデータサイズに対して十分に大きいものとする。
記憶装置240は、例えばHD(Hard Disk)等の比較的大容量の記録媒体を備えた記憶装置である。記憶装置240には、演奏を録音するための複数の録音トラックRT1、RT2、・・・、RTxxが形成されており、一の録音トラックが一の演奏データに対応する構成となっている。即ち、録音サーバ200は、一種のMTR(Multi Track Recorder)としての機能を有している。記憶装置240の個々の録音トラックには、要求処理部211による録音処理の実行過程において端末装置400から随時送信される複数の演奏データのうち、一の演奏パートに対応する演奏データが割り当てられる。尚、これ以降、個々の録音トラックを区別する必要がない場合には、適宜「録音トラックRT」なる包括表現を用いることとする。
<コンテンツサーバ300の構成>
次に、図4を参照し、コンテンツサーバ300の構成について説明する。ここに、図4は、コンテンツサーバ300のブロック図である。尚、同図において、図1と重複する箇所には同一の符号を付してその説明を適宜省略することとする。
図4において、コンテンツサーバ300は、演奏録音システム10を運営する事業者が保有するコンピュータ装置であり、制御装置310、通信インターフェイス(I/F)320、受信バッファ330、送信バッファ340及び記憶装置350を備える。
制御装置310は、CPU、ROM及びRAM等を含む演算処理ユニットである。制御装置310は、このCPUが所定の制御プログラムを実行することにより機能する処理ユニットとしての要求処理部311を備える。
要求処理部311は、管理サーバ100及び録音サーバ200からの要求を処理する処理ユニットである。具体的には、要求処理部311は、管理サーバ100が演奏配信制御処理を実行する過程において演奏の配信を要求した場合に、所定の配信処理を実行するように構成されている。また、要求処理部311は、録音処理が実行される過程において録音サーバ200から供給される補正後の演奏データを、所定の記憶処理により記憶装置350に記憶させるように構成されている。この記憶処理は、録音サーバ200から供給される補正後の演奏データを、演奏セッション毎に、例えば演奏者、楽曲名及び演奏パート等の各種参照情報を付帯させた上で、後述するセッションデータとして記憶させる処理である。
通信I/F320は、LAN12とコンテンツサーバ300との間のデータ通信を実現するための、所定の通信規格に準じたインターフェイスである。尚、LAN12は、インターネット等の広域ネットワークであるネットワーク11に収容されており、通信I/F320は、コンテンツサーバ300と管理サーバ100及び録音サーバ200とのデータ通信の他、コンテンツサーバ300と端末装置400との間のデータ通信にも使用される。尚、通信I/F320は、有線で接続されたこれらサーバ装置相互間のデータ通信については、時間遅延を無視し得る速度でこれを行うことができるものとする。
受信バッファ330は、録音サーバ200から供給される演奏データを一時的に蓄積するバッファとして機能する揮発性記憶装置である。
送信バッファ340は、記憶装置350に記憶された演奏データを端末装置400に配信する際のバッファとして機能する揮発性記憶装置である。
記憶装置350は、例えばHD(Hard Disk)等の比較的大容量の記録媒体を備えた記憶装置である。記憶装置350は、録音サーバ200から録音処理の実行過程において供給される補正後の演奏データを、要求処理部311により実行される記憶処理において、演奏セッション毎にセッションデータとして記憶する構成となっている。記憶装置350に記憶されるセッションデータについては後述する。
<端末装置400の構成>
次に、図5を参照し、端末装置400の構成について説明する。ここに、図5は、端末装置400のブロック図である。尚、同図において、図1と重複する箇所には同一の符号を付してその説明を適宜省略することとする。
図5において、端末装置400は、制御装置410、通信インターフェイス(I/F)420、受信バッファ430、送信バッファ440及び表示部450を備える。
制御装置410は、CPU、ROM及びRAM等を含む演算処理ユニットである。制御装置410は、このCPUが所定の制御プログラムを実行することにより機能する、要求処理部411、再生制御部412、録音処理部413及び表示制御部414の各処理ユニットを備える。
要求処理部411は、ユーザにより不図示の各種入力装置(例えば、キーボードやタッチパネル装置)を介して入力された各種コマンドに対応する処理や、管理サーバ100からネットワーク11を介して送信される要求に対応する処理を実行する処理ユニットである。具体的には、要求処理部411は、例えば、表示部450の表示内容を制御するための表示制御部414の制御、ウェブサイトへのアクセス要求やウェブサイトでの入力コマンドに応じた管理サーバ100へのアクセス制御、演奏セッションの実行要求及び演奏セッションの録音要求に応じた録音処理部413の制御、演奏データの再生要求に応じた再生制御部412の制御等を実行する。
再生制御部412は、コンテンツサーバ300から配信される演奏データに基づいて演奏のストリーミング再生を行う処理ユニットである。より具体的には、再生制御部412は、受信バッファ430に所定量の演奏データが蓄積された段階で、順次この蓄積された演奏データを読み出し、楽音信号に復元して再生する。再生制御部412は、スピーカ500と電気的に接続されており、端末装置400において再生制御部412により再生された演奏は、このスピーカ500から音声として出力される構成となっている。尚、本実施例では、スピーカ500が端末装置400に外付けされる構成としたが、端末装置400がスピーカ500を内蔵していてもよい。
録音処理部413は、音声信号を演奏データに変換する処理ユニットである。録音処理部413は、集音装置としてのマイクロフォン600と電気的に接続されており、ユーザにより録音操作がなされた場合に、このマイクロフォン600を介して入力される音声信号(演奏の場合には楽音信号)からWAVEファイル形式(即ち、上述の所定規格の一例である)の演奏データを生成するように構成されている。演奏データのサンプリングレートは、44.1kHz、22.05Hz、11.025kHzの中から適宜選択可能である。また、録音処理部413は、生成された演奏データを通信I/F420を介して録音サーバ200に送信するように構成されている。尚、録音処理部413による演奏の録音は、管理サーバ100による録音制御処理及び録音サーバ200による録音処理と協調して実行される。
表示制御部414は、端末装置400の表示部250の表示状態を制御する処理ユニットである。
通信I/F420は、ネットワーク11との間のデータ通信を実現するための、所定の通信規格に準じたインターフェイスである。尚、端末装置400は、通信I/F420を介して、上述した各種サーバとの間でデータ伝送を行うことができる他、相異なる端末装置同士で、直接データ伝送を行うことができる。後者のデータ伝送方式は、例えば、公知のP2P(Peer to Peer)等の通信方式が利用される。
受信バッファ430は、コンテンツサーバ300から配信される演奏データを一時的に蓄積するバッファとして機能する揮発性記憶装置である。
送信バッファ440は、録音処理部413により生成される演奏データを一時的に蓄積するバッファとして機能する揮発性記憶装置である。
表示部450は、ユーザに対して視覚情報を表示するためのディスプレイ装置である。表示部450は、上述したウェブサイトを表示可能に構成される。
<録音トラックの詳細>
次に、図6を参照して、録音サーバ200の記憶装置240における録音トラックRTの詳細について説明する。ここに、図6は、録音トラックにおける演奏データの記録状態を概念的に説明する図である。
図6において、縦軸には、RT1、RT2及びRT3の三個の録音トラックが表されている。横軸には、各録音トラックのトラック位置が表されている。このトラック位置は一種の時間情報に相当し、横軸は時間軸と等価な意味を有している。
図6には、一楽曲がmpa、mpb及びmpcの三種類の演奏パートから構成され且つM1、M2及びM3の三個の楽曲から構成される一の演奏セッションs1(一種の楽曲ストリームである)が録音された状態が示されている。尚、本実施例では便宜上、演奏パートmpaがユーザAの演奏パートに、演奏パートmpbがユーザBの演奏パートに、演奏パートmpcがユーザCの演奏パートに夫々対応しているとする。
図6において、録音トラックRT1には演奏パートmpa(即ち、ユーザA)が割り当てられている。トラック位置0001からトラック位置00ggまでは楽曲M1に相当し、このトラック区間の演奏データが、演奏セッションs1における楽曲M1の演奏パートmpaに対応する演奏データである演奏パートデータS1M1mpaとなる。同様に、トラック位置00ggからトラック位置00kkまでは楽曲M2に相当し、このトラック区間の演奏データが、演奏セッションs1における楽曲M2の演奏パートmpaに対応する演奏データである演奏パートデータS1M2mpaとなる。同様に、トラック位置00kkからトラック位置00ppまでは楽曲M3に相当し、このトラック区間の演奏データが、演奏セッションs1における楽曲M3の演奏パートmpaに対応する演奏データである演奏パートデータS1M3mpaとなる。
また、図6において、録音トラックRT2には演奏パートmpb(即ち、ユーザB)が割り当てられている。トラック位置0001からトラック位置00ggまでは楽曲M1に相当し、このトラック区間の演奏データが、演奏セッションs1における楽曲M1の演奏パートmpbに対応する演奏データである演奏パートデータS1M1mpbとなる。同様に、トラック位置00ggからトラック位置00kkまでは楽曲M2に相当し、このトラック区間の演奏データが、演奏セッションs1における楽曲M2の演奏パートmpbに対応する演奏データである演奏パートデータS1M2mpbとなる。同様に、トラック位置00kkからトラック位置00ppまでは楽曲M3に相当し、このトラック区間の演奏データが、演奏セッションs1における楽曲M3の演奏パートmpbに対応する演奏データである演奏パートデータS1M3mpbとなる。
また、図6において、録音トラックRT3には演奏パートmpc(即ち、ユーザC)が割り当てられている。トラック位置0001からトラック位置00ggまでは楽曲M1に相当し、このトラック区間の演奏データが、演奏セッションs1における楽曲M1の演奏パートmpcに対応する演奏データである演奏パートデータS1M1mpcとなる。同様に、トラック位置00ggからトラック位置00kkまでは楽曲M2に相当し、このトラック区間の演奏データが、演奏セッションs1における楽曲M2の演奏パートmpcに対応する演奏データである演奏パートデータS1M2mpcとなる。同様に、トラック位置00kkからトラック位置00ppまでは楽曲M3に相当し、このトラック区間の演奏データが、演奏セッションs1における楽曲M3の演奏パートmpcに対応する演奏データである演奏パートデータS1M3mpcとなる。
ユーザA、B及びCがリアルタイムに行う演奏セッションs1に対応して各ユーザの端末装置400で生成される演奏データは、演奏セッションs1の開始から終了まで連続した一の演奏データである。即ち、演奏データは楽曲毎には生成されない。リアルタイムに行われる演奏セッションの性格上、それは極めて一般的であり且つ妥当である。従って、図6に例示されるように演奏セッションを各演奏パートについて楽曲毎に演奏データ化するためには、録音サーバ200において、連続した一のデータストリームの中から楽曲の境界を検出する必要がある。録音サーバ200のデータ補正部212における、上述した演奏データの補正の一環としての楽曲の境界検出(頭出し)は、このような目的から行われる。この楽曲の境界検出の詳細については後述する。
<セッションデータの詳細>
次に、図7を参照して、コンテンツサーバ300の記憶装置350に記憶されるセッションデータの詳細について説明する。ここに、図7は、記憶装置350に記憶されたセッションデータを概念的に説明する図である。
図7において、コンテンツサーバ300に記憶される演奏データの最小単位は、一演奏セッションの一楽曲における一演奏パートのデータである。これは、図6を参照すれば、S1M1mpa、S1M2mpa、S1M3mpa、S1M1mpb、S1M2mpb、S1M3mpb、S1M1mpc、S1M2mpc及びS1M3mpcの各演奏パートデータに相当する。
一方、これら演奏パートデータを単に記憶するだけでは、後々、他のユーザからの配信要求に好適に応えることが難しい。そこで、コンテンツサーバ300では、演奏セッション毎に演奏データが管理され、一の演奏セッションについては楽曲毎に演奏データが管理される。具体的には、演奏セッションs1に対応する上記九個の演奏パートデータは、演奏パートデータS1M1mpa、S1M1mpb及びS1M1mpcを含む一個の楽曲データS1M1、演奏パートデータS1M2mpa、S1M2mpb及びS1M2mpcを含む一個の楽曲データS1M2並びに演奏パートデータS1M3mpa、S1M3mpb及びS1M3mpcを含む一個の楽曲データS1M3の合計三個の楽曲データに分類される。そして、これら三個の楽曲データから演奏セッションs1に対応するセッションデータS1が構成される。尚、コンテンツサーバ300による演奏データの配信は、演奏パートデータ毎に行われてもよいし、楽曲データ毎に行われてもよいし、セッションデータ毎に行われてもよい。
また、図7には、セッションデータS1の他に、演奏セッションs1と異なる演奏セッションs2に関するセッションデータS2も示されている。演奏セッションs2は、M1及びM2の二種類の楽曲から構成され、各楽曲がmpa、mpb、mpc及びmpdの四種類の演奏パートから構成される。尚、楽曲M1及びM2は、演奏セッションにおける一個目の楽曲及び二個目の楽曲という意味であり、演奏セッションs1の楽曲M1、M2及びM3とは無論、異なっていてよい。演奏パートについても同様に、演奏パートmpa、mpb、mpc及びmpdは、演奏セッションにおける一個目の演奏パート、二個目の演奏パート、三個目の演奏パート及び四個目の演奏パートという意味であり、演奏セッションs1の演奏パートmpa、mpb及びmpcと異なっていてよい。
セッションデータS2は、楽曲データS2M1及びS2M2から構成される。また、楽曲データS2M1は、演奏パートデータS2M1mpa、S2M1mpb、S2M1mpc及びS2M1mpdから構成され、楽曲データS2M2は、演奏パートデータS2M2mpa、S2M2mpb、S2M2mpc及びS2M2mpdから構成される。コンテンツサーバ300では、多数の演奏セッションについて、このように演奏データが格納されている。
尚、コンテンツサーバ300の要求処理部311は、録音サーバ200から演奏データを受け取る際に、演奏セッションが行われた日時に関する情報、参加したユーザのID情報、演奏パートの情報、楽器の情報、楽曲情報及びテンポの情報等を参照情報として併せて取得する。この取得された参照情報は、コンテンツサーバ300に格納される演奏データの各々に付帯され、ウェブサイト上での閲覧も可能とされる。尚、これら参照情報の入手経路は一義に限定されない。例えば、これら参照情報は、サーバ装置群においてユーザとのインターフェイスを担う管理サーバ100が演奏セッションを管理するための情報としてユーザからの入力情報を基に取得していてもよい。この場合、コンテンツサーバ300は、管理サーバ100とのデータ通信により比較的簡便にこの種の参照情報を取得することができる。
尚、本実施例では、管理サーバ100、録音サーバ200及びコンテンツサーバ300の三個のサーバ装置が一のサーバ装置群として協調して演奏録音システム10を構成しているが、演奏録音システム10は、これら各サーバ装置の代わりに、これらの各サーバ装置の機能を併有する一個のサーバ装置を備えていてもよい。
<実施例の動作>
次に、本実施例の動作について説明する。
<演奏セッションの録音に関する基本制御>
始めに、図8を参照して、演奏録音システム10における演奏セッションの基本的な録音処理について説明する。ここに、図8は、演奏セッションの基本的な録音処理における各装置の動作を時系列で表してなるタイミングチャートである。尚、この基本的な録音処理は、後述する実際の録音処理の前提となる処理であって、一面的には比較例としての意味を有する。また、図8に例示される基本的な録音処理は、あくまで演奏録音システム10で進行し得る処理の一例を示すものであって、各装置の動作内容並びに各ステップの動作主体及び実行タイミング等は、如何様にも変更することができる。
特に、複数のユーザ相互間でリアルタイムに演奏セッションを行いつつ、その演奏セッションを録音する一連の処理は、ウェブサイトにおけるユーザインターフェイスの設計にも大きく依存するところである。ウェブサイトのユーザインターフェイスの設計は自由度が高いから、例えば、想定するユーザの技量や数、想定する通信環境及び提供しようとするサービス内容等に応じて、各種の変更やカスタマイズを行うことができる。そのような各種の変更やカスタマイズに応じて、演奏録音システム全体における各装置の動作内容や動作タイミングは適宜変化し得る。
図8において、左から順に、端末装置400A、400B、400C、管理サーバ100、録音サーバ200及びコンテンツサーバ300が表されている。縦軸は時間軸である。
先ず、端末装置400Aにおいて、管理サーバ100に対し、ウェブサイトを介して演奏セッションの録音要求が送信される(ステップS10)。この録音要求は、ユーザA、ユーザB及びユーザCによりなされる、セッション相手の指定を伴った、一の演奏セッションの録音要求であり、管理サーバ100に対する、先述した演奏録音制御処理の実行要求である。また、同様の録音要求は、端末装置400B及び400Cからも送信される(ステップS20、S30)。
管理サーバ100は、演奏セッションに参加する予定の各ユーザに対応する各端末装置(ここでは、端末装置400A,400B及び400C)から録音要求が送信されたことを確認すると、ウェブサイトの表示画面を、演奏セッション録音用の画面に切り替える。この演奏セッション録音用の画面には、各端末装置相互間でP2P(Peer to Peer)方式でのデータ通信の開始を促すインフォメーションが表示される。
このインフォメーションの表示を受け、各端末装置では、P2P方式による相互接続が開始される。具体的には、端末装置400Aと端末装置400Cとの間でP2P方式による通信回線が確立され(ステップS40)、端末装置400Aと端末装置400Bとの間でP2P方式による通信回線が確立され(ステップS50)、端末装置400Bと端末装置400Cとの間でP2P方式による通信回線が確立される(ステップS60)。管理サーバ100は、各端末装置から管理サーバ100に定期的に通知される接続状況に関する情報に基づいて、各端末装置相互間でP2P方式による通信回線が確立されたか否かを判定することができる。各端末装置相互間でP2P方式による通信回線が確立された旨の判定が下されると、管理サーバ100から各端末装置に対し、演奏セッションの録音準備が完了した旨が通知される(ステップS70、S80、S90)。
ここで、端末装置400A、400B及び400C相互間でP2P方式の通信回線が確立されると、一の端末装置においてマイクロフォン600に集音された音声が、他の端末装置に接続されたスピーカ500を介して出力される状態となる。具体的には、各端末装置に備わる録音処理部413により、マイクロフォン600から出力される音声信号が演奏データ化され、送信バッファ440に送出される。送信バッファ440に蓄積された演奏データは、通信I/F420を介し、P2P方式の通信回線により他の端末装置に送信される。一方、他の端末装置では、送信される演奏データが一時的に受信バッファ430に蓄積され、順次再生制御部412による再生処理により音声信号化されてスピーカ500から出力される。このようにして、一の端末装置の設置拠点において、他の端末装置の設置拠点における音声をリアルタイムに聴取することが可能となる。即ち、各端末装置の設置拠点においてリアルタイムな演奏セッションが可能となる。
尚、厳密には、P2P方式による通信回線においても伝送遅延はゼロではない。簡略的には、一の端末装置から他の端末装置へ演奏データを伝送するための遅延がa、その演奏データにより再生される演奏に同期して行われる演奏に係る演奏データが他の端末装置から一の端末装置へ伝送される際の遅延がbであるとすれば、一の端末装置に対応するユーザは、自己の演奏に対するセッション相手の演奏をa+bに相当する遅延を経て視聴することになる。しかしながら、P2P方式の通信回線が確立されていることと、演奏セッションに参加する複数のユーザ(端末装置)のみからなる閉じた通信回線では、送受されるデータが演奏データのみであることとに鑑みれば、現実的には、演奏セッションのリアルタイム性を損なう程度の伝送遅延は生じ難い。また、例えば、本実施例のように、端末装置400における録音処理部413のサンプリングレートが複数種類の中から選択可能である場合、伝送遅延が生じない範囲で最も高品質なサンプリングレートを選択するといったアプローチも可能である。更に言えば、演奏セッションのリアルタイム性を確保するための制御上の仕組みは、本発明とは無関係に構築され得る性質のものである。従って、本実施例では、演奏セッションはそのリアルタイム性が損なわれることなく進行するものとする。
演奏セッションの録音準備が完了した旨が通知されると、例えばユーザAの入力操作に応じて、端末装置400Aから演奏セッションの開始通知信号が送信される(ステップS100、S110、S120)。尚、ここでは、ユーザAが演奏セッションのリーダ役である状況を想定し、ユーザAの入力操作に応じて端末装置400Aから開始通知信号が送信される構成としたが、この開始通知信号は、端的には録音の開始を要求する信号であって、いずれのユーザの入力操作に応じて送信されてもよいし、いずれの端末装置から送信されてもよい。尚、ユーザからの入力操作がない状態では、録音準備完了のまま、処理は一時的に待機状態となる。
管理サーバ100は、演奏セッションの開始通知を受け取ると、演奏録音制御処理を開始し、録音サーバ200に対し録音処理の実行指示に相当する録音指示信号を送信する(ステップS130)。ここで、この録音指示信号には、演奏セッションを構成する演奏パートの情報(例えば、演奏パートの個数、演奏パートの楽器名、演奏パートのテンポ(BPM)等の情報)、ユーザの情報(例えば、ユーザID及び担当する演奏パートの情報等)及び基本情報(日時の情報等)が付帯される。これらの情報は、例えば、演奏セッションの録音要求(ステップS10、S20、S30)の実行に先立ち、各端末装置のユーザが、ウェブサイトの画面を通じて、所定の入力装置の入力操作により入力する情報であり、例えば、録音要求の実行時に各端末装置から管理サーバ100に送信されている。
録音サーバ200において、管理サーバ100からの制御信号である録音指示信号が取得されると、上述した録音処理が開始され、演奏セッションの録音が開始される(ステップS140)。この際、録音指示信号に付帯される上述した各種情報に基づいて、録音サーバ200は、記憶装置240に形成された録音トラックの中からその時点で未使用の録音トラックを三個選択し、演奏セッションを構成する各演奏パートに夫々割り当てる。尚、ここでは説明を分かり易くするため、図6と同様、ユーザA(演奏パートmpa)に録音トラックRT1が、ユーザB(演奏パートmpb)に録音トラックRT2が、ユーザC(演奏パートmpc)に録音トラックRT3が夫々割り当てられるものとする。
録音サーバ200において録音処理が開始されると、録音処理が開始された旨を通知する録音開始通知信号が管理サーバ100に送信される(ステップS141)。また、この録音開始通知信号は、端末装置400A、400B及び400Cに夫々送信される(ステップS142、S143、S144)。尚、録音サーバ200と管理サーバ100との間のデータ伝送は、有線LAN12を介してなされ、録音サーバ200と各端末装置とのデータ伝送は、ネットワーク11を介してなされる。従って、厳密に言えば録音開始通知信号の到達時刻は管理サーバ100と各端末装置との間で、また端末装置相互間で、夫々一致しない。しかしながら、録音開始通知信号は、単に録音処理が開始された旨を通知するだけの信号であり、そのデータサイズは極めて小さい。従って、録音開始通知信号の送信に関し、少なくともユーザに認識され得るレベルの遅延が生じることはなく、実践的には、録音開始通知信号は、管理サーバ100及び各端末装置に略等しいタイミングで到着する。
録音開始通知信号を受け取った端末装置では、録音サーバ200で録音が開始された旨を各ユーザに通知するための処理(例えば、表示部450にその旨を表示する等の処理)がなされ、録音処理部413による演奏データの生成が開始される(ステップS150、S160、S170)。生成される演奏データは、先に述べたように、録音処理部413の制御により順次送信バッファ440に送出され、通信I/F420から順次ネットワーク11を介して録音サーバ200に送信される(ステップS151、S161、S171)。
尚、演奏データの生成開始タイミングが、実際の演奏の開始タイミングと同期している必要は無い。より具体的には、演奏データの生成開始タイミングは、実際の演奏開始タイミングよりも若干早く訪れることが多い。即ち、演奏データの生成開始以降暫時の期間については、いずれの端末装置からも無音の演奏データが送信されてよい。録音開始タイミングの方が遅いと、演奏開始直後の演奏データが録音されない可能性があるからである。一方、演奏開始タイミングは、各ユーザ相互間の同意に基づいたタイミングであり、ユーザ間の取り決めにより如何様にも変化し得る。実践的には、例えばドラムパートを担当するユーザが所定回数のスティック音を鳴らしたり、リーダ役のユーザが掛け声を掛けたり、ユーザ間で形成される何らかの合意の下で演奏が開始されることが多い。無論、リーダパート(リーダ役のユーザが担当する演奏パートとは異なり得る)の演奏をトリガとして演奏が開始されてもよい。
このようにしてリアルタイムな演奏セッションが進行し、端末装置400A、400B及び400Cの各々から個別に演奏データが送信される過程で、演奏セッションが終了すると、例えば端末装置400Aから演奏セッションの終了通知信号が端末装置400B、400C及び管理サーバ100に送信される(ステップS180、S190、S200)。
尚、ここでは、ユーザAが演奏セッションのリーダ役である状況を想定し、ユーザAの入力操作等に応じて端末装置400Aから終了通知信号が送信される構成としたが、この終了通知信号は、端的には録音の終了を要求する信号であって、いずれのユーザの入力操作に応じて送信されてもよいし、いずれの端末装置から送信されてもよい。尚、演奏セッションが終了しても、ユーザからの入力操作がない状態では、いずれの端末装置においても演奏セッションの終了を認知できないため、録音サーバ200による録音は継続する。
管理サーバ100において、演奏セッションの終了を通知する終了通知信号が受信されると、管理サーバ100から録音サーバ200に対して録音の終了が指示される(ステップS210)。管理サーバ100からの録音終了指示を受信すると、録音サーバ200は録音処理を終了する(ステップS220)。録音処理が終了すると、各録音トラックに記録された演奏データが、通信I/F220を介してコンテンツサーバ300に送信される(ステップS230)。この際、先述した録音指示信号に付帯される、演奏セッションを構成する演奏パートの情報(例えば、演奏パートの個数及び演奏パートの楽器名等)、ユーザの情報(例えば、ユーザID及び担当する演奏パートの情報等)及び基本情報(日時の情報等)等も併せて送信される。
コンテンツサーバ300では、記憶処理が実行される(ステップS240)。記憶処理では、録音サーバ200から送信される各演奏パートに対応する演奏データが、上述した各種情報に基づいて前述したセッションデータとして記憶される。演奏録音システムにおける演奏セッションの基本的な録音処理は、例えばこのように進行する。
<記憶された演奏セッションの再生>
次に、図9を参照し、コンテンツサーバにコンテンツとして記憶されている演奏セッションが再生される場合の演奏録音システムの動作について説明する。ここに、図9は、演奏セッションが再生される場合の演奏録音システムの動作概念図である。尚、同図において、既出の各図と重複する箇所には同一の符号を付してその説明を適宜省略することとする。
図9において、図8において説明したユーザA、ユーザB及びユーザCによりリアルタイムに行われた演奏セッションを演奏セッションs1とする。即ち、この演奏セッションs1に係るセッションデータは、先に述べたセッションデータS1である。セッションデータS1は、楽曲データS1M1、S1M2及びS1M3の三種類の楽曲データから構成されている。
ここで、ユーザDが、この演奏セッションs1のうち、楽曲M1の演奏パートmpa及びmpbを再生する一方で、ユーザCの代わりに楽曲M1の演奏パートmpcに相当する演奏を自分で担当し、擬似的に楽曲M1に相当する演奏セッションを再現しようとした場合を考える。
この場合、ウェブサイトを介したユーザDの操作入力に応じて、ユーザDに対応する端末装置400Dから配信希望コンテンツの配信要求が送信される。この配信希望コンテンツは、再生が所望される楽曲M1の演奏パートmpa及びmpbを少なくとも含む。即ち、配信希望コンテンツとは、演奏パートデータS1M1mpa及びS1M1mpbであってもよいし、楽曲データS1M1であってもよいし、セッションデータS1であってもよい。
管理サーバ100は、配信希望コンテンツの指定を受けて、演奏配信制御処理を実行し、コンテンツサーバ300にユーザDへの当該配信希望コンテンツの配信を指示する。コンテンツサーバ300においては、この指示に従って配信処理が開始され、記憶装置350に格納された楽曲データの中から、配信希望コンテンツが選択され(ステップS500)、ネットワーク11を通じて端末装置400Dに送信される(ステップS510)。尚、図9では、配信希望コンテンツとして楽曲データS1M1が選択された様子が示される。尚、コンテンツサーバ300から配信される演奏データは、後述する演奏データの補正処理が施された演奏データである。
端末装置400Dでは、配信された配信希望コンテンツの中から、再生を所望する演奏パートデータのみを再生制御部412に受け渡す。即ち、この場合、演奏パートデータS1M1mpa及びS1M1mpbが再生制御部412に受け渡される(ステップS520)。再生制御部412では、この演奏パートデータを音声信号に復元してスピーカ450から出力させる(ステップS530)。この演奏パートの再生は、ストリーミング再生として実行される。配信された楽曲データS1M1のうち、再生が所望されない演奏パートデータS1M1mpcは、ミュート処理され(ステップS540)、スピーカ500からの出力には供されない。
尚、ここでは、演奏パートデータS1M1mpcがミュート処理されるとしたが、元々演奏パートmpcの配信は希望されていないので、演奏パートデータS1M1mpcは破棄されてもよい。また、ここでは、配信希望コンテンツとして楽曲データS1M1が選択されたため、再生不要の演奏パートに対する処置が必要となるが、配信希望コンテンツと再生が所望されるコンテンツとが等しければ、このような措置は必要ない。逆に、配信希望コンテンツが楽曲データS1M1よりも大きいセッションデータS1である場合には、楽曲データS1M2及びS1M3も併せてミュート処理又は破棄される。端末装置400D側の処理負荷を考えれば、再生が所望されるコンテンツのみをコンテンツサーバ300から取得するのが効率的であるが、いずれにしても端末装置400Dにおいて楽曲M1の演奏パートmpa及びmpbを再生することができるため問題はない。
ユーザDは、このように、演奏録音システム10を利用して、スピーカ500から出力される、演奏セッションs1における楽曲M1の演奏パートmpa及びmpbに併せて演奏パートmpc或いは他の演奏パートの演奏を行うことにより、擬似的な演奏セッションを楽しむことができる。
ここで、演奏録音システム10では、ユーザDが、既にコンテンツサーバ300に演奏データ化されて格納されている過去の演奏又は演奏セッションとのセッションを行うにあたって行った演奏を、更に演奏データ化してコンテンツサーバ300に格納することもできる。この場合、図8を参照して説明したように、予め管理サーバ100へ演奏の録音要求を行って、録音サーバ200に録音準備をさせた後に、コンテンツの配信処理が行われてもよい。この場合、ユーザDの演奏に関する楽音信号がマイクロフォン600を通じて録音処理部413に送出されて演奏データに変換され、録音サーバ200の所定の録音トラックに楽音信号が記録される等した後、最終的にコンテンツサーバ300に一コンテンツとして格納されてもよい。
<演奏データの補正>
複数の演奏パートから構成される演奏セッションが理想的に録音された場合には、録音サーバ200の各録音トラックに記録される各演奏パートの楽音信号は、時間軸上の相対関係がオリジナルの演奏セッション(リアルタイムに行われた演奏セッション)と一致する。図10にはその様子が示される。ここに、図10は、各録音トラックに理想的に記録された各演奏パートの楽音信号を概念的に表した図である。尚、同図において、既出の各図と重複する箇所には同一の符号を付してその説明を適宜省略することとする。
図10において、上段から順に、演奏パートデータS1M1mpa、S1M1mpb、S1M1mpcに対応する楽音信号の時間軸上の包絡波形が示される。
ここで、演奏パートmpaの演奏が図示時刻t10に開始されたとする。演奏パート相互間で録音される楽音信号が時間同期している場合、演奏パートmpb及びmpcの演奏もまた、時刻t10に開始される。従って、オリジナルの演奏セッションにおける演奏パートmpaの演奏において図示時刻t20、t30及びt40に相当する位置に現れる楽音信号には、演奏パートmpb及びmpcの演奏もまた、図示時刻t20、t30及びt40に相当する位置に現れる楽音信号が対応する。このように演奏パート相互間で楽音信号の時間同期が取れている場合には、この演奏セッションを再生するにあたって、オリジナルの演奏セッションを再現することができる。
一方、実際には、各端末装置の送信バッファ440の容量、ネットワーク11の伝送遅延、録音サーバ200の受信バッファ230の容量、端末装置400の負荷状況、録音サーバ200の負荷状況等、各種の事情により、各端末装置から送信される演奏データが録音サーバ200に到着する時刻は異なる。或いは、各演奏パートの楽音信号が録音サーバ200の各録音トラックに記録され始める時刻は異なる。図11にはその様子が示される。ここに、図11は、各録音トラックに実際に記録された各演奏パートの楽音信号を概念的に表した図である。尚、同図において、図10と重複する箇所には同一の符号を付してその説明を適宜省略することとする。
図11において、図10と同様に、上段から順に、演奏パートデータS1M1mpa、S1M1mpb、S1M1mpcに対応する楽音信号の時間軸上の包絡波形が示される。
ここで、演奏パートmpaの演奏が図示時刻t10に開始されたとする。実際の録音環境においては、上述した各種の事情により、演奏パート相互間で録音される楽音信号が時間同期していないため、演奏パートmpb及びmpcの演奏開始時刻は、時刻t10と相違する。例えば、図示するように、演奏パートmpbの演奏は図示時刻t11に、演奏パートmpcの演奏は図示時刻t12に、夫々開始される。
その結果、オリジナルの演奏セッションにおける演奏パートmpaの演奏において図示時刻t20、t30及びt40に相当する位置に現れる楽音信号には、演奏パートmpbについては図示時刻t21、t31及びt41に相当する位置に現れる楽音信号が、また演奏パートmpcについては図示時刻t22、t32及びt42に相当する位置に現れる楽音信号が、夫々対応することになる。
このため、この演奏セッションが再生される場合、各演奏パートの楽音信号の時間軸上の相対関係がオリジナルの相対関係からずれた、オリジナルの演奏セッションを忠実に再現しない、再現性の低い演奏セッションが再生されることになる。演奏録音システム10における実際の録音処理では、この問題を解決するための処理が含まれている。
次に、図12を参照して、演奏録音システム10における演奏セッションの実際の録音処理について説明する。ここに、図12は、演奏セッションの実際の録音処理における各装置の動作を時系列で表してなるタイミングチャートである。尚、同図において、図8と重複する箇所については、同一の符号を付してその説明を適宜省略することとする。
尚、この実際の録音処理は、あくまで演奏録音システム10で進行し得る処理の一例を示すものであって、各装置の動作内容並びに各ステップの動作主体及び実行タイミング等は如何様にも変更することができる。特に、複数のユーザ相互間でリアルタイムに演奏セッションを行いつつ、その演奏セッションを録音する一連の処理は、ウェブサイトにおけるユーザインターフェイスの設計にも大きく依存するところである。ウェブサイトのユーザインターフェイスの設計は自由度が高いから、例えば、想定するユーザの技量や数、想定する通信環境及び提供しようとするサービス内容等に応じて、各種の変更やカスタマイズを行うことができる。そのような各種の変更やカスタマイズに応じて、演奏録音システム全体における各装置の動作内容や動作タイミングは適宜変化し得る。
図12において、録音サーバ200において管理サーバ100からの制御信号である録音指示信号が取得されると、上述した録音処理が開始され、演奏セッションの録音が開始される(ステップS140)。この際、録音指示信号に付帯される上述した各種情報に基づいて、録音サーバ200は、記憶装置240に形成された録音トラックの中からその時点で未使用の録音トラックを三個選択し、演奏セッションを構成する各演奏パートに夫々割り当てる。尚、ここでは説明を分かり易くするため、図6と同様、ユーザA(演奏パートmpa)に録音トラックRT1が、ユーザB(演奏パートmpb)に録音トラックRT2が、ユーザC(演奏パートmpc)に録音トラックRT3が夫々割り当てられるものとする。
録音サーバ200において録音処理が開始されると、録音処理が開始された旨を通知する録音開始通知信号が管理サーバ100に送信される(ステップS141)。また、この録音開始通知信号は、端末装置400A、400B及び400Cに夫々送信される(ステップS142、S143、S144)。
尚、録音サーバ200と管理サーバ100との間のデータ伝送は、有線LAN12を介してなされ、録音サーバ200と各端末装置とのデータ伝送は、ネットワーク11を介してなされる。従って、厳密に言えば録音開始通知信号の到達時刻は管理サーバ100と各端末装置との間で、また端末装置相互間で、夫々一致しない。しかしながら、録音開始通知信号は、単に録音処理が開始された旨を通知するだけの信号であり、そのデータサイズは極めて小さい。従って、録音開始通知信号の送信に関し、少なくともユーザに認識され得るレベルの遅延が生じることはなく、実践的には、録音開始通知信号は、管理サーバ100及び各端末装置に略等しいタイミングで到着する。
録音開始通知信号を受け取った端末装置では、録音サーバ200で録音が開始された旨を各ユーザに通知するための処理(例えば、表示部450にその旨を表示する等の処理)がなされ、録音処理部413による演奏データの生成が開始される(ステップS150、S160、S170)。生成される演奏データは、先に述べたように、録音処理部413の制御により順次送信バッファ440に送出され、通信I/F420から順次ネットワーク11を介して録音サーバ200に送信される(ステップS151、S161、S171)。
ここで、端末装置400Aの要求処理部411は、演奏開始の基点となる同期信号を生成し、端末装置400B及び400Cに送信する(ステップS152、S153)。
この同期信号は、例えば、予め設定された効果音であってもよいし、ユーザAの掛け声であってもよいし、ユーザAの担当する演奏パートがドラムパートであればドラムのスティック音であってもよいし、ユーザAの担当する演奏パートがギターパートであればギターの一弦音であってもよい。ユーザAの何らかの行為が同期信号の生成に結び付けられる場合(上述の例で言えば、同期信号が効果音以外の場合)、端末装置400では、管理サーバ100からの録音開始通知信号の到着後に、表示制御部414の制御を介して表示部450に所定のインフォメーションを表示させるのが望ましい。例えば、このインフォメーションは、「演奏開始の合図を出して下さい」や「○○さんの合図で演奏を開始します」等の文字情報であってもよい。いずれにせよ、同期信号が一種の音声信号として生成される場合においては、この同期信号もまた演奏データに変換される。即ち、楽音信号と同期信号とが重畳された演奏データが生成される。
尚、同期信号に要求されることは、後々、各演奏パートについて演奏セッションの開始時点を同期させる際の基準として利用できることである。その点に鑑みれば、同期信号は必ずしも音声信号である必要はない。端的には同期信号は、各端末装置において所定の視覚情報(例えば、一種のキューの如き点滅表示やカウントダウン表示等)の生成を促す情報であってもよい。この場合も、その表示部450による当該視覚情報の表示時点を示す矩形波信号やインパルス信号が演奏データに重畳されればよい。
ここで重要なことは、同期信号は、端末装置400Aで生成されたタイミングと殆ど同時に(ここで規定される「殆ど同時」とは、少なくともユーザ同士が演奏セッションを行う上で全く認識されることがない程度の時間遅延しか存在しないことを意味する)、他の端末装置にも到達し他のユーザに認知される点である。即ち、端末装置400Aにおいて同期信号が演奏データ化された時点からユーザAの実際の演奏が開始される時点までの時間間隔と、端末装置400Bにおいて同期信号が演奏データ化された時点からユーザBの実際の演奏が開始される時点までの時間間隔と、端末装置400Cにおいて同期信号が演奏データ化された時点からユーザCの実際の演奏が開始される時点までの時間間隔とは、少なくともユーザの認識レベルで言えば等しい。
録音サーバ200では、このように同期信号が重畳された演奏データが受信され、同期信号を含む音声信号が順次録音トラックに記録される。そのような録音過程を経て、録音が終了すると、録音サーバ200ではデータ補正部212による演奏データの補正が行われる(ステップS221)。この演奏データの補正は、既に述べたように、複数の演奏パート相互間で演奏開始タイミングを同期させる補正(以下、適宜「第1の補正」と表現する)と、一の演奏パートにおいて楽曲の境界を検出する補正(以下、適宜「第2の補正」と表現する)とから構成される。第1の補正及び第2の補正を含む演奏データの補正処理が終了すると、補正後の演奏データがコンテンツサーバ300に送信される(ステップS230)。
<第1の補正>
ここで、図13を参照し、第1の補正がなされた後の演奏データについて説明する。ここに、図13は、各録音トラックに同期信号と楽音信号とが記録された状態を概念的に表した図である。尚、同図において、図11と重複する箇所には同一の符号を付してその説明を適宜省略することとする。
図13において、図11を参照して既に説明したように、録音サーバ200の録音トラックRT1、RT2及びRT3に記録される、各演奏パートの演奏に係る楽音信号は、時間軸上の相対関係がオリジナル(演奏時)の相対関係と異なっている。
ここで、先述したように各端末装置における同期信号の発生時点と各演奏パート演奏開始時点との時間間隔は略一致しているから、各録音トラックにおいては、同期信号の記録位置もまた楽音信号と同様に時間軸上でずれている(破線枠参照)。データ補正部212は、この同期信号を利用して演奏データに係る第1の補正を実行する。この様子が図14に例示される。
図14は、第1の補正がなされた後の各録音トラックの様子を概念的に表した図である。尚、同図において、図13と重複する箇所には同一の符号を付してその説明を適宜省略することとする。
図14に例示されるように、第1の補正は、各録音トラックにおいて同期信号の位置が等しくなるように、各録音トラック(ここでは、録音トラックRT2及びRT3)に記録される楽音信号の波形を時間軸上でシフトさせる処理である。同期信号の位置が一致すると、同期信号から演奏開始時点までの時間間隔が各演奏パート相互間で等しいことから、必然的に各演奏パートの演奏開始時点が相互に一致する。その結果、各演奏パートの楽音信号の時間軸上での相対関係は、オリジナル(演奏時)の関係と一致する。即ち、この録音トラックに記録された楽音信号を、各録音トラックについて同時に再生すると、オリジナルの演奏と遜色のない再現性の高い演奏が得られるのである。
尚、本実施例では、録音サーバ200のデータ補正部212により、この第1の補正がなされる構成としたが、同期信号が楽音信号に重畳されている限りにおいて、この同期信号に基づいた演奏データの補正を実行する手段は、録音サーバ200が有しておらずともよい。即ち、管理サーバ100又はコンテンツサーバ300が、同様の補正を行うように構成されていてもよい。或いは、ネットワーク11に、このような演奏データの補正を行うための他の装置(例えば、他のサーバ装置)が設置されていてもよい。このように他の装置により第1の補正が行われる構成とすれば、録音サーバ200は録音処理のみを実行すればよくなり、その処理負荷が軽減され得る。特に、演奏録音システム10の構成を考えると、同時期に演奏セッションの録音を行うユーザは、必ずしもユーザA、ユーザB及びユーザCの三名に限定されないから、録音サーバ200の処理負荷を分散し得る場合には、可能な限り分散するのもシステムを構築する上で有益である。
また、本実施例では、同期信号が端末装置400Aで生成される構成としたが、同期信号の役割から考えれば、同期信号の生成は、端末装置400B又は400Cで行われてもよい。端末装置400Bで同期信号が生成される場合には、生成された同期信号が端末装置400A及び400Cに送信されればよい。また、端末装置400Cで同期信号が生成される場合には、生成された同期信号が端末装置400A及び400Bに送信されればよい。
或いは、同期信号は管理サーバ100、録音サーバ200若しくはコンテンツサーバ300又はこれらとは異なる他のサーバ装置で生成され、各端末装置に送信される構成となっていてもよい。この場合、同期信号は、データの伝送遅延の無視し得るP2P方式のデータ伝送ではなく、通常のCSS(Client Server System)方式のデータ伝送となるから、P2Pによる端末同士の同期信号の送受と較べて遅延し得る。しかしながら、同期信号は、演奏開始タイミングを共有するための一種のトリガ信号としての役割を最低限有していればよいから、そのデータ量は十分に小さくて済む。従って、実践上問題はない。また、同期信号がサーバ装置側で生成され送信される場合、サーバ装置から各端末装置へのデータ伝送が遅延したとしても、各端末装置で共通の遅延となる。即ち、同期信号が各端末装置において演奏データに重畳されるタイミングは、各端末装置において一致する。従って、実践上問題は生じない。尚、サーバ装置側で同期信号が生成され送信される場合、各端末装置への同期信号の送信は、各端末装置における演奏データの生成開始(ステップS150、S160、S170)の後に行われるのが望ましい。これは、同期信号を確実に演奏データに重畳するためである。
<第2の補正>
次に、演奏データの第2の補正、即ち、楽曲の境界検出(楽曲の頭出し)に関する補正について説明する。
図14に例示されるように、各演奏トラックについて楽音信号の時間同期が得られれば、この演奏セッションを高い再現性を伴って再生することはできる。しかしながら、実際の演奏セッションの録音は演奏セッションの開始から終了までの連続して行われるから、楽曲の境界が存在するか否かにかかわらず、演奏セッションは一の演奏データとして録音されることになる。即ち、録音直後の各演奏パートは、楽曲毎に区別されていない。このため、例えば図9を参照して説明したように、ユーザDが演奏セッションs1の楽曲M1の配信を所望したとしても、そのような配信を実現することができない。第2の補正は、このような問題を解決する演奏データの補正処理であり、本発明に係る「判定装置」の動作の一例となる処理である。
ここで、図15を参照し、演奏データの第2の補正について説明する。ここに、図15は、楽曲の境界検出の概念を説明する図である。尚、同図において、図14と重複する箇所には同一の符号を付してその説明を適宜省略することとする。
図15において、録音サーバ200の録音トラックRT1、RT2及びRT3の各々について、楽音信号の入力音量レベルの時間推移が濃いハッチング部分として表示されている。この入力音量レベルは、個々の端末装置における、録音時の入力音声信号の入力レベルであり、本発明に係る「録音時の音量」の一例である。尚、この入力音量レベルの代わりに、各演奏パートの楽音信号の振幅値やマイクロフォン500において変換される入力音声の音圧信号値等が利用されてもよい。
尚、この入力音量レベルは、演奏データに数値化された情報として含まれており、データ補正部212は、録音トラックの記録内容が保持されている限りにおいて、常時その値を参照することができる。即ち、この場合のデータ補正部212の動作は、本発明に係る「音量検出手段」の一例である。
ここで、録音サーバ200のデータ補正部212は、各録音トラックについて、入力音量レベルの閾値CTを設定する。即ち、この場合のデータ補正部212の動作は、本発明に係る「基準音量設定手段」の動作の一例である。この閾値CTは、各録音トラックについて共通の値であってもよいし、演奏パートの特性に応じて個別に設定されてもよい。前者は、例えば、元々各演奏パートの入力音量レベルの最大値或いは平均値が概ね等しい場合等において、処理負担を軽減する目的等から選択され得る設定態様であり、後者は、例えば、楽器の特性から入力音量レベルが大きくなり難い演奏パートについては閾値CTが相対的に小さく、反対に入力音量レベルが大きくなり易い演奏パートについては閾値CTが相対的に大きく、夫々設定されること等を意味する。
閾値CTを設定すると、データ補正部212は、各録音トラックについて、入力音量レベルが閾値未満となる区間を楽曲境界候補Cx(x=1,2,・・・)として検出する。図15には、録音トラックRT1について楽曲境界候補C1、C3、C5が検出され、録音トラックRT2について楽曲境界候補C2、C4が検出され、録音トラックRT3について楽曲境界候補C6が検出された様子が示されている。
尚、閾値CTが設定されるにあたって重要となるのは、入力音量レベルと閾値CTとの比較により楽曲境界候補を検出するにあたって、その基準を演奏パート相互間で安定させることにある。そのような効果をもたらし得る限りにおいて、基準音量設定手段としてのデータ補正部212の動作態様は自由である。
補足すると、各演奏パートにおける楽曲境界候補の検出精度を安定化させるための好適な手法として、各演奏パートについて、入力音量レベルの最大値を特定し、特定された各演奏パートの入力音量レベルの最大値の所定割合(例えば、数%程度)に相当する入力音量レベルを基準音量としての閾値CTとしてもよい。
或いは、同様の効果を得るための他の手法として、各演奏パートについて、入力音量レベルの最大値を所定値で共通化して共通の閾値CTを適用してもよい。この場合、最大値を共通化する演算処理過程で入力音量レベルの時間波形もまた原波形との関係性を保持したまま拡大又は縮小されるため、各演奏パートに共通の閾値CTとの比較により、共通した楽曲境界候補を検出することが可能となる。
楽曲境界候補が検出されると、データ補正部212は、各録音トラックで共通の楽曲境界候補が存在するか否かを判定する。図15では、楽曲境界候補C4、C5、C6の夫々一部(図示斜線ハッチング表示部分参照)が各演奏トラックで共通となっている。即ち、この共通部分は、各演奏パートの入力音量レベルが閾値未満となる概略無音の時間領域である。この時間領域を「無音区間N」と定義する。無音区間Nに相当する状態は、本発明に係る「検出された音量が基準音量未満となる期間が重複した状態」の一例である。
一般的に、複数の楽曲から構成される演奏セッションにおいては、楽曲と楽曲との間には大なり小なり無音の時間領域がある。従って、この検出された各録音トラックに共通して入力音量レベルが閾値未満となる無音区間Nは、楽曲の境界であると判定される。即ち、この場合のデータ補正部212の動作は、本発明に係る「判定手段」の動作の一例となる。
この判定結果を受けて、データ補正部212では、この無音区間Nの任意の位置(例えば、中央位置)で演奏データを分割する。図15では、無音区間Nよりも前の時間領域に対応する演奏が「楽曲M1」とされ、無音区間Nよりも後の時間領域に対応する演奏が「楽曲M2」とされる様子が示されている。演奏データの第2の補正はこのようにして行われる。
尚、無音区間Nに該当する時期であれば楽曲の厳密な境界設定は自由であるが、無音区間Nを挟む二つの楽曲データの端部に相応の無音区間をマージンとして残しておくことができる点においては、無音区間Nの中央位置又は大略その近傍を境界とするのが一面的には望ましい。
尚、ここでは、無音区間Nを楽曲の境界としたが、一の楽曲の演奏過程における極短い時間領域において、偶発的に各演奏パートの入力音量レベルが低下する可能性はゼロではない。このような無音区間も、上述の検出手法に従えば無音区間Nであるから、この場合、楽曲の境界が誤検出されることになる。このような誤検出が生じると、一の楽曲の演奏データが複数個に分割されてしまうため、コンテンツサーバ300における演奏データの管理の点からも、演奏データを再生する点からも望ましくない。
そこで、この点についてより好適な一形態として、無音区間Nが検出された場合に、この無音区間Nの時間長が所定の閾値と比較されてもよい。この所定の閾値は、例えば、偶発的には(楽曲の演奏途中には)生じる可能性が低いと判定され得る無音区間Nの長さの下限値である。即ち、無音区間Nの時間長がこの閾値よりも長ければ、この無音区間Nは真に楽曲の境界であるとの判定を下すことができる。言い換えれば、この閾値は、本発明に係る「基準時間」を規定する値である。
ところで、このように無音区間Nの時間長及びその閾値は、無論純粋な時間値であってもよいが、演奏には固有のテンポがあり、テンポの異なる演奏セッション又は楽曲においては、ユーザが一定の感覚でインタバルを挿入しても、その時間値は異なることが多い。演奏全体からみた無音区間Nの重み付けが同じであっても、テンポの速い演奏ではその時間値は短くなり、テンポの遅い演奏ではその時間値は長くなり易い。このような演奏に特有の事情に鑑みると、無音区間Nの時間長及びその閾値は、純然たる時間値よりも、演奏のテンポに対応付けられている方が望ましい場合がある。
そこで、楽曲の境界検出に係る更に他の態様として、無音区間Nが検出された場合には、その無音区間Nの拍数がカウントされてもよい。拍数は、楽曲のテンポに基づいて数値計算から求められてもよいし、演奏データから直接カウントされてもよい。この場合、基準時間を規定する閾値もまた拍数で定義される。即ち、この場合、例えば無音区間Nが4拍以上継続した場合等に、この無音区間Nが楽曲の境界であるとの判定が下され得る。
尚、演奏又は楽曲のテンポに関する情報は、既に述べたように各端末装置からの録音要求時に管理サーバ100に送信されているが、場合によっては(例えば、ユーザがテンポの情報を入力しない場合等)、演奏又は楽曲のテンポが不明な場合もある。そのような場合には、公知の各種テンポ検出処理が録音サーバ200(例えば、データ補正部212)により行われてもよい。この際、所定の時間間隔で検出されたテンポの値の最頻値が楽曲又は演奏のテンポであると扱われてもよい。
このように、本実施例に係る演奏録音システム10によれば、複数の演奏パートから構成される演奏セッションを録音サーバ200に録音するにあたって、各演奏パートの演奏開始タイミングを正確に一致させることができる。従って、後々この録音された演奏セッションを再生しようとした場合に、実際の演奏時(録音時)の演奏セッションを高い再現性の下に忠実に再現することができるのである。また、本実施例に係る演奏録音システム10によれば、演奏セッションが複数の楽曲から構成される場合において、楽曲の境界を正確に検出することができる。従って、コンテンツサーバ300において、楽曲毎に演奏データを記憶させておくことができ、録音された演奏セッションを、楽曲毎に或いは楽曲を構成する演奏パート毎にフレキシブルに再生することが可能となるのである。
<第2実施例>
第1実施例では、演奏セッションが三名のユーザ(ユーザA、ユーザB及びユーザC)により行われる状況を想定して演奏録音システム10の動作を説明した。第2実施例では、第1実施例と同様に演奏パートmpa、mpb及びmpcから構成され且つ楽曲M1、M2及びM3から構成される演奏セッションを、ユーザA及びユーザBの二名で行う場合について説明する。即ち、第2実施例では、演奏パートmpcを演奏する演奏者が不在である場合が想定されている。尚、システム構成やその他の状況については、第1実施例のものを踏襲することとする。
このように演奏者が不足する演奏セッションを録音する場合には、コンテンツサーバ300に格納される演奏パートmpcに関する演奏データ(図7を参照すれば、演奏パートデータS1M1mpc、S1M2mpc、S1M3mpc)を使用することができる。
具体的な処理の進行としては、録音サーバ200から端末装置400A及び400Bに対し録音開始通知信号が送信されるタイミングと同期して、コンテンツサーバ300から演奏パートmpcに関する演奏データが送信される。
ここで、演奏パートmpcの再生開始タイミングを端末400A及び400B相互間で同期させるために、各端末装置において受信バッファ430が活用され、ストリーミング再生は一時的に待機される。この再生待機中に、P2P回線を通じて端末装置400A及び400B相互間で演奏パートmpcの再生開始タイミングの同期が計られる。この同期処理に要する信号は、データ量が小さいためP2P回線を介して両端末装置で時間的なずれがなく認識される。その後、端末装置400A及び400Bにおいて、再生制御部412を介して演奏パートmpcに関する演奏データの再生が開始される。
ところで、第2実施例に係る演奏セッションが第1実施例のそれと異なる点は、コンテンツサーバ300に格納される演奏データに基づいて再生される演奏が、予め定められた開始タイミングと終了タイミングを有する点である。
即ち、演奏パートmpcに対応する演奏データの再生が開始されると、演奏パートmpcの演奏開始タイミングは、ユーザ側の事情と関係なく訪れる。この演奏開始タイミングに同期してユーザA及びユーザBの演奏が開始されないと、演奏セッションが良好に進捗しないから、演奏者であるユーザA及びユーザBは、演奏パートmpcの演奏開始タイミング及び演奏終了タイミングに、自身の演奏を合わせなければならない。
このため、第2実施例では、コンテンツサーバ300から端末装置に演奏パートmpcに関する演奏データが送信される際に、演奏パートmpcの演奏開始タイミングと演奏終了タイミングの情報が併せて送信される。
各端末装置では、この演奏開始タイミングに関する情報に基づいて、この演奏開始タイミングにユーザA及びユーザBによる演奏が開始されるように、再生制御部412が補助音声信号をスピーカ500から出力させる。或いは、表示制御部414が補助視覚情報(例えば、カウントダウン表示等)を表示部450に表示させる。
演奏パートmpcの演奏終了タイミングについても同様であり、各端末装置においてユーザに演奏終了タイミングが告知される。この場合は、各演奏が進行中であるから、音声情報よりも視覚情報の方が望ましい。尚、楽曲の境界に関しても、上記演奏終了タイミングの告知と同様にユーザに告知することができる。
尚、第1実施例において説明した、録音後の演奏データ補正に必要な同期信号の重畳処理は、この演奏開始タイミングに関する同期制御とは別に進行してもよいし、演奏開始タイミングに関する同期制御に関連付けられて行われてもよい。
このように、第2実施例によれば、ある演奏パートを担当するユーザが不在であっても、複数のユーザ相互間で演奏セッションを楽しむことができ、また、ユーザ同士の演奏を、相互に時間同期を保った状態で録音サーバ200に録音することができる。
本発明は、上述した実施例に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う判定装置、判定方法、コンピュータプログラム及び記録媒体もまた本発明の技術的範囲に含まれるものである。
本発明は、複数の演奏パートから構成される演奏セッションを録音するシステムに対して適用可能である。
10…演奏録音システム、11…ネットワーク、100…管理サーバ、200…録音サーバ、212…データ補正部、300…コンテンツサーバ、400…端末装置、413…録音処理部。

Claims (8)

  1. 相互に独立して録音された、複数の楽曲を含む楽曲群を構成する複数の楽曲パートの各々について、録音時の音量を検出する音量検出手段と、
    前記複数の楽曲パートの各々について、前記検出された音量が基準音量未満となる期間が重複する場合に、該重複する期間に該当する時期を、前記複数の楽曲のうち前記重複する期間を挟む二つの楽曲の境界であると判定する判定手段と
    を具備することを特徴とする判定装置。
  2. 前記判定手段は、前記検出された音量が基準音量未満となる期間が重複した状態が基準時間以上継続する場合に、前記重複する期間に該当する時期を前記二つの楽曲の境界であると判定する
    ことを特徴とする請求項1に記載の判定装置。
  3. 前記複数の楽曲のテンポを検出するテンポ検出手段を更に具備し、
    前記音量が基準音量未満となる期間の長さは、拍の数によってカウントされ、
    前記基準時間は、拍の数により規定される
    ことを特徴とする請求項2に記載の判定装置。
  4. 前記基準音量を設定する基準音量設定手段を更に具備する
    ことを特徴とする請求項1から3のいずれか一項に記載の判定装置。
  5. 前記基準音量設定手段は、前記複数の楽曲パートの各々について、前記音量の最大値の所定割合に相当する音量を前記基準音量として設定する
    ことを特徴とする請求項4に記載の判定装置。
  6. 相互に独立して録音された、複数の楽曲を含む楽曲群を構成する複数の楽曲パートの各々について、録音時の音量が検出される音量検出工程と、
    前記複数の楽曲パートの各々について、前記検出された音量が基準音量未満となる期間が重複する場合に、該重複する期間に該当する時期が、前記複数の楽曲のうち前記重複する期間を挟む二つの楽曲の境界であると判定される判定工程と
    を具備することを特徴とする判定方法。
  7. コンピュータシステムを請求項1に記載の判定手段として機能させることを特徴とするコンピュータプログラム。
  8. 請求項7に記載のコンピュータプログラムが記録されることを特徴とする記録媒体。
JP2013022594A 2013-02-07 2013-02-07 判定装置 Pending JP2014153516A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013022594A JP2014153516A (ja) 2013-02-07 2013-02-07 判定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013022594A JP2014153516A (ja) 2013-02-07 2013-02-07 判定装置

Publications (1)

Publication Number Publication Date
JP2014153516A true JP2014153516A (ja) 2014-08-25

Family

ID=51575439

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013022594A Pending JP2014153516A (ja) 2013-02-07 2013-02-07 判定装置

Country Status (1)

Country Link
JP (1) JP2014153516A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021124919A1 (ja) * 2019-12-18 2021-06-24 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム
JP2022028570A (ja) * 2020-08-03 2022-02-16 株式会社デザインMプラス 記録データ再生方法およびシステム
JP7026412B1 (ja) 2020-06-30 2022-02-28 Jeインターナショナル株式会社 楽曲制作装置、端末装置、楽曲制作方法、プログラム、および記録媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021124919A1 (ja) * 2019-12-18 2021-06-24 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム
JP7026412B1 (ja) 2020-06-30 2022-02-28 Jeインターナショナル株式会社 楽曲制作装置、端末装置、楽曲制作方法、プログラム、および記録媒体
JP2022036359A (ja) * 2020-06-30 2022-03-08 Jeインターナショナル株式会社 楽曲制作装置、端末装置、楽曲制作方法、プログラム、および記録媒体
JP2022028570A (ja) * 2020-08-03 2022-02-16 株式会社デザインMプラス 記録データ再生方法およびシステム

Similar Documents

Publication Publication Date Title
JP4626376B2 (ja) 音楽コンテンツの再生装置および音楽コンテンツ再生方法
JP4713129B2 (ja) 音楽コンテンツの再生装置、音楽コンテンツの再生方法および音楽コンテンツおよびその属性情報の記録装置
US20100095829A1 (en) Rehearsal mix delivery
US11120782B1 (en) System, method, and non-transitory computer-readable storage medium for collaborating on a musical composition over a communication network
JP2006171133A (ja) 楽曲データ再構成装置、楽曲データ再構成方法、音楽コンテンツ再生装置および音楽コンテンツ再生方法
JP5257966B2 (ja) 音楽再生制御システム、音楽演奏プログラム、および演奏データの同期再生方法
JP6201460B2 (ja) ミキシング管理装置
JP4265082B2 (ja) サーバクライアントシステムおよびサーバ装置
WO2012021799A2 (en) Browser-based song creation
JP2014153516A (ja) 判定装置
JP2004233698A (ja) 音楽支援装置、音楽支援サーバ、音楽支援方法およびプログラム
JP2014153515A (ja) 演奏録音システム
JP2017027070A (ja) 評価装置及びプログラム
JP6568351B2 (ja) カラオケシステム、プログラム及びカラオケ音声再生方法
JP2013213907A (ja) 評価装置
JP2012018282A (ja) 演奏ファイル管理装置、演奏ファイル再生装置および演奏ファイル再生方法
JP6316099B2 (ja) カラオケ装置
JP2008304821A (ja) 楽曲合奏公開システム
WO2022049732A1 (ja) 情報処理装置及び情報処理方法
JP5969421B2 (ja) 楽器音出力装置及び楽器音出力プログラム
JP6565554B2 (ja) カラオケシステム、サーバ、カラオケ装置
JP7456215B2 (ja) オーディオインターフェース装置、及び、録音システム
JP7026412B1 (ja) 楽曲制作装置、端末装置、楽曲制作方法、プログラム、および記録媒体
JP5191336B2 (ja) グループ演奏練習支援機能を備える音響システム
US8294015B2 (en) Method and system for utilizing a gaming instrument controller