JP2017032603A - 楽音信号変換装置および楽音信号変換プログラム - Google Patents

Abstract

【課題】自動伴奏の聴感上の拍点のずれが防止されつつ伴奏パターンデータとして用いられる楽音信号の選択の自由度が向上された楽音信号変換装置および楽音信号変換プログラムを提供する。【解決手段】素材データ取得部２は、素材データを取得する。基準情報取得部３は、素材データの拍点に関する情報を基準情報として取得する。区間分割部４は、基準情報の変化に対応するように素材データを複数の処理区間に分割する。ストレッチ比設定部５は、基準情報に基づいて各処理区間のストレッチ比を設定する。タイムストレッチ処理部６は、設定されたストレッチ比で素材データのタイムストレッチ処理を処理区間毎に行う。記憶部９は、タイムストレッチ処理後の複数の処理区間の素材データを伴奏パターンデータとして記憶する。【選択図】図１

Description

本発明は、楽音信号に処理を施す楽音信号変換装置および楽音信号変換プログラムに関する。

自動伴奏機能を備えた電子楽器では、自動伴奏データを用いてユーザの演奏に合わせた自動伴奏を行うことができる。自動伴奏データは伴奏スタイルデータと呼ばれ、ジャズ、ロック、クラシック等の音楽ジャンルごとに複数種類の自動伴奏データが用意されている。各自動伴奏データには、イントロセクション、メインセクション、エンディングセクション等の複数のセクションが用意され、各セクションは雰囲気の異なる複数のバリエーションタイプを有する。さらに、各セクションは、コードトラック、ベーストラック、ドラムトラック、フレーズトラック等の複数のトラック（パート）により構成される。各トラックには、自動伴奏データの基となる伴奏パターンデータが対応付けられている。各伴奏パターンデータは、あるコードを基準とした１小節から数小節の長さのＭＩＤＩ（Musical Instrument Digital Interface）形式の音符列またはオーディオ形式のフレーズデータである。

ユーザの演奏に伴って供給されたコード情報に適合するように、各伴奏パターンデータが読み出され、必要に応じて音高変換が行われることにより、自動伴奏が行われる（例えば、特許文献１参照）。

特開２０１２−２０３２１６号公報

伴奏パターンデータにオーディオデータが用いられる場合、そのオーディオデータにテンポの揺らぎがあると、自動伴奏の聴感上の拍点が、一定のテンポに準じた拍点（例えばメトロノームが示す拍点）からずれる。その場合、ユーザに聴感上の違和感が生じる。特に、伴奏パターンデータが繰り返し再生される場合には、自動伴奏に対するユーザの違和感が大きくなり、ユーザの演奏が妨げられる。そのため、テンポに揺らぎがないオーディオデータを選択することが無難であり、その選択の自由度が低くなる。

本発明の目的は、自動伴奏の聴感上の拍点のずれが防止されつつ伴奏パターンデータとして用いられる楽音信号の選択の自由度が向上された楽音信号変換装置および楽音信号変換プログラムを提供することである。

（１）第１の発明に係る楽音信号変換装置は、楽音信号から伴奏パターンデータを生成するための楽音信号変換装置であって、楽音信号を取得する楽音信号取得手段と、取得された楽音信号の拍点に関する情報を基準情報として取得する基準情報取得手段と、取得された基準情報の変化に対応するように、取得された楽音信号を複数の処理区間に分割する区間分割手段と、取得された基準情報に基づいて各処理区間のストレッチ比を設定するストレッチ比設定手段と、設定されたストレッチ比で取得された楽音信号のタイムストレッチ処理を処理区間毎に行うタイムストレッチ処理手段と、タイムストレッチ処理後の複数の処理区間の楽音信号を伴奏パターンデータとして記憶する記憶手段とを備える。

この楽音信号変換装置においては、基準情報の変化に対応するように楽音信号が複数の処理区間に分割されるとともに基準情報に基づいて各処理区間のストレッチ比が設定され、楽音信号のタイムストレッチ処理が処理区間毎に行われる。それにより、複数の処理区間の基準情報の差を調整することができる。したがって、生成された伴奏パターンデータが自動伴奏として再生された際に、聴感上の拍点のずれが生じることが防止される。通常、伴奏パターンデータは繰り返し再生されるので、聴感上の拍点のずれが生じないように考慮されていることが必要である。さらに、自動伴奏がユーザの演奏の妨げとなることが防止されるとともに、元来の伴奏パターンデータのイメージも損なわれない。テンポの揺らぎまたは変拍子等を含む楽音信号が用いられる場合でも、聴感上の拍点のずれが抑制された伴奏パターンデータが生成されるので、楽音信号の選択の自由度が向上される。

（２）楽音信号変換装置は、基準情報の目標となる条件を目標条件として設定する条件設定手段をさらに備え、ストレッチ比設定手段は、各処理区間に対応する基準情報が、設定された目標条件と一致するように、各処理区間に対するストレッチ比を設定してもよい。この場合、各処理区間の基準情報が目標条件と一致されるので、生成される伴奏パターンデータのテンポを所望の値に調整することができる。

（３）楽音信号変換装置は、生成すべき伴奏パターンデータの種類を取得する種類取得手段と、取得された種類に基づいて、複数の処理区間のうち最初または最後の処理区間の楽音信号にタイムストレッチ処理を行うか否かを判定する判定手段とをさらに備え、ストレッチ比設定手段は、最初または最後の処理区間にタイムストレッチ処理を行わないと判定された場合、当該処理区間のストレッチ比を１に設定し、記憶手段は、判定手段による判定の結果に応じて、最初または最後の処理区間の楽音信号と、隣接する他の処理区間の楽音信号とが連結されるように、タイムストレッチ処理後の複数の処理区間の楽音信号を記憶してもよい。

伴奏パターンデータの種類によっては、最初または最後の処理区間と他の処理区間との間で基準情報が異なっても、再生された自動伴奏がユーザの演奏の妨げとならない場合がある。そこで、上記の構成では、伴奏パターンデータの種類によっては、最初または最後の処理区間のタイムストレッチ比が１に設定され、その処理区間の時間長が実質的に変化されない。これにより、タイムストレッチ処理による音質の劣化を抑制することができる。

（４）第２の発明に係る楽音信号変換プログラムは、楽音信号から伴奏パターンデータを生成するための楽音信号変換プログラムであって、楽音信号を取得するステップと、取得された楽音信号の拍点に関する情報を基準情報として取得するステップと、取得された基準情報の変化に対応するように、取得された楽音信号を複数の処理区間に分割するステップと、取得された基準情報に基づいて各処理区間のストレッチ比を設定するステップと、設定されたストレッチ比で取得された楽音信号のタイムストレッチ処理を処理区間毎に行うステップと、タイムストレッチ処理後の複数の処理区間の楽音信号を伴奏パターンデータとして記憶するステップとを、コンピュータに実行させる。

この楽音信号変換プログラムによれば、生成された伴奏パターンデータが自動伴奏として再生された際に、聴感上の拍点のずれが生じることが防止される。また、自動伴奏がユーザの演奏の妨げとなることが防止されるとともに、元来の伴奏パターンデータのイメージも損なわれない。テンポの揺らぎまたは変拍子等を含む楽音信号が用いられる場合でも、聴感上の拍点のずれが抑制された伴奏パターンデータが生成されるので、楽音信号の選択の自由度が向上される。

本発明によれば、伴奏パターンデータの基になる楽音信号に関わらず、自動伴奏に聴感上の拍点のずれが生じない伴奏パターンデータを生成することができるので、伴奏パターンデータとして用いられる楽音信号の選択の自由度が向上される。

楽音信号変換装置の機能的な構成を示すブロック図である。 図１の楽音信号変換装置のハードウエア構成の一例を示すブロック図である。 素材データのタイムストレッチ処理について説明するための図である。 特殊処理について説明するための図である。 図１の楽音信号変換装置による自動伴奏データ生成処理の一例を示すフローチャートである。 図１の楽音信号変換装置による自動伴奏データ生成処理の一例を示すフローチャートである。

以下、本発明の実施の形態に係る楽音信号変換装置および楽音信号変換プログラムについて図面を用いて詳細に説明する。

［１］楽音信号変換装置の構成
図１は、楽音信号変換装置の機能的な構成を示すブロック図である。図１の楽音信号変換装置１００は、楽音信号から自動伴奏のための伴奏パターンデータを生成する。楽音信号変換装置１００は、楽曲データ取得部１、素材データ取得部２、基準情報取得部３、区間分割部４、ストレッチ比設定部５、タイムストレッチ処理部６、初期情報取得部７、処理判定部８および記憶部９を含む。

楽曲データ取得部１は、楽曲データを取得する。楽曲データは、楽曲の少なくとも一部を表すオーディオデータである。素材データ取得部２は、楽曲データ取得部１により取得された楽曲データから伴奏パターンデータに用いるべき部分を素材データとして取得する。本実施の形態においては、素材データが楽音信号に相当する。

基準情報取得部３は、素材データ取得部２により取得された素材データの拍点に関する情報を基準情報として取得する。基準情報は、拍点の位置（以下、拍位置と呼ぶ）、拍点の間隔（以下、拍間隔と呼ぶ）、テンポまたは小節線の位置等を含む。区間分割部４は、基準情報取得部３により取得された基準情報の変化に対応するように、素材データ取得部２により取得された素材データを時間軸上の複数の処理区間に分割する。例えば、基準情報としてのテンポが変化する位置を分割位置（境界）として、素材データが複数の処理区間に分割される。分割位置は、小節線であってもよく、拍点であってもよく、またはフレーズの切れ目等の拍点からずれた位置であってもよい。

ストレッチ比設定部５は、基準情報取得部３により取得された基準情報に基づいて各処理区間のストレッチ比を設定する。ストレッチ比は、タイムストレッチ処理前の再生時間に対するタイムストレッチ処理後の再生時間の比である。タイムストレッチ処理は、オーディオデータを時間軸上で圧縮または伸張する処理である。タイムストレッチ処理部６は、ストレッチ比設定部５により設定されたストレッチ比で処理区間毎に素材データのタイムストレッチ処理を行う。

初期情報取得部７は、タイムストレッチ処理のための初期情報を取得する。初期情報は、基準情報の種類（“拍位置”または“テンポ”等）、目標テンポおよびセクションタイプを含む。目標テンポおよびセクションタイプについては後述する。また、初期情報は、後述の特殊処理を行うか否かを表すオンオフ情報を含んでもよい。処理判定部８は、初期情報取得部７により取得された初期情報に基づいて、複数の処理区間のうち最初または最後の処理区間にタイムストレッチ処理を行うか否かを判定する。記憶部９は、タイムストレッチ処理部６によるタイムストレッチ処理後の素材データを伴奏パターンデータとして記憶する。

このようにして得られる複数の伴奏パターンデータをセクション毎に組み合わせて自動伴奏データが生成される。自動伴奏データは、イントロセクション、メインセクション、フィルインセクションおよびエンディングセクション等の複数のセクションからなる。各セクションにおいて１または複数のパートの各々に伴奏パターンデータが対応付けられる。

ユーザは、演奏を行う際に複数のセクションのうち１つを選択する。この場合、ユーザの演奏テンポに合わせて、選択されたセクションに対応付けられた１または複数の伴奏パターンデータが繰り返し再生され、自動伴奏が出力される。初期情報取得部７により取得される目標テンポは、生成すべき自動伴奏データに適したテンポであり、セクションタイプは、生成すべき自動伴奏データにおけるセクションの種類（“イントロ”または“メイン”等）である。本実施の形態においては、セクションタイプが伴奏パターンデータの種類に相当する。自動伴奏データは、各セクションに対応する複数の伴奏パターンデータの実体の代わりに、記憶場所を示す情報のみを含んでもよい。その場合、自動伴奏データは複数の伴奏パターンデータと異なる場所に記憶される。

図２は、図１の楽音信号変換装置１００のハードウエア構成の一例を示すブロック図である。楽音信号変換装置１００は、例えば、パーソナルコンピュータまたはタブレット端末からなる。楽音信号変換装置１００は、ＣＰＵ（中央演算処理装置）１１０、ＲＯＭ（リードオンリメモリ）１２０、ＲＡＭ（ランダムアクセスメモリ）１３０、記憶装置１４０、表示装置１５０、入力装置１６０および出力装置１７０を含む。

ＲＯＭ１２０は、例えば不揮発性メモリからなり、システムプログラムおよび楽音信号変換プログラム等のコンピュータプログラムを記憶する。ＲＡＭ１３０は、例えば揮発性メモリからなり、ＣＰＵ１１０の作業領域として用いられるとともに、各種データを一時的に記憶する。ＣＰＵ１１０は、ＲＯＭ１２０に記憶された楽音信号変換プログラムをＲＡＭ１３０上で実行することにより後述の楽音信号変換処理を行う。これにより、図１の各構成要素の機能が実現される。なお、図１の各構成要素の一部または全てが電子回路等のハードウエアにより構成されてもよい。

記憶装置１４０は、ハードディスク、光学ディスク、磁気ディスクまたはメモリカード等の記録媒体を含む。記憶装置１４０には、例えば、図１の楽曲データ取得部１、素材データ取得部２、基準情報取得部３および初期情報取得部７により取得された楽曲データ、素材データ、基準情報および初期情報等が記憶される。また、上記の楽音信号変換プログラムが記憶装置１４０に記憶されてもよい。コンピュータが読み取り可能な記録媒体に格納された楽音信号変換プログラムまたは通信網に接続されたサーバから配信された楽音信号変換プログラムがＲＯＭ１２０または記憶装置１４０にインストールされてもよい。さらに、サーバに格納された楽音信号変換プログラムがＲＡＭ１３０上で実行されてもよい。

表示装置１５０は、液晶表示装置または有機ＥＬ（エレクトロルミネッセンス）表示装置等からなる。入力装置１６０は、マウス、キーボード、マイクまたは電子楽器等を含む。ユーザは、表示装置１５０による表示を参照しつつ入力装置１６０のマウスまたはキーボード等を操作することにより、各種の入力および設定等を行うことができる。また、ユーザは、マイクまたは電子楽器を用いて楽曲データを入力することができる。表示装置１５０および入力装置１６０は、タッチパネルディスプレイとして一体化されてもよい。出力装置１７０は、スピーカまたはヘッドフォン等の音声出力装置を含む。

楽音信号変換装置１００は、ＣＰＵ１１０の代わりにＤＳＰ（Digital Signal Processor）を備えてもよく、またはＣＰＵ１１０に加えてＤＳＰを備えてもよい。また、楽音信号変換装置１００が電子楽器または音響機器等の電子音楽装置に設けられてもよい。

［２］タイムストレッチ処理
図３は、素材データのタイムストレッチ処理について説明するための図である。図３（ａ）には、タイムストレッチ処理前の素材データが示される。図３（ａ）の素材データＳＤは３つの小節Ｍ１，Ｍ２，Ｍ３からなり、各小節は４つの拍Ｂ１，Ｂ２，Ｂ３，Ｂ４を含む。本例では、小節Ｍ１の拍Ｂ１から小節Ｍ２の拍Ｂ２までのテンポがＴ１であり、小節Ｍ２の拍Ｂ３から小節Ｍ３の拍Ｂ２までのテンポがＴ２であり、小節Ｍ３の拍Ｂ３，Ｂ４のテンポがＴ３である。テンポＴ２はテンポＴ１より速く、テンポＴ３はテンポＴ２より速い。

図１の基準情報取得部３は、例えば素材データＳＤの拍位置よりテンポを検出し、区間分割部４は、検出されたテンポが変化する位置を分割位置として、図３（ｂ）に示すように、素材データＳＤを複数の処理区間Ｇ１，Ｇ２，Ｇ３に分割する。また、ストレッチ比設定部５は、処理区間Ｇ１，Ｇ２，Ｇ３のテンポが初期情報として取得された一定の目標テンポとなるように、処理区間Ｇ１，Ｇ２，Ｇ３のストレッチ比をそれぞれ設定する。この場合、処理区間Ｇ１のストレッチ比より処理区間Ｇ２のストレッチ比が大きく、処理区間Ｇ２のストレッチ比より処理区間Ｇ３のストレッチ比が大きくなる。

タイムストレッチ処理部６は、設定されたストレッチ比で処理区間毎に素材データＳＤのタイムストレッチ処理を行う。図３（ｃ）には、タイムストレッチ処理後の素材データＳＤが示される。タイムストレッチ処理後には、小節Ｍ１〜Ｍ３のテンポが一定の目標テンポＴＡとなる。これにより、素材データＳＤにおけるテンポの揺らぎをなくすまたは小さくすることができる。

図３の例では、基準情報としてテンポが取得されるが、テンポの代わりに拍間隔または小節線が取得されてもよい。基準情報が拍間隔である場合は、拍の間隔が変化する位置で区間分割し、基準情報が小節線の場合は、小節毎に区間分割する。いずれの場合も各処理区間が目標テンポで再生した場合の長さ（時間）になるようにストレッチ比を設定する。

基準情報は、元の楽曲データに対応付けられて予め記憶される情報を参照することによって取得されてもよく、特開２００９−２６５４９３号公報または特開２０１４−１７８３９４号公報等に記載される公知の技術を用いて素材データまたは元の楽曲データを分析することにより取得されてもよい。あるいは、ユーザが素材データを試聴して拍点または小節線等を指定することにより基準情報が取得されてもよい。

なお、誤差と考えられるような例えば短い時間間隔での小さなテンポの変化は考慮されなくてもよい。拍間隔についても同様であり、例えば変化したと判定する基準を±２０パーセント以上、または５００ｍｓ以上等とし、それ以下のわずかな変化は誤差とみなすようにしてもよい。また、ストレッチ比の設定に用いられる各処理区間のテンポは、例えば各処理区間の開始位置におけるテンポであってもよく、各処理区間のテンポの平均値であってもよく、あるいは各処理区間において最も時間割合が大きいテンポであってもよい。

［３］特殊処理
イントロセクションまたはエンディングセクションに対応する伴奏パターンデータは、メインセクション等と異なり、繰り返し再生される可能性が低い。そのため、イントロセクションが選択される区間の先頭、またはエンディングセクションが選択される区間の末尾に無音が追加されていても、聴感上の違和感はなく、ユーザの演奏に影響しない。そこで、上記のタイムストレッチ処理において、セクションタイプが“イントロ”または“エンディング”である場合には、素材データの最初または最後の処理区間に、以下の特殊処理が行われてもよい。

図４は、特殊処理について説明するための図である。図４（ａ）の例において、セクションタイプは“イントロ”である。特殊処理では、図１のストレッチ比設定部５が、素材データＳＤの最初の処理区間Ｇ１のストレッチ比を１に設定することにより処理区間Ｇ１の時間長をタイムストレッチ処理の前後で変化させず、処理区間Ｇ１の先頭に無音区間ＳＬ１が追加される。これにより、処理区間Ｇ１が隣接する処理区間Ｇ２と自然に連結されるとともに、タイムストレッチ処理後の素材データＳＤの全体の時間長が、生成すべき伴奏パターンデータの時間長と一致するように調整される。

図４（ｂ）の例において、素材データＳＤのセクションタイプは“エンディング”である。特殊処理では、図１のストレッチ比設定部５が、素材データＳＤの最後の処理区間Ｇｎのストレッチ比を１に設定することにより処理区間Ｇｎの時間長をタイムストレッチ処理の前後で変化させず、処理区間Ｇｎの末尾に無音区間ＳＬ２が追加される。これにより、処理区間Ｇｎが隣接する処理区間Ｇｎ−１と自然に連結されるとともに、タイムストレッチ処理後の素材データＳＤの全体の時間長が、生成すべき伴奏パターンデータの時間長と一致するように調整される。

このように、特殊処理では、対象の処理区間の時間長が変化されることなく、無音区間の追加によって素材データの全体の時間長が調整される。この場合、ユーザの演奏にはほとんど影響がない。また、素材データが元の楽曲データのいずれの箇所に該当するかを認識しやすくなる。図３の例では、素材データのテンポの揺れを排除することができるが、タイムストレッチ処理によって音質が低下する可能性がある。そこで、図４の例のように特殊処理を行うと、タイムストレッチ処理による音質の低下を防ぐことができる。ただし、追加する無音区間の長さは、数サンプルから数百サンプル程度が適切である。無音区間がこれよりも長くなると、実際に自動伴奏データとして再生したときに違和感が生じる可能性がある。

［４］楽音信号変換処理
図５および図６は、図１の楽音信号変換装置１００による楽音信号変換処理の一例を示すフローチャートである。図５に示すように、まず、図１の楽曲データ取得部１が、楽曲データを取得する（ステップＳ１）。楽曲データは、通信網を介して取得されてもよく、ＣＤ（コンパクトディスク）等の記憶媒体から取得されてもよく、またはユーザの演奏が録音（サンプリング）されることにより取得されてもよい。

次に、素材データ取得部２が、楽曲データの一部を素材データとして取得する（ステップＳ２）。素材データは、楽曲データから自動的に抽出されてもよく、またはユーザが図２の入力装置１６０を用いて楽曲データの任意の一部を指定することにより取得されてもよい。あるいは、楽曲データの自動分析の結果がユーザに提示され、その提示に基づいてユーザが楽曲データの一部を指定することにより素材データが取得されてもよい。

次に、初期情報取得部７が、初期情報を取得する（ステップＳ３）。初期情報は、自動的に取得されてもよく、またはユーザが入力装置１６０を用いて入力することにより取得されてもよい。例えば、基準情報の種類、およびセクションタイプがユーザの入力により取得される。また、生成すべき自動伴奏データの（推奨）テンポが決定している場合には、その自動伴奏データに対応付けられた（推奨）テンポが目標テンポとして自動的に取得される。目標テンポは、ユーザにより直接入力されてもよく、または生成しようとする自動伴奏データのカテゴリ（ジャンル）の候補と、その各候補のカテゴリ（ジャンル）に対応する複数の推奨テンポがユーザに提示され、その中からユーザが選択してもよい。また、本例では、初期情報としてオンオフ情報が取得される。

次に、基準情報取得部３が、初期情報により表される種類の基準情報を取得する（ステップＳ４）。上記のように、基準情報は、素材データの分析に基づいて取得されてもよく、またはユーザが入力装置１６０を用いて入力することにより取得されてもよい。

次に、区間分割部４が、基準情報に基づいて素材データを複数の処理区間に分割する（ステップＳ５）。複数の処理区間への分割は、取得された基準情報に基づいて自動的に行われてもよく、ユーザが入力装置１６０を用いて分割位置を指定することにより行われてもよい。また、基準情報（例えば拍位置）がユーザに提示され、その提示に基づいてユーザが分割位置を指定することにより、素材データが複数の処理区間に分割されてもよい。

次に、記憶部９が、タイムストレッチ処理後の素材データの記憶領域を確保する（ステップＳ６）。例えば、取得された素材データ、基準情報および目標テンポに基づいて、タイムストレッチ処理後の素材データの時間長に対応する容量を算出することができる。記憶部９は、その算出結果に基づいて、タイムストレッチ処理後の素材データを書き込み可能な記憶領域を図２の記憶装置１４０に確保する。

次に、タイムストレッチ処理部６が、複数の処理区間のうち最初の処理区間を対象区間に設定する（ステップＳ７）。次に、ストレッチ比設定部５が、対象区間を目標テンポで再生した場合の時間長（以下、予定区間長と呼ぶ）を算出する（ステップＳ８）。次に、ストレッチ比設定部５は、タイムストレッチ処理前の対象区間の時間長および算出された予定区間長に基づいて、対象区間のストレッチ比を算出する（ステップＳ９）。

次に、処理判定部８が、初期情報として取得されるオンオフ情報が“オン”であるか否かを判定する（ステップＳ１０）。オンオフ情報が“オン”である場合、処理判定部８は、ステップＳ９で算出されたストレッチ比が１よりも大きいか否かを判定する（ステップＳ１１）。

ステップＳ１０でオンオフ情報が“オフ”である場合、またはステップＳ１１でストレッチ比が１以下である場合、タイムストレッチ処理部６は、ステップＳ９で算出されたストレッチ比で対象区間のオーディオデータにタイムストレッチ処理を行う（ステップＳ１２）。次に、記憶部９が、タイムストレッチ処理後のオーディオデータをステップＳ６で確保された記憶領域の該当箇所に記憶する（ステップＳ１３）。

次に、タイムストレッチ処理部６は、対象区間が最後の処理区間であるか否かを判定する（ステップＳ１４）。対象区間が最後の処理区間でない場合、タイムストレッチ処理部６は、次の処理区間を対象区間に設定し（ステップＳ１５）、ステップＳ８に戻る。一方、対象区間が最後の処理区間である場合、楽音信号変換処理が終了する。

ステップＳ１１でストレッチ比が１よりも大きい場合、図６に示すように、処理判定部８は、対象区間が最初の処理区間であるか否かを判定する（ステップＳ１６）。対象区間が最初の処理区間である場合、処理判定部８は、ステップＳ３で取得された初期情報に基づいて、セクションタイプが“イントロ”であるか否かを判定する（ステップＳ１７）。

セクションタイプが“イントロ”である場合、ストレッチ比設定部５は、対象区間のストレッチ比を１に設定する（ステップＳ１８）。次に、タイムストレッチ処理部６が、ストレッチ比を１として対象区間のオーディオデータにタイムストレッチ処理を行う（ステップＳ１９）。この場合、対象区間の時間長は実質的に変化しない。次に、記憶部９が、対象区間のオーディオデータをステップＳ６で確保された記憶領域の該当部分に記憶する（ステップＳ２０）。この場合、ステップＳ８で算出された予定区間長と記憶されるオーディオデータの時間長とが一致するように、対象区間の先頭に無音区間が追加される。その後、タイムストレッチ処理部６が、図５のステップＳ１４に戻る。

ステップＳ１６で対象区間が最初の処理区間でない場合、処理判定部８は、対象区間が最後の処理区間であるか否かを判定する（ステップＳ２１）。処理区間が最後の処理区間である場合、処理判定部８は、セクションタイプが“エンディング”であるか否かを判定する（ステップＳ２２）。

セクションタイプが“エンディング”である場合、ストレッチ比設定部５は、対象区間のストレッチ比を１に設定する（ステップＳ２３）。次に、タイムストレッチ処理部６が、ストレッチ比を１として対象区間のオーディオデータにタイムストレッチ処理を行う（ステップＳ２４）。この場合、対象区間の時間長は実質的に変化しない。次に、記憶部９が、対象区間のオーディオデータをステップＳ６で確保された記憶領域の該当部分に記憶する（ステップＳ２５）。この場合、ステップＳ８で算出された予定区間長と記憶されるオーディオデータの時間長とが一致するように、対象区間の末尾に無音区間が追加される。これにより、楽音信号変換処理が終了する。

ステップＳ１７でセクションタイプが“イントロ”でない場合、ステップＳ２１で対象区間が最後の処理区間でない場合、またはステップＳ２２でセクションタイプが“エンディング”でない場合、タイムストレッチ処理部６がステップＳ１２に戻る。この場合、ステップＳ９で算出されたストレッチ比で対象区間のオーディオデータにタイムストレッチ処理が行われる。

［５］実施の形態の効果
上記実施の形態に係る楽音信号変換装置１００においては、基準情報の変化に対応するように素材データが複数の処理区間に分割されるとともに基準情報の変化に基づいて各処理区間のストレッチ比が設定され、素材データのタイムストレッチ処理が処理区間毎に行われる。それにより、複数の処理区間の基準情報の差を調整することができる。したがって、生成された伴奏パターンデータが自動伴奏として再生された際に、自動伴奏の聴感上の拍点のずれが防止される。そのため、自動伴奏がユーザの演奏の妨げとなることが防止される。

また、テンポの揺らぎを含む素材データが用いられる場合でも、聴感上の拍点のずれが抑制された伴奏パターンデータが生成されるので、素材データの選択の自由度が高くなる。それにより、テンポの揺らぎの有無に拘わらず楽曲データにおける任意の箇所を素材データに用いることができる。したがって、専門的な知識を有さないユーザでも、容易に伴奏パターンデータを生成することができる。一方、波形編集等の専門的な知識を有するユーザにとっては、伴奏パターンデータの生成のための作業効率が向上する。

［６］他の実施の形態
上記実施の形態では、楽曲データ取得部１により素材データの基となる楽曲データが取得されるが、楽曲データが取得されることなく、通信網または記憶媒体を介して、あるいはサンプリング等により素材データのみが取得されてもよい。また、上記実施の形態では、楽音信号としてデジタルの素材データが用いられるが、アナログの楽音信号に同様の処理が行われてもよい。

上記実施の形態では、楽曲データがオーディオデータのみからなるが、楽曲データにオーディオデータとＭＩＤＩ（Musical Instrument Digital Interface）形式のデータ（以下、ＭＩＤＩデータと呼ぶ）とが混在してもよい。オーディオデータから伴奏パターンデータが生成される場合には、上記実施の形態のように、聴感上の拍点のずれが生じないようにオーディオデータにタイムストレッチ処理が行われる。一方、ＭＩＤＩデータについては、テンポ情報が例えばマスタトラック等の再生全体を管理する場所に記憶されているので、テンポおよび拍点を任意に調整可能であり、オーディオデータのように聴感上の拍点のずれが問題とならない。オーディオデータの伴奏パートとＭＩＤＩデータの伴奏パートとが混在する場合には、オーディオデータの伴奏パートの聴感上の拍点がＭＩＤＩデータの伴奏パートの拍点からずれないように、上記実施の形態と同様の処理によってオーディオデータの伴奏パターンデータを生成すればよい。

オーディオデータにテンポの揺らぎがあるとき以外に、例えば、テンポは一定であっても変拍子がある場合には、再生時に聴感上の拍点のずれが生じる場合がある。そこで、上記実施の形態では、テンポの変化位置を分割位置として素材データが複数の処理区間に分割されるが、拍子の変化位置を分割位置として素材データが複数の処理区間に分割されてもよい。その場合、例えば、各処理区間の拍子が生成すべき伴奏パターンデータの拍子と一致するように各処理区間のストレッチ比を設定し、上記実施の形態と同様に処理区間毎にタイムストレッチ処理を行うことにより、聴感上の小節線（拍位置）のずれを防止することができる。

テンポの変化および拍子の変化は、いずれも拍間隔の変化から判定することができる。そのため、素材データにおいて拍間隔の変化を検出し、その検出結果に基づいて各処理区間を設定するとともにタイムストレッチ比を設定することにより、テンポが変化する場合および拍子が変化する場合のいずれにおいても、聴感上の拍位置のずれを防止することができる。処理区間の分割位置は、拍間隔が変化した拍位置であってもよく、拍間隔が変化した拍位置に最も近い小節線であってもよい。例えば、４／４拍子の３拍目以降で拍間隔が変化した場合、４拍目の末尾（次の小節線）を分割位置とし、２拍目で拍間隔が変化した場合は、１拍目の先頭（前の小節線）を分割位置としてもよい。拍間隔は、テンポが判明している場合にはテンポから算出することができ、拍子が予め判明している場合には、その拍子から算出することができる。目標となる拍子は、ユーザが設定してもよいし、元の楽曲データから取得された拍子情報に基づいて設定されてもよい。あるいは、候補となる複数の拍子がユーザに提示され、その中からユーザが選択してもよい。

［７］請求項の各構成要素と実施の形態の各部との対応
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることができる。

上記実施の形態では、楽音信号変換装置１００が楽音信号変換装置の例であり、素材データが楽音信号の例であり、素材データ取得部２が楽音信号取得手段の例であり、基準情報取得部３が基準情報取得手段の例であり、区間分割部４が区間分割手段の例であり、ストレッチ比設定部５がストレッチ比設定手段の例であり、タイムストレッチ処理部６がタイムストレッチ処理手段の例であり、記憶部９が記憶手段の例である。また、初期情報取得部７が条件設定手段の例であり、セクションタイプが伴奏パターンデータの種類の例であり、処理判定部８が判定手段の例である。

本発明は、楽音信号から伴奏パターンデータを生成するために有効に利用することができる。

１…楽曲データ取得部，２…素材データ取得部，３…基準情報取得部，４…区間分割部，５…ストレッチ比設定部，６…タイムストレッチ処理部，７…初期情報取得部，８…処理判定部，９…記憶部，１００…楽音信号変換装置，１１０…ＣＰＵ，１２０…ＲＯＭ，１３０…ＲＡＭ，１４０…記憶装置，１５０…表示装置，１６０…入力装置，１７０…出力装置

Claims (4)

1. 楽音信号から伴奏パターンデータを生成するための楽音信号変換装置であって、
   楽音信号を取得する楽音信号取得手段と、
   取得された楽音信号の拍点に関する情報を基準情報として取得する基準情報取得手段と、
   取得された基準情報の変化に対応するように、前記取得された楽音信号を複数の処理区間に分割する区間分割手段と、
   前記取得された基準情報に基づいて各処理区間のストレッチ比を設定するストレッチ比設定手段と、
   設定されたストレッチ比で前記取得された楽音信号のタイムストレッチ処理を処理区間毎に行うタイムストレッチ処理手段と、
   タイムストレッチ処理後の前記複数の処理区間の楽音信号を前記伴奏パターンデータとして記憶する記憶手段とを備える、楽音信号変換装置。
2. 基準情報の目標となる条件を目標条件として設定する条件設定手段をさらに備え、
   前記ストレッチ比設定手段は、各処理区間に対応する基準情報が、設定された目標条件と一致するように、各処理区間に対するストレッチ比を設定する、請求項１記載の楽音信号変換装置。
3. 生成すべき前記伴奏パターンデータの種類を取得する種類取得手段と、
   取得された種類に基づいて、前記複数の処理区間のうち最初または最後の処理区間の楽音信号にタイムストレッチ処理を行うか否かを判定する判定手段とをさらに備え、
   前記ストレッチ比設定手段は、前記最初または最後の処理区間にタイムストレッチ処理を行わないと判定された場合、当該処理区間のストレッチ比を１に設定し、
   前記記憶手段は、前記判定手段による判定の結果に応じて、前記最初または最後の処理区間の楽音信号と、隣接する他の処理区間の楽音信号とが連結されるように、前記タイムストレッチ処理後の複数の処理区間の楽音信号を記憶する、請求項１または２記載の楽音信号変換装置。
4. 楽音信号から伴奏パターンデータを生成するための楽音信号変換プログラムであって、
   楽音信号を取得するステップと、
   取得された楽音信号の拍点に関する情報を基準情報として取得するステップと、
   取得された基準情報の変化に対応するように、前記取得された楽音信号を複数の処理区間に分割するステップと、
   前記取得された基準情報に基づいて各処理区間のストレッチ比を設定するステップと、
   設定されたストレッチ比で前記取得された楽音信号のタイムストレッチ処理を処理区間毎に行うステップと、
   タイムストレッチ処理後の前記複数の処理区間の楽音信号を前記伴奏パターンデータとして記憶するステップとを、
   コンピュータに実行させる、楽音信号変換プログラム。

Images