JP2010152287A - 自動演奏同期装置、自動演奏鍵盤楽器およびプログラム - Google Patents

Abstract

【課題】専用のコンテンツを製作することなく、ＭＩＤＩデータとオーディオ信号との同期を取ることができる自動演奏装置、自動演奏鍵盤楽器およびプログラムを提供すること。
【解決手段】本発明の実施形態に係る自動演奏鍵盤楽器は、自動演奏同期装置を有し、この自動演奏同期装置の制御部によって実行される制御プログラムにより実現する演奏同期部１００によって、再生装置において再生されるオーディオ信号Ｓａを取得して取得パターンデータＰｓと、予め記憶された再生パターンデータＰａとを比較して、現在再生されているオーディオ信号Ｓａの再生位置を特定し、この再生位置に同期させて楽音制御データＳｃを読み出すことにより、オーディオ信号Ｓａの再生と同期させることができる。
【選択図】図３

Description

本発明は、再生されるオーディオ信号に同期して楽音制御データを読み出す技術に関する。

ＤＶＤに記録されるコンテンツにおいて、ＭＩＤＩ（Musical Instrument Digital Interface）データに応じて変調された音響信号をコンテンツの１ｃｈとして記録しておき、これを再生することにより、コンテンツと、ＭＩＤＩデータとを同期して再生する技術が、例えば、特許文献１に開示されている。
特開２００１−３０７４２８号公報

この技術によれば、上述のような同期再生を行うことができるが、使用できる音声チャンネルの１ｃｈを、ＭＩＤＩデータに応じて変調された音響信号により占有されてしまうとともに、コンテンツ提供側において専用のコンテンツとして製作する必要があった。

本発明は、上述の事情に鑑みてなされたものであり、専用のコンテンツを製作することなく、ＭＩＤＩデータとオーディオ信号との同期を取ることができる自動演奏装置、自動演奏鍵盤楽器およびプログラムを提供することを目的とする。

上述の課題を解決するため、本発明は、オーディオ信号の時間軸方向の各区間について、前記オーディオ信号と同期して発音すべき内容を指定する楽音制御データと、前記各区間における前記オーディオ信号の特徴量とを対応付けて記憶する記憶手段と、外部装置において再生されるオーディオ信号を取得するオーディオ信号取得手段と、前記再生されるオーディオ信号の再生位置を示す位置情報を、前記外部装置から取得する位置情報取得手段と、前記オーディオ信号取得手段によって取得されたオーディオ信号の各区間の前記特徴量を抽出する抽出手段と、前記記憶手段に記憶された特徴量のうち前記位置情報取得手段によって取得された位置情報が示す再生位置から一定時間範囲内にある各区間の特徴量と、前記抽出手段によって抽出された特徴量とを比較して、前記オーディオ信号取得手段によって取得されるオーディオ信号の再生位置を特定する特定手段と、前記特定手段において特定された再生位置に対応する区間の楽音制御データを前記記憶手段から読み出して、前記外部装置において再生されるオーディオ信号と同期再生する読出手段とを具備することを特徴とする自動演奏同期装置を提供する。

また、別の好ましい態様において、前記特定手段は、前記再生位置の特定を予め設定されたタイミングで行い、前記位置情報取得手段によって取得された位置情報が示す再生位置と、前回取得された位置情報が示す再生位置との差が所定範囲外となった場合には、当該タイミングにかかわらず再生位置の特定を行うことを特徴とする。

また、別の好ましい態様において、前記特徴量は、楽音の音高を指定する複数のノート値の組み合わせによって表されていることを特徴とする。

また、別の好ましい態様において、前記記憶手段は、前記楽音制御データおよび前記特徴量の組を複数記憶し、前記特定手段において比較される前記記憶手段に記憶された特徴量を、前記複数の特徴量から選択する選択手段をさらに具備することを特徴とする。

また、別の好ましい態様において、前記特定手段は、前記選択手段が複数の特徴量を選択したときには、当該複数の特徴量と前記抽出手段によって抽出された特徴量との比較に応じて、当該複数の特徴量のいずれかとの比較による再生位置を特定し、前記読出手段は、前記特定手段によって特定された再生位置に係る特徴量に対応する楽音制御データを読み出すことを特徴とする。

また、別の好ましい態様において、前記位置情報取得手段によって取得される位置情報が示す再生位置は、前記特定手段によって特定される再生位置の分解能より低い分解能であることを特徴とする。

また、本発明は、上記記載の自動演奏同期装置と、前記読出手段によって同期再生される楽音制御データに応じて揺動する鍵を複数有する鍵盤と、前記読出手段によって同期再生される楽音制御データ、または前記鍵の動作に応じて発音する発音手段とを具備することを特徴とする自動演奏鍵盤楽器を提供する。

また、本発明は、コンピュータを、オーディオ信号の時間軸方向の各区間について、前記オーディオ信号と同期して発音すべき内容を指定する楽音制御データと、前記各区間における前記オーディオ信号の特徴量とを対応付けて記憶する記憶手段と、外部装置において再生されるオーディオ信号を取得するオーディオ信号取得手段と、前記再生されるオーディオ信号の再生位置を示す位置情報を、前記外部装置から取得する位置情報取得手段と、前記オーディオ信号取得手段によって取得されたオーディオ信号の各区間の前記特徴量を抽出する抽出手段と、前記記憶手段に記憶された特徴量のうち前記位置情報取得手段によって取得された位置情報が示す再生位置から一定時間範囲内にある各区間の特徴量と、前記抽出手段によって抽出された特徴量とを比較して、前記オーディオ信号取得手段によって取得されるオーディオ信号の再生位置を特定する特定手段と、前記特定手段において特定された再生位置に対応する区間の楽音制御データを前記記憶手段から読み出して、前記外部装置において再生されるオーディオ信号と同期再生する読出手段として機能させるためのプログラムを提供する。

本発明によれば、専用のコンテンツを製作することなく、ＭＩＤＩデータとオーディオ信号との同期を取ることができる自動演奏装置、自動演奏鍵盤楽器およびプログラムを提供することができる。

以下、本発明の一実施形態について説明する。

＜実施形態＞
図１は、本発明の実施形態に係る自動演奏鍵盤楽器１の構成を示すブロック図である。自動演奏鍵盤楽器１は、自動演奏同期装置１０および演奏装置２０を有する。自動演奏鍵盤楽器１には、再生装置２が接続され、再生装置２には、シアターシステム３が接続されている。

再生装置２は、ＤＶＤ、ＣＤなどの光ディスクに記録されたコンテンツデータを読み込み再生する。これにより、再生装置２は、シアターシステム３に対して、再生されるコンテンツデータのオーディオ信号Ｓａおよび映像信号Ｓｂを出力する。また、再生装置２は、自動演奏鍵盤楽器１に対して、オーディオ信号Ｓａを出力するとともに、その再生位置を示す再生位置情報Ｔｃを出力する。この再生位置は、厳密な値としてではなく、大まかな再生位置、例えば秒単位で表された再生位置であり、後述するように特定される再生位置よりも分解能が低いものとなっている。

さらに、再生装置２は、コンテンツの再生を始めるとき、すなわち、セットされた光ディスクの読み込みを開始したときに、自動演奏鍵盤楽器１に対して、コンテンツのタイトルを特定するために必要な情報であるタイトル情報Ｐｉｎを出力する。コンテンツのタイトルを特定するために必要な情報とは、例えば、コンテンツのタイトルの名称であってもよいし、トラック数、各トラックの再生時間などを示す情報であってもよい。

シアターシステム３は、ディスプレイ、ＡＶアンプ、スピーカなどを有し、様々なコンテンツを視聴するためのシステムであって、再生装置２から出力されるオーディオ信号Ｓａを放音するとともに、映像信号Ｓｂに応じた表示を行う。

自動演奏同期装置１０は、制御部１１、記憶部１２、操作部１３、インターフェイス１４および表示部１５を有し、それぞれバス１６を介して接続されている。演奏装置２０は、コントローラ２１、鍵盤部２２および発音部２３を有する。以下、自動演奏鍵盤楽器１の構成について説明する。

制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を有している。ＣＰＵは、ＲＯＭまたは記憶部１２から制御プログラムをＲＡＭに読み出して実行することにより、自動演奏同期装置１０の各部について、バス１６を介して制御するとともに、後述する各機能を実現する。また、ＲＡＭは、ＣＰＵが各データの加工などを行う際のワークエリアとして機能する。

記憶部１２は、例えばハードディスクなどの大容量記憶手段であって、上述の制御プログラムの他、以下に示す再生パターンデータＰａ、楽音制御データＳｃ、タイトル特定情報を複数記憶する。この例においては、各再生パターンデータＰａおよび各楽音制御データＳｃは、データＩＤなどにより対応付けられ、さらにタイトル特定情報と関連付けられている。

タイトル特定情報は、コンテンツのタイトルを特定するために必要な情報を複数有している。後述するように、タイトル情報Ｐｉｎとタイトル特定情報との比較により、コンテンツのタイトルが特定されると、関連する再生パターンデータＰａおよび楽音制御データＳｃを複数の中から選択することができる。

楽音制御データＳｃは、この例においてはＭＩＤＩデータであって、対応するコンテンツに係るオーディオ信号の時間軸方向の各区間を示す各再生位置に対応して発音すべき内容を指定するデータにより構成される。そのため、楽音制御データＳｃは、対応するコンテンツに係るオーディオ信号と同期させて再生すると、コンテンツの音声にあわせて楽音を発音させるように、発音内容が指定されている。以下、再生パターンデータＰａについて、図２を用いて説明する。

図２は、再生パターンデータＰａの構成を説明する図である。再生パターンデータＰａは、各コンテンツに対応し、対応するコンテンツにおいて再生されるオーディオ信号について、時間軸方向の各区間を示す各再生位置における特徴量を示すデータとして予め生成されたものであって、図２に示すように、各再生位置を示すレコードナンバーと、特徴量を示すレコードデータとの関係として構成される。この特徴量は、オーディオ信号について、５１２サンプル毎に８１９２点のＦＦＴ（Finite Fourier transform）処理を施した結果に応じて抽出される。

レコードナンバーは、５１２サンプル毎に行われるＦＦＴの順番を示すものであり、レコードナンバー「０」は、オーディオ信号のサンプルナンバー「０」から「８１９１」まで（８１９２点）においてＦＦＴ処理を施したレコードであり、レコードナンバー「ｋ」は、サンプルナンバー「５１２×ｋ」から「５１２×ｋ＋８１９１」までに対応する。このように、レコードナンバーは再生位置に対応するものである。この例においては、オーディオ信号のサンプリング周波数は４４．１ｋＨｚであるものとし、各レコードは、約１２ｍｓｅｃ．（５１２サンプルに相当する時間）毎に抽出された特徴量を示すものである。

レコードデータは、ＦＦＴ処理を施した結果得られるスペクトルのピークを特定するデータであり、この例においては、最大のピークの出力値の２５％以上の出力値をもつピークについて、上位８個までのピークを示したものである。そして、このレコードデータは、上位８個までのピークの周波数を、楽音の音高を指定するデータ、この例においては、ＭＩＤＩデータなどにおいて用いられるノートナンバーに量子化されたものとして表される。例えば、ピークの周波数が「４４０Ｈｚ」なら「Ａ４（６９）」として表され、また、ピークの周波数が「４４６Ｈｚ」とノートナンバーに対応する周波数とずれていたとしても、一番近いノートナンバー「Ａ４（６９）」に量子化される。

このように、図２に示す各レコードデータｎ（ｘ，ｙ）（ｘ：レコードナンバー、ｙ：ピークナンバー）はノートナンバーで表されるものである。ここで、各レコードナンバーのレコードデータは、ノートナンバーが昇順に並べられ、例えば、ｎ（ｘ，０）＝Ａ２、ｎ（ｘ，１）＝Ａ３、ｎ（ｘ，３）＝Ｃ３、・・・、ｎ（ｘ，７）＝Ｆ５のようになっている。なお、この例においては、各ピークの出力値のデータについては、再生パターンデータＰａには反映されていないが、ピークの出力値順に並べて、大小関係について反映させたデータとしてもよい。以上が、再生パターンデータＰａの説明である。

図１に戻って説明を続ける。操作部１３は、例えばキーボード、マウス、スイッチなどの操作手段である。利用者が操作部１３を操作するとその操作内容を表すデータが制御部１１へ出力される。

インターフェイス１４は、再生装置２から出力されるオーディオ信号Ｓａを取得する入力端子と、再生時刻情報Ｔｃおよびタイトル情報Ｐｉｎを取得する通信端子を有する。

表示部１５は、映像を表示画面に表示する液晶ディスプレイなどの表示デバイスであって、制御部１１の制御によって入力される映像信号に基づく表示を行う。この例においては、メニュー画面等の表示を行う。なお、インターフェイス１４を介して、再生装置２から映像信号Ｓｂを取得して、表示してもよい。

コントローラ２１は、自動演奏同期装置１０から入力される楽音制御データＳｃに応じて、鍵盤部２２を制御する。この制御は、後述するように、鍵盤部２２の各鍵を楽音制御データＳｃに応じて揺動させるものである。なお、演奏装置２０に音源および音源により生成されるオーディオ信号を放音するスピーカを有する音声出力部を有するようにして、鍵盤部２２の鍵の動作、楽音制御データＳｃに応じた発音をさせるようにしてもよい。

鍵盤部２２は、複数の鍵を有する鍵盤であり、コントローラ２１の制御により、利用者が鍵を押下しなくても、押下したかのように、各鍵を揺動させる機構を有している。発音部２３は、アコースティックピアノのように鍵盤部２２の各鍵の押下により弦を打弦することにより発音する機構を有している。したがって、利用者により、またはコントローラ２１により、鍵盤部２２の鍵が押下されると、発音するようになっている。以上が、自動演奏鍵盤楽器１の構成についての説明である。

次に、自動演奏鍵盤楽器１の自動演奏同期装置１０において、制御部１１が制御プログラムを実行することにより実現する機能のうち、オーディオ信号Ｓａに同期して楽音制御データＳｃをコントローラ２１に出力する機能を実現する演奏同期部１００の構成について説明する。

図３は、演奏同期部１００の機能構成を示す機能ブロック図である。演奏同期部１００は、情報取得部１１０、選択部１２０、オーディオ取得部１３０、パターン生成部１４０、特定部１５０および読出部１６０を有する。演奏同期部１００は、インターフェイス１４からオーディオ信号Ｓａ、再生位置情報Ｔｃおよびタイトル情報Ｐｉｎが入力され、入力されるオーディオ信号Ｓａに同期して、記憶部１２から読み出した楽音制御データＳｃをコントローラ２１に対して出力する。

情報取得部１１０は、インターフェイス１４からタイトル情報Ｐｉｎおよび再生位置情報Ｔｃが入力され、タイトル情報Ｐｉｎについては選択部１２０に、再生位置情報Ｔｃについては特定部１５０に出力する。

選択部１２０は、情報取得部１１０から出力されたタイトル情報Ｐｉｎと、記憶部１２に記憶されている複数のタイトル特定情報とを比較し、対応するタイトル特定情報からコンテンツのタイトルを特定する。そして、この特定したタイトルに対応する再生パターンデータＰａを選択するパターンデータ選択情報を特定部１５０に出力するとともに、これに対応する楽音制御データＳｃを選択する楽音制御データ選択情報を読出部１６０に出力する。

オーディオ取得部１３０は、インターフェイス１４からオーディオ信号Ｓａが入力され、パターン生成部１４０に出力する。このとき、オーディオ取得部１３０は、入力されるオーディオ信号Ｓａのサンプリング周波数が４４．１ｋＨｚでない場合には、この４４．１ｋＨｚになるように調整、すなわち上述の再生パターンデータＰａの生成元となるオーディオ信号のサンプリング周波数と同じになるように調整されることが望ましい。

パターン生成部１４０は、入力されるオーディオ信号Ｓａから、各取得時刻に対応して特徴量を抽出することにより、上述のような再生パターンデータ（以下、取得パターンデータＰｓという）を生成し、特定部１５０に出力する。

このとき、パターン生成部１４０は、各レコードに係る特徴量抽出のため、８１９２点のＦＦＴ処理を施すため、少なくとも８１９２サンプル（約１８６ｍｓｅｃ．）分のオーディオ信号Ｓａをバッファし、各レコードに対応する特徴量（レコードデータ）を抽出したら、特定部１５０へ出力していく。この例においては、２秒分のオーディオ信号Ｓａをバッファし、２秒分の取得パターンデータＰｓを生成して特定部１５０へ出力する。ここで、取得パターンデータＰｓにおける各レコードナンバーはオーディオ信号Ｓａの各取得時刻を示すものとなり、各レコードは、各取得時刻におけるオーディオ信号Ｓａの特徴量を示すものとなる。

特定部１５０は、選択部１２０から入力されたパターンデータ選択情報が示す再生パターンデータＰａを選択し、その再生パターンデータＰａのうち、再生位置情報Ｔｃが示す再生位置に応じたレコードに対応する部分を読み出す。再生位置情報Ｔｃが示す再生位置に応じたレコードとは、その再生位置から一定範囲（この例においては、その再生位置から前後２秒分、合計４秒分）の時間内に対応するレコードを示している。

特定部１５０は、パターン生成部１４０から出力された取得パターンデータＰｓと、読み出した再生パターンデータＰａとを比較してマッチングを行い、取得パターンデータＰｓの各レコードが、再生パターンデータＰａのどのレコードに該当するのかを解析し、各取得時刻におけるオーディオ信号Ｓａの再生位置を特定する。ここで、再生パターンデータＰａの生成元となるオーディオ信号は、入力されるオーディオ信号Ｓａと同じものであるから再生位置の特定が可能であり、例えば、ある取得時刻におけるオーディオ信号Ｓａのレコードが、再生パターンデータＰａにおけるレコードナンバー「２」に該当する場合には、その取得時刻におけるオーディオ信号Ｓａは、再生時刻が５１２サンプル（約１２ｍｓｅｃ．）に対応する再生位置であるとして特定される。

以下、取得パターンデータＰｓと再生パターンデータＰａとのマッチングにより再生位置を特定する方法について、この例における具体的方法を説明する。取得パターンデータＰｓの各レコードをＰｓ（ｍ）（ｍ＝０、１、・・・、Ｍ−１；２秒分のレコード数Ｍ）とし、再生パターンデータＰａの各レコードをＰａ（ｎ）（ｎ＝０、１、・・・、Ｎ−１；４秒分のレコード数Ｎ）とする。なお、この再生パターンデータＰａは、再生位置情報Ｔｃが示す再生位置に応じたレコードに対応する部分が読み出されたものであるから、ｎ＝０は最初のレコード「０」を示すものではなく、読み出された部分の最初のレコードを示している。

ここで、レコードｒ０とｒ１との距離を返す関数をＤ（ｒ０，ｒ１）とする。例えば、レコードｒ０、ｒ１のそれぞれに含まれている８個の要素を比較し、一致しない要素の個数をｄとすると、「０．９^ｄ（０．９のｄ乗）」を返す関数である。すなわち、完全一致であれば「１」を返し、全く異なる場合には「０．９^８」を返すことになり、「１」に近いほど距離が近く、「０」に近いほど距離が離れていることを示す。再生位置がｔのときの再生パターンデータＰａと取得パターンデータＰｓとの距離ＤＰ（ｔ）は、以下の式（１）で表される。

そして、ＤＰ（ｔ）を｛ｔ＝０…（Ｎ−Ｍ−１）｝の間で全て算出し、最小であったときのｔの値を、再生位置として特定する。なお、ＤＰ（ｔ）の値の計算において｛ｊ＝０…Ｍ−１｝のＭ会の距離計算を行うことになるが、途中でマッチングの見込みが無いほど距離が大きくなる場合は、計算を途中で打ち切ってそのときのｔを候補に入れないようにして、処理の高速化を図ってもよい。

このようにして、特定部１５０は、再生パターンデータＰａと取得パターンデータＰｓとを比較し、各レコードを対応させることにより、各取得時刻におけるオーディオ信号Ｓａの再生位置を特定する。そして、特定部１５０は、再生装置２からインターフェイス１４にオーディオ信号Ｓａが出力されてから再生位置の特定までに要する処理時間と、特定した再生位置とに応じて、再生装置２において現在再生されているオーディオ信号Ｓａの再生位置（または自動演奏同期装置１０において取得しているオーディオ信号Ｓａの再生位置）を算出し、現在位置情報Ｔａを読出部１６０に対して出力する。

なお、楽音制御データＳｃに規定される各再生位置がこの処理時間のずれを含めて作成されたデータである場合には、特定した再生位置をそのまま現在時刻情報Ｔａとすればよい。また、この処理時間には、シアターシステム３における音響処理などによる音響処理時間、すなわちオーディオ信号Ｓａの入力から放音までの処理時間についても加算したものとしてもよく、これにより、同期の精度を向上させることができる。この場合、音響処理時間は、操作部１３の操作により入力されたものであってもよいし、シアターシステム３から通信により取得したものであってもよい。

読出部１６０は、選択部１２０から入力された楽音制御データ選択情報が示す楽音制御データＳｃを選択し、特定部１５０から入力された現在位置情報Ｔａに対応した再生位置に対応するデータから、予め設定されたクロック信号を用いて、一定の読み出し速度で楽音制御データＳｃの読み出しを開始し、コントローラ２１に出力する。これにより、楽音制御データＳｃは、オーディオ信号Ｓａと同期再生される。

そして読出部１６０は、現在位置情報Ｔａを取得すると、読み出している楽音制御データＳｃのデータに対応する再生位置と比較して、ずれがあれば読み出すデータの位置の修正を行う。このように、読出部１６０は、オーディオ信号Ｓａの現在の再生位置を示す現在位置情報Ｔａに同期して、楽音制御データＳｃを読み出し、コントローラ２１へ出力する。これによって、楽音制御データＳｃに応じて鍵盤部２２の鍵が揺動し、発音部２３から発音され、この発音は、再生装置２によるオーディオ信号Ｓａの再生と同期したものとなる。以上が、演奏同期部１００の構成についての説明である。

このように、本発明の実施形態に係る自動演奏鍵盤楽器１は、自動演奏同期装置１０を有し、この自動演奏同期装置１０の制御部１１によって実行される制御プログラムにより実現する演奏同期部１００によって、再生装置２において再生されるオーディオ信号Ｓａを取得して取得パターンデータＰｓと、予め記憶された再生パターンデータＰａとを比較して、現在再生されているオーディオ信号Ｓａの再生位置を特定し、この再生位置に同期させて楽音制御データＳｃを読み出すことにより、オーディオ信号Ｓａの再生と同期させることができる。

以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。

＜変形例１＞
上述した実施形態においては、選択部１２０において特定されるコンテンツのタイトルは、１つであるものとして説明したが、複数のタイトルに絞り込んだ後に、別の方法で１つのタイトルを特定するようにしてもよい。

第１の態様としては、絞り込んだ複数のタイトルを表示部１５に表示させ、利用者が操作部１３を操作して、一のタイトルを選択するようにすればよい。そして、選択したタイトルに係る再生パターンデータＰａを特定部１５０に読み出させればよい。

第２の態様としては、特定部１５０において、絞り込んだ複数のタイトルに係る再生パターンデータＰａを全て処理し、それぞれについて算出されるＤＰ（ｔ）が所定値以下となった再生パターンデータＰａを示す情報を読出部１６０に通知して、読出部１６０は、通知された情報に係る再生パターンデータＰａに対応する楽音制御データＳｃを読み出すようにすればよい。

ここで、ＤＰ（ｔ）が所定値以下となった再生パターンデータＰａが１つに絞り込まれなかった場合には、残った複数の再生パターンデータＰａを候補として、さらに所定時間経過後に取得したオーディオ信号Ｓａおよび再生パターンデータＰａを用いてＤＰ（ｔ）を算出し、同様な処理を行えばよい。

なお、このような態様で特定を行う場合には、タイトル情報Ｐｉｎを取得しなくてもよく、その場合には、記憶部１２に記憶されている全てのタイトルを対象として、上記処理を行えばよい。

＜変形例２＞
上述した実施形態においては、再生位置の特定を行う特定処理のタイミングについては、特に限定していなかったが、予め設定されたタイミングで特定処理が行われるようにしてもよい。予め設定されたタイミングとは、例えば、オーディオ信号Ｓａの再生が開始されたタイミング、一定時間毎のタイミングなどであればよい。

また、再生装置２における操作により、再生位置が変更（早送りなど）されたときに、再生位置が変更されると、再生位置情報Ｔｃが示す再生位置が大きく変わることになるから、最新の再生位置情報Ｔｃに係る再生位置と、前回取得した再生位置情報Ｔｃに係る再生位置との差が所定範囲外になった場合には、上記タイミングにかかわらず特定処理を行なうようにすればよい。

ここで、再生位置情報Ｔｃの出力間隔が１秒である場合には、前回取得と今回取得との再生位置情報Ｔｃの差は１秒になるから、所定範囲とは、例えば０秒から２秒の範囲であるものとすればよい。なお、再生装置２において再生位置が変更されたときに、変更されたことを示す変更情報が出力される場合には、自動演奏同期装置１０のインターフェイス１４において、変更情報を取得して、変更情報を取得した後に再生位置情報Ｔｃを取得すると、特定処理が行われるようにしてもよい。

このように、大まかな再生位置を示す再生位置情報Ｔｃを取得することで、再生位置が大きく変化したとしても、特定部１５０において比較すべき再生パターンデータＰａのレコードを、その再生位置に応じたレコードナンバーに限定して特定処理を行うことができるから、処理負荷を低減することができる。

＜変形例３＞
上述した実施形態においては、記憶部１２に再生パターンデータＰａと楽音制御データＳｃとが予め記憶されていたが、これらはネットワークを介してダウンロードすることにより取得し、記憶部１２に記憶するようにしてもよい。

この場合は、記憶部１２に記憶されたデータベースであって、タイトル特定情報と再生パターンデータＰａのデータＩＤおよび楽音制御データＳｃのデータＩＤとを対応付けたデータベースを参照し、選択部１２０によってコンテンツのタイトルの特定を行うと、制御部１１は、対応する再生パターンデータＰａと楽音制御データＳｃとが、ネットワーク接続されたサーバなどからダウンロードするように制御すればよい。そして、ダウンロードされた各データを用いて、特定部１５０および読出部１６０は、各処理を行えばよい。

また、ＣＤ、ＤＶＤなどの光ディスク、フレキシブルディスク（ＦＤ）などの外部記憶媒体から楽音制御データＳｃを取得し、記憶部１２に記憶させたときには、再生パターンデータＰａがダウンロードされるようにしてもよい。なお、これらのデータは、再生装置２において使用されるＤＶＤなどの記憶媒体からダウンロードするようにしてもよい。この場合には、特定部１５０および読出部１６０において用いられる再生パターンデータＰａおよび楽音制御データＳｃは、ダウンロードしたものとすればよい。

＜変形例４＞
上述した実施形態においては、特定部１５０は、再生装置２から取得した再生位置情報Ｔｃに基づいて、おおまかな再生位置を認識していたが、別の方法でおおまかな再生位置を認識するようにしてもよい。例えば、再生装置２に再生位置を「００：１５：２０」などと表示する表示部が設けられている場合には、この表示を撮影するＣＣＤ（Charge Coupled Device）などの撮影部を自動演奏同期装置１０に設け、制御部１１は、この撮影結果を画像認識することで再生位置を認識し、再生位置情報Ｔｃとして演奏同期部１００における処理に用いるようにすればよい。

なお、再生装置２の表示部に再生中のコンテンツのタイトルが表示されるようになっている場合には、制御部１１は、画像認識によりコンテンツのタイトルを認識して、選択部１２０において特定されるコンテンツのタイトルとするようにすればよい。このようにすれば、再生装置２に再生位置情報Ｔｃ、タイトル情報Ｐｉｎを出力する機能がなくてもよい。

＜変形例５＞
上述した実施形態における自動演奏同期装置１０は、鍵盤部２２を有する演奏装置２０と組み合わせることによる自動演奏鍵盤楽器１として構成されるものに限られず、自動演奏可能な鍵盤楽器以外の楽器（例えば、バイオリン、ギターなどの弦楽器、トランペット、サックスなどの管楽器など）を構成する演奏装置と組み合わせることにより、自動演奏楽器とすることもできる。

＜変形例６＞
上述した実施形態における自動演奏同期装置１０によって実行される制御プログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読取り可能な記録媒体に記憶した状態で提供し得る。また、インターネットのようなネットワーク経由でダウンロードさせることも可能である。

実施形態に係る自動演奏鍵盤楽器の構成を示すブロック図である。 実施形態に係る再生パターンデータの構成を説明する図である。 実施形態に係る演奏同期部の機能構成を示す機能ブロック図である。

符号の説明

１…自動演奏鍵盤楽器、２…再生装置、３…シアターシステム、１０…自動演奏同期装置、１１…制御部、１２…記憶部、１３…操作部、１４…インターフェイス、１５…表示部、１６…バス、２０…演奏装置、２１…コントローラ、２２…鍵盤部、２３…発音部、１００…演奏同期部、１１０…情報取得部、１２０…選択部、１３０…オーディオ取得部、１４０…パターン生成部、１５０…特定部、１６０…読出部

Claims (8)

1. オーディオ信号の時間軸方向の各区間について、前記オーディオ信号と同期して発音すべき内容を指定する楽音制御データと、前記各区間における前記オーディオ信号の特徴量とを対応付けて記憶する記憶手段と、
   外部装置において再生されるオーディオ信号を取得するオーディオ信号取得手段と、
   前記再生されるオーディオ信号の再生位置を示す位置情報を、前記外部装置から取得する位置情報取得手段と、
   前記オーディオ信号取得手段によって取得されたオーディオ信号の各区間の前記特徴量を抽出する抽出手段と、
   前記記憶手段に記憶された特徴量のうち前記位置情報取得手段によって取得された位置情報が示す再生位置から一定時間範囲内にある各区間の特徴量と、前記抽出手段によって抽出された特徴量とを比較して、前記オーディオ信号取得手段によって取得されるオーディオ信号の再生位置を特定する特定手段と、
   前記特定手段において特定された再生位置に対応する区間の楽音制御データを前記記憶手段から読み出して、前記外部装置において再生されるオーディオ信号と同期再生する読出手段と
   を具備することを特徴とする自動演奏同期装置。
2. 前記特定手段は、前記再生位置の特定を予め設定されたタイミングで行い、前記位置情報取得手段によって取得された位置情報が示す再生位置と、前回取得された位置情報が示す再生位置との差が所定範囲外となった場合には、当該タイミングにかかわらず再生位置の特定を行う
   ことを特徴とする請求項１に記載の自動演奏同期装置。
3. 前記特徴量は、楽音の音高を指定する複数のノート値の組み合わせによって表されている
   ことを特徴とする請求項１または請求項２に記載の自動演奏同期装置。
4. 前記記憶手段は、前記楽音制御データおよび前記特徴量の組を複数記憶し、
   前記特定手段において比較される前記記憶手段に記憶された特徴量を、前記複数の特徴量から選択する選択手段をさらに具備する
   ことを特徴とする請求項１乃至請求項３のいずれかに記載の自動演奏同期装置。
5. 前記特定手段は、前記選択手段が複数の特徴量を選択したときには、当該複数の特徴量と前記抽出手段によって抽出された特徴量との比較に応じて、当該複数の特徴量のいずれかとの比較による再生位置を特定し、
   前記読出手段は、前記特定手段によって特定された再生位置に係る特徴量に対応する楽音制御データを読み出す
   ことを特徴とする請求項４に記載の自動演奏同期装置。
6. 前記位置情報取得手段によって取得される位置情報が示す再生位置は、前記特定手段によって特定される再生位置の分解能より低い分解能である
   ことを特徴とする請求項１乃至請求項５のいずれかに記載の自動演奏同期装置。
7. 請求項１乃至請求項６のいずれかに記載の自動演奏同期装置と、
   前記読出手段によって同期再生される楽音制御データに応じて揺動する鍵を複数有する鍵盤と、
   前記読出手段によって同期再生される楽音制御データ、または前記鍵の動作に応じて発音する発音手段と
   を具備することを特徴とする自動演奏鍵盤楽器。
8. コンピュータを、
   オーディオ信号の時間軸方向の各区間について、前記オーディオ信号と同期して発音すべき内容を指定する楽音制御データと、前記各区間における前記オーディオ信号の特徴量とを対応付けて記憶する記憶手段と、
   外部装置において再生されるオーディオ信号を取得するオーディオ信号取得手段と、
   前記再生されるオーディオ信号の再生位置を示す位置情報を、前記外部装置から取得する位置情報取得手段と、
   前記オーディオ信号取得手段によって取得されたオーディオ信号の各区間の前記特徴量を抽出する抽出手段と、
   前記記憶手段に記憶された特徴量のうち前記位置情報取得手段によって取得された位置情報が示す再生位置から一定時間範囲内にある各区間の特徴量と、前記抽出手段によって抽出された特徴量とを比較して、前記オーディオ信号取得手段によって取得されるオーディオ信号の再生位置を特定する特定手段と、
   前記特定手段において特定された再生位置に対応する区間の楽音制御データを前記記憶手段から読み出して、前記外部装置において再生されるオーディオ信号と同期再生する読出手段
   として機能させるためのプログラム。

Images