JP2023142748A - データ出力方法、プログラム、データ出力装置および電子楽器 - Google Patents

Abstract

【課題】ユーザの演奏に追従した自動処理において、ユーザに与える臨場感を高めること【解決手段】一実施形態におけるデータ出力方法は、演奏操作によって生成される演奏データを取得することと、演奏データに基づいて所定の楽譜における楽譜演奏位置を特定することと、楽譜演奏位置に基づいて第１データを再生することと、第１データに対応して設定された第１仮想位置に応じた第１位置情報を当該第１データに付与することと、第１位置情報が付与された第１データを含む再生データを出力することと、を含む。【選択図】図７

Description

本発明はデータを出力する技術に関する。

所定の楽曲についてユーザによる演奏によって得られた音データを解析することによって、その楽曲における楽譜上の演奏位置を特定する技術が提案されている。この技術を自動演奏に適用することによって、ユーザによる演奏に追従した自動演奏を実現する技術も提案されている（例えば、特許文献１）。

特開２０１７－２０７６１５号公報

ユーザの演奏に自動演奏を追従させることによって、一人で演奏していたとしても複数人で演奏している感覚を得ることができる。ユーザに対して、より臨場感を高めることが求められている。

本発明の目的の一つは、ユーザの演奏に追従した自動処理において、ユーザに与える臨場感を高めることにある。

一実施形態によれば、演奏操作によって生成される演奏データを取得することと、前記演奏データに基づいて所定の楽譜における楽譜演奏位置を特定することと、前記楽譜演奏位置に基づいて第１データを再生することと、前記第１データに対応して設定された第１仮想位置に応じた第１位置情報を当該第１データに付与することと、前記第１位置情報が付与された前記第１データを含む再生データを出力することと、を含む、データ出力方法が提供される。

本発明によれば、ユーザの演奏に追従した自動処理において、ユーザに与える臨場感を高めることができる。

第１実施形態におけるシステム構成を説明するための図である。 第１実施形態における電子楽器の構成を説明する図である。 第１実施形態におけるデータ出力装置の構成を説明する図である。 第１実施形態における位置制御データを説明する図である。 第１実施形態における位置情報および方向情報を説明する図である。 第１実施形態における演奏追従機能を実現する構成を説明する図である。 第１実施形態におけるデータ出力方法を説明する図である。 第２実施形態における演奏追従機能を実現する構成を説明する図である。

以下、本発明の一実施形態について、図面を参照しながら詳細に説明する。以下に示す実施形態は一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。以下に説明する複数の実施形態で参照する図面において、同一部分または同様な機能を有する部分には同一の符号または類似の符号（数字の後にＡ、Ｂなど付しただけの符号）を付し、その繰り返しの説明は省略する場合がある。図面は、説明を明確にするために、構成の一部が図面から省略されたりして、模式的に説明される場合がある。

＜第１実施形態＞
［概要］
本発明の一実施形態におけるデータ出力装置は、所定の楽曲について、ユーザによる電子楽器への演奏に追従してその楽曲に対応する自動演奏を実現する。自動演奏の対象となる楽器は、様々に設定される。ユーザが演奏する電子楽器が電子ピアノである場合には、自動演奏の対象となる楽器は、ピアノパート以外の楽器、例えば、ボーカル、ベース、ドラム、ギター、ホーンセクション等が想定される。この例では、データ出力装置は、自動演奏によって得られる再生音と、楽器の演奏者を模した画像（以下、演奏者画像という場合がある）と、をユーザに提供する。このデータ出力装置によれば、ユーザに対して、他の演奏者と一緒に演奏を行っている感覚を与えることができる。以下、データ出力装置およびデータ出力装置を含むシステムについて説明する。

［システム構成］
図１は、第１実施形態におけるシステム構成を説明するための図である。図１に示すシステムは、インターネット等のネットワークＮＷを介して接続されたデータ出力装置１０およびデータ管理サーバ９０を含む。この例では、データ出力装置１０には、ヘッドマウントディスプレイ６０（以下、ＨＭＤ６０という場合がある）および電子楽器８０が接続されている。データ出力装置１０は、この例では、スマートフォン、タブレットパソコン、ラップトップパソコンまたはデスクトップパソコンなどのコンピュータである。電子楽器８０は、この例では、電子ピアノなどの電子鍵盤装置である。

データ出力装置１０は、上述したようにユーザが電子楽器８０を用いて所定の楽曲を演奏した場合に、この演奏に追従した自動演奏を実行して、自動演奏に基づくデータを出力するための機能（以下、演奏追従機能という）を有する。データ出力装置１０についての詳細説明は、後述される。

データ管理サーバ９０は、制御部９１、記憶部９２および通信部９８を含む。制御部９１は、ＣＰＵなどのプロセッサおよびＲＡＭ等の記憶装置を含む。制御部９１は、記憶部９２に記憶されたプログラムを、ＣＰＵを用いて実行することによって、プログラムに記述された命令にしたがった処理を行う。記憶部９２は、不揮発性メモリ、ハードディスクドライブなどの記憶装置を含む。通信部９８は、ネットワークＮＷに接続して、他の装置と通信するための通信モジュールを含む。データ管理サーバ９０は、データ出力装置１０に対して、楽曲データを提供する。楽曲データは、自動演奏に関連するデータであり、詳細については後述される。データ出力装置１０に対して楽曲データが他の方法で提供される場合には、データ管理サーバ９０は、存在しなくてもよい。

ＨＭＤ６０は、この例では、制御部６１、表示部６３、挙動センサ６４、放音部６７、撮像部６８およびインターフェース６９を含む。制御部６１は、ＣＰＵ、ＲＡＭおよびＲＯＭを含み、ＨＭＤ６０における各構成を制御する。インターフェース６９は、データ出力装置１０と接続するための接続端子を含む。挙動センサ６４は、例えば、加速度センサ、ジャイロセンサ等を含み、ＨＭＤ６０の挙動、例えば、ＨＭＤ６０の向きの変化などを測定するセンサである。この例では、挙動センサ６４による測定結果は、データ出力装置１０に提供される。これによって、データ出力装置１０がＨＭＤ６０の動きを認識することができる。言い換えると、データ出力装置１０は、ＨＭＤ６０を装着したユーザの動き（頭の動き等）を認識することができる。ユーザは、頭を動かすことでＨＭＤ６０を介してデータ出力装置１０に指示を入力することができる。ＨＭＤ６０に操作部が設けられていれば、ユーザは操作部を介してデータ出力装置１０に指示を入力することもできる。

撮像部６８は、イメージセンサを含み、ＨＭＤ６０の前方、すなわち、ＨＭＤ６０を装着したユーザの前方側を撮像して、撮像データを生成する。表示部６３は、動画データに応じた画像を表示するディスプレイを含む。動画データは、例えば、データ出力装置１０から提供される再生データに含まれる。ディスプレイは、眼鏡状の形態を有している。ディスプレイが半透過型であることによって、装着したユーザが外部を視認できるようにしてもよい。ディスプレイが非透過型である場合には、撮像部６８によって撮像された領域が動画データに重畳してディスプレイに表示されるようにしてもよい。これにより、ユーザは、ディスプレイを介して、ＨＭＤ６０の外側を視認することができる。放音部６７は、例えば、ヘッドホン等であって、音データに応じた音信号を空気振動に変換して、ＨＭＤ６０を装着したユーザに対して音を提供する振動子を含む。音データは、例えば、データ出力装置１０から提供される再生データに含まれる。

［電子楽器］
図２は、第１実施形態における電子楽器の構成を説明する図である。電子楽器８０は、この例では、電子ピアノなどの電子鍵盤装置であって、演奏操作子８４、音源部８５、スピーカ８７およびインターフェース８９を含む。演奏操作子８４は、複数の鍵を含み、各鍵への操作に応じた信号を音源部８５に出力する。

音源部８５は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）を含み、操作信号に応じて音波形信号を含む音データを生成する。操作信号は、演奏操作子８４から出力される信号に対応する。音源部８５は、操作信号を、音の発生（以下、発音という）の制御をするための所定のフォーマット形式のシーケンスデータ（以下、操作データという）に変換してインターフェース８９に出力する。所定のフォーマット形式はこの例ではＭＩＤＩ形式である。これによって、電子楽器８０は、演奏操作子８４への演奏操作に対応する操作データをデータ出力装置１０に送信することができる。操作データは、発音の内容を規定する情報であり、例えば、ノートオン、ノートオフ、ノートナンバなどの発音制御情報として順次出力される。音源部８５は、音データをインターフェース８９に提供するとともに、または、インターフェース８９に提供する代わりにスピーカ８７に提供することもできる。

スピーカ８７は、音源部８５から提供される音データに応じた音波形信号を空気振動に変換してユーザに提供することができる。スピーカ８７は、インターフェース８９を介してデータ出力装置１０から音データが提供されてもよい。インターフェース８９は、無線または有線によって外部装置とデータの送受信をするためのモジュールを含む。この例では、インターフェース８９は、データ出力装置１０と有線で接続して、音源部８５において生成された操作データおよび音データをデータ出力装置１０に対して送信する。これらのデータは、データ出力装置１０から受信されてもよい。

［データ出力装置］
図３は、第１実施形態におけるデータ出力装置の構成を説明する図である。データ出力装置１０は、制御部１１、記憶部１２、表示部１３、操作部１４、スピーカ１７、通信部１８およびインターフェース１９を含む。制御部１１は、ＣＰＵなどのプロセッサおよびＲＡＭ等の記憶装置を備えるコンピュータの一例である。制御部１１は、記憶部１２に記憶されたプログラム１２ａを、ＣＰＵ（プロセッサ）を用いて実行し、様々な処理を実行するための機能をデータ出力装置１０において実現させる。データ出力装置１０において実現される機能は、後述する演奏追従機能を含む。

記憶部１２は、不揮発性メモリ、ハードディスクドライブなどの記憶装置である。記憶部１２は、制御部１１において実行されるプログラム１２ａおよびこのプログラム１２ａを実行するときに必要となる楽曲データ１２ｂなどの各種データを記憶する。プログラム１２ａは、データ管理サーバ９０または他のサーバからネットワークＮＷ経由でダウンロードされ、記憶部１２に記憶されることによって、データ出力装置１０にインストールされる。プログラム１２ａは、非一過性のコンピュータに読み取り可能な記録媒体（例えば、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリ等）に記録した状態で提供されてもよい。この場合、データ出力装置１０は、この記録媒体を読み取る装置を備えていればよい。記憶部１２も記録媒体の一例といえる。

楽曲データ１２ｂについても同様に、データ管理サーバ９０または他のサーバからネットワークＮＷ経由でダウンロードされ、記憶部１２に記憶されてもよいし、非一過性のコンピュータに読み取り可能な記録媒体に記録した状態で提供されてもよい。楽曲データ１２ｂは、楽曲毎に記憶部１２に記憶されるデータであって、設定データ１２０、背景データ１２７および楽譜データ１２９を含む。楽曲データ１２ｂの詳細については後述する。

表示部１３は、制御部１１の制御に応じて様々な画面を表示する表示領域を有するディスプレイである。操作部１４は、ユーザの操作に応じた信号を制御部１１に出力する操作装置である。スピーカ１７は、制御部１１から供給される音データを増幅して出力することによって、音を発生する。通信部１８は、制御部１１の制御により、ネットワークＮＷと接続して、ネットワークＮＷに接続されたデータ管理サーバ９０など他の装置と通信をするための通信モジュールである。インターフェース１９は、赤外線通信、近距離無線通信などの無線通信または有線通信によって外部装置と通信するためのモジュールを含む。外部装置は、この例では、電子楽器８０およびＨＭＤ６０を含む。インターフェース１９は、ネットワークＮＷを介さずに通信するために用いられる。

［楽曲データ］
続いて、楽曲データ１２ｂについて説明する。楽曲データ１２ｂは、楽曲毎に記憶部１２に記憶されるデータであって、設定データ１２０、背景データ１２７および楽譜データ１２９を含む。楽曲データ１２ｂは、この例では、ユーザの演奏に追従して、所定のライブパフォーマンスを再現するためのデータを含む。このライブパフォーマンスを再現するためのデータは、ライブパフォーマンスが行われた会場の形態、複数の楽器（演奏パート）、各演奏パートの演奏者、演奏者の位置など、に関する情報を含む。複数の演奏パートのうちいずれかが、ユーザの演奏パートとして特定されている。この例では、４つの演奏パート（ボーカルパート、ピアノパート、ベースパート、ドラムパート）が規定されている。４つの演奏パートのうち、ユーザの演奏パートは、ピアノパートとして特定される。

楽譜データ１２９は、ユーザの演奏パートの楽譜に対応するデータである。楽譜データ１２９は、この例では、楽曲におけるピアノパートの楽譜を示すデータであって、例えば、ＭＩＤＩ形式等の所定のフォーマットで記述されたデータである。すなわち、楽譜データ１２９は、時刻情報と、時刻情報に関連付けられた発音制御情報と、を含む。発音制御情報は、各時刻における発音の内容を規定する情報であり、例えば、ノートオン、ノートオフ、ノートナンバなどタイミング情報と音高情報とを含む情報によって示される。発音制御情報は、さらに文字情報を含むことで、ボーカルパートにおける歌唱音についても発音に含めることもできる。時刻情報は、例えば、曲の開始を基準とした再生タイミングを示す情報であり、デルタタイム、テンポなどの情報によって示される。時刻情報は、データ上の位置を識別するための情報ということもできる。楽譜データ１２９は、楽音制御情報を時系列に規定するデータであるということもできる。

背景データ１２７は、ライブパフォーマンスが行われた会場の形態に対応するデータであって、ステージの構造、客席の構造、部屋の構造などを示すデータを含む。例えば、背景データ１２７は、それぞれの構造の位置を特定する座標データおよび会場内の空間を再現するための画像データを含む。座標データは、所定の仮想空間における座標として定義される。背景データ１２７は、仮想空間において会場を模した背景画像を形成するためのデータを含むということもできる。

設定データ１２０は、楽曲における各演奏パートに対応する。そのため、楽曲データ１２ｂは、複数の設定データ１２０を含む場合がある。この例では、楽譜データに関連するピアノパートとは異なる３つのパートに対応する設定データ１２０が楽曲データ１２ｂに含まれている。３つのパートは、具体的には、ボーカルパート、ベースパート、ドラムパートである。言い換えると、設定データ１２０は、各パートの演奏者に対応して存在する。演奏者以外の設定データが存在してもよく、例えば、観客に対応した設定データ１２０が楽曲データ１２ｂに含まれていてもよい。観客であっても、ライブパフォーマンスが行われているときの動き、歓声などがあるから、１つの演奏パートに相当するものとして扱うことも可能である。

設定データ１２０は、発音制御データ１２１、動画制御データ１２３および位置制御データ１２５を含む。発音制御データ１２１は、演奏パートに対応する音データを再生するためのデータであって、例えば、ＭＩＤＩ形式等の所定のフォーマットで記述されたデータである。すなわち、発音制御データ１２１は、楽譜データ１２９と同様に、時刻情報と発音制御情報とを含む。この例では、発音制御データ１２１と楽譜データ１２９とは、演奏パートが異なること以外は同様なデータである。発音制御データ１２１は、楽音制御情報を時系列に規定するデータであるということもできる。

動画制御データ１２３は、動画データを再生するためのデータであって、時刻情報と、時刻情報に関連付けられた画像制御情報を含む。画像制御情報は、各時刻における演奏者画像を規定する。演奏者画像は、上述したように、演奏パートに対応する演奏者を模した画像である。この例では、再生される動画データは、演奏パートに関する演奏をする演奏者に対応する演奏者画像を含む。動画制御データ１２３は、画像制御情報を時系列に規定するデータであるということもできる。

図４は、第１実施形態における位置制御データを説明する図である。位置制御データ１２５は、演奏パートに対応する演奏者の位置を示す情報（以下、位置情報という）および演奏者の方向（演奏者の正面方向）を示す情報（以下、方向情報という）を含む。位置制御データ１２５では、位置情報と方向情報とは時刻情報に関連付けられている。位置情報は、背景データ１２７において利用される仮想空間における座標として定義される。方向情報は、この仮想空間における所定の方向を基準とした角度で定義される。図４に示すように、時刻情報がｔ１、ｔ２、・・・と進んでいくと、位置情報がＰ１、Ｐ２、・・・と変化していき、方向情報がＤ１、Ｄ２・・・と変化していく。位置制御データ１２５は、位置情報および方向情報を時系列に規定するデータであるということもできる。

図５は、第１実施形態における位置情報および方向情報を説明する図である。上述したように、この例では、３つの演奏パートと観客に対応して４つの設定データ１２０が存在する。したがって、位置制御データ１２５についても３つの演奏パートと観客に対応して存在する。図５は、所定の仮想空間を上方から見た例である。図５において、会場の壁面ＲＭとステージＳＴとは背景データ１２７によって規定される。各設定データに対応した演奏者には、位置制御データに規定される位置情報に応じた仮想位置および方向情報に応じた仮想方向が設定される。

ボーカルパートの演奏者の仮想位置および仮想方向は、位置情報Ｃ１ｐおよび方向情報Ｃ１ｄに設定されている。ベースパートの演奏者の仮想位置および仮想方向は、位置情報Ｃ２ｐおよび方向情報Ｃ２ｄに設定されている。ドラムパートの演奏者の仮想位置および仮想方向は、位置情報Ｃ３ｐおよび方向情報Ｃ３ｄに設定されている。観客の仮想位置および仮想方向は、位置情報Ｃ４ｐおよび方向情報Ｃ４ｄに設定されている。ここでは、各演奏者は、ステージＳＴ上に位置する。観客はステージＳＴ以外の領域（観客席）に位置する。図５に示す例は、特定の時刻における状況である。したがって、時系列にしたがって、演奏者および観客の仮想位置および仮想方向が変化することもある。

図５においては、ユーザに対応するピアノパートの演奏者の仮想位置および仮想方向は、位置情報Ｐｐおよび方向情報Ｐｄに設定されている。この仮想位置および仮想方向は、上述したＨＭＤ６０の動き（挙動センサ６４の測定結果）に応じて変化する。例えば、ＨＭＤ６０を装着したユーザが頭の向きを変えると、頭の向きに対応して方向情報Ｐｄが変化する。ＨＭＤ６０を装着したユーザが移動すると、ユーザの移動に対応して位置情報Ｐｐが変化する。位置情報Ｐｐおよび方向情報Ｐｄは、操作部１４への操作、ユーザの指示の入力によって、変化するようにしてもよい。位置情報Ｐｐおよび方向情報Ｐｄの初期値は、楽曲データ１２ｂにおいて予め設定されていればよい。

後述するように、ＨＭＤ６０を介してユーザに動画が提供されると、ユーザは、図５に示す位置および向き（位置情報Ｐｐ、方向情報Ｐｄ）で仮想空間に配置された他の演奏者を視認することができる。例えば、ドラムパートの演奏者（位置情報Ｃ３ｐ、方向情報Ｃ３ｄ）は、正面方向に対して左側の前方（ベクトルＶ３により示される位置）において、右側を向いて演奏している演奏者画像として、ユーザに視認される。

［演奏追従機能］
続いて、制御部１１がプログラム１２ａを実行することによって実現される演奏追従機能について説明する。

図６は、第１実施形態における演奏追従機能を実現する構成を説明する図である。演奏追従機能１００は、演奏データ取得部１１０、演奏音取得部１１９、演奏位置特定部１３０、信号処理部１５０、基準値取得部１６４およびデータ出力部１９０を含む。演奏追従機能１００を実現する構成がプログラムの実行によって実現される場合に限らず、少なくとも一部の構成がハードウエアによって実現されてもよい。

演奏データ取得部１１０は、演奏データを取得する。この例では、演奏データは、電子楽器８０から提供される操作データに対応する。演奏音取得部１１９は、電子楽器８０から提供される演奏音に対応する音データ（演奏音データ）を取得する。基準値取得部１６４は、ユーザの演奏パートに対応する基準値を取得する。基準値は、基準位置と基準方向とを含む。基準位置は、上述した位置情報Ｐｐに対応する。基準方向は、方向情報Ｐｄに対応する。上述したように、制御部１１は、ＨＭＤ６０の動き（挙動センサ６４の測定結果）に応じて、位置情報Ｐｐおよび方向情報Ｐｄを予め設定された初期値から変化させる。基準値は、予め設定されていてもよい。基準値のうち基準位置および基準方向の少なくとも一方は、位置制御データ１２５と同様に、時刻情報に対応付けられていてもよい。この場合には、基準値取得部１６４は、後述する楽譜演奏位置と時刻情報との対応関係に基づいて、時刻情報に対応付けられた基準値を取得すればよい。

演奏位置特定部１３０は、楽譜データ１２９を参照して、演奏データ取得部１１０によって順次取得される演奏データに対応する楽譜演奏位置を特定する。演奏位置特定部１３０は、演奏データにおける発音制御情報の履歴（すなわち、操作データを取得したタイミングに相当する時刻情報と発音制御情報との組）と楽譜データ１２９における時刻情報と発音制御情報との組を比較して、所定のマッチング処理によって互いの対応関係を解析する。所定のマッチング処理は、例えば、ＤＰマッチング、隠れマルコフモデル、機械学習を用いたマッチング等、統計的推定モデルを用いた公知のマッチング処理が例示される。演奏が開始されてから所定時間は予め設定された速度で楽譜演奏位置が特定されてもよい。

演奏位置特定部１３０は、この対応関係から、電子楽器８０における演奏に対応する楽譜演奏位置を特定する。楽譜演奏位置は、楽譜データ１２９における楽譜において現在演奏されている位置を示し、例えば、楽譜データ１２９における時刻情報として特定される。演奏位置特定部１３０は、電子楽器８０への演奏に伴って順次演奏データを取得して、取得した演奏データに対応する楽譜演奏位置を順次特定する。演奏位置特定部１３０は、特定した楽譜演奏位置を信号処理部１５０に提供する。

信号処理部１５０は、データ生成部１７０－１、・・・１７０－ｎ（それぞれを特に区別しない場合はデータ生成部１７０という）を含む。データ生成部１７０は、設定データ１２０に対応して設定される。上述した例のように、楽曲データ１２ｂにおいて、３つの演奏パート（ボーカルパート、ベースパート、ドラムパート）および観客に対応する４つの設定データ１２０が含まれる場合には、信号処理部１５０は４つのデータ生成部１７０（１７０－１～１７０－４）を含む。このように、データ生成部１７０と設定データ１２０とは、演奏パートを介して関連付けられている。

データ生成部１７０は、再生部１７１および付与部１７３を含む。再生部１７１は、関連付けられた設定データ１２０のうち発音制御データ１２１および動画制御データ１２３を取得する。付与部１７３は、関連付けられた設定データ１２０のうち位置制御データ１２５を取得する。

再生部１７１は、演奏位置特定部１３０から提供される楽譜演奏位置に基づいて、音データおよび動画データを再生する。再生部１７１は、発音制御データ１２１を参照して、楽譜演奏位置によって特定される時刻情報に対応する発音制御情報を読み出して、音データを再生する。再生部１７１は、発音制御データ１２１に基づいて音データを再生する音源部を有するということもできる。この音データは、関連付けられた演奏パートの演奏音に対応したデータである。ボーカルパートの場合には、音データは、少なくとも文字情報と音高情報とを用いて生成される歌唱音に対応したデータであってもよい。再生部１７１は、動画制御データ１２３を参照して、楽譜演奏位置によって特定される時刻情報に対応する画像制御情報を読み出して、動画データを再生する。この動画データは、関連付けられた演奏パートの演奏者の画像、すなわち演奏者画像に対応したデータである。

付与部１７３は、再生部１７１において再生された音データおよび動画データに対して、位置情報および方向情報を付与する。付与部１７３は、位置制御データ１２５を参照して、楽譜演奏位置によって特定される時刻情報に対応する位置情報および方向情報を読み出す。付与部１７３は、基準値取得部１６４によって取得された基準値、すなわち、読み出した位置情報および方向情報を、位置情報Ｐｐおよび方向情報Ｐｄを用いて修正する。具体的には、付与部１７３は、読み出した位置情報および方向情報を、位置情報Ｐｐおよび方向情報Ｐｄを基準とした座標系で表される相対情報に変換する。付与部１７３は、修正した位置情報および方向情報、すなわち相対情報を、音データおよび動画データに付与する。

図５に示す例では、ユーザに対応するピアノパートの演奏者の仮想位置および仮想方向が基準値となる。したがって、各演奏パートの演奏者および観客に関する相対情報のうち、位置情報に関する部分はベクトルＶ１～Ｖ４で表される情報を含む。相対情報のうち、方向情報に関する部分は、方向情報Ｐｄに対する方向情報Ｃ１ｄ、Ｃ２ｄ、Ｃ３ｄ、Ｃ４ｄの方向（以下相対方向という）に対応する。

音データに対して相対情報を付与することは、音データに含まれる左チャンネル（Ｌｃｈ）および右チャンネル（Ｒｃｈ）の音信号に対して、仮想空間における所定の位置に音像が定位するように信号処理を施すことに相当する。所定の位置は、相対情報に含まれるベクトルによって規定される位置である。図５に示す例であれば、例えばドラムパートの演奏音は、ベクトルＶ３で規定される位置に定位する。このとき、ＨＲＴＦ（Ｈｅａｄ ｒｅｌａｔｅｄ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ）の技術を用いるなど、所定のフィルタ処理を実行してもよい。付与部１７３は、背景データ１２７を参照して、音信号に対して部屋の構造等による残響音を加えるように信号処理を施してもよい。このとき、付与部１７３は、音像から相対情報に含まれる相対方向に向けて音が出力されるように指向性を付与してもよい。

動画データに対して相対情報を付与することは、動画データに含まれる演奏者画像に仮想空間における所定の位置に配置かつ所定の方向に向くように、画像処理を施すことに相当する。所定の位置は、上述の音像が定位する位置である。所定の方向は、相対情報に含まれる相対方向に対応する。図５に示す例であれば、例えばドラムパートの演奏者画像は、ベクトルＶ３で規定される位置において右側（より正確には、右手前）を向くように、ＨＭＤ６０を装着したユーザに視認される。

この例では、データ生成部１７０－１は、ボーカルパートに関して位置情報が付与された動画データおよび音データを出力する。データ生成部１７０－２は、ベースパートに関して位置情報が付与された動画データおよび音データを出力する。データ生成部１７０－３は、ドラムパートに関して位置情報が付与された動画データおよび音データを出力する。データ生成部１７０－４は、観客に関して位置情報が付与された動画データおよび音データを出力する。

データ出力部１９０は、データ生成部１７０－１、・・・１７０－ｎから出力された動画データおよび音データを合成して、再生データとして出力する。この再生データがＨＭＤ６０に供給されることによって、ＨＭＤ６０を装着したユーザは、ボーカルパート、ベースパートおよびドラムパートの演奏者画像を、それぞれに対応した位置に視認することができ、それぞれの位置から、それぞれに対応した演奏音を聴取することができる。したがって、ユーザに与える臨場感が向上する。さらに、この例では、ユーザは、観客を視認することもでき、観客の歓声等についても聴取することができる。このとき、再生データに含まれる動画データおよび音データがユーザの演奏に追従するから、ユーザの演奏の速度に応じて、各演奏パートの音の進行および演奏者画像の動きが変化する。言い換えると、ユーザの演奏する楽器の周辺において、その演奏に追従した演奏および歌唱等が、仮想的な環境で実現される。その結果、ユーザは、一人で演奏していたとしても複数人で演奏している感覚を得ることができる。したがって、ユーザに対して高い臨場感を与えるという顧客体験が提供される。

データ出力部１９０は、背景データ１２７を参照して、仮想空間における会場を模した背景画像を動画データに含めてもよい。これにより、ユーザは、図５に示すような位置関係で配置された演奏者画像がステージＳＴ上で演奏している状況を視認することができる。データ出力部１９０は、演奏音取得部１１９によって取得された演奏音データをさらに合成した再生データを出力してもよい。これにより、ユーザによる演奏音についても、ＨＭＤ６０を介して聴取することができる。以上が演奏追従機能についての説明である。

［データ出力方法］
続いて、演奏追従機能１００において実行されるデータ出力方法について説明する。ここで説明するデータ出力方法は、プログラム１２ａが実行されると開始される。

図７は、第１実施形態におけるデータ出力方法を説明する図である。制御部１１は、順次提供される演奏データを取得し（ステップＳ１０１）、楽譜演奏位置を特定する（ステップＳ１０３）。制御部１１は、楽譜演奏位置に基づいて動画データおよび音データを再生し（ステップＳ１０５）、再生した動画データおよび音データに位置情報を付与し（ステップＳ１０７）、再生データとして出力する（ステップＳ１０９）。処理を終了する指示が入力されるまで（ステップＳ１１１；Ｎｏ）、制御部１１はステップＳ１０１からステップＳ１０９の処理を繰り返し、処理を終了する指示が入力されると（ステップＳ１１１；Ｙｅｓ）、制御部１１は処理を終了する。

＜第２実施形態＞
第１実施形態では、動画データおよび音データが１人のユーザの演奏に追従して再生される例を説明したが、複数人のユーザの演奏に追従して再生されてもよい。第２実施形態では２人のユーザの演奏に追従して動画データおよび音データが再生される例について説明する。

図８は、第２実施形態における演奏追従機能を実現する構成を説明する図である。第２実施形態における演奏追従機能１００Ａは、第１実施形態における２つの演奏追従機能１００が並行しつつ、背景データ１２７、楽譜データ１２９および演奏位置特定部１３０が双方において共用された構成を有する。２つの演奏追従機能１００は、第１ユーザおよび第２ユーザに対応して設けられている。

演奏データ取得部１１０Ａ－１は、第１ユーザに関する第１演奏データを取得する。第１演奏データは、例えば、第１ユーザが演奏する電子楽器８０から出力された操作データである。演奏データ取得部１１０Ａ－２は、第２ユーザに関する第２演奏データを取得する。第２演奏データは、例えば、第２ユーザが演奏する電子楽器８０から出力された操作データである。

演奏位置特定部１３０Ａは、第１演奏データおよび第２演奏データのいずれかにおける発音制御情報の履歴と楽譜データ１２９における発音制御情報とを比較することによって、楽譜演奏位置を特定する。第１演奏データおよび第２演奏データのいずれを選択するかは、第１演奏データおよび第２演奏データに基づいて決定される。例えば、演奏位置特定部１３０Ａは、第１演奏データに関するマッチング処理と、第２演奏データに関するマッチング処理との双方の演算を実行し、演算精度が高い方によって特定された楽譜演奏位置を採用する。演算精度は、例えば、演算結果においてマッチングの誤差を示す指標が用いられればよい。

別の例として、演奏位置特定部１３０Ａは、楽譜演奏位置によって特定される楽曲中の位置によって第１演奏データから得られる楽譜演奏位置を採用するか、第２演奏データから得られる楽譜演奏位置を採用するかを決定する。この場合には、楽譜データ１２９において、楽曲の演奏対象期間が複数の期間に分割され、各期間に対して演奏パートに優先順位が設定されていればよい。演奏位置特定部１３０Ａは、楽譜データ１２９を参照して、優先順位の高い方の演奏パートに対応する演奏データを用いて楽譜演奏位置を特定する。

信号処理部１５０Ａ－１、１５０Ａ－２は、第１実施形態における信号処理部１５０と同様の機能を有し、それぞれ第１ユーザと第２ユーザとに対応する。信号処理部１５０Ａ－１は、演奏位置特定部１３０Ａにおいて特定された楽譜演奏位置、および基準値取得部１６４Ａ－１において取得される第１ユーザに関する基準値を用いて、動画データおよび音データを再生する。信号処理部１５０Ａ－１のうち、第２ユーザの演奏パートに関するデータ生成部１７０は、存在しても存在しなくてもよい。第２ユーザの演奏パートに関するデータ生成部１７０は、音データの再生を行わなくてもよく、動画データの再生を行ってもよい。動画データの再生においては、位置制御データ１２５を用いる代わりに、基準値取得部１６４Ａ－２において取得される第２ユーザに関する基準値を用いてもよい。

信号処理部１５０Ａ－２は、演奏位置特定部１３０Ａにおいて特定された楽譜演奏位置、および基準値取得部１６４Ａ－２において取得される第２ユーザに関する基準値を用いて、動画データおよび音データを再生する。信号処理部１５０Ａ－２のうち、第１ユーザの演奏パートに関するデータ生成部１７０は、存在しても存在しなくてもよい。第１ユーザの演奏パートに関するデータ生成部１７０は、音データの再生を行わなくてもよく、動画データの再生を行ってもよい。動画データの再生においては、位置制御データ１２５を用いる代わりに、基準値取得部１６４Ａ－１において取得される第１ユーザに関する基準値を用いてもよい。

データ出力部１９０Ａ－１は、信号処理部１５０Ａ－１から出力された動画データおよび音データを合成して、再生データとして出力する。この再生データは、第１ユーザのＨＭＤ６０に提供される。データ出力部１９０Ａ－１は、背景データ１２７を参照して、仮想空間における会場を模した背景画像を動画データに含めてもよい。データ出力部１９０Ａ－１は、演奏音取得部１１９Ａ－１、１１９Ａ－２によって取得された演奏音データをさらに合成した再生データを出力してもよい。演奏音取得部１１９Ａ－１によって取得された音データは、例えば、第１ユーザが演奏する電子楽器８０から出力された音データである。演奏音取得部１１９Ａ－２によって取得された音データは、例えば、第２ユーザが演奏する電子楽器８０から出力された音データである。第１ユーザの基準値に対する第２ユーザの基準値に対応する相対情報、または、第２ユーザの演奏パートに関する動画データに付与された相対情報が、演奏音取得部１１９Ａ－２によって取得された音データに付与されて、所定の位置に音像が定位するようにしてもよい。

データ出力部１９０Ａ－２は、信号処理部１５０Ａ－２から出力された動画データおよび音データを合成して、再生データとして出力する。この再生データは、第１ユーザのＨＭＤ６０に提供される。データ出力部１９０Ａ－２は、背景データ１２７を参照して、仮想空間における会場を模した背景画像を動画データに含めてもよい。データ出力部１９０Ａ－２は、演奏音取得部１１９Ａ－１、１１９Ａ－２によって取得された演奏音データをさらに合成した再生データを出力してもよい。第２ユーザの基準値に対する第１ユーザの基準値に対応する相対情報、または、第１ユーザの演奏パートに関する動画データに付与された相対情報が、演奏音取得部１１９Ａ－１によって取得された音データに付与されて、所定の位置に音像が定位するようにしてもよい。

このように、第２実施形態における演奏追従機能１００Ａによれば、２つの演奏パートがユーザによって演奏される場合にも、ユーザに対して与える臨場感を高めることができる。

＜変形例＞
本発明は上述した実施形態に限定されるものではなく、他の様々な変形例が含まれる。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。以下、一部の変形例について説明する。第１実施形態を変形した例として説明するが、他の実施形態を変形する例としても適用することができる。複数の変形例を組み合わせて各実施形態に適用することもできる。

（１）再生データに含まれる動画データと音データとは、ＨＭＤ６０に提供される場合に限らず、例えば、据え置き型のディスプレイに提供されてもよい。動画データと音データとが異なる装置に提供されてもよい。例えば、動画データがＨＭＤ６０に提供され、音データがＨＭＤ６０とは異なるスピーカ装置に提供されてもよい。このスピーカ装置は、例えば、電子楽器８０におけるスピーカ８７であってもよい。スピーカ装置に提供される場合には、付与部１７３において提供されるスピーカ装置を想定した信号処理が施されてもよい。例えば、電子楽器８０のスピーカ８７であれば、ＬｃｈのスピーカユニットとＲｃｈのスピーカユニットとは電子楽器８０に固定され、演奏者の耳の位置も概ね推測される。このような場合には、２つのスピーカユニットと演奏者の右耳および左耳の推定位置とから、クロストークキャンセル技術を用いて音像の定位をするように信号処理が音データに施されるようにすればよい。このとき、電子楽器８０が設置された部屋の形状を取得して、その部屋の形状による音場をキャンセルするように、信号処理が音データに施されてもよい。部屋の形状は、音の反射を利用する方法、撮像を利用する方法など、公知の方法によって取得されればよい。

（２）再生データに含まれる動画データと音データとの少なくとも一方は、存在しなくてもよい。すなわち、動画データと音データとの少なくとも一方が自動処理としてユーザの演奏に追従してもよい。

（３）付与部１７３は、動画データと音データとの少なくとも一方に対しては、位置情報および方向情報を付与しなくてもよい。

（４）データ出力装置１０の機能と電子楽器８０の機能とが１つの装置に含まれていてもよい。例えば、データ出力装置１０が電子楽器８０の機能として組み込まれていてもよい。電子楽器８０の一部の構成がデータ出力装置１０に含まれていてもよいし、データ出力装置１０の一部の構成が電子楽器８０に含まれていてもよい。例えば、電子楽器８０の演奏操作子８４以外の構成がデータ出力装置１０に含まれていてもよい。この場合には、データ出力装置１０は、取得した操作データから音源部を用いて音データを生成してもよい。

（５）楽譜データ１２９は、設定データ１２０と同じ形式で楽曲データ１２ｂに含まれていてもよい。この場合には、ユーザの演奏パートをデータ出力装置１０に設定することで、その演奏パートに対応する設定データ１２０に含まれる発音制御データ１２１を楽譜データ１２９として用いてもよい。

（６）位置情報および方向情報は、仮想空間における仮想位置および仮想方向として決められているが、仮想平面における仮想位置および仮想方向として決められもよく、仮想領域において規定される情報として決められていればよい。

（７）設定データ１２０における位置制御データ１２５は、方向情報を含まなくてもよいし、時刻情報を含まなくてもよい。

（８）付与部１７３は、音データに対して付与する位置情報を位置制御データ１２５に基づいて変化させなくてもよい。例えば、初期値のまま固定してもよい。このようにすると、特定のスピーカから発音している状況（音像が固定されている状況）を想定しつつ、演奏者画像は移動することができる。これによって、演奏者画像の位置とは異なる位置に音像が定位することもある。位置制御データ１２５に含まれる情報が動画データ用と音データ用とに区別して設けられることで、演奏者画像と音像とを別々の位置に制御できるようにしてもよい。

（９）再生データに含まれる動画データは、静止画データであってもよい。

（１０）演奏データ取得部１１０によって取得される演奏データは、操作データではなく音データ（演奏音データ）であってもよい。演奏データが音データである場合には、演奏位置特定部１３０は、演奏データである音データと、楽譜データ１２９に基づいて生成される音データとを比較して公知のマッチング処理をする。この処理によって演奏位置特定部１３０は、順次取得される演奏データに対応する楽譜演奏位置を特定すればよい。楽譜データ１２９が音データであってもよい。この場合には、音データの各部に時刻情報が対応付けられる。

（１１）楽曲データ１２ｂに含まれる発音制御データ１２１は、音データであってもよい。この場合には、音データの各部に時刻情報が対応付けられる。ボーカルパートの音データである場合には、音データには歌唱音が含まれる。再生部１７１が楽譜演奏位置に基づいて、この音データを読み出すときには、楽譜演奏位置と時刻情報との関係に基づいて音データを読み出し、読み出し速度に応じて音高を調整してもよい。音高の調整は、例えば、所定の読み出し速度で音データを読み出したときの音高になるように調整してもよい。

（１２）制御部１１は、データ出力部１９０から出力される再生データを記録媒体等に記録してもよい。制御部１１は、再生データを出力するための記録用データを生成して、記録媒体に記録すればよい。記録媒体は、記憶部１２であってもよいし、外部装置として接続されるコンピュータに読み取り可能な記録媒体であってもよい。記録用データは、ネットワークＮＷを介して接続されるサーバ装置に送信されてもよい。例えば、記録用データは、データ管理サーバ９０に送信されて、記憶部９２に記憶されてもよい。記録用データは、動画データおよび音データを含む形態であってもよいし、設定データ１２０と楽譜演奏位置の時系列情報とを含む形態であってもよい。後者の場合は、信号処理部１５０およびデータ出力部１９０に相当する機能によって、記録用データから再生データが生成されるようにしてもよい。

（１３）演奏位置特定部１３０は、楽曲の一部の期間において、演奏データ取得部１１０によって取得された演奏データとは関係なく楽譜演奏位置を特定してもよい。この場合には、楽譜データ１２９は、楽曲の一部の期間において特定されるべき楽譜演奏位置の進行速度が規定されていてもよい。演奏位置特定部１３０は、この期間においては、規定された進行速度で楽譜演奏位置が変更されるように特定すればよい。

（１４）楽曲データ１２ｂに含まれる設定データ１２０のうち、演奏追従機能１００において使用可能な設定データ１２０が、ユーザによって制限されてもよい。この場合には、データ出力装置１０は、ユーザＩＤの入力を前提として演奏追従機能１００を実現するようにしてもよい。制限される設定データ１２０は、ユーザＩＤによって変更されてもよい。例えば、ユーザＩＤが特定のＩＤである場合は、ボーカルパートに関する設定データ１２０を演奏追従機能１００において使用できないように、制御部１１が制御すればよい。ＩＤと制限されるデータとの関係は、データ管理サーバ９０において登録されてもよい。この場合には、データ管理サーバ９０は、データ出力装置１０に楽曲データ１２ｂを提供するときに、使用できない設定データ１２０が楽曲データ１２ｂに含まれないようにしてもよい。

以上が変形例に関する説明である。

以上のとおり、本発明の一実施形態によれば、演奏操作によって生成される演奏データを取得することと、前記演奏データに基づいて所定の楽譜における楽譜演奏位置を特定することと、前記楽譜演奏位置に基づいて第１データを再生することと、前記第１データに対応して設定された第１仮想位置に応じた第１位置情報を当該第１データに付与することと、前記第１位置情報が付与された前記第１データを含む再生データを出力することと、を含む、データ出力方法が提供される。

前記第１仮想位置は、さらに前記楽譜演奏位置に対応して設定されてもよい。

前記第１データは音データを含んでもよい。

前記音データは、歌唱音を含んでもよい。

前記歌唱音は、文字情報と音高情報とに基づいて生成されてもよい。

前記第１データに前記第１位置情報を付与することは、前記音データに音像を定位させるための信号処理を施すことを含んでもよい。

前記第１データは動画データを含んでもよい。

前記第１仮想位置に応じた前記第１位置情報は、設定される基準位置および基準方向に対する前記第１仮想位置の相対情報を含んでもよい。

ユーザから入力された指示に基づいて前記基準位置および前記基準方向の少なくとも一方を変更することを含んでもよい。

前記基準位置および前記基準方向の少なくとも一方は、前記楽譜演奏位置に対応して設定されてもよい。

前記第１データに対応して設定された第１仮想方向に応じた第１方向情報を当該第１データに付与することを含んでもよい。

前記楽譜演奏位置に基づいて第２データを再生することと、前記第２データに対応して設定された第２仮想位置に応じた第２位置情報を当該第２データに付与することと、を含んでもよい。前記再生データは、前記第１位置情報が付与された前記第１データおよび前記第２位置情報が付与された前記第２データを含んでもよい。

前記再生データは、前記演奏操作に対応した演奏音データを含んでもよい。

前記再生データを出力するための記録用データを生成することを含んでもよい。

前記演奏データを取得することは、少なくとも第１パートの演奏操作によって生成される第１演奏データと第２パートの演奏操作によって生成される第２演奏データとを取得することを含んでもよい。前記第１演奏データおよび前記第２演奏データのいずれか一方を、前記第１演奏データおよび前記第２演奏データに基づいて選択することをさらに含んでもよい。前記楽譜演奏位置は、選択された前記第１演奏データまたは前記第２演奏データに基づいて特定されてもよい。

前記演奏データは、前記演奏操作に応じた演奏音データを含んでもよい。

前記演奏データは、前記演奏操作に応じた操作データを含んでもよい。

上記のいずれかに記載のデータ出力方法を、プロセッサに実行させるためのプログラムが提供されてもよい。

上記記載のプログラムを実行するためのプロセッサを含む、データ出力装置が提供されてもよい。

前記演奏操作に応じて音データを生成する音源部を含んでもよい。

上記記載のデータ出力装置と、前記演奏操作を入力するための演奏操作子と、を含む、電子楽器が提供されてもよい。

１０：データ出力装置、１１：制御部、１２：記憶部、１２ａ：プログラム、１２ｂ：楽曲データ、１３：表示部、１４：操作部、１７：スピーカ、１８：通信部、１９：インターフェース、６０：ヘッドマウントディスプレイ、６１：制御部、６３：表示部、６４：挙動センサ、６７：放音部、６８：撮像部、６９：インターフェース、８０：電子楽器、８４：演奏操作子、８５：音源部、８７：スピーカ、８９：インターフェース、９０：データ管理サーバ、９１：制御部、９２：記憶部、９８：通信部、１００，１００Ａ：演奏追従機能、１１０，１１０Ａ－１，１１０Ａ－２：演奏データ取得部、１１９，１１９Ａ－１，１１９Ａ－２：演奏音取得部、１２０：設定データ、１２１：発音制御データ、１２３：動画制御データ、１２５：位置制御データ、１２７：背景データ、１２９：楽譜データ、１３０，１３０Ａ：演奏位置特定部、１５０，１５０Ａ－１，１５０Ａ－２：信号処理部、１６４，１６４Ａ－１，１６４Ａ－２：基準値取得部、１７０：データ生成部、１７１：再生部、１７３：付与部、１９０，１９０Ａ－１，１９０Ａ－２：データ出力部

Claims (19)

1. 演奏操作によって生成される演奏データを取得することと、
   前記演奏データに基づいて所定の楽譜における楽譜演奏位置を特定することと、
   前記楽譜演奏位置に基づいて第１データを再生することと、
   前記第１データに対応して設定された第１仮想位置に応じた第１位置情報を当該第１データに付与することと、
   前記第１位置情報が付与された前記第１データを含む再生データを出力することと、
   を含む、データ出力方法。
2. 前記第１仮想位置は、さらに前記楽譜演奏位置に対応して設定されている、請求項１に記載のデータ出力方法。
3. 前記第１データは音データを含む、請求項１または請求項２に記載のデータ出力方法。
4. 前記音データは、歌唱音を含む、請求項３に記載のデータ出力方法。
5. 前記歌唱音は、文字情報と音高情報とに基づいて生成される、請求項４に記載のデータ出力方法。
6. 前記第１データに前記第１位置情報を付与することは、前記音データに音像を定位させるための信号処理を施すことを含む、請求項３から請求項５のいずれかに記載のデータ出力方法。
7. 前記第１データは動画データを含む、請求項１から請求項６のいずれかに記載のデータ出力方法。
8. 前記第１仮想位置に応じた前記第１位置情報は、設定される基準位置および基準方向に対する前記第１仮想位置の相対情報を含む、
   請求項１から請求項７のいずれかに記載のデータ出力方法。
9. ユーザから入力された指示に基づいて前記基準位置および前記基準方向の少なくとも一方を変更することを含む、請求項８に記載のデータ出力方法。
10. 前記基準位置および前記基準方向の少なくとも一方は、前記楽譜演奏位置に対応して設定されている、請求項８に記載のデータ出力方法。
11. 前記第１データに対応して設定された第１仮想方向に応じた第１方向情報を当該第１データに付与することを含む、請求項１から請求項１０のいずれかに記載のデータ出力方法。
12. 前記楽譜演奏位置に基づいて第２データを再生することと、
    前記第２データに対応して設定された第２仮想位置に応じた第２位置情報を当該第２データに付与することと、
    を含み、
    前記再生データは、前記第１位置情報が付与された前記第１データおよび前記第２位置情報が付与された前記第２データを含む、
    請求項１から請求項１１のいずれかに記載のデータ出力方法。
13. 前記再生データは、前記演奏操作に対応した演奏音データを含む、請求項１から請求項１２のいずれかに記載のデータ出力方法。
14. 前記再生データを出力するための記録用データを生成することを含む、請求項１から請求項１３のいずれかに記載のデータ出力方法。
15. 前記演奏データを取得することは、少なくとも第１演奏パートの演奏操作によって生成される第１演奏データと第２演奏パートの演奏操作によって生成される第２演奏データとを取得することを含み、
    前記第１演奏データおよび前記第２演奏データのいずれか一方を、前記第１演奏データおよび前記第２演奏データに基づいて選択することをさらに含み、
    前記楽譜演奏位置は、選択された前記第１演奏データまたは前記第２演奏データに基づいて特定される、請求項１から請求項１４のいずれかに記載のデータ出力方法。
16. 前記演奏データは、前記演奏操作に応じた操作データを含む、請求項１から請求項１５のいずれかに記載のデータ出力方法。
17. 請求項１から請求項１６のいずれかに記載のデータ出力方法を、プロセッサに実行させるためのプログラム。
18. 請求項１７に記載のプログラムを実行する制御部と、
    前記演奏操作に応じて音データを生成する音源部と、
    を含む、データ出力装置。
19. 請求項１８に記載のデータ出力装置と、
    前記演奏操作を入力するための演奏操作子と、
    を含む、電子楽器。
    

Images