JP2016206490A - 表示制御装置、電子楽器およびプログラム - Google Patents

Abstract

【課題】カラオケにおいて、合成歌唱音を生成する電子楽器の演奏操作を支援すること。【解決手段】表示制御装置は、歌詞データを構成する各文字に対し音高が割り当てられたガイド用シーケンスデータを取得するガイド用シーケンスデータ取得部と、前記ガイド用シーケンスデータに基づいて、前記音高及び当該音高が割り当てられた順序を示す操作支援画像に対応する表示データを生成する表示データ生成部と、複数の音高を指定する演奏操作子の操作に基づくキーオン信号を取得するキーオン信号取得部と、前記取得したキーオン信号に応じて前記操作支援画像を更新する画像更新部と、を備える。【選択図】図７

Description

本発明は、合成歌唱音を生成する電子楽器の操作を支援する技術に関する。

電子鍵盤装置などの電子楽器において、楽器音などを想定した電子音を生成する以外にも、歌唱音を合成して生成することが行われている。このような歌唱音（実際の歌唱と区別して、以下、「合成歌唱音」という）は、例えば、歌詞を構成する文字に応じた音声素片を組み合わせつつ、指定された音高になるように波形を合成することによって生成される。このように生成された合成歌唱音は、その文字を人が発音したような合成音として聴こえる。従来は、予め用意した楽譜（シーケンスデータ等）と文字とを組み合わせて、合成歌唱音を生成する技術が用いられていたが、特許文献１、２のように、電子鍵盤装置への演奏操作に応じてリアルタイムに合成歌唱音を生成していく技術も開発されている。

特開２００８−１７０５９２号公報 特開２０１４−６２９６９号公報

ところで、歌唱したい曲を伴奏にして自分自身で歌唱を楽しむ娯楽として、カラオケが知られている。近年、特許文献１、２に開示される電子楽器のように、演奏者による演奏操作に応じてリアルタイムに合成歌唱音を生成できる装置が開発されたことに伴い、所望の楽曲を伴奏にして、自分の歌唱音声に代えて合成歌唱音を用いた歌唱を楽しみたいという要望がでてきている。

しかし、自分の声で歌唱する従来のカラオケであれば、歌詞と楽曲さえ知っていれば誰でも容易に歌唱を楽しむことが可能であるが、上述した電子楽器を用いて歌唱を楽しむためには、電子楽器の演奏技術に対して一定の熟練度を要する。つまり、伴奏に合わせて自由に演奏できる技術がないと、自分が思うような合成歌唱音を発することができない。

そのため、電子楽器の操作に不慣れな人では、カラオケに行って気軽に上述の電子楽器を用いた歌唱を楽しむことができないという問題があった。

本発明の目的の一つは、カラオケにおいて、合成歌唱音を生成する電子楽器の演奏操作を支援することにある。

本発明の一実施形態によると、歌詞データを構成する各文字に対し音高が割り当てられたガイド用シーケンスデータを取得するガイド用シーケンスデータ取得部と、前記ガイド用シーケンスデータに基づいて、前記音高及び当該音高が割り当てられた順序を示す操作支援画像に対応する表示データを生成する表示データ生成部と、複数の音高を指定する演奏操作子の操作に基づくキーオン信号を取得するキーオン信号取得部と、前記取得したキーオン信号に応じて前記操作支援画像を更新する画像更新部と、を備える、表示制御装置が提供される。

また、前記操作支援画像は、前記音高及び当該音高が割り当てられた順序に加えて、前記歌詞データのうち当該操作支援画像に示された音高が割り当てられた文字を示すものであってもよい。前記音高が割り当てられた文字には、直前の文字を継続して発音する記号（例えば音引き線「ー」など）が含まれてもよい。

また、前記画像更新部は、画像を先送りする旨の指示を示す指示信号に応じて、現在表示中の操作支援画像を次のフレーズに対応する操作支援画像に更新する機能を含むものであってもよい。

本発明の一実施形態によると、上記表示制御装置と、前記演奏操作子と、を備える、電子楽器が提供される。上記電子楽器は、さらに、前記キーオン信号及び前記歌詞データのうち当該キーオン信号に応じて取得された文字に関する情報に基づいて、合成歌唱音を生成する合成歌唱音生成部を備えていてもよい。

本発明の一実施形態によると、歌詞データを構成する各文字に対し音高が割り当てられたガイド用シーケンスデータを取得し、前記ガイド用シーケンスデータに基づいて、前記音高及び当該音高が割り当てられた順序を示す操作支援画像に対応する表示データを生成し、複数の音高を指定する演奏操作子の操作に基づくキーオン信号を取得し、前記取得したキーオン信号に応じて前記操作支援画像を更新することをコンピュータに実行させるためのプログラムが提供される。

本発明の一実施形態によれば、合成歌唱音を生成する電子楽器の演奏操作を支援することができる。

本発明の一実施形態におけるカラオケシステムの構成を示すブロック図である。 本発明の一実施形態におけるカラオケ装置の構成を示すブロック図である。 本発明の一実施形態における制御端末の構成を示すブロック図である。 本発明の一実施形態における電子鍵盤装置の構成を示すブロック図である。 本発明の一実施形態における合成歌唱音生成部における処理を説明するフローチャートである。 本発明の一実施形態におけるガイド用シーケンスデータを説明する図である。 本発明の一実施形態における表示制御部の構成を示すブロック図である。 本発明の一実施形態における表示制御部による操作支援画像の表示処理を説明するフローチャートである。 本発明の一実施形態における操作支援画像の一例を示す図である。 本発明の一実施形態における操作支援画像の一例を示す図である。

以下、本発明の一実施形態におけるカラオケシステム１００について、図面を参照しながら詳細に説明する。以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定されるものではない。

＜実施形態＞
［全体構成］
本発明の一実施形態に係るカラオケシステム１００は、合成歌唱音を生成することができる電子楽器（例えば、電子鍵盤装置）を用いてカラオケをする場合に、演奏者に対し、電子楽器の演奏操作を支援するための画像（以下「操作支援画像」という）を表示する機能を有している。

図１は、本発明の一実施形態におけるカラオケシステム１００の構成を示すブロック図である。カラオケシステム１００は、カラオケ装置１、制御端末２、電子鍵盤装置３、カラオケ用サーバ１０００、および歌唱合成用サーバ２０００を備える。カラオケ装置１、制御端末２、カラオケ用サーバ１０００および歌唱合成用サーバ２０００は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）またはインターネットなどのネットワークＮＷを介して接続されている。

カラオケ装置１は、歌唱曲が指定されると、その歌唱曲の伴奏を再生するとともに、歌唱曲に関連付けられた映像や歌詞テロップを表示画面に表示させる機能を有している。歌唱曲の伴奏等は、カラオケ装置１の大容量記憶装置から読み出して再生される。指定された歌唱曲に対応する楽曲データが記憶されていない場合には、カラオケ用サーバ１０００からダウンロードできるようになっている。

制御端末２は、スマートフォン、ノートパソコンなどの携帯型の情報端末であってもよいし、デスクトップパソコン等の据え置き型の情報端末であってもよい。また、制御端末２によって実行される機能は、制御端末２に対してアプリケーションプログラムをインストールして実行することにより実現されてもよい。なお、本実施形態では、制御端末２は、カラオケ装置１および電子鍵盤装置３に対してネットワークＮＷを介さずに近距離無線通信によって接続されるが、ネットワークＮＷを介した通信によって接続されてもよい。近距離無線通信としては、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信などを用いた通信手段を用いることができる。

カラオケ用サーバ１０００は、カラオケ装置１においてカラオケを提供するために必要な楽曲データを、曲ＩＤに対応付けて記憶している記憶装置を備える。カラオケ用サーバ１０００としては、公知のカラオケ用サーバを用いることができる。楽曲データには、カラオケで提供される歌唱曲に関連するデータ、例えば、ガイドメロディデータ（主旋律データともいう）、伴奏データ、歌詞データなどが含まれている。

ガイドメロディデータは、歌唱曲のメロディ（主旋律）を示すデータである。伴奏データは、歌唱曲の伴奏を示すデータである。ガイドメロディデータおよび伴奏データは、ＭＩＤＩ形式で表現されたデータであってもよい。さらに、ガイドメロディデータおよび伴奏データには、タイミングデータ（時間データ）を付加してもよい。このとき、ガイドメロディデータおよび伴奏データは、音高、発音レベル等の音楽要素を示すデータであり、時間データは、発音タイミングや発音時間を示すデータである。

歌詞データは、歌唱曲の歌詞を規定するデータであり、複数の文字データを含む。文字データは、例えばＪＩＳ（日本規格協会）規格に基づいたキャラクタコードであり、各文字に対応してそれぞれキャラクタコードが設定されている。また、歌詞データには、歌詞データに関連付けられたタイミングデータ（時間データ）も含まれる。この時間データは、表示される歌詞（文字）を色替えするタイミングを示すデータや歌唱曲の進行位置を示すためのデータが含まれている。この時間データを用いれば、歌唱曲の進行位置と、その進行位置において歌唱すべき歌詞の対応付けなどが可能となる。

歌唱合成用サーバ２０００は、電子鍵盤装置３を用いた歌唱を行うために必要な各種制御データを記憶する記憶装置を備える。電子鍵盤装置３を用いた歌唱を行うために必要な制御データには、例えば、電子鍵盤装置３の動作や発音を規定する各種設定を行うための設定データや演奏者が電子鍵盤装置３を操作するに際しての操作支援画像を提供するためのガイド用シーケンスデータが含まれる。勿論、ここに挙げた設定データやガイド用シーケンスデータは、制御データの一例に過ぎず、歌唱合成用サーバ２０００に記憶される制御データは、これらのデータに限定されるものではない。

上述した設定データは、曲ＩＤに対応付けて記憶されていてもよい。例えば、曲ＩＤに対応する楽曲データのメロディ（主旋律）の音域に合わせて電子鍵盤装置３の音色を設定するための音色設定データ（音域設定データ）や、楽曲データごとに対応するビブラート、リバーブ、ピッチベンド等のエフェクト効果を与えるためのエフェクト効果設定データなどを含むことができる。

ガイド用シーケンスデータとは、歌詞データを構成する各文字に対し音高が割り当てられたデータである。ガイド用シーケンスデータは、演奏者が電子鍵盤装置３を演奏するに際しての操作支援画像を表示するために使用される。ガイド用シーケンスデータの詳細については後述する。

電子鍵盤装置３は、演奏操作子として鍵盤を備えた電子楽器の一例である。電子鍵盤装置３は、任意の鍵を押鍵すると、その鍵に対応する音高で予め設定された文字に対応する音（合成歌唱音）を発音することができる。したがって、鍵盤の操作により、簡単に合成歌唱音による歌唱を行うことができる。なお、本実施形態では、電子楽器の一例として電子鍵盤装置を例に示すが、本発明は、演奏操作子を備えた電子楽器全般に適用することが可能である。

続いて、カラオケ装置１、制御端末２および電子鍵盤装置３について、ハードウェア構成を説明する。

［カラオケ装置のハードウェア構成］
図２は、本発明の一実施形態におけるカラオケ装置の構成を示すブロック図である。カラオケ装置１は、制御部１０１、記憶部１０３、操作部１０５、表示制御部１０６、画像表示部１０７、通信部１０９、およびオーディオ信号処理部１１１を含む。これらの各構成は、バスを介して接続されている。また、オーディオ信号処理部１１１には、オーディオ信号の入力を受け付ける入力端子１１３およびスピーカ１１５が接続されている。入力端子１１３に入力されるオーディオ信号は、この例では、電子鍵盤装置３によって供給されたり、マイクロフォンから供給されたりする。

制御部１０１は、ＣＰＵなどの演算処理回路を含む。制御部１０１は、記憶部１０３に記憶された制御プログラムをＣＰＵにより実行して、各種機能をカラオケ装置１において実現させる。記憶部１０３は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスク等の記憶装置で構成される。記憶部１０３は、上述した制御プログラムを記憶する。制御プログラムは、ネットワーク経由でダウンロードされてもよいが、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよい。以下に説明する制御端末２および電子鍵盤装置３で用いられる制御プログラムについても同様に提供されてもよい。また、記憶部１０３は、カラオケ用サーバ１０００からダウンロードした楽曲データや画像表示部１０７に表示する画像データを一時的に記憶するバッファとしても機能してもよい。

操作部１０５は、操作パネルなどの装置であり、入力された操作に応じた指示信号を制御部１０１に出力する。画像表示部１０７は、液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置であり、表示制御部１０６による制御に基づいた画面が表示される。なお、操作部１０５と画像表示部１０７とを一体化して、タッチパネル型の画像表示部を構成してもよい。

表示制御部１０６は、画像表示部１０７に表示される画像を制御するＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）であって、制御部１０１からの指示に応じて、マイクロプログラムに従って自立的に画像表示用データを生成する。表示される画像としては、歌唱曲に関連した映像、歌詞テロップなどが一般的であるが、本実施形態では、電子鍵盤装置３の演奏者に対して操作支援を行うための操作支援画像を表示する。表示制御部１０６のより詳細な機能については後述する。

通信部１０９は、制御部１０１の制御に基づいて、ネットワークＮＷを介してカラオケ用サーバ１０００や歌唱合成用サーバ２０００に接続したりする。また、近距離無線通信や無線LANによって制御端末２や電子鍵盤装置３と接続することも可能である。

オーディオ信号処理部１１１は、ＭＩＤＩ形式の信号からオーディオ信号を生成する音源、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ等を含む。入力端子１１３から入力されたオーディオ信号は、オーディオ信号処理部１１１に出力され、オーディオ信号処理部１１１においてＡ／Ｄ変換されて制御部１０１に出力される。入力されたオーディオ信号は、記憶部１０３にバッファされて、歌唱の評価等に用いられてもよい。また、伴奏データは、制御部１０１によって読み出され、オーディオ信号処理部１１１においてオーディオ信号に変換され、スピーカ１１５から歌唱曲の伴奏音として出力される。このとき、入力端子１１３に入力されたオーディオ信号を伴奏音に合成して出力してもよい。

［制御端末のハードウェア構成］
制御端末２は、カラオケ装置１に対する制御（例えば、歌唱曲の指定、音量調整、トランスポーズ等）を実行したり、電子鍵盤装置３に対する制御（例えば、歌詞の設定、音色等の設定等）を実行したりする。また、カラオケ装置１が歌唱合成用サーバ２０００と直接通信することができない場合に、歌唱合成用サーバ２０００に記憶されたガイド用シーケンスデータをカラオケ装置１に転送したり、各種制御データを電子鍵盤装置３に転送したりする機能を持たせることもできる。

図３は、本発明の一実施形態における制御端末の構成を示すブロック図である。制御端末２は、制御部２０１、記憶部２０３、操作部２０５、表示制御部２０６、画像表示部２０７、および通信部２０９を含む。これらの各構成は、バスを介して接続されている。

制御部２０１は、ＣＰＵなどの演算処理回路を含む。制御部２０１は、記憶部２０３に記憶された制御プログラムをＣＰＵにより実行して、各種機能を制御端末２において実現させる。記憶部２０３は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスク等の記憶装置で構成される。記憶部２０３は、上述した制御プログラムを記憶する。

操作部２０５は、操作パネルなどの装置であり、入力された操作に応じた信号を制御部２０１に出力する。画像表示部２０７は、液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置であり、表示制御部２０６による制御に基づいた画面が表示される。なお、操作部２０５と画像表示部２０７とを一体化して、タッチパネル型の画像表示部を構成してもよい。

表示制御部２０６は、画像表示部２０７に表示される画像を制御するＤＳＰであって、制御部２０１からの指示に応じて、マイクロプログラムに従って自立的に画像表示用データを生成する。

通信部２０９は、制御部２０１の制御に基づいて、ネットワークＮＷを介してカラオケ用サーバ１０００や歌唱合成用サーバ２０００に接続したりする。また、近距離無線通信、無線ＬＡＮ経由の通信、またはＵＳＢケーブル等の通信ケーブルを用いた通信によってカラオケ装置１や電子鍵盤装置３と接続することも可能である。

［電子鍵盤装置のハードウェア構成］
電子鍵盤装置３は、演奏操作子である鍵盤の操作に応じて、予め設定された設定データ内容に従って合成歌唱音を生成する装置（電子楽器）である。本実施形態では、生成された合成歌唱音は、入力端子１１３を介してカラオケ装置１のスピーカ１１５から出力されるが、電子鍵盤装置３に設けられたスピーカから出力されるように構成してもよい。

図４は、本発明の一実施形態における電子鍵盤装置の構成を示すブロック図である。電子鍵盤装置３は、制御部３０１、記憶部３０３、操作部３０５、表示制御部３０６、画像表示部３０７、合成歌唱音生成部３０８、通信部３０９、および鍵盤３１０を含む。これらの各構成は、バスを介して接続されている。なお、本実施形態では、電子鍵盤装置３において歌詞を表示できるように表示制御部３０６及び画像表示部３０７が設けられているが、歌詞を表示する必要がなければ省略することもできる。

制御部３０１は、ＣＰＵなどの演算処理回路を含む。制御部３０１は、記憶部３０３に記憶された制御プログラムをＣＰＵにより実行して、各種機能を電子鍵盤装置３において実現させる。記憶部３０３は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ハードディスク等の記憶装置で構成される。記憶部３０３は、上述した制御プログラムを記憶する。

記憶部３０３は、合成歌唱音を示すオーディオ信号を生成する際に用いる設定データ（音色設定データ、エフェクト効果設定データ等）、歌詞データ、及び合成歌唱音を生成するための音声素片等を記憶する。歌詞データとしては、少なくとも指定された歌唱曲の歌詞を示す文字データが記憶されていればよい。また、歌詞データは、カラオケ装置１から供給されてもよいし、制御端末２から供給されてもよい。

操作部３０５は、スイッチ、ボリュームつまみ、静電容量センサなどの装置であり、入力された操作に応じた指示信号を制御部３０１に出力する。

画像表示部３０７は、液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置であり、表示制御部３０６による制御に基づいた画面が表示される。なお、操作部３０５と画像表示部３０７とを一体化して、タッチパネル型の画像表示部を構成してもよい。

合成歌唱音生成部３０８は、上述した音色設定データ等の設定データ、歌詞データ、後述する演奏信号、及び音声素片等に基づいて、歌唱すべき歌詞に対応する音（合成歌唱音）を生成する。合成歌唱音の生成に関しては、公知の技術を用いることができる。例えば、上述した特許文献１、２に記載された技術を用いてもよい。

通信部３０９は、制御部３０１の制御に基づいて、カラオケ装置１や制御端末２との通信を行う。ここで行われる通信は、近距離無線通信や無線ＬＡＮ経由の通信であってもよいし、ＵＳＢケーブル等の通信ケーブルを用いた通信であってもよい。

鍵盤３１０は、複数の鍵が配列されている。各鍵を操作すると、その操作に応じた演奏信号が制御部３０１に出力される。演奏信号は、操作された鍵の位置を示す情報（キーナンバ）、押鍵したことを示す情報（キーオン）もしくは離鍵したことを示す情報（キーオフ）、および押鍵速度（ベロシティ）等を含む。具体的には、押鍵されると、キーオン、ベロシティおよびキーナンバが対応付けられて出力され、離鍵するとキーオフが出力される。合成歌唱音生成部３０８は、この演奏信号を用いて、合成歌唱音を生成する。

ここで、合成歌唱音生成部３０８による合成歌唱音の生成処理の一例について説明する。図５は、本発明の一実施形態における合成歌唱音生成部における処理を説明するフローチャートである。

歌唱曲の指定や歌詞データのダウンロードの完了等を契機として図５に示す処理が開始されると、まず、合成歌唱音生成部３０８は、指定された歌唱曲の歌詞データが示す歌詞の最初の文字をポインタで指定する（ステップＳ３０１）。歌詞データは、記憶部３０３に確保された所定のメモリ領域に記憶しておけばよい。本実施形態では、所定のメモリ領域に現在指定されている歌唱曲の歌詞データを記憶し、演奏者によって歌唱曲が選択されるたびに当該メモリ領域の内容を更新する構成とする。しかし、予め複数の歌詞データを記憶しておき、演奏者によって歌唱曲が選択されると、その識別番号等を用いて歌唱すべき歌詞データを選択することも可能である。

歌唱すべき歌詞の最初の文字が指定されたら、鍵盤３１０に対して押鍵操作（演奏操作）が行われたか否かを判定し（ステップＳ３０３）、押鍵が行われるまで待機する（ステップＳ３０３；Ｎｏ）。押鍵操作が行われたか否かは、鍵盤３１０から出力されたキーオン信号を制御部３０１が取得することにより認識することができる。

制御部３０１がキーオン信号を取得し、鍵盤３１０に対して押鍵操作が行われたことを認識すると（ステップＳ３０３；Ｙｅｓ）、制御部３０１は、ポインタで指定されている文字データを読み出し（ステップＳ３０５）、合成歌唱音生成部３０８に転送する。このとき、押鍵操作が行われた鍵の位置を示すキーナンバも合成歌唱音生成部３０８に転送される。

合成歌唱音生成部３０８では、キーナンバにより指定される音高情報と読み出した文字を発声させるための音声素片とを用いて、読み出した文字に対応する発音（合成歌唱音）を示すオーディオ信号が生成される（ステップＳ３０７）。例えば、読み出した文字が「か（ka）」であり、押鍵操作された鍵が「Ｃ４」である場合には、Ｃ４の音高で「か（ka）」を発声させる合成歌唱音が生成される。このように生成された合成歌唱音は、通信部３０９を介してカラオケ装置１へ送信され、再生される。勿論、電子鍵盤装置３がスピーカを備えるのであれば、当該スピーカから再生してもよい。

現在ポインタで指定されている文字の合成歌唱音を生成したら、指定されている文字（読み出した文字）が歌詞の最後の文字であるか否かが判断される（ステップＳ３０９）。指定されている文字が歌詞の最後の文字ではない場合（ステップＳ３０９；Ｎｏ）、上述したメモリ領域に記憶されている次の文字にポインタを移動させて指定し（ステップＳ３１１）、次の押鍵操作まで待機する（ステップＳ３０３；Ｎｏ）。その後、同様の手順で、歌詞に沿って順番に文字が指定されていき、最後の文字になった場合（ステップＳ３０９；Ｙｅｓ）には、再びステップＳ３０１に戻る。勿論、ポインタを歌詞データの先頭に戻すことなく処理を終了してもよい。

以上の処理により、押鍵操作に応じた音高に調整された歌詞が合成歌唱音として順次生成される。これらの合成歌唱音は、オーディオ信号としてカラオケ装置１に対して出力される。なお、操作部３０５等に対する所定の操作を受け付けると、強制的に次の文字が指定されるようにしてもよい。

また、歌詞をフレーズ単位で区分する情報を取得している場合には、所定の操作を受け付けると、いずれかのフレーズ（直前または直後など）の最初の文字が強制的に指定されるようにしてもよい。例えば、歌詞データ中の文字データとしてスペースやスラッシュなど特定の記号を示すデータが存在する場合に、その存在する位置をフレーズ区切りと判定したり、歌詞データ中のタイミングデータ内にフレーズ区切りを示す位置情報を持たせ、該位置情報の示す位置をフレーズ区切りと判定したりしてもよい。

［ガイド用シーケンスデータの構成］
続いて、表示制御部１０６の動作を説明する前に、その動作の前提となるガイド用シーケンスデータについて説明する。図６は、本発明の一実施形態におけるガイド用シーケンスデータを説明する図である。具体的には、図６（Ａ）は、カラオケ用サーバ１０００から提供される楽曲データに含まれるガイドメロディと歌詞の一部を五線譜の形式で表したものである。図６（Ｂ）は、歌唱合成用サーバ２０００から提供されるガイド用シーケンスデータに含まれる主旋律を表すデータ（例えばノートデータ）と歌詞の一部を五線譜の形式で表したものである。

本実施形態のカラオケシステム１００において、電子鍵盤装置３から正確な合成歌唱音を発音させるためには、演奏者は、適切なタイミングで歌詞を所望の音高で発音させたり、発音中の音高変化を行ったりする必要がある。タイミングについては、通常の歌唱時と同様に演奏者自身で判断できるため、特別な操作支援は不要である。したがって、演奏者に対する操作支援情報としては、指定した歌唱曲の伴奏に合わせて電子鍵盤装置３のどの鍵を押鍵するかを示す情報があればよい。これにより、押鍵タイミングをユーザーが伴奏から判断して、そのタイミングで正しい鍵を押鍵することにより、伴奏に合った合成歌唱音を発音させ、カラオケを楽しむことができる。

そこで、図６（Ａ）を参照すると、カラオケ用サーバ１０００から提供される楽曲データに含まれるガイドメロディと歌詞をそのまま五線譜形式にすると、必ずしも音高と歌詞とが対応していない場合がある。すなわち、「い」、「く」、「も」、「の」という歌詞（文字）は、それぞれ１つずつ音符（つまり、音高）が対応しているが、「つ」には音高が対応しておらず、八分音符の「ド」には歌詞が対応していない。

したがって、カラオケ用サーバ１０００の楽曲データをそのまま上述した操作支援情報として用いると、「つ」の歌詞を発音することができないという問題が生じうる。また、八分音符の「ド」を押鍵したときには、図５を用いて説明したように、キーオン信号の出力に応じて次の歌詞が指定されてしまうため、四分音符の「ド」で歌唱すべきである「の」が発音されてしまうことになる。結果として、その後に続く歌詞と音高とがずれてしまい、正しい合成歌唱音を発音することができなくなるおそれがある。

そこで、本実施形態では、カラオケ用サーバ１０００に記憶されている歌唱曲と同じ歌唱曲について、ガイド用シーケンスデータを用意し、歌唱合成用サーバ２０００の記憶部に記憶している。図６（Ｂ）に示すように、ガイド用シーケンスデータは、楽曲データを変換して、歌詞の文字が変化するタイミングおよびメロディの音高が変化するタイミングのすべてについて、必ず１つの文字と１つの音高とが対応するように構成されている。つまり、歌詞を構成する各文字（音引き線「ー」を含む）すべてに必ず１つの音高が割り当てられるように構成されている。これにより、電子鍵盤装置３の押鍵操作と文字送りの推移が一致することとなり、正しい合成歌唱音の発音が可能となる。

なお、楽曲データをガイド用シーケンスデータに変換する手法の一例としては、楽曲データ中に含まれる歌詞データとガイドメロディデータとを比較することにより、音符のタイミングと文字のタイミングとが一致しない箇所を抽出し、音符のみ存在する時間位置には、直前の文字を継続して発音する記号として音引き線「ー」を追加し、文字のみ存在する時間位置には、直前の音符と同じキーナンバの音符を追加すればよい。歌詞として音引き線「ー」を追加した場合、これに対応して鍵が押された際には直前の文字の母音を合成歌唱音として発音することが好ましい。したがって、音符のみ存在する時間位置には、歌詞として音引き線「ー」を追加する代わりに、適切な母音を追加してもよい（例えば、図６（Ｂ）の例において、「いくつもおの」等と変換してもよい。）。

なお、本実施形態では、歌詞を構成する各文字すべてに必ず１つの音高が割り当てられるようにガイド用シーケンスデータを構成する例を示したが、これに限定されるものではない。例えば、テンポの速い楽曲等で、１回のキーオン操作で２文字の歌詞を発音させることが自然な場合においては、２文字の歌詞に１つの音高が割り当てられるようにガイド用シーケンスデータを構成してもよい。この場合、該当する２文字の歌詞データに対して１つの音高が対応する旨の情報を含めておき、キーオン信号で１文字目を発音し、キーオフ信号で２文字目を発音するといった構成で対応することが可能である。

以上のように、本実施形態のカラオケシステム１００では、カラオケ用サーバ１０００から提供される楽曲データをそのまま使用するのではなく、その楽曲データに対応するガイド用シーケンスデータを使用している。これにより、電子鍵盤装置３の合成歌唱音を用いてカラオケを楽しむ際に、電子鍵盤装置３の操作を支援する操作支援画像を表示するという課題に適したデータを表示制御部１０６に対して提供することができる。

なお、本実施形態では、ガイド用シーケンスデータを歌唱合成用サーバ２０００に予め記憶しておく例を示したが、ガイド用シーケンスデータは、カラオケシステム１００を構成する各装置のいずれに記憶されていてもよい。また、予め記憶しておくだけに限らず、歌唱曲が指定されるたびに、その都度カラオケ用サーバ１０００から提供される楽曲データに基づいてガイド用シーケンスデータを生成してもよい。この場合、ガイド用シーケンスデータの生成は、カラオケシステム１００を構成する各装置のいずれで行ってもよい。例えば、カラオケ装置１が、カラオケ用サーバ１０００からダウンロードした楽曲データに基づいてガイド用シーケンスデータを生成してもよい。また、楽曲によっては、カラオケ用サーバからダウンロードした楽曲データをそのままガイド用シーケンスデータとして用いてもよい。

［カラオケ装置における表示制御部の構成］
カラオケ装置１が備える表示制御部１０６のより詳細な構成について説明する。なお、以下に説明する各構成の一部または全部は、ハードウェアによって実現されてもよいし、ソフトウェアを実行することによって実現されてもよい。ソフトウェアの実行により実現する場合、カラオケ装置１の制御部１０１が、記憶部１０３から制御プログラムを読み出して実行することにより、表示制御部１０６の一部または全部の機能が実現される。

図７は、本発明の一実施形態における表示制御部１０６の構成を示すブロック図である。本実施形態のカラオケ装置１における表示制御部１０６は、ガイド用シーケンスデータ取得部１１、表示データ生成部１３、キーオン信号取得部１５、および画像更新部１７を含む。ただし、ガイド用シーケンスデータ取得部１１とキーオン信号取得部１５は共通の信号受信手段として構成することもできるし、表示データ生成部１３と画像更新部１７の両者の機能をＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等で構成してもよい。また、制御部１０１がソフトウェアを実行することにより表示制御部１０６としての機能を兼ねてもよい。

ガイド用シーケンスデータ取得部１１は、歌唱合成用サーバ２０００から提供されたガイド用シーケンスデータを取得する。カラオケ装置１と歌唱合成用サーバ２０００とはネットワークＮＷを介して通信可能に接続されているため、例えばガイド用シーケンスデータ取得部１１は、公知のプロトコルを使用したネットワーク通信処理部として構築することができる。ガイド用シーケンスデータ取得部１１は、ガイド用シーケンスデータを１曲単位で取得してもよいし、フレーズ単位で取得してもよい。また、指定された歌唱曲の伴奏に合わせてリアルタイムに取得してもよい。取得されたガイド用シーケンスデータは、記憶部１０３に記憶すればよい。

表示データ生成部１３は、ガイド用シーケンスデータに基づいて、歌詞データを構成する各文字に対して割り当てられた音高とその音高が割り当てられた順序とを示す操作支援画像に対応する表示データを生成する。操作支援画像は、演奏者に対し、どのような順序でどの音高の鍵を操作すべきかを示す支援情報を提供する。具体的な画像の内容については後述する。表示データ生成部１３は、記憶部１０３からガイド用シーケンスデータを読み出し、ガイド用シーケンスデータに含まれる主旋律を表すデータ（例えばノートデータ）及び歌詞データに基づいて、操作支援画像を生成することができる。また、その際、音符または歌詞の並び順に従って鍵盤を押鍵する順序を決定することができる。

なお、表示データ生成部１３は、指定された歌唱曲の伴奏が開始される前に、予め１曲分の操作支援画像を生成してもよいし、フレーズ単位で操作支援画像を生成してもよい。また、上述のようにガイド用シーケンスデータをリアルタイムに取得する場合には、表示データの生成をリアルタイムに処理することも可能である。いずれにしても記憶部１０３の所定のメモリ領域をバッファとして機能させることができる。

また、表示データ生成部１３は、通常のカラオケ装置で画像表示部に表示される映像（歌唱曲に関連した映像等）や歌詞テロップを表示するための表示データをも生成する機能を有する。さらに、表示データ生成部１３は、これらの映像等に対して上述した操作支援画像を合成する処理も行う。合成処理は、公知の技術を用いることができ、例えば二画面合成処理であってもよいし、αブレンディング処理であってもよい。また、これらの合成処理を行う際には、記憶部１０３のＲＡＭ等を作業領域として使用すればよい。

キーオン信号取得部１５は、電子鍵盤装置３から出力された鍵盤の押鍵を示すキーオン信号を取得する。カラオケ装置１と電子鍵盤装置３とは近距離無線通信介して接続されているため、例えばキーオン信号取得部１５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）を用いた通信処理部として構築することができる。

画像更新部１７は、キーオン信号取得部１５から取得したキーオン信号に応じて、上述した操作支援画像を更新する。後述するように、操作支援画像は、演奏者が鍵盤を押鍵するごとに、次に操作すべき鍵を知らせるように内容が変更される。つまり、画像更新部１７では、押鍵操作を示すキーオン信号を契機として、操作支援画像を更新して内容を変更する。なお、押鍵操作を示すキーオン操作があった場合には、指示通りの鍵が押されたか否かに関わらず画像を更新する。

なお、本実施形態では、カラオケ装置１の表示制御部１０６を例に挙げて説明したが、各構成は、制御端末２または電子鍵盤装置３の表示制御部が備えていてもよい。さらに、上述した各構成は、表示制御部だけで構成されるものに限らず、本実施形態のカラオケシステム１００内で分散処理により実現されるものであってもよい。例えば、ガイド用シーケンスデータ取得部及び表示データ生成部を制御端末２が備え、画像表示部、キーオン信号取得部及び画像更新部をカラオケ装置１が備えるといったように、各構成が異なる装置に分散して存在していてもよい。

ここで、表示制御部１０６による操作支援画像の表示処理の一例について説明する。図８は、本発明の一実施形態における表示制御部による操作支援画像の表示処理を説明するフローチャートである。

カラオケ装置１の記憶部１０３にガイド用シーケンスデータがダウンロードされると、制御部１０１の指示により表示制御部１０６の画像表示処理が開始される。まず、記憶部１０３に記憶されたガイド用シーケンスデータから１フレーズ分の音符情報（例えばノートデータ）及び文字情報（歌詞の一部）を取得する（ステップＳ１０１）。

次に、取得した音符情報及び文字情報とそれらの並び順に基づいて、１フレーズ分の操作支援画像を表す表示データを生成し、表示する（ステップＳ１０２）。操作支援画像の詳細については後述するが、例えば鍵盤の画像、鍵盤を構成する各鍵を押す順番を示す数字、及び歌詞の一部などが表示される。

操作支援画像を表示したら押鍵操作があるまで待機する（ステップＳ１０３）。押鍵操作が行われたら、音符及び文字をそれぞれ１文字分繰り下げた操作支援画像に更新し、表示する（ステップＳ１０４）。音符を１文字分繰り下げるとは、押鍵すべき鍵の位置を示す表示を、次の押鍵すべき鍵の位置に変更することを指す。また、文字を１文字分繰り下げるとは、歌唱すべき文字を示す表示を、次に歌唱すべき文字を示す表示に変更することを指す。

操作支援画像の更新が完了したら、１フレーズ分の処理が終了したか否かを判定する（ステップＳ１０５）。１フレーズ分の処理が終了していない場合（ステップＳ１０５；Ｎｏ）、再びステップＳ１０３に戻って押鍵操作があるまで待機する。このようにステップＳ１０３からＳ１０５までを順次繰り返すことにより、１フレーズ分の操作支援画像が順次更新表示される。

１フレーズ分の処理が終了したと判定された場合（ステップＳ１０５；Ｙｅｓ）、処理したフレーズが最後のフレーズであったか否かが判定される（ステップＳ１０６）。このとき、最後のフレーズでない場合（ステップＳ１０６；Ｎｏ）には、ステップＳ１０１に戻って、ガイド用シーケンスデータから次のフレーズの音符情報及び文字情報を取得する。最後のフレーズであった場合（ステップＳ１０６；Ｙｅｓ）には、画像表示処理を終了する。

以上のような処理により、操作支援画像の表示処理が行われる。なお、１フレーズ分の処理が完了した後に次のフレーズの処理を開始する例を示したが、１フレーズの終わりから２〜３文字目の処理が終了したら、現在のフレーズに対応する操作支援画像とともに次のフレーズに対応する操作支援画像を表示してもよい。例えば、現在の操作支援画像に対し次の操作支援画像を重ねて表示したり、画面端などに次の操作支援画像を小さく表示したりするなど、様々な表示態様を採用することができる。

以上説明した表示制御部１０６の動作によって表示される操作支援画像の具体的な内容について説明する。本実施形態のカラオケシステム１００では、操作支援画像は、カラオケ装置１の画像表示部１０７に表示される。なお、ここでは操作支援画像の内容に着目して説明するが、実際には、画像表示部１０７の画面の下部に、映像及び歌詞テロップとともに合成表示される。ただし、操作支援画像の位置は、画面の下部に限らず、上部に配置しても左右端部のいずれかに配置してもよい。その場合、後述する文字の移動方向や鍵盤の向きは、操作支援画像を配置する位置に応じて適宜変更することが可能である。

［操作支援画像の構成例１］
図９は、本発明の一実施形態における操作支援画像の一例を示す図である。図９（Ａ）は、指定された歌唱曲のあるフレーズの開始直後に表示される操作支援画像２０ａを示しており、図９（Ｂ）は、図９（Ａ）の状態から１回押鍵したときに表示される操作支援画像３０ａを示している。なお、図９では、歌詞（文字）も表示する例を示しているが、歌詞は必須ではなく、少なくとも押鍵する順番が分かるものであればよい。

図９（Ａ）に示す例では、ピアノの鍵盤を表す画像２１が表示され、鍵盤を構成する各鍵２２には、押鍵する順番に複数の数字２３が表示されている。歌詞表示領域２４には、歌唱すべき歌詞の一部を表す文字２５が表示されている。歌詞表示領域２４のうち、第１領域２４ａには、最初に歌唱すべき文字（ここでは、「い」）が表示され、第２領域２４ｂには、後続する歌唱すべき文字（ここでは、「く」、「つ」、「も」、「ー」及び「の」）が表示される。なお、第１領域２４ａに表示された文字は、矢印で示すように、下方に徐々に降りてくるように表示されてもよい。

このとき、各数字２３の表示位置と各文字２５の表示位置とは、それぞれ１対１で対応している。つまり、各数字２３が、各文字２５に対し音高が割り当てられた順序を示しており、かつ、演奏者が押鍵する順番を示している。なお、一度に表示する数字２３及び文字２５の数は、１フレーズに含まれる数としてもよいし、任意の数としてもよい。

図９（Ａ）に示す操作支援画像２０ａを画面上で確認した演奏者は、指定された歌唱曲の伴奏に合わせて最初に歌唱すべき文字「い」に該当する鍵（すなわち、数字「１」が割り当てられている鍵）を押鍵する。この押鍵により出力されたキーオン信号に応じて、電子鍵盤装置３の合成歌唱音生成部３０８は、上述した図５のフローに従って「い」の合成歌唱音を「ミ」の音高で生成し、当該合成歌唱音に対応するオーディオ信号がカラオケ装置１に送られるとともにスピーカ１１５から発音される。なお、演奏者が指示と異なる鍵を押鍵した場合は、押鍵した音高に基づく文字「い」の合成歌唱音が発音される。

図９（Ｂ）は、以上の手順で「い」の発音をした直後の操作支援画像３０ａを示している。図９（Ｂ）に示す操作支援画像３０ａでは、発音された文字「い」は画面上から消え、第２領域２４ｂに控えていた歌唱すべき次の文字（すなわち、数字「２」が割り当てられた文字）である「く」が、第２領域２４ｂから第１領域２４ａに移動している。演奏者は、図９（Ｂ）に示す操作支援画像３０ａを確認することにより、次に押鍵すべき鍵がその前の鍵より１オクターブ高い「ミ」であること、及び歌唱すべき歌詞が「く」であることを認識することができる。

以上のように、演奏者は、押鍵するたびに変更される操作支援画像を画面上で確認することにより、次に操作すべき鍵盤の位置を知ることができる。また、画面上に表示された単位（例えばフレーズ単位）で、その先の複数の押鍵操作の順序が予測できるため、手の位置などを予め準備でき、演奏をスムーズに行うことができる。さらに、歌詞（文字）を確認することにより、フレーズ単位等で先を見越しながら合成歌唱音の発音タイミングを判断することができる。したがって、演奏操作に不慣れであっても容易に正しい合成歌唱音を発音させることが可能となり、電子楽器の操作に不慣れな人であっても、カラオケに行って気軽に電子楽器を用いた歌唱を楽しむことができるようになる。

なお、図９（Ａ）に示す例では、文字「の」について強調表示が施されている（具体的には、二重丸で囲ってある）。この強調表示は、文字「の」の部分でビブラート、リバーブ、ピッチベンドといったエフェクト効果を与える旨の指示を示している。強調表示の態様としては、他にも他の文字と色分けしたり網掛けをしたりするなど、様々な態様を適用することができる。さらに、特定のマークを付すことによりどのようなエフェクト効果の指示であるのかについても区別できるようにすることも可能である。

また、図９（Ａ）及び図９（Ｂ）に示す例では、鍵盤操作を進めても数字の表示変更は行われないが、例えば、数字「１」の表示された鍵を押鍵すると、数字「１」が消えるとともに、数字「２」以降が１つずつ繰り上がる（つまり、数字「２」が数字「１」になり、数字「３」が数字「２」になる）ように表示を変更してもよい。

また、図９（Ａ）及び図９（Ｂ）に示す例では、発音した文字は第１領域２４ａから消え、次に歌唱すべき文字が第２領域２４ｂから第１領域２４ａに移動するが、発音した文字がその場で消えていくように表示を変更することも可能である。勿論、表示を消さずに色を変更するなど、既に発音したことが演奏者に分かるように他の態様で表示変更を行うことも可能である。

［操作支援画像の構成例２］
図１０は、本発明の一実施形態における操作支援画像の一例を示す図である。図１０（Ａ）は、指定された歌唱曲のあるフレーズの開始直後に表示される操作支援画像２０ｂを示しており、図１０（Ｂ）は、図１０（Ａ）の状態から１回押鍵したときに表示される操作支援画像３０ｂを示している。なお、図１０では、歌詞（文字）も表示する例を示しているが、歌詞は必須ではなく、少なくとも押鍵する順番が分かるものであればよい。

図１０（Ａ）に示す例では、ピアノの鍵盤を表す画像３１が表示され、鍵盤を構成する各鍵３２には、現時点で押鍵すべき鍵３２ａに対し第１の強調表示が施され、２番目に押鍵すべき鍵３２ｂに対し第２の強調表示が施され、３番目に押鍵すべき鍵３２ｃに対し第３の強調表示が施されている。つまり、演奏者は、操作支援画像２０ｂを確認することにより、第１の強調表示が施されている鍵を、押鍵すべき鍵と認識することができる。

なお、図１０（Ａ）の例では、鍵３２ｂ及び鍵３２ｃを押鍵すべき順序が区別できるように強調表示を施しているが、鍵３２ｂ及び鍵３２ｃの順序を区別せずに、同一の強調表示を施すことも可能である。

歌詞表示領域３３には、歌唱すべき歌詞の一部を表す文字３４が表示されている。各文字３４は、押鍵すべき順序が早いものほど鍵の近くの位置に表示される。これにより、演奏者は、次に押鍵すべき鍵３２ａに加えて、そのとき発音すべき歌詞（文字）を確認することができる。なお、各文字の位置は、矢印で示すように、徐々に鍵３２に近づくように下から連続的に位置が変化する態様としてもよいし、押鍵するごとに鍵３２に近づくように段階的に位置が変化する態様であってもよい。なお、歌詞表示領域３３に一度に表示する文字３４の数は、１フレーズに含まれる数としてもよいし、任意の数としてもよい。

図１０（Ａ）に示す操作支援画像２０ｂを画面上で確認した演奏者は、指定された歌唱曲の伴奏に合わせて現時点で歌唱すべき文字「つ」に該当する鍵（第１の強調表示が施された鍵３２ａ）を押鍵する。この押鍵により出力されたキーオン信号に応じて、電子鍵盤装置３の合成歌唱音生成部３０８は、上述した図５のフローに従って「つ」の合成歌唱音を「ミ」の音高で生成し、当該合成歌唱音に対応するオーディオ信号がカラオケ装置１に送られるとともにスピーカ１１５から発音される。

図１０（Ｂ）は、以上の手順で「つ」の発音をした直後の操作支援画像３０ｂを示している。図１０（Ｂ）に示す操作支援画像３０ｂでは、発音された文字「つ」は画面上から消え、歌詞表示領域３３において、次に歌唱すべき文字である「も」が最も鍵３２に近づく。具体的には、図１０（Ａ）において次に押鍵すべき鍵として第２の強調表示が施されていた鍵３２ｂが、図１０（Ｂ）では第１の強調表示に変更され、この鍵３２ｂに文字「も」が最も近づいた状態となる。同様に、文字「ー」及び「の」もそれぞれ鍵３２ｃに近づき、鍵３２ｃの強調表示は、第２の強調表示に変更される。

演奏者は、図１０（Ｂ）に示す操作支援画像３０ｂを確認することにより、次に押鍵すべき鍵が「レ」であること、及び歌唱すべき歌詞が「も」であることを認識することができる。

以上のように、演奏者は、押鍵するたびに変更される操作支援画像を画面上で確認することにより、次に操作すべき鍵盤の位置を知ることができ、演奏操作に不慣れであっても容易に正しい合成歌唱音を発音させることが可能となる。これにより、電子楽器の操作に不慣れな人であっても、カラオケに行って気軽に電子楽器を用いた歌唱を楽しむことができるようになる。

なお、図１０（Ａ）に示す例では、文字「の」について二重線で強調表示が施されているが、その意味合いは、図９について説明したとおりであるため、ここでの説明は省略する。勿論、図９と同様に、強調表示の態様としては、他にも他の文字と色分けしたり網掛けをしたりするなど、様々な態様を適用することができる。さらに、特定のマークを付すことによりどのようなエフェクト効果の指示であるのかについても区別できるようにすることも可能である。

［操作支援画像の構成例３］
本実施形態における操作支援画像は、図６（Ｂ）に示したような五線譜の形式で表示されてもよい。すなわち、ガイド用シーケンスデータに含まれる時間情報から、図６（Ｂ）に示すように、現在歌唱すべきフレーズの音高を示す音符とその音符に対応する歌詞（文字）とを対応付けて付加した画像を操作支援画像として表示することもできる。

本実施形態では、通常のカラオケ用サーバから提供される楽曲データではなく、電子鍵盤装置３での演奏による歌唱を行うためのガイド用シーケンスデータに基づいて表示データを作成しているため、歌詞データを構成する各文字に対し、常に音高が割り当てられている。したがって、現在歌唱すべきフレーズの音高を示す音符とその音符に対応する歌詞（文字）とを対応付けて付加した画像を操作支援画像として参照すれば、演奏者は、正しい音高と歌詞で合成歌唱音による歌唱を行うことができる。

＜他の実施形態＞
上述した実施形態においては、電子鍵盤装置３から取得したキーオン信号を契機として操作支援画像が更新される。つまり、キーオン信号が取得されないと操作支援画像は更新されないため、演奏者が伴奏のスピードについていけなくなると、伴奏と操作支援画像との間に時間的なずれが生じる場合がある。また、演奏者が操作を誤って一度に２つの鍵を押してしまった場合、歌詞が余計に１つ進んでしまうため、その後の音高と歌詞との対応にずれが生じてしまう場合がある。

このような場合に備え、他の実施形態における電子鍵盤装置３の操作部３０５は、フレーズ単位で操作支援画像を先送りする旨の指示信号（以下「スキップ指示信号」という）を出力する操作子を含み得る。カラオケ装置１の表示制御部１０６に含まれる画像更新部１７は、電子鍵盤装置３からスキップ指示信号を取得すると、次のフレーズの操作支援画像が表示されるように操作支援画像の更新処理を行う。これにより、演奏操作が遅れてしまった場合や誤操作を行ってしまった場合に、演奏者が強制的に操作支援画像をフレーズ単位で先送りすることができ、演奏の遅延やずれをリセットすることができる。

また、演奏者が自らの操作によりフレーズを先送りする構成に代えて、カラオケ装置１の制御部１０１が、伴奏と演奏操作のずれ（位相差）を自動的に検出し、そのずれが所定の閾値を超えたときに、次のフレーズの操作支援画像となるように画像更新処理部１７を制御する構成とすることも可能である。この場合、例えば制御部１０１が、伴奏データに含まれる時間データと、操作支援画像が示している現時点で歌唱すべき歌詞の歌詞データ中における位置とを比較することにより伴奏と演奏操作のずれを検出し、そのずれが所定の閾値を超えた場合に、画像更新部１７に対し、上述したスキップ指示信号を送信する構成とすればよい。また、これに替えて、指示された音高と異なる鍵を連続して操作している等のユーザーの演奏ミスを検出した場合に、上述したスキップ信号を送信してもよい。なお、伴奏と演奏操作のずれを検出するプロセスは、例えば図８に示した操作支援画像の表示処理のフローにおいて、ステップＳ１０３の押鍵操作を待機する間に実行してもよい。その際、伴奏と演奏操作のずれが検出された場合には、ステップＳ１０１に戻って、次のフレーズの操作支援画像を表示するとよい。

また、上述した実施形態では、カラオケ装置１の表示制御部１０６が操作支援画像を生成及び表示することを例に挙げて説明したが、制御端末２または電子鍵盤装置３の表示制御部が操作支援画像の生成及び表示処理を行ってもよい。つまり、カラオケ用サーバ１０００及びカラオケ装置１としては既存の装置を用い、操作支援画像の生成処理や表示処理を制御端末２または電子鍵盤装置３の表示制御部や画像表示部を用いて行うことも可能である。このことは、例えば電子鍵盤装置３の演奏を、制御端末２の画像表示部２０７に表示された操作支援画像を見ながら行ったり、電子鍵盤装置３自身が備える画像表示部３０７に表示された操作支援画像を見ながら行ったりすることができることを意味する。

また、上述したように表示制御部としての機能は、カラオケシステム１００内で分散処理により実現されてもよいため、カラオケ装置１及び制御端末２で表示制御部としての機能を分担することも可能である。例えば、歌唱合成用サーバ２０００からのガイド用シーケンスデータのダウンロード及び表示データの生成を制御端末２の表示制御部２０６が行い、電子鍵盤装置３からのキーオン信号の取得及びキーオン信号の取得を契機とする操作支援画像の更新処理をカラオケ装置１の表示制御部１０６が行ってもよい。

以上のように、カラオケシステム１００においては、カラオケ装置１、制御端末２、および電子鍵盤装置３はそれぞれの機能がそれぞれの装置において実現されていたが、各装置の一部の機能または全体の機能が他の装置で実現されてもよい。例えば、制御端末２における機能の一部または全部が電子鍵盤装置３において実現されてもよい。制御端末２における機能の全部が電子鍵盤装置３において実現される場合には、制御端末２と電子鍵盤装置３とが一体型の装置であることと等しい。また、これとは逆にさらに多くの装置を用いて、各機能が実現されていてもよい。例えば、電子鍵盤装置３のうち、合成歌唱音生成部３０８を備えた装置（合成歌唱音生成装置）と、鍵盤３１０の部分を備えた装置（例えば、ＭＩＤＩキーボードなど）とを別々に構成してもよい。このとき、合成歌唱音生成装置は、制御端末２に含まれていてもよい。

また、合成歌唱音は、演奏者が演奏操作子の一例である鍵盤３１０の鍵を押鍵することによって生成されていた。しかし、演奏操作子は鍵以外であってもよく、例えば、ギターシンセサイザ（ギター型のコントローラ）の弦であってもよいし、ウインドシンセサイザ（管楽器型のコントローラ）のキーであってもよい。

１…カラオケ装置、２…制御端末、３…電子鍵盤装置、１１…ガイド用シーケンスデータ取得部、１３…表示データ生成部、１５…キーオン信号取得部、１７…画像更新部、２０ａ，２０ｂ，３０ａ，３０ｂ…操作支援画像、２１，３１…鍵盤、２２，３２…鍵、２４，３３…歌詞表示領域、２５，３４…文字、１００…カラオケシステム、１０１，２０１，３０１…制御部、１０３，２０３，３０３…記憶部、１０５，２０５，３０５…操作部、１０６，２０６，３０６…表示制御部、１０７，２０７，３０７…画像表示部、１０９，２０９，３０９…通信部、１１１…オーディオ信号処理部、１１３…入力端子、１１５…スピーカ、３０８…合成歌唱音生成部、３１０…鍵盤、１０００…カラオケ用サーバ、２０００…歌唱合成用サーバ

Claims (7)

1. 歌詞データを構成する各文字に対し音高が割り当てられたガイド用シーケンスデータを取得するガイド用シーケンスデータ取得部と、
   前記ガイド用シーケンスデータに基づいて、前記音高及び当該音高が割り当てられた順序を示す操作支援画像に対応する表示データを生成する表示データ生成部と、
   複数の音高を指定する演奏操作子の操作に基づくキーオン信号を取得するキーオン信号取得部と、
   前記取得したキーオン信号に応じて前記操作支援画像を更新する画像更新部と、
   を備える、表示制御装置。
2. 前記操作支援画像は、前記音高及び当該音高が割り当てられた順序に加えて、前記歌詞データのうち当該画像に示された音高が割り当てられた文字を示す、請求項１に記載の表示制御装置。
3. 前記音高が割り当てられた文字には、直前の文字を継続して発音する記号が含まれる、請求項２に記載の表示制御装置。
4. 前記画像更新部は、画像を先送りする旨の指示を示す指示信号に応じて、現在表示中の操作支援画像を次のフレーズに対応する操作支援画像に更新する機能を含む、請求項１に記載の表示制御装置。
5. 請求項１乃至４のいずれか一項に記載の表示制御装置と、
   前記演奏操作子と、
   を備える、電子楽器。
6. さらに、前記キーオン信号及び前記歌詞データのうち当該キーオン信号に応じて取得された文字に関する情報に基づいて、合成歌唱音を生成する合成歌唱音生成部を備える、請求項５に記載の電子楽器。
7. 歌詞データを構成する各文字に対し音高が割り当てられたガイド用シーケンスデータを取得し、
   前記ガイド用シーケンスデータに基づいて、前記音高及び当該音高が割り当てられた順序を示す操作支援画像に対応する表示データを生成し、
   複数の音高を指定する演奏操作子の操作に基づくキーオン信号を取得し、
   前記取得したキーオン信号に応じて前記操作支援画像を更新することをコンピュータに実行させるためのプログラム。
   

Images