JP2019174505A - 歌唱練習装置、歌唱練習方法、及びプログラム - Google Patents

Abstract

【課題】正しい発声タイミングとともに、正しい音高又は正しい発声で歌唱できる歌唱能力が習得されるようにユーザを支援することが可能な歌唱練習装置を提供する。【解決手段】第１タイミングで発声すべき歌詞に含まれる第１文字を示すデータと、第１タイミングの次の第２タイミングで発声すべき歌詞に含まれる第２文字を示すデータと、を含む歌詞データに応じた伴奏データを再生している際に、第１タイミングに合わせた発声の有無を検出する発声検出処理と、発声検出処理により第１タイミングに合わせた発声を検出した場合に、第１タイミングから第２タイミングの前まで伴奏データの再生を進行させる伴奏進行処理と、発声検出処理により第１タイミングに合わせた発声を検出しない場合に、伴奏データの再生を停止させる伴奏停止処理と、を実行する歌唱練習装置が開示される。【選択図】図４

Description

本開示は、歌唱練習装置、歌唱練習方法、及びプログラムに関する。

歌唱をおこなうべき期間においてはマイクがオン状態に設定され、それ以外の期間においてはマイクがオフ状態に設定される技術が知られている。

特開２００３−１７７７６９号公報

しかしながら、上記のような従来技術では、正しい発声タイミングとともに、正しい音高や正しい発声（歌詞）で歌唱できる歌唱能力が習得されるようにユーザを支援することが難しい。

そこで、１つの側面では、本発明は、正しい発声タイミングとともに、正しい音高又は正しい発声で歌唱できる歌唱能力が習得されるようにユーザを支援できる歌唱練習装置及び歌唱練習プログラムの提供を目的とする。

上記目的を達成するために、本発明の１つの側面では、第１タイミングで発声すべき歌詞に含まれる第１文字を示すデータと、前記第１タイミングの次の第２タイミングで発声すべき前記歌詞に含まれる第２文字を示すデータと、を含む歌詞データに応じた伴奏データを再生している際に、前記第１タイミングに合わせた発声の有無を検出する発声検出処理と、前記発声検出処理により前記第１タイミングに合わせた発声を検出した場合に、前記第１タイミングから前記第２タイミングの前まで前記伴奏データの再生を進行させる伴奏進行処理と、前記発声検出処理により前記第１タイミングに合わせた発声を検出しない場合に、前記伴奏データの再生を停止させる伴奏停止処理と、を実行する歌唱練習装置が提供される。

１つの側面では、本発明によれば、正しい発声タイミングとともに、正しい音高又は正しい発声で歌唱できる歌唱能力が習得されるようにユーザを支援できる歌唱練習装置及びプログラムが得られる。

一実施例による歌唱練習装置を概略的に示す外観図である。 歌唱練習装置の制御系のハードウェア構成を示す概略図である。 歌唱練習装置で実現可能なモードの一例を示す図である。 歌唱練習装置の機能の一例を示すブロック図である。 発声タイミング習得モードにおいて歌唱練習装置により実行される処理の一例を示す概略フローチャートである。 図５の説明図であり、伴奏が進行する場合を示す図である。 図５の説明図であり、伴奏が停止する場合を示す図である。 正解発声習得モードにおいて歌唱練習装置により実行される処理の一例を示す概略フローチャートである。 図７の説明図であり、伴奏が進行する場合を示す図である。 図７の説明図であり、伴奏が停止する場合を示す図である。 正解発声＆正解音高習得モードにおいて歌唱練習装置により実行される処理の一例を示す概略フローチャートである。 図９の説明図であり、伴奏が進行する場合を示す図である。 図９の説明図であり、伴奏が停止する場合を示す図である。

以下、添付図面を参照しながら各実施例について詳細に説明する。

図１は、一実施例による歌唱練習装置１を概略的に示す外観図である。

歌唱練習装置１は、ユーザインターフェースとして、電源ボタン１１、楽曲選択ボタン１２、再生ボタン１３、停止ボタン１４等を含む。また、歌唱練習装置１は、表示部１５、ガイド部１６、スピーカ１８等を含む。また、歌唱練習装置１は、マイク１７が接続可能である。

電源ボタン１１は、歌唱練習装置１をオン／オフさせるためにユーザが操作可能なボタンである。

楽曲選択ボタン１２は、歌唱練習装置１から再生される楽曲を選択するためにユーザが操作可能なボタンである。

再生ボタン１３は、楽曲等を再生させるためにユーザが操作可能なボタンである。

停止ボタン１４は、楽曲等の再生を停止させるためにユーザが操作可能なボタンである。

表示部１５は、例えば液晶ディスプレイであり、例えば図１に示すように、現在再生中の楽曲の楽譜の部分や、歌詞の部分等が出力される。

ガイド部１６は、正解音高に対する発声の高さを表示する音高表示機能を備える。本実施例では、一例として、ガイド部１６は、複数のランプ１６０を有する。ランプ１６０は、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ランプである。真ん中のランプ１６０が点灯する状態は、正しい音高（以下、「正解音高」とも称する）に対して発声の高さが一致している状態に対応する。他方、真ん中よりも右側のランプ１６０が点灯する状態は、正解音高に対して発声の高さが高い状態に対応する。正解音高に対して発声の高さが高いほど右側のランプ１６０が点灯する。真ん中よりも左側のランプ１６０が点灯する状態は、正解音高に対して発声の高さが低い状態に対応する。正解音高に対して発声の高さが低いほど左側のランプ１６０が点灯する。

ガイド部１６は、発声が、正しい歌詞（以下、「正解歌詞」とも称する）と合っているか否かを表す情報を表示する発声表示機能を更に備えてもよい。例えば、ガイド部１６のすべてのランプ１６０が点灯した状態は、発声が正解歌詞と合っている状態に対応してもよい。あるいは、発声が正解歌詞と合っている場合に、ガイド部１６のすべてのランプ１６０が所定回数点滅してもよい。

ガイド部１６が音高表示機能とともに発声表示機能を備える場合は、発声表示機能を実現する別のガイド部を設ける場合に比べて、簡素な構成を実現できる点で有利となる。なお、発声表示機能を実現する別のガイド部を設ける場合として、例えば、発声が正解歌詞と合っている場合に、表示部１５において強調されている文字が、所定の色で着色されてもよいし、点灯されてもよいし、点滅されてもよい。この場合も、別のガイド部が表示部１５で実現されるので、簡素な構成を実現できる点で有利となる。なお、発声表示機能を実現する別のガイド部は、ガイド部１６や表示部１５以外の専用のガイド部により実現されてもよい。

マイク１７は、好ましくは、単一指向性マイクロホンである。指向性がユーザの口の近くにセットされることで、マイク１７を介して得られる各種音のうちから、ユーザの発声だけを抽出しやすくなる。ただし、マイク１７は、単一指向性でなくてもよい。この場合、マイク１７で拾われうる他の音（伴奏のような、発声以外の他の音）は、信号処理で除去されてよい。

スピーカ１８からは、楽曲の伴奏や、ユーザの発声等が出力される。

図１に示す例では、歌唱練習装置１は、光鍵盤１９を更に含む。すなわち、歌唱練習装置１は、電子キーボードとしても機能できる。図１では、“そ”の鍵が強調されることで（符号１９１が指す箇所参照）、次が“そ”に係る鍵を弾くタイミングであることが表されている。なお、変形例では、光鍵盤１９は省略されてもよい。

図２は、歌唱練習装置１の制御系のハードウェア構成を示す概略図である。

歌唱練習装置１は、バス９０を介して相互に接続される、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１３、楽器音源１１４、ＤＡＣ（Ｄｉｇｉｔａｌ ｔｏ Ａｎａｌｏｇ Ｃｏｎｖｅｒｔｅｒ）１１５、ＬＥＤ１１６、スイッチ１１７、表示装置１１８、歌声音源１１９、及びＡＤＣ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）１２０を含む。

ＣＰＵ１１１は、歌唱練習装置１の全体の動作を制御する。ＣＰＵ１１１は、ＲＯＭ１１２から指定されたプログラムを読み出してＲＡＭ１１３に展開し、展開されたプログラムと協働して各種処理を実行する。

ＲＯＭ１１２は、読み取り専用の記憶部であり、プログラムや、音色波形データ、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）データ、各種パラメータ等を格納する。なお、曲データ（ＭＩＤＩデータ）は、例えば、ＵＳＢメモリから取得、外部端末（歌唱練習装置１以外の機器）から取得、及び、ネットワーク経由で取得する等、取得先はＲＯＭ１１２に限定されない。

ＲＡＭ１１３は、読み書き可能な記憶部であり、ＣＰＵ１１１の処理に必要なデータ等を一時記憶する。

楽器音源１１４は、楽器音による楽音を生成する。例えば、楽器音源１１４は、ＣＰＵ１１１の楽音の生成指示にしたがい、楽音を生成して楽音信号をＤＡＣ１１５に出力する。

ＤＡＣ１１５は、デジタル信号（例えばデジタル楽音に係る楽音信号や、後述の歌声信号等）をアナログ信号へと変換する。変換されたアナログ信号は、増幅器１１５ａで増幅されてから、スピーカ１８を介して出力される。

ＬＥＤ１１６は、ガイド部１６のランプ１６０を形成する。

スイッチ１１７は、楽曲選択ボタン１２等の各種ボタンを形成する。

表示装置１１８は、表示部１５を形成する。

歌声音源１１９は、歌声を生成するボーカル音源である。例えば、歌声音源１１９は、隠れマルコフモデルに基づく音声合成方式が歌声の合成に応用されたエンジンである。なお、隠れマルコフモデルは、音声の特徴パラメータ系列のモデル化手法として音声認識等で広く利用されている。例えば、歌声音源１１９は、ＣＰＵ１１１の歌声の生成指示にしたがい、歌声を生成して歌声信号をＤＡＣ１１５に出力する。

ＡＤＣ１２０は、マイク１７で拾われたユーザの発声に応じたアナログ信号をデジタル信号に変換する。変換されたデジタル信号は、ＣＰＵ１１１による各種処理に用いられる。

図３は、歌唱練習装置１で実現可能なモードの一例を示す図である。

図３では、歌唱練習装置１で実現可能なモードは、お手本演奏モードＭ１と、発声タイミング習得モードＭ２と、正解発声習得モードＭ３と、正解発声＆正解音高習得モードＭ４（以下、「正解音高習得モードＭ４」と称する）と、カラオケモードＭ５とを含む。

お手本演奏モードＭ１では、伴奏とともに、お手本による発声（歌声）が、正しい発声タイミング、正解歌詞、かつ正解音高で、スピーカ１８から出力される。なお、本明細書でいう“正しい”又は“正解”とは、歌唱練習装置１側で設定された基準に基づくものであり、絶対的な“正しさ”又は“正解”を意味するわけではない。

発声タイミング習得モードＭ２では、伴奏だけがスピーカ１８から出力される。発声タイミング習得モードＭ２では、ユーザは、伴奏を聞きながら、正しい発声タイミングで発声できるように練習できる。発声タイミング習得モードＭ２での処理については、後に詳説する。

正解発声習得モードＭ３では、伴奏だけがスピーカ１８から出力される。正解発声習得モードＭ３では、ユーザは、伴奏を聞きながら、正しい発声タイミングでかつ正解歌詞で、発声できるように練習できる。正解発声習得モードＭ３での処理については、後に詳説する。

正解音高習得モードＭ４では、伴奏だけがスピーカ１８から出力される。正解音高習得モードＭ４では、ユーザは、伴奏を聞きながら、正しい発声タイミングで、正解歌詞で、かつ、正解音高で、歌唱できるように練習できる。正解音高習得モードＭ４での処理については、後に詳説する。

カラオケモードＭ５では、伴奏だけがスピーカ１８から出力される。カラオケモードＭ５では、ユーザは、通常通り、伴奏を聞きながら歌唱し、練習の成果を試すことができる。なお、カラオケモードＭ５では、歌唱採点を実施することで、ユーザが習得具合を確認できるようにしてもよい。

なお、歌唱レッスンの観点からは、ユーザは、お手本演奏モードＭ１から始め、発声タイミング習得モードＭ２、正解発声習得モードＭ３、及び正解音高習得モードＭ４での練習を経てから、カラオケモードＭ５に至ることが推奨される（図３の矢印参照）。ただし、ユーザが任意のモードを選ぶことができるように構成されてもよい。

なお、ここでは、既存の楽曲の歌詞を練習することについて想定されるが、歌詞の編集機能を設けてユーザが作成した替え歌の歌詞を練習させてもよい。幼児教育においては母親等が作成した独自の歌詞の方が幼児の興味を引きつける効果を期待できる。例えば、幼児を対象とした音楽教育の過程においては、歌詞を音名、すなわち「ドレミファソラシド」で歌って音名を覚える場合がある。従って、歌詞を音名で歌うような練習としてもよい。

また、上述のように、幼児教育においては、音名を歌唱することにより楽曲の音高を覚えさせることがある。本実施例では、光鍵盤１９を用いたレッスンの過程で、正解発声習得モードＭ３において音名を歌詞の代わりに発声させ、さらに該当する光鍵盤１９を点滅、点灯させることによって、楽曲の音高を音名によって習得することが可能となる。

図４は、歌唱練習装置１の機能の一例を示すブロック図である。

歌唱練習装置１は、発声検出部４０と、伴奏出力部４１と、発声タイミング練習制御部４２と、正解歌詞練習制御部４３と、正解音高練習制御部４４と、正解歌詞出力部４５と、モード切替部４６と、楽曲情報記憶部４７とを含む。

発声検出部４０、伴奏出力部４１、発声タイミング練習制御部４２、正解歌詞練習制御部４３、正解音高練習制御部４４、正解歌詞出力部４５、及びモード切替部４６は、ＣＰＵ１１１がＲＯＭ１１２のような記憶装置内の１つ以上のプログラムを実行することで実現できる。楽曲情報記憶部４７は、ＲＯＭ１１２のような記憶装置により実現できる。変形例では、楽曲情報記憶部４７は、書き換え可能な補助記憶装置（図示せず）により実現されてもよい。

発声検出部４０は、マイク１７を介して得られるデジタル信号（ＡＤＣ１２０で生成されるデジタル信号）に基づいて、ユーザの発声を検出する。なお、発声検出部４０は、例えばマイク１７を叩いた音などの非音声をも検出してもよいが、人の音声であるか否かを判断して人の音声のみ受入れるようにしてもよい。

伴奏出力部４１は、曲データにしたがって楽曲の伴奏を出力する。曲データは、伴奏を出力するための伴奏データと、主旋律を出力するための主旋律データと、主旋律の各音に対応付けられた歌詞データとを含む。主旋律データは、正しい発声タイミングに関するデータと、正解音高に関するデータとを含み、歌詞データは正解歌詞に関するデータを含む。曲データは、例えばＭＩＤＩデータと歌詞データとを含むことが出来るＳＭＦ Ｗｉｔｈ Ｌｙｒｉｃｓ(Ｓｔａｎｄａｒｄ ＭＩＤＩ Ｆｉｌｅ Ｗｉｔｈ Ｌｙｒｉｃｓ)や楽譜表記のためのファイルフォーマットであるＭｕｓｉｃＸＭＬとすることができる。もちろん独自のデータ形式の曲データであってもよい。

発声タイミング練習制御部４２は、曲データによる発声タイミングに合った発声を発声検出部４０が検出したか否かを判定する（発声検出処理の一例）。発声タイミング練習制御部４２は、曲データによる発声タイミングに合った発声を発声検出部４０が検出しない場合に、伴奏出力部４１に伴奏を進行させない機能を有する。曲データによる発声タイミングとは、曲データに含まれる、正しい発声タイミングに関するデータによって規定された発声タイミングを意味する。曲データによる発声タイミングに合った発声とは、曲データによる発声タイミングが例えば１時点又は時間範囲で規定されている場合は、当該１時点又は時間範囲に対して所定の許容誤差内で検出される発声である。所定の許容誤差は、楽曲のテンポ等に応じて可変されてよく、ユーザによりカスタマイズ可能であってもよい。発声タイミング練習制御部４２の機能の詳細は後述する。

正解歌詞練習制御部４３は、曲データによる発声タイミングに合わせて発声検出部４０が検出した発声が、正解歌詞と合っていないと判定した場合に、伴奏出力部４１に伴奏を進行させない機能を有する。発声が正解歌詞と合っているか否かは、例えば次のように判定されてよい。具体的には、正解歌詞練習制御部４３は、発声検出部４０が発声の特徴量を抽出し、ＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）マッチングや隠れマルコフモデルによる手法を用いて、正解歌詞との比較及び判定を実施する。音声特徴量は、例えばケプストラムパラメータである。正解歌詞練習制御部４３の機能の詳細は後述する。

正解音高練習制御部４４は、曲データによる発声タイミングに合わせて発声検出部４０が検出した発声の音高が、正解音高と合っていないと判定した場合に、伴奏出力部４１に伴奏を進行させない機能を有する。音高の抽出は例えば、特許第５２４６２０８号に記載されている方法によることができる。発声の音高が正解音高と合っているか否かは、厳密である必要はなく、ある程度の誤差が許容されてもよい。すなわち、人の声の高さは多少揺らぐため正確な音高で判断する必要はなく、発声の音高が正解音高に対して一定の許容誤差内にあればよい。かかる許容誤差は、ユーザによりカスタマイズ可能であってもよい。正解音高練習制御部４４の機能の詳細は後述する。

正解歌詞出力部４５は、曲データにしたがって合成された正解歌詞を出力する。例えば、正解歌詞出力部４５は、歌声音源１１９と協動して、正解歌詞を出力する。正解歌詞の出力タイミングは後述する。

モード切替部４６は、お手本演奏モードＭ１、発声タイミング習得モードＭ２、正解発声習得モードＭ３、正解音高習得モードＭ４、及びカラオケモードＭ５間で、モードを切り替える切替処理を実行する。

モード切替部４６は、例えばユーザからの指令に応じて切替処理を実行してもよいし、所定のルールにしたがって切替処理を実行してもよい。例えば、モード切替部４６は、お手本演奏モードＭ１から始まり、発声タイミング習得モードＭ２、正解発声習得モードＭ３、及び正解音高習得モードＭ４での練習を経てから、カラオケモードＭ５に至るように、切替処理を実行してもよい。いずれの場合も、ユーザは、自己のレベルにあったモードで練習できるので、上述したような効果的な歌唱レッスンが可能となる。例えば、楽曲習得レッスンにおいては、幼児が歌詞を含めた楽曲の歌唱を段階的に習得することが可能となる。

次に、図５以降を参照して、発声タイミング習得モードＭ２、正解発声習得モードＭ３、及び正解音高習得モードＭ４での処理の例について説明する。

図５は、発声タイミング習得モードＭ２において歌唱練習装置１により実行される処理の一例を示す概略フローチャートである。

ステップＳ２０では、伴奏出力部４１は、指定された楽曲に係る曲データを楽曲情報記憶部４７から取得し、楽曲開始処理を実行する。具体的には、伴奏出力部４１は、自動伴奏が行えるように、指定された楽曲に係る曲データをＲＯＭ１１２から、例えば、ワークエリアとして機能するＲＡＭ１１３に読み込み取得する処理も実行する。そして、伴奏出力部４１は、指定された楽曲に係る曲データにしたがって、当該楽曲の伴奏を出力し始める。

ステップＳ２１では、発声タイミング練習制御部４２は、曲データに基づいて、次音強調表示処理を実行する。具体的には、発声タイミング練習制御部４２は、表示部１５を介して、次の発声（歌詞）の文字を表す情報を出力する。例えば、図１では、文字“き”が強調されることで、次の発声が“き”であることが表されている。

ステップＳ２２では、伴奏出力部４１は、曲データに基づいて、伴奏進行処理（次の発声ポイントまでの通常の伴奏進行処理）を実行する。すなわち、伴奏出力部４１は、伴奏を通常のテンポで進行させる。

ステップＳ２３では、発声タイミング練習制御部４２は、曲データに基づいて、正しい発声区間の開始時点が到来したか否かを判定する。ここでは、一例として、正しい発声区間は、曲データによる発声タイミング（ここでは１時点）に対して所定の許容誤差を持つ区間である。なお、所定の許容誤差は、上述のように、楽曲のテンポ等に応じて可変されてよく、ユーザによりカスタマイズ可能であってもよい。判定結果が“ＹＥＳ”の場合、ステップＳ２４−１に進み、それ以外の場合は、ステップＳ２２に戻る。

ステップＳ２４−１では、発声タイミング練習制御部４２は、発声検出部４０の検出結果に基づいて、発声検出部４０が発声を検出したか否かを判定する。判定結果が“ＹＥＳ”の場合、ステップＳ２５に進み、それ以外の場合は、ステップＳ２４−２に進む。

ステップＳ２４−２では、発声タイミング練習制御部４２は、正しい発声区間の終了時点が到来したか否かを判定する。判定結果が“ＹＥＳ”の場合、ステップＳ２４−３に進み、それ以外の場合は、ステップＳ２４−４に進む。

ステップＳ２４−３では、発声タイミング練習制御部４２は、伴奏出力部４１に伴奏進行処理を停止させる。なお、この際、伴奏出力部４１は、伴奏を停止させて無音状態としてもよいし、正しい発声区間内の任意の時点（例えば正しい発声区間の終了時点）の伴奏の音を断続的に出力してもよい。

ステップＳ２４−４では、伴奏出力部４１は、曲データに基づいて、正しい発声区間の終了時点までの伴奏進行処理を実行する。

このようにしてステップＳ２４−１で判定結果が“ＮＯ”となると、正しい発声区間において伴奏を進行させながら、発声検出部４０が発声を検出することを待つ待機状態となる。この待機状態では、ステップＳ２２に戻らないため、通常の伴奏進行処理が実行されない。そして、発声タイミング練習制御部４２は、正しい発声区間の終了時点まで発声が検出されない場合は（ステップＳ２４−２の“ＹＥＳ”）、正しい発声区間の終了時点で伴奏出力部４１に伴奏の進行を停止させる（ステップＳ２４−３）（伴奏停止処理及び発生タイミング練習制御処理の一例）。

ステップＳ２５では、伴奏出力部４１は、曲データに基づいて、楽曲が終了したか否かを判定する。判定結果が“ＹＥＳ”の場合、ステップＳ２６に進み、それ以外の場合は、ステップＳ２１に戻る。

ステップＳ２６では、伴奏出力部４１は、楽曲停止処理を実行する。すなわち、伴奏の進行が通常通りの態様で終わる。

図５に示す処理によれば、曲データによる発声タイミングに合った発声を発声検出部４０が検出しない場合に、伴奏進行処理が実行されないようにすることができる。これにより、ユーザは、伴奏が進行されないことから、発声タイミングを間違ったことにすぐ気付くことができる。他方、ユーザは、発声した後に伴奏が進行すると、発声タイミングが正しかったことを認識できる。このようにして、図５に示す処理によれば、ユーザが正しい発声タイミングを習得することを効果的に支援できる。

図６Ａ及び図６Ｂは、図５の説明図であり、上から順に、発声タイミングと、発声の検出結果と、伴奏の進行状態とを示す時系列の例を示す。図６Ａ及び図６Ｂでは、発声タイミングは、同じであり、ｔ０からｔ１までの正しい発声区間（第１タイミングの一例）と、ｔ２からｔ３までの正しい発声区間（第２タイミングの一例）とが示されている。発声の検出結果について、“ＯＮ”は、発声が検出されている状態を表す。伴奏の進行状態について、“ＯＮ”は、伴奏が進行されている状態を表し、“ＯＦＦ”は、伴奏が停止されている状態を表す。

図６Ａに示す例では、ｔ０からｔ１までの正しい発声区間において発声が検出されており、従って、伴奏は、次の正しい発声区間（ｔ２からｔ３までの正しい発声区間）まで進行される。他方、図６Ｂに示す例では、ｔ０からｔ１までの正しい発声区間において発声が検出されず、従って、この場合、伴奏が停止される。

図７は、正解発声習得モードＭ３において歌唱練習装置１により実行される処理の一例を示す概略フローチャートである。

ステップＳ３０からステップＳ３４−４までは、図５を参照して上述したステップＳ２０からステップＳ２４−４までと処理内容は同一である。

ステップＳ３４−１において、判定結果が“ＹＥＳ”の場合、ステップＳ３５に進み、それ以外の場合は、発声検出部４０が発声を検出することを待つ待機状態となる。

ステップＳ３５では、正解歌詞練習制御部４３は、発声が正解歌詞と合っているか否かの音素判定処理を実行する。発声が正解歌詞と合っているか否かの判定方法は、上述した通りである。

ステップＳ３６において、ステップＳ３５での音素判定処理での判定結果が“ＹＥＳ”の場合、ステップＳ３８に進む。他方、ステップＳ３５での音素判定処理での判定結果が“ＮＯ”の場合、ステップＳ３７−１及びステップＳ３７−２を介して、ステップＳ３４−１に戻る。

ステップＳ３７−１では、正解歌詞出力部４５は、伴奏出力部４１に伴奏進行処理を停止させる。なお、この際、伴奏出力部４１は、伴奏を停止させて無音状態としてもよいし、正しい発声区間内の任意の時点（例えば現時点）の伴奏の音を断続的に出力してもよい。このようにして、発声が正解歌詞と合っていないと判定した場合には、ステップＳ３２に戻らないため、伴奏進行処理が実行されない。すなわち、正解歌詞練習制御部４３は、伴奏出力部４１に伴奏を進行させない（正解音声練習制御処理の一例）。

ステップＳ３７−２では、正解歌詞出力部４５は、正解音声発音処理（歌声発声処理の一例）を行う。具体的には、正解歌詞出力部４５は、歌声音源１１９と協動して、曲データにしたがって合成された正解歌詞をスピーカ１８を介して出力する。

ステップＳ３８では、伴奏出力部４１は、曲データに基づいて、楽曲が終了したか否かを判定する。判定結果が“ＹＥＳ”の場合、ステップＳ３９に進み、それ以外の場合は、ステップＳ３１に戻る。

ステップＳ３９では、伴奏出力部４１は、楽曲停止処理を実行する。すなわち、伴奏の進行が通常通りの態様で終わる。

図７に示す処理によれば、曲データによる発声タイミングに合った発声を発声検出部４０が検出しない場合に、伴奏進行処理が実行されないようにすることができる。これにより、ユーザは、伴奏が進行されないことから、発声タイミングを間違ったことにすぐ気付くことができる。他方、ユーザは、発声した後に伴奏が進行すると、発声タイミングが正しかったことを認識できる。このようにして、図７に示す処理によれば、ユーザが正しい発声タイミングを習得することを効果的に支援できる。

また、図７に示す処理によれば、曲データによる発声タイミングに合わせて発声検出部４０が何らかの発声を検出した場合でも、発声が正解歌詞と合っていないと判定された場合に、伴奏進行処理が実行されないようにすることができる。これにより、ユーザは、伴奏が進行されないことから、間違った発声にすぐ気付くことができる。他方、ユーザは、発声した後に伴奏が進行すると、発声（歌詞）が正しかったことを認識できる。このようにして、図７に示す処理によれば、ユーザが正解歌詞を習得することを効果的に支援できる。

また、図７に示す処理によれば、発声が正解歌詞と合っていないと判定された場合に、曲データにしたがって合成された正解歌詞が出力される。これにより、ユーザは、間違った発声（歌詞）にすぐ気付くことができるとともに、正解歌詞を容易に習得できる。

図８Ａ及び図８Ｂは、図７の説明図であり、上から順に、発声タイミングと、発声の検出結果と、ユーザの発声が正解歌詞と合っているか否かの判定結果と、伴奏の進行状態とを示す時系列の例を示す。図８Ａ及び図８Ｂでは、発声タイミングは、同じであり、ｔ０からｔ１までの正しい発声区間（第１タイミングの一例）と、ｔ２からｔ３までの正しい発声区間（第２タイミングの一例）とが示されている。発声の検出結果について、“ＯＮ”は、発声が検出されている状態を表す。伴奏の進行状態について、“ＯＮ”は、伴奏が進行されている状態を表し、“ＯＦＦ”は、伴奏が停止されている状態を表す。また、ユーザの発声が正解歌詞と合っているか否かの判定結果について、“正”は、ユーザの発声が正解歌詞と合っているとの判定結果を示し、“誤”は、ユーザの発声が正解歌詞と合っていないとの判定結果を示す。

図８Ａに示す例では、ｔ０からｔ１までの正しい発声区間において発声が検出されており、かつ、当該発声が正解歌詞（第１文字の一例）と合っていると判定されている。従って、伴奏は、次の正しい発声区間（ｔ２からｔ３までの正しい発声区間）まで進行される。また、ｔ２からｔ３までの正しい発声区間において発声が検出されており、かつ、当該発声が正解歌詞（第２文字の一例）と合っていると判定されている。従って、伴奏は、次の正しい発声区間（図示せず）まで進行される。他方、図８Ｂに示す例では、ｔ０からｔ１までの正しい発声区間において発声が検出されるが、当該発声が正解歌詞と合っていないと判定されている。従って、この場合、伴奏が停止される。

図９は、正解音高習得モードＭ４において歌唱練習装置１により実行される処理の一例を示す概略フローチャートである。

ステップＳ４０からステップＳ４４−４までは、図５を参照して上述したステップＳ２０からステップＳ２４−４までと処理内容は同一である。また、ステップＳ４５からステップＳ４７−２までは、図７を参照して上述したステップＳ３５からステップＳ３７−２と処理内容は同一である。

ステップＳ４６において、音素判定処理での判定結果が“ＹＥＳ”の場合、ステップＳ４８に進む。

ステップＳ４８では、正解音高練習制御部４４は、音高判定処理を実行する。具体的には、正解音高練習制御部４４は、発声検出部４０が検出した発声の音高が、正解音高に合っているか否かを判定する。例えば図１の例ではユーザが“ソ”の音高を発声しているか否かを判定する。

ステップＳ４９において、ステップＳ４８の音高判定処理での判定結果が“ＹＥＳ”の場合、ステップＳ５０に進む。他方、ステップＳ４８の音高判定処理での判定結果が“ＮＯ”の場合、ステップＳ４７−１及びステップＳ４７−２を介して、ステップＳ４４に戻る。従って、発声の音高が正解音高と合っていないと判定した場合には、ステップＳ４２に戻らないため、伴奏進行処理が実行されない。すなわち、正解音高練習制御部４４は、伴奏出力部４１に伴奏を進行させない（正解音高練習制御処理の一例）。

なお、ステップＳ４９において、正解音高練習制御部４４は、ガイド部１６の複数のランプ１６０のうちの、発声検出部４０が検出した発声の音高に応じたランプ１６０を点灯させてもよい。すなわち、正解音高練習制御部４４は、ガイド部１６を介して、発声に応じた音高が正解音高と比べて高いのか低いのかを示す情報を表示してもよい。これにより、ユーザの発声の音高が正解音高に対して同じであるか、低いのか、高いのかをユーザに示すことができる。

ステップＳ５０では、正解音高練習制御部４４は、曲データに基づいて、楽曲が終了したか否かを判定する。判定結果が“ＹＥＳ”の場合、ステップＳ５１に進み、それ以外の場合は、ステップＳ４１に戻る。

ステップＳ５１では、伴奏出力部４１は、楽曲停止処理を実行する。すなわち、伴奏の進行が通常通りの態様で終わる。

図９に示す処理によれば、曲データによる発声タイミングに合った発声を発声検出部４０が検出しない場合に、伴奏進行処理が実行されないようにすることができる。これにより、ユーザは、伴奏が進行されないことから、発声タイミングを間違ったことにすぐ気付くことができる。他方、ユーザは、発声した後に伴奏が進行すると、発声タイミングが正しかったことを認識できる。このようにして、図９に示す処理によれば、ユーザが正しい発声タイミングを習得することを効果的に支援できる。

また、図９に示す処理によれば、曲データによる発声タイミングに合わせて発声検出部４０が何らかの発声を検出した場合でも、発声が正解歌詞と合っていないと判定された場合、又は、発声の音高が正解音高と合っていないと判定された場合に、伴奏進行処理が実行されないようにすることができる。これにより、ユーザは、伴奏が進行されないことから、間違った発声又は音高にすぐ気付くことができる。他方、ユーザは、発声した後に伴奏が進行すると、発声及び音高が正しかったことを認識できる。このようにして、図９に示す処理によれば、ユーザが正解歌詞及び正解音高を習得することを効果的に支援できる。

また、図９に示す処理によれば、発声が正解歌詞と合っていないと判定された場合又は発声の音高が正解音高と合っていないと判定された場合に、曲データにしたがって合成された正解歌詞が出力される。これにより、ユーザは、間違った発声又は音高にすぐ気付くことができるとともに、正解歌詞又は音高を容易に習得できる。

図１０Ａ及び図１０Ｂは、図９の説明図であり、上から順に、発声タイミングと、発声の検出結果と、ユーザの発声の音高が正解音高と合っているか否かの判定結果と、伴奏の進行状態とを示す時系列の例を示す。図１０Ａ及び図１０Ｂでは、発声タイミングは、同じであり、ｔ０からｔ１までの正しい発声区間（第１タイミングの一例）と、ｔ２からｔ３までの正しい発声区間（第２タイミングの一例）とが示されている。発声の検出結果について、“ＯＮ”は、発声が検出されている状態を表す。伴奏の進行状態について、“ＯＮ”は、伴奏が進行されている状態を表し、“ＯＦＦ”は、伴奏が停止されている状態を表す。また、ユーザの発声の音高が正解音高と合っているか否かの判定結果について、“正”は、ユーザの発声の音高が正解音高と合っているとの判定結果を示し、“誤”は、ユーザの発声の音高が正解音高と合っていないとの判定結果を示す。図１０Ａ及び図１０Ｂでは、図示しないが、各発声が正解歌詞と合っていると判定されているものとする。

図１０Ａに示す例では、ｔ０からｔ１までの正しい発声区間において発声が検出されており、かつ、当該発声の音高が正解音高（第１音高の一例）と合っていると判定されている。従って、伴奏は、次の正しい発声区間（ｔ２からｔ３までの正しい発声区間）まで進行される。また、ｔ２からｔ３までの正しい発声区間において発声が検出されており、かつ、当該発声の音高が正解音高（第２音高の一例）と合っていると判定されている。従って、伴奏は、次の正しい発声区間（図示せず）まで進行される。他方、図１０Ｂに示す例では、ｔ０からｔ１までの正しい発声区間において発声が検出されるが、当該発声の音高が正解音高と合っていないと判定されている。従って、この場合、伴奏が停止される。

ところで、従来、幼児や楽器初心者に向けたレッスン機能を備えた電子キーボードが存在する。例えば光る鍵盤を備えた電子キーボードのレッスンは、楽曲の進行に従い順次押鍵すべき鍵を点滅、点灯させ、ユーザが当該鍵を押鍵したら次の音に楽曲が進行するようなものである。

一方でもっとも初歩的な楽器演奏といってよい歌に関して、幼児の歌詞を含む楽曲の歌唱習得を支援するレッスン機能を備えた電子楽器は存在しなかった。一部のカラオケ機器ではユーザの歌唱を採点する機能を備えたものがあるが、これは習得済みの歌の歌唱を採点するものであり、レッスン機能ではなく、幼児が楽曲の歌詞を覚えたりメロディーを覚えたりする目的には適合しない。

この点、本実施例によれば、電子鍵盤楽器において幼児が楽曲の演奏を練習するのと同様な分かり易さ及び簡便さをもって、幼児が歌詞を含めた楽曲の歌唱を習得することができる。

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。

例えば、上述した実施例では、発声タイミング習得モードＭ２に加えて、正解発声習得モードＭ３及び正解音高習得モードＭ４の習得モードが用意されているが、これに限られない。例えば、発声タイミング習得モードＭ２に加えて、正解発声習得モードＭ３及び正解音高習得モードＭ４のうちの、一方だけが用意されてもよい。

また、上述した実施例において、正解発声習得モードＭ３に代えて又は加えて、正解音高習得モードが用意されてもよい。この場合、図９において、ステップＳ４５及びステップＳ４６が省略された形態となる。

また、上述した実施例では、幼児の楽曲習得を想定して、１音ごとに音素判定を実施したが、これに限られない。一般向けとして１拍ごとに１拍分の音節を判定したり、１小節ごとに判定したりする態様も可能である。また英語等他言語においては複数の音が結合して１音を形成している場合が多くある。このような場合には結合音ごとに判定することもできる。日本語においても前後の音の影響を受ける調音結合や楽曲の中で複数の音が結合する場合がありえるので同様に結合した音節単位の判定としてもよい。

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
＜請求項１＞
第１タイミングで発声すべき歌詞に含まれる第１文字を示すデータと、前記第１タイミングの次の第２タイミングで発声すべき前記歌詞に含まれる第２文字を示すデータと、を含む歌詞データに応じた伴奏データを再生している際に、前記第１タイミングに合わせた発声の有無を検出する発声検出処理と、
前記発声検出処理により前記第１タイミングに合わせた発声を検出した場合に、前記第１タイミングから前記第２タイミングの前まで前記伴奏データの再生を進行させる伴奏進行処理と、
前記発声検出処理により前記第１タイミングに合わせた発声を検出しない場合に、前記伴奏データの再生を停止させる伴奏停止処理と、
を実行する歌唱練習装置。
＜請求項２＞
前記伴奏進行処理は、
前記検出された発声から前記第１文字と合っていると判断された場合に、前記第１タイミングから前記第２タイミングの前まで前記伴奏データの再生を進行させる請求項１に記載の歌唱練習装置。
＜請求項３＞
前記検出された発声から前記第１文字と合っていると判断されなかった場合に、前記第１文字に応じた歌声を発声する歌声発声処理、を実行する請求項１または２に記載の歌唱練習装置。
＜請求項４＞
第１タイミングで発声すべき第１音高を示すデータと、前記第１タイミングの次の第２タイミングで発声すべき第２音高を示すデータと、を含む主旋律データに応じた伴奏データを再生している際に、前記第１タイミングに合わせた発声の有無を検出する発声検出処理と、
前記発声検出処理により前記第１タイミングに合わせた発声を検出した場合に、前記第１タイミングから前記第２タイミングの前まで前記伴奏データの再生を進行させる伴奏進行処理と、
前記発声検出処理により前記第１タイミングに合わせた発声を検出しない場合に、前記伴奏データの再生を停止させる伴奏停止処理と、
を実行する歌唱練習装置。
＜請求項５＞
前記伴奏進行処理は、
前記検出された発声から前記第１音高と合っていると判断された場合に、前記第１タイミングから前記第２タイミングの前まで前記伴奏データの再生を進行させる請求項４に記載の歌唱練習装置。
＜請求項６＞
前記検出された発声から前記第１音高と合っていないと判断された場合に、前記第１音高に応じた歌声を発声する歌声発声処理、を実行する請求項４または５に記載の歌唱練習装置。
＜請求項７＞
前記検出された発声に応じた音高が、前記第１音高と比べて高いのか低いのかを示す情報を表示する表示処理、を実行する請求項４乃至６のいずれか１項に記載の歌唱練習装置。
＜請求項８＞
第１タイミングで発声すべき歌詞に含まれる第１文字を示すデータと、前記第１タイミングの次の第２タイミングで発声すべき前記歌詞に含まれる第２文字を示すデータと、を含む歌詞データと、前記第１タイミングで発声すべき第１音高を示すデータと、前記第２タイミングで発声すべき第２音高を示すデータと、を含む主旋律データと、に応じた伴奏データを再生している際に、前記第１タイミングに合わせた発声の有無を検出する発声検出処理と、
前記第１タイミングに合ったユーザの発声を検出しない場合に、前記伴奏データの再生を停止させる発生タイミング練習制御処理と、
を実行するとともに、
前記第１タイミングに合った前記ユーザの発声が前記第１文字と合っていないと判定した場合に前記伴奏データの再生を停止させる正解音声練習制御処理、及び、前記第１タイミングに合った前記ユーザの発声の音高が前記第１音高に合っていないと判定した場合に前前記伴奏データの再生を停止させる正解音高練習制御処理、の少なくともいずれか一方の処理を更に実行する、歌唱練習装置。
＜請求項９＞
歌唱練習装置のコンピュータに、
第１タイミングで発声すべき歌詞に含まれる第１文字を示すデータと、前記第１タイミングの次の第２タイミングで発声すべき前記歌詞に含まれる第２文字を示すデータと、を含む歌詞データに応じた伴奏データを再生している際に、前記第１タイミングに合わせた発声の有無を検出する発声検出処理と、
前記発声検出処理により前記第１タイミングに合わせた発声を検出した場合に、前記第１タイミングから前記第２タイミングの前まで前記伴奏データの再生を進行させる伴奏進行処理と、
前記発声検出処理により前記第１タイミングに合わせた発声を検出しない場合に、前記伴奏データの再生を停止させる伴奏停止処理と、
を実行させる歌唱練習方法。
＜請求項１０＞
歌唱練習装置のコンピュータに、
第１タイミングで発声すべき歌詞に含まれる第１文字を示すデータと、前記第１タイミングの次の第２タイミングで発声すべき前記歌詞に含まれる第２文字を示すデータと、を含む歌詞データに応じた伴奏データを再生している際に、前記第１タイミングに合わせた発声の有無を検出する発声検出処理と、
前記発声検出処理により前記第１タイミングに合わせた発声を検出した場合に、前記第１タイミングから前記第２タイミングの前まで前記伴奏データの再生を進行させる伴奏進行処理と、
前記発声検出処理により前記第１タイミングに合わせた発声を検出しない場合に、前記伴奏データの再生を停止させる伴奏停止処理と、
を実行させるプログラム。

１ 歌唱練習装置
１０ 筐体
１１ 電源ボタン
１２ 楽曲選択ボタン
１３ 再生ボタン
１４ 停止ボタン
１５ 表示部
１６ ガイド部
１７ マイク
１８ スピーカ
１９ 光鍵盤
４０ 発声検出部
４１ 伴奏出力部
４２ 発声タイミング練習制御部
４３ 正解歌詞練習制御部
４４ 正解音高練習制御部
４５ 正解歌詞出力部
４６ モード切替部
４７ 楽曲情報記憶部
９０ バス
１１４ 楽器音源
１１５ａ 増幅器
１１７ スイッチ
１１８ 表示装置
１１９ 歌声音源
１６０ ランプ
Ｍ１ お手本演奏モード
Ｍ２ 発声タイミング習得モード
Ｍ３ 正解発声習得モード
Ｍ４ 正解音高習得モード
Ｍ５ カラオケモード

Claims (10)

1. 第１タイミングで発声すべき歌詞に含まれる第１文字を示すデータと、前記第１タイミングの次の第２タイミングで発声すべき前記歌詞に含まれる第２文字を示すデータと、を含む歌詞データに応じた伴奏データを再生している際に、前記第１タイミングに合わせた発声の有無を検出する発声検出処理と、
   前記発声検出処理により前記第１タイミングに合わせた発声を検出した場合に、前記第１タイミングから前記第２タイミングの前まで前記伴奏データの再生を進行させる伴奏進行処理と、
   前記発声検出処理により前記第１タイミングに合わせた発声を検出しない場合に、前記伴奏データの再生を停止させる伴奏停止処理と、
   を実行する歌唱練習装置。
2. 前記伴奏進行処理は、
   前記検出された発声から前記第１文字と合っていると判断された場合に、前記第１タイミングから前記第２タイミングの前まで前記伴奏データの再生を進行させる請求項１に記載の歌唱練習装置。
3. 前記検出された発声から前記第１文字と合っていると判断されなかった場合に、前記第１文字に応じた歌声を発声する歌声発声処理、を実行する請求項１または２に記載の歌唱練習装置。
4. 第１タイミングで発声すべき第１音高を示すデータと、前記第１タイミングの次の第２タイミングで発声すべき第２音高を示すデータと、を含む主旋律データに応じた伴奏データを再生している際に、前記第１タイミングに合わせた発声の有無を検出する発声検出処理と、
   前記発声検出処理により前記第１タイミングに合わせた発声を検出した場合に、前記第１タイミングから前記第２タイミングの前まで前記伴奏データの再生を進行させる伴奏進行処理と、
   前記発声検出処理により前記第１タイミングに合わせた発声を検出しない場合に、前記伴奏データの再生を停止させる伴奏停止処理と、
   を実行する歌唱練習装置。
5. 前記伴奏進行処理は、
   前記検出された発声から前記第１音高と合っていると判断された場合に、前記第１タイミングから前記第２タイミングの前まで前記伴奏データの再生を進行させる請求項４に記載の歌唱練習装置。
6. 前記検出された発声から前記第１音高と合っていないと判断された場合に、前記第１音高に応じた歌声を発声する歌声発声処理、を実行する請求項４または５に記載の歌唱練習装置。
7. 前記検出された発声に応じた音高が、前記第１音高と比べて高いのか低いのかを示す情報を表示する表示処理、を実行する請求項４乃至６のいずれか１項に記載の歌唱練習装置。
8. 第１タイミングで発声すべき歌詞に含まれる第１文字を示すデータと、前記第１タイミングの次の第２タイミングで発声すべき前記歌詞に含まれる第２文字を示すデータと、を含む歌詞データと、前記第１タイミングで発声すべき第１音高を示すデータと、前記第２タイミングで発声すべき第２音高を示すデータと、を含む主旋律データと、に応じた伴奏データを再生している際に、前記第１タイミングに合わせた発声の有無を検出する発声検出処理と、
   前記第１タイミングに合ったユーザの発声を検出しない場合に、前記伴奏データの再生を停止させる発生タイミング練習制御処理と、
   を実行するとともに、
   前記第１タイミングに合った前記ユーザの発声が前記第１文字と合っていないと判定した場合に前記伴奏データの再生を停止させる正解音声練習制御処理、及び、前記第１タイミングに合った前記ユーザの発声の音高が前記第１音高に合っていないと判定した場合に前前記伴奏データの再生を停止させる正解音高練習制御処理、の少なくともいずれか一方の処理を更に実行する、歌唱練習装置。
9. 歌唱練習装置のコンピュータに、
   第１タイミングで発声すべき歌詞に含まれる第１文字を示すデータと、前記第１タイミングの次の第２タイミングで発声すべき前記歌詞に含まれる第２文字を示すデータと、を含む歌詞データに応じた伴奏データを再生している際に、前記第１タイミングに合わせた発声の有無を検出する発声検出処理と、
   前記発声検出処理により前記第１タイミングに合わせた発声を検出した場合に、前記第１タイミングから前記第２タイミングの前まで前記伴奏データの再生を進行させる伴奏進行処理と、
   前記発声検出処理により前記第１タイミングに合わせた発声を検出しない場合に、前記伴奏データの再生を停止させる伴奏停止処理と、
   を実行させる歌唱練習方法。
10. 歌唱練習装置のコンピュータに、
    第１タイミングで発声すべき歌詞に含まれる第１文字を示すデータと、前記第１タイミングの次の第２タイミングで発声すべき前記歌詞に含まれる第２文字を示すデータと、を含む歌詞データに応じた伴奏データを再生している際に、前記第１タイミングに合わせた発声の有無を検出する発声検出処理と、
    前記発声検出処理により前記第１タイミングに合わせた発声を検出した場合に、前記第１タイミングから前記第２タイミングの前まで前記伴奏データの再生を進行させる伴奏進行処理と、
    前記発声検出処理により前記第１タイミングに合わせた発声を検出しない場合に、前記伴奏データの再生を停止させる伴奏停止処理と、
    を実行させるプログラム。