JP2016156990A - 音声合成装置、及びプログラム - Google Patents

Abstract

【課題】模範ボーカルによる歌唱の補助の有効性を向上させること。【解決手段】音声合成装置（カラオケ装置）は、対象楽曲の演奏中に入力された音声である音声データを取得し（Ｓ１６０）、対象楽曲における歌詞を正確に歌唱した音声である模範ボーカルを取得する（Ｓ１４０）。そして、音声データと模範ボーカルとに基づいて、音声データにおいて歌詞を間違えた歌詞間違いを判定する（Ｓ１７０，Ｓ１８０）。さらに、歌詞間違いが存在すると判定した場合、当該歌詞間違いが存在する間違区間に類似する楽曲の区間である修正対象区間を特定する（Ｓ１９０，Ｓ２００）。その特定した修正対象区間を正確に歌唱した模範ボーカルである特定模範ボーカルを強調する強調制御を実行し（Ｓ２１０）、その強調制御を実行した特定模範ボーカルを音声合成にて生成して出力する（Ｓ２６０）。【選択図】図２

Description

本発明は、合成音を出力する音声合成装置、及びプログラムに関する。

従来、楽曲の演奏に合わせて、その楽曲の主旋律に割り当てられた歌詞を正確に歌唱した模範ボーカルを音声合成によって生成して出力するカラオケ装置が知られている（特許文献１参照）。

特開２００１−４２８７９号公報

このようなカラオケ装置においては、模範ボーカルに従って利用者が歌唱することができる。
しかしながら、通常、模範ボーカルが出力されてから、その模範ボーカルを利用者が認識するまでには、タイムラグが生じる。このため、利用者は、模範ボーカルを認識してから発声すると、歌唱が遅れてしまう。

つまり、従来の技術では、模範ボーカルによる歌唱の補助の有効性が低い可能性があった。
そこで、本発明は、模範ボーカルによる歌唱の補助の有効性を更に向上させることを目的とする。

上記目的を達成するためになされた本発明の１つの態様は、音声取得手段と、模範取得手段と、間違判定手段と、区間特定手段と、強調手段と、第１出力手段とを備える音声合成装置である。

音声取得手段は、対象楽曲の演奏中に入力された音声である音声データを取得する。ここで言う対象楽曲は、複数の音符のうちの少なくとも一部に歌詞が割り当てられた楽曲であり、かつ、指定された楽曲である。

模範取得手段は、対象楽曲における歌詞を正確に歌唱した音声である模範ボーカルを取得する。そして、間違判定手段は、音声取得手段で取得した音声データと、模範取得手段で取得した模範ボーカルとに基づいて、音声データにおいて歌詞を間違えた歌詞間違いを判定する。その歌詞間違いが存在すると判定した場合、区間特定手段が、当該歌詞間違いが存在する間違区間に類似する楽曲の区間である修正対象区間を特定する。

さらに、強調手段は、区間特定手段で特定した修正対象区間を正確に歌唱した模範ボーカルである特定模範ボーカルを強調する強調制御を実行する。そして、第１出力手段は、強調手段で強調制御が実行された特定模範ボーカルを音声合成にて生成して出力する。

このような音声合成装置によれば、楽曲における歌詞の認知度合いを歌詞間違いから判定し、歌詞の認知度合いが低い場合に、特定模範ボーカルを強調して出力できる。
換言すれば、音声合成装置によれば、楽曲における歌詞の認知度合いによって、模範ボーカルの出力の態様を制御できる。この結果、音声合成装置によれば、模範ボーカルによる歌唱の補助の有効性を向上させることができる。

また、強調手段は、特定模範ボーカルの出力タイミングを、予め規定された初期タイミングよりも早くすることを強調制御として実行してもよい。
このような音声合成装置によれば、歌詞を間違える利用者に対して、特定模範ボーカルを早めに出力することができる。これにより、音声合成装置によれば、その利用者に、次に歌唱すべき歌詞の内容を早めに認識させることができる。

さらに、強調手段は、特定模範ボーカルの音の強さを増加させることを、強調制御として実行してもよい。
このような音声合成装置によれば、歌詞を間違える利用者に対して、特定模範ボーカルの音の強さを増加して出力することができる。これにより、音声合成装置によれば、次に歌唱すべき歌詞の内容を、聴き取りやすくすることができ、その歌詞の内容を、より正確に利用者に認識させることができる。

また、本発明の１つの態様としての音声合成装置は、演奏制御手段と、第２出力手段とを備えていてもよい。
この場合、演奏制御手段は、特定模範ボーカルが聴き取りやすくなるように、区間特定手段で特定した修正対象区間の対象楽曲の演奏音を制御する演奏制御を実行する。さらに、第２出力手段は、演奏制御手段で演奏制御が実行された演奏音を出力する。

このような音声合成装置によれば、特定模範ボーカルが聴き取りやすくなるように、修正対象区間の演奏音を出力できる。これにより、音声合成装置によれば、次に歌唱すべき歌詞の内容を、より正確に利用者に認識させることができる。

ところで、演奏音には、主旋律以外の旋律を演奏する伴奏演奏音が含まれていてもよい。この場合、演奏制御手段は、伴奏演奏音の音の強さを抑制することを、演奏制御として実行してもよい。

このような音声合成装置によれば、修正対象区間における伴奏演奏音の音の強さを抑制して出力することができる。この結果、音声合成装置によれば、利用者にとって、特定模範ボーカルをより聴き取りやすいものとすることができる。

さらに、区間特定手段では、楽曲において、間違区間における主旋律との類似度合いが、規定された閾値以上である主旋律を有する区間を修正対象区間として特定してもよい。
このような音声合成装置によれば、主旋律が類似する区間を修正対象区間として特定できる。

ところで、本発明は、プログラムとしてなされていてもよい。
この場合のプログラムは、音声取得手順と、模範取得手順と、間違判定手順と、区間特定手順と、強調手順と、第１出力手順とをコンピュータに実行させる。

音声取得手順では、対象楽曲の演奏中に入力された音声である音声データを取得する。模範取得手順では、対象楽曲における歌詞を正確に歌唱した音声である模範ボーカルを取得する。

間違判定手順では、音声取得手順で取得した音声データと、模範取得手順で取得した模範ボーカルとに基づいて、音声データにおいて歌詞を間違えた歌詞間違いを判定する。さ
らに、区間特定手順では、間違判定手順で歌詞間違いが存在すると判定した場合、修正対象区間を特定する。

強調手順では、修正対象区間を正確に歌唱した模範ボーカルである特定模範ボーカルを強調する強調制御を実行する。そして、第１出力手順では、強調手順で強調制御が実行された特定模範ボーカルを音声合成にて生成して出力する。

このように、本発明がプログラムとしてなされていれば、記録媒体から必要に応じてコンピュータにロードさせて起動することや、必要に応じて通信回線を介してコンピュータに取得させて起動することにより用いることができる。そして、コンピュータに各手順を実行させることで、そのコンピュータを音声合成装置として機能させることができる。

なお、ここで言う記録媒体には、例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な電子媒体を含む。

音声合成システムの概略構成を示すブロック図である。 再生処理の処理手順を示すフローチャートである。 間違区間を例示する図である。 強調制御を例示する図である。

以下に本発明の実施形態を図面と共に説明する。
＜音声合成システム＞
図１に示す音声合成システム１は、ユーザが指定した楽曲（以下、対象楽曲と称す）の模範ボーカルを音声合成にて生成して出力するシステムである。ここで言う模範ボーカルとは、対象楽曲における歌詞を当該歌詞が割り当てられた音符の音高及び音符長で正確に歌唱した音声である。

音声合成システム１は、情報処理サーバ１０と、カラオケ装置３０とを備えている。
情報処理サーバ１０には、少なくとも、ＭＩＤＩ楽曲ＭＤが格納されている。
カラオケ装置３０は、情報処理サーバ１０に記憶され、かつ対象楽曲に対応するＭＩＤＩ楽曲ＭＤを演奏すると共に、その楽曲を歌唱した合成音声を音源データＰＤに従って生成し、模範ボーカルとして出力する。なお、音声合成システム１は、複数のカラオケ装置３０を備えている。
＜ＭＩＤＩ楽曲＞
ＭＩＤＩ楽曲ＭＤは、楽曲ごとに予め用意されたものであり、楽曲データと、歌詞データと、楽曲情報とを有している。

このうち、楽曲データは、周知のＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）規格によって、一つの楽曲の楽譜を表したデータである。この楽曲データは、楽譜を表す楽譜トラックを少なくとも有している。その楽譜トラックには、少なくとも、楽曲の主旋律を表す主旋律楽譜トラックと、主旋律以外の旋律である副旋律を表す副旋律楽譜トラックとを含む。

これらの楽譜トラックには、ＭＩＤＩ音源から出力される個々の演奏音について、少なくとも、音高（いわゆるノートナンバー）と、ＭＩＤＩ音源が演奏音を出力する期間（以下、音符長と称す）とが規定されている。楽譜トラックにおける音符長は、当該演奏音のノートオンタイミングと、当該演奏音のノートオフタイミングとによって規定されている。

一方、歌詞データは、楽曲の歌詞に関するデータであり、歌詞テキストデータと、歌詞出力データとを備えている。歌詞テキストデータは、楽曲の歌詞を構成する文字（以下、歌詞構成文字とする）を表す。歌詞出力データは、歌詞構成文字の出力タイミングである歌詞出力タイミングを、楽曲データの演奏と対応付けるタイミング対応関係が規定されたデータである。このタイミング対応関係においては、楽曲の主旋律を構成する演奏音（即ち、音符）のうち、少なくとも一部の音符に歌詞構成文字を割り当てることが規定されている。ここで言う「少なくとも一部の音符」とは、前奏や間奏を除くという意味を含むものである。したがって、歌詞構成文字は、例えば、Ａメロや、Ｂメロ、サビなどのフレーズごとに、当該フレーズを構成する演奏音に割り当てられている。

楽曲情報は、楽曲に関する情報（例えば、楽曲名、アーティスト名など）であり、楽曲を識別する識別情報（即ち、楽曲ＩＤ）を含む。
＜情報処理サーバ＞
情報処理サーバ１０は、通信部１２と、記憶部１４と、制御部１６とを備えている。

このうち、通信部１２は、通信網を介して、情報処理サーバ１０が外部との間で通信を行う。すなわち、情報処理サーバ１０は、通信網を介してカラオケ装置３０と接続されている。なお、ここで言う通信網は、有線による通信網であっても良いし、無線による通信網であっても良い。

記憶部１４は、記憶内容を読み書き可能に構成された周知の記憶装置である。この記憶部１４には、複数のＭＩＤＩ楽曲ＭＤが記憶される。なお、図１に示す符号「ｎ」は、情報処理サーバ１０の記憶部１４に記憶されているＭＩＤＩ楽曲ＭＤを識別する識別子であり、楽曲ごとに割り当てられている。この符号「ｎ」は、１以上の自然数である。

制御部１６は、ＲＯＭ１８，ＲＡＭ２０，ＣＰＵ２２を備えた周知のマイクロコンピュータを中心に構成された周知の制御装置である。ＲＯＭ１８は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを記憶する。ＲＡＭ２０は、処理プログラムやデータを一時的に記憶する。ＣＰＵ２２は、ＲＯＭ１８やＲＡＭ２０に記憶された処理プログラムに従って各処理を実行する。
＜カラオケ装置＞
カラオケ装置３０は、通信部３２と、入力受付部３４と、楽曲再生部３６と、記憶部３８と、音声制御部４０と、映像制御部４６と、制御部５０とを備えている。

通信部３２は、通信網を介して、カラオケ装置３０が外部との間で通信を行う。入力受付部３４は、外部からの操作に従って情報や指令の入力を受け付ける入力機器である。ここでの入力機器とは、例えば、キーやスイッチ、リモコンの受付部などである。

楽曲再生部３６は、情報処理サーバ１０からダウンロードしたＭＩＤＩ楽曲ＭＤに基づく楽曲の演奏を実行する。この楽曲再生部３６は、例えば、ＭＩＤＩ音源である。音声制御部４０は、音声の入出力を制御するデバイスであり、出力部４２と、マイク入力部４４とを備えている。

マイク入力部４４には、マイク６２が接続される。これにより、マイク入力部４４は、マイク６２を介して入力された音声を取得する。出力部４２は、楽曲再生部３６によって再生される楽曲の音源信号、マイク入力部４４からの歌唱音の音源信号をスピーカ６０に出力する。スピーカ６０は、出力部４２から出力される音源信号を音に換えて出力する。

映像制御部４６は、制御部５０から送られてくる映像データに基づく映像または画像の
出力を行う。映像制御部４６には、映像または画像を表示する表示部６４が接続されている。

記憶部３８は、記憶内容を読み書き可能に構成された周知の記憶装置である。この記憶部３８には、音源データＰＤが格納される。この音源データＰＤは、合成音声の生成（即ち、音声合成）に必要となるデータである。本実施形態における音源データＰＤは、音声素片であってもよいし、フォルマント合成に用いる各種パラメータであってもよい。

制御部５０は、ＲＯＭ５２，ＲＡＭ５４，ＣＰＵ５６を少なくとも有した周知のコンピュータを中心に構成されている。ＲＯＭ５２は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを記憶する。ＲＡＭ５４は、処理プログラムやデータを一時的に記憶する。ＣＰＵ５６は、ＲＯＭ５２やＲＡＭ５４に記憶された処理プログラムに従って各処理を実行する。

本実施形態のＲＯＭ５２には、再生処理を制御部５０が実行するための処理プログラムが記憶されている。
＜再生処理＞
次に、制御部５０が実行する再生処理について説明する。

この再生処理は、対象楽曲の再生順序となると起動される。
そして、再生処理が起動されると、図２に示すように、制御部５０は、まず、対象楽曲の識別番号（楽曲ＩＤ）を取得する（Ｓ１１０）。続いて、制御部５０は、Ｓ１１０で取得した楽曲ＩＤを含むＭＩＤＩ楽曲ＭＤを情報処理サーバ１０から取得する（Ｓ１２０）。さらに、制御部５０は、Ｓ１２０で取得したＭＩＤＩ楽曲ＭＤに含まれる楽曲データに基づいて、対象楽曲の再生を実行する（Ｓ１３０）。

続いて、再生処理では、制御部５０は、音声合成によって基礎模範ボーカルを生成して取得する（Ｓ１４０）。ここで言う基礎模範ボーカルとは、ＭＩＤＩ楽曲ＭＤに含まれる歌詞データであって、再生中のフレーズ（以下、「対象フレーズ」と称す）を表す歌詞データを、主旋律に沿って正確に歌唱した場合の波形データである。

さらに、制御部５０は、Ｓ１４０で取得した基礎模範ボーカルを音響分析する（Ｓ１５０）。このＳ１５０における音響分析では、制御部５０は、まず、予め規定された単位時間の分析窓を、互いに隣接かつ少なくとも一部が重複するように基礎模範ボーカルに対して設定する。そして、音響分析では、制御部５０は、基礎模範ボーカルの分析窓それぞれについて、周波数解析（例えば、ＤＦＴ）を実施する。さらに、音響分析では、制御部５０は、周波数解析の結果（周波数スペクトル）に対してケプストラム分析を実行することで、各分析窓のメル周波数ケプストラム（ＭＦＣＣ）を算出する。

さらに、再生処理では、制御部５０は、対象フレーズの演奏中にマイク６２を介して入力された音声を音声データとして取得する（Ｓ１６０）。そして、制御部５０は、Ｓ１６０で取得した音声データを音響分析する（Ｓ１７０）。このＳ１７０における音響分析は、「基礎模範ボーカル」を「音声データ」へと読み替えることを除けば、Ｓ１５０の音響分析と同様の内容であるため、ここでの説明は省略する。

そして、再生処理では、制御部５０は、Ｓ１６０にて取得した音声データと、Ｓ１４０で取得した基礎模範ボーカルとに基づいて、音声データにおいて歌詞を間違えた歌詞間違いを分析する（Ｓ１８０）。ここで言う「歌詞間違い」とは、図３に示すように、主旋律を構成する音符に割り当てられた歌詞構成文字に対して、音声データの発声内容が異なる状態を表す。

具体的に、本実施形態のＳ１８０では、制御部５０は、Ｓ１５０にて算出した基礎模範ボーカルのＭＦＣＣと、Ｓ１７０にて算出した音声データのＭＦＣＣとの相関値を、対象フレーズに含まれる歌詞構成文字（音符）ごとに算出する。そして、制御部５０は、対象フレーズにおける相関値の代表値が、予め規定された規定閾値未満であれば、歌詞間違いが存在するものと判定する。なお、ここで言う代表値は、相加平均の結果であってもよいし、中央値であってもよいし、その他の指標であってもよい。

さらに、再生処理では、制御部５０は、Ｓ１８０での分析の結果、対象フレーズにおいて歌詞間違いがなければ（Ｓ１９０：ＮＯ）、詳しくは後述するＳ２３０へと再生処理を移行させる。一方、制御部５０は、Ｓ１８０での分析の結果、対象フレーズにおいて歌詞間違いが存在していれば（Ｓ１９０：ＹＥＳ）、修正対象区間を推定する（Ｓ２００）。

そのＳ２００では、制御部５０は、歌詞間違いが存在する対象フレーズ（即ち、間違い区間）に類似する対象楽曲の区間である修正対象区間を特定する。具体的には、Ｓ２００では、制御部５０は、対象楽曲における各フレーズの中から、相対時間差、相対音高差、歌詞母音系列の類似度に基づいて修正対象区間を特定する。

ここで言う「相対時間差」とは、主旋律を構成し、かつ、歌詞構成文字が割り当てられた音符の中で、対象楽曲における時間進行に沿って隣接する音符間の音符開始時刻の差分である。また、ここで言う「相対音高差」とは、主旋律を構成し、かつ、歌詞構成文字が割り当てられ音符の中で、対象楽曲における時間進行に沿って隣接する音符間の音高差である。さらに、ここで言う「歌詞母音系列」とは、対象楽曲における時間進行に沿った歌詞の母音の並びである。

そして、Ｓ２００では、相対時間差、相対音高差、歌詞母音系列の類似度（即ち、相関値）の積が、規定された閾値以上となる対象楽曲のフレーズそれぞれを修正対象区間として特定する。すなわち、本実施形態においては、制御部５０は、間違区間における主旋律との類似度合い、及び歌詞における母音の並びの類似度合いが、規定された閾値以上である主旋律を有する区間を修正対象区間として特定する。

さらに、再生処理では、制御部５０は、Ｓ２００で特定した修正対象区間における模範ボーカル（以下、「特定模範ボーカル」と称す）が強調して出力されるように設定する強調制御を実行する（Ｓ２１０）。このＳ２１０の強調制御では、制御部５０は、特定模範ボーカルの出力タイミングを、予め規定された初期タイミングよりも早くするように設定する。さらに、Ｓ２１０の強調制御では、制御部５０は、特定模範ボーカルの音の強さを増加させるように設定する。ここで言う「音の強さ」には、音量を含む。

続いて、再生処理では、制御部５０は、Ｓ２００で特定した修正対象区間における伴奏演奏音の強さが抑制されるように設定する演奏制御を実行する（Ｓ２２０）。なお、ここで言う「伴奏演奏音」とは、対象楽曲において副旋律を演奏する伴奏音（演奏音）であり、副旋律楽譜トラックによって表される演奏音である。

さらに、再生処理では、制御部５０は、対象フレーズの次に再生すべきフレーズ（以下、「次フレーズ」と称す）が、修正対象区間であるか否かを判定する（Ｓ２３０）。このＳ２３０での判定の結果、次フレーズが修正対象区間でなければ（Ｓ２３０：ＮＯ）、制御部５０は、再生処理をＳ２４０へと移行させる。

そのＳ２４０では、制御部５０は、Ｓ１２０で取得したＭＩＤＩ楽曲ＭＤに基づいて、次フレーズでの模範ボーカルを、音声合成によって生成して出力する（Ｓ２４０）。なお
、Ｓ２４０での音声合成は、記憶部３８に記憶されている音源データＰＤに基づく周知の手法を用いて実現すればよい。

さらに、制御部５０は、Ｓ１２０で取得したＭＩＤＩ楽曲ＭＤに基づいて、次フレーズでの伴奏演奏音、及び主旋律を構成する演奏音を演奏して出力する（Ｓ２５０）。
これらＳ２４０及びＳ２５０によって、伴奏演奏音、主旋律を構成する演奏音、及び模範ボーカルを取得した音声制御部４０は、これらの伴奏演奏音、主旋律を構成する演奏音、及び模範ボーカルを、スピーカ６０から放音する。

その後、制御部５０は、詳しくは後述するＳ２８０へと再生処理を移行させる。
ところで、Ｓ２３０での判定の結果、次フレーズが修正対象区間であれば（Ｓ２３０：ＹＥＳ）、制御部５０は、再生処理をＳ１６０へと移行させる。

そのＳ２６０では、制御部５０は、Ｓ２１０にて強調制御を実行した特定模範ボーカルを、音声合成にて生成して出力する（Ｓ２６０）。このＳ２６０での音声合成は、記憶部３８に記憶されている音源データＰＤに基づく周知の手法を用いて実現すればよい。音声合成の手法の例として、素片接続や、フォルマント合成が考えられる。

この制御部５０からの特定模範ボーカルを受信した音声制御部４０は、図４に示すように、その特定模範ボーカルを、音量の初期設定値よりも大きな音量、かつ、初期タイミングよりも早いタイミングで、スピーカ６０から放音する。

さらに、制御部５０は、Ｓ２２０にて演奏制御を実行した伴奏演奏音を出力する（Ｓ２７０）。このＳ２７０により、制御部５０からの伴奏演奏音を受信した音声制御部４０は、その伴奏演奏音を、音量の初期設定よりも小さな音量で、スピーカ６０から放音する。

制御部５０は、その後、再生処理をＳ２８０へと移行させる。
そのＳ２８０では、制御部５０は、対象楽曲の演奏を終了するか否かを判定する。なお、Ｓ２８０において、制御部５０は、対象楽曲を構成する最後の音符まで演奏が終了した場合や、入力受付部３４を介して演奏終了指令の入力を受け付けた場合に、対象楽曲の演奏を終了するものと判定する。

このＳ２８０での判定の結果、対象楽曲の演奏を終了しない場合（Ｓ２８０：ＮＯ）、制御部５０は、再生処理をＳ１４０へと戻す。一方、Ｓ２８０での判定の結果、対象楽曲の演奏を終了する場合（Ｓ２８０：ＹＥＳ）、制御部５０は、再生処理を終了する。

つまり、本実施形態の再生処理では、対象楽曲に対する利用者の歌詞の認知度合いを、歌詞間違いから判定する。そして、歌詞間違いが発生すると、その歌詞間違いが発生したフレーズに類似する構造を有するフレーズを修正対象区間として特定する。この修正対象区間は、歌詞間違いが発生した間違区間と同様の間違いを利用者がしてしまう可能性が高いフレーズ（区間）である。

さらに、再生処理では、その修正対象区間における特定模範ボーカルを、音声合成によって生成して、初期設定よりも大きな音量、かつ、初期タイミングよりも早いタイミングで、スピーカ６０から放音する。さらに、再生処理では、制御部５０は、その修正対象区間における伴奏演奏音を、初期設定よりも小さな音量でスピーカ６０から放音する。

換言すると、再生処理を実行することで、カラオケ装置３０を、特許請求の範囲に記載された音声合成装置として機能させることができる。
［実施形態の効果］
このような再生処理によれば、対象楽曲における利用者の歌詞の認知度合いを歌詞間違いから判定し、歌詞の認知度合いが低い場合に、特定模範ボーカルを強調して出力できる。

特に、再生処理では、対象楽曲において歌詞を間違える利用者に対して、特定模範ボーカルを早めに出力している。これにより、カラオケ装置３０によれば、修正対象区間にて歌唱すべき歌詞の内容を、その利用者に早めに認識させることができる。この結果、利用者の歌唱の遅れを低減できる。

さらに、再生処理では、歌詞を間違える利用者に対して、特定模範ボーカルの音の強さを増加して出力している。これにより、カラオケ装置３０によれば、修正対象区間にて歌唱すべき歌詞の内容を聴き取りやすくすることができ、その歌詞の内容を、より正確に利用者に認識させることができる。

また、再生処理では、特定模範ボーカルが聴き取りやすくなるように、修正対象区間における伴奏演奏音の音量を抑制している。これにより、カラオケ装置３０によれば、利用者にとって、特定模範ボーカルをより聴き取りやすいものとすることができる。

したがって、再生処理においては、歌詞の認知度合いに応じて特定模範ボーカルを制御することで、利用者自身が良く知らない曲に対しては、特定模範ボーカルによる有効な歌唱の補助を実現できる。また、利用者自身がよく知っている曲に対しては、特定模範ボーカルが歌唱の邪魔にならないようにすることができる。

換言すれば、カラオケ装置３０によれば、対象楽曲における利用者の歌詞の認知度合いによって、模範ボーカルの出力の態様を制御できる。この結果、カラオケ装置３０によれば、模範ボーカルによる歌唱の補助の有効性を向上させることができる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

例えば、上記実施形態において、再生処理を実行する主体は、カラオケ装置３０であったが、再生処理の実行主体は、これに限るものではなく、パーソナルコンピュータやスマートホンなどの情報処理装置であってもよい。

また、上記実施形態においては、音源データＰＤは、カラオケ装置３０の記憶部３８に格納されていたが、音源データＰＤは、カラオケ装置３０の記憶部３８に格納されていなくともよく、情報処理サーバ１０に格納されていてもよい。

さらに、上記実施形態の再生処理では、修正対象区間を、対象楽曲中から特定していたが、修正区間を特定する対象は、対象楽曲に限るものではない。すなわち、本発明においては、対象楽曲以外の楽曲から、修正対象区間を特定してもよい。この場合、その修正対象区間を含む楽曲が再生された場合に、特定模範ボーカルを強調して、当該修正対象区間での伴奏演奏音を抑制して出力すればよい。

また、本発明は、前述したカラオケ装置（音声合成装置）の他、当該カラオケ装置としてコンピュータを機能させるためのプログラム、当該プログラムが記録された記録媒体など、種々の形態で実現することができる。

なお、上記実施形態の構成の一部を省略した態様も本発明の実施形態である。また、上
記実施形態と変形例とを適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言によって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。
［実施形態と特許請求の範囲との対応関係］
最後に、上記実施形態の記載と、特許請求の範囲の記載との関係を説明する。

上記実施形態における再生処理のＳ１６０を実行することで得られる機能が、特許請求の範囲に記載された音声取得手段の一例であり、Ｓ１４０を実行することで得られる機能が、特許請求の範囲に記載された模範取得手段の一例である。また、再生処理のＳ１７０，及びＳ１８０を実行することで得られる機能が、特許請求の範囲に記載された間違判定手段の一例であり、Ｓ１９０，及びＳ２００を実行することで得られる機能が、特許請求の範囲に記載された区間特定手段の一例である。

さらに、再生処理のＳ２１０を実行することで得られる機能が、特許請求の範囲に記載された強調手段の一例であり、Ｓ２６０を実行することで得られる機能が、特許請求の範囲に記載された第１出力手段の一例である。また、再生処理のＳ２２０を実行することで得られる機能が、特許請求の範囲に記載された演奏制御手段の一例であり、Ｓ２７０を実行することで得られる機能が、特許請求の範囲に記載された第２出力手段の一例である。

１…音声合成システム １０…情報処理サーバ １２…通信部 １４…記憶部 １６…制御部 １８，５２…ＲＯＭ ２０，５４…ＲＡＭ ２２，５６…ＣＰＵ ３０…カラオケ装置 ３２…通信部 ３４…入力受付部 ３６…楽曲再生部 ３８…記憶部 ４０…音声制御部 ４２…出力部 ４４…マイク入力部 ４６…映像制御部 ５０…制御部 ６０…スピーカ ６２…マイク ６４…表示部

Claims (7)

1. 複数の音符のうちの少なくとも一部に歌詞が割り当てられた楽曲であり、かつ、指定された楽曲である対象楽曲の演奏中に入力された音声である音声データを取得する音声取得手段と、
   前記対象楽曲における歌詞を正確に歌唱した音声である模範ボーカルを取得する模範取得手段と、
   前記音声取得手段で取得した音声データと、前記模範取得手段で取得した模範ボーカルとに基づいて、前記音声データにおいて歌詞を間違えた歌詞間違いを判定する間違判定手段と、
   前記間違判定手段で歌詞間違いが存在すると判定した場合、当該歌詞間違いが存在する間違区間に類似する前記楽曲の区間である修正対象区間を特定する区間特定手段と、
   前記区間特定手段で特定した修正対象区間を正確に歌唱した前記模範ボーカルである特定模範ボーカルを強調する強調制御を実行する強調手段と、
   前記強調手段で強調制御が実行された特定模範ボーカルを音声合成にて生成して出力する第１出力手段と
   を備えることを特徴とする音声合成装置。
2. 前記強調手段は、
   前記特定模範ボーカルの出力タイミングを、予め規定された初期タイミングよりも早くすることを、前記強調制御として実行する
   ことを特徴とする請求項１に記載の音声合成装置。
3. 前記強調手段は、
   前記特定模範ボーカルの音の強さを増加させることを、前記強調制御として実行する
   ことを特徴とする請求項１または請求項２に記載の音声合成装置。
4. 前記特定模範ボーカルが聴き取りやすくなるように、前記区間特定手段で特定した修正対象区間の対象楽曲の演奏音を制御する演奏制御を実行する演奏制御手段と、
   前記演奏制御手段で演奏制御が実行された演奏音を出力する第２出力手段と
   を備えることを特徴とする請求項１から請求項３までのいずれか一項に記載の音声合成装置。
5. 前記演奏音には、主旋律以外の旋律を演奏する伴奏演奏音が含まれ、
   前記演奏制御手段は、
   前記伴奏演奏音の音の強さを抑制することを、前記演奏制御として実行する
   ことを特徴とする請求項４に記載の音声合成装置。
6. 前記区間特定手段は、
   前記楽曲において、前記間違区間における主旋律との類似度合いが、規定された閾値以上である主旋律を有する区間を前記修正対象区間として特定する
   ことを特徴とする請求項１から請求項５までのいずれか一項に記載の音声合成装置。
7. 複数の音符のうちの少なくとも一部に歌詞が割り当てられた楽曲であり、かつ、指定された楽曲である対象楽曲の演奏中に入力された音声である音声データを取得する音声取得手順と、
   前記対象楽曲における歌詞を正確に歌唱した音声である模範ボーカルを取得する模範取得手順と、
   前記音声取得手順で取得した音声データと、前記模範取得手順で取得した模範ボーカルとに基づいて、前記音声データにおいて歌詞を間違えた歌詞間違いを判定する間違判定手
   順と、
   前記間違判定手順で歌詞間違いが存在すると判定した場合、当該歌詞間違いが存在する間違区間に類似する前記楽曲の区間である修正対象区間を特定する区間特定手順と、
   前記区間特定手順で特定した修正対象区間を正確に歌唱した前記模範ボーカルである特定模範ボーカルを強調する強調制御を実行する強調手順と、
   前記強調手順で強調制御が実行された特定模範ボーカルを音声合成にて生成して出力する第１出力手順とを
   コンピュータに実行させることを特徴とするプログラム。