JP2007114492A - 虫食い歌詞テロップによる歌唱力採点ゲーム機能付きカラオケ装置 - Google Patents

Abstract

【課題】ＴＶモニタに表示される歌詞テロップの一部を隠しておき、一曲または特定の演奏範囲において、唄い手が唄った歌詞が正確に発音されたか否かを判断して評価採点することにより、ゲーム的な機能も楽しむことができるカラオケ装置を提供する。
【解決手段】 ＴＶモニタ１２に歌詞テロップ２２が表示され、唄うべき字句部分が色変化する。歌詞テロップの一部に絵２２ａ，２２ｂが重ねられ文字が表示されていない。唄い手が楽曲に従って唄うと、その音声は認識される。歌詞テロップと認識された字句とが比較され、正確に発音されているか判断され評価される。評価された内容は採点処理が行われＴＶモニタ１２に得点や絵などによって結果が表示される。
【選択図】 図１

Description

本発明は、ＴＶモニタに歌詞の一部を隠したテロップを表示し、隠した部分を含めた歌詞テロップを唄い手が正確に発音できたか否かを評価するゲーム的機能を備えたカラオケ装置に関する。

従来のカラオケ装置に付設されている採点機能は主に、音程，リズム，音量などを評価の対象とするものである。したがって従来技術による採点では、歌詞の間違いや、クリアでない発音で歌っても、音程さえよければ高得点となり、高得点をとれる歌唱力は、人が聞いて上手と感じるような歌唱力とは異なっていた。また、曲の途中や最後に得点や棒グラフ等で表示されるもので、このような採点機能は付加機能的な要素が強く、それをメインで楽しむものではなかった。

唄い手の音程，リズム，音量などを評価する機能を備えるカラオケ装置として特許文献１が開示されている。
これは、演奏曲との音程外れ，音量不足，テンポ外れの不一致が発生した個所のテロップの表示色を変えて採点結果を唄い手が知ることができるようにしたものである。
しかしながら、上述したように上記３要素について不一致などが生じなければ、高い評価を受けるものであり、聞き手が感じる評価とは全く異なる判断が行われる場合がある。
特開２００５−１７３６２８号公報

歌詞が正しく発音されたか否かも評価の対象にすることが、より正確にかつゲーム感覚機能を付加することとなる。しかしながら、このような唄い手の音声の字句を評価するカラオケ装置は存在しない。
なお、カラオケにおいて音声認識技術として、曲タイトルやメロディラインの一部を音声で入力して認識するものが存在するが、これは曲を検索するために用いられているものである。
本発明の目的は、ＴＶモニタに表示される歌詞テロップの一部を覆っておき、一曲または特定の演奏範囲において、唄い手が唄った歌詞が正確に発音されたか否かを判断して評価採点することにより、ゲーム的な採点機能も楽しむことができるカラオケ装置を提供する。

前記目的を達成するために本発明の請求項１は、唄い手の音声を入力するための音声入力手段と、前記音声入力手段から入力された音声字句を認識する音声認識手段と、楽曲を演奏する楽曲演奏手段と、各楽曲の歌詞を記憶するデータベースと、前記データベースより選択された楽曲の歌詞を読み出し、読み出した歌詞の一部を虫食い状態にして画面に表示し、楽曲の伴奏に対応して歌うべきテロップ部分の色を変化させる虫食いテロップ作成手段と、前記色変化するテロップにしたがって入力する唄い手の音声字句と、色変化させている前記データベースの歌詞部分を比較し、唄い手の音声字句の正確さを判断する入力音声字句正確度判断手段と、前記入力音声字句正確度判断手段による判断結果を一曲または特定の演奏範囲について採点する採点手段とを備えたことを特徴とする。
本発明の請求項２は、請求項１記載の発明において前記楽曲と唄い手の入力される音声のピッチ・リズムを比較し、唄い手のピッチ・リズムの正確さを判断するピッチ・リズム正確度判断手段を有し、前記虫食いテロップによる入力音声字句正確度の評価採点の他に、ピッチ・リズムの正確度の評価採点を行うことを特徴とする。
本発明の請求項３は、請求項１または２記載の発明において前記入力音声字句正確度判断手段は、唄い手が入力した音声字句の波形特性と前記データベースの対応するテロップ部分の字句の波形特性を比較し、一致と認められる範囲であるとき、１文字に対応して＋１をカウントするカウント手段を有し、前記採点手段は、前記カウント手段によるカウント値を集計し、その集計値を得点として採点するか、集計値によって「上手」「普通」「下手」などの語句を対応させて採点することを特徴とする。
本発明の請求項４は請求項１，２または３記載の発明において前記虫食いテロップ作成手段は、歌詞の一部に任意の絵または白地を重ね合わせることにより虫食い状態のテロップを表示させる手段と、前記絵の重ね合わせ部分を歌詞のいずれかの位置に１以上設定でき、かつ重ね合わせ部分の字数を任意に設定できる重ね合わせ位置設定手段を有することを特徴とする。

上記構成によれば音楽的な能力が高くない唄い手でも楽しむことができる。また、カラオケ歌唱中にメインの楽しみ方として、この機能をゲームとして楽しむことができ、見ているだけの人も楽しむことができる。さらに歌詞を覚えたかどうかの練習装置としても使用することができる。

以下、図面を参照して本発明をさらに詳しく説明する。
図１は、本発明によるカラオケ装置の概略を示す図である。
唄い手２３がマイク１４を所持して楽曲の伴奏によって歌を唄っており、その歌声はスピーカ１３より出力されている。カラオケ装置本体１５はＴＶモニタ１２に背景画像２１とともに歌詞テロップ２２を送出しており、背景画像２１および歌詞テロップ２２がＴＶモニタ１２に表示されている。歌詞テロップ２２の内、「僕の」つぎの字句は２２ａと２２ｂに示すような絵が重ねて表示されている。この絵２２ａ，２２ｂの部分が虫食いテロップ部分である。
唄い手２３は楽曲に従って上記歌詞テロップ２２を見ながら唄い、２２ａと２２ｂの部分も自らの記憶に基づく歌詞で唄うこととなる。

図２は、本発明における虫食い歌詞テロップによる歌唱力採点機能の概略を説明するための図である。
マイク１４から入力された唄い手の音声は、音声解析部１６で音素に分解されて解析され、字句認識部１７においてデータベース１８の音素・字句を参照することにより唄い手の音声字句が認識される。認識された字句は、データベースに格納されている歌詞テロップデータの対応部分と比較されて、一致しているか否か判断される。また、唄い手の音声は音声解析部１６から採点部１９にも送られており、該音声のピッチ・リズムも楽曲データと比較されて採点の対象にされる。

図３Ａは、本発明によるカラオケ装置の回路の実施の形態を示すブロック図、図３ＢはＣＰＵの機能ブロックを説明するための図である。
カラオケ装置本体１５は前面に操作部２０を有しＴＶモニタ（ＣＲＴ）１２，スピーカ１３およびマイク１４に接続されている。本体１５の内部回路は、ＣＰＵ１，ワークＲＡＭ２，ビデオＲＡＭ３，ＶＤＰ（ビデオ・ディスプレイ・プロセッサ）４，ＤＳＰ（ディジタル・シグナル・プロセッサ）５，音声用ＲＡＭ６，Ｄ／Ａコンバータ７，Ａ／Ｄコンバータ８，ＨＤＤコントローラ９，ＨＤＤ１０およびシステムバス１１より構成されている。

音声用ＲＡＭ６は音素・字句のデータを格納するものである。マイクから入力した唄い手の音声はＡ／Ｄコンバータ８でディジタル音声信号に変換される。ＤＳＰ５はディジタル音声信号を解析し、音声用ＲＡＭ６の音素・字句のデータを参照することにより唄い手の音声の字句を認識する。
ＨＤＤコントローラ９はＣＰＵ１からのコマンドに基づきＨＤＤ１０の書き込み，読み出しの制御を行う。ＨＤＤ１０には多数の楽曲データ，各楽曲対応の歌詞テロップデータおよび背景画などの映像データが格納されている。

ＣＰＵ１はＨＤＤ１０に格納されている制御プログラム（図示されていない）を読み出し、これを実行することにより電源投入後からカラオケ装置全体の制御を司る。ＣＰＵ１は、選曲された楽曲の演奏スタート操作にしたがって、ＨＤＤ１０から楽曲データを読み出してＤＳＰ５でディジタル波形信号に再生し、Ｄ／Ａを介してスピーカ１３よりメロディを出力させる。また、本発明に直接関連する機能部として虫食いテロップ作成部１ａ，入力音声字句正確度判断部１ｂ，ピッチ・リズム正確度判断部１ｃ，採点処理部１ｄおよび採点結果表示部１ｅの各機能を備えている。

虫食いテロップ作成部１ａはＨＤＤ１０より歌詞テロップデータを読み出し、読み出した歌詞の一部を虫食い状態にして画面に表示し、選択された楽曲の伴奏に対応して歌うべきテロップ部分の色を変化させる。虫食い位置には絵が重ねて表示される。なお、その字句を消去して表示してもよい。
１以上の個所を所定の範囲で設定する虫食い個所のデータは、各歌詞テロップ毎にテロップの付加データとして加えられている。このデータに基づき虫食い位置が決定され、絵が重ねて表示される。
虫食い個所は、操作部２０により虫食い位置，虫食い位置の数，虫食い位置の規模（字数）を変更することが可能である。虫食い位置，数，規模の増減によって歌詞通りに唄うことの難易度を変更することができ、採点の難易度の設定をより厳しくしたり、甘くしたりすることが可能である。

入力音声字句正確度判断部１ｂは色変化するテロップにしたがって唄う唄い手の音声字句と、色変化させているデータベースの歌詞部分を比較し、唄い手の音声字句の正確さを判断するものである。各字句について所定の範囲内で類似していると判断した場合には正確な字句で発音できたものとして１字について＋１をカウントする。
ピッチ・リズム正確度判断部１ｃは唄い手の唄う音声のピッチ・リズムとデータベースの楽曲のピッチ・リズムを比較し、唄い手のピッチ・リズムの正確さを判断するものである。判断する位置は一定の時間（フレーズ）毎であり、各フレーズにおいて唄い手の音声のピッチ・リズムのズレが所定の範囲内に納まっていると判断した場合には、そのフレーズについて＋１をカウントする。

採点処理部１ｄは入力音声字句正確度判断部１ｂのみ、または入力音声字句正確度判断部１ｂとピッチ・リズム正確度判断部１ｃによる判断結果を一曲または特定の演奏範囲についてカウントされた値を得点とし、その得点が所定値より大きいか否かによって「上手」「普通」「下手」などの採点を行うものである。
入力音声字句正確度判断部１ｂのみの評価採点、すなわち虫食い歌詞テロップによる評価採点にするか、虫食い歌詞テロップよる評価採点およびピッチ・リズムによる評価採点にするかの選択は、虫食い採点入力をする際、または曲リクエストの際に、選択画面が表示されて操作部２０によって行うことができる。また、一曲全体について評価採点するか、一曲の特定範囲のみ（例えば虫食い歌詞テロップの虫食い部分のみ）にするかも選択することができる。
採点結果表示部１ｅは、採点処理部１ｄの結果をＴＶモニタ１２に表示するようにするものである。
ワークＲＡＭ２はＣＰＵ１が四則・関数演算や論理演算などをするときに作業領域として用いられ、一時的なデータの保持も行うものである。

ＶＤＰ４は、映像表示プロセッサであり、歌詞テロップやグラフィック（ＣＧ）を表示するためのものである。ＣＰＵ１から送られるコマンドによりビデオＲＡＭ３に画像データを展開して背景画や歌詞テロップをＴＶモニタ（ＣＲＴ）１２に送出する。ＴＶモニタ１２上には図１に示すように色変化していくテロップと背景画が表示される。
ＤＳＰ５は上記音声認識機能以外にＨＤＤ１０から選択されて読み出された楽曲データをディジタル波形信号に再生してＤ／Ａコンバータ７に転送する。Ｄ／Ａコンバータ７には楽曲データとともにマイクから入力される音声データも転送される。Ｄ／Ａコンバータ７ではディジタル波形信号がアナログ信号に変換されスピーカ１３より楽曲およびマイクから入力された唄い手の音声が流れる。

図４Ａは、虫食いテロップ採点ゲームの流れを説明するためのフローチャートである。
待機状態（ステップ（以下「Ｓ」という）０１）においてＣＰＵ１は虫食い採点のための入力が操作部２０でなされたか否かを監視する（Ｓ０２）。虫食い採点入力がされた場合にはカラオケ装置本体１５前面に設けられている表示部１５ａを点灯することにより虫食い採点中であることを表示する（Ｓ０３）。また、ＴＶモニタ１２の一部にもその旨の表示を行う。
つぎに曲リクエストがあるか否かの監視を行い（Ｓ０４）、曲が選曲された場合には、その曲の演奏開始操作がなされた否かの監視を行う（Ｓ０５）。

唄い手が演奏を開始すると、選択した楽曲が流れるとともにＴＶモニタ１２には歌詞テロップが表示され、唄うべきテロップ字句の色を変える。虫食い位置の部分になっても同様にその絵の色を変える。このテロップ表示にしたがって、唄い手は歌を唄い、歌詞が表示されていない虫食い位置も通常通り唄う。
カラオケ装置では虫食い採点評価が行われる（Ｓ０６）。採点評価が終わると、ＣＰＵ１は虫食い採点をキャンセルする操作がなされたか否かの判断を行う（Ｓ０７）。虫食い採点キャンセル入力があると、虫食い採点終了処理を行い（Ｓ０８）、再度虫食い採点入力があるか否かの監視のステップに戻る（Ｓ０２）。

図４Ｂは、虫食い採点評価ステップの詳細を示すフローチャートである。この例は、虫食い採点とともに楽曲のリズム・ピッチ比較も行い該採点も同時に行うものである。
演奏が開始されると、ＴＶモニタ１２に表示されている歌詞テロップに虫食い個所が存在する場合には虫食い用の絵が重ね合わされる（Ｓ０６Ｂ１）。演奏が終了するまで、この動作が繰り返される（Ｓ０６Ｂ２）。

一方、マイクから入力された音声は字句認識がされ（Ｓ０６Ｂ３）、字句認識された音声文字と色変わり中のテロップ文字とが比較され、テロップ文字通りに唄えているか否か判断され（Ｓ０６Ｂ４）、正確な字句で発音できた文字数がカウントされる（Ｓ０６Ｂ５）。その後、演奏が終了したか否かが判断され（Ｓ０６Ｂ６）、演奏終了でない場合はＳ０６Ｂ４に戻って色変わり中のテロップ文字と音声文字の比較判断が繰り返される。
これと同時にピッチ・リズムの認識もなされ（Ｓ０６Ｂ７）、楽曲であるＭＩＤＩガイドメロディと音声のピッチ・リズムの比較が行われ、ＭＩＤＩガイドメロディ通りに唄えているか判断され（Ｓ０６Ｂ８）、正確なピッチ・リズムで歌唱したフレーズ数がカウントされる（Ｓ０６Ｂ９）。その後、演奏が終了したか否かが判断され（Ｓ０６Ｂ１０）、演奏終了でない場合はＳ０６Ｂ８に戻ってＭＩＤＩガイドメロディと音声のピッチ・リズムの比較判断が繰り返される。

このようにして演奏されている楽曲のピッチ・リズム通りに唄えたか、ＴＶモニタ１２に表示されている虫食いの歌詞テロップ通り唄えたかの判断が行われる。
ＴＶモニタに表示されている部分の歌詞テロップを唄い終わると、つぎに続く歌詞テロップが表示され音声入力に対し同様な処理が行われる。そして、楽曲の演奏が終了すると、前もって決められた採点判断用のカウント数と上記Ｓ０６Ｂ５でカウントされたカウント値（正確な字句で発音された文字数）およびＳ０６Ｂ９でカウントされたカウント値（正確なピッチ・リズムで歌唱したフレーズ数）とが比較され、その大小により「上手」「普通」「下手」などの評価が行われる。また、カウント値も得点として集計される（Ｓ０６Ｂ１１）。この採点結果に基づきＴＶモニタ１２に得点と「上手」「普通」「下手」などの表示が行われる（Ｓ０６Ｂ１２）。

図４Ｃは、虫食い部分のみを評価する場合の採点評価ステップの詳細を示すフローチャートである
この採点方法は歌詞テロップの虫食い部分のみを対象とするためゲーム性が高まるものである。また、操作部２０によって虫食い位置，虫食い位置の数，各虫食い位置の字句数を変更することにより、その唄い手の実力にあった採点レベルにすることができる。演奏が開始されると、ＴＶモニタ１２に表示されている歌詞テロップに虫食い個所が存在する場合には虫食い用の絵が重ね合わされる（Ｓ０６Ｃ１）。演奏が終了するまで、この動作が繰り返される（Ｓ０６Ｃ２）。

一方、マイクから入力された音声は字句認識がされる（Ｓ０６Ｃ３）。そして演奏の進行によって色が変わっている部分が虫食いテロップの位置であるか否かの判断がなされる（Ｓ０６Ｃ４）。虫食いテロップの位置でない場合には演奏が終了したか否かの判断がなされ（Ｓ０６Ｃ５）、演奏終了でない場合にはＳ０６Ｃ４に戻り、虫食いテロップ位置かの判断が繰り返される。演奏終了の場合にはＳ０６Ｃ９の採点処理の判断に移行する。
虫食いテロップの位置である場合には、その部分の字句認識された音声文字と色変わり中のテロップ文字とが比較され、テロップ文字通りに唄えているか否か判断し（Ｓ０６Ｃ６）、正確な字句で発音できた文字数をカウントする（Ｓ０６Ｃ７）。そして演奏が終了したか否かが判断され（Ｓ０６Ｃ８）、演奏終了でない場合はＳ０６Ｃ４に戻って虫食いテロップ位置かの判断が繰り返される。演奏が終了した場合はＳ０６Ｃ９の採点処理の判断に移行する。

採点処理では、前もって決められた採点判断用のカウント数と上記Ｓ０６Ｃ７でカウントされたカウント値（正確な字句で発音された文字数）とが比較され、その大小により「上手」「普通」「下手」などの評価が行われる。また、カウント値が得点として集計される（Ｓ０６Ｃ９）。この採点結果に基づきＴＶモニタ１２に得点と「上手」「普通」「下手」などの表示が行われる（Ｓ０６Ｃ１０）。

図５は、入力音声字句およびピッチ・リズムの正確度を判断する方法の１例を説明するための図である。
図５（ａ）の入力音声字句判断において、マイク入力音声として音声認識部は４つの字句について「し」「ず」「か」「な」と認識したとする。一方、字句判断すべき虫食い部分の歌詞テロップは「し」「ず」「か」「に」であるとする。入力音声字句正確度判断手段１ｂは３つの文字について一致するため、３をカウントする。
この例の場合、異なる字句は「に」に対して「な」と発音したので、相違することは明らかであるが、本来発音しなければならない「に」という字に極めて近い発音がなされた場合は認識が難しくなる。このような場合には字句に変換する前の音声解析結果（音響的な解析の結果）のデータも合わせて用いることにより、歌唱中のはっきりしない発音でも評価，判断が可能となる。

図５（ｂ）は唄い手のピッチ・リズムとＭＩＤＩガイドメロディのテンポを示す情報の波形を模式化した図である。縦軸は音程（周波数），横軸は時間（ｔ）を示している。実線がＭＩＤＩガイドメロディに基づく波形，一点鎖線が唄い手の音声に基づく波形を表している。この例は簡単化のため所定の長さ（４分音譜）単位で音程が「ド，ファ，ソ，ミ，レ」のメロディが演奏されている場合を示している。通常、メロディの波形は音程，音色，フレーズなどの要素によって複雑な波形となるが、各音程部分の長さ部分に着目して矩形波で書き出したものである。唄い手の音声についても同様である。
メロディの所定の長さをａとし、音声の同じ音程の長さをｂとすると、ピッチ・リズム正確度判断部１ｃにおける比較では、ｂ／ａの演算を行い、例えば０．８＜ｂ／ａ＜１．２の範囲に納まれば、正確であると判断して＋１をカウントする。このようにして音声のピッチ・リズムの正確度を評価することができる。

以上の実施の形態は、虫食いテロップを正確に唄っているか否かの評価に加えてＭＩＤＩガイドメロディの正確度の評価もして総合的に採点する例と、虫食いテロップの虫食い部分につて正確に発音しているか否かの評価で採点する例を示したが、採点の方法については、本実施の形態のみに留まらず、例えば虫食いテロップ部分のうち、さらに特定の範囲についてのみ評価採点することも可能である。

歌詞テロップの一部を隠し唄い手が正確に発音できたか否かを評価して採点するというゲーム的機能を備えたカラオケ装置である。

本発明によるカラオケ装置の概略を示す図である。 本発明における虫食い歌詞テロップによる歌唱力採点機能の概略を説明するための図である。 本発明によるカラオケ装置の回路の実施の形態を示すブロック図である。 ＣＰＵの機能ブロックを説明するための図である。 虫食いテロップ採点ゲームの流れを説明するためのフローチャートである。 虫食い採点評価ステップの詳細を示すフローチャートである。 虫食い部分のみを評価する場合の採点評価ステップの詳細を示すフローチャートである。 入力音声字句およびピッチ・リズムの正確度を判断する方法の一例を説明するための図である。

符号の説明

１ ＣＰＵ
２ ワークＲＡＭ
３ ビデオＲＡＭ
４ ＶＤＰ（ビデオ・ディスプレイ・プロセッサ 歌詞／ＣＧ）
５ ＤＳＰ（ディジタル・シグナル・プロセッサ 楽曲再生／音声認識）
６ 音声用ＲＡＭ
７ Ｄ／Ａコンバータ
８ Ａ／Ｄコンバータ
９ ＨＤＤコントローラ
１０ ＨＤＤ（楽曲データ／テロップデータ／映像データ）
１１ システムバス
１２ ＣＲＴ（ＴＶモニタ）
１３ スピーカ
１４ マイク
１５ カラオケ装置本体

Claims (4)

1. 唄い手の音声を入力するための音声入力手段と、
   前記音声入力手段から入力された音声字句を認識する音声認識手段と、
   楽曲を演奏する楽曲演奏手段と、
   各楽曲の歌詞を記憶するデータベースと、
   前記データベースより選択された楽曲の歌詞を読み出し、読み出した歌詞の一部を虫食い状態にして画面に表示し、楽曲の伴奏に対応して歌うべきテロップ部分の色を変化させる虫食いテロップ作成手段と、
   前記色変化するテロップにしたがって入力する唄い手の音声字句と、色変化させている前記データベースの歌詞部分を比較し、唄い手の音声字句の正確さを判断する入力音声字句正確度判断手段と、
   前記入力音声字句正確度判断手段による判断結果を一曲または特定の演奏範囲について採点する採点手段と、
   を備えたことを特徴とする虫食い歌詞テロップによる歌唱力採点ゲーム機能付きカラオケ装置。
2. 前記楽曲と唄い手の入力される音声のピッチ・リズムを比較し、唄い手のピッチ・リズムの正確さを判断するピッチ・リズム正確度判断手段を有し、
   前記虫食いテロップによる入力音声字句正確度の評価採点の他に、ピッチ・リズムの正確度の評価採点を行うことを特徴とする請求項１記載の虫食い歌詞テロップによる歌唱力採点ゲーム機能付きカラオケ装置。
3. 前記入力音声字句正確度判断手段は、唄い手が入力した音声字句の波形特性と前記データベースの対応するテロップ部分の字句の波形特性を比較し、一致と認められる範囲であるとき、１文字に対応して＋１をカウントするカウント手段を有し、
   前記採点手段は、前記カウント手段によるカウント値を集計し、その集計値を得点として採点するか、集計値によって「上手」「普通」「下手」などの語句を対応させて採点することを特徴とする請求項１または２記載の虫食い歌詞テロップによる歌唱力採点ゲーム機能付きカラオケ装置。
4. 前記虫食いテロップ作成手段は、
   歌詞の一部に任意の絵または白地を重ね合わせることにより虫食い状態のテロップを表示させる手段と、
   前記絵の重ね合わせ部分を歌詞のいずれかの位置に１以上設定でき、かつ重ね合わせ部分の字数を任意に設定できる重ね合わせ位置設定手段を有することを特徴とする請求項１，２または３記載の虫食い歌詞テロップによる歌唱力採点ゲーム機能付きカラオケ装置。

Images