JP2019101273A - 押韻評価装置、コンピュータの制御方法、及び押韻評価プログラム - Google Patents

Abstract

【課題】ラップの評価を可能とする押韻評価装置、制御方法、及び押韻評価プログラムを提供する。【解決手段】押韻評価装置は、出題部１３０と、生成部１４０と、対比データ判定部１５０と、抽出部１６０と、評価部１７０とを具備する。出題部１３０は、単語または節を出題データとして設定する。生成部１４０は、入力デバイスからの入力に基づき、出題データと対比される対比データを生成する。対比データ判定部１５０は、対比データと、参照データを比較して、出題データと対比可能であるか判定する。抽出部１６０は、対比データの母音または撥音を評価データとして抽出する。評価部１７０は、評価データと、出題データとの母音または撥音とを対比し、評価基準データに基づき評価処理を行う。【選択図】図１

Description

本発明は、入力された情報について押韻の適否を評価する技術に関する。

従来、カラオケ装置の採点等、マイクロフォンから入力された音声を処理し、その音声を発したユーザの歌唱技術の評価をするカラオケ装置等があった。例えば特許文献１においては、複数の歌唱技術評価項目のうち、ユーザが任意の評価項目を選択することにより、所望の評価を行うことができる。

具体的に、カラオケ歌唱採点システムは、表示手段に異なる種別の複数の評価項目を表示させ、デバイスにより表示された複数の評価項目から所望の項目を選択可能とする。また、カラオケ歌唱採点システムは、選択された各評価項目について、それぞれ歌唱採点を行い、採点結果を表示手段に表示させる。このとき歌唱採点結果は、選択された評価項目毎に行われ、選択された評価項目すべての歌唱採点結果に基づく総合判定結果は表示されない。

特開２０１６−０１２０８０号公報

上記のようなカラオケ歌唱採点システムにおいては、あらかじめ記憶された、音量、発音タイミング、音程（ピッチ；高音程及び低音程のそれぞれで評価）、ビブラート等表現力の参照データを用いる。この参照データと、ユーザの発生した音声データとを比較して、これら評価項目ごとに評価を行う。

ただし、カラオケ歌唱採点システムのような従来の評価技術は、メロディライン、主旋律の存在を前提として作成された楽曲に対してのものであり、ラップ、ヒップホップといった異なる評価軸においてその技量が評価される楽曲の評価をすることができなかった。すなわち、ラップのような歌唱法においては、すでに公開されている楽曲の通りに倣って発声することだけではその技量を評価することが困難であった。

この発明は、上記課題に鑑みてなされたものであり、その目的はラップの評価を可能とすることにある。

上記課題を解決するための本発明の一形態は、出題部と、生成部と、対比データ判定部と、抽出部と、評価部とを具備する押韻評価装置である。出題部は、単語または節を出題データとして設定する。生成部は、入力デバイスからの入力に基づき、出題データと対比される対比データを生成する。対比データ判定部は、対比データと、参照データを比較して、出題データと対比可能であるか判定する。抽出部は、対比データの母音または撥音を評価データとして抽出する。評価部は、評価データと、出題データとの母音または撥音とを対比し、評価基準データに基づき評価処理を行う。

上記構成によればラップの評価が可能となる。

第１実施形態を示すブロック図。 第１実施形態における画面構成の一例を示す概略図。 第１実施形態における画面構成の一例を示す概略図。 第１実施形態における画面構成の一例を示す概略図。 第１実施形態における画面構成の一例を示す概略図。 第１実施形態における画面構成の一例を示す概略図。 第１実施形態のフローチャート。 第１実施形態における画面構成の一例を示す概略図。 第２実施形態を示すブロック図。 第２実施形態のフローチャート。 第３実施形態を示すブロック図。 第４実施形態における画面構成の一例を示す概略図。 第４実施形態における画面構成の一例を示す概略図。 第４実施形態における画面構成の一例を示す概略図。 変形例を示すブロック図。

［第１実施形態］
第１実施形態の全体構成について図１〜図５を参照して説明する。なお、図１においてはスマートフォン等の端末機器による実施形態を示しているが、これは一例である。すなわち、後述する押韻評価ロジックをその他、様々な形態で実施することが可能である。

（ユーザ端末１００）
図１に示すように、ユーザ端末１００は、第１入出力部１１０、記憶部１２０、第１制御部Ｃ、表示部Ｄを含んで構成される。第１入出力部１１０は、入力部１１０ａと、送受信部１１０ｂとを含む。入力部１１０ａは、音声や文字入力信号等の外部入力を受けるデバイスである。例えば音声を検知するデバイス（マイクロフォン等）、または文字入力を行うデバイス（ソフトウェアキーボードまたはハードウェアキーボード）等が挙げられる。送受信部１１０ｂは、外部装置（例えば図１のサーバー２００）との間でデータを送信し、また受信するためのインターフェースである。記憶部１２０は参照データや後述の押韻評価処理に関するコンピュータプログラム等を記憶する。また第１入出力部１１０は音声出力部１１０ｃを備えていてもよい。

表示部Ｄは、押韻評価プログラムの実行に関連する各種の画像、例えば操作画面や設定画面、および評価ランキング画面等を表示する。表示部Ｄは、ユーザ端末１００の筺体に設けられたタッチパネルなどの各種表示デバイスを含んでいてもよい。表示部Ｄは、入力部１１０ａと、独立に構成されても、一体的に構成されてもよい。例えばタッチパネルのように、表示機能と操作機能とが一体化されたデバイスを用いることも可能である。その場合、入力部１１０ａおよび表示部Ｄは、タッチパネルとそれを実行するためのコンピュータプログラムとを含んで構成される。

いずれの構成であっても、入力部１１０ａに対する操作内容は、電気信号として制御部Ｃに入力される。また、表示部Ｄに表示されたグラフィカルユーザインターフェイス（ＧＵＩ）と、入力部１１０ａとを用いて、操作や情報入力を行うようにしてもよい。

ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）や液晶ディスプレイ（ＬＣＤ；Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、プラズマディスプレイ（ＰｌａｓｍａＤｉｓｐｌａｙＰａｎｅｌ)、有機ＥＬ（ＯＥＬＤ；Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）、ＦＥＤ（Ｆｉｅｌｄ Ｅｍｉｓｓｉｏｎ Ｄｉｓｐｌａｙ；電界放出ディスプレイ）など、任意の表示装置を用いることが可能である。またタッチパネルが用いられる場合、抵抗膜方式、静電容量方式、超音波表面弾性波方式、赤外線光学イメージング方式、電磁誘導方式等、任意の検出方式による構成をとることが可能である。

記憶部１２０は、少なくとも出題データ、参照データおよび押韻評価処理プログラムや、押韻評価プログラムの実行に関連する各種の画像を記憶する。各種の画像とは、例えば操作画面や設定画面、および評価ランキング画面等の画面データである。参照データは、後述する外部入力(例えばユーザにより入力された音声や文字)が、ヒップホップ・ラップ音楽のジャンルにおいて歌詞(lyric)として成立するかについて判定するためのものである。参照データの一例として次のような構成を挙げることができる。

記憶部１２０の参照データには、少なくとも１つの言語における形態素が含まれる。例えば参照データには、日本語における形態素と、日本語を使用する地域(例えば日本国内)において使用される傾向にあるラップ用語とが含まれる。なお、形態素の一例として、日本語文法におけるいわゆる文節よりも細かい単位である、自立語、付属語および接辞が相当する。また自立語および付属語には品詞の種別情報が付帯情報として付加されていてもよい。さらに自立語、付属語および接辞の組み合わせ(例えば言語モデル；音素の並び方に関する制約を表したもの)を複数記憶していてもよい。この組み合わせでは、その言語(例えば日本語)として文法的に適正であるものだけでなく、文法的に不適であってもヒップホップ・ラップ音楽の歌詞(lyric)として成立しうるものを含む。

また、参照データには２以上の言語における形態素を含めることが可能である。例えば日本語と英語の形態素が含まれてもよい。英語の場合も自由形態素(free morpheme)や束縛形態素(bound morpheme)ごとに品詞の情報が付加され、その組み合わせが複数、記憶部１２０に記憶されていてもよい。

また参照データには、記憶された形態素にかかる言語を使用する地域におけるラップ用語を含めてもよい。ここでのラップ用語とは、「エーケーエー(a.k.a.)」、「レペゼン(Represent)」、「ディス(dis)る」、「バイブス（Vibes）」のように、専らラップのリリックとして使用されるものをいう。

さらにこれら参照データに登録された形態素、ラップ用語には、それらを構成する音素の情報が付帯情報として付加されていてもよい。例えば日本語であれば、音素として、
・母音「a（あ）」、「i（い）」、「u（う）」、「e（え）」、「o（お）」、
・子音「k（カ行）」「s（サ行）」、「t（タ，テ，ト等）」、「c（チ，ツ等）」、「n（な行）」、「h（ハ行）」、「m（マ行）」、「r（ラ行）」、「g（ガ行）」、「z（ザ行）」、「d（ダ行）」、「b（バ行）」、「p（パ行）」、
・半母音「j（ヤ行）」、「w（ワ行）」、
・特殊モーラ「n(撥音)」、「q(促音)」、「h(長音)」
があり、このうち、登録された要素ごとに抽出された少なくとも母音が対応付けて付加されていてもよい。また例えば「的(まと)」と「マント」を区別するため、撥音が対応づけられていてもよい。また、例えば「遠く」と「トーク」を区別するため、長音と母音の重なりを識別するために、母音および撥音だけでなく、長音が対応付けられていてもよい。これらと同様に、促音や拗音を識別するように促音や拗音が対応付けられていてもよい。

参照データは、記憶部１２０に記憶されている構成に限らず、他の形態としてその一部または全部が、外部装置(例えば図１のサーバー２００におけるサーバー記憶部２２０)に記憶されていてもよい。この場合、押韻評価処理プログラムにより、第１制御部Ｃが送受信部１１０ｂを介して適宜参照データをサーバー記憶部２２０から読み出して、記憶部１２０に少なくとも一時的に記憶させる。

さらに記憶部１２０または上記外部装置における参照データとしては、形態素やラップ用語、またはこれらに付加される品詞の組み合わせのような辞書の構造を有するデータに限らず他の形態とすることが可能である。例えば、後述の対比データ判定部１５０により、対比データが出題データと対比可能であるか（lyricとして成立しうるか)を判定するためのアルゴリズムやデータ構造、機械学習のモデルやパラメータが記憶されていてもよい。この変形例については後述する。

第１制御部Ｃは、出題部１３０、生成部１４０、対比データ判定部１５０、抽出部１６０、および評価部１７０を含んで構成される。第１制御部Ｃにおける各部の処理の概要は次の通りである。出題部１３０は、後述の押韻評価処理における問題を設定する。すなわち、出題部１３０は、ユーザが入力した回答(音声入力、文字入力等)と比較される比較元のデータ(以下、「出題データ」と記載することがある。)を設定する。生成部１４０は、ユーザによる回答(外部入力)に基づいて、出題データと対比可能される対比データを生成する。対比データ判定部１５０は、参照データ内に対比データに対応するものがあるか照会する。これにより、対比データ判定部１５０は、対比データが出題データと対比可能であるか判定する。ここで、「出題データと対比可能であるか」とは、言い換えれば、ヒップホップ・ラップ音楽のジャンルにおいて歌詞(lyric)として成立するかということである。抽出部１６０は、対比データの母音または撥音を評価データとして抽出する。評価部１７０は、評価データと出題データの母音または撥音とを対比し、評価基準データに基づき評価処理を行う。

＜出題部＞
出題部１３０は、押韻評価処理をするための「お題」としての出題データを決定し、ユーザに対する問題として出力する。この出力の一例として、出題部１３０は出題データに基づく文字列を表示部Ｄに表示させる。あるいは出題部１３０により、任意の音声出力デバイス(音声出力部１１０ｃや外部デバイス等)を介して出題データが音声として出力されてもよい。

出題データは、少なくとも１個の自立語、または自立語と少なくとも１個以上の付属語あるいは接辞との組み合わせ(言語モデル等)によって構成され、それ単体で何らかの意味を成すものである。記憶部１２０に記憶された出題データとしては、様々な形態を採用することができる。例えば押韻評価処理プログラムに対応付けられ、記憶部１２０または外部装置（サーバー記憶部２２０等）に予め登録されたものであってもよい。出題部１３０は、以下のいずれかの方法により、出題データベース(不図示)に基づき設定した問題を記憶部１２０に少なくとも一時的に記憶させる。

一例として出題部１３０は、予め記憶部１２０等に登録された出題データベース(不図示)から、問題(お題)を選択して決定し、出力(音声出力または文字表示)する。なお出題データベースには、ユーザの押韻評価に用いる問題として複数の出題データが含まれている。出題部１３０による選択は、プログラムされた設定順でもよく、乱数等によりランダムに設定、出力してもよい。

他の形態としては、出題部１３０がウェブサイトにおいて提示された文字情報を取得し、公知の手法により形態素解析やテキストマイニングを行った外部データに基づいて、出題データを作成し問題として設定してもよい。あるいは入力部１１０ａにより検知したユーザの音声を音声認識し、そのデータに基づき出題データを作成し問題として設定してもよい。この場合、入力部１１０ａとして音声を検知するデバイスが含まれる。また、入力部１１０ａを介してユーザが入力した文字データに基づき、出題データを作成してもよい。このデータの作成において、出題部１３０は上記参照データを利用してもよい。上記のように作成された出題データは、出題部１３０により少なくとも一時的に記憶部１２０に記憶され、またこの出題データを問題として決定し、出力する。

また、押韻評価処理プログラムにおいて、押韻対象の問題の難易度をユーザが設定できる構成とすることも可能である。この場合、出題部１３０が難易度順に、出題データのうち音数が多いものを選択して読み出す構成とすることができる。また、予め登録された出題データにおいて問題それぞれに難易度情報が付帯情報として付加されており、出題部１３０はユーザが選択した難易度に対応する難易度情報の問題を記憶部１２０から取得する構成であってもよい。

また、出題部１３０は出力する問題そのものと、当該問題に含まれた母音等を所定のタイミング(例えば同時)に出力する構成であってもよい。またこの母音等の出力を、ユーザが選択した難易度に応じて実行してもよい。例えば難易度が「Ｅａｓｙ」、「Ｎｏｒｍａｌ」、「Ｈａｒｄ」の３段階選択可能である場合に、ユーザが「Ｈａｒｄ」を選択したときだけこの母音等の出力を実行しない(「Ｅａｓｙ」、「Ｎｏｒｍａｌ」のときだけ出力する)構成としてもよい。

＜生成部＞
生成部１４０は、第１入出力部１１０の入力部１１０ａが検知した外部入力に基づき、対比データを生成する。この外部入力としては、ユーザが発声した音声、キーボード等のハードウェアキーの移動または押圧、タッチパネルのいずれかの検出位置に対する指またはタッチペン等の接触、タッチパネルのいずれかの検出位置に対する指またはタッチペン等の近接等が挙げられる。

入力部１１０ａがユーザにより発声された音声を検知した場合、生成部１４０はその音声について、参照データ等を参照して公知の手法(例えば音響モデル等を用いた統計的手法)により音声認識し、対比データを生成する。この音声認識の結果を表示部Ｄに表示する構成の場合は、音声認識した結果が表示可能な文字データとなる。

入力部１１０ａとしての文字入力デバイス(ハードウェアキーまたはソフトウェアキー)に対するユーザの操作を検知した場合、生成部１４０は入力に応じた対比データを生成する。この文字入力が、ＱＷＥＲＴＹ配列のキーボードに対する操作であれば、キー操作による入力信号を受け、生成部１４０は入力信号を対比データに変換する。あるいはタッチパネルに対する手書き入力操作であれば、生成部１４０は認識した画像を文字認識し対比データに変換する。他の例として文字入力がフリック操作であれば、生成部１４０はフリック操作に応じた入力信号を対比データに変換する。音声認識の場合と同様に、作成した対比データを表示部Ｄに表示する構成の場合は、対比データは表示可能な文字データとなる。

生成部１４０は、押韻評価処理プログラムに基づいて対比データを生成したとき、任意の方法で対比データを出力してもよい。この出力の一例として、生成部１４０は表示部Ｄに文字として表示させる。あるいは生成部１４０により、任意の音声出力デバイス(音声出力部１１０ｃや外部デバイス等)を介して対比データが音声として出力されてもよい。なお、上記外部入力が音声であって音声認識ができなかったこと、または手書き入力であって文字認識ができなかったことを任意の方法で出力してもよい。

＜対比データ判定部＞
対比データ判定部１５０は、記憶部１２０に記憶された対比データを読み出す。日本語を基礎とした押韻評価処理プログラムにしたがう場合、対比データ判定部１５０は、参照データを参照した上で、読み出した対比データにおける自立語の存在の有無、またはラップ用語の存在の有無を判定する。これらのいずれかが存在する場合、対比データ判定部１５０は、他に付属語および接辞があるか判定する。このようにして、対比データ判定部１５０は、対比データを構成する形態素を識別する。

さらに参照データにおける自立語および付属語のデータに品詞の種別情報が付帯情報として付加されている場合、対比データ判定部１５０は、各形態素の品詞の種別および押韻評価処理プログラムに基づき、例えば自立語と付属語の組み合わせが適正であるか判定する。この判定は、予め記憶部１２０等に登録された、２以上の形態素の品詞の種別の組み合わせと許容しうる順序を対応付けたテーブルを参照することにより実行される。すなわち、対比データがテーブル内のいずれかのパターンに適合すれば、対比データ判定部１５０は、対比データが設定言語(例えば日本語)において文法的、あるいはヒップホップ・ラップ音楽の歌詞(lyric)として適正であると判定することができる。判定結果が適正である場合、押韻評価処理プログラムによりその後の工程に進む。

対比データ判定部１５０は、対比データが文法的にも、歌詞(lyric)としても許容できないと判定した場合、その判定結果(判定エラーを示す結果)を音声又は文字により出力する。この具体例は、押韻評価処理の動作において図６等を参照して後述する。さらに、対比データ判定部１５０は出題データと対比データが完全同一である場合にも、その判定結果(判定エラーを示す結果)を音声又は文字により出力する。例えば出題データ(問い)が「つくえ」であるのに対し、対比データ(答え)も「つくえ」である場合が該当する。また対比データ判定部１５０は、ユーザに回答を促す出力を行った後、クロックパルス等により所定時間の経過を計時してもよい。この場合対比データ判定部１５０は、計時開始時点から所定時間内に回答の入力（文字入力または音声入力）が無かった場合、判定エラーを示す結果出力をしてもよい。

なお、対比データ判定部１５０における判定は上記方法に限らず、他の形態をとることも可能である。例えば、記憶部１２０に、対比データが出題データと対比可能であるか（lyricとして成立しうるか)を判定するためのアルゴリズムやデータ構造、機械学習のモデルやパラメータが記憶されている構成の場合、次のような各変形例を挙げることができる。一例として対比データ判定部１５０は、対比データを構成する文字列につき、外部の情報（ウェブサイトに提示されたデータ、外部サーバーにおけるデータベース等）を参照して、対比データを構成する文字列が存在する検索件数や確率により、当該判定を行ってもよい。判定を行うための件数、確率の閾値はあらかじめ記憶部１２０等に設定される。また対比データ判定部１５０は、記憶部１２０に記憶された上記アルゴリズムやデータ構造、機械学習のモデルやパラメータをこの判定に利用する。また、対比データの文字列が節となっている場合、文となっている場合等、複数の自立語や単語が含まれていることになる。この場合、対比データ判定部１５０は、形態素解析やN-gram等の自然言語を対象とする構文解析を実行する。解析され、あるいは所定数の文字列に分解された各対比データは、対比データ判定部１５０により、それぞれ形態素やラップ用語、またはこれらに付加される品詞の組み合わせといったように辞書のような構造を有するデータと対比されて判定されてもよい。または、インターネット上のデータとの対比により、所定の検索数や所定の確率にしたがって、対比データの適否が判定されてもよい。

＜抽出部＞
抽出部１６０は、対比データの母音や撥音等を評価データとして抽出する。この抽出のタイミングは、対比データの判定処理の後でもよく、あるいは生成部１４０による対比データの作成処理に並行して行うことも可能である。例えば、音声認識であれば検知した音声の波形から、生成部１４０が音響モデル等を用いて音素を識別して音声認識することが考えられる。この場合、対比データの生成において、すでに母音や撥音等に相当する音素(評価データ)が識別されているので、抽出部１６０は、すでに対比データ内の音素の識別が済んでいる状態で、容易に母音等のみを抽出することができる。したがって、抽出部１６０は対比データの作成処理に並行して、母音および撥音、あるいは母音、撥音、拗音、促音および長音のうち予め設定された音素を抽出してもよい。

また他の例として、抽出部１６０が母音等の抽出を対比データの判定処理の後に行う構成であれば、生成部１４０が対比データを作成するときに母音等を、子音や半母音と識別可能に記憶部１２０に記憶させる。抽出部１６０はその記憶された対比データから抽出対象の音素(例えば母音および撥音)を抽出する。また、抽出部１６０が文字列化された対比データに基づき、抽出対象の音素(評価データ)を抽出してもよい。

他の例として、ＱＷＥＲＴＹ配列のキーボードに対するローマ字入力操作に基づき対比データが作成される場合、入力信号が音素ごとに入力されるので、対比データの生成において、すでに母音や撥音などに相当する音素(評価データ)が抽出されている。したがって、抽出部１６０は音声認識の場合と同様に、任意のタイミングおよび方法で予め抽出された音素のうち、評価データとして設定された種別の音素を取得すればよい。

なお、タッチパネルに対する手書き入力操作に基づき対比データが作成される場合、生成部１４０が文字認識することにより文字列化された対比データに基づき、抽出対象の音素、すなわち評価データが抽出される。フリック入力またはキーボードに対するかな入力の場合も同様に文字列化された対比データに基づき評価データが抽出される。したがって、抽出部１６０による抽出は、生成部１４０が外部入力に基づき対比データとしての１文字目を作成した後の任意のタイミングで実行される。なお、手書き入力操作の場合であって、漢字が入力された場合、例えば抽出部１６０は記憶部１２０等に記憶されたデータ（辞書データ等）を参照してその読みを特定する。

また抽出部１６０は、出題データにあらかじめ音素の情報が付加されていない場合、または出題データのデータベースにおいて、あらかじめ音素の情報がテーブル等により対応付けられていない場合、ここで対比データと同様に出題データの母音等を抽出する。

＜評価部＞
評価部１７０は、押韻評価処理プログラムにしたがって、評価対象として特定された音素の種別(例えば母音または撥音)に基づき、評価データと出題データとを次のように対比する。上記のように、ユーザに対しての問いともいえる出題データの音素は、一例として予め出題データの付帯情報として付加されている。評価部１７０は、そのうち評価対象として特定された音素の種別のみを抽出する。出題データの付帯情報において、すでに評価対象種別の音素のみが抽出された状態で付加されていれば評価部１７０は付帯情報そのものを取得する。

評価データは、問いに対するユーザの答えとしての対比データから抽出されたものであるから、評価部１７０は出題データの母音等と評価データを対比することが、すなわちユーザの押韻の技量を評価をすることになる。ここで押韻評価処理プログラムにおける評価処理は、評価基準データに基づき実行される。この評価基準データとして複数の実施形態を以下に示す。

《第１基準》
第１基準によると、評価部１７０は、出題データの母音等と評価データの完全一致をもって押韻の評価、すなわち適否のみを判定する。具体的には対比の結果、出題データの母音等と評価データとの間で「音数が一致しており」、かつ「音素の並び順通りに同じ音が配列されている」という条件の双方が成就すれば完全一致となる。評価部１７０は、完全一致の場合のみ「押韻成功」という判定をし、その旨の内容を任意の方法で出力する。完全一致でない場合は「押韻失敗」という判定をし、その旨の内容を任意の方法で出力する。例えば出題データ(問い)が「つくえ」であるのに対し、対比データ(答え)が「するめ」であれば、両者とも評価対象となる母音等は「う」、「う」、「え」となる。つまり両者とも「３音」であり、第１音目が「う」、第２音目が「う」、第３音目が「え」という点で、一致する音の並び順も合致している（全体が同音同配列）ので、評価は「押韻成功」となる。

これに対し、出題データ(問い)が「つくえ」であるのに対し、対比データ(答え)が「めぐむ」であれば、出題データの評価対象となる母音等は「う」、「う」、「え」に対し、評価データ「え」、「う」、「う」となる。つまり両者とも「３音」であるところは一致するものの、この条件では音素の配列順も評価対象となるので第１音目と、第３音目の音が異なっているので完全一致とならず、評価は「押韻失敗」となる。

《第２基準》
第２基準によると、評価部１７０は押韻の適否のみの２段階で評価を行う点で同様であるが、出題データの母音等と評価データの完全一致がなくても、評価が「押韻成功」となる場合がある点において、第１基準と異なる。第２基準において評価部１７０は、「評価データの音数が、出題データの音数以上」であり、かつ「評価データの少なくとも一部において出題データの母音等の並び順通りに同じ音が配列されている」という条件の双方が成就すれば「押韻成功」という判定をし、その旨の内容を任意の方法で出力する。この条件であれば、完全一致だけでなく、両者の音数にずれがあっても、押韻成功となる可能性がある。例えば出題データ(問い)が「つくえ」であれば、出題データの母音等は「う」、「う」、「え」となる。これに対し、対比データ(答え)が「こむすめ」であれば音数は前者が「３音」であるのに対し、評価データの音数は「４音」であり音数にはずれがある。しかし、「評価データにおいて出題データの音数以上」という第１の条件は成就する。また出題データの第１音目が「う」、第２音目が「う」、第３音目が「え」に対し、評価データを２音目から対比すると、同じく「う」、「う」、「え」と一致する音の並び順が合致しているので、評価データの一部が同音同配列となり、第２の条件も成就する。したがって、第２基準における評価は「押韻成功」となる。

これに対し、出題データ(問い)が「つくえ」であるのに対し、対比データ(答え)が「ふえ」であれば、「評価データにおいて出題データの音数以上」という第１の条件を満たさない（問題が「つくえ」であれば３音以上が条件）ので、第２基準によれば評価は「押韻失敗」となる。

《第３基準》
第３基準は、第２基準の変形例である。第３基準によると、評価部１７０は押韻の適否のみの２段階で評価を行う点で同様であるが、音数の条件が異なる。つまり第３基準においては、第１の条件が「評価データの音数が、出題データの音数以下」であり、かつ第２の条件が「出題データの母音等の並び順を基準として、出題データの音数の１／２以上においてその並び通りに同じ音が配列されている」である。第３基準ではこれら条件の双方が成就すれば「押韻成功」という判定をし、その旨の内容を任意の方法で出力する。この基準によれば、上記の対比データ(答え)が「こむすめ」である場合に第１の条件を満たさず（問題が「つくえ」であれば３音以下が条件）「押韻失敗」となる。

これに対し、出題データ(問い)が「つくえ」であるのに対し、対比データ(答え)が「ふえ」であれば、「評価データにおいて出題データの音数以下」という第１の条件が成就し、かつ出題データの第２音目「う」、第３音目「え」に対し、評価データの１音目から対比すると、同じく「う」、「え」となって、出題データの音数「３」の１／２以上の音数において一致する音の並び順が合致しており第２の条件も成就する。したがって、第３基準における評価は「押韻成功」となる。

《第４基準》
第４基準は、第２基準の変形例である。第４基準においても、評価部１７０は押韻の適否のみの２段階で評価を行う点において、第２基準と同様である。第４基準において第１の条件は「評価データの音数が、出題データの音数以上」である。第２の条件は「出題データの母音等の並び順を基準として、出題データの音数の１／２以上において連続してその並び通りに同じ音が配列されている」という条件である。さらに第３の条件として「評価データにおいて、出題データの母音等の並び順の第１音目および第２音目のうち少なくとも一方に同じ音が配列されている」という条件が付加される。第４基準は第１の条件〜第３の条件のすべてが成就すれば「押韻成功」という判定をし、その旨の内容を任意の方法で出力する。この条件であれば、第２・第３基準に対して押韻成功となる範囲が異なる。

例えば、出題データ(問い)が「つくえ」であれば、出題データの母音等は「う」、「う」、「え」となる。これに対し、対比データ(答え)が「くろふね」である場合の評価は、次のとおりである。すなわち音数は前者が「３音」であるのに対し、評価データの音数は「４音」であり音数にはずれがある。しかし、「評価データの音数が出題データの音数以上」という第１の条件は成就する。また出題データの第１音目が「う」、第２音目が「う」、第３音目が「え」に対し、評価データの第２音目から対比すると、同じく出題データの第２音目、第３音目が「う」、「え」と一致する音の並び順が合致している。つまり、出題データと評価データの間で、出題データの音数「３音」の１／２以上である２音において、同音同配列（同音の並び順が一致）となり、第２の条件も成就する。さらに出題データの第１音目が「う」、第２音目が「う」に対し、評価データを第１音目から対比すると、同じく「う」、「お」となり、第１音目のみ合致しているが、いずれか一方のみで条件を満たすので第３の条件も成就する。したがって、第４基準における評価は「押韻成功」となる。なお、この基準によれば、対比データが「こむすめ」である場合にも第１〜第３の条件が成就し「押韻成功」となる。

これに対し、出題データ(問い)が「つくえ」であるのに対し、対比データ(答え)が「ふえ」であれば、「評価データの音数が出題データの音数以上」という第１の条件を満たさない。つまりこの場合第４基準によれば評価は「押韻失敗」となる。

《第５基準》
第５基準は、第１〜第４基準と異なり、押韻成功と押韻失敗の評価のほかに、出題データの母音等と評価データの合致度を算定して、その度合いに応じた複数のランク分けによる評価もともなう。例えば、出題データの母音等と評価データの合致度が１００％であればＳランク、１００％未満かつ７５％以上であればＡランク、７５％未満かつ６６％以上であればＢランク、６６％未満・５０％以上であればＣランクとする。これらのランクはすべて「押韻成功」とし評価ランクとともに出力される。また合致度が５０％未満であれば「押韻失敗」と判定する。さらにこのランク分けの変形例として、音数の多さごとに高ランクとなるための条件を厳しくしてもよい。例えば、出題データが８音であるときは、合致度が６０％以上でＡランクとなるという条件があるときに、出題データが４音であるときはＡランクに分類されるための合致度を７５％以上必要とするといった条件が考えられる。

《第６基準》
第６基準は、第５基準を変形し、２語以上を含む評価データの評価を行うためのものである。この基準において、例えば単語ごとに「３音以上連続して同音で並び順が合致していれば合致と評価する」という第１の条件を成就するか評価する。また第６基準においては、第１の条件を満たさずとも、出題データの単語ごとに第４基準の第２の条件「出題データの母音等の並び順を基準として、出題データの音数の１／２以上において連続してその並び通りに同じ音が配列されている」および第４基準の第３の条件「評価データにおいて、出題データの母音等の並び順の第１音目と第２音目の少なくとも一方に同じ音が配列されている」の双方を満たすかどうか評価し、双方を満たせば合致度を算定する。さらに出題データが単語（または自立語。以下同じ）Ａ＋Ｂによって構成され、評価データが単語Ｃ＋Ｄによって構成されていれば、ＡとＣの対比、ＡとＤの対比、ＢとＣの対比、ＢとＤの対比を行い、合致度が高い方の２つの評価を抽出して平均値を算定する構成であってもよい。これは３語以上の対比であれば抽出する評価数は３でその平均値が算定される。

例えば、出題データ(問い)が「東京レペゼン」であるのに対し、対比データ(答え)が「駅伝放送」である場合、「東京」と「放送」の全音（４音中４音）が合致して、第１の条件を満たし１００％の評価となる。次に「レペゼン」と「駅伝」は第１の条件を満たさないものの、第２の条件と第３の条件の双方を満たすため、合致度が算定される。この場合、４音中３音が合致するので７５％の評価となる。その他の対比「東京」と「駅伝」、および「レペゼン」と「放送」は合致度が低く算定されるので採用されない。その結果、合致度が高い方の２つの評価を抽出した平均値、すなわち上記１００％と７５％の平均値として８７．５％となり、第５基準のランク付けによればＡランクの「押韻成功」となる。

なお、この基準において評価件数の１／２以上で合致度が５０％以下となった場合、ランクの評価を出力することなく「押韻失敗」と評価することも可能である。この追加の条件がある場合、出題データが「東京レペゼン」であるのに対し、対比データ(答え)が「野球放送」である場合、「東京」と「放送」の合致度は１００％となる。しかし、「レペゼン」と「野球」は第１の条件、第２の条件および第３の条件のすべてを満たさないため、この追加の条件の下では「押韻失敗」の評価となる。また、この第６基準における２以上の単語とは、歌詞としての節や、文章の形態を含む。

《第７基準》
第６基準は、評価データについて単語境界を識別して評価データの判定をする方法であるが、第７基準は単独で自然言語としての意味を有するブロックに分割するのではなく、既定の文字数ごとに分割して評価を行う。なお、第７基準は、自然言語の基準において評価データ、出題データを複数ブロックに分割するのではなく、既定の音素数ごとに分割して評価を行う全ての方法を含むものである。つまり、第７基準では評価データにおいて連続する２音素以上のブロックを複数作成し、その各ブロックを、同様に分割した出題データの音素のブロックそれぞれと対比（探索）していき、あらかじめ設定した合致数や合致度を満たすかについて判定する。以下の説明はその一例を示すものである。

例えば、第７基準は評価データを既定のＮ個（Ｎ≧１）の文字列に分解する。さらに分解した各文字列ブロックの後に続くブロックの先頭の１文字を、当該分解した文字列に結合する。

評価データとして母音と促音を抽出する設定がされている場合について、一例を示す。「特許庁に入庁する」という対比データがある場合、「お（とっ）」、「お（きょ）」、「お（ちょう）」、「い（に）」、「う（にゅう）」、「お（ちょう）」、「う（す）」、「う（る）」が評価データとなる。なお、この場合「庁」と「入」についての音素「う」は長音とされて評価データに含まれないものとする。
評価データの分割数が「２」と設定されていれば、評価部１７０は評価データを「おお（とっきょ）」、「おい（ちょうに）」、「うお（にゅうちょう）」、「うう（する）」と分割する。その上で評価部１７０は、１番目のブロックの後に続く２番目のブロック「おい」の先頭の１文字を１番目のブロックの末尾に結合する。同様に、２番目のブロックの後に続く３番目のブロック「おい」の先頭の１文字を２番目のブロックの末尾に結合する。このようにして評価データを分割し、一部結合するという処理が繰り返されると、「おおお（とっきょちょ）」、「おいう（ちょうににゅ）」、「うおう（にゅうちょうす」、「うう（する）」という４つのブロックが作成される。

評価部１７０は、出題データについても同様の分割および結合を行い、所定数のブロックを作成する。さらに評価部１７０は、評価データの各ブロックと、出題データの各ブロックとの対比を行う。

例えば出題データが「東京都に集合する」であり、「東」、「京」、「集」、「合」についてすべて母音「お」のみが抽出され、「ょ」、「ゅ」、「う」等をそれぞれ拗音、長音として抽出対象としない場合、評価部１７０は「とうきょうと」の「おおお」と、「特許庁」の「おおお」について、音素の並び順通りに同じ音が配列されていると判定する。同様に「都に集」の「おいう」と「庁に入」の「おいう」、「集合す」の「うおう」と「入庁す」の「うおう」、「する」の「うう」と「する」の「うう」が一致し、「押韻成功」となる。以上の例では、設定した基準に対して音素が完全一致しているが、これに限られない。例えばこの「押韻成功」の基準は、所定の合致度に基づき設定されてもよい。

所定の合致度に基づき押韻の成否の判定をする場合の例として、例えば評価部１７０は、次のような処理を行う。評価部１７０は、上記のように各音素ブロックに分割し、次のブロックの先頭の１文字を結合して評価データを生成する。また評価部１７０は、評価データの各ブロックについて、出題データの母音等を同様に分割、結合したブロックと対比する。評価データの各ブロックのうち、１ブロックでも分割された出題データの母音等のブロックと合致すれば、評価部１７０は押韻成功と判定する。なお、この押韻成功となる合致数の設定を変更することにより、難易度を設定することも可能である。

なお、この基準において評価件数の１／２以上で合致度が５０％以下となった場合、「押韻失敗」と評価することも可能である。さらに第６基準のようにランク判定をしてもよい。

《第８基準》
第７基準は、押韻成功と押韻失敗の評価のほかに、第１基準〜第６基準のいずれかにおいて出題データの母音等と評価データとの合致数を評価として計数し、それをポイントとして出力（文字による表示または音声出力）する。第７基準においては、評価の度にポイントを記憶部１２０等に記憶させ、加算していく。この場合、後述の図８（Ｂ）に示すように、ユーザごとの累計ポイントのランキングを表示する構成であってもよい。

上記説明における各部の処理は、説明の便宜上、図１に示す第１制御部Ｃの制御の下に実行されるものとして説明した。この第１制御部Ｃは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、或いは、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等のうち、単一または複数の回路を含んで構成されていてもよい。第１制御部Ｃはメモリに保存された例えば押韻評価プログラムを読み出し実行することで機能を実現する。なお、メモリにプログラムを保存する代わりに、回路内にプログラムを直接組み込むよう構成しても構わない。この場合、第１制御部Ｃとしての回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、第１制御部Ｃは単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、実施形態における複数の構成要素（例えば出題部１３０、生成部１４０、対比データ判定部１５０、抽出部１６０、および評価部１７０のうち少なくとも２以上）を１つのプロセッサへ統合してその機能を実現するようにしてもよい。

（サーバー２００）
図１に示すように、サーバー２００は、第２入出力部２１０、サーバー記憶部２２０、第２制御部ＳＣを含んで構成される。第２入出力部２１０は、端末装置（例えば図１のユーザ端末１００）との間でデータを送信し、また受信するためのインターフェースである。サーバー記憶部２２０は、参照データや後述の押韻評価処理に関するコンピュータプログラム等を記憶しており、第２制御部ＳＣが、ユーザ端末１００からのデータ取得要求に応じて参照データおよび押韻評価処理に関するコンピュータプログラムや、これらの更新データを第２入出力部２１０を介して送信する。

（動作）
図７は、実施形態に係る押韻評価プログラムによる押韻評価処理の流れを示すフローチャートである。例えば第１制御部Ｃは、以下の動作を示す押韻評価プログラムを実行する。なお、以下の動作（Ｓ０１〜Ｓ１１）の前提として例えば次のような処理が行われる。ユーザ端末１００において入力部１１０ａを介して押韻評価プログラムの起動操作がなされると、第１制御部Ｃは、第１記憶部１２０に記憶された押韻評価プログラムを読み出し、実行する。第１制御部Ｃは押韻評価プログラムの開始を促すメッセージ文章が含まれた画面データに基づき、初期画面（例えば図２（Ａ））を表示部Ｄに表示させる。次に入力部１１０ａを介して押韻評価プログラムの開始操作がなされると(図２(Ａ)の「ＳＴＡＲＴ」キーの選択操作等)、第１制御部Ｃは、押韻評価プログラムの処理モードの選択等を促すメッセージ文章が含まれた画面データに基づき、モード選択画面を表示部Ｄに表示させる（例えば図２（Ｂ））。次に押韻評価プログラムの処理モードの選択がなされると(図２(Ｂ)の「ＰＲＡＣＴＩＣＥ」キーの選択操作等)、第１制御部Ｃは、プログラムにしたがって、所定間隔でカウントダウンをする画面データ（例えば３段階の画面遷移がなされる (例えば図３(Ａ)〜(Ｃ))を順次読み出して表示部Ｄに表示させる。このような画面遷移を経て、図３の例であれば次の４段階目の画面遷移で次の出題データの表示処理（図４）に移行される。

ステップＳ０１：一例として第１制御部Ｃは、出題機能を実行する(上記出題部１３０の動作)。すなわち第１制御部Ｃは、予め記憶部１２０等に登録された出題データベース(不図示)から、設定順に出題データ(問題、お題)を読み出す。

ステップＳ０２：また第１制御部Ｃは、出題機能の実行や対比データの表示を行うための押韻評価画面(図４(Ａ)参照)を介してその出題データに基づく文字列（問題）を表示部Ｄに表示させる。図４(Ａ)においては、押韻評価画面の一例が示されている。押韻評価画面のフレームには、上記第７基準において説明した合致数の累計ポイントの表示領域が設けられている。この領域に合致数の累計ポイントが提示されており、この累計ポイントは例えば記憶部１２０に記憶されている。また、当該画面には出題データに基づく「問題」と「問題の読み仮名」と「問題の母音等」が表示される。これは出題データの付帯情報に基づき表示されている。また、押韻評価画面のフレームには、音声認識モードにおいて発声タイミングを示唆する表示領域が設けられている。第１制御部Ｃは、この表示領域において図または記号(図ではマイクロフォンを模した画像)を時間変化に応じてスライド移動表示させ、ユーザによる発声のタイミングをガイドしている。例えば第１制御部Ｃは、マイクロフォン画像をスライド移動表示させつつ、マイクロフォン画像がスライド表示領域の中央に移動するまで、スライド表示されるマイクロフォンの画像上に重畳して発声禁止を示す図または記号を表示させる。また第１制御部Ｃは、当該表示領域の表示態様を変えておき(例えば色分け)、発声可能になるまでの時間をユーザに示唆する。

ステップＳ０３：第１制御部Ｃは、ステップＳ０２における上記スライド表示の開始とともにクロックパルス等により所定時間の経過を計時する。この所定時間は、例えば「スライド表示の開始」から、「問題に対する答えの入力をユーザに許容する入力(発声)タイミングの始期」までの間の時間である。当該入力タイミングの到来後(図４(Ｂ)参照)、一例として第１制御部Ｃは、生成機能を実行する(上記生成部１４０の動作)。すなわち第１制御部Ｃは、マイクロフォン(入力部１１０ａ)が検知した音声(外部入力)の入力を受ける。なお、第１制御部Ｃは「スライド表示の開始」から、「入力(発声)タイミングの始期」を超えてから所定の時間を経過するまで計時をしてもよい。この場合「入力(発声)タイミングの始期」を超えてから所定時間を経過しても回答（音声等）の入力がなかった場合、「判定エラー」を示す表示（例えば図６（Ｂ）の下方の表示参照）をしてもよい。

ステップＳ０４：第１制御部Ｃは、ステップＳ０３において検知した音声の入力を受けると、生成機能を実行する(上記生成部１４０の動作)。具体的には、音声が検知されると、第１制御部Ｃはその音声について音声認識し、対比データを生成する。この音声認識の結果を表示部Ｄに表示する構成の場合は、図５(Ａ)に示すように音声認識した結果を表示可能な文字データに変換して表示部Ｄに表示させる。なお、音声認識ができなかった場合、その旨を任意の方法で表示部Ｄに表示させてもよい。

ステップＳ０５：ステップＳ０４において対比データが生成されると、一例として第１制御部Ｃは、対比データ判定機能を実行する(上記対比データ判定部１５０の動作)。すなわち第１制御部Ｃは、記憶部１２０に記憶された対比データについて参照データと比較する。

ステップＳ０６：第１制御部Ｃは、参照データとの比較により対比データにおける自立語の存在の有無、またはラップ用語の存在の有無を判定する。これらのいずれかが存在する場合、第１制御部Ｃは、判定機能において、他に付属語および接辞があるか判定する。このようにして、対比データを構成する形態素が識別される。さらに第１制御部Ｃは、自立語および付属語等、各形態素に付加された品詞の種別情報に基づき、例えば対比データが文法的、あるいはヒップホップ・ラップ音楽の歌詞(lyric)として適正であるかどうか判定することにより出題データと対比可能であるが判定する。

ステップＳ０７：ステップＳ０６における判定結果が、対比可能である場合(ステップＳ０６；Ｙｅｓ)、一例として第１制御部Ｃは、抽出機能を実行する(上記抽出部１６０の動作)。具体的に第１制御部Ｃは、対比データの母音、撥音、拗音、促音および長音のうち予め設定された音素を評価データとして抽出する。なお、当該抽出のタイミングは、対比データの判定処理の後でもよく、あるいは生成部１４０による対比データの作成処理に並行して行うことも可能である。

ステップＳ０８：ステップＳ０７において評価データが抽出されると第１制御部Ｃは、出題データの母音等と評価データとを読み出し、両者の対比を行う。

ステップＳ０９：ステップＳ０８において対比した結果、一例として第１制御部Ｃは、評価機能を実行する(上記評価部１７０の動作)。ここでは、上記第１基準をベースとした第７基準に基づき、評価処理を行う例によって説明する。第１制御部Ｃは、出題データの母音等と評価データとの間で「音数が一致しており」、かつ「音素の並び順通りに同じ音が配列されている」という条件を満たすかという点で評価を行う。

ステップＳ１０：ステップＳ０９における対比の結果、上記条件が成就した場合(ステップＳ０９；Ｙｅｓ)、一例として第１制御部Ｃは、完全一致として「押韻成功」という判定をし、その旨の内容を表示部Ｄに表示させる。この表示は例えば、第７基準の「押韻成功」による加算ポイント数の表示のみ行ってもよい(図５(Ｂ)参照)。さらに第１制御部Ｃは、音声出力部１１０ｃに「押韻成功」を示す音声出力をさせてもよい。

ステップＳ１１：ステップＳ０６における判定結果により対比データが、「自立語もラップ用語も含まない」場合、「文法的にも、歌詞(lyric)としても許容できない」場合、または「出題データと対比データが完全同一である」場合(ステップＳ０６；Ｎｏ)、一例として第１制御部Ｃは、「押韻失敗」の旨の内容を表示部Ｄに表示させる。ステップＳ０９における上記条件が満たされなかった場合(ステップＳ０９；Ｎｏ)も同様である(図６(Ａ)，(Ｂ)参照)。

なお、第７基準のように合致数の累計ポイントを算定している構成の場合、押韻評価処理の終了後、例えば、サーバー記憶部２２０に記憶されているユーザごとの累計ポイント数のランキングを表示してもよい(図８（Ｂ）参照)。

（作用・効果）
第１実施形態の押韻評価プログラムによれば、従来の歌唱評価技術と異なる評価軸において評価されるラップ音楽、ヒップホップといった楽曲の評価をすることが可能となる。さらに、フリースタイルラップとなると、ジャズと同じく、即興で演奏される音楽という側面がある。つまりフリースタイルラップでは一つの正解が予め存在する音楽と違い、従来の歌唱評価技術による評価は非常に困難であったが、実施形態の押韻評価プログラムによれば、押韻の技量をさまざまな評価基準で評価可能であるので、自由度の高いフリースタイルラップであっても、評価することが可能である。

［第２実施形態］
第２実施形態にかかるユーザ端末１００およびサーバー２００について図９および図１０を参照して説明する。以下の説明において、第１実施形態と重複する説明は割愛する。

（ユーザ端末１００）
第２実施形態におけるユーザ端末１００は、第１制御部Ｃにおいて出題機能、生成機能、対比データ判定機能、評価機能、および抽出機能を実行せず、これら機能はサーバー２００の第２制御部ＳＣにより実行される。また第１実施形態の記憶部１２０に記憶されていた、参照データ、出題データ、各種画像を生成するための画像フレーム等はサーバー２００のサーバー記憶部２２０に記憶される。

（サーバー２００）
第２実施形態のサーバー２００は、第２制御部ＳＣにおいて出題部１３０Ａ、生成部１４０Ａ、対比データ判定部１５０Ａ、抽出部１６０Ａ、および評価部１７０Ａを含んで構成される。これら各機能は、ユーザ端末１００側の入力部１１０ａへの入力に基づき、そのデータが第１入出力部１１０および第２入出力部２１０を介して第２制御部ＳＣが受信することにより実行される。この点を除き、これら各機能は第１実施形態と概ね同様であり説明が重複するため割愛する。

（動作）
図１０は、第２実施形態に係る押韻評価プログラムによる押韻評価処理の流れを示すフローチャートである。例えば、第２制御部ＳＣは、以下の動作を示す押韻評価プログラムを実行する。なお、以下の動作（Ｓ２１〜Ｓ３１）の前提として第１実施形態同様に例えば次のような処理が行われる。ユーザ端末１００において入力部１１０ａを介して押韻評価プログラムの起動操作がなされると、第１制御部Ｃは、送受信部１１０ｂを介して第２制御部ＳＣに押韻評価プログラムの起動要求をする。第２制御部ＳＣは、サーバー記憶部２２０に記憶された押韻評価プログラムと初期画面の画像フレームとを読み出し、第２入出力部２１０を介してユーザ端末１００へ送信する。第１制御部Ｃは、受信した押韻評価プログラムを起動し、さらにサーバー２００側で作成された初期画面の表示データを受け表示部Ｄに表示させる。その後も、第１実施形態における入力部１１０ａを介した指示が押韻評価処理プログラムの進行にしたがって実行される。その結果、送受信部１１０ｂを介して第２制御部ＳＣにその進行状況に応じた指示要求が送信され、第１実施形態と同様の処理が実行される。したがって、第１実施形態と同様にサーバー２００の各機能の実行により図３のような画面遷移を経て、４段階目の画面遷移で次の出題データの表示処理（図４）に移行される。

ステップＳ２１：一例として第２制御部ＳＣは、出題機能を実行する(出題部１３０Ａの動作)。すなわち第２制御部ＳＣは、予めサーバー記憶部２２０等に登録された出題データベース(不図示)から、設定順に出題データ(問題、お題)を読み出す。

ステップＳ２２：また第２制御部ＳＣは、出題機能の実行や対比データの表示を行うための押韻評価画面(図４(Ａ)参照)を介して、読み出した出題データを当該画面にあてはめユーザ端末１００の表示部Ｄに表示させる。累計ポイントの表示、マイクロフォンの画像のスライド表示、発声禁止を示す図または記号の表示については、第１実施形態と同様である。なお、累計ポイントは例えばサーバー記憶部２２０に記憶されている。

ステップＳ２３：第２制御部ＳＣは、ステップＳ２２における上記スライド表示の開始とともに所定時間の経過を計時する。入力タイミングの到来後(図４(Ｂ)参照)、一例として第２制御部ＳＣは、生成機能を実行する(生成部１４０Ａの動作)。第１制御部Ｃがマイクロフォンを介して音声(外部入力)の入力を受けると、送受信部１１０ｂを介して第２制御部ＳＣは、当該音声データを受信する。

ステップＳ２４：第２制御部ＳＣは、ステップＳ２３において音声の入力を受けると、生成機能を実行する(生成部１４０Ａの動作)。具体的には、第２制御部ＳＣはその音声について音声認識し、対比データを生成する。この音声認識の結果は表示部Ｄに表示される。なお、音声認識ができなかった場合、その旨を任意の方法で出力させてもよい。

ステップＳ２５：ステップＳ２４において対比データが生成されると、一例として第２制御部ＳＣは、対比データ判定機能を実行する(対比データ判定部１５０Ａの動作)。すなわち第２制御部ＳＣは、サーバー記憶部２２０に記憶に記憶された対比データについて参照データと比較する。

ステップＳ２６：第２制御部ＳＣは、参照データとの比較により、対比データが「自立語、ラップ用語を含むか」、「文法的、あるいはヒップホップ・ラップ音楽の歌詞(lyric)として適正であるか」、「問題と解答が完全同一でないか」等を判定することにより出題データと対比可能であるか判定する。

ステップＳ２７：ステップＳ２６における判定結果が、対比可能である場合(ステップＳ２６；Ｙｅｓ)、一例として第２制御部ＳＣは、抽出機能を実行する(抽出部１６０Ａの動作)。具体的に第２制御部ＳＣは、対比データの母音、撥音、拗音、促音および長音のうち予め設定された音素を評価データとして抽出する。なお、当該抽出のタイミングは、対比データの判定処理の後でもよく、あるいは対比データの作成処理に並行して行うことも可能である。

ステップＳ２８：ステップＳ２７において評価データが抽出されると第２制御部ＳＣは、出題データの母音等と評価データとを読み出し、両者の対比を行う。

ステップＳ２９：ステップＳ２８において対比した結果、一例として第２制御部ＳＣは、評価機能を実行する(評価部１７０Ａの動作)。

ステップＳ３０：ステップＳ２９における対比の結果、上記条件が成就した場合(ステップＳ２９；Ｙｅｓ)、一例として第２制御部ＳＣは、完全一致として「押韻成功」という判定をし、その旨の内容を表示するための表示用データを、第２入出力部２１０を介してユーザ端末１００に送信する。第１制御部Ｃは、これを受けて表示部Ｄに表示させる。

ステップＳ３１：ステップＳ２６における判定結果により「自立語もラップ用語も含まない」か、「文法的にも、歌詞(lyric)としても許容できない」か、または「出題データと対比データが完全同一である」場合(ステップＳ２６；Ｎｏ)、一例として第２制御部ＳＣは、「押韻失敗」の旨の内容を表示するための表示用データを、第２入出力部２１０を介してユーザ端末１００に送信する。第１制御部Ｃは、これを受けて表示部Ｄに表示させる。ステップＳ２９における上記条件が満たされなかった場合(ステップＳ２９；Ｎｏ)も同様である。

なお、押韻評価処理の終了後のランキングについても第２制御部ＳＣがサーバー記憶部２２０に記憶された情報に基づき表示用データをユーザ端末１００に送信し、これを受けて第１制御部Ｃが表示部Ｄに表示させる。

（作用・効果）
第２実施形態の押韻評価プログラムによれば、従来の歌唱評価技術と異なる評価軸において評価されるラップ音楽、ヒップホップといった楽曲の評価をすることが可能となる。さらに、フリースタイルラップとなると、ジャズと同じく、即興で演奏される音楽という側面がある。つまりフリースタイルラップでは一つの正解が予め存在する音楽と違い、従来の歌唱評価技術による評価は非常に困難であったが、実施形態の押韻評価プログラムによれば、押韻の技量をさまざまな評価基準で評価可能であるので、自由度の高いフリースタイルラップであっても、評価することが可能である。

［第３実施形態］
第３実施形態にかかるユーザ端末１００、サーバー２００、ウェブサーバー３００、ＡＰＩサーバー４００およびアプリケーションサーバー５００について図１１を参照して説明する。以下の説明において、第２実施形態と重複する説明は割愛する。

（全体構成）
全体のシステムとしては、次のように構成される。ユーザ端末１００は、ウェブサーバー３００と接続されており、サーバー２００およびアプリケーションサーバー５００に対して、ウェブサーバー３００とＡＰＩサーバー４００とが接続されている。第３実施形態では、ユーザ端末１００がユーザに対する直接的な入出力機能（文字入力機能や音声入力機能と、表示機能）を実行する。ウェブサーバー３００は、各装置に対しウェブインターフェース機能を提供する。サーバー２００はアプリケーションサーバー５００が提供するアプリケーション（例えばゲームや学習プログラム）の一部の機能として、押韻評価処理を実行する。アプリケーションサーバー５００は、サーバー２００が実行する押韻評価処理を一部の機能として有するアプリケーションをウェブサーバー３００を介してユーザ端末１００に提供する機能を実行する。ＡＰＩサーバー４００は、アプリケーションサーバー５００が提供するアプリケーションにおいて、サーバー２００における押韻評価処理プログラムを利用するためのアプリケーション間のインターフェース機能を実行する。

（ユーザ端末１００）
アプリケーションサーバー５００が提供するアプリケーションを実行するために入力部１１０ａと、送受信部１１０ｂ、音声出力部１１０ｃと表示部Ｄと、これらを制御する第１制御部Ｃとを含んで構成される。

なお、アプリケーションサーバー５００が提供するアプリケーションプログラムにつき、以下説明の便宜上、一例として「ゲームプログラム等」と記載する。ただし、当該アプリケーションプログラムをゲームプログラムに限定する趣旨ではなく、例えばフリースタイルラップの練習用プログラム、学習プログラムまたは複数人でラップの技術を競う場において使用される評価プログラム等、その用途はさまざまである。

また第１制御部Ｃは、ウェブサーバー３００とデータの送受信をするためにウェブブラウザあるいは外部装置からアプリケーションを利用するための専用のプログラム等を実行可能である。

（ウェブサーバー３００）
ウェブサーバー３００は、第３入出力部３１０と第３制御部ＷＣを含んで構成される。第３入出力部３１０は、例えば第１制御部Ｃにより実行されるウェブブラウザを介し、ユーザ端末１００のユーザの操作に応じたゲームプログラム等の実行指示を受ける。第３制御部ＷＣは、第３入出力部３１０を介してアプリケーションサーバー５００に対し、当該実行指示を送信する。なお、ウェブサーバー３００を介さず、ユーザ端末１００にアプリケーションサーバー５００からアプリケーションが提供されてもよい。

（アプリケーションサーバー５００）
アプリケーションサーバー５００は、第５入出力部５１０と第５制御部ＷＣを含んで構成される。第５入出力部５１０は、例えばウェブサーバー３００からゲームプログラム等の実行指示を受ける。第５制御部ＡＳＣは、当該実行指示に基づき、外部装置（図示しないデータベースサーバー等）または内部の記憶装置（不図示）からゲームプログラム等と初期画面の画像フレームとを読み出し、ウェブサーバー３００を介してユーザ端末１００に当該プログラムの初期画面の表示用データを送信する。また、後述のようにゲームプログラム等において押韻評価処理のリクエストがあった場合、第５制御部ＡＳＣは、ＡＰＩサーバー４００を介してサーバー２００が提供する押韻評価機能をゲームプログラム等において利用する。

ユーザ端末１００において、ユーザの操作により、ゲームプログラム等において押韻評価処理が要求されると、ウェブサーバー３００等を介し、アプリケーションサーバー５００は、押韻評価処理の実行指示を受ける。第５制御部ＡＳＣは、第５入出力部５１０を介してＡＰＩサーバー４００に対し、当該実行指示を送信する。

（ＡＰＩサーバー４００）
第４入出力部４１０と第４制御部ＡＰＣを含んで構成される。第４入出力部４１０は、アプリケーションサーバー５００から押韻評価処理の実行指示を受信する。第４制御部ＡＰＣは、その実行指示に基づき、ゲームプログラム等において、押韻評価処理プログラムを利用するための各処理を実行する。第４制御部ＡＰＣは、第４入出力部４１０を介して押韻評価処理プログラムの実行指示をサーバー２００に送る。なお、ＡＰＩサーバー４００を設けず、サーバー２００にアプリケーション間のインターフェース機能を設けてもよい。

（サーバー２００）
第３実施形態のサーバー２００の構成は概ね第２実施形態と同様である。すなわち、第２制御部ＳＣにおいて出題部１３０Ａ、生成部１４０Ａ、対比データ判定部１５０Ａ、抽出部１６０Ａ、および評価部１７０Ａの各機能が実行される。第２制御部ＳＣは処理結果を、ＡＰＩサーバー４００を介してアプリケーションサーバー５００に送信する。なお、第３実施形態においては、図１１に示す一例として参照データや出題データ等が外部装置である参照データベースに記憶されている。サーバー２００は、押韻評価処理プログラムの各機能の実行において参照データベースにおける参照データや出題データ等を参照して当該各機能を実行する。

アプリケーションサーバー５００は、ＡＰＩサーバー４００から押韻評価処理の結果を受ける。アプリケーションサーバー５００は、その結果を利用したゲームプログラム等の実行結果を、ユーザ端末１００へ送る表示用データに反映する。アプリケーションサーバー５００はウェブサーバー３００を介して当該表示用データをユーザ端末１００に送信する。ユーザ端末１００は、当該押韻評価処理後のゲームプログラム等の処理結果が反映された表示用データを受信し、第１制御部Ｃは、表示部Ｄを制御して当該データに基づく表示を実行する。

（作用・効果）
第３実施形態においてもサーバー２００において押韻評価処理を実行している。この処理結果が、アプリケーションサーバー５００が提供するアプリケーションプログラムによりユーザに提供される。このような構成によれば、従来の歌唱評価技術と異なる評価軸において評価されるラップ音楽、ヒップホップといった楽曲の評価をすることが可能となる。さらに、フリースタイルラップとなると、ジャズと同じく、即興で演奏される音楽という側面がある。つまりフリースタイルラップでは一つの正解が予め存在する音楽と違い、従来の歌唱評価技術による評価は非常に困難であったが、実施形態の押韻評価プログラムによれば、押韻の技量をさまざまな評価基準で評価可能であるので、自由度の高いフリースタイルラップであっても、評価することが可能である。

［第４実施形態］
第４実施形態は、上記第１実施形態〜第３実施形態のいずれかにおける押韻評価処理の実行において、対比データが文字入力によって行われる場合についてのものである。以下、図１２、図１３および図１４を用い、第１実施形態の構成に基づいた第４実施形態の動作について説明する。

一例として第１制御部Ｃは、出題機能を実行する(上記出題部１３０の動作)。すなわち第１制御部Ｃは、予め記憶部１２０等に登録された出題データベース(不図示)から、設定順に出題データ(問題、お題)を読み出す。

また第１制御部Ｃは、出題機能の実行や対比データの表示を行うための押韻評価画面(図１２(Ａ)参照)を介してその出題データに基づく文字列（問題）を表示部Ｄに表示させる。図１２(Ａ)においては、押韻評価画面の一例が示されている。累計ポイントの表示、鉛筆の画像のスライド表示、発声禁止を示す図または記号の表示については、第１実施形態と同様である（鉛筆の画像は、マイクロフォンを模した画像の表示と同様である。）。なお、累計ポイントは例えばサーバー記憶部２２０に記憶されている。

第１制御部Ｃは、鉛筆を模した画像のスライド移動表示の開始とともにクロックパルス等により所定時間の経過を計時する。この所定時間は、例えば「スライド表示の開始」から、「問題に対する答えの入力をユーザに許容する、文字入力タイミングの始期」までの間の時間である。当該入力タイミングの到来後(図１２(Ｂ)参照)、一例として第１制御部Ｃは、生成機能を実行する(上記生成部１４０の動作)。すなわち第１制御部Ｃは、入力部１１０ａ（例えばタッチパネル）が検知した文字入力操作(図１２ではフリック入力操作領域への操作)の入力を受ける。なお、第１制御部Ｃは「スライド表示の開始」から、「入力(発声)タイミングの始期」を超えてから所定の時間の経過を計時してもよい。この場合「入力(発声)タイミングの始期」を超えた所定時間を経過しても回答（音声等）の入力がなかった場合、「判定エラー」を示す表示（例えば図１４の下方の表示参照）をしてもよい。

第１制御部Ｃは、文字入力信号を受けると、生成機能を実行する(上記生成部１４０の動作)。具体的には、文字入力信号が検知されると、第１制御部Ｃは当該信号に応じた変換処理を行い、対比データを生成する。この音声認識の結果を表示部Ｄに表示する構成の場合は、図１３(Ａ)に示すように音声認識した結果を表示可能な文字データに変換して表示部Ｄに表示させる。なお、音声認識ができなかった場合、その旨を任意の方法で表示部Ｄに表示させてもよい。

対比データが生成されると、一例として第１制御部Ｃは、対比データ判定機能を実行する(上記対比データ判定部１５０の動作)。すなわち第１制御部Ｃは、記憶部１２０に記憶された対比データについて参照データと比較する。

第１制御部Ｃは、参照データとの比較により対比データにおける自立語の存在の有無、またはラップ用語の存在の有無を判定する。これらのいずれかが存在する場合、第１制御部Ｃは、判定機能において、他に付属語および接辞があるか判定する。このようにして、対比データを構成する形態素が識別される。さらに第１制御部Ｃは、自立語および付属語等、各形態素に付加された品詞の種別情報に基づき、例えば対比データが文法的、あるいはヒップホップ・ラップ音楽の歌詞(lyric)として適正であるかどうか判定することにより出題データと対比可能であるが判定する。

判定結果が、対比可能である場合、一例として第１制御部Ｃは、抽出機能を実行する(上記抽出部１６０の動作)。具体的に第１制御部Ｃは、対比データの母音、撥音、拗音、促音および長音のうち予め設定された音素を評価データとして抽出する。なお、当該抽出のタイミングは、対比データの判定処理の後でもよく、あるいは生成部１４０による対比データの作成処理に並行して行うことも可能である。

評価データが抽出されると第１制御部Ｃは、出題データの母音等と評価データとを読み出し、両者の対比を行う。対比した結果、一例として第１制御部Ｃは、評価機能を実行する(上記評価部１７０の動作)。ここでは、上記第１基準をベースとした第７基準に基づき、評価処理を行う例によって説明する。第１制御部Ｃは、出題データの母音等と評価データとの間で「音数が一致しており」、かつ「音素の並び順通りに同じ音が配列されている」という条件を満たすかという点で評価を行う

対比の結果、上記条件が成就した場合、一例として第１制御部Ｃは、完全一致として「押韻成功」という判定をし、その旨の内容を表示部Ｄに表示させる。この表示は例えば、第７基準の「押韻成功」による加算ポイント数の表示のみ行ってもよい(図１３(Ｂ)参照)。さらに第１制御部Ｃは、音声出力部１１０ｃに「押韻成功」を示す音声出力をさせてもよい。

対比データ判定機能の判定結果により対比データが、「自立語もラップ用語も含まない」場合、「文法的にも、歌詞(lyric)としても許容できない」場合、または「出題データと対比データが完全同一である」場合、一例として第１制御部Ｃは、「押韻失敗」の旨の内容を表示部Ｄに表示させる。評価機能の処理結果において上記条件が満たされなかった場合も同様である(図１４参照)。

（作用・効果）
第４実施形態の押韻評価プログラムによれば、従来の歌唱評価技術と異なる評価軸において評価されるラップ音楽、ヒップホップといった楽曲の評価をすることが可能となる。さらに、フリースタイルラップとなると、ジャズと同じく、即興で演奏される音楽という側面がある。つまりフリースタイルラップでは一つの正解が予め存在する音楽と違い、従来の歌唱評価技術による評価は非常に困難であったが、実施形態の押韻評価プログラムによれば、押韻の技量をさまざまな評価基準で評価可能であるので、自由度の高いフリースタイルラップであっても、評価することが可能である。

［変形例１］
上記第１実施形態〜第４実施形態の変形例１について説明する。上記実施形態の説明においては、一例としていずれもユーザ端末１００に表示部Ｄを備えている構成について図面を参照して説明した。しかしながら表示部Ｄを備えている構成に限られない。例えば、表示部Ｄがユーザ端末１００に接続された外部装置である場合が考えられる。また、図１５に示すようにＡＩスピーカー７００(スマートスピーカー(登録商標))のように、上記押韻評価プログラムにおけるユーザに向けた出題の出力においても、対比データの入力においても、押韻の成否の判定結果の出力においても、すべて音声出力によることが可能であり、視覚的な表示は上記第１実施形態〜第４実施形態に必ずしも必要とされない。この変形例においても、ラップ音楽等の評価をすることが可能であり、さらに、フリースタイルラップのような即興で演じられる押韻の技量をさまざまな評価基準で評価可能であるので、自由度の高いフリースタイルラップであっても、評価することが可能である。

［変形例２］
上記第１実施形態〜第４実施形態の変形例２について説明する。上記実施形態の説明においては、システム、プログラムにおいて出題データが設定されている例について説明したがこの構成に限られない。例えば、２人以上のユーザが、互いに文字入力または音声入力により、他者に対する出題データを入力し、出題部１３０はそれを出題部データとして設定してもよい。一方のユーザ端末１００において入力された出題データは、例えばＬＡＮまたはＷＡＮを介して他方のユーザ端末に送られ、当該データを受信した端末の出題部１３０が受信データに基づいて問題を設定する。この変形例においても、ラップ音楽等の評価をすることが可能であり、さらに、フリースタイルラップのような即興で演じられる押韻の技量をさまざまな評価基準で評価可能であるので、自由度の高いフリースタイルラップであっても、評価することが可能である。

この発明の実施形態を説明したが、上記の実施形態は例として提示したものであり、発明の範囲を限定することを意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。例えばユーザ端末１００としては、スマートフォンに限らず、タブレット端末、コンシューマゲーム機、アーケードゲーム機、フリースタイルラップの大会における評価装置、カラオケ装置、ＡＰＩ等に置き換えることが可能である。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００ ユーザ端末
１１０ 入出力部
１２０ 記憶部
Ｃ 制御部
１３０ 出題部
１４０ 生成部
１５０ 対比データ判定部
１６０ 抽出部
１７０ 評価部

Claims (5)

1. 単語または節を出題データとして設定する出題部と、
   外部入力に基づき、前記出題データと対比される対比データを生成する生成部と、
   前記対比データと参照データを比較して、前記出題データと対比可能であるか判定する対比データ判定部と、
   前記対比データの母音または撥音を評価データとして抽出する抽出部と、
   前記評価データと前記出題データの母音または撥音とを対比し、評価基準データに基づき評価処理を行う評価部と
   を具備する押韻評価装置。
2. コンピュータの制御方法であって、
   単語または節を出題データとして設定する工程と、
   入力デバイスからの入力に基づき、前記出題データと対比される対比データを生成する工程と、
   前記対比データと参照データを比較させて、前記出題データと対比可能であるか判定させ、その前もしくは後または並列に前記対比データの母音または撥音を評価データとして抽出する工程と、
   前記評価データと前記出題データの母音または撥音とを対比する工程と、
   評価基準データに基づき評価処理を行う工程と、
   を具備するコンピュータの制御方法。
3. コンピュータに、
   単語または節を出題データとして設定する出題機能と、
   入力デバイスからの入力に基づき、前記出題データと対比される対比データを生成する生成機能と、
   前記対比データと参照データを比較して、前記出題データと対比可能であるか判定し、その前もしくは後または並列に前記対比データの母音または撥音を評価データとして抽出する判定抽出機能と、
   前記評価データと前記出題データの母音または撥音とを対比する対比機能と、
   対比結果評価基準データに基づき評価処理を行う評価機能と、
   を実行させる押韻評価プログラム。
4. 前記参照データには、少なくともいずれか１つの言語における形態素と、該言語を使用する地域におけるラップ用語が含まれ、
   前記判定抽出機能は、前記対比データと、前記参照データを対比することにより、前記対比データが、ラップにおける歌詞として成立する場合に前記出題データと対比可能と判定することを特徴とする請求項３記載の押韻評価プログラム。
5. 前記対比機能は、前記出題データを構成する形態素を基準として、前記対比データの母音、または撥音と対比していき、
   前記評価機能は、前記対比機能による前記対比の結果、その合致数または合致度を求め、評価基準として設定された許容合致数または許容合致度に基づき、前記評価処理を行うことを特徴とする請求項３または４に記載の押韻評価プログラム。
   

Images