JP2016161831A - 歌唱評価装置およびプログラム - Google Patents

歌唱評価装置およびプログラム Download PDF

Info

Publication number
JP2016161831A
JP2016161831A JP2015041620A JP2015041620A JP2016161831A JP 2016161831 A JP2016161831 A JP 2016161831A JP 2015041620 A JP2015041620 A JP 2015041620A JP 2015041620 A JP2015041620 A JP 2015041620A JP 2016161831 A JP2016161831 A JP 2016161831A
Authority
JP
Japan
Prior art keywords
pitch
singing
unit
stable
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015041620A
Other languages
English (en)
Other versions
JP6488767B2 (ja
Inventor
川嶋 隆宏
Takahiro Kawashima
隆宏 川嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2015041620A priority Critical patent/JP6488767B2/ja
Publication of JP2016161831A publication Critical patent/JP2016161831A/ja
Application granted granted Critical
Publication of JP6488767B2 publication Critical patent/JP6488767B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Auxiliary Devices For Music (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

【課題】楽譜データの存在を前提とすることなく、歌唱を適切に評価する。
【解決手段】区間設定部は、楽曲の一の歌唱音声を示す第1歌唱信号の音高が安定する複数の第1音高安定区間と、当該楽曲の他の歌唱音声を示す第2歌唱信号の音高が安定する複数の第2音高安定区間とを設定する。代表値算出部は、区間設定部が設定した複数の第1音高安定区間の各々と複数の第2音高安定区間の各々とが時間軸上で重複する重複区間毎に、第1歌唱音声の音高の代表値と第2歌唱音声の音高の代表値とを算出する。評価部は、各重複区間における第1歌唱信号の音高の代表値と第2歌唱信号の音高の代表値とが所定の音高関係にあるか否かに応じて、一の歌唱音声と他の歌唱音声との調和の度合いを評価する。
【選択図】図1

Description

本発明は、歌唱を評価する技術に関する。
複数の歌唱パートを有する楽曲について、歌唱した音声(以下「歌唱音声」という)を解析することで、各歌唱パート毎に歌唱の巧拙を評価する各種の歌唱評価技術が提案されている。例えば、特許文献1には、複数の歌唱パートを有する歌唱者の歌唱音声を評価する技術において、歌唱音声の音高(歌唱音高)と、利用者が歌唱すべき音高を表す評価用データとを比較することで、歌唱パート毎に歌唱の巧拙を評価する構成が開示されている。
特開2008−268368号公報
しかしながら、特許文献1の構成では、複数の歌唱パート毎に評価用データを用意する必要があり、評価用データを作成する負担が大きいという事情がある。以上の事情を考慮して、本発明は、評価用データの存在を前提とすることなく、複数の歌唱パートについて歌唱音声の巧拙を適切に評価することを目的とする。
以上の課題を解決するために、本発明の第1態様に係る歌唱評価装置は、楽曲の一の歌唱音声を示す第1歌唱信号の音高が安定する複数の第1音高安定区間と、前記楽曲の他の歌唱音声を示す第2歌唱信号の音高が安定する複数の第2音高安定区間とを設定する区間設定部と、前記区間設定部が設定した複数の第1音高安定区間の各々と複数の第2音高安定区間の各々とが時間軸上で重複する重複区間毎に、前記第1歌唱信号の音高の代表値と前記第2歌唱信号の音高の代表値とを算出する代表値算出部と、前記各重複区間における前記第1歌唱信号の音高の代表値と前記第2歌唱信号の音高の代表値とが所定の音高関係にあるか否かに応じて、前記一の歌唱音声と前記他の歌唱音声との調和の度合いを評価する評価部とを具備する。以上の構成では、第1歌唱信号の音高の代表値と第2歌唱信号の音高の代表値とが所定の音高関係にあるか否かに応じて歌唱音声間の調和の度合いが評価されるから、楽曲の各歌唱パートの評価用データが存在しない場合でも、一の歌唱パートの歌唱音声と他の歌唱パートの歌唱音声との調和を度合いを適切に評価することが可能である。また、以上の構成では、第1歌唱信号の音高が安定する複数の第1音高安定区間と、第2歌唱信号の音高が安定する複数の第2音高安定区間とが重複する重複区間毎に第1歌唱信号の音高の代表値と第2歌唱信号の音高の代表値との関係が判定されるから、楽曲全体に亘る歌唱音高が評価対象とされる構成と比較して、演算の負荷を低減しながら適切に歌唱音高を評価することが可能になる。
ここで、所定の音高関係としては、例えば、一の音高安定区間の代表値と他の音高安定区間の代表値とが、十二平均音律における半音(100cent)の整数倍だけ相違する関係が例示される。また、代表値としては、平均値や、中央値等が例示される。
第1態様に係る歌唱評価装置の好適例において、前記第1歌唱信号の音高を順次解析する音高解析部と、前記第2歌唱信号から順次解析された音高を受信する受信部とを具備し、前記区間設定部は、前記第1歌唱信号のうち前記音高解析部が解析した音高が安定する複数の第1音高安定区間と、前記第2歌唱信号のうち前記受信部が受信した音高が安定する複数の第2音高安定区間とを設定する。以上の構成では、第2歌唱信号から解析された音高が受信部によって受信されるから、音高解析部で第2歌唱信号の音高を解析する必要がない。したがって、音高解析部が第1歌唱信号の音高に加えて第2歌唱信号の音高も解析する構成と比較して、音高解析部による処理負荷を軽減することが可能になる。
第1態様に係る歌唱評価装置の好適例において、前記音高解析部は、時間軸上の第1解析点毎に前記第1歌唱信号の音高を順次に解析し、前記受信部は、時間軸上の第2解析点毎に順次に解析された前記第2歌唱信号の音高を受信し、前記区間設定部は、複数の第1解析点と複数の第2解析点との間で相互に対応するもの同士を時間軸上で相互に合致させたうえで、前記第1音高安定区間と前記第2音高安定区間とが重複する重複区間を設定する。以上の構成では、第1解析点と第2解析点とを時間軸上で相互に合致させるから、時間軸上で一致する解析点における、一の歌唱パート(例えば一の歌唱音声)の音高と、他の歌唱パート(例えば他の歌唱音声)の音高との調和の度合いを適切に評価することが可能になる、という利点がある。
本発明の第2態様に係る歌唱評価装置は、楽曲の一の歌唱音声を示す第1歌唱信号の音高が安定する複数の第1音高安定区間と、前記楽曲の他の歌唱音声を示す第2歌唱信号の音高が安定する複数の第2音高安定区間とを設定する区間設定部と、前記複数の第1音高安定区間の各々における音高の代表値を算出する一方、前記複数の第2音高安定区間の各々における音高の代表値を算出する代表値算出部と、前記複数の第1音高安定区間に亘る音高の代表値の度数分布を示す第1度数分布を生成する一方、前記複数の第2音高安定区間に亘る音高の代表値の度数分布を示す第2度数分布を生成する音高分布生成部と、前記第1度数分布を音階音の音高を中心とする複数の単位範囲に区分し、各単位範囲を相互に重複させて当該各単位範囲の分布の度数を複数の単位範囲にわたり音高毎に合計することで第1評価分布を作成する一方、前記第2度数分布を音階音の音高を中心とする複数の単位範囲に区分し、各単位範囲を相互に重複させて当該各単位範囲の分布の度数を複数の単位範囲にわたり音高毎に合計することで第2評価分布を作成する解析処理部と、前記第1評価分布と前記第2評価分布とに基づいて、前記一の歌唱音声と前記他の歌唱音声との歌唱音高の類似の度合いを評価する評価部とを具備する。以上の構成では、複数の第1音高安定区間に亘る第1歌唱信号の音高の代表値の第1度数分布と、複数の第2音高安定区間に亘る第2歌唱信号の音高の代表値の第2度数分布とに応じて、一の歌唱音声と他の歌唱音声との歌唱音高における傾向の類似の度合いが評価されるから、歌唱音声と対比すべき評価用データが存在しない場合でも、一の歌唱音声と他の歌唱音声との歌唱音高における傾向の類似の度合いを適切に評価することが可能になる。また、第1歌唱信号および第2歌唱信号の全区間が評価対象とされる構成と比較して、演算の処理負荷を低減しながら適切に歌唱音高を評価することが可能になる、という利点がある。
以上の各態様に係る歌唱評価装置は、専用のハードウェア(電子回路)によって実現されるほか、CPU(Central Processing Unit)等の汎用の演算処理装置とプログラムとの協働によっても実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性(non-transitory)の記録媒体であり、CD-ROM等の光学式記録媒体(光ディスク)が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。また、例えば、本発明のプログラムは、通信網を介した配信の形態で提供されてコンピュータにインストールされ得る。また、本発明は、以上に説明した各態様に係る歌唱評価装置の動作方法(歌唱評価方法)としても特定される。
第1実施形態に係る歌唱評価システム1の概略図である。 第1歌唱信号V1の音高PAおよび第2歌唱信号V2の音高PBのグラフである。 解析区間TAおよび第1音高安定区間TSAの設定についての説明図である。 歌唱評価部22(音高解析部222,区間設定部224)の動作のフローチャートである。 歌唱評価部22(評価部228)の処理の動作のフローチャートである。 差分値Cに対する評価値の分布の一例を示す説明図である。 第2実施形態に係る歌唱評価システム1の概略図である。 音高解析部222が解析した第1歌唱信号V1の音高PAと、通信装置15が受信した第2歌唱信号V2の音高PBのグラフである。 区間設定部224が第1解析点KAと第2解析点KBとを合致させた後の第1歌唱信号V1の音高PAと第2歌唱信号V2の音高PBのグラフである。 第4実施形態に係る歌唱評価システム1の概略図である。 第4実施形態の音高分布生成部225の処理についての説明図である。 第4実施形態の解析処理部227の処理についての説明図である。 第4実施形態の歌唱評価部22の処理の動作のフローチャートである。 第5実施形態に係る歌唱評価システム1の概略図である。
<第1実施形態>
図1は、第1実施形態に係る歌唱評価システム1の概略図である。歌唱評価システム1は、図1に例示されるように、利用者U1が使用する端末装置D1と、利用者U2が使用する端末装置D2とを含んで構成される。第1実施形態では、端末装置D1を歌唱評価装置として利用する構成を例示する。利用者U1は、端末装置D1に向けて歌唱する。利用者U2は、端末装置D2に向けて歌唱する。
端末装置D2は、例えば携帯電話機やスマートフォン等の通信端末であり、収音装置34と通信装置35とを具備する。収音装置34は、利用者U2が楽曲を歌唱した歌唱音声を収音して第2歌唱信号V2を生成する。通信装置35は、端末装置D1と通信するための通信機器であり、収音装置34が生成した第2歌唱信号V2を端末装置D1に送信する。
第1実施形態の端末装置D1は、利用者U1が楽曲を歌唱した歌唱音声(第1歌唱音声)と、端末装置D2の利用者U2が同一の楽曲を歌唱した歌唱音声(第2歌唱音声)との間の調和の度合いを評価する装置であり、演算処理装置10と記憶装置12と入力装置13と収音装置14と通信装置15と表示装置16と放音装置18とを具備するコンピュータシステムで実現される。例えば、利用者が携行する可搬型の通信端末(携帯電話機やスマートフォン)およびパーソナルコンピュータ等の情報処理装置が端末装置D1として利用される。収音装置14は、周囲の音響を収音する装置(マイクロホン)である。第1実施形態の収音装置14は、端末装置D1の利用者U1が楽曲を歌唱した歌唱音声を収音して第1歌唱信号V1を生成する。入力装置13は、利用者からの指示を受付ける機器(例えば、タッチパネル等)である。
記憶装置12は、演算処理装置10が実行するプログラムPGMや演算処理装置10が使用する各種のデータを記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置12として任意に採用される。具体的には、記憶装置12は、楽曲データLを記憶する。楽曲データLは、楽曲の伴奏音を時系列で規定する伴奏データBと、歌詞を示す歌詞データQとを包含する。伴奏データBは、例えばMP3等の形式の音楽ファイルである。利用者が所望の楽曲を選択すると、当該楽曲の伴奏データBが再生される。表示装置16(例えば液晶表示パネル)は、演算処理装置10から指示された画像を表示する。例えば、利用者が選択した楽曲の歌詞データQや、歌唱音声の評価結果(評価値S)が表示装置16に表示される。通信装置15は、端末装置D2と通信するための通信機器である。具体的には、通信装置15は、端末装置D2の通信装置35が送信した第2歌唱信号V2を無線により受信する。なお、通信装置15と端末装置D2との間の通信は、移動通信網やインターネット等の通信網400を介した通信であってもよいし、無線LANやBluetooth(登録商標)規格等の近距離無線通信であってもよい。
図1の演算処理装置10(CPU)は、記憶装置12に格納されたプログラムPGMを実行することで、端末装置D1の各要素を統括的に制御する。具体的には、演算処理装置10は、端末装置D1の収音装置14によって生成された第1歌唱信号V1と、端末装置D2の収音装置34によって生成された第2歌唱信号V2とが示す歌唱を評価するための複数の機能(歌唱評価部22,再生処理部26,表示処理部28)を実現する。なお、演算処理装置10の各機能を複数の装置に分散した構成や、専用の電子回路(例えばDSP)が演算処理装置10の一部の機能を実現する構成も採用され得る。
再生処理部26は、収音装置14によって生成された第1歌唱信号V1と記憶装置12から読み出された伴奏データBとを混合するとともにアナログ信号に変換して放音装置18に供給する。放音装置18(例えばスピーカやヘッドホン)は、再生処理部26から供給される信号に応じた音響を放音する。すなわち、伴奏データBが表す楽曲の伴奏音と利用者U1の歌唱音声との混合音が放音装置18から放音される。表示処理部28は、各種の画像を表示装置16に表示させる。具体的には、表示処理部28は、歌唱対象として選択された楽曲が包含する歌詞データQや、歌唱評価部22によって生成された歌唱評価の結果を示す評価値Sを表示装置16に表示させる。
歌唱評価部22は、第1歌唱信号V1および第2歌唱信号V2を解析することで、利用者U1による歌唱音声の音高(歌唱音高)と、利用者U2による歌唱音高との調和の度合いを評価する手段であり、音高解析部222と区間設定部224と代表値算出部226と評価部228とを含んで構成される。
第1実施形態の音高解析部222は、収音装置14によって生成された第1歌唱信号V1の音高PAを所定周期毎に順次に解析する。また、第1実施形態の音高解析部222は、通信装置15によって受信された第2歌唱信号V2の音高PBを所定周期毎に順次に解析する。
図2は、音高解析部222によって解析される第1歌唱信号V1の音高PAと第2歌唱信号V2の音高PBのグラフである。音高解析部222は、楽曲に想定され得る音符の時間長と比較して十分に短い周期(例えば10ms毎)で、第1歌唱信号V1の音高PAと第2歌唱信号V2の音高PBとを所定周期毎に順次に特定する。歌唱音声の音高の特定には、公知のピッチ検出技術が任意に採用され得る。
図1の区間設定部224は、歌唱の進行に並行して、音高解析部222が解析した第1歌唱信号V1の音高PAが安定する第1音高安定区間TSAを複数設定する。具体的には、区間設定部224は、図2に例示される通り、第1歌唱信号V1のうち音高PAの変動量(すなわち、音高PAの最高値と最低値との差異)が所定の範囲内に維持される区間を第1音高安定区間TSA(TSA1,TSA2,TSA3…)として設定する。同様に、区間設定部224は、歌唱の進行に並行して、音高解析部222が解析した第2歌唱信号V2の音高PBが安定する第2音高安定区間TSBを複数設定する。具体的には、区間設定部224は、第1音高安定区間TSAの特定と同様の方法により、第2歌唱信号V2のうち音高PBの変動量(すなわち、音高PBの最高値と最低値との差異)が所定の範囲内に維持される区間を第2音高安定区間TSB(TSB1,TSB2,TSB3…)として複数設定する。
また、区間設定部224は、複数の第1音高安定区間TSAの各々と、複数の第2音高安定区間TSBの各々とが時間軸上で重複する重複区間RTSを特定する。重複区間RTSは、図2に例示される通り、複数の第1音高安定区間TSA(TSA1,TSA2,TSA3…)の各々と、複数の第2音高安定区間TSB(TSB1,TSB2,TSB3…)の各々とが、時間軸上で重なり合う範囲である。
図1の代表値算出部226は、区間設定部224が設定した重複区間RTS、すなわち、複数の第1音高安定区間TSAの各々と、複数の第2音高安定区間TSBの各々とが時間軸上で重複する重複区間RTSにおける第1歌唱信号V1の音高PAの代表値RPA(第1歌唱音声の音高の代表値)と第2歌唱信号V2の音高PBの代表値RPB(第2歌唱音声の音高の代表値)とを算出する。代表値算出部226は、図2に例示されるように、重複区間RTS毎に、音高PAの代表値RPA(RPA1,RPA2,RPA3…)および音高PBの代表値RPB(RPB1,RPB2,RPB3…)を算出する。具体的には、第1音高安定区間TSA(第2音高安定区間TSB)の各々で特定された複数の音高PA(PB)の平均値が代表値RPA(RPB)として算出される。
図1の評価部228は重複区間RTS毎に代表値算出部226が算出した第1歌唱信号V1の音高PAの代表値RPAと第2歌唱信号V2の音高PBの代表値RPBとが所定の音高関係にあるか否かに応じて、第1歌唱音声と第2歌唱音声との間の調和の度合いを評価する。本実施形態の評価部228は、第1歌唱音声と第2歌唱音声とが聴感的に調和のとれた音高関係にあるか否かに着目して、第1歌唱音声と第2歌唱音声との調和の度合いを評価した評価値Sを出力する。
図4は、音高解析部222および区間設定部224の処理の動作のフローチャートである。例えば、楽曲データLの再生が開始されると、図4の処理が開始される。なお、図4では、音高解析部222および区間設定部224による第1歌唱信号V1に対する処理を例示する。第2歌唱信号V2に対する処理は、第1歌唱信号V1に対する処理と同様であるので詳細な説明を省略する。
音高解析部222が第1歌唱信号V1のうち時間軸上の1個の時点(以下「解析点」という)ついて音高PAを特定すると(SA1)、区間設定部224は、図3に例示される通り、音高PAが特定された時間軸上の解析点KAを終点とする所定長の解析区間TAを設定する(SA2)。解析区間TAは、時間窓関数が規定する分析の対象とされる時間的区間であり、例えば、音高解析が実行される周期(10ms)よりも十分に長い時間長(例えば200ms)に設定される。したがって、解析点KAについて新たに特定された音高PAと解析点KA以前の音高PAとを含む複数の音高PAが解析区間TA内に包含される。
区間設定部224は、解析区間TA内の複数の音高PAの最大値PA-MAXと最小値PA-MINとを特定し、最大値PA-MAXと最小値PA-MINとの差分値R(絶対値)が所定の閾値PATHを下回るか否かを判定する(SA3)。差分値R(すなわち解析区間TA内の音高PAの分布幅)が狭いほど、第1歌唱信号V1の音高PAが安定していると評価できる。例えば、閾値PATHは、十二平均音律における50centに設定され得る。
区間設定部224は、差分値Rが閾値PATHを下回る場合(SA3:YES)、当該解析区間TAを第1音高安定区間TSAに包含させる(SA4)。図3の解析区間TAnでは音高PAの最大値PA-MAXと最小値PA-MINとの差分値Rが閾値PATHを下回るから、解析点KAnを含む解析区間TAnが第1音高安定区間TSAに包含される。区間設定部224は、当該解析点KAにおける音高PAを記憶装置12に記憶する(SA5)。
区間設定部224は、楽曲が終了するまでの間(SA9:NO)、音高解析部222によって音高PAが特定される毎に(SA1)、当該音高PAの解析点KAを終点とする解析区間TAを設定し(SA2)、当該解析区間TAにおける音高PAの差分値Rが閾値PATHを下回るか否かを判定する(SA3)。すなわち、図3から理解される通り、音高解析部222が音高PAを特定する周期(10ms)毎に解析区間TAを時間軸上で順次に移動させながら、当該解析区間TAが第1音高安定区間TSA内に包含されるか否かが判定される。したがって、閾値PATHを下回る分布幅の範囲内の音高PAを音高解析部222が特定するたびに第1音高安定区間TSAが時間軸上で順次に伸長していく。
他方、解析区間TA内における音高PAの差分値Rが閾値PATH以上である場合(SA3:NO)、区間設定部224は、当該解析点KAを第1音高安定区間TSAに含めない(SA6)。区間設定部224は、現在の解析区間TAの直前の解析区間TAが第1音高安定区間TSA内に存在するか否かを判定する(SA7)。判定結果が肯定である場合、区間設定部224は、直前の解析区間TAの終点(解析点KA)を1個の第1音高安定区間TSAの終点として確定する(SA8)。つまり、区間設定部224は、歌唱の進行に並行して順次に第1音高安定区間TSAを設定する。以上の構成によれば、楽曲全体のうち音高PAの変動量が小さい第1音高安定区間TSAのみを歌唱評価の対象とすることが可能である。以上の手順で、第1音高安定区間TSAおよび第2音高安定区間TSBが順次に設定されると、記憶装置12には、第1音高安定区間TSAに包含される音高PAと、第2音高安定区間TSBに包含される音高PBとが、順次蓄積していく。次に、区間設定部224は、図2に例示されるように、第1音高安定区間TSAと第2音高安定区間TSBとが時間軸上で重複する重複区間RTSを特定する。
次に、評価部228による歌唱評価について説明する。図5は、評価部228が第1歌唱音声の音高と第2歌唱音声の音高との調和の度合いを評価する処理(評価処理)のフローチャートである。区間設定部224が楽曲内の重複区間RTSn(n=1,2,3,4,……)を設定し、代表値算出部226が重複区間RTS内における音高PAの代表値RPAと音高PBの代表値RPBとを算出するたびに図5の評価処理が実行される。
評価部228は、重複区間RTS内における音高PAの代表値RPAと音高PBの代表値RPBとの差分値Cを算出する(SB1)。具体的には、区間設定部224が新たに設定した重複区間RTSの代表値RPAと代表値RPBとの差分値Cが算定される。なお、代表値RPAと代表値RPBとの差分値が1200cent(1オクターブ)を上回る場合には、1200centの整数倍を差分から差引くことで1200cent以下の差分値Cを算定する。
楽曲が十二平均律の12種類の音階音(音律の音階を構成する離散的な音高)で構成される場合を想定すると、利用者U1が楽曲を歌唱した音声(第1歌唱音声)と、利用者U2が当該楽曲を歌唱した音声(第2歌唱音声)とで音高の調和がとれているとき、第1歌唱音声の音高と第2歌唱音声の音高との差分値は、相互に隣合う2個の音階音の間隔(半音に相当する100cent)の整数倍に近似または合致すると期待される。したがって、1個の重複区間RTSの代表値RPAと代表値RPBとの差分値Cが100centの整数倍に相当するとき、当該重複区間RTSでは、利用者U1の歌唱音高と利用者U2の歌唱音高とが、調和を保っていると評価できる。そこで、第1実施形態の評価部228は、重複区間RTSにおける代表値RPAと代表値RPBとの差分値Cが100centの整数倍に相当するときには、第1歌唱音声の音高と第2歌唱音声の音高との調和がとれているとして、評価値Sを増加させる。他方、差分値Cが100centの整数倍から乖離する場合には、第1歌唱音声の音高と第2歌唱音声の音高との調和がとれていないと推定される。したがって、差分値Cが100centの整数倍から乖離するときは、評価部228は、第1歌唱音声の音高と第2歌唱音声の音高とが調和しないとして、評価値Sを減少させる。
例えば、代表値RPAと代表値RPBとの差分値Cが、100centの整数倍の300cent(短3度)や400cent(長3度)である場合、第1歌唱音声の音高と第2歌唱音声の音高とが調和し、聴感的に心地良い印象を与える。また、差分値が700cent(完全5度)や1200cent(1オクターブ、すなわち完全8度)や0cent(完全1度)である場合、すなわち、第1歌唱音声の音高と第2歌唱音声の音高とが協和音の関係にある場合、第1歌唱音声の音高と第2歌唱音声の音高とが調和し、聴感的に響きがある印象を与える。以上の事情を考慮して、第1歌唱音声の音高と第2歌唱音声の音高との差分値Cが300centおよび400centである場合や、第1歌唱音声の音高と第2歌唱音声の音高とが協和音(すなわち、差分値Cが700cent,1200cent,0cent)の関係にある場合、評価値Sを高くしてもよい。
評価部228は、重複区間RTSにおける代表値RPAと代表値RPBとの差分値Cが100centの整数倍に近似(合致を含む)するか否かを判定する(SB2)。具体的には、差分値Cが、100centの整数倍を含む所定の範囲内(例えば±10%)にあるか否かが判定される。差分値Cが100centの整数倍に近似する場合(SB2:YES)、評価部228は重複区間RTSnに対して、楽曲が開始されてから重複区間RTSn-1までに獲得された評価値(得点:Score)Sn-1と、所定値Δ(正の整数)との加算値を、重複区間RTSnまでに獲得した評価値(Score)Snとして設定する(Sn=Sn-1+Δ)(SB3)。
他方、差分値Cが100centの整数倍とは乖離する場合(SB2:NO)、楽曲が開始されてから重複区間RTSn-1までに獲得された評価値Sn-1と、所定値Δ(正の整数)との減算値を、当該n番目の重複区間RTSnまでに獲得した評価値Snとして設定する(Sn=Sn-1−Δ)(SB4)。評価部228は、SB3およびSB4で設定した評価値Snを、端末装置D1の表示処理部28に出力する。表示処理部28は、歌唱の評価値Snを表示装置16に表示させる(SB5)。つまり、楽曲の再生(歌唱の進行)に並行して評価値Snは時々刻々と変化していく。また、評価部228によって算出された評価値Snは、通信装置15によって端末装置D2に送信される。端末装置D2では、端末装置D1と同様に、評価値Snを表示させる。
なお、差分値Cに応じた評価値Sの算定方法は適宜に変更される。例えば、差分値Cに対して図6のような関係となるように評価値Sを設定することも可能である。図6に例示される通り、差分値Cの複数の範囲の各々について評価値Sの分布が事前に設定され、複数の評価値Sのうち代表値RPAと代表値RPBとの差分値Cに応じた評価値Sが選択される。短3度(3半音)や長3度(4半音)の差分値Cは受聴者が知覚する調和の度合いが高いという傾向を考慮し、短3度に相当する差分値C(C=300)や長3度に相当する差分値C(C=400)には高い評価点Sが設定されている。
以上に説明した通り、第1実施形態の構成では、第1音高安定区間TSAと第2音高安定区間TSBとが時間軸上で重複する重複区間RTS内の代表値RPAと代表値RPBとの差分値Cが所定の音高関係(具体的には、十二平均律等の特定の音律のもとで相互に隣合う各音階音の間隔の整数倍)にあるか否かに応じて歌唱が評価される。したがって、複数の歌唱パートの各々について楽譜データが存在しない場合でも、歌唱を適切に評価することが可能になる。
第1実施形態では、第1歌唱信号V1のうち音高PAが安定する第1音高安定区間TSAと、第2歌唱信号V2のうち音高PBが安定する第2音高安定区間TSBが重複する重複区間RTSの各々における代表値RPAと代表値RPBとに応じて第1歌唱音声の音高と第2歌唱音声の音高との調和の程度が評価される。ここで、音符間で音高が連続的に遷移する区間や歌唱表現として音高が変動する区間(例えばビブラート区間)を含む楽曲全体に亘って歌唱を評価する構成(以下、「対比例」という)では、音高が不安定に遷移する区間を含む楽曲全体の歌唱が歌唱評価の対象とされるから、必ずしも適切な評価がなされない場合がある。他方、第1実施形態の構成によれば、音高が安定する第1音高安定区間TSAおよび第2音高安定区間TSBが重複する重複区間RTSで算出された代表値RPAおよび代表値RPBに応じて、第1歌唱音声の音高と第2歌唱音声の音高との調和の程度が評価されるから、対比例の構成と比較して、安定した区間の音高を用いた適切な評価を実現することが可能になる。
<第2実施形態>
第1実施形態では、第2歌唱信号V2を端末装置D2から端末装置D1に送信して端末装置D1で第2歌唱信号V2の音高PBを解析した。第2実施形態では、端末装置D2で解析された第2歌唱信号V2の音高PBが端末装置D2から端末装置D1に順次に送信される。
図7は、第2実施形態の歌唱評価システム1の概略図である。第2実施形態では、利用者U2が使用する端末装置D2に音高解析部36が付加される。音高解析部36は、収音装置34が生成した第2歌唱信号V2の音高PBを順次に解析する。音高解析部36による音高PBの解析方法は、第1実施形態の音高解析部222による音高PBの解析方法と同様である。第2実施形態の通信装置35は、図7に例示される通り、音高解析部36によって解析された第2歌唱信号V2の音高PBを端末装置D1に送信する。端末装置D1の通信装置15は、端末装置D2から送信された音高PBを順次に受信する。
端末装置D1の音高解析部222は、第1歌唱信号V1の音高PAを順次に解析して、解析した音高PAを区間設定部224に通知する。区間設定部224は、音高解析部222が解析した音高PAが安定する第1音高安定区間TSAを複数設定するとともに、通信装置15によって受信された音高PBが安定する第2音高安定区間TSBを複数設定する。以降の説明については第1実施形態と同様であるので、説明を省略する。
以上の説明から理解される通り、第2実施形態の構成によっても第1実施形態と同様の効果が実現される。また、第2実施形態の構成によれば、音高解析部222は、第2歌唱信号V2の音高PBを解析する必要がないから、端末装置D1による演算処理の負荷を軽減することが可能になる、という利点もある。
<第3実施形態>
第2実施形態では、区間設定部224は、端末装置D1内の音高解析部222から音高PAを取得する一方で、通信装置15によって受信された音高PBを取得する。音高PBは端末装置D2から端末装置D1に送信されるから、利用者U1と利用者U2とが相互に同期して同じ楽曲を歌唱した場合でも、区間設定部224が楽曲のうち特定の時点の音高PBを取得する時点は、区間設定部224が当該時点の音高PAを取得する時点に対して、例えば端末装置D1と端末装置D2との間の通信遅延の分だけ遅延し得る。具体的には、図8に例示されるように、楽曲内の各時点の音高PAを区間設定部224が取得する時点(例えば解析点KAn[n=1,2,3…]の時間軸上における位置)と、楽曲内の同じ時点の音高PBを区間設定部224が取得する時点(例えば、解析点KBn[n=1,2,3…]の時間軸上における位置)との間には、通信に要する遅延(Δt)が発生し得る。そこで、第3実施形態では、遅延時間を補償する処理を実行する。
第3実施形態の歌唱評価システム1の構成は第2実施形態と同様である。利用者U1が歌唱対象とする楽曲を選択すると、当該楽曲の再生指示が、端末装置D1から端末装置D2に送信される。端末装置D1と端末装置D2とでは、楽曲の開始時点が一致するから、利用者U1と利用者U2とは、同じ楽曲を同期して歌唱する。すなわち、端末装置D1で音高を解析する時点(解析点KA)と端末装置D2で音高を解析する時点(解析点KB)とが一致する。第3実施形態では、端末装置D1の音高解析部222は、第1歌唱信号V1のうち音高PAを解析するたびに、当該解析点KAの時間軸上における位置を示す情報(以降の説明では「第1時間情報」という。)を区間設定部224に通知する。また、端末装置D2の音高解析部36は、第2歌唱信号V2のうち音高PBを解析するたびに、解析した音高PBと当該解析点KBの時間軸上における位置を示す情報(以降の説明では「第2時間情報」という。)を、通信装置35を介して端末装置D1に送信する。端末装置D1の通信装置15は、通信装置35が送信した音高PBおよび第2時間情報を受信する。時間情報の一例としては、例えば、楽曲開始からの経過時間や時刻が例示される。
図9は、第3実施形態の区間設定部224による処理の説明図である。第3実施形態の区間設定部224は、音高解析部222により通知された第1時間情報と、通信装置35および通信装置15との間における通信を介して音高解析部36により通知された第2時間情報とを相互に対応付けることで、第1時間情報が示す複数の解析点KA(第1解析点KA)と、第2時間情報が示す複数の解析点KB(第2解析点KB)との間で相互に対応するもの(楽曲内の同時点に対応するもの)同士を時間軸上で相互に合致させる。
区間設定部224は、相互に対応する解析点KAと解析点KBとを時間軸上で相互に合致させたうえで、第1実施形態と同様の手順により、第1音高安定区間TSAと第2音高安定区間TSBとを設定し、当該第1音高安定区間TSAと第2音高安定区間TSBとが時間軸上で重複する重複区間RTSを設定する。
以上に説明した通り、第3実施形態の構成によっても、前述の各形態と同様の効果を奏することが可能である。第3実施形態の構成では、第1歌唱信号V1の音高PAが解析される第1解析点KAと、第2歌唱信号V2の音高PBが解析される第2解析点KBとを時間軸上で合致させる。したがって、端末装置D1から端末装置D2との間の通信に遅延が発生する場合でも、第1歌唱音声と第2歌唱音声との調和の程度を適切に評価することが可能になる。
<第4実施形態>
前述の各形態では、第1歌唱音声と第2歌唱音声とが所定の音高関係にあるか否かに応じて、第1歌唱音声の音高と第2歌唱音声の音高との調和の程度を評価した。第4実施形態では、第1歌唱音声と第2歌唱音声との歌唱音高の類似の度合いを評価する。
図10は、第4実施形態の歌唱評価システム1の概略図である。図10から把握される通り、第4実施形態の端末装置D1の構成においては、第1実施形態の端末装置D1の構成に対して音高分布生成部225と解析処理部227とが付加される。音高解析部222の機能および動作については第1実施形態と同様であるので詳細な説明を省略する。
第4実施形態の区間設定部224は、第1歌唱信号V1の音高PAが安定する第1音高安定区間TSAと、第2歌唱信号V2の音高PBが安定する第2音高安定区間TSBとを複数設定する。第4実施形態の区間設定部224は、第1音高安定区間TSAと第2音高安定区間TSBとが重複する重複区間RTSは設定しない。代表値算出部226は、楽曲全体に亘って第1音高安定区間TSAおよび第2音高安定区間TSBの設定が完了すると、第1実施形態と同様の手法により、複数の第1音高安定区間TSAの各々における音高PAの代表値RPAと、複数の第2音高安定区間TSBの各々における音高PBの代表値RPBとを算出する。代表値算出部226は、算出した代表値RPAおよび代表値RPBを記憶装置12に順次格納する。したがって、楽曲内の第1音高安定区間TSAの総数に相当する個数の代表値RPAおよび第2音高安定区間TSBの総数に相当する個数の代表値RPBが記憶装置12に格納される。音高分布生成部225は、複数の第1音高安定区間TSAに亘る代表値RPAの度数分布を示す第1度数分布を生成する一方、複数の第2音高安定区間TSBに亘る代表値RPBの度数分布を示す第2度数分布を生成する。
図11は、音高分布生成部225の処理についての説明図である。音高分布生成部225は、複数の第1音高安定区間TSAに包含される代表値RPAを記憶装置12から読み出し、当該代表値RPAの第1度数分布(ヒストグラム)HAを作成する。度数分布HAは、相互に隣合う各音階音の音高差(100cent)と比較して十分に細かく代表値RPAの数値範囲を区分した複数の階級の各々における代表値RPAの度数の分布である。また、音高分布生成部225は、第1度数分布HAの生成と同様に、複数の第2音高安定区間TSBに包含される代表値RPBを記憶装置12から読み出し、当該代表値RPBの度数分布を示す第2度数分布HBを作成する。
図10の解析処理部227は、音高分布生成部225によって生成された第1度数分布HAのうち音階音の音高を含む所定範囲の分布である複数の分布のそれぞれを合計する。具合的には、解析処理部227は、第1度数分布HAを音階音毎に区分した複数の単位範囲Tu(Tu1,Tu2,Tu3,Tu4,Tu5,Tu6)にわたり各単位範囲Tuの分布を合計して1個の第1評価分布QAを作成するとともに、当該第1評価分布QAの代表値を算出する。第4実施形態では、第1評価分布QAの平均値A1を、第1評価分布QAの代表値として算出する。任意の1個の音階音に対応する単位範囲Tuは、当該音階音の音高を中心とする±50centの範囲である。解析処理部227は、第1評価分布QAの生成と同様に、第2度数分布HBを音階音毎に区分した複数の単位範囲Tuにわたり各単位範囲Tuの分布を合計して1個の第2評価分布QBを作成するとともに当該第2評価分布QBの代表値(第2評価分布QBの平均値A2)を算出する。
図12は、解析処理部227により作成された第1評価分布QAの説明図である。解析処理部227は、音階音の音高(図11では1200cent、1300cent、1400cent、1500cent、1600cent、1700cent)を0とする±50centに亘る数値αの範囲(−50≦α≦+50)に各単位範囲Tuの分布を対応させたうえで複数の単位範囲Tuに亘る分布の度数を数値α毎に合計する。そして、解析処理部227は、数値α毎の各合計度数を±50centの範囲内でさらに合計した積算値(分布の下側の合計面積)が所定値(例えば1)となるように各合計度数を正規化することで第1評価分布QAを生成する。すなわち、解析処理部227は、音階音の音高を中心とする複数の単位範囲Tuに度数分布H(HA,HB)を区分し、各単位範囲Tuを相互に重複させて各単位範囲Tuの分布の度数を複数の単位範囲Tuにわたり数値α(音高)毎に合計する(さらにはその合計度数を正規化する)ことで第1評価分布QAを生成する。図12の関数G(α)は、数値αを変数とした正規化後の第1評価分布QAを表現する関数である。解析処理部227は、第1評価分布QAの平均値A1を算出する。また、解析処理部227は、第1評価分布QAと同様の方法で第2評価分布QBを生成してその平均値A2を算出する。
以上の説明から理解される通り、第1評価分布QAは、複数の音階音の各々に対する音高PAの代表値RPAの分布の傾向を表現する。具体的には、第1評価分布QAの平均値A1が大きい場合には、利用者U1が、音階音の本来の音高に対して高目の音高を歌唱する傾向があると推定できる。同様に、第2評価分布QBは、各音階音の音高に対する音高PBの代表値RPBの分布の傾向を表現する。具体的には、第2評価分布QBの平均値A2が大きい場合には、利用者U2が、音階音の本来の音高に対して高目の音高を歌唱する傾向があると推定できる。
評価部228は、解析処理部227によって算定された第1評価分布QAの平均値A1と第2評価分布QBの平均値A2とに応じて、第1歌唱音声と第2歌唱音声との歌唱音高の類似の度合いを評価する。第1歌唱音声と第2歌唱音声との間で歌唱音高が近似する場合(例えば利用者U1および利用者U2の双方が、音階音の音高に対して高い音高で発音する傾向がある場合)、平均値A1と平均値A2とが相互に近似すると推定される。他方、第1歌唱音声と第2歌唱音声との間で歌唱音高が乖離する場合(例えば利用者U1は音階音に対して高い音高で発音する傾向がある一方で、利用者U2は音階音に対して低い音高で発音する傾向がある場合)、平均値A1と平均値A2とは乖離すると推定される。以上の傾向を考慮して、第4実施形態の評価部228は、第1評価分布QAの平均値A1と第2評価分布QBの平均値A2とが近似するほど、楽曲の全体を通して第1歌唱音声と第2歌唱音声との歌唱音高が類似するとして評価値Sを大きい数値に設定する。他方、第1評価分布QAの平均値A1と第2評価分布QBの平均値A2とが乖離するほど、楽曲の全体を通して第1歌唱音声と第2歌唱音声との歌唱音高が乖離するとして評価値Sを小さい数値に設定する。
図13は、第4実施形態の歌唱評価部22(音高分布生成部225,解析処理部227,評価部228)による動作の処理のフローチャートである。代表値算出部226が、各第1音高安定区間TSAn(n=1,2,3,4,……)の音高PAの代表値RPAと各第2音高安定区間TSBn(n=1,2,3,4,……)の音高PBの代表値RPBとを楽曲全体に亘り算出すると、図13の評価処理が実行される。
音高分布生成部225は、楽曲内の複数の第1音高安定区間TSAに亘る代表値RPAの第1度数分布HAを作成するとともに、楽曲内の複数の第2音高安定区間TSBに亘る代表値RPBの第2度数分布HBを作成する(SD1)。解析処理部227は、音高分布生成部225によって生成された第1度数分布HAを音階音毎に区分した複数の単位範囲Tuから第1評価分布QAを作成するとともに、第2度数分布HBを音階音毎に区分した複数の単位範囲Tuから第2評価分布QBを作成する(SD2)。解析処理部227は、第1評価分布QAの平均値A1と第2評価分布QBの平均値A2とを算出する(SD3)。
評価部228は、解析処理部227によって算定された第1評価分布QAの平均値A1と第2評価分布QBの平均値A2とに応じて、第1歌唱音声と第2歌唱音声との歌唱音高の類似の度合いを評価する(SD4)。例えば、第1評価分布QAの平均値A1と第2評価分布QBの平均値A2とが近似するほど、楽曲の全体を通して第1歌唱音声の歌唱音高と第2歌唱音声の歌唱音高が類似するとして評価値Sを大きい数値に設定する。他方、第1評価分布QAの平均値A1と第2評価分布QBの平均値A2とが乖離するほど、楽曲の全体を通して第1歌唱音声の歌唱音高と第2歌唱音声の歌唱音高が乖離すると評価して評価値Sを小さい数値に設定する。表示処理部28は、評価値Sを表示装置16に表示させる(SD5)。
以上の説明から理解される通り、第4実施形態では、第1音高安定区間TSAにおける代表値RPAの第1度数分布HAから生成された第1評価分布QAの平均値A1(第1評価分布QAの代表値)と、第2音高安定区間TSBにおける代表値RPBの第2度数分布HBから生成された第2評価分布QBの平均値A2(第2評価分布QBの代表値)とに応じて、第1歌唱音声と第2歌唱音声との歌唱音高の類似の度合いが評価される。したがって、第4実施形態の構成によっても、第1実施形態の効果と同様に、楽曲の歌唱パート毎の楽譜データを必要とすることなく、利用者U1と利用者U2との歌唱音高の類似の度合いを適切に評価することが可能である。また、第4実施形態では、第1音高安定区間TSAにおける代表値RPAと第2音高安定区間TSBにおける代表値RPBとが歌唱評価の対象として利用されるから、楽曲のうち音高遷移が不安定な区間を含む全区間に亘る歌唱音高が評価対象とされる構成と比較して適切に歌唱音高を評価することが可能である。
<第5実施形態>
前述の各形態では、利用者U1が使用する端末装置D1を歌唱評価装置として利用する構成を例示した。第5実施形態では、端末装置D(D1,D2)との間で通信を実行する管理装置500を歌唱評価装置として利用する構成を例示する。
図14は、第5実施形態の歌唱評価システム1の概略図である。第5実施形態の歌唱評価システム1は、図14に例示される通り、管理装置500と、利用者U1が使用する端末装置D1と、利用者U2が使用する端末装置D2とを含んで構成される。端末装置D1および端末装置D2の構成は、図7に例示される端末装置D2と同様である。すなわち、利用者U1の第1歌唱音声を示す第1歌唱信号V1の音高PAが端末装置D1から管理装置500に順次に送信され、利用者U2の第2歌唱音声を示す第2歌唱信号V2の音高PBが端末装置D2から管理装置500に順次に送信される。
管理装置500は、利用者U1の歌唱音声と、利用者U2の歌唱音声との音高の調和の度合いを評価して、評価結果を示す評価値Sを、利用者U1の端末装置D1と利用者U2の端末装置D2に各々送信する装置であり、歌唱評価部52と通信装置54とを包含する。通信装置54は、端末装置D1および端末装置D2の各々と通信する。具体的には、通信装置54は、端末装置D1が送信した音高PAと端末装置D2が送信した音高PBとを順次に受信する。歌唱評価部52は、利用者U1による歌唱音声の音高と、利用者U2による歌唱音声の音高との調和の度合いを評価する。具体的には、第5実施形態の歌唱評価部52は、第2実施形態の歌唱評価部22と同様に、区間設定部224と代表値算出部226と評価部228とを包含する。区間設定部224,代表値算出部226,および,評価部228の処理は第2実施形態と同様であるので詳細な説明を省略する。評価部228が算定した評価値Sが、通信装置54から端末装置D1および端末装置D2に送信されて各々の表示装置に表示される。
第5実施形態でも、前述の各実施形態と同様の効果が実現される。また、第5実施形態の構成では、利用者U1の第1歌唱音声の音高と利用者U2の第2歌唱音声の音高との調和の度合いが管理装置500により評価される。したがって、端末装置D1には歌唱評価部22を搭載する必要がないという利点がある。なお、図14では、端末装置D1が第1歌唱信号V1の音高PAを送信するとともに端末装置D2が第2歌唱信号V2の音高PBを送信する構成を例示したが、端末装置D1が第1歌唱信号V1を管理装置500に送信するとともに端末装置D2が第2歌唱信号V2を管理装置500に送信する構成も採用され得る。具体的には、第1歌唱信号V1の音高PAと第2歌唱信号V2の音高PBとを解析する音高解析部222が管理装置500の歌唱評価部52に追加される。
<変形例>
前述の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様を適宜に併合することも可能である。
(1)第4実施形態では、第2歌唱信号V2を端末装置D2から端末装置D1に送信して端末装置D1で第2歌唱信号V2の音高PBを解析したが、第2実施形態および第3実施形態と同様に、端末装置D2で解析された第2歌唱信号V2の音高PBが端末装置D2から端末装置D1に順次に送信される構成としてもよい。
(2)第4実施形態では、第1評価分布QAの平均値A1と第2評価分布QBの平均値A2とを各分布の代表値として例示したが、第1評価分布QAおよび第2評価分布QBの各々の特徴を表す代表値は平均値に限定されない。例えば、第1評価分布QAおよび第2評価分布QBの各々について、平均値以外の指標値(中央値,最頻値等)や、分散値、二次モーメント等の各種の統計量が代表値として算定され得る。例えば、第1評価分布QAと第2評価分布QBとの間で分散値や二次モーメントが近似するほど、第1歌唱音声と第2歌唱音声の歌唱音高が類似すると評価することが可能である。
(3)第5実施形態では、第1歌唱信号V1の音高PAの代表値RPAと、第2歌唱信号V2の音高PBの代表値RPBとが所定の音高関係にあるか否かに応じて、第1歌唱音声と第2歌唱音声との調和の度合いを評価した。以上の例示以外に、第5実施形態の管理装置500に、音高分布生成部225と解析処理部227とを付加し、第1歌唱音声と第2歌唱音声との歌唱音高の類似の度合いを評価してもよい。
(4)前述の各形態では、端末装置D1の記憶装置12に伴奏データBと歌詞データQとを包含する楽曲データLが記憶される構成を例示したが、端末装置D1と、図示を省略する楽曲提供サーバーとの間で通信網(例えば移動通信網やインターネット)400を介した通信を実行することで楽曲データLを受信する構成としてもよい。
(5)前述の各形態では、歌唱の評価結果として評価値Sを表示させる構成を例示した。評価値Sに替えて、「OK」や「NG」等のテキスト情報を評価情報として表示させてもよい。
(6)前述の各形態では、利用者U1が端末装置D1に向けて歌唱する一方、利用者U2が端末装置D2に向けて歌唱する構成を例示したが、利用者U1と利用者U2とが、ひとつの端末装置に向けて歌唱する構成としてもよい。具体的には、例えば、端末装置D1に複数の収音装置(14Aおよび14B)を付加して、利用者U1が収音装置14Aに向けて歌唱し、利用者U2が収音装置14Bに向けて歌唱してもよい。以上の構成によっても、第1実施形態と同様の効果が実現される。
1……歌唱評価システム、10……演算処理装置、12……記憶装置、14……収音装置、15……通信装置、16……表示装置、18……放音装置、22……歌唱評価部、26……再生処理部、28……表示処理部、34……収音装置、35……通信装置、36……音高解析部、52……歌唱評価部、54……通信装置、222……音高解析部、224……区間設定部、225……音高分布生成部、226……代表値算出部、227……解析処理部、228……評価部、500……管理装置、B……伴奏データ、Q……歌詞データ、L……楽曲データ、TSA……第1音高安定区間、TSB……第2音高安定区間、RTS……重複区間、Tu……単位範囲。

Claims (6)

  1. 楽曲の一の歌唱音声を示す第1歌唱信号の音高が安定する複数の第1音高安定区間と、前記楽曲の他の歌唱音声を示す第2歌唱信号の音高が安定する複数の第2音高安定区間とを設定する区間設定部と、
    前記区間設定部が設定した複数の第1音高安定区間の各々と複数の第2音高安定区間の各々とが時間軸上で重複する重複区間毎に、前記第1歌唱信号の音高の代表値と前記第2歌唱信号の音高の代表値とを算出する代表値算出部と、
    前記各重複区間における前記第1歌唱信号の音高の代表値と前記第2歌唱信号の音高の代表値とが所定の音高関係にあるか否かに応じて、前記一の歌唱音声と前記他の歌唱音声との調和の度合いを評価する評価部と
    を具備する歌唱評価装置。
  2. 前記第1歌唱信号の音高を順次解析する音高解析部と、
    前記第2歌唱信号から順次解析された音高を受信する受信部とを具備し、
    前記区間設定部は、前記第1歌唱信号のうち前記音高解析部が解析した音高が安定する複数の第1音高安定区間と、前記第2歌唱信号のうち前記受信部が受信した音高が安定する複数の第2音高安定区間とを設定する
    請求項1の歌唱評価装置。
  3. 前記音高解析部は、時間軸上の第1解析点毎に前記第1歌唱信号の音高を順次に解析し、
    前記受信部は、時間軸上の第2解析点毎に順次に解析された前記第2歌唱信号の音高を受信し、
    前記区間設定部は、複数の第1解析点と複数の第2解析点との間で相互に対応するもの同士を時間軸上で相互に合致させたうえで、前記第1音高安定区間と前記第2音高安定区間とが重複する重複区間を設定する
    請求項2の歌唱評価装置。
  4. 楽曲の一の歌唱音声を示す第1歌唱信号の音高が安定する複数の第1音高安定区間と、前記楽曲の他の歌唱音声を示す第2歌唱信号の音高が安定する複数の第2音高安定区間とを設定する区間設定部と、
    前記複数の第1音高安定区間の各々における音高の代表値を算出する一方、前記複数の第2音高安定区間の各々における音高の代表値を算出する代表値算出部と、
    前記複数の第1音高安定区間に亘る音高の代表値の度数分布を示す第1度数分布を生成する一方、前記複数の第2音高安定区間に亘る音高の代表値の度数分布を示す第2度数分布を生成する音高分布生成部と、
    前記第1度数分布を音階音の音高を中心とする複数の単位範囲に区分し、各単位範囲を相互に重複させて当該各単位範囲の分布の度数を複数の単位範囲にわたり音高毎に合計することで第1評価分布を作成する一方、前記第2度数分布を音階音の音高を中心とする複数の単位範囲に区分し、各単位範囲を相互に重複させて当該各単位範囲の分布の度数を複数の単位範囲にわたり音高毎に合計することで第2評価分布を作成する解析処理部と、
    前記第1評価分布と前記第2評価分布とに基づいて、前記一の歌唱音声と前記他の歌唱音声との歌唱音高の類似の度合いを評価する評価部と
    を具備する歌唱評価装置。
  5. 楽曲の一の歌唱音声を示す第1歌唱信号の音高が安定する複数の第1音高安定区間と、前記楽曲の他の歌唱音声を示す第2歌唱信号の音高が安定する複数の第2音高安定区間とを設定する区間設定部、
    前記区間設定部が設定した複数の第1音高安定区間の各々と複数の第2音高安定区間の各々とが時間軸上で重複する重複区間毎に、前記第1歌唱信号の音高の代表値と前記第2歌唱信号の音高の代表値とを算出する代表値算出部、
    前記各重複区間における前記第1歌唱信号の音高の代表値と前記第2歌唱信号の音高の代表値とが所定の音高関係にあるか否かに応じて、前記一の歌唱音声と前記他の歌唱音声との調和の度合いを評価する評価部
    としてコンピュータを機能させるプログラム。
  6. 楽曲の一の歌唱音声を示す第1歌唱信号の音高が安定する複数の第1音高安定区間と、前記楽曲の他の歌唱音声を示す第2歌唱信号の音高が安定する複数の第2音高安定区間とを設定する区間設定部、
    前記複数の第1音高安定区間の各々における音高の代表値を算出する一方、前記複数の第2音高安定区間の各々における音高の代表値を算出する代表値算出部、
    前記複数の第1音高安定区間に亘る音高の代表値の度数分布を示す第1度数分布を生成する一方、前記複数の第2音高安定区間に亘る音高の代表値の度数分布を示す第2度数分布を生成する音高分布生成部、
    前記第1度数分布を音階音の音高を中心とする複数の単位範囲に区分し、各単位範囲を相互に重複させて当該各単位範囲の分布の度数を複数の単位範囲にわたり音高毎に合計することで第1評価分布を作成する一方、前記第2度数分布を音階音の音高を中心とする複数の単位範囲に区分し、各単位範囲を相互に重複させて当該各単位範囲の分布の度数を複数の単位範囲にわたり音高毎に合計することで第2評価分布を作成する解析処理部、
    前記第1評価分布と前記第2評価分布とに基づいて、前記一の歌唱音声と前記他の歌唱音声との歌唱音高の類似の度合いを評価する評価部
    としてコンピュータを機能させるプログラム。
JP2015041620A 2015-03-03 2015-03-03 歌唱評価装置およびプログラム Active JP6488767B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015041620A JP6488767B2 (ja) 2015-03-03 2015-03-03 歌唱評価装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015041620A JP6488767B2 (ja) 2015-03-03 2015-03-03 歌唱評価装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2016161831A true JP2016161831A (ja) 2016-09-05
JP6488767B2 JP6488767B2 (ja) 2019-03-27

Family

ID=56846899

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015041620A Active JP6488767B2 (ja) 2015-03-03 2015-03-03 歌唱評価装置およびプログラム

Country Status (1)

Country Link
JP (1) JP6488767B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019092784A1 (ja) * 2017-11-07 2019-05-16 ヤマハ株式会社 評価装置、評価方法および評価プログラム
CN113571030A (zh) * 2021-07-21 2021-10-29 浙江大学 一种基于听感和谐度评估的midi音乐修正方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1074093A (ja) * 1996-08-30 1998-03-17 Yamaha Corp カラオケ装置
JP2004334239A (ja) * 1996-11-20 2004-11-25 Yamaha Corp 音信号分析装置及び方法
JP2006259237A (ja) * 2005-03-17 2006-09-28 Daiichikosho Co Ltd デュエットの同期性を採点するカラオケ採点装置
JP2006284796A (ja) * 2005-03-31 2006-10-19 Yamaha Corp 楽音信号送信端末および楽音信号受信端末
JP2007156330A (ja) * 2005-12-08 2007-06-21 Taito Corp 相性判断機能付きカラオケ装置
JP2011215292A (ja) * 2010-03-31 2011-10-27 Yamaha Corp 歌唱判定装置およびカラオケ装置
JP2015040995A (ja) * 2013-08-22 2015-03-02 株式会社第一興商 通信カラオケシステム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1074093A (ja) * 1996-08-30 1998-03-17 Yamaha Corp カラオケ装置
JP2004334239A (ja) * 1996-11-20 2004-11-25 Yamaha Corp 音信号分析装置及び方法
JP2006259237A (ja) * 2005-03-17 2006-09-28 Daiichikosho Co Ltd デュエットの同期性を採点するカラオケ採点装置
JP2006284796A (ja) * 2005-03-31 2006-10-19 Yamaha Corp 楽音信号送信端末および楽音信号受信端末
JP2007156330A (ja) * 2005-12-08 2007-06-21 Taito Corp 相性判断機能付きカラオケ装置
JP2011215292A (ja) * 2010-03-31 2011-10-27 Yamaha Corp 歌唱判定装置およびカラオケ装置
JP2015040995A (ja) * 2013-08-22 2015-03-02 株式会社第一興商 通信カラオケシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
中野 倫靖: "楽譜情報を用いない歌唱力自動評価手法", 情報処理学会論文誌, vol. 第48巻 第1号, JPN6018043224, 15 January 2007 (2007-01-15), JP *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019092784A1 (ja) * 2017-11-07 2019-05-16 ヤマハ株式会社 評価装置、評価方法および評価プログラム
CN113571030A (zh) * 2021-07-21 2021-10-29 浙江大学 一种基于听感和谐度评估的midi音乐修正方法和装置
CN113571030B (zh) * 2021-07-21 2023-10-20 浙江大学 一种基于听感和谐度评估的midi音乐修正方法和装置

Also Published As

Publication number Publication date
JP6488767B2 (ja) 2019-03-27

Similar Documents

Publication Publication Date Title
JP6759545B2 (ja) 評価装置およびプログラム
JP6690181B2 (ja) 楽音評価装置及び評価基準生成装置
US10453478B2 (en) Sound quality determination device, method for the sound quality determination and recording medium
JP6488767B2 (ja) 歌唱評価装置およびプログラム
CN111837183A (zh) 声音处理方法、声音处理装置及记录介质
JP2020076844A (ja) 音響処理方法および音響処理装置
JP6569224B2 (ja) 歌唱評価装置、歌唱評価方法およびプログラム
KR20150118974A (ko) 음성 처리 장치
JP2017027070A (ja) 評価装置及びプログラム
JP2013213907A (ja) 評価装置
JP2019101148A (ja) 通信カラオケシステム
JPH11237890A (ja) 歌唱採点機能付きカラオケ装置における歌唱採点方法
JP4483561B2 (ja) 音響信号分析装置、音響信号分析方法及び音響信号分析プログラム
JP5618743B2 (ja) 歌唱音声評価装置
JP2014164131A (ja) 音響合成装置
JP5287616B2 (ja) 音響処理装置およびプログラム
JP5131130B2 (ja) 追従性評価システム,カラオケシステムおよびプログラム
JP2016156917A (ja) 歌唱評価装置およびプログラム
JP6144592B2 (ja) 歌唱採点システム
JP6286255B2 (ja) カラオケシステム
JP4930608B2 (ja) 音響信号分析装置、音響信号分析方法及び音響信号分析プログラム
JP5697395B2 (ja) 歌唱音声評価装置およびプログラム
JP2015148750A (ja) 歌唱合成装置
JP6175034B2 (ja) 歌唱評価装置
JP2011085731A (ja) 楽音信号処理装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190211

R151 Written notification of patent or utility model registration

Ref document number: 6488767

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151