JP2013037274A - 信号処理装置および方法、信号処理システム、並びにプログラム - Google Patents

Abstract

【課題】歌唱者の歌唱状態に併せて適切にハモリ区間を設定して、ハモリを付加できるようにする。
【解決手段】熱唱度算出部５１は、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する。ハーモニ信号制御部５６は、熱唱度算出部５１により算出された熱唱度に基づいて、ピッチ検出部５２、ハーモニ音程決定部５３、およびピッチシフタ５４により生成されたハモリ音声信号を、楽曲の歌唱者の歌唱音声信号に重畳するか否かを判定し、判定結果に基づいて、ハモリ音声信号を歌唱音声信号に対して重畳する。本技術は、カラオケ装置に適用することができる。
【選択図】図４

Description

本技術は、信号処理装置および方法、信号処理システム、並びにプログラムに関し、特に、カラオケ装置などで、演奏と共に歌唱する際、適切にハーモニ音声を付加できるようにした信号処理装置および方法、信号処理システム、並びにプログラムに関する。

近年、カラオケ装置は幅広く普及しており、カラオケボックスなどで使用される通信カラオケから、携帯機器で簡易的なカラオケ機能を実現するものまである。ところで、カラオケ装置とは、歌唱またはメロディパート（主旋律）を担う楽器を演奏する際に、生演奏ではなく事前に録音された伴奏を再生し、合唱または合奏する装置である。また、これらの行為そのものをカラオケということもある。

従来のカラオケ装置においては、ユーザの歌唱音声（以下、ボーカル音という）と協和する音声（以下、ハーモニ音という）をボーカル音に付加する機能（以下、ハモリ機能）を備えたものが知られている（特許文献１参照）。この機能は、例えばマイクに入力したボーカル音に対して、一定の音程（例えば音階上の３度）だけずれた音声からなるハーモニ音を生成し、これを元のボーカル音に付加することでハモリ機能を実現している。また、この方法に限らず、より美しく協和する方法が多く考案されている。

特開平８−５０４９３号公報

ところが、ハーモニ音を付加する区間については自動化されておらず、人の手間が必要であった。例えば、歌唱者の判断でその都度ハモリ機能を有効または無効にする操作が必要な場合、歌唱者は、カラオケ装置の伴奏と共に歌いながら、その操作のタイミングを見定める意識が必要となるため、純粋にカラオケ装置の伴奏と共に歌うことを楽しめない恐れがあった。

また、カラオケ楽曲配信会社が楽曲毎に予めハーモニ音を付加する区間を設定する場合、ハーモニ音を付加する区間を設定するという作業そのものがコスト高となっている。さらに、楽曲の開始から終了まで全ての区間でハーモニ音を付加するようにすると、単調でつまらない歌い心地になる可能性があった。

本技術は、このような状況に鑑みてなされたものであり、特に、楽曲毎および歌唱者の歌い方毎に、適切なハーモニ音を付加する区間を制御できるようにすることで、バリエーションに富んだ楽しい伴奏を出力可能なカラオケ装置を実現すると同時に、ハーモニ音を付加する区間を予め設定するコストおよび歌唱者がハモリ機能を操作するといった手間を省けるようにするものである。

本技術の一側面の信号処理装置は、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出部と、前記熱唱度算出部により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定部と、前記ハモリ音声信号重畳判定部の判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳部とを含む。

前記熱唱度算出部には、前記楽曲の歌唱者の歌唱音声信号に基づいて、前記歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出させるようにすることができる。

前記歌唱者の生体情報を取得する生体情報取得部をさらに含ませるようにすることができ、前記熱唱度算出部には、前記楽曲の歌唱者の生体情報に基づいて、前記歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出させるようにすることができる。

前記ハモリ音声信号重畳判定部には、前記熱唱度算出部により算出された前記熱唱度と、前記熱唱度に対して設定される熱唱度閾値とを比較させ、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定させ、前記熱唱度が前記熱唱度閾値よりも高い場合、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するものと判定させるようにすることができる。

前記楽曲の音声信号である楽曲音声信号に基づいて、前記楽曲の盛り上がり度を算出する盛り上がり度算出部をさらに含ませるようにすることができ、前記ハモリ音声信号重畳判定部には、前記熱唱度算出部により算出された前記熱唱度、および、前記盛り上がり度算出部により算出された前記盛り上がり度に基づいて、前記歌唱音声信号にハモリ音声信号を重畳するか否かを判定させるようにすることができる。

前記熱唱度閾値算出部には、複数の歌唱者による前記熱唱度の平均値を利用して熱唱度閾値を算出させ、前記ハモリ音声信号重畳判定部には、前記熱唱度算出部により算出された前記熱唱度と、前記熱唱度に対して設定され、複数の歌唱者による熱唱度の平均値を利用して求められた熱唱度閾値とを比較して、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定させ、前記熱唱度が前記熱唱度閾値よりも高い場合、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するものと判定させるようにすることができる。

本技術の信号処理システムには、前記熱唱度を算出する熱唱度算出部を含む複数の請求項１乃至６のいずれかに記載の信号処理装置よりネットワークを介して前記熱唱度算出部により算出された熱唱度を取得する熱唱度取得部と、前記熱唱度取得部により複数の前記信号処理装置より取得された熱唱度の平均値を利用して熱唱度閾値を算出する熱唱度閾値算出部と、前記熱唱度閾値算出部により算出された熱唱度閾値を前記複数の信号処理装置に配信する配信部とを含む情報処理装置と、請求項１乃至６のいずれかに記載の信号処理装置とからなり、前記ハモリ音声信号重畳判定部には、前記熱唱度算出部により算出された前記熱唱度と、前記熱唱度に対して設定され、前記配信部により配信されてくる熱唱度閾値とを比較させて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定させ、前記熱唱度が前記熱唱度閾値よりも高い場合、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するものと判定させるようにすることができる。

本技術の一側面の信号処理方法は、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出部における、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出ステップと、前記熱唱度算出部により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定部における、前記熱唱度算出ステップの処理により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定ステップと、前記ハモリ音声信号重畳判定部の判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳部における、前記ハモリ音声信号重畳判定ステップの処理での判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳ステップとを含む。

本技術の一側面のプログラムは、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出部と、前記熱唱度算出部により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定部と、前記ハモリ音声信号重畳判定部の判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳部とを含む信号処理装置を制御するコンピュータに、前記熱唱度算出部における、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出ステップと、前記ハモリ音声信号重畳判定部における、前記熱唱度算出ステップの処理により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定ステップと、前記ハモリ音声信号重畳部における、前記ハモリ音声信号重畳判定ステップの処理での判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳ステップとを含む処理を実行させる。

本技術の一側面においては、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度が算出され、算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かが判定され、判定結果に基づいて、前記ハモリ音声信号が前記歌唱音声信号に対して重畳される。

本技術の信号処理装置は、独立した装置であっても良いし、信号処理を行うブロックであっても良い。

本技術によれば、楽曲毎および歌唱者の歌い方毎に、適切なハーモニ音を付加する区間を設定することが可能となる。

本技術である信号処理装置を適用した信号処理システムの実施の形態の構成例を示す図である。 音声処理装置の構成例を説明する図である。 DSPの構成例を説明する図である。 ハーモニ信号制御部の構成例を説明する図である。 熱唱度サーバの構成例を説明する図である。 演奏処理を説明するフローチャートである。 ハーモニ制御処理を説明するフローチャートである。 熱唱度算出処理を説明するフローチャートである。 楽曲盛り上がり度算出処理を説明するフローチャートである。 熱唱度の算出を説明する図である。 汎用のパーソナルコンピュータの構成例を説明する図である。

［本技術を適用した信号処理システムの構成例］
図１を参照して、本技術を適用した信号処理システムの構成例について説明する。

図１の信号処理システムは、いわゆるネットワーク４を介して通信可能なカラオケ店に設置されたカラオケ装置からなる音声処理装置１−１乃至１−ｎ、熱唱度サーバ２、および楽曲データベース３から構成されている。尚、音声処理装置１−１乃至１−ｎについて、特に区別する必要が無い場合、単に、音声処理装置１と称するものとし、その他の構成についても同様とする。

音声処理装置１は、いわゆるカラオケ店などに設置されるカラオケ装置であり、図示せぬ歌唱者により操作が指示されると、指定された楽曲の音声データをインターネットなどに代表されるネットワーク４を介して楽曲データベース３よりダウンロードして伴奏する。そして、音声処理装置１は、歌唱者が歌唱することにより発せられる歌唱音声信号に基づいて、熱唱度を算出し、算出した熱唱度に応じてハーモニ音声（ハーモニ音）を歌唱音声信号（ボーカル音）に付加して（重畳して）出力すると共に、算出した熱唱度の情報をネットワーク４を介して熱唱度サーバ２に供給する。熱唱度サーバ２は、複数の音声処理装置１よりネットワーク４を介して供給されてくる熱唱度の情報を取得すると、同一の楽曲の熱唱度毎に平均値を求め、その平均値を所定値だけ低減させるようにオフセットさせた値を熱唱度閾値として記憶する。そして、熱唱度サーバ２は、記憶した熱唱度閾値の情報を、音声処理装置１が楽曲の音声データを楽曲データベース３よりダウンロードする際に、ネットワーク４を介して音声処理装置１に配信する。音声処理装置１は、歌唱者の歌唱音声信号に基づいて、求められる熱唱度と、ネットワーク４を介して取得した熱唱度閾値との比較に基づいて、ハーモニ音声を付加する区間を判定して、ハーモニ音声を重畳する。楽曲データベース３は、指定された楽曲データを蓄積する。尚、以降においては、歌唱音声信号に協和音声であるハーモニ音声を重畳して音声を出力する行為を、ハモる、ハモリを付加する、または、ハモリをオンにすると称するものとする。

［音声処理装置の構成例］
次に、図２を参照して、音声処理装置１の構成例について説明する。

音声処理装置１は、CPU（Central Processing Unit）２１、RAM（Random Access Memory）２２、ROM（Read Only Memory）２３、送受信部２４、記憶部２５、システムバス２６、リモートコントローラ受光部２７、およびモニタ２８を備えている。また、音声処理装置１は、MIDI（Musical Instrument Digital Interface）音源部２９、DSP（Digital Signal Processor）３０、D/A（Digital Analog Converter）３１、および増幅部３２を備えている。さらに、音声処理装置１は、スピーカ３３、A/D（Analog Digital Converter）３４、増幅部３５、およびマイクロフォン３６を備えている。

CPU２１は、システムバス２６を介して、ROM２３、またはHDD（Hard Disk Drive）やSSD（Solid State Drive）などからなる記憶部２５に予め記憶されている所定のプログラムおよびデータを読み出して、RAM２２に展開し、所定の処理を実行する。CPU２１は、これらの一連の処理を実行することで、音声処理装置１の動作の全体を制御している。

送受信部２４は、いわゆるイーサネットボードなどであり、ネットワーク４を介して、楽曲データベース３より楽曲をダウンロードしたり、DSP３０により歌唱者の歌唱音声信号に基づいて算出された熱唱度の情報を熱唱度サーバ２にアップロードする。

記憶部２５は、CPU２１により制御されるHDDやSSDなどから構成されるものであり、処理に必要なデータやプログラムを記憶すると共に、ダウンロードした楽曲データを記憶して、システムバス２６を介してCPU２１、MIDI音源部２９およびDSP３０に供給する。

リモートコントローラ受光部２７は、音声処理装置１を操作するためのリモートコントローラ１３により赤外光で発せられる信号を受光して、所定の信号に変換し、システムバス２６を介してCPU２１に供給する。

モニタ２８は、LCD（Liquid Crystal Display）や有機EL（Electronic Luminescent）などからなり、CPU２１により制御され、各種の情報や処理結果を表示する。

MIDI音源部２９は、送受信部２４によりネットワーク４を介して楽曲データベース３よりダウンロードされてくるMIDI形式の音楽データをDSP３０により信号処理可能なデジタル信号に変換してDSP３０に出力する。

マイクロフォン３６は、歌唱者により保持されて、歌唱者が発する歌唱音声を収音してアナログ信号として増幅部３５に供給する。また、マイクロフォン３６は、本体を把持する部位にセンサ３６ａ，３６ｂが設けられており、それぞれ歌唱者の脈拍数、および体温を測定して、DSP３０に供給する。増幅部３５は、マイクロフォン３６より供給されてくる歌唱音声信号からなるアナログ信号を所定の増幅率で増幅し、A/D３４に供給する。A/D３４は、増幅部３５により所定の倍率で増幅されたアナログ信号からなる歌唱音声信号をDSP３０により処理可能なデジタル信号に変換して供給する。

DSP３０は、システムバス２６を介してCPU２１により制御されて、MIDI音源部２９からのデジタル信号からなる楽曲、およびA/D３４より供給されるデジタル信号からなる歌唱音声信号を所定の処理によりハーモニ音声やエコーを付加してD/A３１に出力する。D/A３１は、DSP３０により各種の処理が施されたデジタル信号からなる音声信号をアナログ信号に変換して増幅部３２に供給する。増幅部３２は、アナログ信号に変換された音声信号を所定の増幅率で増幅してスピーカ３３より音声として出力させる。

［DSPの構成例］
次に、図３を参照して、DSP３０の構成例について説明する。

DSP３０は、熱唱度算出部５１、ピッチ検出部５２、ハーモニ音程決定部５３、ピッチシフタ５４、楽曲盛り上がり度算出部５５、ハーモニ信号制御部５６、エコー付加部５７、および加算器５８を備えている。

熱唱度算出部５１は、A/D３４より供給されてくる歌唱音声信号、並びに、マイクロフォン３６より供給されてくる歌唱者の脈拍数および体温の情報に基づいて、時系列に熱唱度を算出し、内蔵する記憶部５１ａに記憶させると共に、ハーモニ信号制御部５６に供給する。そして、熱唱度算出部５１は、楽曲データの供給が終了して、演奏が終了すると、記憶部５１ａに時系列に記憶している熱唱度の情報を、楽曲データを識別する情報と共に送受信部２４を制御して、熱唱度サーバ２に送信させる。

ピッチ検出部５２は、A/D３４より供給されてくる歌唱音声信号のピッチ、すなわち、基本周波数を検出し、これを音名（ドレミファソラシドなど）に変換してハーモニ音程決定部５３に供給する。ハーモニ音程決定部５３は、記憶部２５に記憶されている楽曲データから得られる音階およびコードの情報を、システムバス２６を通して取得し、これらの情報を元に現在の音名に対して協和する音程（ハーモニ音程：例えば、３度、または５度ずれた音程）を決定してピッチシフタ５４に供給する。ピッチシフタ５４は、歌唱音声信号をハーモニ音程分だけシフトさせることにより、ハーモニ音声信号を生成して、ハーモニ信号制御部５６に供給する。

楽曲盛り上がり度算出部５５は、MIDI音源部２９より供給されてくる楽曲データに基づいて、楽曲の盛り上がり度を算出し、ハーモニ信号制御部５６に供給する。

ハーモニ信号制御部５６は、熱唱度算出部５１より供給されてくる熱唱度、および楽曲盛り上がり度算出部５５より供給されてくる楽曲盛り上がり度に基づいて、歌唱音声信号をそのまま出力するか、または、歌唱音声信号にハーモニ音声信号を付加して出力するかを制御する。尚、ハーモニ信号制御部５６の構成については、図４を参照して、詳細を後述する。

エコー付加部５７は、ハーモニ信号制御部５６より出力されてくる歌唱音声信号、または、ハーモニ音声信号が付加された歌唱音声信号にエコーを付加して、加算器５８に供給する。

加算器５８は、MIDI音源部２９より供給されてくる楽曲の音声信号を、エコー付加部５７より供給されてきた歌唱音声信号、またはハーモニ音声が付加された歌唱音声信号に加算することにより合成して出力する。

［ハーモニ信号制御部の構成例］
次に、図４を参照して、ハーモニ信号制御部５６の構成例について説明する。

ハーモニ信号制御部５６は、歌唱音声信号ゲイン調整部７１、ハーモニ音声信号ゲイン調整部７２、加算器７３、スイッチ７４、熱唱度閾値判定部７５、出力音選択部７６、および楽曲盛り上がり度閾値判定部７７を備えている。

歌唱音声信号ゲイン調整部７１は、歌唱音声信号のゲインを調整して、加算器７３、およびスイッチ７４の端子７４ａに出力する。ハーモニ音声信号ゲイン調整部７２は、ハーモニ音声信号のゲインを調整して、加算器７３に出力する。加算器７３は、ゲインが調整された歌唱音声信号とハーモニ音声信号とを加算して混合（重畳）し、スイッチ７４の端子７４ｂに出力する。

熱唱度閾値判定部７５は、熱唱度閾値を送受信部２４を制御して、熱唱度サーバ２より取得し、熱唱度算出部５１より供給されてくる熱唱度と比較して、比較結果を出力音選択部７６に供給する。楽曲盛り上がり度閾値判定部７７は、楽曲盛り上がり度算出部５５より供給されてくる楽曲盛り上がり度と、楽曲盛り上がり度閾値とを比較し、比較結果を出力音選択部７６に供給する。

出力音選択部７６は、熱唱度閾値判定部７５、および楽曲盛り上がり度閾値判定部７７のそれぞれの判定結果に基づいて、スイッチ７４を制御して、端子７４ａまたは７４ｂに接続する。この結果、出力音選択部７６は、スイッチ７４を制御して、端子７４ａに接続する場合、歌唱音声信号を出力し、端子７４ｂに接続する場合、ハーモニ音声信号が混合（重畳）されている歌唱音声信号を出力する。

［熱唱度サーバの構成例］
次に、図５を参照して、熱唱度サーバ２の構成例について説明する。

熱唱度サーバ２は、CPU９１、RAM９２、ROM９３、送受信部９４、記憶部９５、システムバス９６、熱唱度閾値生成部９７、および熱唱度閾値記憶部９８を備えている。CPU９１は、システムバス９６を介して、ROM９３、またはHDDやSSDなどからなる記憶部９５に予め記憶されている所定のプログラムおよびデータを読み出して、RAM９２に展開し、所定の処理を実行する。CPU９１は、これらの一連の処理を実行することで、熱唱度サーバ２の動作の全体を制御している。

送受信部９４は、いわゆるイーサネットボードであり、ネットワーク４を介してカラオケ装置である複数の音声処理装置１より熱唱度の情報を楽曲毎に取得して記憶部９５に記憶させる。また、送受信部９４は、熱唱度閾値記憶部９８に記憶されている熱唱度閾値を読み出して音声処理装置１に配信する。

熱唱度閾値生成部９７は、新たな熱唱度の情報が記憶部９５に楽曲に対応付けて記憶されると、その楽曲の熱唱度の平均値を求め、さらに、所定値または所定の割合だけオフセットさせた値を熱唱度閾値として生成する。そして、熱唱度閾値生成部９７は、生成した熱唱度閾値の情報を熱唱度閾値記憶部９８に楽曲に対応付けて記憶させる。

［演奏処理］
次に、図６のフローチャートを参照して、演奏処理について説明する。

ステップＳ１において、CPU２１は、リモートコントローラ受光部２７において、リモートコントローラ１３が操作されることにより、楽曲が指定されて、かつ、演奏を指示する信号が受光されたか否かを判定し、受光されたと判定されるまで、同様の処理を繰り返す。ステップＳ１において、例えば、ユーザによりリモートコントローラ１３が操作されることにより、楽曲が指定されて、かつ、演奏を指示する信号が発せられ、リモートコントローラ受光部２７により受光されると、処理は、ステップＳ２に進む。

ステップＳ２において、CPU２１は、送受信部２４を制御して、指定された楽曲データをネットワーク４を介して、楽曲データベース３よりダウンロードさせると共に、ダウンロードした楽曲データを記憶部２５に記憶させる。

ステップＳ３において、CPU２１は、DSP３０に対して、ダウンロードした楽曲データに対応する熱唱度閾値をネットワーク４を介して熱唱度サーバ２よりダウンロードするように指示する。この指示に応じてDSP３０のハーモニ信号制御部５６は、システムバス２６を介して送受信部２４を制御して、ネットワーク４を介して熱唱度サーバ２に対してダウンロードした楽曲データに対応する熱唱度閾値を要求する。

ステップＳ２１において、熱唱度サーバ２のCPU９１は、送受信部９４を制御して、熱唱度閾値が要求されてきたか否かを判定し、要求されるまで、同様の処理を繰り返す。ステップＳ２１において、例えば、ステップＳ３の処理により、熱唱度閾値が要求されてきた場合、処理は、ステップＳ２２に進む。

ステップＳ２２において、CPU９１は、熱唱度閾値記憶部９８に記憶されている熱唱度閾値の情報のうち、音声処理装置１によりダウンロードされた楽曲データに対応する熱唱度閾値の情報を読み出す。そして、CPU９１は、読み出した熱唱度閾値の情報を送受信部９４を制御して、ネットワーク４を介して要求のあった音声処理装置１に送信させる。

ステップＳ４において、DSP３０は、送受信部２４を制御して、熱唱度サーバ２より送信されてきた熱唱度閾値の情報を取得し、熱唱度閾値判定部７５に記憶させる。

ステップＳ５において、MIDI音源部２９は、記憶部２５に記憶されているMIDI形式の楽曲データを読み出して、DSP３０により再生可能なデジタル音声信号に変換して供給する。DSP３０は、MIDI音源部２９より順次供給されてくるデジタル音声信号に基づいて、楽曲の音声信号を再生し、D/A３１によりアナログ信号に変換させた後、増幅部３２により所定の増幅率で増幅させて、スピーカ３３より出力させることで、演奏を開始する。これにより、歌唱者は、スピーカ３３より出力される伴奏曲に合わせて、マイクロフォン３６を把持した状態で歌唱を開始する。また、マイクロフォン３６のセンサ３６ａ，３６ｂは、それぞれ歌唱者の脈拍数、および体温といった生体情報を測定して、DSP３０に供給する。

ステップＳ６において、DSP３０は、マイクロフォン３６より入力される歌唱者の歌唱音声信号に基づいて、ハーモニ制御処理を実行して、歌唱音声信号に対して、必要に応じてハーモニ音声信号を付加（重畳）してスピーカ３３より音声を出力する。

ステップＳ７において、DSP３０は、演奏が終了したか、すなわち、MIDI音源部２９からの楽曲データの供給が停止したか否かを判定し、演奏が終了していない場合、処理は、ステップＳ６に戻る。すなわち、演奏が終了するまで、DSP３０は、ハーモニ制御処理を実行し続けて、歌唱音声信号に対して、必要に応じてハーモニ音声信号を付加する処理を繰り返す。この際、DSP３０は、熱唱度、および楽曲盛り上がり度を時系列で算出し続け、熱唱度については算出結果を記憶している。尚、ハーモニ制御処理については、図７のフローチャートを参照して、詳細を後述する。

ステップＳ７において、例えば、演奏が終了したとみなされた場合、処理は、ステップＳ８に進む。

ステップＳ８において、DSP３０の熱唱度算出部５１は、記憶部５１ａに時系列に記憶している熱唱度の情報を、楽曲データを識別する情報と共に演奏終了を示す情報と併せて送受信部２４を制御して、熱唱度サーバ２にアップロードさせる。

一方、熱唱度サーバ２においては、ステップＳ２２の処理で熱唱度閾値の情報が送信された後、ステップＳ２３において、熱唱度閾値生成部９７が送受信部９４を制御して、音声処理装置１より演奏終了を示す情報が送信されてきたか否かを判定する。そして、ステップＳ２３において、演奏終了を示す情報が送信されてきたと判定されるまで、同様の処理が繰り返される。ステップＳ２３において、例えば、ステップＳ８の処理により演奏終了を示す情報が送信されてきた場合、処理は、ステップＳ２４に進む。

ステップＳ２４において、熱唱度閾値生成部９７は、送受信部９４を制御して、演奏終了を示す情報と共に送信されてくる、楽曲を識別する情報、およびその楽曲に対する熱唱度の情報を取得して、記憶部９５に記憶させる。

ステップＳ２５において、熱唱度閾値生成部９７は、記憶部９５に記憶されている熱唱度の情報のうち、取得した楽曲に対応する熱唱度の情報を読み出して、統計的に処理して、熱唱度閾値を算出する。より詳細には、熱唱度閾値生成部９７は、記憶部９５に記憶されている熱唱度の情報のうち、取得した楽曲に対応する熱唱度の平均値を求め、さらに、オフセット分だけ低い値の時系列の情報を熱唱度閾値として算出する。

ステップＳ２６において、熱唱度閾値生成部９７は、算出した熱唱度閾値の情報で、熱唱度閾値記憶部９８に記憶されている情報を上書きして更新し保存（記憶）する。

以上の処理により、音声処理装置１において、楽曲が指定されて、演奏の開始が指示されると、熱唱度サーバ２より熱唱度閾値の情報がダウンロードされ、楽曲データベース３より楽曲データがダウンロードされて演奏が開始される。このとき、音声処理装置１では、熱唱度閾値の情報に基づいて、ハーモニ制御処理が実行されて、楽曲が演奏されている間に、歌唱者の歌唱音声信号に対応して適宜ハーモニ音声信号が付加される。そして、演奏が終了すると、歌唱者の歌唱音声信号に基づいて時系列に算出された熱唱度の情報が熱唱度サーバ２にアップロードされて、その都度熱唱度閾値が統計的に算出されて更新され続ける。

［ハーモニ制御処理］
次に、図７のフローチャートを参照して、ハーモニ制御処理について説明する。

ステップＳ４１において、DSP３０のピッチ検出部５２は、マイクロフォン３６より入力され、増幅部３５、およびA/D３４を介して入力される歌唱者の歌唱音声信号に基づいて、歌唱者の歌唱する歌唱音声信号の基本周波数からなるピッチを検出する。さらに、ピッチ検出部５２は、検出したピッチをドレミファソラシドといった音名に変換し、変換した音名の情報をハーモニ音程決定部５３に供給する。

ステップＳ４２において、ハーモニ音程決定部５３は、記憶部２５に記憶されている楽曲データから得られる音階およびコードの情報を、システムバス２６を通して取得し、これらの情報を元に現在の音名に対して協和する音程（ハーモニ音程）を決定する。ハーモニ音程決定部５３は、決定したハーモニ音程の情報をピッチシフタ５４に供給する。

ステップＳ４３において、ピッチシフタ５４は、ハーモニ音程決定部５３より供給されてくるハーモニ音程の情報に基づいて、歌唱音声信号の基本周波数をシフトさせて、ハーモニ音声信号を生成し、ハーモニ信号制御部５６に供給する。

ステップＳ４４において、熱唱度算出部５１は、歌唱音声信号、およびマイクロフォン３６より供給される脈拍数および体温の情報に基づいて、熱唱度算出処理を実行して、時系列に熱唱度を算出して、順次記憶部５１ａに順次記憶させる。

［熱唱度算出処理］
ここで、図８のフローチャートを参照して、熱唱度算出処理について説明する。

ステップＳ７１において、熱唱度算出部５１は、所定時間間隔毎に歌唱音声信号のRMS（二乗平均平方根：Root Mean Square）を算出する。

ステップＳ７２において、熱唱度算出部５１は、所定時間間隔毎に歌唱音声信号の基本周波数の平均値、すなわち、ピッチ平均値を算出する。

ステップＳ７３において、熱唱度算出部５１は、所定時間間隔毎に歌唱音声信号の基本周波数の標準偏差の逆数を、歌唱音声信号の安定度、すなわち、ピッチ安定度として算出する。

ステップＳ７４において、熱唱度算出部５１は、マイクロフォン３６のセンサ３６ａにより測定される歌唱者の脈拍数の情報を取得する。

ステップＳ７５において、熱唱度算出部５１は、マイクロフォン３６のセンサ３６ｂにより測定される歌唱者の体温の情報を取得する。

ステップＳ７６において、熱唱度算出部５１は、以下の式（１）を算出することにより熱唱度を算出し、記憶部５１ａに記憶すると共に、算出した熱唱度をハーモニ信号制御部５６に供給する。

HS＝α×RMS＋β×ピッチ平均値＋γ×ピッチ安定度＋δ×脈拍数＋ε×体温
・・・（１）

ここで、HSは、熱唱度を、RMSは歌唱音声信号の二乗平均平方根を、α，β，γ，δ，εは、それぞれ各パラメータの重み係数を示している。

すなわち、熱唱度は、歌唱音声信号の二乗平均平方根で示される音圧レベル、基本周波数の平均値であるピッチ平均値、基本周波数の安定度であるピッチ安定度、脈拍数、および体温のそれぞれのパラメータが高いほど、高い値となる。尚、式（１）で定義される熱唱度は、その一例であって、その他にも定義は可能であり、例えば、マイクロフォン３６にセンサ３６ａ，３６ｂが設けられていない一般的なものである場合、歌唱者の生体情報である脈拍数や体温については、パラメータとしないようにしてもよい。また、生体情報には、この他にも血圧などを用いるようにしてもよい。さらに、重み係数α，β，γ，δ，εについては、自由に設定できるようにしてもよいものである。

以上の処理により、歌唱者の歌唱音声信号、および、生体情報に基づいて、熱唱度を算出することが可能となる。

ここで、図７のフローチャートの説明に戻る。

ステップＳ４４において、熱唱度算出処理により熱唱度が求められると、ステップＳ４５において、楽曲盛り上がり度算出部５５は、楽曲盛り上がり度算出処理を実行し、MIDI音源部２９からの楽曲データのデジタル音声信号より、楽曲盛り上がり度を算出する。

［楽曲盛り上がり度算出処理］
ここで、図８のフローチャートを参照して、楽曲盛り上がり度算出処理について説明する。

ステップＳ９１において、楽曲盛り上がり度算出部５５は、所定時間間隔毎に歌唱音声信号のRMSを算出すると共に、累積的に記憶する。

ステップＳ９２において、楽曲盛り上がり度算出部５５は、直前の処理で求められた所定時間間隔毎に歌唱音声信号のRMSより以前のRMSの平均値を求める。

ステップＳ９３において、楽曲盛り上がり度算出部５５は、直前の処理で求められたRMSとRMSの平均値との差分を、楽曲盛り上がり度として算出し、ハーモニ信号制御部５６に供給する。

以上の処理により、所定の時間間隔で求められるRMSと、それまでのRMS平均値との差分が楽曲盛り上がり度として求められる。尚、楽曲盛り上がり度は、上述した手法により求められるものに限られず、例えば、楽曲の盛り上がり部分である、いわゆる「サビ」部分を検出し、サビ部分となる程度を示す値で代用するようにしてもよい。

ここで、図７のフローチャートの説明に戻る。

ステップＳ４５において、楽曲盛り上がり度算出処理により楽曲盛り上がり度が求められると、処理は、ステップＳ４６に進む。

ステップＳ４６において、ハーモニ音声信号ゲイン調整部７２は、ピッチシフタ５４より供給されてくるハーモニ音声信号のゲインを調整して、加算器７３に供給する。

ステップＳ４７において、歌唱音声信号ゲイン調整部７１は、A/D３４より供給されてくる歌唱音声信号のゲインを調整して加算器７３および端子７４ａに供給する。

ステップＳ４８において、熱唱度閾値判定部７５は、熱唱度算出部５１より供給されてきた熱唱度と、熱唱度サーバ２よりダウンロードして記憶している熱唱度閾値とを比較し、熱唱度が熱唱度閾値より高いか否かを判定する。ステップＳ４８において、例えば、熱唱度が熱唱度閾値よりも高いと判定された場合、熱唱度閾値判定部７５は、その判定結果を出力音選択部７６に供給し、処理は、ステップＳ４９に進む。

ステップＳ４９において、楽曲盛り上がり度閾値判定部７７は、楽曲盛り上がり度算出部５５より供給されてくる楽曲盛り上がり度と、所定の楽曲盛り上がり度閾値とを比較して、楽曲盛り上がり度が所定の楽曲盛り上がり度閾値よりも高いか否かを判定する。ステップＳ４９において、例えば、楽曲盛り上がり度が所定の楽曲盛り上がり度閾値よりも高いとみなされた場合、楽曲盛り上がり度閾値判定部７７は、その判定結果を出力音選択部７６に供給し、処理は、ステップＳ５０に進む。

ステップＳ５０において、出力音選択部７６は、熱唱度閾値判定部７５および楽曲盛り上がり度閾値判定部７７の判定結果に基づいて、スイッチ７４を端子７４ｂに接続させる。これにより加算器７３が歌唱音声信号とハーモニ音声信号とが合成された信号が端子７４ｂを介して出力音選択部７６に供給され、出力音選択部７６は、供給されてくる歌唱音声信号とハーモニ音声信号とが合成された合成信号をエコー付加部５７に供給する。

ステップＳ５１において、エコー付加部５７は、歌唱音声信号とハーモニ音声信号とが合成された合成歌唱音声信号に、所定のエコー処理を付加して加算器５８に出力する。

ステップＳ５２において、加算器５８は、エコーが付加された合成歌唱音声信号とMIDI音源部２９より供給されてくる楽曲のデジタル信号とを合成して、D/A３１に出力する。この処理により、楽曲のデジタル信号と合成された合成歌唱音声信号は、D/A３１によりアナログ信号に変換され、増幅部３２によりゲイン調整された後、スピーカ３３より出力される。

一方、ステップＳ４８において、熱唱度が熱唱度閾値よりも小さいとみなされた場合、熱唱度閾値判定部７５は、その判定結果を出力音選択部７６に供給し、処理は、ステップＳ５３に進む。または、ステップＳ４９において、楽曲盛り上がり度が楽曲盛り上がり度閾値よりも小さいとみなされた場合、楽曲盛り上がり度閾値判定部７７は、その判定結果を出力音選択部７６に供給し、同様に処理は、ステップＳ５３に進む。

ステップＳ５３において、出力音選択部７６は、熱唱度閾値判定部７５、または楽曲盛り上がり度閾値判定部７７の判定結果に基づいて、スイッチ７４を端子７４ａに接続させる。歌唱音声信号のみが端子７４ａを介して出力音選択部７６に供給され、出力音選択部７６は、供給されてくる歌唱音声信号のみをエコー付加部５７に供給する。

すなわち、熱唱度が熱唱度閾値よりも高く、かつ、楽曲盛り上がり度が楽曲盛り上がり度閾値よりも高い場合、歌唱音声信号にハーモニ音声信号が合成されて、すなわち、ハモリがオンの状態となって、楽曲の音声と共に歌唱音声信号が出力される。このため、歌唱者の歌い方により変化する熱唱度と、楽曲の盛り上がり度に応じて、歌唱者の歌唱音声信号にハーモニ音声が付加されることになるので、適切にハモリの区間が設定され、さらに、ハモリ音声、すなわち、協和音声を付加することが可能となる。結果として、歌唱者は、ハモリ機能をオンにするタイミングを意識する必要が無く、適切にハモリをオンにすることが可能となるので、カラオケ装置を利用する際に、歌唱することに集中することが可能となる。

また、熱唱度閾値thは、例えば、図１０で示されるように、ネットワーク４上の音声処理装置１よりアップロードされる同一の楽曲に対する熱唱度平均値Aveに対して、所定のレベルだけオフセットされた値に設定される。このため、熱唱度は、歌唱者の歌い方により変化が生じるものの、熱唱度閾値thは、熱唱度の平均値に満たない歌唱者でもオフセットが設定されているため、歌唱者により歌唱方法が変化して熱唱度が変化しても、多くの歌唱者に対して適切なタイミングでハモリ機能を利用することが可能となる。尚、熱唱度閾値thが熱唱度平均値に対してオフセットされた値とされているのは、上述したようにハモリ機能をオンにし易くするためであるので、オフセットは様々に設定するようにしても良く、例えば、オフセットをゼロとして熱唱度平均値そのものを熱唱度平均値としてもよい。

さらに、以上においては、熱唱度閾値については、各音声処理装置１がネットワーク４を介して熱唱度の情報を熱唱度サーバ２にアップロードし、その平均値から求められるものをダウンロードして使用する例について説明してきた。このようにすることで、熱唱度閾値の設定をより歌唱者の意向を反映した適切なものにすることが可能となるが、ある程度平均となる熱唱度が求められた後は、熱唱度閾値の変化は小さくなっていくことが予想される。したがって、熱唱度閾値については、毎回熱唱度サーバ２からダウンロードするものではなく、例えば、一旦ダウンロードしたものを音声処理装置１が記憶して、以降はこれを繰り返して使用するようにしてもよいし、工場出荷時などに予め記憶させて、これを利用するようにしてもよい。さらには、ネットワーク４を介さず、１台の音声処理装置１において、同一の楽曲についての複数の歌唱者の熱唱度を蓄積し、その平均値を利用して熱唱度閾値を単独で求めるようにしてもよい。

また、以上においては、熱唱度サーバ２がネットワーク４上に存在する例について説明してきたが、複数の情報処理装置やサーバなどにより、いわゆるクラウドコンピューティングによりこれを代用させるようにしてもよい。この際、クラウドコンピューティングは、音声処理装置１、すなわち、カラオケ装置のみから構成されるようにしてもよい。

さらに、以上においては、歌唱者が歌唱する歌唱音声を基準とし、その歌唱音声に対して協和音声、すなわち、ハーモニ音声を重畳する例について説明してきたが、基準となる音声は歌唱音声以外でもよく、例えば、楽器の演奏音声であってもよい。

以上の如く、本技術によれば、いわゆるカラオケ装置などに代表される楽曲再生装置などからなる音声処理装置において、楽曲毎に、または、歌唱者の歌唱状態毎に、適切なタイミングでハーモニ音声を歌唱音声に付加する、いわゆるハモリを付加することが可能となる。この際、歌唱者は、ハモリの区間（タイミング）を意識する必要が無いので、歌唱することに集中することができ、その上でハモリ機能によりハーモニ音声を付加することができるので、より快適に歌唱することを楽しむことが可能となる。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。

バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。

入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

尚、本技術は以下のような構成を取ることができる。
（１） 楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出部と、
前記熱唱度算出部により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定部と、
前記ハモリ音声信号重畳判定部の判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳部と
を含む信号処理装置。
（２） 前記熱唱度算出部は、前記楽曲の歌唱者の歌唱音声信号に基づいて、前記歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する
（１）に記載の信号処理装置。
（３） 前記歌唱者の生体情報を取得する生体情報取得部をさらに含み、
前記熱唱度算出部は、前記楽曲の歌唱者の生体情報に基づいて、前記歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する
（１）または（２）に記載の信号処理装置。
（４） 前記ハモリ音声信号重畳判定部は、前記熱唱度算出部により算出された前記熱唱度と、前記熱唱度に対して設定される熱唱度閾値とを比較して、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定し、前記熱唱度が前記熱唱度閾値よりも高い場合、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するものと判定する
（１）乃至（３）のいずれかに記載の信号処理装置。
（５） 前記楽曲の音声信号である楽曲音声信号に基づいて、前記楽曲の盛り上がり度を算出する盛り上がり度算出部をさらに含み、
前記ハモリ音声信号重畳判定部は、前記熱唱度算出部により算出された前記熱唱度、および、前記盛り上がり度算出部により算出された前記盛り上がり度に基づいて、前記歌唱音声信号にハモリ音声信号を重畳するか否かを判定する
（１）乃至（４）のいずれかに記載の信号処理装置。
（６） 前記熱唱度閾値算出部は、複数の歌唱者による前記熱唱度の平均値を利用して熱唱度閾値を算出し、
前記ハモリ音声信号重畳判定部は、前記熱唱度算出部により算出された前記熱唱度と、前記熱唱度に対して設定され、複数の歌唱者による熱唱度の平均値を利用して求められた熱唱度閾値とを比較して、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定し、前記熱唱度が前記熱唱度閾値よりも高い場合、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するものと判定する
（１）乃至（５）のいずれかに記載の信号処理装置。
（７） 前記熱唱度を算出する熱唱度算出部を含む複数の（１）乃至（６）のいずれかに記載の信号処理装置よりネットワークを介して前記熱唱度算出部により算出された熱唱度を取得する熱唱度取得部と、
前記熱唱度取得部により複数の前記信号処理装置より取得された熱唱度の平均値を利用して熱唱度閾値を算出する熱唱度閾値算出部と、
前記熱唱度閾値算出部により算出された熱唱度閾値を前記複数の信号処理装置に配信する配信部と
を含む情報処理装置と、
前記（１）乃至（６）のいずれかに記載の信号処理装置とからなり、
前記ハモリ音声信号重畳判定部は、前記熱唱度算出部により算出された前記熱唱度と、前記熱唱度に対して設定され、前記配信部により配信されてくる熱唱度閾値とを比較して、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定し、前記熱唱度が前記熱唱度閾値よりも高い場合、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するものと判定する
信号処理システム。
（７） 楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出部における、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出ステップと、
前記熱唱度算出部により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定部における、前記熱唱度算出ステップの処理により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定ステップと、
前記ハモリ音声信号重畳判定部の判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳部における、前記ハモリ音声信号重畳判定ステップの処理での判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳ステップと
を含む信号処理方法。
（８） 楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出部と、
前記熱唱度算出部により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定部と、
前記ハモリ音声信号重畳判定部の判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳部と
を含む信号処理装置を制御するコンピュータに、
前記熱唱度算出部における、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出ステップと、
前記ハモリ音声信号重畳判定部における、前記熱唱度算出ステップの処理により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定ステップと、
前記ハモリ音声信号重畳部における、前記ハモリ音声信号重畳判定ステップの処理での判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳ステップと
を含む処理を実行させるプログラム。

１，１−１乃至１−ｎ 音声処理装置， ２ 熱唱度サーバ， ３ 楽曲データベース， ４ ネットワーク， ３０ DSP， ５１ 熱唱度算出部， ５２ ピッチ検出部， ５３ ハーモニ音程決定部， ５４ ピッチシフタ， ５５ 楽曲盛り上がり度算出部， ５６ ハーモニ信号制御部， ５７ エコー付加部， ５８ 加算器

Claims (9)

1. 楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出部と、
   前記熱唱度算出部により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定部と、
   前記ハモリ音声信号重畳判定部の判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳部と
   を含む信号処理装置。
2. 前記熱唱度算出部は、前記楽曲の歌唱者の歌唱音声信号に基づいて、前記歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する
   請求項１に記載の信号処理装置。
3. 前記歌唱者の生体情報を取得する生体情報取得部をさらに含み、
   前記熱唱度算出部は、前記楽曲の歌唱者の生体情報に基づいて、前記歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する
   請求項１に記載の信号処理装置。
4. 前記ハモリ音声信号重畳判定部は、前記熱唱度算出部により算出された前記熱唱度と、前記熱唱度に対して設定される熱唱度閾値とを比較して、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定し、前記熱唱度が前記熱唱度閾値よりも高い場合、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するものと判定する
   請求項１に記載の信号処理装置。
5. 前記楽曲の音声信号である楽曲音声信号に基づいて、前記楽曲の盛り上がり度を算出する盛り上がり度算出部をさらに含み、
   前記ハモリ音声信号重畳判定部は、前記熱唱度算出部により算出された前記熱唱度、および、前記盛り上がり度算出部により算出された前記盛り上がり度に基づいて、前記歌唱音声信号にハモリ音声信号を重畳するか否かを判定する
   請求項１に記載の信号処理装置。
6. 前記熱唱度閾値算出部は、複数の歌唱者による前記熱唱度の平均値を利用して熱唱度閾値を算出し、
   前記ハモリ音声信号重畳判定部は、前記熱唱度算出部により算出された前記熱唱度と、前記熱唱度に対して設定され、複数の歌唱者による熱唱度の平均値を利用して求められた熱唱度閾値とを比較して、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定し、前記熱唱度が前記熱唱度閾値よりも高い場合、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するものと判定する
   請求項１に記載の信号処理装置。
7. 前記熱唱度を算出する熱唱度算出部を含む複数の請求項１乃至４のいずれかに記載の信号処理装置よりネットワークを介して前記熱唱度算出部により算出された熱唱度を取得する熱唱度取得部と、
   前記熱唱度取得部により複数の前記信号処理装置より取得された熱唱度の平均値を利用して熱唱度閾値を算出する熱唱度閾値算出部と、
   前記熱唱度閾値算出部により算出された熱唱度閾値を前記複数の信号処理装置に配信する配信部と
   を含む情報処理装置と、
   前記請求項１乃至４のいずれかに記載の信号処理装置とからなり、
   前記ハモリ音声信号重畳判定部は、前記熱唱度算出部により算出された前記熱唱度と、前記熱唱度に対して設定され、前記配信部により配信されてくる熱唱度閾値とを比較して、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定し、前記熱唱度が前記熱唱度閾値よりも高い場合、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するものと判定する
   信号処理システム。
8. 楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出部における、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出ステップと、
   前記熱唱度算出部により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定部における、前記熱唱度算出ステップの処理により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定ステップと、
   前記ハモリ音声信号重畳判定部の判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳部における、前記ハモリ音声信号重畳判定ステップの処理での判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳ステップと
   を含む信号処理方法。
9. 楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出部と、
   前記熱唱度算出部により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定部と、
   前記ハモリ音声信号重畳判定部の判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳部と
   を含む信号処理装置を制御するコンピュータに、
   前記熱唱度算出部における、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出ステップと、
   前記ハモリ音声信号重畳判定部における、前記熱唱度算出ステップの処理により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定ステップと、
   前記ハモリ音声信号重畳部における、前記ハモリ音声信号重畳判定ステップの処理での判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳ステップと
   を含む処理を実行させるプログラム。

Images