JP2008209784A - 音声処理装置 - Google Patents

Abstract

【課題】歌唱音声に対して、楽曲の種類や部分に応じた合唱効果を付与することのできる技術を提供する。
【解決手段】音声処理装置１０の制御部１１は、楽曲データの制御情報トラックを参照し、サビ開始マークからサビ終了マークの間のサビ区間において、歌唱者の音声に対して変換用スペクトルデータを用いて音声変換を施し、音声変換を施した音声信号を音声処理部１６を介してスピーカ１７に供給する。これにより、サビ区間においては、スピーカ１７から合唱効果が付与された音声が放音される。
【選択図】図１

Description

本発明は、音声の特性を変化させる技術に関する。

利用者が発声した音声（以下、「入力音声」という）に音楽的な効果を付与するための種々の技術が従来から提案されている。例えば特許文献１には、変換用音声の周波数スペクトルの各ピークの周波数を、入力音声のピッチに応じて変化させるとともに、変換用音声の周波数スペクトルのスペクトルエンベロープを入力音声のスペクトルエンベロープと略一致するように調整し、調整した音声を出力する技術が開示されている。この構成によれば、実際の発声者がひとりであっても、恰も複数人にて合唱しているかのような音声を出力することができる。また、例えば入力音声を楽器の演奏音とすれば、複数の楽器によって合奏しているかのような音声が生成される。
特開２００６−２５１３７５号公報

ところで、１つの楽曲において表現される情感は楽曲の部分部分で様々である。この場合、楽曲全体を通して画一的な合唱効果を付与しても、効果的でないことが多い。それぞれの部分に適した効果を付与することができれば好適である。これは歌唱に限らず楽器の演奏についても同様である。
本発明は、このような事情に鑑みてなされたものであり、歌唱（又は楽器の演奏）に対して、楽曲の種類や区間毎に適した合唱（又は合奏）効果を付与することのできる技術を提供する。

本発明の好適な態様である音声処理装置は、複数の区間に区分される楽曲を表す楽曲データを記憶する楽曲データ記憶手段と、前記楽曲データについて、前記複数の区間のうちの少なくともいずれか一つを指定する区間指定手段と、楽曲の進行に従って前記楽曲データ記憶手段から前記楽曲データを読み出す楽曲進行手段と、前記楽曲進行手段によって進行されている楽曲について、該楽曲の進行中の区間を検出する進行中区間検出手段と、１又は複数の音声を含む変換用音声の周波数スペクトルを示す変換用スペクトルデータを取得するスペクトル取得手段と、前記進行中区間検出手段が検出した区間が前記区間指定手段によって指定された区間である場合に、入力された音声信号を、前記スペクトル取得手段が取得した変換用スペクトルデータを用いて音声変換する音声変換手段と、前記音声変換手段によって音声変換された音声信号を出力する出力手段とを具備することを特徴としている。なお、本発明にいう「音声」には、人間が発声した音声や楽器の演奏音といった種々の音響が含まれる。この構成によれば、楽曲に含まれる区間のうちの指定された区間において、入力された音声信号が変換用スペクトルを用いて音声変換されて出力されるから、楽曲の指定された区間においてあたかも合唱（又は合奏）しているかのような音響効果を付与することができる。

本発明に係る音声処理装置において、出力手段が出力した音声信号（以下「出力音声信号」という）は、例えばスピーカやイヤホンなどの放音機器に供給されて音声（以下「出力音声」という）として出力される。ただし、この出力音声信号の利用の態様は任意である。例えば、出力音声信号が記録媒体に記憶されたうえで、当該記憶手段を再生する他の装置にて出力音声が出力される態様としてもよいし、出力音声信号が通信回線を介して他の装置に送信されて当該装置にて音声として再生される態様としてもよい。

音声変換手段が用いる変換用スペクトルは、１種類であってもよく、また、複数であってもよい。複数の変換用スペクトルを用いる態様において、より好適には、前記区間指定手段によって指定された区間と前記変換用スペクトルデータとの対応関係を記憶する対応関係記憶手段を備え、前記スペクトル取得手段は、前記進行中区間検出手段が検出した区間が前記区間指定手段によって指定された区間である場合に、前記対応関係記憶手段に記憶された対応関係に基づいて、当該区間に対応する変換用スペクトルデータを取得してもよい。この態様によれば、楽曲に含まれる複数の区間のそれぞれに対してその区間に適した変換用スペクトルデータを対応付け、対応付けられた変換用スペクトルデータを用いて音声変換を行うから、楽曲に含まれるそれぞれの区間に応じた合唱（又は合奏）効果を付与することができる。

上述した態様において、音声変換手段によって音声変換された音声信号を必ずしもクロスフェードさせる必要はないが、より好適には、前記出力手段は、前記音声変換手段において連続する２つの区間で異なる変換用スペクトルデータが用いられる場合には、該２つの区間の連続する部分で音声信号をクロスフェードさせる。この態様によれば、区間の連続する部分で音声信号がクロスフェードされるから、区間が連続する部分において出力される音声をなめらかにつなげることができる。

上述した態様において、楽曲に含まれる複数の区間のうちの少なくともいずれか一つを指定するための構成は任意である。例えば、楽曲に含まれる複数の区間の少なくともいずれか一つを示す区間データを記憶する区間データ記憶手段を設けたうえで、区間指定手段が、区間データ記憶手段に記憶された区間データを読み出し、読み出した区間データの示す区間を指定する態様としてもよい。また、例えば、前記区間指定手段は、前記楽曲データから、１又は複数の区間を抽出して抽出した区間を指定する態様としてもよい。この態様によれば、区間を指定する区間データが楽曲データに含まれていない場合であっても、区間を抽出し、抽出した区間において合唱（合奏）効果を付与することができる。

上述した態様において、スペクトル取得手段が変換用スペクトルデータを取得するための構成は任意である。例えば、前記楽曲データは、前記変換用スペクトルデータを含んでおり、前記スペクトル取得手段は、前記対応関係記憶手段に記憶された対応関係に基づいて、前記進行中区間検出手段が検出した区間に対応する変換用スペクトルデータを前記楽曲データ記憶手段から読み出す態様としてもよい。

また、スペクトル取得手段が変換用スペクトルデータを取得するための他の態様として、入力された入力音声の周波数スペクトルを検出するスペクトル検出手段と、前記スペクトル検出手段が検出したスペクトルを示すスペクトルデータを１又は複数記憶するスペクトル記憶手段とを備え、前記スペクトル取得手段は、前記スペクトル記憶手段に記憶されたスペクトルデータを変換用スペクトルデータとして読み出す態様としてもよい。この態様によれば、利用者の音声が入力された場合に、入力された音声のスペクトルを表すデータを変換用スペクトルデータとして用いることができる。

また、上述した態様において、出力手段は、音声変換手段により音声変換された音声信号を出力してもよく、また、音声変換手段により音声変換された音声信号と前記入力された音声信号とをあわせて出力してもよい。

本発明に係る音声処理装置は、音声処理に専用されるＤＳＰなどのハードウェアによって実現されるほか、パーソナルコンピュータなどのコンピュータとプログラムとの協働によっても実現される。
また、それらのプログラムは、コンピュータが読み取り可能な記録媒体（例えばＣＤ−ＲＯＭ）に格納された態様にて利用者に提供されてコンピュータにインストールされるほか、ネットワークを介した配信の形態にてサーバ装置から提供されてコンピュータにインストールされる。

本発明によれば、楽曲の種類や区間毎に適した合唱（合奏）効果を付与することができる。

次に、本発明を実施するための最良の形態を説明する。
＜Ａ：第１実施形態＞
＜Ａ−１：構成＞
図１は、この発明の一実施形態である音声処理装置１０のハードウェア構成を示すブロック図である。この音声処理装置１０は、カラオケ伴奏を行う機能を備えたカラオケ装置である。図において、制御部１１は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備え、ＲＯＭ又は記憶部１２に記憶されているコンピュータプログラムを読み出して実行することにより、バスＢＵＳを介して音声処理装置１０の各部を制御する。記憶部１２は、制御部１１によって実行されるプログラムやその実行時に使用されるデータを記憶するための記憶手段であり、例えばハードディスク装置である。表示部１３は、液晶パネルなどを備え、制御部１１の制御の下で、音声処理装置１０を操作するためのメニュー画面や、背景画像に歌詞テロップを重ねたカラオケ画面などの各種画面を表示する。操作部１４は、利用者による操作に応じた信号を制御部１１に出力する。マイクロホン１５は、利用者が発する音声（以下「入力音声という」）を収音する収音機器である。マイクロホン１５は、入力音声の時間軸上における波形を表すアナログの電気信号を出力する。音声処理部１６は、マイクロホン１５から入力される電気信号をデジタル信号（以下「入力音声信号」という）に変換する。
また、音声処理部１６は、デジタルデータをアナログ信号に変換してスピーカ１７に出力する。スピーカ１７は、音声処理部１６でデジタルデータからアナログ信号に変換され出力される音声信号に応じた強度で放音する放音手段である。

なお、この実施形態では、マイクロホン１５とスピーカ１７とが音声処理装置１０に含まれている場合について説明するが、音声処理部１６に入力端子及び出力端子を設け、オーディオケーブルを介してその入力端子に外部マイクロホンを接続する構成としても良く、同様に、オーディオケーブルを介してその出力端子に外部スピーカを接続するとしても良い。また、この実施形態では、マイクロホン１５から音声処理部１６へ入力される音声信号及び音声処理部１６からスピーカ１７へ出力される音声信号がアナログ音声信号である場合について説明するが、デジタル音声データを入出力するようにしても良い。このような場合には、音声処理部１６にてＡ／Ｄ変換やＤ／Ａ変換を行う必要はない。

記憶部１２は、図示のように、楽曲データ記憶領域１２１と、変換用スペクトルデータ記憶領域１２２と、背景画データ記憶領域１２３とを有している。楽曲データ記憶領域１２１には、カラオケ演奏時に再生される楽曲を表す楽曲データが多数記憶されている。変換用スペクトルデータ記憶領域１２２には、１又は複数の音声を含む変換用音声の周波数スペクトルを示す変換用スペクトルデータが記憶されている。背景画データ記憶領域１２３には、カラオケ伴奏の際に表示される背景画像を表す背景画データが記憶されている。

ここで、図２に、この音声処理装置１０で用いられる楽曲データの構成を示す。同図に示すように、楽曲データは、曲名、曲番号、演奏時間などの楽曲に関する情報を示すヘッダと、各種処理の内容を示すトラックデータとから構成されている。トラックデータは、演奏トラック、歌詞トラック、制御情報トラック……から構成されており、図３に示すように、演奏トラックは、メロディトラックを有している。メロディトラックは、楽音発生処理などの演奏の具体的な処理を示す演奏イベントデータと、演奏イベントデータの実行タイミングを示す時間情報データΔｔからなるシーケンスデータで構成されている。この演奏イベントデータには、楽音の発音や消音などを指示するノートイベントデータ（ノートオンイベントデータ、ノートオフイベントデータ）などが含まれている。また、楽音トラックには、リズムオンの発生を指示するリズムトラックなどのデータが含まれており、リズムトラックもメロディデータと同様にイベントデータと時間情報データとから構成されている。
歌詞トラックも、歌詞表示処理などの具体的な処理を示す歌詞表示データと、歌詞表示データの実行タイミングを示す時間情報データΔｔからなるシーケンスデータで構成されている。
制御部１１は、カラオケ演奏時にシーケンスプログラム（カラオケ演奏のためのアプリケーションプログラム）によって各トラックのデータを並行して読み出すようになっている。各トラックのシーケンスデータを読み出す場合、所定のテンポクロックによりΔｔをカウントしカウントを終了したときにこれに続くイベントデータ及び歌詞表示データ等を読み出す。

楽曲データの制御情報トラックには、図４に示すように、サビ開始マークとサビ終了マークとが書き込まれている。ここで、サビ開始マークは、その楽曲で最も盛り上がる、いわゆるサビの時間区間（以下「サビ区間」という）の開始位置を示し、サビ終了マークは、サビの終了位置を示す。なお、以下の説明においては、説明の便宜上、「サビ開始マーク」と「サビ終了マーク」とをあわせて「サビマーク」と称する。このサビマークによって、楽曲の複数の区間のうちの少なくともいずれか一つが「サビ区間」として指定される。

次に、この音声処理装置１０の機能的構成について、図５を参照しつつ以下に説明する。なお、図中の矢印は、データの流れを概略的に示したものである。同図に示される音声処理装置１０の各部は、ＣＰＵなどの演算回路がプログラムを実行することによって実現されてもよい。なお、これに限らず、同図に示される音声処理装置１０の各部は、ＤＳＰなど音声処理に専用されるハードウェアによって実現されてもよい。後述する各実施形態においても同様である。

図５において、楽曲進行・進行中区間検出部２は、カラオケ伴奏を再生することによって楽曲を進行する機能を有するとともに、カラオケ伴奏中の楽曲について、伴奏中の区間を検出する機能を有する。より詳細には、楽曲進行・進行中区間検出部２は、楽曲データ記憶領域１２１から演奏イベントデータを読み出して音声処理部１６に供給する。音声処理部１６は音源（図示略）とアンプ（図示略）を有しており、音源は供給された演奏イベントデータに基づいて楽音データを生成し、この楽音データがアナログ信号に変換されてアンプで増幅された後、スピーカ１７に供給される。スピーカ１７は供給されるアナログ信号に応じて伴奏音を放音する。また、楽曲進行・進行中区間検出部２は、楽曲データ記憶領域１２１から歌詞データを読み出して表示部１３に供給する。
また、楽曲進行・進行中区間検出部２は、楽曲の進行に応じて、楽曲データの制御情報トラックに含まれるサビマークを参照して、伴奏中の楽曲の区間がサビ区間であるか否かを判定する。楽曲進行・進行中区間検出部２は、判定結果を示すデータを音声変換部４に供給する。

スペクトル取得部３は、１又は複数の音声を含む変換用音声の周波数スペクトルを示す変換用スペクトルデータを取得する機能を有する。この実施形態では、スペクトル取得部３は、変換用スペクトルデータ記憶領域１２２に記憶された変換用スペクトルデータを読み出す。スペクトル取得部３は、読み出した変換用スペクトルデータを音声変換部４に供給する。

音声変換部４は、楽曲進行・進行中区間検出部２から供給されるデータを参照して、カラオケ伴奏中の区間がサビ区間である場合に、変換用スペクトルデータを用いて音声処理部１６から供給される入力音声信号（歌唱者の音声を表す音声信号）を音声変換し、出力する機能を有する。ここで、音声変換部４が行う音声変換処理について以下に詳細に説明する。音声変換部４は、図５に示すように、周波数分析部４１と、スペクトル変換部４２と、音声生成部４３とを備える。周波数分析部４１は、音声処理部１６から供給される入力音声信号（以下「入力音声信号Ｖｉｎ」という）のピッチ（以下「ピッチＰｉｎ」）及びスペクトルエンベロープ（以下「スペクトルエンベロープＥＶｉｎ」を特定する機能を備える。周波数分析部４１は、音声処理部１６から供給される入力音声信号Ｖｉｎを所定の時間長（例えば５ｍｓないし１０ｍｓ）のフレームに切り出し、各フレームの入力音声信号Ｖｉｎに対してＦＦＴ処理を含む周波数分析を実行して周波数スペクトル（以下「入力スペクトル」という）ＳＰｉｎを検出する。入力音声信号Ｖｉｎの各フレームは時間軸上において相互に重なりあうように選定される。これらのフレームは簡易的には同一の時間長とされるが、入力音声信号ＶｉｎのピッチＰｉｎに応じて時間長が変化する構成としてもよい。

図６には、ひとりの利用者が発声した入力音声のうちひとつのフレームについて特定された入力スペクトルＳＰｉｎが例示されている。この場合の入力スペクトルＳＰｉｎは、基音及び倍音に相当する各周波数においてスペクトル強度Ｍの局所的なピークｐが極めて狭い帯域幅Ｗ１にて現れる。周波数分析部４１は、入力音声信号Ｖｉｎの入力スペクトルＳＰｉｎを表すデータ（以下「入力スペクトルデータ」という）Ｄｉｎをフレーム毎に生成する。入力スペクトルデータＤｉｎは複数の単位データを含む。各単位データは周波数軸上に所定の間隔ごとに選定された複数の周波数Ｆｉｎの各々と当該周波数における入力スペクトルＳＰｉｎのスペクトル強度Ｍｉｎとが組み合わされたデータである。

また、周波数分析部４１は、入力スペクトルデータＤｉｎに基づいて入力音声のピッチＰｉｎを検出する。更に詳述すると、周波数分析部４１は、図６に示されるように、入力スペクトルデータＤｉｎが示す入力スペクトルＳＰｉｎのうち基音に相当するピークｐ（すなわち周波数が最小であるピークｐ）の周波数をピッチＰｉｎとして検出する。また、周波数分析部４１は、入力音声のスペクトルエンベロープ（スペクトル包絡）ＥＶｉｎを検出する。スペクトルエンベロープＥＶｉｎは、図６に示されるように、入力スペクトルＳＰｉｎのピークｐを連結した包絡線である。このスペクトルエンベロープＥＶｉｎを検出する方法としては、例えば、入力スペクトルＳＰｉｎのうち周波数軸上において相互に隣接するピークｐの間隔を直線的に補間することによってスペクトルエンベロープＥＶｉｎを折線として検出する方法や、各ピークｐを通過する曲線を３次のスプライン補間など各種の補間処理によって算定してスペクトルエンベロープＥＶｉｎを検出する方法などが採用される。周波数分析部４１は、図６に示されるように、こうして検出したスペクトルエンベロープＥＶｉｎを示すデータ（以下「エンベロープデータ」という）Ｄｅｖを出力する。エンベロープデータＤｅｖは、入力スペクトルデータＤｉｎと同様に複数の単位データＵｅｖを含む。各単位データＵｅｖは、周波数軸上に所定の間隔ごとに選定された複数の周波数Ｆｉｎ（Ｆｉｎ１，Ｆｉｎ２，…）の各々と当該周波数ＦｉｎにおけるスペクトルエンベロープＥＶｉｎのスペクトル強度Ｍｅｖ（Ｍｅｖ１，Ｍｅｖ２，…）とが組み合わされたデータである。

ここで、図７を参照しつつ変換用スペクトルデータ記憶領域１２２に記憶された変換用スペクトルデータ（以下「変換用スペクトルデータＤｔ」という）について説明する。この実施形態においては、多数の発声者が略同一のピッチｐｔにて発声した音声（すなわち合唱や合奏といったユニゾンの音声）をマイクロホンなどの収音機器によって収音した音声信号から検出されたスペクトルＳＰｔを示すデータを変換用スペクトルデータＤｔとして用いる。図７に示されるように、変換用スペクトルＳＰｔは、所定のピッチに応じた基音及び倍音に相当する各周波数においてスペクトル強度Ｍの局所的なピークｐｔが現れる。また、変換用スペクトルＳＰｔは、各ピークｐｔの帯域幅Ｗ２が入力スペクトルＳＰｉｎの各ピークｐの帯域幅Ｗ１よりも広いという特性を有する。このようにピークｐｔの帯域幅Ｗ２が広いのは、多数の発声者によって発声された各音声のピッチが完全には一致しないからである。
変換用スペクトルデータＤｔは、図７に示されるように、複数の単位データＵｔと指示子Ａとを含む。各単位データＵｔは、周波数軸上に所定の間隔ごとに選定された複数の周波数Ｆｔ（Ｆｔ１，Ｆｔ２，…）の各々と当該周波数Ｆｔにおける変換用スペクトルＳＰｔのスペクトル強度Ｍｔ（Ｍｔ１，Ｍｔ２，…）とが組み合わされたデータ構造となっている。一方、指示子Ａは、変換用スペクトルＳＰｔのピークｐｔを指示するためのデータ（例えばフラグ）であり、変換用スペクトルデータＤｔに含まれる総ての単位データＵｔのうちピークｐｔに対応する単位データＵｔに対して選択的に付加される。例えば、図７に示す例においては、ピークｐｔを有する周波数Ｆｔ３を含む単位データＵｔに指示子Ａが付加され、これ以外の単位データＵｔ（つまりピークｐｔ以外の周波数に対応する谷データＵｔ）に指示子Ａは付加されていない。

次に、図５に示すスペクトル変換部４２は、入力音声の特性を変化させた出力音声の周波数スペクトル（以下「出力スペクトル」という）Ｄｎｅｗを生成する手段である。本実施形態におけるスペクトル変換部４２は、予め用意された特定の音声（以下「変換用音声」という）の周波数スペクトル（以下「変換用スペクトル」という）ＳＰｔと入力音声のスペクトルエンベロープＥＶｉｎとに基づいて出力音声の周波数スペクトルＳＰｎｅｗを特定する。

変換用スペクトルデータ記憶領域１２２に記憶された変換用スペクトルデータＤｔはスペクトル変換部４２に入力される。スペクトル変換部４２は、変換用スペクトルデータＤｔが示す変換用スペクトルデータＳＰｔの各ピークｐｔの周波数を、検出したピッチＰｉｎに応じて変化させる。本実施形態におけるスペクトル変換部４２は、変換用スペクトルデータＤｔが示す変換用音声のピッチＰｔがピッチＰｉｎと略一致するように変換用スペクトルＳＰｔを変形する。この変換の具体的な手順について図８を参照して説明する。

図８の部分（ｂ）には、図７に示した変換用スペクトルＳＰｔが図示されている。また、図８の部分（ａ）には、入力スペクトルＳＰｉｎ（図６に示したもの）が変換用スペクトルＳＰｔとの対比のために併記されている。入力音声のピッチＰｉｎは利用者の発声に応じて変動するから、図８の部分（ａ）及び部分（ｂ）に示されるように、入力スペクトルＳＰｉｎの各ピークｐの周波数と変換用スペクトルＳＰｔの各ピークｐｔの周波数とは必ずしも一致しない。そこで、スペクトル変換部４２は、変換用スペクトルＳＰｔの各ピークｐｔの周波数を入力スペクトルＳＰｉｎの各ピークｐの周波数に合致させる。更に詳述すると、スペクトル変換部４２は、周波数分析部４１が検出したピッチＰｉｎと変換用音声のピッチＰｔとの比「Ｐｉｎ／Ｐｔ」を算定し、変換用スペクトルデータＤｔを構成する各単位データＵｔの周波数Ｆｔに対して当該比を乗算する。なお、変換用音声のピッチＰｔは、例えば、変換用スペクトルＳＰｔの多数のピークｐｔのうち基音に相当するピークｐｔ（すなわち周波数が最小であるピークｐｔ）の周波数として特定される。この処理により、図８の部分（ｃ）に示されるように、変換用スペクトルＳＰｔの各ピークｐｔは入力スペクトルＳＰｉｎの各ピークｐの周波数まで移動し、この結果として変換用音声のピッチＰｔは入力音声のピッチＰｉｎに略一致することになる。

また、スペクトル変換部４２は、この変換用スペクトルデータＤｔが示す変換用スペクトルＳＰｔのスペクトル強度Ｍ（換言すればスペクトルエンベロープＥＶｔ）を調整することによって新規スペクトルＳＰｎｅｗを生成する。更に詳述すると、スペクトル変換部４２は、図８の部分（ｄ）に示されるように、新規スペクトルＳＰｎｅｗのスペクトルエンベロープが、周波数分析部４１によって検出されたスペクトルエンベロープＥＶｉｎと略一致するように、変換用スペクトルＳＰｔのスペクトル強度Ｍを調整する。スペクトル強度Ｍを調整する方法の具体例は以下の通りである。

スペクトル変換部４２は、まず、変換用スペクトルデータＤｔのうち指示子Ａが付加されたひとつの単位データＵｔを選定する。この単位データＵｔは、変換用スペクトルＳＰｔのいずれかのピークｐｔ（以下では特に「注目ピークｐｔ」という）の周波数Ｆｔ及びスペクトル強度Ｍｔを含む（図７参照）。次いで、スペクトル変換部４２は、周波数分析部４１から供給されるエンベロープデータＤｅｖのうち注目ピークｐｔの周波数Ｆｔに近似又は一致する周波数Ｆｉｎを含む単位データＵｅｖを選定する。そして、スペクトル変換部４２は、この選定した単位データＵｅｖに含まれるスペクトル強度Ｍｅｖと注目ピークｐｔのスペクトル強度Ｍｔとの比「Ｍｅｖ／Ｍｔ」を算定し、注目ピークｐｔを中心とした所定の帯域に属する変換用スペクトルＳＰｔの各単位データＵｔのスペクトル強度Ｍｔに対して当該比を乗算する。この一連の処理を変換用スペクトルＳＰｔの総てのピークｐｔについて繰り返すことにより、新規スペクトルＳＰｎｅｗは、図８の部分（ｄ）に示されるように、各ピークの頂点がスペクトルエンベロープＥＶｉｎ上に位置する形状となる。スペクトル変換部４２は、この新規スペクトルＳＰｎｅｗを示す新規スペクトルデータＤｎｅｗを出力する。

次に、図５に示される音声生成部４３は、新規スペクトルＳＰｎｅｗに基づいて時間領域の出力信号Ｖｎｅｗを生成する手段であり、スペクトル変換部４２からフレームごとに出力される新規スペクトルデータＤｎｅｗに対して逆ＦＦＴ処理を施して時間領域の出力音声信号を生成する。また、音声生成部４３は、こうして生成されたフレームごとの出力音声信号に時間窓関数を乗算し、これを時間軸上において相互に重なり合うように連結して出力音声信号を生成する。
以上のようにして、音声変換部４は、入力された音声信号を、変換用スペクトルデータを用いて変換し、音声処理部１６へ出力する。

このように、この実施形態においては、多数の発声者によって並列に発せられた複数の音声を含む変換用音声のスペクトルエンベロープＥＶｔが入力音声のスペクトルエンベロープＥｖｉｎと略一致するように調整されるから、入力音声と同様の音韻をもって複数の音声（すなわち合唱音や合奏音）を示す出力音声信号を生成することができる。したがって、ひとりの利用者による音声や演奏音が入力音声とされた場合であっても、恰も多数の発声者や演奏者によって合唱や合奏が行われているかのような出力音声を出力することができる。

また、この実施形態においては、入力音声のピッチＰｉｎに応じて変換用音声のピッチＰｔが変換されるから、任意のピッチの合唱音や合成音を生成することができる。なお、この実施形態では、入力音声のピッチＰｉｎに応じて変換音声のピッチＰｔを変換する構成としたが、必ずしもピッチを変更する必要はなく、変換用音声のピッチを変更しない構成としてもよい。また、入力音声のピッチと所定量だけずれるように変換音声のピッチを変換する構成としてもよい。また、入力音声信号のピッチに応じて、複数の異なる音程となるようにピッチを変換する構成としてもよい。

音声変換部４から出力された出力音声信号は音声処理部１６に供給される。音声処理部１６は、出力音声信号をアナログの電気信号に変換し、マイクロホン１５で収音された入力音声信号とミキシングしてスピーカ１７に供給する。スピーカ１７は、音声処理部１６からの出力信号に基づいて放音する。

＜Ａ−２：動作例＞
次に、この実施形態の動作の一例について説明する。まず、利用者は、音声処理装置１０の操作部１４を操作して、歌唱したい楽曲を選択する操作を行う。操作部１４は、操作された内容に応じた信号を制御部１１へ出力する。制御部１１は、操作部１４から出力される信号に応じて楽曲を選択する。制御部１１は、選択した楽曲の背景画と歌詞テロップを表示部１３に表示させるとともに、カラオケ伴奏を開始する。すなわち、制御部１１は、楽曲データ記憶領域１２１から演奏イベントデータを読み出して音声処理部１６に供給し、音声処理部１６は、演奏イベントデータをアナログ信号に変換し、スピーカ１７に供給する。スピーカ１７は、供給されるアナログ信号に応じて、伴奏音を放音する。また、制御部１１は、楽曲データ記憶領域１２１から歌詞表示データを読み出すとともに、背景画データ記憶領域１２３から背景画データを読み出して、歌詞テロップと背景画を表示部１３に表示させる。

利用者は、スピーカ１７から放音される伴奏にあわせて歌唱を行う。このとき、利用者の音声はマイクロホン１５によって収音されて音声信号に変換され、音声処理部１６へと出力される。音声処理部１６は、マイクロホン１５から出力される音声信号をデジタルの入力音声信号に変換するとともに、スピーカ１７に供給して利用者の音声を放音させる。

制御部１１は、楽曲データの制御情報トラックのサビマークを参照し、カラオケ伴奏中の区間がサビ区間であるか否かを判定する。制御部１１は、カラオケ伴奏がサビ区間の先頭に達したと判定した場合には、入力音声信号を、変換用スペクトルデータ記憶領域１２２に記憶された変換用スペクトルデータを用いて音声変換し、出力する。なお、制御部１１が行う音声変換処理は、音声変換部４の説明において詳述したため、ここではその詳細な説明を省略する。

これにより、音声処理装置１０からは、利用者の歌唱音声とともに、恰も合唱しているかのような合唱効果を付与した音声が放音される。制御部１１は、サビ区間の終了位置に達するまで音声変換を継続し、サビ区間の終了位置に達したと判断すると、音声変換処理を停止する。すなわち、この実施形態においては、カラオケ伴奏中の区間がサビ区間である場合には、放音される利用者の歌唱音声に合唱効果が付与される一方、カラオケ伴奏中の区間がサビ区間でない場合には合唱効果が付与されない。図４に示す例においては、サビ区間Ｓ１，Ｓ２において合唱効果が付与された音声が放音される一方、それ以外の区間においては、利用者の歌唱音声のみが放音される。このように、この実施形態によれば、１つの楽曲中の特定の区間（サビ区間）で、利用者の歌唱音声に合唱効果を付与することができる。

なお、この実施形態では、サビ区間において、入力音声信号を音声変換して出力することによって合唱効果を付与したが、合唱効果を付与する区間はサビ区間に限定されるものではなく、任意の区間において合唱効果を付与することが可能である。要するに、楽曲において１又は複数の区間が指定されていればよく、制御部１１は、楽曲の指定された区間において合唱効果を付与するための音声変換処理を行えばよい。

＜Ｂ：第２実施形態＞
次に、本発明の第２実施形態に係る音声処理装置について説明する。この実施形態に係る音声処理装置の構成が上述した第１の実施形態のそれと異なる点は、楽曲データ記憶領域１２１に記憶された楽曲データのデータ構成が異なる点と、変換用スペクトルデータ記憶領域１２２の記憶内容が異なる点と、記憶部１２に対応関係記憶領域１２４（図１に鎖線で図示）を有している点と、スペクトル取得部３が行う処理の内容が異なる点であり、他の要素は同様の構成である。そのため、以下の説明においては、この実施形態のうち第１実施形態と同様の要素については共通の符号を付してその説明を適宜に省略する。

この実施形態においては、複数の変換用スペクトルデータが変換用スペクトルデータ記憶領域１２２に記憶されており、それぞれの変換用スペクトルデータには各々を識別するためのスペクトルＩＤ（識別情報）が付与されている。
また、この実施形態においては、楽曲データの制御トラックには、複数のサビ区間のそれぞれに対して、それぞれを識別するサビＩＤ（識別情報）が付与されている。

図９は、対応関係記憶領域１２４に記憶されたテーブルの内容の一例を示す図である。図示のように、このテーブルは、「楽曲ＩＤ」と「区間ＩＤ」と「スペクトルＩＤ」との各項目が互いに関連付けて記憶されている。これらの項目のうち、「楽曲ＩＤ」の項目には、楽曲を識別する楽曲ＩＤ（識別情報）が記憶されている。「区間ＩＤ」の項目には、楽曲の区間を識別する区間ＩＤ（識別情報）が記憶されている。「スペクトルＩＤ」の項目には、変換用スペクトルデータを識別するスペクトルＩＤ（識別情報）が記憶されている。なお、このテーブルは、利用者が操作部１４を操作してその内容を変更できるようにしてもよい。この場合は、操作部１４は操作された内容に応じた操作信号を制御部１１に出力し、制御部１１は、供給される操作信号に応じてテーブルの内容を変更する。

この実施形態では、スペクトル取得部３は、対応関係記憶領域１２４に記憶された対応関係に基づいて、進行中の区間に対応する変換用スペクトルデータを選択し、選択した変換用スペクトルデータを用いて音声変換を行う。具体的には、例えば、図９に示す例においては、「区間０１」によって示される区間においては、「スペクトル０１」のＩＤが付与された変換用スペクトルデータが用いられ、また、「区間０２」によって示される区間においては、「スペクトル０２」のＩＤが付与された変換用スペクトルデータが用いられる。

また、この実施形態においては、制御部１１は、音声変換部４が行う音声変換処理において、連続する２つの区間で異なる変換用スペクトルデータが用いられる場合には、該２つの区間の連続する部分で音声信号をクロスフェードさせる。

本実施形態においては、楽曲の区間と変換用スペクトルデータとの対応関係を記憶しておき、楽曲のそれぞれの区間でその区間に対応した変換用スペクトルデータを用いて音声変換を行う。すなわち、音声変換機能を楽曲の途中で自動的にオン・オフすることができる。また、楽曲のそれぞれの区間でその区間に適した合唱効果を付与することができる。
また、対応関係記憶領域１２４に記憶されたテーブルの内容を利用者が変更できるようにすることで、どのような音声をコーラス（合唱音声）として用いるかを利用者が任意に選択することができる。

＜Ｃ：変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。なお、以下の各態様を適宜に組み合わせてもよい。
（１）上述した実施形態において、サビ区間において合唱音声を放音するに加えて、表示部１３に合唱効果を図示するアイコン等を表示したり、映像効果を加えてもよい。

（２）上述した実施形態では、変換用スペクトルデータ記憶領域１２２に変換用スペクトルデータが記憶されている構成を例示したが、スペクトル取得部３は、例えば通信回線を介して接続された通信装置から変換用スペクトルデータを取得する手段であってもよい。本発明におけるスペクトル取得部３は、変換用スペクトルデータを取得する手段であれば足り、その取得の方法や取得先の如何は不問である。

（３）上述した実施形態では、楽曲と変換用スペクトルデータとを対応付けていたが、利用者を識別するユーザＩＤと変換用スペクトルデータとを対応付けてもよい。例えば、利用者が好みのコーラス隊（女声、男声、子供等）を指定しておくことで、自分専用のコーラス隊がいるような気分を味わうことができる。

（４）上述した実施形態では、変換用スペクトルデータを予め変換用スペクトルデータ記憶領域１２２に記憶させておく構成としたが、音声評価装置が変換用スペクトルデータを生成する構成としてもよい。この場合、音声評価装置の制御部は、入力された音声信号から変換用スペクトルデータを抽出し、変換用スペクトルデータを記憶領域に記憶する。具体的には、例えば、過去１０分間の間に歌唱された音声の変換用スペクトルデータを蓄積するようにしてもよい。この場合は、例えば、同じ装置で（同じ部屋で）過去に歌唱した者の歌唱音声からスペクトルデータを検出して音声変換に用いることで、一人で歌唱しているのに同じ部屋にいる人が合唱しているような効果を得ることができる。

（５）上述した実施形態では、マイクロホン１５で収音された利用者の音声を変換用スペクトルデータを用いて音声変換することによって合唱効果を付与したが、入力される音声は、マイクロホン１５で収音される音声であっても、また、記憶部１２に予め記憶された音声データであってもよい。また、音声処理装置１０に通信部を設ける構成とし、該通信部を介して受信されるデータを用いてもよい。要するに、制御部１１に入力される音声信号であればどのようなものであってもよい。

（６）上述した第２の実施形態では、楽曲データと変換用スペクトルデータとを別々に記憶する構成とし、楽曲データのサビ区間と変換用スペクトルデータとの対応関係を示すテーブルを対応関係記憶領域１２４に記憶される構成とした。これに代えて、楽曲データに変換用スペクトルデータの識別情報を含む構成としてもよい。具体的には、例えば、図２に示した楽曲データの構成において、制御情報トラックに、変換用スペクトルデータの識別情報を含め、制御部１１が、楽曲データの制御情報トラックに含められた識別情報を参照し、その識別情報に対応するスペクトルデータを取得する構成としてもよい。
また、楽曲データに変換用スペクトルデータそのものを含める構成としてもよい。具体的には、例えば、図２に示す楽曲データの構成において、変換用スペクトルデータを格納するためのスペクトルトラックを別途設ける構成とし、そのトラックに、変換用スペクトルデータを格納し、制御部１１が、楽曲データの変換用スペクトルトラックから変換用スペクトルデータを取得する構成としてもよい。
このように、楽曲データと変換用スペクトルデータとのデータ構造の態様は任意であり、要するに、制御部１１が、区間に対応する変換用スペクトルデータを取得できるデータ構造であればどのようなものであってもよい。

（７）上述した実施形態では、楽曲に含まれる区間と変換用スペクトルデータとの対応関係を記憶する構成としたが、楽曲と変換用スペクトルとの対応関係を記憶させておく構成としてもよい。この場合は、楽曲の種別（例えば、バラード、ラップ、等）に応じた変換用スペクトルデータを用いて合唱効果を付与することができる。

（８）上述した実施形態では、区間と変換用スペクトルデータとの対応関係を記憶させておき、制御部１１が、区間に対応する変換用スペクトルデータを変換用スペクトルデータ記憶領域１２２から読み出して用いる構成とした。変換用スペクトルデータを選択する方法はこれに限らず、例えば、音声処理装置１０の利用者が操作部１４を操作して変換用スペクトルデータのいずれかを選択するようにしてもよい。この場合、操作部１４は、操作された内容に応じた操作信号を制御部１１へ出力する。制御部１１は、操作部１４から供給される操作信号に応じて、変換用スペクトルデータを選択する。このように本発明におけるスペクトル取得部３は、変換用スペクトルを取得する手段であれば足り、その取得の方法や取得先の如何は不問である。

（９）上述した実施形態では、楽曲データの制御情報トラックに含まれるサビマーク（サビ開始マークとサビ終了マーク）によって区間が指定されたが、区間の指定の態様はこれに限定されるものではなく、例えば、サビ区間の開始時刻と終了時刻とを示す時刻情報を所定の記憶手段に記憶させておき、制御部１１が、記憶手段に記憶された時刻情報を参照することによってサビ区間を指定してもよい。また、例えば、制御部１１が、ガイドメロディデータを解析し、その楽曲において所定回数以上出現したメロディを含む区間を抽出し、抽出した区間を指定してもよい。要するに、楽曲から１又は複数の区間を指定するものであればどのようなものであってもよい。

（１０）上述した実施形態では、楽曲中のサビ区間においては、入力音声信号と音声変換された音声信号とをミキシングして出力したが、サビ区間においては入力音声を放音せずに音声変換された音声信号によって表される合唱音声のみを放音する構成としてもよい。

（１１）上述した実施形態では、カラオケ装置を本発明に係る音声評価装置として適用したが、音声評価装置として適用される装置はカラオケ装置に限らず、例えばサーバ装置やパーソナルコンピュータ、移動体通信端末など、様々な装置が本発明に係る音声評価装置として適用可能である。

（１２）上述した実施形態では、音声処理装置１０が、同実施形態に係る機能の総てを実現するようになっていた。これに対し、ネットワークで接続された２以上の装置が上記機能を分担するようにし、それら複数の装置を備えるシステムが同実施形態の音声処理装置１０を実現してもよい。例えば、マイクロホンやスピーカを備える端末装置と、音声変換機能を備える専用のコンピュータ装置とがネットワークで接続されたシステムとして構成されていてもよい。

（１３）上述した音声処理装置１０の制御部１１によって実現されるプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、ＲＡＭ、ＲＯＭなどの記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由で音声処理装置１０にダウンロードさせることも可能である。

音声処理装置の構成の一例を示すブロック図である。 楽曲データの構成の一例を示す図である。 楽音トラックと歌詞トラックの内容の一例を示す図である。 制御情報トラックの内容の一例を示す図である。 音声処理装置１０の機能的構成の一例を示すブロック図である。 入力音声に関する処理を説明するための図である。 変換用音声信号に関する処理を説明するための図である。 スペクトル変換部による処理の内容を説明するための図である。 対応関係記憶領域に記憶されたテーブルの内容の一例を示す図である。

符号の説明

２…楽曲進行・進行中区間検出部、３…スペクトル取得部、４…音声変換部、１０…音声処理装置、１１…制御部、１２…記憶部、１３…表示部、１４…操作部、１５…マイクロホン、１６…音声処理部、１７…スピーカ、４１…周波数分析部、４２…スペクトル変換部、４３…音声生成部、１２１…楽曲データ記憶領域、１２２…変換用スペクトルデータ記憶領域、１２３…背景画データ記憶領域、１２４…対応関係記憶領域。

Claims (7)

1. 複数の区間に区分される楽曲を表す楽曲データを記憶する楽曲データ記憶手段と、
   前記楽曲データについて、前記複数の区間のうちの少なくともいずれか一つを指定する区間指定手段と、
   楽曲の進行に従って前記楽曲データ記憶手段から前記楽曲データを読み出す楽曲進行手段と、
   前記楽曲進行手段によって進行されている楽曲について、該楽曲の進行中の区間を検出する進行中区間検出手段と、
   １又は複数の音声を含む変換用音声の周波数スペクトルを示す変換用スペクトルデータを取得するスペクトル取得手段と、
   前記進行中区間検出手段が検出した区間が前記区間指定手段によって指定された区間である場合に、入力された音声信号を、前記スペクトル取得手段が取得した変換用スペクトルデータを用いて音声変換する音声変換手段と、
   前記音声変換手段によって音声変換された音声信号を出力する出力手段と
   を具備することを特徴とする音声処理装置。
2. 前記区間指定手段によって指定された区間と前記変換用スペクトルデータとの対応関係を記憶する対応関係記憶手段を備え、
   前記スペクトル取得手段は、前記進行中区間検出手段が検出した区間が前記区間指定手段によって指定された区間である場合に、前記対応関係記憶手段に記憶された対応関係に基づいて、当該区間に対応する変換用スペクトルデータを取得する
   ことを特徴とする請求項１に記載の音声処理装置。
3. 前記出力手段は、前記音声変換手段において連続する２つの区間で異なる変換用スペクトルデータが用いられる場合には、該２つの区間の連続する部分で音声信号をクロスフェードさせる
   ことを特徴とする請求項２に記載の音声処理装置。
4. 前記区間指定手段は、前記楽曲データから、１又は複数の区間を抽出して抽出した区間を指定する
   ことを特徴とする請求項１乃至３のいずれかに記載の音声処理装置。
5. 前記楽曲データは、前記変換用スペクトルデータを含んでおり、
   前記スペクトル取得手段は、前記対応関係記憶手段に記憶された対応関係に基づいて、前記進行中区間検出手段が検出した区間に対応する変換用スペクトルデータを前記楽曲データ記憶手段から読み出す
   ことを特徴とする請求項２又は３に記載の音声処理装置。
6. 入力された入力音声の周波数スペクトルを検出するスペクトル検出手段と、
   前記スペクトル検出手段が検出したスペクトルを示すスペクトルデータを１又は複数記憶するスペクトル記憶手段と
   を備え、
   前記スペクトル取得手段は、前記スペクトル記憶手段に記憶されたスペクトルデータを変換用スペクトルデータとして読み出す
   ことを特徴とする請求項１乃至４のいずれかに記載の音声処理装置。
7. 前記出力手段は、前記音声変換手段により音声変換された音声信号と前記入力された音声信号とを出力する
   ことを特徴とする請求項１乃至６のいずれかに記載の音声処理装置。

Images