JP2017138359A - カラオケ装置，及びプログラム - Google Patents

Abstract

【課題】カラオケ装置において、複数の歌唱パートを有した楽曲を演奏する際に、いずれかの歌唱パートを歌唱する利用者の歌唱に合わせて、可能な限り原曲に近い演奏音を出力可能な技術の提供。
【解決手段】カラオケ装置は、歌唱データと、指定楽曲における歌唱パートの数と歌唱データの音声の数との差以上の数の仮想ボーカルデータとを混合した総合ボーカルを、歌唱データと仮想ボーカルデータとに対応する歌唱パートの組み合わせごとに生成する（Ｓ１７０〜Ｓ１９０）。仮想ボーカルデータとは、指定楽曲における複数の歌唱パートの各々の歌声をオリジナル歌手の歌声で再現した歌声である。さらに、オリジナル歌手によって複数の歌唱パートの各々が歌唱された指定楽曲全体での歌声である比較用ボーカルに、総合ボーカルの各々を照合し、類似度を算出する。そして、類似度が最も高い総合ボーカルを特定して出力する（Ｓ２３０）。
【選択図】図２

Description

本発明は、仮想ボーカルを生成して出力するカラオケ装置，及びそのカラオケ装置が備えるコンピュータに実行させるプログラムに関する。

特許文献１に記載されているように、楽曲の演奏に併せて当該楽曲の歌詞を表示するカラオケ装置が知られている。このカラオケ装置では、複数歌手により構成されるグループ歌手による歌唱が原曲であるカラオケ楽曲を、当該グループ歌手の構成人数以上の利用者が歌唱する際に、利用者の歌唱音声と、歌手の歌唱音声とを、歌唱音声の音質と歌唱特性の少なくとも一方について比較し、歌手の歌唱パートとの類似度が高い利用者から順に、各利用者にそれぞれ異なる歌唱パートを割り当て、複数の歌唱パートを有した一つの楽曲を演奏し、複数の利用者にグループ歌手の歌唱をさせることがなされている。

特開２０１５−４５６７１号公報

しかしながら、グループ歌手が歌唱する複数のパートから構成される楽曲を、グループ歌手の楽曲のパート数より少ない数の利用者が歌唱する場合に、特許文献１に記載の技術を用いると、グループ歌手が歌唱している原曲の演奏音よりも音数が少なく、原曲の演奏音への再現性が低くなってしまうという問題がある。

そこで、本発明は、複数の歌唱パートを有した楽曲のカラオケ演奏音が再生されたとき、利用者の歌唱しているパートを判別して、いずれかの歌唱パートを歌唱する利用者の歌唱音声と演奏音の出力により、原曲に近い演奏を可能とするカラオケ装置を提供することを目的とする。

上記目的を達成するためになされた本発明の一態様は、再生手段と、取得手段と、生成手段と、算出手段と、特定手段と、出力手段とを備える、カラオケ装置に関する。
再生手段は、音符属性の少なくとも一部分が異なる複数の歌唱パートを有した楽曲であって、指定された楽曲である指定楽曲の伴奏音を再生する。取得手段は、再生手段による指定楽曲の再生中に、マイクを介して入力された一または複数の音声を歌唱データとして取得する。

さらに、生成手段は、指定楽曲における歌唱パートの数と歌唱データの音声の数との差以上の数の仮想ボーカルデータと、歌唱データとを指定楽曲の各歌唱パートに対応させて混合した総合ボーカルを、指定楽曲の歌唱パートの組み合わせごとに生成する。仮想ボーカルデータとは、指定楽曲における複数の歌唱パートの各々の歌声をオリジナル歌手の歌い方で再現した歌声の各々である。

算出手段は、生成手段で生成された前記総合ボーカルの各々について、オリジナル歌手によって複数の歌唱パートの各々が歌唱された指定楽曲の歌声を比較用ボーカルと照合し、比較用ボーカルとの類似度を算出する。特定手段は、算出手段で算出された類似度のうち、類似度が最も高い総合ボーカルを特定する。出力手段は、特定手段で特定した総合ボーカルに含まれる仮想ボーカルデータを、指定楽曲の伴奏音の再生とともに出力させる。

このようなカラオケ装置によれば、比較用ボーカルに最も類似する総合ボーカルを特定できる。この総合ボーカルは、指定楽曲において利用者が担当する歌唱パート以外の歌唱パートの歌声を、仮想ボーカルデータで補った指定楽曲全体の歌声である。

そして、カラオケ装置によれば、その特定した総合ボーカルに含まれる仮想ボーカルデータを出力できる。このため、カラオケ装置によれば、仮想ボーカルデータに、利用者の歌声を加えて出力することで、原曲における全体の歌声に近い演奏音を出力できる。

換言すれば、カラオケ装置において、複数の歌唱パートを有した楽曲を再生する際に、いずれかの歌唱パートを歌唱する利用者の歌唱に合わせて、可能な限り原曲に近い演奏音を出力することができる。

カラオケ装置における取得手段は、２つ以上のマイクの各々を介して入力された複数の音声の各々を、歌唱データとして取得してもよい。この場合、生成手段は、取得手段で取得した複数の歌唱データを、歌唱データの数以下の歌唱パートに設定し、複数の歌唱データの歌唱パートの全ての組み合わせについて、歌唱データと、指定楽曲における歌唱パートの数と設定された歌唱パートの数との差以上の数の仮想ボーカルデータとを混合した総合ボーカルを生成してもよい。

このようなカラオケ装置によれば、２つ以上のマイクの各々を介して入力された音声の各々を歌唱データとして取得し、一つの総合ボーカルを生成できる。
すなわち、カラオケ装置によれば、複数の利用者が歌唱する場合であっても、最も類似度が高い総合ボーカルを特定でき、適切な仮想ボーカルデータを出力できる。

カラオケ装置の生成手段は、複数の歌唱データの歌唱パートが、それぞれ異なる歌唱パートである組み合わせについて、総合ボーカルを生成してもよい。
このようなカラオケ装置によれば、複数の利用者の各々が別個の歌唱パートを歌唱する場合であっても、最も類似度が高い総合ボーカルを特定できる。

また、カラオケ装置の生成手段は、複数の歌唱データのうちの少なくとも２つの歌唱データの歌唱パートが、同一の歌唱パートである場合を含む組み合わせについて、総合ボーカルを作成してもよい。

このようなカラオケ装置によれば、複数の利用者が同一の歌唱パートを歌唱する場合であっても、最も類似度が高い総合ボーカルを特定できる。
さらに、カラオケ装置の生成手段は、歌唱データのパワーが、仮想ボーカルデータにおける少なくとも１つの歌唱パートのパワーを基準として規定された範囲内となるように、歌唱データのパワーを補正して、総合ボーカルを生成してもよい。

このようなカラオケ装置によれば、歌唱データ及び仮想ボーカルデータのいずれか一方のパワーが他方のパワーに比べて極端に大きくなることを低減でき、歌唱データ及び仮想ボーカルデータのいずれか一方に他方が埋没することを低減できる。

これにより、カラオケ装置によれば、類似度の算出精度を向上させることができる。
ところで、カラオケ装置の出力手段は、調整手段を備え、その調整手段で調整された仮想ボーカルデータ、歌唱データのいずれかを出力してもよい。調整手段は、仮想ボーカルデータにおける音レベル、または、前記歌唱データの音レベルの少なくともいずれかを、相対的に規定された範囲内とする調整を実行することが好ましい。

カラオケ装置によれば、出力されるボーカル全体の音量バランスを調整できる。
この結果、カラオケ装置によれば、原盤のボーカル全体に、より近づけたボーカル音を出力できる。

ところで、本発明の１つの態様は、コンピュータに実行させるプログラムであってもよい。
このプログラムでは、指定楽曲の伴奏音を再生する再生手順と、歌唱データを取得する取得手順と、総合ボーカルを生成する生成手順と、類似度を算出する算出手順と、類似度が最も高い総合ボーカルを特定する特定手順と、総合ボーカルに含まれる仮想ボーカルデータを、指定楽曲の伴奏音の再生とともに出力させる出力手順とをコンピュータに実行させる。

本発明がプログラムとしてなされていれば、記録媒体から必要に応じてコンピュータにロードさせて起動することや、必要に応じて通信回線を介してコンピュータに取得させて起動することで用いることができる。

なお、ここで言う記録媒体には、例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な電子媒体を含む。

カラオケシステムの概略構成を示す図である。 仮想ボーカル出力処理の処理手順を示すフローチャートである。 パワーの調整の第１手法を説明する説明図である。 パワーの調整の第２手法を説明する説明図である。 指定楽曲において、仮想ボーカルデータと歌唱データとの組み合わせ例を示す図であり、（Ａ）は利用者が一人である場合の組み合わせ例であり、（Ｂ）は利用者が二人である場合の組み合わせ例である。 最適特定処理の処理手順を示すフローチャートである。 類似度の算出方法を説明する説明図である。

以下、本発明の実施形態を図面と共に説明する。
＜カラオケシステム＞
図１に示すカラオケシステム１は、情報処理サーバ１０と、少なくとも１つのカラオケ装置３０とを備えている。カラオケシステム１は、カラオケ装置３０の利用者によって指定された楽曲である指定楽曲を再生する。

楽曲とは、時間軸に沿って配置された複数の音符のうちの少なくとも一部に歌詞が割り当てられた音楽の曲であり、複数の歌唱パートを有した曲である。歌唱パートとは、音楽グループを構成する歌手の各々が歌唱する声部である。複数の歌唱パートの各々は、音符属性の少なくとも一部分が互いに異なっている。

歌唱パートにおいて異なる音符属性とは、各歌唱パートを表す旋律、及びその旋律を構成する音符に割り当てられた歌詞の内容である。ただし、歌唱パートにおいて異なる音符属性は、これに限るものではなく、各歌唱パートを表す旋律だけであってもよいし、歌詞が割り当てられた音符の音高だけであってもよいし、歌詞の内容だけであってもよいし、その他であってもよい。すなわち、音符属性とは、音符の音高や音価、当該音符に割り当てられた歌詞などである。

なお、音楽グループとは、当該楽曲を歌唱した実演家としての複数のオリジナル歌手によって構成されるグループである。この音楽グループは、例えば、当該楽曲を持ち歌として歌うグループである。また、オリジナル歌手とは、音楽グループを構成する固有の歌手である。固有の歌手とは、楽曲における複数の歌唱パートの各々を担当して歌唱している歌手である。
＜情報処理サーバ＞
情報処理サーバ１０は、通信部１２と、記憶部１４と、制御部１６とを備えている。

通信部１２は、通信網を介してカラオケ装置３０と接続され、情報処理サーバ１０が外部との間で通信を行う。
記憶部１４は、記憶内容を読み書き可能に構成された周知の記憶装置である。この記憶部１４には、詳しくは後述する少なくとも１つのＭＩＤＩ楽曲ＭＤと、少なくとも１つの仮想出力データＳＤと、少なくとも１つの比較用ボーカルＣＤとが記憶されている。

なお、図１に示す符号「ｎ」は、ＭＩＤＩ楽曲ＭＤを識別する識別子である。この符号「ｎ」は、１以上の自然数である。符号「ｌ」は、仮想出力データＳＤを識別する識別子である。この符号「ｌ」は、１以上の自然数である。符号「ｍ」は、比較用ボーカルＣＤを識別する識別子である。この符号「ｍ」は、１以上の自然数である。

制御部１６は、ＲＯＭ１８，ＲＡＭ２０，ＣＰＵ２２を備えた周知のマイクロコンピュータを中心に構成された周知の制御装置である。ＲＯＭ１８は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを記憶する。ＲＡＭ２０は、処理プログラムやデータを一時的に記憶する。ＣＰＵ２２は、ＲＯＭ１８やＲＡＭ２０に記憶された処理プログラムに従って各処理を実行する。
＜ＭＩＤＩ楽曲＞
ＭＩＤＩ楽曲ＭＤは、楽曲ごとに予め用意されたデータであり、楽譜データと、歌詞データと、楽曲情報とを備えている。

楽譜データは、周知のＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）規格によって、一つの楽曲の伴奏旋律の楽譜を表したデータである。この楽譜データには、ＭＩＤＩ音源が再生されて出力される個々の音符について、少なくとも、音高（いわゆるノートナンバー）と、音符長とが規定されている。楽譜データにおける音符長は、当該音符のノートオンタイミングと、当該音符のノートオフタイミングとによって規定されている。楽譜データが再生されると、伴奏音が出力される。

歌詞データは、楽曲の歌詞に関するデータであり、楽曲の歌詞のテキストを表す歌詞テキストデータと、歌詞のテキストの出力タイミングを、楽譜データに基づく楽曲の再生と対応付けた歌詞出力データとを備えている。

楽曲情報は、楽曲に関する情報であり、楽曲ＩＤと、音楽グループ情報とを含む。
楽曲ＩＤは、楽曲を識別する識別情報である。音楽グループ情報は、音楽グループに関する情報である。音楽グループ情報には、音楽グループを識別するグループＩＤ、音楽グループの名称、オリジナル歌手の氏名、オリジナル歌手の各々が担当する歌唱パートを表す情報を含む。
＜比較用ボーカル及び仮想出力データ＞
比較用ボーカルＣＤは、音楽グループを構成するオリジナル歌手によって歌唱パートの各々が歌唱された１つの楽曲全体での歌声である。比較用ボーカルＣＤは、楽曲ごとに予め生成される。

なお、比較用ボーカルＣＤの生成方法の例として、一つの楽曲において楽器の伴奏音とボーカル音とが混在する原盤波形から、周知の方法によってボーカル音を特定して分離する方法が考えられる。

また、仮想出力データＳＤは、仮想ボーカルデータの生成に必要なデータであり、音楽グループごと、かつ、オリジナル歌手ごとに予め用意される。なお、仮想ボーカルデータとは、指定楽曲における複数の歌唱パートの各々の歌声を、オリジナル歌手の歌い方またはオリジナル歌手の歌い方に近似した歌い方で表した歌声の各々である。ここで言う歌い方には、ビブラートやしゃくり、こぶしなどの歌唱技巧の他に、声質を含む。

本実施形態における仮想出力データＳＤは、オリジナル歌手によって当該楽曲の歌唱パートが歌唱された歌声であってもよいし、オリジナル歌手に歌い方が類似する歌手によって当該楽曲の歌唱パートが歌唱された歌声であってもよいし、音声合成に用いるデータであってもよい。音声合成に用いるデータは、波形接続に用いる音声素片であってもよいし、フォルマント合成に用いる音声パラメータであってもよい。

仮想出力データＳＤが音声合成に用いるデータである場合には、その仮想出力データＳＤは、特徴データを備える。特徴データとは、オリジナル歌手の歌い方が再現されるように、音符における音高と音価との組み合わせと当該音符に割り当てられた歌詞の音節との組み合わせごとの各オリジナル歌手における歌い方の特徴を表すデータである。
＜カラオケ装置＞
カラオケ装置３０は、通信部３２と、入力受付部３４と、楽曲再生部３６と、記憶部３８と、音声制御部４０と、映像制御部４６と、制御部５０とを備えている。

通信部３２は、通信網を介して、カラオケ装置３０が外部との間で通信を行う。入力受付部３４は、外部からの操作に従って情報や指令の入力を受け付ける入力機器である。ここでの入力機器とは、例えば、キーやスイッチ、リモコンの受付部などである。

楽曲再生部３６は、情報処理サーバ１０からダウンロードしたＭＩＤＩ楽曲ＭＤに基づく楽曲の伴奏音の再生を実行する。楽曲再生部３６は、例えば、ＭＩＤＩ音源である。音声制御部４０は、音声の入出力を制御するデバイスであり、出力部４２と、マイク入力部４４とを備えている。

マイク入力部４４には、少なくとも１つのマイク６２を介して入力された音声を取得する。本実施形態においては、２本のマイク６２がマイク入力部４４に接続されているものとして説明するが、マイク６２の本数は、２本に限るものではなく、１本であってもよいし、３本以上であってもよい。なお、ここで言う接続は、有線、無線を問わない。

出力部４２は、楽曲再生部３６によって再生される楽曲の音源信号、マイク入力部４４からの歌唱音の音源信号をスピーカ６０に出力する。スピーカ６０は、出力部４２から出力される音源信号を音に換えて出力する。映像制御部４６は、制御部５０から送られてくる映像データに基づく映像または画像の出力を行う。映像制御部４６には、映像または画像を表示する表示部６４が接続されている。

記憶部３８は、記憶内容を読み書き可能に構成された周知の記憶装置である。
制御部５０は、ＲＯＭ５２，ＲＡＭ５４，ＣＰＵ５６を少なくとも有した周知のコンピュータを中心に構成されている。ＲＯＭ５２は、電源が切断されても記憶内容を保持する必要がある処理プログラムやデータを記憶する。ＲＡＭ５４は、処理プログラムやデータを一時的に記憶する。ＣＰＵ５６は、ＲＯＭ５２やＲＡＭ５４に記憶された処理プログラムに従って各処理を実行する。

本実施形態のＲＯＭ５２には、指定楽曲の伴奏音を再生し、歌詞を表示すると共に、適切な仮想ボーカルデータ生成して出力する仮想ボーカル出力処理を、制御部５０が実行するための処理プログラムが記憶されている。
＜仮想ボーカル出力処理＞
図２に示す仮想ボーカル出力処理が起動されると、制御部５０は、まず、入力受付部３４を介して指定された楽曲（即ち、指定楽曲）の楽曲ＩＤを取得する（Ｓ１１０）。そして、制御部５０は、Ｓ１１０で取得した楽曲ＩＤを含むＭＩＤＩ楽曲ＭＤを、情報処理サーバ１０の記憶部１４から取得する（Ｓ１２０）。

そして、制御部５０は、Ｓ１２０で取得したＭＩＤＩ楽曲ＭＤに基づいて指定楽曲の伴奏音の再生を実行する（Ｓ１３０）。Ｓ１３０では、制御部５０は、楽曲再生部３６にＭＩＤＩ楽曲ＭＤを時間軸に沿って順次出力する。そのＭＩＤＩ楽曲ＭＤを取得した楽曲再生部３６は、指定楽曲の伴奏音の再生を行い、指定楽曲の音源信号を、出力部４２を介してスピーカ６０へと出力する。これにより、指定楽曲の演奏音は、スピーカ６０から放音される。

Ｓ１３０では、制御部５０は、更に、歌詞出力データ及び歌詞テキストデータを映像制御部４６に出力する。すると、映像制御部４６は、指定楽曲の伴奏音の再生に併せて歌詞を表示部６４に順次表示する。

続いて、制御部５０は、指定楽曲を歌唱している利用者（以下、歌唱ユーザと称す）の人数を取得する（Ｓ１４０）。Ｓ１４０では、制御部５０は、例えば、電源がオンとなっているマイク６２の本数を歌唱ユーザの人数として取得してもよいし、入力受付部３４を介して入力された数を歌唱ユーザの人数として取得してもよい。

さらに、仮想ボーカル出力処理では、制御部５０は、マイク６２の各々を介して入力された音声それぞれを歌唱データとして取得し、記憶部３８に記憶する（Ｓ１５０）。歌唱データとは、マイク６２を介して入力された音声、即ち、指定楽曲における少なくとも１つの歌唱パートを歌唱した歌声である。

そして、制御部５０は、指定楽曲において予め定められた区間である比較対象区間の再生を終了したか否かを判定する（Ｓ１６０）。Ｓ１６０での判定の結果、比較対象区間の再生を終了していなければ（Ｓ１６０：ＮＯ）、制御部５０は、仮想ボーカル出力処理をＳ１５０へと戻す。そして、比較対象区間の再生が終了すると（Ｓ１６０：ＹＥＳ）、制御部５０は、仮想ボーカル出力処理をＳ１７０へと移行させる。

そのＳ１７０では、制御部５０は、仮想ボーカルデータを取得する。具体的に、本実施形態のＳ１７０では、オリジナル歌手によって当該楽曲が歌唱された歌声や、オリジナル歌手に歌い方が類似する歌手によって当該楽曲が歌唱された歌声が、仮想出力データＳＤとして用意されている場合には、制御部５０は、指定楽曲に対応する仮想出力データＳＤを仮想ボーカルデータとして取得する。また、音声合成に用いるデータが仮想出力データＳＤとして用意されている場合には、制御部５０は、Ｓ１２０で取得したＭＩＤＩ楽曲ＭＤ（楽譜データ，歌詞データ）及び仮想出力データＳＤに含まれる特徴データに従って、音声合成によって仮想ボーカルデータを生成して取得する。この場合、仮想ボーカルデータは、各歌唱パートの楽譜通り、かつオリジナル歌手の歌い方の特徴を反映した歌声として合成音声が生成される。

仮想ボーカル出力処理では、制御部５０は、歌唱データのパワーを調整する（Ｓ１８０）。Ｓ１８０では、制御部５０は、歌唱データのパワーが、仮想ボーカルデータにおける少なくとも１つの歌唱パートのパワーを基準として規定された範囲内となるように、歌唱データのパワーを補正する。

パワーとは、音声波形の振幅に基づく指標であり、例えば、音量や音圧を意味する指標である。音声波形の振幅に基づく指標は、音の強さまたは量のレベルも表すものである。
基準として規定された範囲は、歌唱データが、仮想ボーカルデータに埋没しないパワーとして規定された範囲である。基準として規定された範囲は、具体的には、図３に示すように、複数の仮想ボーカルデータのパワーの平均値であってもよいし、図４に示すように、当該歌唱データに対応する歌唱パートの仮想ボーカルデータのパワーであってもよい。

続いて、制御部５０は、Ｓ１７０で生成された仮想ボーカルデータと、Ｓ１８０で調整された歌唱データとを混合した１つの総合ボーカルを生成する（Ｓ１９０）。
総合ボーカルとは、仮想ボーカルデータに歌唱データを混合した音声波形である。総合ボーカルにおいて混合される仮想ボーカルデータの数は、指定楽曲における歌唱パートの数と歌唱データの音声の数との差以上の数である。

Ｓ１９０では、歌唱ユーザの人数が１人である場合、制御部５０は、歌唱データに対して１つの歌唱パートを設定し、残りの歌唱パートに対する仮想ボーカルデータの組み合わせに歌唱データを混合する。換言すると、制御部５０は、指定楽曲における歌唱パートの数から「１」を減算した個数の仮想ボーカルデータを組み合わせた組み合わせの１つに、歌唱ユーザによる歌唱データを混合する。これにより、１つの総合ボーカルデータを生成する。

また、歌唱ユーザの人数が複数である場合には、制御部５０は、複数の歌唱データの各々に対応する歌唱パートが別個の歌唱パートであるものとして、総合ボーカルを生成してもよいし、複数の歌唱データのうちの少なくとも２つの歌唱データに対応する歌唱パートが同一の歌唱パートであるものとして、総合ボーカルを生成してもよい。

つまり、歌唱ユーザの人数が複数である場合、制御部５０は、その複数の歌唱データを混合する対象を、指定楽曲における歌唱パートの数から「当該複数以下の数」を減算した個数の仮想ボーカルデータの組み合わせの１つとする。

さらに、制御部５０は、仮想ボーカルデータと歌唱データとの全ての組み合わせについて総合ボーカルを生成したか否かを判定する（Ｓ２００）。このＳ２００での判定の結果、全ての組み合わせについて総合ボーカルを生成していなければ（Ｓ２００：ＮＯ）、制御部５０は、仮想ボーカル出力処理をＳ１９０へと戻す。そして、Ｓ１９０において、未生成の組み合わせの中から１つの組み合わせを実現した総合ボーカルを生成する。

全ての組み合わせについて総合ボーカルを生成していれば（Ｓ２００：ＹＥＳ）、制御部５０は、仮想ボーカル処理をＳ２１０へと移行させる。
なお、全ての組み合わせとは、例えば、歌唱パートの種類の数が「３」である楽曲に対して、歌唱ユーザの人数が１人である場合には、図５（Ａ）に示すように、歌唱パートの１つに対応する歌声を歌唱データとし、残りの歌唱パートに対応する歌声を仮想出力データＳＤに基づく歌声とした、３つの組み合わせである。また、全ての組み合わせとは、例えば、歌唱パートの種類の数が「３」である楽曲に対して、歌唱ユーザの人数が２人である場合には、図５（Ｂ）に示すように、計６つの組み合わせである。その６つの組み合わせは、２つの歌唱パートの各々に対応する歌声を歌唱データとし、残りの歌唱パートに対応する歌声を仮想出力データＳＤに基づく歌声とした、３つの組み合わせと、１つの歌唱パートに対応する歌声を２つの歌唱データとし、残りの歌唱パートに対応する歌声を仮想出力データＳＤに基づく歌声とした、３つの組み合わせである。

Ｓ２１０では、制御部５０は、最適特定処理を実行する。最適特定処理とは、最も適切な総合ボーカルを特定する処理である。最適特定処理の詳細は後述する。
続いて、制御部５０は、最も適切な総合ボーカルを構成する仮想ボーカルデータの音レベルを調整する（Ｓ２２０）。Ｓ２２０における仮想ボーカルデータの音レベルの調整は、１つの仮想ボーカルデータにおける音レベルが、他の仮想ボーカルデータの音レベルに対して、相対的に規定された範囲内となるように実施する。相対的に規定された範囲とは、指定楽曲におけるオリジナル歌手それぞれの歌声の音レベルの差の範囲内として予め規定された範囲である。

音レベルとは、音の強さまたは音量のレベルも表す指標である。
そして、制御部５０は、Ｓ２２０にて音レベルが調整された仮想ボーカルデータを出力部４２へと出力する（Ｓ２３０）。その出力部４２は、スピーカ６０から仮想ボーカルデータによって表される仮想ボーカルを出力する。

さらに、Ｓ２３０では、制御部５０は、歌唱データを出力部４２へと出力する。その出力部４２は、スピーカ６０から歌唱データ、即ち、歌唱音声を出力する。
制御部５０は、その後、本仮想ボーカル出力処理を終了する。
＜最適特定処理＞
仮想ボーカル出力処理のＳ２１０にて起動される最適特定処理では、制御部５０は、図６に示すように、まず、指定楽曲の比較用ボーカルＣＤを情報処理サーバ１０の記憶部１４から取得する（Ｓ３１０）。続いて、制御部５０は、Ｓ３１０で取得した比較用ボーカルＣＤのスペクトログラムである比較スペクトルを算出する（Ｓ３２０）。さらに、制御部５０は、Ｓ３２０で算出した比較スペクトルを、単位時間ごとに周波数軸に沿って平滑化する（Ｓ３３０）。

最適特定処理では、続いて、制御部５０は、先のＳ１９０で生成された総合ボーカルの１つを取得する（Ｓ３４０）。そして、制御部５０は、Ｓ３４０で取得した総合ボーカルのスペクトログラムであるボーカルスペクトルを算出する（Ｓ３５０）。さらに、制御部５０は、Ｓ３５０で算出したボーカルスペクトルを、単位時間ごとに周波数軸に沿って平滑化する（Ｓ３６０）。

さらに、最適特定処理では、制御部５０は、平滑化されたボーカルスペクトルを、平滑化された比較スペクトルに照合し、類似度を算出する（Ｓ３７０）。類似度とは、平滑化されたボーカルスペクトルと、平滑化された比較スペクトルとの相関を表す指標である。このＳ３７０における類似度の算出は、平滑化されたボーカルスペクトルと、平滑化された比較スペクトルとの相関を求めることで実行すればよい。

続いて、制御部５０は、全ての総合ボーカルについて、比較用ボーカルＣＤとの類似度を求めたか否かを判定する（Ｓ３８０）。このＳ３８０での判定の結果、全ての総合ボーカルについて類似度を求めていなければ（Ｓ３８０：ＮＯ）、制御部５０は、最適特定処理をＳ３４０へと戻す。そのＳ３４０では、制御部５０は、類似度を未算出である総合ボーカルの中から１つの総合ボーカルを取得し、Ｓ３５０へと移行する。これにより、最適特定処理では、図７に示すように、全ての総合ボーカルのボーカルスペクトルについて、比較スペクトルと照合され、全ての総合ボーカルに対する類似度が求められる。

一方、全ての総合ボーカルについて類似度を算出済みであれば（Ｓ３８０：ＹＥＳ）、制御部５０は、最適特定処理をＳ３９０へと移行させる。
そのＳ３９０では、算出された全ての類似度のうち、最も類似度が高い総合ボーカルを、最も適切な総合ボーカルとして特定する。

制御部５０は、その後、本最適特定処理を終了し、補助ボーカル出力処理のＳ２２０へと処理を戻す。
［実施形態の効果］
（１） 以上説明したように、仮想ボーカル出力処理によれば、比較用ボーカルＣＤに最も類似する総合ボーカルを特定できる。この総合ボーカルは、指定楽曲において利用者が担当する歌唱パート以外の歌唱パートの歌声を、仮想ボーカルデータで補った指定楽曲全体の歌声である。

そして、仮想ボーカル出力処理によれば、その特定した総合ボーカルに含まれる仮想ボーカルデータを出力できる。さらに、仮想ボーカル出力処理では、仮想ボーカルデータによって表される歌声と併せて利用者の歌声を出力しているため、カラオケ装置３０においては、原曲における全体の歌声に近い演奏音を出力できる。

換言すれば、カラオケ装置３０において、複数の歌唱パートを有した楽曲を再生する際に、いずれかの歌唱パートを歌唱する利用者の歌唱に合わせて、可能な限り原曲に近い演奏音を出力することができる。

（２） 仮想ボーカル出力処理では、歌唱データのパワーが、規定された範囲内となるように、歌唱データのパワーを補正して、総合ボーカルを生成している。
このため、仮想ボーカル出力処理によれば、歌唱データ及び仮想ボーカルデータのいずれか一方のパワーが他方のパワーに比べて極端に大きくなることを低減でき、歌唱データ及び仮想ボーカルデータのいずれか一方に他方が埋没することを低減できる。よって、類似度の算出精度を向上させることができる。

（３） また、最適特定処理においては、比較スペクトル及びボーカルスペクトルの双方を、単位時間ごとに周波数軸に沿って平滑化して類似度を算出している。このため、最適特定処理によって求められる類似度を、比較スペクトル及びボーカルスペクトルにおける細かな変化の影響を低減したものとすることができる。

この結果、仮想ボーカル出力処理によれば、より適切な総合ボーカルを、最も適切な総合ボーカルとして特定できる。
（４） ところで、仮想ボーカル出力処理においては、歌唱ユーザの人数が複数である場合、制御部５０は、その複数の歌唱データを混合する対象を、指定楽曲における歌唱パートの数から「当該複数以下の数」を減算した個数の仮想ボーカルデータの組み合わせのそれぞれとしている。

すなわち、仮想ボーカル出力処理によれば、複数の利用者が歌唱する場合であっても、最も類似度が高い総合ボーカルを特定でき、適切な仮想ボーカルデータを出力することができる。

更に言えば、仮想ボーカル出力処理によれば、複数の利用者の各々が別個の歌唱パートを歌唱する場合であっても、複数の利用者が同一の歌唱パートを歌唱する場合であっても、最も類似度が高い総合ボーカルを特定できる。

（５） なお、仮想ボーカル出力処理においては、１つの仮想ボーカルデータにおける音レベルが、他の仮想ボーカルデータの音レベルに対して相対的に規定された範囲内となるように、仮想ボーカルデータの音レベルの補正を実施している。

このため、仮想ボーカル出力処理によれば、スピーカ６０から出力されるボーカル全体の音量バランスを、原盤の歌唱音声全体に近づくように調整できる。さらには、その原盤の歌唱音声全体の音量バランスに近づけた歌声を出力できる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

（１） 例えば、上記実施形態の仮想ボーカル出力処理では、Ｓ２２０において音レベルを調整する対象を仮想ボーカルデータとしていたが、音レベルを調整する対象は、歌唱データであってもよい。

（２） 上記実施形態では、最適特定処理の実行主体をカラオケ装置３０としていたが、最適特定処理の実行主体は、情報処理サーバ１０であってもよい。
（３） 上記実施形態の構成の一部を省略した態様も本発明の実施形態である。また、上記実施形態と変形例とを適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言によって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。

（４） また、本発明は、前述したカラオケ装置の他、仮想ボーカルを音声合成によって生成して出力するためにカラオケ装置が備えるコンピュータが実行するプログラム、仮想ボーカルを音声合成によって生成して出力する生成方法等、種々の形態で実現することができる。
［対応関係の一例］
仮想ボーカル出力処理におけるＳ１３０を実行することで得られる機能が、再生手段の一例に相当する。Ｓ１５０を実行することで得られる機能が、取得手段の一例に相当する。Ｓ１７０〜Ｓ１９０を実行することで得られる機能が生成手段の一例に相当する。Ｓ２３０を実行することで得られる機能が、出力手段の一例に相当する。

さらに、最適特定処理のＳ３１０〜Ｓ３８０を実行することで得られる機能が、算出手段の一例に相当する。最適特定処理のＳ３９０を実行することで得られる機能が、特定手段の一例に相当する。

なお、仮想ボーカル出力処理におけるＳ２２０を実行することで得られる機能が、調整手段の一例に相当する。

１…カラオケシステム １０…情報処理サーバ １２，３２…通信部 １４，３８…記憶部 １６，５０…制御部 １８，５２…ＲＯＭ ２０，５４…ＲＡＭ ２２，５６…ＣＰＵ ３０…カラオケ装置 ３４…入力受付部 ３６…楽曲再生部 ４０…音声制御部 ４２…出力部 ４４…マイク入力部 ４６…映像制御部 ６０…スピーカ ６２…マイク ６４…表示部

Claims (7)

1. 音符属性の少なくとも一部分が異なる複数の歌唱パートを有した楽曲であって、指定された楽曲である指定楽曲の伴奏音を再生する再生手段と、
   前記再生手段による前記指定楽曲の再生中に、マイクを介して入力された一または複数の音声を歌唱データとして取得する取得手段と、
   前記指定楽曲における複数の歌唱パートの各々の歌声をオリジナル歌手の歌い方で再現した歌声の各々を仮想ボーカルデータとし、前記指定楽曲における歌唱パートの数と前記歌唱データの音声の数との差以上の数の前記仮想ボーカルデータと、前記歌唱データとを前記指定楽曲の各歌唱パートに対応させて混合した総合ボーカルを、前記指定楽曲の歌唱パートの組み合わせごとに生成する生成手段と、
   前記生成手段で生成された前記総合ボーカルの各々について、前記オリジナル歌手によって複数の歌唱パートの各々が歌唱された前記指定楽曲の歌声を比較用ボーカルと照合し、前記比較用ボーカルとの類似度を算出する算出手段と、
   前記算出手段で算出された類似度のうち、前記類似度が最も高い総合ボーカルを特定する特定手段と、
   前記特定手段で特定した総合ボーカルに含まれる前記仮想ボーカルデータを、前記指定楽曲の伴奏音の再生とともに出力させる出力手段と
   を備える、カラオケ装置。
2. 前記取得手段は、
   ２つ以上のマイクの各々を介して入力された複数の音声の各々を、前記歌唱データとして取得し、
   前記生成手段は、
   前記取得手段で取得した複数の歌唱データを、前記歌唱データの数以下の歌唱パートに設定し、前記複数の歌唱データの歌唱パートの全ての組み合わせについて、前記歌唱データと、前記指定楽曲における歌唱パートの数と設定された前記歌唱パートの数との差以上の数の前記仮想ボーカルデータとを混合した前記総合ボーカルを生成する、請求項１に記載のカラオケ装置。
3. 前記生成手段は、
   前記複数の歌唱データの歌唱パートは、それぞれ異なる歌唱パートである組み合わせについて、前記総合ボーカルを生成する、請求項２に記載のカラオケ装置。
4. 前記生成手段は、
   前記複数の歌唱データのうちの少なくとも２つの歌唱データの歌唱パートが、同一の歌唱パートである場合を含む組み合わせについて、前記総合ボーカルを作成する、請求項２に記載のカラオケ装置。
5. 前記生成手段は、
   前記歌唱データのパワーが、前記仮想ボーカルデータにおける少なくとも１つの歌唱パートのパワーを基準として規定された範囲内となるように、前記歌唱データのパワーを補正して、前記総合ボーカルを生成する、請求項１から請求項４までのいずれか一項に記載のカラオケ装置。
6. 前記出力手段は、
   前記仮想ボーカルデータにおける音レベル、または、前記歌唱データの音レベルの少なくともいずれかを、相対的に規定された範囲内とする調整をする調整手段を備え、
   前記調整手段で調整された前記仮想ボーカルデータ、または、前記歌唱データのいずれかを出力する、請求項１から請求項５までのいずれか一項に記載のカラオケ装置。
7. コンピュータに実行させるプログラムであって、
   音符属性の少なくとも一部分が異なる複数の歌唱パートを有した楽曲であって、指定された楽曲である指定楽曲の伴奏音を再生する再生手順と、
   前記再生手順による前記指定楽曲の再生中に、マイクを介して入力された一または複数の音声を歌唱データとして取得する取得手順と、
   前記指定楽曲における複数の歌唱パートの各々の歌声をオリジナル歌手の歌い方で再現した歌声の各々を仮想ボーカルデータとし、前記指定楽曲における歌唱パートの数と前記歌唱データの音声の数との差以上の数の前記仮想ボーカルデータと、前記歌唱データとを前記指定楽曲の各歌唱パートに対応させて混合した総合ボーカルを、前記指定楽曲の歌唱パートの組み合わせごとに生成する生成手順と、
   前記生成手順で生成された前記総合ボーカルの各々について、前記オリジナル歌手によって複数の歌唱パートの各々が歌唱された前記指定楽曲の歌声を比較用ボーカルと照合し、前記比較用ボーカルとの類似度を算出する算出手順と、
   前記算出手順で算出された類似度のうち、前記類似度が最も高い総合ボーカルを特定する特定手順と、
   前記特定手順で特定した総合ボーカルに含まれる前記仮想ボーカルデータを、前記指定楽曲の伴奏音の再生とともに出力させる出力手順とを、
   前記コンピュータに実行させる、プログラム。