JP2015025839A - マイク選択装置、マイク選択方法及びマイク選択プログラム - Google Patents

Abstract

【課題】複数のマイクから同時に大きな音量の音声が入力されるなかで、所定のマイクの選択精度を改善する。【解決手段】マイク選択装置４は、複数のマイク１１からの複数のマイク音声のうち、楽曲データベース３から取得した楽曲データのボーカル音声にピッチ、テンポのうちいずれか１つ以上が合致したマイク音声を選択する。【選択図】図１

Description

本発明は、マイク音声を選択する技術に関する。

マイク入力機能を具備するブラウザが増加している。そのようなブラウザを用いたサービスにおいて、複数のマイクから所定のマイクを選択できる技術が求められている。これについて特許文献１によれば、マイクから入力された音声の強度に基づいてマイクを選択するようにしている。

特開平０６−０６２１０３号公報

しかしながら、電話会議のように発話者以外のマイクからは一定音量の入力がないことを前提としているため、複数のマイクから同時に大きな音量の音声が入力される場合、有効化するマイクを誤って選択してしまう。例えば、カラオケに用いる場合、歌い手以外のマイクを選択してしまい、歌に直接関係のない音声を伴奏等にミキシングしてしまう。

本発明は、上記事情を鑑みてなされたものであり、マイクの選択精度を改善することを目的とする。

請求項１に記載のマイク選択装置は、複数のマイクから複数のマイク音声をそれぞれ入力する入力手段と、楽曲データの記憶手段から所定の楽曲データを取得する取得手段と、前記複数のマイク音声のうち、前記楽曲データのボーカル音声に最も合致したマイク音声を選択する選択手段と、を有することを要旨とする。

本発明によれば、複数のマイク音声のうち、楽曲データのボーカル音声に最も合致したマイク音声を選択するため、マイクの選択精度を向上できる。

請求項２に記載のマイク選択装置は、請求項１に記載のマイク選択装置において、前記選択手段は、前記ボーカル音声の音量、ピッチ、テンポのうちいずれか１つ以上に基づきマイク音声を選択することを要旨とする。

請求項３に記載のマイク選択装置は、複数のマイクから複数のマイク音声をそれぞれ入力する入力手段と、前記複数のマイク音声のうち、楽曲データの記憶手段に記憶された所定の楽曲データのボーカル音声に対応するマイク音声のみを出力する出力手段と、を有することを要旨とする。

本発明によれば、複数のマイク音声のうち、楽曲データの記憶手段に記憶された所定の楽曲データのボーカル音声に対応するマイク音声のみを出力するため、マイクの選択精度を向上できる。

請求項４に記載のマイク選択方法は、コンピュータにより、複数のマイクから複数のマイク音声をそれぞれ入力する入力ステップと、楽曲データの記憶手段から所定の楽曲データを取得する取得ステップと、前記複数のマイク音声のうち、前記楽曲データのボーカル音声に最も合致したマイク音声を選択する選択ステップと、を有することを要旨とする。

請求項５に記載のマイク選択方法は、コンピュータにより、複数のマイクから複数のマイク音声をそれぞれ入力する入力ステップと、前記複数のマイク音声のうち、楽曲データの記憶手段に記憶された所定の楽曲データのボーカル音声に対応するマイク音声のみを出力する出力ステップと、を有することを要旨とする。

請求項６に記載のマイク選択プログラムは、コンピュータを請求項１乃至３のいずれかに記載のマイク選択装置として機能させることを要旨とする。

本発明によれば、カラオケを複数人で楽しむようなサービスにおいて、マイクの選択精度を向上できる。

メロディ伴奏システムの全体接続構成を示す図である。 マイク選択装置の機能ブロック構成を示す図である。 マイク選択装置の機能ブロック構成（最小構成）を示す図である。 マイク選択装置の処理フローを示す図である。 モニタの表示例を示す図である。 特徴量の比較・マイク音声の選択フローを示す図である。 特徴量の比較・マイク音声の選択フローを示す図である。

以下、本発明を実施する一実施の形態について図面を用いて説明する。

図１は、本実施の形態に係るメロディ伴奏システムの全体接続構成を示す図である。このメロディ伴奏システムは、複数の携帯端末１と、１つの無線ルータ２と、楽曲データベース３と、ミキシング機能付きマイク選択装置４と、スピーカ付きモニタ５とで構成される。

携帯端末１は、内蔵のマイク１１で集音されたユーザの発声（以下、マイク音声）を、ＲＦ網を介し無線ルータ２を経由してマイク選択装置４に入力する機能を備えている。例えば、スマートフォン等で実現できる。マイク音声をマイク選択装置４に入力できればよいため、カラオケ装置等のワイヤードマイクを用いてマイク選択装置４に直接接続してもよい。

楽曲データベース３は、事前に録音又は生成され、映像データや伴奏データ等、メロディを伴奏するために必要な楽曲データ（映像・音声）を読み出し可能に記憶しておく機能を備えている。例えば、通信カラオケで使用される配信サーバ等で実現できる。

マイク選択装置４は、指定された楽曲データを楽曲データベース３から取得すると共に、複数の携帯端末１から複数のマイク音声をそれぞれ入力して、その楽曲データの再生によるボーカル音声に最も合致した１つ以上のマイク音声を選択する機能を備えている。また、選択されたマイク音声のみを再生中の楽曲データに重畳してモニタ５に出力するミキシング機能も備えている。例えば、ＣＰＵやメモリを備えたコンピュータで実現できる。

モニタ５は、マイク選択装置４から出力されたマイク音声や映像をスピーカやモニタからそれぞれ再生する機能を備えている。例えば、通信カラオケで使用されるモニタ装置や一般のテレビ装置等で実現できる。

次に、マイク選択装置４について詳述する。図２は、マイク選択装置４の機能ブロック構成を示す図である。マイク選択装置４は、音声特徴量検出部４１と、楽曲特徴量検出部４２と、特徴量比較・マイク音声選択部４３と、ミキシング部４４と、映像・音声出力部４５とで構成される。

音声特徴量検出部４１は、複数のマイク１１から出力された複数のマイク音声をそれぞれ入力し、各マイク音声の特徴量をそれぞれ検出する機能部である。

楽曲特徴量検出部４２は、指定された楽曲データのボーカル情報を楽曲データベース３から取得して、そのボーカル情報の特徴量を検出する機能部である。なお、ボーカル情報には、タイムラインに沿ったボーカル音声の音量や、ボーカル音声のピッチやテンポの各値が含まれている。

特徴量比較・マイク音声選択部４３は、音声特徴量検出部４１で検出された各マイク音声の特徴量と、楽曲特徴量検出部４２で検出されたボーカル情報の特徴量とをそれぞれ比較し、ボーカル情報の特徴量との間で相関度が閾値以上の特徴量を持つマイク音声を選択する機能部である。

ミキシング部４４は、上記指定された楽曲データと、特徴量比較・マイク音声選択部４３で選択されたマイク音声とを重畳する機能部である。

映像・音声出力部４５は、ミキシング部４４で重畳された楽曲データとマイク音声をスピーカ付きモニタ５に出力する機能部である。

以上、マイク選択装置４について説明した。なお、これら各機能部以外に、マイクを所持したユーザ等を撮影するカメラやその他付属装置を備えてもよい。また、図３に示すように、音声特徴量検出部４１と楽曲特徴量検出部４２と特徴量比較・マイク音声選択部４３とのみでマイク選択装置４を構成してもよい。その場合、ミキシング部４４や映像・音声出力部４５を備えたカラオケサービス提供装置６に接続して内蔵するようにしてもよい。例えば、通信カラオケ装置、テレビ装置、ゲーム機、カーナビ装置、パソコン等に内蔵する。

続いて、マイク選択装置４の動作について説明する。図４は、マイク選択装置４の処理フローを示す図である。

まず、音声特徴量検出部４１により、無線ＬＡＮ等を介して、複数の携帯端末１のマイク１１でそれぞれ集音された複数のマイク音声が入力され、例えば４４．１ｋＨｚのサンプリング周波数で各マイク音声に含まれる音声パワー値と音声スペクトル値がそれぞれ量子化される（ステップＳ１０１）。

次に、楽曲特徴量検出部４２により、指定された楽曲データのボーカル情報が楽曲データベース３から取り出され、そのボーカル情報から各タイミングでのボーカル音声の音量とピッチの値とテンポの値とがそれぞれ取得される（ステップＳ１０２）。

次に、特徴量比較・マイク音声選択部４３により、ステップＳ１０１で変換された各マイク音声の量子化情報（音声パワー値、音声スペクトル値）と、ステップＳ１０２で取得されたボーカル情報（ボーカル音声の音量、ピッチ値、テンポ値）とが相互相関関数を用いてそれぞれ比較される（ステップＳ１０３）。

具体的には、それら各情報を用いて、現在の再生タイミングにおける、主旋律の音量とマイク音声の音声量が比較され、主旋律のピッチとマイク音声のピッチが比較され、更に、主旋律のテンポとマイク音声のテンポが比較される。

次に、特徴量比較・マイク音声選択部４３により、ボーカル情報に記録されている発生すべきタイミングに発話すべき音量等で入力があったマイク音声のみが選択される（ステップＳ１０４）。一方、発声すべきタイミングと異なるタイミングで発声があったマイクや、発声すべき音量に達しなかったマイク音声は選択されない。

次に、ミキシング部４４により、ステップＳ１０２で取り出された楽曲データと同じ楽曲データが取り出され、その楽曲データに記録されているキャプション等の映像情報や伴奏等の音声情報と、ステップＳ１０４で選択されたマイク音声とが重畳される（ステップＳ１０５）。

最後に、映像・音声出力部４５により、ステップＳ１０５で重畳された楽曲データとマイク音声がスピーカ付きモニタ５に出力される（ステップＳ１０６）。モニタ５の表示例を図５に示す。

最後に、特徴量の比較・マイク音声の選択方法について詳述する。例えば図６に示すように、あるマイクのマイク音声の特徴量を検出した後に（ステップＳ２０１）、マイク音声の量子化情報を用いて前述の３つの比較を段階的に実行し（ステップＳ２０２〜ステップＳ２０４）、音量，ピッチ，テンポのうち少なくともいずれか１つ以上が任意の相関閾値（例えば、相関度が９０％）を超えるマイク音声を選択する（ステップＳ２０５）。そして、全てのマイク音声についてステップＳ２０１〜ステップＳ２０５を繰り返し実行し（ステップＳ２０６）、該当するマイク音声のみを選択する。

その他、例えば、図７に示すように、あるマイクのマイク音声の特徴量を検出した後に前述の３つの比較を段階的に実行し（ステップＳ３０１〜ステップＳ３０４）、音量，ピッチ，テンポの全てが相関閾値を超えるマイク音声を選択する（ステップＳ３０５）。そして、全てのマイク音声についてステップＳ３０１〜ステップＳ３０５を繰り返し実行し（ステップＳ３０６）、該当するマイク音声のみを選択するようにしてもよい。

なお、合唱、デュエット、ハーモニー等をしていることもあるため、２つ以上のマイク音声が選択される場合も当然にある。

本実施の形態によれば、複数のマイク音声のうち、楽曲データのボーカル音声に最も合致したマイク音声を選択するので、カラオケを複数人で楽しむようなサービスにおいて、マイクの選択精度を向上できる。

また、本実施の形態によれば、複数のマイク音声のうち、楽曲データの記憶手段に記憶された所定の楽曲データのボーカル音声に対応するマイク音声のみを出力するので、マイクの選択精度を向上でき、更に、複数のマイクが同時に入力を受け付ける状態であっても、ボーカル音声に関係のない音声（例えば、歓声，声援，拍手，合いの手等）を排除できる。

更に、マイクの種類は限定されないため、個人が所有する携帯端末等をカラオケのマイクとして使用できる。

最後に、本実施の形態で説明したマイク選択装置４の各動作をプログラムとして構築し、コンピュータにインストールして実行させることや、通信ネットワークを介して流通させることも可能である。

１…携帯端末
１１…マイク
２…無線ルータ
３…楽曲データベース
４…ミキシング機能付きマイク選択装置、マイク選択装置
４１…音声特徴量検出部（入力手段）
４２…楽曲特徴量検出部（取得手段）
４３…特徴量比較・マイク音声選択部（選択手段）
４４…ミキシング部
４５…映像・音声出力部（出力手段）
５…スピーカ付きモニタ
６…カラオケサービス提供装置
Ｓ１０１〜Ｓ１０６、Ｓ２０１〜Ｓ２０６、Ｓ３０１〜Ｓ３０６…ステップ

Claims (6)

1. 複数のマイクから複数のマイク音声をそれぞれ入力する入力手段と、
   楽曲データの記憶手段から所定の楽曲データを取得する取得手段と、
   前記複数のマイク音声のうち、前記楽曲データのボーカル音声に最も合致したマイク音声を選択する選択手段と、
   を有することを特徴とするマイク選択装置。
2. 前記選択手段は、
   前記ボーカル音声の音量、ピッチ、テンポのうちいずれか１つ以上に基づきマイク音声を選択することを特徴とする請求項１に記載のマイク選択装置。
3. 複数のマイクから複数のマイク音声をそれぞれ入力する入力手段と、
   前記複数のマイク音声のうち、楽曲データの記憶手段に記憶された所定の楽曲データのボーカル音声に対応するマイク音声のみを出力する出力手段と、
   を有することを特徴とするマイク選択装置。
4. コンピュータにより、
   複数のマイクから複数のマイク音声をそれぞれ入力する入力ステップと、
   楽曲データの記憶手段から所定の楽曲データを取得する取得ステップと、
   前記複数のマイク音声のうち、前記楽曲データのボーカル音声に最も合致したマイク音声を選択する選択ステップと、
   を有することを特徴とするマイク選択方法。
5. コンピュータにより、
   複数のマイクから複数のマイク音声をそれぞれ入力する入力ステップと、
   前記複数のマイク音声のうち、楽曲データの記憶手段に記憶された所定の楽曲データのボーカル音声に対応するマイク音声のみを出力する出力ステップと、
   を有することを特徴とするマイク選択方法。
6. コンピュータを請求項１乃至３のいずれかに記載のマイク選択装置として機能させるためのマイク選択プログラム。

Images