JP2008051896A - 音声ミックスダウン装置、音声ミックスダウンプログラム - Google Patents

Abstract

【課題】他の利用者により録音された音声を含む複数の音声を合成して１つの楽曲の音声を生成する。
【解決手段】音声ファイル入力部２０は、ユーザが使用する機器においてカラオケを利用して録音された音声ファイルをネットワークを通じて入力すると、識別データと対応付けて録音音声ファイルデータベース２８に記憶させる。ミックスダウン制御部２１は、ネットワークを通じて入力されたユーザからの要求に応じて、録音音声ファイルデータベース２８から合成（ミックスダウン）の対象とする複数の録音音声ファイルを選択し、エフェクト処理部２３によって複数の録音音声ファイルに対してエフェクト処理を施すと共に合成して合成音声データを生成させる。合成音声データ出力部２４は、エフェクト処理部２３によって生成された合成音声データを、ネットワークを通じてユーザに対して出力する。
【選択図】 図１

Description

本発明は、カラオケ機器などにおいて入力された音声を合成する音声ミックスダウン装置、及び音声ミックスダウンプログラムに関する。

従来、カラオケ利用に先立って利用者の歌声を録音しておいてカラオケ演奏時に一人でも合唱を楽しむことができる通信カラオケシステムが考えられている（特許文献１参照）。特許文献１に記載された通信カラオケシステムでは、利用者端末において、カラオケ利用に先立って、希望曲の伴奏音楽を音響出力しながら利用者が歌声を録音する。利用者端末は、録音時のテンポやキーなどの情報を含む歌唱トラック録音ファイルを作成し、利用者ＩＤと楽曲ＩＤとを対応づけてファイル保管サーバに送達して保管する。カラオケ演奏装置は、ファイル保管サーバにアクセスして、利用者ＩＤと楽曲ＩＤとにより特定される歌唱トラック録音ファイルを取り寄せ、そのファイルに録音された同一楽曲の伴奏音楽をカラオケデータベースから取り出して、伴奏音楽とファイルに録音された音声とを音楽的に同期させて音響出力するとともに、マイクロホンに入力される音声を混合して音響出力する。
特開２００４−５３７３６公報

従来の通信カラオケシステムでは、利用者本人が利用者端末において予め歌声を録音して、ファイル保管サーバに保管しておかなければならなかった。また、利用者は、カラオケ演奏装置において合唱をする場合に、自分が予めファイル保管サーバに保管した自分の歌声（歌唱トラック録音ファイル）しか利用することができなかった。すなわち、他の利用者との合唱（デュエットなど含む）をすることができなかった。

本発明は前述した事情に考慮してなされたもので、その目的は、他の利用者により録音された音声を含む複数の音声を合成して１つの楽曲の音声を生成することが可能な音声ミックスダウン装置を提供することにある。

本発明は、識別データが付加された音声ファイルを入力する音声ファイル入力手段と、前記音声ファイル入力手段によって入力された複数の音声ファイルを記憶する音声ファイル記憶手段と、前記音声ファイル記憶手段に記憶された共通する識別データが付加された複数の音声ファイルを選択する選択手段と、前記選択指示入力手段によって選択された複数の音声ファイルに対してエフェクト処理を施すと共に合成して合成音声データを生成する合成音声データ生成手段と、前記合成音声データ生成手段によって生成された合成音声データを出力する合成音声データ出力手段とを具備したことを特徴とする。

本発明によれば、識別データ（例えば曲名）が付加された複数の音声ファイルを記憶しておき、この複数の音声ファイルから共通する識別データが付加された複数の音声ファイルを選択して合成するので、他の利用者により録音された音声を含む複数の音声を合成して、例えばあたかも合唱やデュエットをしているような１つの楽曲の音声を生成することができる。

以下、図面を参照して本発明の実施の形態について説明する。
図１は、本実施形態におけるシステムの構成を示すブロック図である。図１に示すシステムでは、音声ミックスダウンサーバ１０がネットワーク１２を介して、各種の機器、例えばカラオケ機器１４、携帯電話機１６、パーソナルコンピュータ１８等と接続される。ネットワーク１２は、インターネットや公衆回線網（電話回線網）、ＬＡＮ（Local Area Network）など各種の通信網を含む。

音声ミックスダウンサーバ１０は、ネットワーク１２を介して接続された機器から、カラオケ（伴奏音声）に合わせて録音された音声のファイル（以下、録音音声ファイルと称する）を入力して記憶すると共に、機器を通じて受信されたユーザからの指示に応じて選択した複数の録音音声ファイルを合成して、例えば複数の利用者が合唱やデュエットをしているような１つの楽曲の音声を生成するサービスを提供する。

カラオケ機器１４、携帯電話機１６、及び携帯電話機１６は、ネットワーク１２を介して、音声ミックスダウンサーバ１０と接続するための通信機能を有している。また、カラオケ機器１４、携帯電話機１６、及び携帯電話機１６は、カラオケ音声を出力して、このカラオケ音声に合わせてユーザが歌唱した音声を入力するカラオケ機能、このカラオケ機能によって入力された音声を録音する録音機能を有している。この録音機能によって録音された音声の録音音声ファイルは、通信機能により音声ミックスダウンサーバ１０に送信される。

図２は、音声ミックスダウンサーバ１０の機能構成を示すブロック図である。音声ミックスダウンサーバ１０は、コンピュータによって実現されるもので、記憶装置に記憶されたプログラムをプロセッサにより実行することにより各種機能を実現する。音声ミックスダウンサーバ１０に用意されるプログラムには、録音音声ファイルの音声を合成するための機能を実現するための音声ミックスダウンプログラムが含まれる。

図２に示すように、音声ミックスダウンサーバ１０には、音声ファイル入力部２０、ミックスダウン制御部２１、合成パターンリスト記憶部２２、エフェクト処理部２３、合成音声データ出力部２４、リスト一覧出力部２５、投票入力部２６、集計部２７、及び録音音声ファイルデータベース２８の機能が設けられている。

音声ファイル入力部２０は、ネットワーク１２を通じて、カラオケ機器１４、携帯電話機１６、パーソナルコンピュータ１８等の各機器から送信された録音音声ファイルを入力して録音音声ファイルデータベース２８に記憶する。また、音声ファイル入力部２０は、録音音声ファイルと共に、録音音声ファイルとして記憶された音声に関する各種の情報を含むキャプションデータと音声を録音したユーザ（機器の使用者）に関する情報を含むユーザデータを入力して、録音音声ファイルと対応付けて録音音声ファイルデータベース２８に記憶させることができる。

ミックスダウン制御部２１は、ネットワーク１２を通じてカラオケ機器１４、携帯電話機１６、パーソナルコンピュータ１８等からの音声ミックスダウン要求に応じて、録音音声ファイルデータベース２８に記憶された複数の録音音声ファイルを合成（ミックスダウン）して１つの楽曲の音声を生成するためのミックスダウン処理を制御する。また、ミックスダウン制御部２１は、カラオケ機器１４、携帯電話機１６、パーソナルコンピュータ１８等からの要求に応じて、ミックスダウン処理を実行することにより生成された合成パターンリストをもとにデータベース２８に記憶された録音音声ファイルを合成する合成音声データ出力処理を制御する。また、ミックスダウン制御部２１は、リスト一覧出力部２５によってリスト一覧データを生成させてリスト一覧出力部２５により出力されると共に、このリスト一覧データに該当する楽曲に対してユーザから入力された投票データについての集計部２７による集計結果についての評価を実行する。例えば、音声ミックスダウンサーバ１０により合成された楽曲を聴いたユーザによる評価投票を受け付けて、ネットワーク上で実現される仮想的な合唱コンクールを実施する。

合成パターンリスト記憶部２２は、ミックスダウン処理において生成された合成パターンリストを記憶する。合成パターンリストは、録音音声ファイルデータベース２８に記憶された複数の録音音声ファイルを合成して１つの楽曲の音声を生成するために必要なデータを含んでいる（図４参照）。

エフェクト処理部２３は、ミックスダウン制御部２１の制御のもとで、録音音声ファイルデータベース２８に記憶された複数の録音音声ファイルの音声を合成すると共に、音声に対して各種のエフェクトを施すための処理を実行する。エフェクト処理部２３は、合成の対象とする録音音声ファイルに対して個別にエフェクトを施す個別エフェクトの他、複数の録音音声ファイルの音声を合成した後の音声全体に対してエフェクトを施す全体エフェクトを実行することができる。

合成音声データ出力部２４は、エフェクト処理部２３によって合成（ミックスダウン）された音声のデータ（以下、合成音声データと称する）を、ネットワーク１２を通じて、カラオケ機器１４、携帯電話機１６、パーソナルコンピュータ１８等に出力する。

リスト一覧出力部２５は、合成パターンリスト記憶部２２に記憶された複数の合成パターンリストをもとに、合成パターンリストを一覧表示するためのリスト一覧データを生成して、カラオケ機器１４、携帯電話機１６、パーソナルコンピュータ１８等に対して出力する。カラオケ機器１４、携帯電話機１６、パーソナルコンピュータ１８等では、リスト一覧データをもとにリスト一覧を表示して、ユーザから合成パターンリスト（合成された楽曲）を選択する指示を入力して音声ミックスダウンサーバ１０に送信する。

投票入力部２６は、音声ミックスダウンサーバ１０により合成された楽曲の音声（合成音声データ）に対する評価結果を示す投票データを、カラオケ機器１４、携帯電話機１６、パーソナルコンピュータ１８等から入力する。

集計部２７は、投票入力部２６によって入力された複数の機器（カラオケ機器１４、携帯電話機１６、パーソナルコンピュータ１８等）からの評価データを集計する。例えば、リスト一覧出力部２５によるリスト一覧の対象となった複数の楽曲を対象のそれぞれについて評価データを集計して、例えば仮想的な合唱コンクールの採点結果とする。

録音音声ファイルデータベース２８は、カラオケ機器１４、携帯電話機１６、パーソナルコンピュータ１８等から入力された録音音声ファイル、キャプションデータ、ユーザデータ等を記憶する。

図３は、録音音声ファイルデータベース２８に記憶されるデータのデータ形式の一例を示す図である。
図３に示すように、録音音声ファイルデータベース２８には、音声ファイル入力部２０を通じて入力された録音音声ファイルと、録音音声ファイルと共に入力されたキャプションデータとユーザデータとが対応付けて記憶される。キャプションデータには、例えば録音音声ファイルとして記憶された楽曲を識別する識別データとして、楽曲ＩＤ、タイトル、アーティスト名などのデータが含まれている。この識別データは、例えばカラオケ機器１４、携帯電話機１６、パーソナルコンピュータ１８等において音声を録音する際に利用されたカラオケ（音声データ）に対して設定されているデータが用いられるものとする。また、キャプションデータには、ユーザが録音した音声についての属性データとして、パート（ソプラノ、アルト、テノール、バス、コーラス、語りなど）や、エフェクト有無を示すデータが含まれる。また、エフェクト有りの場合には、エフェクト種類（リバーブなど）を示すデータが付加されるものとする。なお、属性データは、ユーザが使用する機器において音声を録音する際に、ユーザによる機器の入力装置（ボタン、キーボードなど）に対する操作によって入力されるものとする。

ユーザデータは、録音音声ファイルの音声を入力したユーザ個人に関するデータであり、例えば性別や年齢などのデータが含まれる。ユーザデータは、ユーザが使用する機器において音声を録音する際に、キャプションデータの属性データと共に入力されても良いし、音声ミックスダウンサーバ１０に予め登録しておき、この登録されたデータを利用するようにしても良い。また、他のシステムを通じて音声ミックスダウンサーバ１０を利用している場合、例えばＳＮＳ（Social Networking Service）を提供するサーバを通じて音声ミックスダウンサーバ１０にアクセスしている場合には、このＳＮＳを提供するサーバに予め登録されたユーザデータを利用するようにしても良い。

図４は、合成パターンリスト記憶部２２に記憶される合成パターンリストのデータ形式の一例を示す図である。
合成パターンリストは、ミックスダウン処理によって複数の音声を合成して１つの楽曲の音声を生成する際に生成される。合成音声データ出力処理では、合成パターンリストをもとにして、ミックスダウン処理と同様にして複数の音声を合成して１つの楽曲の音声を生成することができる。

図４に示す合成パターンリストは、音声ミックスダウンサーバ１０によって合成された１つの楽曲の音声に対するもので、この合成された音声を識別するための楽曲データ、合成の対象となった録音音声ファイルのファイル名、合成時に録音音声ファイルに対して個別に施されたエフェクト種類を示す個別エフェクト、合成された音声全体に対して施されたエフェクト種類を示す全体エフェクトのデータが対応付けて設定されている。楽曲データには、例えば合成された楽曲に対して設定される固有の合成楽曲ＩＤと、合成の対象となった録音音声ファイルに含まれている識別データ（楽曲ＩＤ、タイトル）が含まれているものとする。

次に、本実施形態における動作について説明する。
図５は、音声ミックスダウンサーバ１０において実行されるミックスダウン処理を概念的に示す図である。音声ミックスダウンサーバ１０には、カラオケ機器１４、携帯電話機１６、パーソナルコンピュータ１８等から入力された複数の録音音声ファイルが録音音声ファイルデータベース２８において記憶される。録音音声ファイルには、各機器において録音した際に使用されたカラオケ（楽曲）を識別する識別データが付加されている。音声ミックスダウンサーバ１０は、共通する識別データが付加された録音音声ファイル、すなわち同じ楽曲のカラオケに合わせて録音された複数の音声から合成対象とするものをユーザからの指示に応じて選択する。音声ミックスダウンサーバ１０は、選択した複数の録音音声ファイルに対して所定のエフェクト処理を施して合成することで、複数のユーザが音声ミックスダウンサーバ１０に登録した録音音声ファイルにより１つの楽曲の音声を生成する。従って、ユーザは、他のユーザによって録音された録音音声ファイルを任意に選択して自分の好みにあったデュエットされた楽曲の音声を作成したり、実際には実現できないような人数により合唱された楽曲の音声を作成することもできる。音声ミックスダウンサーバ１０は、複数の録音音声ファイルの音声を合成する際にエフェクト処理を施すことができるため、合成の対象とする複数の録音音声ファイルの整合をとり、合成された１つの音声に違和感が生じないようにすることができると共に、ユーザが所望するエフェクトを付加することができる。

まず、カラオケ機器１４、携帯電話機１６、パーソナルコンピュータ１８等の各種機器から音声ミックスダウンサーバ１０に録音音声ファイルを記憶させるための処理について説明する。以下、パーソナルコンピュータ１８において実行される場合を例にして説明する（カラオケ機器１４や携帯電話機１６等の他の機器においても同様にして実行されるものとする）。

例えば、音声ミックスダウンサーバ１０が提供するサービスを利用する場合、すなわち、ある楽曲について他人とデュエットや合唱した音声を作成しようとする場合には、その仲間を集める方法として、ネットワーク１２（インターネット等）を介して提供されているＳＮＳ（Social Networking Service）などが利用される。例えば、ＳＮＳを利用しているユーザ内において、例えばあるアーティストに関するコミュニティをつくり、その中でデュエットや合唱をしたい楽曲やアーティストを提示して参加者を募る。そして、参加希望した参加者に対して該当楽曲について歌唱した音声の録音音声ファイルをそれぞれ音声ミックスダウンサーバ１０へ送信するように要求する。また、特定のコミュニティを作成して参加者を募るのではなく、不特定のユーザに対する電子掲示板において、デュエットや合唱をしたい楽曲やアーティストを提示して、該当楽曲についての録音音声ファイルの提供を要求しても良い。

はじめに、パーソナルコンピュータ１８等の機器において、音声ミックスダウンサーバ１０に送信する録音音声ファイルを作成する録音処理について、図６に示すフローチャートを参照しながら説明する。

まず、パーソナルコンピュータ１８は、カラオケ機能が起動され、音声の録音に使用するカラオケ（楽曲）をユーザからの指示に応じて選択する（ステップＡ１）。例えば、カラオケが用意された各楽曲には、それぞれ固有の楽曲ＩＤ（複数桁の数字など）が設定されており、この楽曲ＩＤの指定により楽曲が選択される。なお、音声ミックスダウンサーバ１０に送信する録音音声ファイルを作成するために使用されるカラオケ（演奏音）は、例えば特定のメーカーによって作成されたものが使用されるものとする。すなわち、同じ楽曲であってもメーカー毎にカラオケの長さや構成などが異なるため、音声ミックスダウンサーバ１０のサービスを利用するユーザは、予め決められた他のユーザと共通するカラオケを利用するものとする。

次に、パーソナルコンピュータ１８は、音声を録音する際に使用されるエフェクト種類をユーザ指定に応じた選択する（ステップＡ２）。エフェクト種類としては、例えばリバーブなどがあり、ユーザが任意に指定することができる。なお、音声ミックスダウンサーバ１０において複数の録音音声ファイルを合成する際に、録音音声ファイル別に個別エフェクトを指定することができるため、ここでは必ずしもエフェクト処理を実行する必要はない。

パーソナルコンピュータ１８は、カラオケ音声を出力すると共に、マイク（図示せず）により入力される歌唱による音声を録音する（ステップＡ３）。ここでは、カラオケ音声を含めて歌唱された音声をマイクにより入力して録音しても良いし、カラオケ音声をヘッドホンから出力して歌唱者のみが聞けるようにして、歌唱された音声のみをマイクにより入力して録音するようにしても良い。カラオケ音声を含めて録音した場合、複数の録音音声ファイルを合成する際に、カラオケ音声部分について歌唱による音声に影響しないようにするための何らかの処理が必要となるので、好ましくは歌唱音のみが入力されるものとする。以下、歌唱による音声のみにより録音音声ファイルが作成されるものとして説明する。パーソナルコンピュータ１８は、カラオケ音声を出力している間に入力される音声を録音する（ステップＡ３）。ここで、予め録音時に実行するエフェクト処理の種類が指定されている場合には、入力された音声に対して指定されたエフェクト処理を施しながら録音する。

カラオケ音声が終了すると、パーソナルコンピュータ１８は、録音された音声の録音音声ファイルを生成する（ステップＡ４）。また、この録音音声ファイルの音声に関するキャプションデータとユーザデータとを入力する（ステップＡ５，Ａ６）。キャプションデータは、例えば音声の録音時に用いられたカラオケに対して予め設定された楽曲ＩＤ、タイトル、アーティストを用いる。また、エフェクト有無（エフェクト種類）のデータについては、ステップＡ２におけるユーザによる指定内容を用いるものとする。その他、録音した音声のパートなどのデータについては、ユーザによる入力装置（キーボードなど）に対する操作により入力されるものとする。

パーソナルコンピュータ１８は、ネットワーク１２を通じて、録音音声ファイル、キャプションデータ、及びユーザデータとを音声ミックスダウンサーバ１０に対して送信（アップロード）する（ステップＡ７）。

音声ミックスダウンサーバ１０の音声ファイル入力部２０は、パーソナルコンピュータ１８から録音音声ファイル、キャプションデータ、及びユーザデータを入力すると、録音音声ファイルデータベース２８に対応付けて記憶させる。

次に、音声ミックスダウンサーバ１０におけるミックスダウン処理について、図７に示すフローチャートを参照しながら説明する。
まず、録音音声ファイルデータベース２８に記憶された複数の録音音声ファイルから合成（ミックスダウン）の対象とするファイルの選択が行われる（ステップＢ１）。例えば、音声ミックスダウンサーバ１０のミックスダウン制御部２１は、パーソナルコンピュータ１８から楽曲を指定するためのデータ、例えば楽曲ＩＤ、タイトル、アーティスト名などの識別データを入力する。ミックスダウン制御部２１は、パーソナルコンピュータ１８から入力した識別データをもとに録音音声ファイルデータベース２８のキャプションデータを検索し、該当する録音音声ファイルを抽出する。

また、ミックスダウン制御部２１は、識別データだけでなく、録音された音声のパートやエフェクト有無などのデータ、さらには録音をしたユーザの性別や年齢などを指定するデータをパーソナルコンピュータ１８から入力して、録音音声ファイルデータベース２８から検索される録音音声ファイルを絞り込むことができる。

ミックスダウン制御部２１は、録音音声ファイルデータベース２８から抽出された録音音声ファイルのファイル名の一覧をパーソナルコンピュータ１８に提供し、このファイル名の一覧から合成対象とするものを、パーソナルコンピュータ１８のユーザにより指定させる。ここで、指定された録音音声ファイルについての試聴が要求された場合（ステップＢ２、Ｙｅｓ）、ミックスダウン制御部２１は、該当する録音音声ファイル（一部あるいは全部）を再生して、音声データをネットワーク１２を介してパーソナルコンピュータ１８に送信する（ステップＢ３）。パーソナルコンピュータ１８は、音声データをもとに音声を出力してユーザに確認させる。

この音楽データの送信に対して、ミックスダウン制御部２１は、選択確定の指示がパーソナルコンピュータ１８から入力されると、この録音音声ファイルを合成対象として確定する（ステップＢ４、Ｙｅｓ）。

ここで、録音音声ファイルの選択終了が指示されなければ（ステップＢ５、Ｎｏ）、ミックスダウン制御部２１は、前述と同様にして、ファイル内の一覧から合成対象とするものをユーザによって指定させる。以上の処理を繰り返して実行することで、ユーザは、任意の数の録音音声ファイルを指定することができる。ここでは、ユーザは、音声ミックスダウンサーバ１０の録音音声ファイルデータベース２８に記憶された録音音声ファイルを試聴することができるので、自分の好みにあった音声を合成（ミックスダウン）することができる複数の録音音声ファイルを任意に指定することが可能となる。

録音音声ファイルの選択終了が指示されると（ステップＢ５、Ｙｅｓ）、ミックスダウン制御部２１は、エフェクト種類選択画面をパーソナルコンピュータ１８において表示するためのデータをパーソナルコンピュータ１８に対して送信する。パーソナルコンピュータ１８は、ミックスダウン制御部２１から受信したデータをもとにエフェクト種類選択画面を表示させる。

図８（ａ）には、エフェクト種類選択画面（メニュー）の一例を示している。図８（ａ）に示す例では、エフェクト種類として、コンプレッサ、リバーブ、コーラス、タイムストレッチ、…など、複数のエフェクト種類が一覧表示されている。また、エフェクト種類選択画面には、録音音声ファイル毎にエフェクトを施す個別エフェクトを実行するか、合成された音声全体にエフェクトを施す全体エフェクトを実行するかを指示することができるボタンが設けられているものとする（図示せず）。

ここで、エフェクト種類選択画面を通じて個別エフェクトが選択された場合（ステップＢ７、Ｙｅｓ）、ミックスダウン制御部２１は、先に選択している複数の録音音声ファイルの何れをエフェクト処理の対象とするか、またエフェクト種類を何れにするかをユーザによって指定させる（ステップＢ８，Ｂ９）。エフェクト種類によっては、レベルを別途指定させることもできる。例えば、リバーブの場合には、予め用意された複数段階のレベルを任意に指定可能であるものとする。また、コンプレッサは、音量を調整するもので、録音音声ファイルごとに音量レベルを調整することができる。なお、タイムストレッチは、音声の長さを調整するもので、例えば全体の音声の長さを複数の音声間で同じとなるように調整する。タイムストレッチについては、全体エフェクト用のエフェクトとし、個別エフェクトでは指定できないようにする。

ミックスダウン制御部２１は、パーソナルコンピュータ１８から入力された指示に応じて、録音音声ファイルデータベース２８に記憶された録音音声ファイルを選択すると共に、エフェクト処理部２３により実行されるエフェクト処理の種類を選択する。

ここで、指定された録音音声ファイルについての試聴が要求された場合（ステップＢ１０、Ｙｅｓ）、ミックスダウン制御部２１は、該当する録音音声ファイル（一部または全部）についてエフェクト処理部２３によりエフェクト処理を施した上で再生して、音声データをネットワーク１２を介してパーソナルコンピュータ１８に送信する（ステップＢ１１）。パーソナルコンピュータ１８は、音声データをもとにエフェクトが施された音声を出力してユーザに確認させる。

この試聴用の音声データ送信に対して、ミックスダウン制御部２１は、選択確定の指示がパーソナルコンピュータ１８から入力されると、この録音音声ファイルに対する個別エフェクトの種類を確定する。一方、ユーザは、エフェクトが施された音声を試聴した結果、納得できない場合には、前述と同様にして個別エフェクトを設定して試聴することができる。ここでは、同じようにして、複数の録音音声ファイルに対して、それぞれ個別エフェクトを設定することができる（ステップＢ７〜Ｂ１１）。

また、エフェクト種類選択画面を通じて全体エフェクトが選択された場合（ステップＢ１２、Ｙｅｓ）、ミックスダウン制御部２１は、先に選択されている複数の録音音声ファイルに対するエフェクト処理の種類を何れにするかをユーザによって指定させる（ステップＢ１３）。

なお、全体エフェクトについても、図８（ａ）に示すエフェクト種類選択画面からユーザによって指定させるものとする。なお、エフェクト種類選択画面では、全体エフェクトとして利用可能なエフェクト種類のみが指定できるようにする。また、エフェクト種類選択画面において何れかのエフェクトが指定された場合に、さらにエフェクトの詳細をユーザが容易に指定することができる選択画面（メニュー）を用意するようにしても良い。

図８には、エフェクト種類選択画面においてリバーブが選択された場合の選択画面の表示例を示している。図８（ｂ）に示す選択画面には、リバーブをどのように施すかを選択することができる複数の項目が設けられている。図８（ｂ）に示す例では、「×××ホール」「○○館」などの建築物が項目として用意されている。すなわち、例えば複数の利用者による合唱を、指定した建築物内においてしているような音声を生成するようにエフェクトを指定することができる。これにより、ユーザは、エフェクトに関する詳細な知識を有していなくても、所望したエフェクトが付加された音声を取得することができる。

ミックスダウン制御部２１は、パーソナルコンピュータ１８から入力された指示に応じて、録音音声ファイルデータベース２８に記憶された録音音声ファイルを選択すると共に、エフェクト処理部２３に対してエフェクト種類選択画面において指定されたエフェクト処理の種類を設定する。

ここで、指定された録音音声ファイルについての試聴が要求された場合（ステップＢ１４、Ｙｅｓ）、ミックスダウン制御部２１は、該当する複数の録音音声ファイルについて、それぞれに設定された個別エフェクトを施し、さらに複数の録音音声ファイルの音声を合成（ミックスダウン）した後の音声に対して全体エフェクトを施した上で再生して、音声データをネットワーク１２を介してパーソナルコンピュータ１８に送信する（ステップＢ１５）。パーソナルコンピュータ１８は、音声データをもとにエフェクトが施された音声を出力してユーザに確認させる。

この試聴用の音声データ送信に対して、ミックスダウン制御部２１は、選択確定の指示がパーソナルコンピュータ１８から入力されると、この録音音声ファイルに対する全体エフェクトの種類を確定する。一方、ユーザは、エフェクトが施された音声を試聴した結果、納得できない場合には、前述と同様にして個別エフェクトあるいは全体エフェクトを設定して試聴することができる。

ここで、エフェクト種類の選択終了が指示されると（ステップＢ１６、Ｙｅｓ）、ミックスダウン制御部２１は、それまでに選択された内容に応じて図４に示すような合成パターンリストを生成して、合成パターンリスト記憶部２２に記憶させる（ステップＢ１７）。なお、合成パターンリストの楽曲データに含まれる合成楽曲ＩＤは、新規に合成パターンリストを作成する毎に固有のデータが設定されるものとする。

ミックスダウン制御部２１は、合成パターンリストに設定された内容に従い、エフェクト処理部２３により複数の録音音声ファイルの音声を所定のエフェクトを施して合成させる。すなわち、エフェクト処理部２３は、合成の対象として選択された複数の録音音声ファイルについて、それぞれに設定された個別エフェクトを施し、さらに複数の録音音声ファイルの音声を合成（ミックスダウン）した後の音声に対して全体エフェクトを施して合成音声データを生成する。合成音声データ出力部２４は、エフェクト処理部２３により生成された合成音声データを、ネットワーク１２を通じて、パーソナルコンピュータ１８に送信（ダウンロード）する（ステップＢ１８）。

なお、エフェクト処理部２３による複数の録音音声ファイルを対象とした音声の合成では、ユーザによって指定された個別エフェクトと全体エフェクトだけでなく、複数の録音音声ファイルの整合をとるためのエフェクト処理をユーザからの指示がなくても自動的に実行する。例えば、複数の音声を単純に合成することにより、予め決められたダイナミックレンジを外れて音が歪んでしまう可能性がある。このため、エフェクト処理部２３は、合成対象とする録音音声ファイルの数に応じて、各録音音声ファイルの音声の音量を下げて、合成された後の音声がダイナミックレンジ内に収まるようにする。例えば、合成対象とする録音音声ファイルの数が多くなるほど、各録音音声ファイルの音声に対する音量の下げ幅が大きくなる。

また、録音音声ファイルの音声の長さは、同じカラオケ音声を利用して録音されていたとしても、録音を実行した機器の性能や動作環境などの違いなどによってバラツキが発生する可能性がある。このため、全体エフェクトにおいて、ユーザによりタイムストレッチの実行が指定されていなくても、複数の録音音声ファイルの音声の長さのバラツキが予め設定された許容範囲（例えば０．５秒）を超える場合には自動的にタイムストレッチを実行するようにしても良い。なお、音声全体の長さのバラツキが許容範囲内である場合には省略することもできる。また、音声全体を対象とするのではなく、例えば音声最後部の所定時間分など部分的にタイムストレッチの対象として音声の長さを調整することもできる。さらに、音声長さを単純に調整するだけでなく、音声の変化、例えば対応する音声部分の音量がピークとなる時点を一致させるように、各録音音声ファイルの音声の長さを調整するようにしても良い。

また、リバーブ等のエフェクトについても、個別エフェクトと全体エフェクトが設定されていない場合でも、予め設定されたデフォルトの設定内容でのエフェクト処理を自動的に実行するようにしても良い。

さらに、前述したような、録音音声ファイルの音声の音量や長さだけでなく、録音された音声のピッチなど、複数の録音音声ファイルを合成するうえで整合をとるための処理が実行されるものとする。

また、前述した説明では、個別エフェクト、全体エフェクトのそれぞれについて試聴を可能としているが、処理負荷が大きくて処理に時間を要する場合には、試聴のための処理を省略するようにしても良い。すなわち、合成の対象として選択された複数の録音音声ファイルに対する個別エフェクト及び全体エフェクトの種類をユーザにより指定させて、この指定に応じたエフェクト処理を施して各録音音声ファイルの音声を合成して合成音声データを生成する。

このようにして、パーソナルコンピュータ１８のユーザは、音声ミックスダウンサーバ１０に記憶された他のユーザがアップロードした録音音声ファイルを利用して生成された１つの楽曲についての合成音声データを取得することができる。パーソナルコンピュータ１８では、音声ミックスダウンサーバ１０からダウンロードされた合成音声データをもとにして、他のユーザとデュエットや合唱しているような音声を出力することができる。

次に、音声ミックスダウンサーバ１０における合成音声データ出力処理について、図９に示すフローチャートを参照しながら説明する。
音声ミックスダウンサーバ１０は、ミックスダウン処理によって複数の録音音声ファイルをもとに合成音声データを生成すると、この合成音声データを生成するために必要なデータが含まれる合成パターンリストを合成パターンリスト記憶部２２に記憶させる。音声ミックスダウンサーバ１０は、この合成パターンリスト記憶部２２に記憶された合成パターンリストをもとにして、ミックスダウン処理において生成された合成音声データと同じデータを任意のタイミングで生成することができる。従って、ユーザは、他のユーザが複数の録音音声ファイルをもとに作成（ミックスダウン）した楽曲を、合成パターンリストを指定することにより得ることができる。また、本実施形態における音声ミックスダウンサーバ１０は、多数のユーザからの要求に応じて合成音声データを生成したとしても、合成音声データそのものを蓄積しないため大量の記憶容量を消費しないで済む。

本実施形態では、例えば複数のユーザが作成（ミックスダウン）した楽曲を対象とした仮想的な合唱コンクールを実施するものとして説明する。

音声ミックスダウンサーバ１０には、予め合唱コンクールの対象とする楽曲（合成パターンリスト）が設定されているものとする。例えば、同じ楽曲（タイトル）、同じアーティストなどの条件に該当する楽曲の合成パターンリストを抽出して合唱コンクールの対象として設定しても良いし、あるいはユーザが合唱コンクールへの参加を要求して参加対象とする楽曲の合成パターンリストを設定しても良い。また、その他の設定方法であっても良い。

リスト一覧出力部２５は、ミックスダウン制御部２１の制御のもとで、予め合唱コンクールの対象として設定された楽曲（合成パターンリスト）の一覧用データ（リスト一覧データ）をパーソナルコンピュータ１８に対して出力する（ステップＣ１）。パーソナルコンピュータ１８は、リスト一覧データをもとにして、音声ミックスダウンサーバ１０においてミックスダウンにより生成された楽曲についてのリスト一覧を表示する。

パーソナルコンピュータ１８は、ユーザからの指示によりリスト一覧中から何れかが選択されると、音声ミックスダウンサーバ１０に通知する。ミックスダウン制御部２１は、パーソナルコンピュータ１８からの通知に応じて、合成パターンリスト記憶部２２に記憶された該当する合成パターンリストを選択し（ステップＣ２）、この合成パターンリストに従いエフェクト処理部２３により合成パターンリストを生成させる（ステップＣ３）。エフェクト処理部２３は、前述したミックスダウン処理と同様にして、複数の録音音声ファイルの音声を合成して合成音声データを生成する。

合成音声データ出力部２４は、エフェクト処理部２３によって生成された合成音声データをパーソナルコンピュータ１８に出力する。パーソナルコンピュータ１８は、音声ミックスダウンサーバ１０からの合成音声データを入力して再生する。

パーソナルコンピュータ１８は、前述と同様にして、ユーザによりリスト一覧から任意に合成パターンリストが指定されることで、このリストに対応する合成音声データを入力して、ミックスダウンにより生成された合成音声データを入力して再生することができる。

こうして、パーソナルコンピュータ１８のユーザは、音声ミックスダウンサーバ１０において複数の録音音声ファイルをもとに生成された楽曲を確認することができる。そして、各楽曲に対する評価を現す投票データを音声ミックスダウンサーバ１０に送信することができる。

音声ミックスダウンサーバ１０の投票入力部２６は、パーソナルコンピュータ１８から送信される投票データを入力する（ステップＣ６）。集計部２７は、投票入力部２６によって入力された投票データについて、リスト一覧出力部２５によって送信したリスト一覧に含まれる合成パターンリスト毎に集計する（ステップＣ７）。

集計部２７は、複数のユーザによって送信される投票データを合成パターンリスト毎に集計し、例えば予め決められた期間内の集計結果を判定して、例えば順位を決定する。音声ミックスダウンサーバ１０は、この集計結果（順位）を、投票データを送信したユーザ、あるいは合唱コンクールの対象とする楽曲を生成したユーザ等に対して送信する。

このようにして、音声ミックスダウンサーバ１０は、合成パターンリストをもとにして合成音声データを生成して、カラオケ機器１４、携帯電話機１６、パーソナルコンピュータ１８等の機器に送信し、ミックスダウンにより生成された楽曲に対する評価を入力して集計することができる。これにより、音声ミックスダウンサーバ１０が提供するサービスを、より多くのユーザが興味をもって利用することが期待できる。

なお、前述した説明では、仮想的な合唱コンクールにおいて投票データを受け付けるものとして説明したが、合成パターンリスト記憶部２２に記憶された合成パターンリストの一覧をネットワーク１２を通じて任意にユーザが閲覧できるようにし、そこで選択された合成パターンリストに応じて生成された合成音声データを出力して、評価結果を受け付けるようにすることも可能である。

また、前述した説明では、音声ミックスダウンサーバ１０において、カラオケ機器１４、携帯電話機１６、パーソナルコンピュータ１８等から録音音声ファイルを入力して合成（ミックスダウン）するものとして説明しているが、カラオケ機器１４、携帯電話機１６、パーソナルコンピュータ１８等の機器において、前述したような録音音声ファイルの合成を実行するようにしても良い。例えば、カラオケ機器１４は、通常の利用においてカラオケに合わせて入力された音声を録音音声ファイルとして録音音声ファイルデータベースに記憶しておく。カラオケ機器１４は、録音音声ファイルデータベースからユーザによって指定された複数の録音音声ファイル（共通する識別データが付された同じ楽曲の音声）を合成して１つの楽曲の音声を生成する。この生成された音声は、カラオケ機器１４から出力しても良いし、音声ファイルとして外部に出力しても良い。また、カラオケ機器１４は、この複数の録音音声ファイルをもとに生成された音声と、対応する楽曲のカラオケとを合成して、カラオケ用の音声として出力するようにしても良い。また、カラオケ機器１４は、直接入力された音声の録音音声ファイルだけでなく、ネットワーク１２を通じて他の機器から入力された録音音声ファイルを対象として音声を合成しても良い。携帯電話機１６やパーソナルコンピュータ１８等の機器においても、前述と同様の処理を実行することができる。

また、前述した説明では、歌唱による音声を合成（ミックスダウン）する場合を例にして説明しているが、例えば楽器音などの他の音声を合成する場合に適用することも可能である。

また、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

また、実施形態に記載した手法は、コンピュータに実行させることができるプログラム（ソフトウエア手段）として、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記憶媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、コンピュータに実行させるソフトウエア手段（実行プログラムのみならずテーブルやデータ構造も含む）をコンピュータ内に構成させる設定プログラムをも含む。本装置を実現するコンピュータは、記憶媒体に記憶されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記憶媒体は、頒布用に限らず、コンピュータ内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。

本発明の実施形態におけるシステムの構成を示すブロック図。 本実施形態における音声ミックスダウンサーバ１０の機能構成を示すブロック図。 録音音声ファイルデータベース２８に記憶されるデータのデータ形式の一例を示す図。 合成パターンリスト記憶部２２に記憶される合成パターンリストのデータ形式の一例を示す図。 音声ミックスダウンサーバ１０において実行されるミックスダウン処理を概念的に示す図。 録音音声ファイルを作成する録音処理について説明するためのフローチャート。 ミックスダウン処理について説明するためのフローチャート。 エフェクト種類選択画面（メニュー）の一例を示す図。 合成音声データ出力処理について説明するためのフローチャート。

符号の説明

１０…音声ミックスダウンサーバ、１２…ネットワーク、１４…カラオケ機器、１６…携帯電話機、１８…パーソナルコンピュータ、２０…音声ファイル入力部、２１…ミックスダウン制御部、２２…合成パターンリスト記憶部、２３…エフェクト処理部、２４…合成音声データ出力部、２５…リスト一覧出力部、２６…投票入力部、２７…集計部、２８…録音音声ファイルデータベース。

Claims (6)

1. 識別データが付加された音声ファイルを入力する音声ファイル入力手段と、
   前記音声ファイル入力手段によって入力された複数の音声ファイルを記憶する音声ファイル記憶手段と、
   前記音声ファイル記憶手段に記憶された共通する識別データが付加された複数の音声ファイルを選択する選択手段と、
   前記選択指示入力手段によって選択された複数の音声ファイルに対してエフェクト処理を施すと共に合成して合成音声データを生成する合成音声データ生成手段と、
   前記合成音声データ生成手段によって生成された合成音声データを出力する合成音声データ出力手段と
   を具備したことを特徴とする音声ミックスダウン装置。
2. 前記合成音声データ生成手段は、
   前記複数の音声ファイルに対して個別にエフェクト処理を施す個別エフェクトと、合成された音声全体にエフェクト処理を施す全体エフェクトを選択的に実行することを特徴とする請求項１記載の音声ミックスダウン装置。
3. 前記合成音声データ生成手段により合成音声データを生成するために必要なデータが記憶された合成パターンリストを生成するリスト生成手段と、
   前記リスト生成手段によって生成された合成パターンリストを記憶する合成パターンリスト記憶手段とをさらに具備し、
   前記合成音声データ生成手段は、前記合成パターンリスト記憶手段に記憶された合成パターンリストをもとに、前記音声ファイル記憶手段に記憶された複数の音声ファイルを合成して前記合成音声データを生成することを特徴とする請求項１記載の音声ミックスダウン装置。
4. 前記合成音声データ生成手段により実行するエフェクト処理の種類の指定を入力するエフェクト種類入力手段をさらに具備し、
   前記合成音声データ生成手段は、前記エフェクト種類入力手段により入力された指定に応じた種類のエフェクト処理を実行することを特徴とする請求項１記載の音声ミックスダウン装置。
5. 前記合成音声データ出力手段によって出力された合成音声データに対する評価を示すデータを入力する入力手段と、
   前記入力手段によって入力されたデータをもとに、前記合成パターンリスト記憶手段に記憶された複数の合成パターンリストのそれぞれに対する評価結果を集計する集計手段とを具備したことを特徴とする請求項３記載の音声ミックスダウン装置。
6. コンピュータを、
   識別データが付加された音声ファイルを入力する音声ファイル入力手段と、
   前記音声ファイル入力手段によって入力された複数の音声ファイルを記憶する音声ファイル記憶手段と、
   前記音声ファイル記憶手段に記憶された共通する識別データが付加された複数の音声ファイルを選択する選択手段と、
   前記選択指示入力手段によって選択された複数の音声ファイルに対してエフェクト処理を施すと共に合成して合成音声データを生成する合成音声データ生成手段と、
   前記合成音声データ生成手段によって生成された合成音声データを出力する合成音声データ出力手段として機能させるための音声ミックスダウンプログラム。

Images