JP2011197235A - 音響信号制御装置およびカラオケ装置 - Google Patents

Abstract

【課題】歌唱中の歌唱者に、歌唱音に対するエフェクト処理の内容を変更させること。
【解決手段】本発明の音響信号制御装置は、収音手段（１０）と、前記収音手段にて取得された音響信号に含まれる音について発音持続時間を測定する手段（１２１）と、該測定された発音持続時間に基づいて、エフェクト処理の内容を決定する手段（１２２）と、前記音響信号に対し該決定された内容のエフェクト処理を施す手段（１２）と、前記エフェクト処理が施された音響信号を出力する手段（１６）とを備える。
【選択図】図１

Description

本発明は、入力された音響信号に対してエフェクト処理を施す技術に関する。

楽曲とマイクから入力されたユーザの歌声（ボーカル音）とをリアルタイムで合成してスピーカから出力するいわゆるカラオケ装置において、ボーカル音に各種エフェクト（リバーブなど）を付与することが知られている。より多彩な音響的効果を実現するため、楽曲の進行に合わせてエフェクト処理の内容を逐次異ならせていくという技術がある（特許文献１）。具体的には、楽曲データとエフェクト処理内容とを対応付けて記憶しておき、楽曲データとともにエフェクト処理内容を読み出すというものである。

特開平１０−１８７１７２号公報

しかしながら、特許文献１の発明においては、その装置でその楽曲を始めて歌うものにとってはエフェクト効果がどのようになるのかを把握することはできないから、歌唱者が意図しない箇所で突然強く（または弱く）エフェクトがかかってしまい、歌唱者が戸惑ったり歌唱の妨げになったりする場合がある。かといって、歌唱者が歌唱中に、自らの好みに合わせて、装置のボタンやツマミ等を逐一操作してエフェクト処理の内容を変更するのは、あまりに煩雑であり現実的でない。

本発明は、歌唱者（または演奏者）が、歌唱（演奏）中において自らのボーカル音（演奏音）に対しエフェクト処理の内容を変更できるようにする装置を提供することを目的とする。

本発明は、一の態様において、収音手段と、前記収音手段にて取得された音響信号に含まれる音について発音持続時間を測定する手段と、該測定された発音持続時間に基づいて、エフェクト処理の内容を決定する手段と、前記音響信号に対し該決定された内容のエフェクト処理を施す手段と、前記エフェクト処理が施された音響信号を出力する手段とを備える音響信号制御装置を提供する。
本発明は、他の観点において、収音部と、前記収音部にて取得された音声信号に含まれる音について発音持続時間を測定し、前記発音持続時間に基づいてエフェクト処理の内容を決定する制御部と、前記音声信号に対し該決定された内容に従ってエフェクト処理を施すエフェクト処理部と、前記エフェクト処理が施された音声信号を楽音信号とともに出力する出力部とを備えるカラオケ装置を提供する。
好ましい態様において、前記エフェクト処理は残響効果を付与するものであり、前記発音持続時間が長いほど付与される前記残響効果が強くなる。

本発明によれば、歌唱者（または演奏者）が、歌唱（演奏）中において自らのボーカル音（演奏音）に対し、エフェクト処理の内容を変更することができる。

カラオケ装置１の機能構成を表す図である。 入力音の長さと付与するリバーブの強さとの関係を表す図である。 入力音の長さと付与するリバーブの強さとの関係の他の例を表す図である。 テーブルの記憶内容を表す図である。 入力音の長さと付与するリバーブの強さとの関係の他の例を表す図である。

＜実施例＞
図１は、発明の一実施例に係るカラオケ装置１の基本的な機能構成を表す図である。同図に示すように、カラオケ装置１は、マイク１０とＡ／Ｄコンバータ１１と、エフェクタ１２とＤ／Ａコンバータ１３とミキサ１４と楽曲データ記憶部１５とスピーカ１６と制御部１００とを含む。
マイク１０は、例えばユーザ（歌唱者）に把持されるコンデンサマイクなどの収音手段であって、歌唱音声を入力し、Ａ／Ｄコンバータへ出力する。Ａ／Ｄコンバータ１１は、所定のサンプリングレートで入力されたアナログ信号をデジタル信号に変換する回路を備え、マイク１０から入力されたアナログ音声信号をデジタル音声信号Ｓｖ０に変換し出力する。出力先は、エフェクタ１２および制御部１００である。
エフェクタ１２は、増幅回路、変調回路、遅延回路等として機能するデジタル信号処理回路（ＤＳＰ）を有し、制御部１００の指令の下、入力音声信号Ｓｖ０に対して音量レベルを変更し、周波数特性を変更し、もしくは遅延を掛けまたはこれらの処理を組み合わせるなどして、入力音声信号Ｓｖ０に対してエフェクト処理を施して出力信号Ｓｖ１としてＤ／Ａコンバータ１３に出力する。Ｄ／Ａコンバータ１３はＤＳＰ等を有し、入力されたデジタル信号をアナログ音響信号に変換する回路を備え、入力音声信号Ｓｖ１をアナログ信号に変換してミキサ１４に出力する。
ミキサ１４は、音声信号処理回路を有し、エフェクタ１２でエフェクト処理された音声信号と、制御部１００から供給される制御信号Ｃｍに基づいて楽曲データ記憶部１５から出力される楽音信号Ｓｍとを所定の増幅率で増幅して合成し、合成された音響信号Ｓｏｕｔをスピーカ１６へ出力する。
楽曲データ記憶部１５はハードディスク等の記憶装置であって、楽曲を構成する音の音高、音色、タイミング等の情報を含む情報であり、楽曲データ（例えばＭＩＤＩ形式のデータ）が記憶される。スピーカ１６は、ミキサ１４から入力された音響信号に基づいて音響波を生成し放音する。この結果、カラオケ装置１では、歌唱された音声（ボーカル音）に各種音響効果が付与されて楽曲音とともに歌唱者および聴衆の耳に届くことになる。
制御部１００は、ＣＰＵなどの各種プロセッサとＲＡＭ、ＲＯＭなどのメモリとから構成され、その機能は、楽音の再生を制御する機能（楽音制御部１１０）と、ボーカル音のエフェクト制御を行う機能（音声制御部１２０）とに大別される。楽音制御部１１０は、図示せぬ操作子を介してユーザが入力した設定情報やその他の設定情報に基づき楽曲データ再生タイミングや音量を制御する。以下に詳説する制御部１００の機能は、独立したプロセッサやモジュールによって実現されてもよいし、一つのプロセッサによって実現されてもよい。すなわち、本発明において、制御部１００の機能を実現するにあたりハードウェアやソフトウェアをどのように実装するのかについては特に限定されない。

エフェクト制御部１２０の機能について詳細に説明する。エフェクト制御部１２０は、解析部１２１とパラメータ決定部１２２とを含む。解析部は所定のサンプリング周期で入力される入力音声信号Ｓｖ０に含まれる音の発音持続時間を計測する。すなわち、歌唱者が現時点においてある音をどのくらい伸ばし続けているのか（つまり、同一音の長さ）を測定するのである。具体的には、上記サンプリング周期の所定の整数倍を計測タイミングとして設定し、各計測タイミングが到来するごとに、供給された音声信号に基づき測定処理を実行する。より具体的には、ある計測タイミングにおいて、音声信号で表される音の高さを決定し、その次の計測タイミングにおいて入力音が存在し（休符でなく）、かつ決定した音高と同一または所定の誤差の範囲で同一であれば、その音についての発音は持続されている（すなわち、その音を伸ばして歌っている最中である）と判定する。音高が同一音か否かの判定にあっては、例えば、各計測タイミングにおいて、前回の計測タイミングから当該計測タイミングまでの間に供給された音声信号の平均周波数特性を求め、周波数特性同士を比較して特徴パターン（主要ピークの位置など）の存在やパターンのずれの度合い等を計算することで判定すればよい。なお、音高が同一か否かの判定に一定の誤差を設けたのは、歌唱者は同一音を伸ばしているように歌唱していても、実際に歌唱された音の音高には多少の高低のゆらぎが存在するからである。また、マイク１０に入力される音声には、歌唱者が発音しようとしている特定の音高の音（例えば「ラ」）以外にも、歌唱者の意識しない音の成分（例えば当該音の倍音成分（オクターブ上の「ラ」など））やその他の雑音成分などが含まれているが、歌唱者が発音しようとしている音（すなわち発音持続時間の測定対象となる音）を音響信号中から特定する方法は、周知の周波数解析の方法を採用すればよい。
こうして繰り返して判定を行い、持続されていると判定された回数をカウントしメモリに蓄積する。蓄積された回数から、現時点での発音持続時間が決定される。一方、入力音が存在しない、または他の音高の音が入力されていた場合は、前回計測したときの音について発音が維持されなくなった（＝その音の発音が終了した）と判定し、蓄積された判定回数をリセットした上で次回の計測を行う。

解析部１２１は、発音持続時間が測定されると、この発音持続時間をパラメータ決定部１２２に出力する。パラメータ決定部１２２は、発音持続時間に基づいて、エフェクト処理の内容を決定する。例えば、メモリにあらかじめ発音持続時間とエフェクト処理の内容を規定する一または複数のパラメータとを対応付けて記憶しておき、供給された発音持続時間に対応するパラメータを決定する。あるいは、所定のアルゴリズムや関数に従って、発音持続時間からエフェクトパラメータを計算してもよい。
決定したパラメータは、その決定の都度、制御信号Ｃｆとしてエフェクタ１２へ供給される。エフェクタ１２では、入力音声信号Ｓｖ０に対して当該パラメータに対応したエフェクト処理が施され、Ｄ／Ａコンバータ１３へ出力される。この結果、発音持続時間（音の伸ばし具合）が反映された内容のエフェクトが自身の歌唱音に対して付与される。換言すると、歌唱者は音の伸ばし具合を調節することにより、歌唱音に作用させるエフェクトの内容を自由に変更することができる。

以下、エフェクト処理の例としてリバーブ処理（残響効果付与）を実行する場合を例にとって、発音持続時間からエフェクト内容を決定する方法を詳説する。リバーブとは、入力音に対してさまざまな遅延時間を持った多数の反射音を生成して合成することで、余韻効果を与えるものである。リバーブ処理の内容は、リバーブディレイ（原音から最初の反射音を放音するまでのタイムラグ）、リバーブタイム（最初の反射音の出力時刻から最後の反射音の出力時刻までの時間）、リバーブレベル（各反射音の音量）といったパラメータで規定される。この例では、リバーブのパラメータとして、リバーブレベルを変更する場合について説明する。以下、便宜上、リバーブレベルを「リバーブの強さ」という。

図２は、パラメータ決定部１２２で決定される際に用いられるアルゴリズム（発音持続時間ｔとリバーブの強さＲとの関係）の一例を示した図である。同図に示す制御を行うと、発音持続時間がＴｓになるまではリバーブをかけないようし、そこから発音持続時間がΔｔ増す毎に、Δｒだけリバーブが強くなる（すなわち反射音の成分の音量レベルが増す）ようにエフェクタ１２が動作する。結果、歌唱者は同じ音を伸ばして歌っていると、徐々にその伸ばしている音に対してリバーブが強くかかるようになる。一般的には、リバーブが強くなると歌唱者の高揚感などの音響効果が高まるといえるので、曲の盛り上がりでなどで歌唱者が長め音を伸ばした場合、高い高揚感が得られることになる。このように、歌唱者は狙った音に対して発音の伸ばし具合を調節すれば、その音に対して好みの強さで自己の歌唱のリバーブをかけることができる。なお、Ｔｓの経過まではリバーブをかけないようにしているのは、歌唱が正確でないため結果的に発音が伸びてしまったなど、歌唱者の意図しない箇所でリバーブがかからないようにするためである。

＜その他の実施例＞
上記実施例は本発明の一つの実施例にすぎない。上記実施例では、発音持続時間の決定は信号のサンプリング時間に基づいていたが、このように音の長さの絶対的な時間を測定するのではなく、他の音源で発音されている音との相対的な時間差（ずれ）を計測し、この時間差に基づいてパラメータを決定してもよい。具体的には、楽曲データにガイドメロディデータ（ボーカル音の音高と発音／終了タイミングを含む情報）とを含ませておき、所定の方法で、歌唱音に対応するガイドメロディデータ上の音を特定し、当該音についてガイドメロディデータで規定される長さに対して実際に歌唱されている音の長さがどれくらい長いのかという情報に基づいてエフェクト内容を決定してもよい。この場合、歌唱者は原曲に忠実に歌えば、原曲の内容（八分音符が連続する曲なのか２分音符が多い曲なのかなど）によって歌唱者の意図しないエフェクトがかかるといった虞がない。また、曲の途中でテンポが変わったとしても、その箇所を堺にエフェクトの強さが不自然に変化することが防止される。
また、歌唱者による音の伸ばし具合の感覚をできるだけ正確に反映させるため、上述した、いわば絶対的な発音持続時間に対して曲のテンポ等の発音の速度に関係する情報に基づいて補正することによって、いわば相対的な発音持続時間を計算し、この相対的な発音持続時間に基づいて上述のようにエフェクトパラメータを決定してもよい。例えば、歌唱開始前に楽曲のテンポ（１２０拍／分など）をデータベースなどから取得し、基準のテンポ（例えば１００拍／分）を用いて決定されたエフェクトパラメータの値を補正する（例えばパラメータ値を１００／１２０倍する）。

発音持続時間からエフェクト処理の内容を決定するアルゴリズムは、図２に示した線形関数に基づくものに限られない。図３に示すように、発音持続時間とエフェクトの強さの関係を非線形に設定してもよい。また、図３に示すように、エフェクト強さの最大値Ｒmaxを設定してもよい。こうすれば、音を伸ばしすぎても、不快感を与えるほど強くエフェクトが係る虞がない。

上記実施例では、発音持続時間の計測対象およびエフェクト付与の対象となる音については特に限定がなかった。つまり、入力音声の音高にかかわらずどのような高さの音についても、同様に発音持続時間およびエフェクト付与の対象としてよい。あるいは、音の長さに加えて、音の高さによっても、エフェクト処理の内容を変更してもよい。すなわち、音高ごとにエフェクト処理の内容を異ならせてもよい。例えば、図４に示すように、メモリに、音高とエフェクト処理についての値（たとえばリバーブレベルの補正量）とを予め制御部１００内のメモリにテーブルとして記憶しておき、上述のように発音持続時間からエフェクトパラメータを決定した後に、このテーブルの記述内容に従って補決定したパラメータを補正する。図４の例では、低音領域が制御対象である場合は、決定したエフェクトパラメータに対して重み値０．８５を乗算する補正を行う。このようにすれば、同じ音の長さでも、その音の高さによってエフェクト処理内容を異ならせることができる。このような処理をするのは、エフェクトを作用させる音の高さによって、そのエフェクトの影響（聴衆に与える感覚）が異なる場合があることが知られていることを考慮したものである。例えば、低音領域は高音領域に比べてリバーブが強くかかっていると不快感を与えやすいので、重み付け値として１以下の数値を設定し、同じ音長でもリバーブを相対的にソフトにかけるようしているのである。
音高（領域）ごとにエフェクト処理の内容を異ならせる応用例として、歌唱者が男性／女性であるかに応じてエフェクトパラメータの値が異なるようにしてもよい。具体的には、男性と女性とでは、声の周波数特性において一般的な傾向があることを利用する。すなわち、一般的には、男性の声は８０−１２０Hzにピークを有し、女性の声は２４０−５００Hzにピークを有することが知られている。このピーク位置の違いをエフェクト処理対象とする音に反映させる。例えば、２本のマイク１０で男性と女性がデュエット曲を歌唱する場合において、男性の声を強調したい場合は、処理対象の音（伸ばしている音）の音高が１００−２００Hzの範囲にある場合、発音持続時間に基づいて算出されたエフェクトパラメータに所定の係数（例えば１．５）を掛ける。この結果、男性の発音タイミングに同じくして女性も音を伸ばして発音していたとしても、その箇所では男性歌唱者の声に対してのみ強くリバーブが付与される。逆に、女性の声を強調したい場合は、例えば２００−６００Hzの音高領域の音については、発音持続時間に基づいて算出されたエフェクトパラメータに対して所定の係数で重み付けするようにすればよい。

また、エフェクトパラメータ決定のためのアルゴリズムや関数を音高（または音高領域）ごとに予めメモリに記憶しておいて、処理対象の音高に応じて適切なアルゴリズムや関数を用いてもよい。図５には、各音高領域用に対して適用すべき関数の例Ｆ１〜Ｆ３が示されている。

入力音の長さや高さに加えて、入力音の強弱（音量）もしくは音量の時間的変化（クレッシェンド／デクレッシェンド）を検出し、発音の長さに加えてパラメータを決定してもよい。例えば、上述の通り発音持続時間に基づいて決定されたエフェクトパラメータに対し、その音の音量が所定の閾値以上である場合は、所定の係数（＜1）を乗じる。こうすれば、音量の大きい入力音に対応して反射音成分の音量まで大きくなってしまい聴衆に不快感を与えてしまうという虞がなくなる。

発音持続時間に基づいて決定されるエフェクトパラメータは一種類には限らず、２種類以上であってもよい。たとえば、リバーブの場合、更にリバーブレベルとリバーブ時間とを対応付けたテーブルをメモリに記憶させておき、発音持続時間からリバーブレベルとリバーブ時間とを決定する。

発音持続時間に応じて変更されるエフェクト処理の内容は、上述した残響（反響）音を付与するものに限られず、音声信号全体の音量のレベルを変更するもの（リミッタなど）、特定の周波数領域について選択的に音量レベルを変更するもの（イコライザなど）、増幅や歪みを付与するもの（オーバードライブなど）、低周波成分を変調するもの（コーラスなど）、音程を変化させるもの（ピッチシフタなど）、ノイズを減らすもの（ノイズゲートなど）などのエフェクト処理の内容であってもよい。また、これらのエフェクトを組み合わせたものであってもよい。例えば、計測された発音持続時間に応じてリバーブについてのパラメータであるリバーブレベルとイコライザについてパラメータである変更すべき周波数領域および変更量とを決定し、エフェクタ１２を決定した内容でそれぞれリバーブおよびイコライザとして動作させてもよい。

カラオケ装置１に外部メモリに対しデータの書き込みおよび読み出しを行うリーダ／ライタを設け、図２〜５に例示したような、発音持続時間とエフェクト内容の決定方法を予めユーザ（歌唱者）の所有する外部メモリに書き込んでおき、歌唱開始前に外部メモリから持続時間とエフェクト内容の決定方法を読み込み、制御部１００は読み込んだエフェクト処理内容を参照してエフェクトパラメータを決定するようにしてもよい。外部メモリにパラメータ決定方法を記憶させておくことで、各人毎に異なる歌い方の癖やエフェクトの強さについての好みを出力音に反映させることができる。
あるいは、上記発音持続時間に基づいてエフェクトパラメータの決定処理の内容を楽曲後に異ならせてもよい。例えば、カラオケ装置１内のメモリに、楽曲のＩＤとエフェクト処理内容（付与の対象となるエフェクトパラメータの種類や発音持続時間からエフェクトパラメータを決定するアルゴリズムなど）とを対応付けて記憶しておき、歌唱者が楽曲を選択すると、制御部はその楽曲に対応するエフェクト処理内容を読み出し、パラメータ決定部にその処理内容を指示する。

上記実施例においては、音響信号制御処理をカラオケ装置に実装した例を説明したが、本発明の音響信号制御処理の実装は、カラオケ装置に限られない。例えば、楽曲再生機能を省略し、演奏者が楽器を演奏した演奏音をマイク１０から入力しこの入力音響信号に対して上述したエフェクト処理を施して出力する音響制御ユニットとして実装してもよい。この装置では、ある演奏音についての発音持続時間に応じたエフェクト処理が当該演奏音に対して付与されることになる。演奏者が自らの意思で音を伸ばす行為を行うことにより、演奏中にエフェクト処理の内容を変更し、それによって高揚感などを得ることができる。

１…カラオケ装置、１０…マイク、１１…Ａ／Ｄコンバータ、１２…エフェクタ、１３…Ｄ／Ａコンバータ、１４…ミキサ、１５…楽曲データ記憶部、１６…スピーカ、１００…制御部、１１０…楽音制御部、１２０…音声制御部、１２１…解析部、１２２…パラメータ決定部

Claims (3)

1. 収音手段と、
   前記収音手段にて取得された音響信号に含まれる音について発音持続時間を測定する手段と、
   該測定された発音持続時間に基づいて、エフェクト処理の内容を決定する手段と、
   前記音響信号に対し該決定された内容のエフェクト処理を施す手段と、
   前記エフェクト処理が施された音響信号を出力する手段と
   を備える音響信号制御装置。
2. 収音部と、
   前記収音部にて取得された音声信号に含まれる音について発音持続時間を測定し、前記発音持続時間に基づいてエフェクト処理の内容を決定する制御部と、
   前記音声信号に対し該決定された内容に従ってエフェクト処理を施すエフェクト処理部と、
   前記エフェクト処理が施された音声信号を楽音信号とともに出力する出力部と
   を備えるカラオケ装置。
3. 前記エフェクト処理は残響効果を付与するものであり、
   該決定される内容は、前記発音持続時間が長いほど付与される前記残響効果を強くするというものである
   ことを特徴とする請求項２に記載のカラオケ装置。

Images