JP2015087436A - 音声処理装置、音声処理装置の制御方法およびプログラム - Google Patents

Abstract

【課題】楽曲再生に合わせた演奏や歌唱を容易に行うことができる。【解決手段】楽曲のキー情報、スケール情報および拍位置情報を取得する情報取得部５３と、シンセサイザー５から入力されたＭＩＤＩデータを、キー情報およびスケール情報に合わせて変換するデータ変換部５４と、拍位置情報に基づき、楽曲の音声信号の出力に同期するように、変換したＭＩＤＩデータを出力するＭＩＤＩデータ出力部５５と、を備えた。【選択図】図３

Description

本発明は、楽曲の音響データと、電子楽器や音声入力機器から入力された音響データとを出力する音声処理装置、音声処理装置の制御方法およびプログラムに関するものである。

従来、音声処理装置として、複数のプレーヤーに接続され、複数のプレーヤーの各音声データを混合して出力するミキサー装置が知られている（特許文献１参照）。このミキサー装置は、ディスコやクラブ等においてＤＪパフォーマンスに用いられるものである。

特開２０１１−２４４４６８号公報

ところで、この種のミキサー装置において、電子楽器（例えばキーボード）や音声入力機器（例えば、声や生楽器の音を拾うマイク）を接続可能とし、電子楽器や音声入力機器から入力された音声データを、プレーヤーからの楽曲の音声データに混合して出力する構成が考えられた。かかる構成によれば、ユーザーが、楽曲の再生操作を行いつつ、楽曲再生に合わせて楽器（電子楽器や生楽器）を演奏し、または歌唱することで、楽器の演奏や歌唱を絡めたＤＪパフォーマンスを提供することができる。
しかしながら、かかる構成では、ユーザーが、楽曲再生に合わせて演奏または歌唱する必要があるため、単に演奏または歌唱するのに比べ、高度な技量や知識が必要であるという問題があった。すなわち、楽曲再生に合わせて演奏または歌唱を行うには、再生している楽曲に対し、キーやスケール、拍位置（リズム）を合わせて演奏または歌唱を行う必要がある。そのため、ユーザーは、楽曲のキー、スケールおよび拍位置を予め把握し、これを加味して適切な演奏または歌唱を行う必要がある。さらに、この適切な演奏または歌唱を、楽曲の再生操作を行いながら行う必要があり、極めて困難であった。

本発明は、楽曲再生に合わせた演奏や歌唱を容易に行うことができる音声処理装置、音声処理装置の制御方法およびプログラムを提供することを課題としている。

本発明の音声処理装置は、楽曲のキー情報、スケール情報および拍位置情報を取得する情報取得部と、電子楽器および音声入力機器のいずれか一方から入力された音響データを、キー情報およびスケール情報に合わせて変換するデータ変換部と、拍位置情報に基づき、楽曲の音響データの出力に同期するように、変換した音響データを出力するデータ出力部と、を備えたことを特徴とする。

この場合、データ変換部は、音響データとして、電子楽器から入力された演奏データを変換することが好ましい。

また、楽曲の再生速度の変更操作を検出する操作検出部を、さらに備え、データ変換部は、操作検出部の検出結果に基づき、再生速度の変更操作に伴う音程の変化に合わせて、音響データの変換処理を行うことが好ましい。

一方、データ変換部は、入力された音響データにおける各音を、スケール情報におけるスケール上のいずれかの音に変換することが好ましい。

上記の音声処理装置において、データ変換部は、入力された音響データにおける各音を、スケール上のいずれかの音のうちの、変換元の音に最も近い音に変換することが好ましい。

上記の音声処理装置において、データ変換部は、音響データの変換処理の都度、変換先の音を、スケール上のいずれかの音の中から無作為に決定することが好ましい。

上記の音声処理装置において、データ変換部は、音響データの変換処理の都度、変換先の音を、スケール上のいずれかの音の中から所定の規則性に従って切り替えて決定することが好ましい。

上記の音声処理装置において、電子楽器は、シンセサイザーであることが好ましい。

上記の音声処理装置において、電子楽器は、無音階楽器であることが好ましい。

この場合、データ変換部は、無音階楽器から入力された音響データにおける各音を、スケール情報におけるスケール上のいずれかの音を中心周波数として一定範囲内で揺らぐように変換することが好ましい。

上記の音声処理装置において、電子楽器は、ＤＪプレーヤーであることが好ましい。

本発明の音声処理装置の制御方法は、楽曲のキー情報、スケール情報および拍位置情報を取得する情報取得ステップと、電子楽器および音声入力機器のいずれか一方から入力された音響データを、キー情報およびスケール情報に合わせて変換するデータ変換ステップと、拍位置情報に基づき、楽曲の音響データの出力に同期するように、変換した音響データを出力するデータ出力ステップと、を実行することを特徴とする。

本発明のプログラムは、コンピューターに、上記の音声処理装置の制御方法における各ステップを実行させることを特徴とする。

本発明の一実施形態にかかる音声出力システムを示したシステム構成図である。 音声出力システムを示したブロック図である。 ＤＪミキサーおよびシンセサイザーの機能構成を示した機能ブロック図である。 音声出力システムによる音声出力動作を示したフローチャートである。 第２実施形態における音声出力システムを示したブロック図である。 第２実施形態における音声信号の変換処理を示したフローチャートである。 第２実施形態における音声出力動作を示したフローチャートである。

以下、添付図面を参照し、本発明の一実施形態に係る音声処理装置、音声処理装置の制御方法およびプログラムについて説明する。各実施形態では、本発明の音声処理装置を適用したＤＪミキサーおよび、これを備えた音声出力システムを例示する。この音声出力システムは、ユーザーがＤＪパフォーマンス（音響パフォーマンス）を行うためのシステムであり、楽曲再生に加えて、電子楽器の操作に伴う音声出力を可能とするものである。また、本音声出力システムは、ユーザーによる電子楽器の演奏を容易にする機能を搭載している。

［第１実施形態］
図１および図２に示すように、音声出力システム１は、ＤＪ機器の一種であるＤＪプレーヤー２と、ＤＪ機器の一種であり、ＤＪプレーヤー２により再生された音声信号の出力制御を行うＤＪミキサー３と、ＤＪミキサー３から出力された音声信号を外部出力する外部出力装置４と、ＤＪミキサー３に接続されたキーボード型のシンセサイザー（電子楽器）５と、を備えている。ＤＪプレーヤー２およびシンセサイザー５からの音声信号は、ＤＪミキサー３によりミックスされ、外部出力装置４により外部出力される。

ＤＪプレーヤー２は、ＣＤ、ＵＳＢメモリー、ＳＤメモリーカードなどの外部記憶媒体、またはハードディスクなどの内部記憶媒体から楽曲を読み出して再生する。具体的には、ＤＪプレーヤー２は、ＤＪミキサー３に接続されており、上記記憶媒体から楽曲を読み出し、楽曲の音響データを音声信号としてＤＪミキサー３に出力する。また、ＤＪプレーヤー２は、ジョグダイヤル１１およびピッチコントローラー１２を含む各種操作子を有し、楽曲の再生操作を可能としている。すなわち、ＤＪプレーヤー２は、ユーザーによる各種操作子の操作に従って、楽曲の再生位置の変更や再生速度の変更などの再生制御（音声信号の出力制御）を行う。さらに、ＤＪプレーヤー２には、再生する楽曲のキー情報、スケール情報および拍位置情報が記憶されたＵＳＢメモリーＭが接続されている。当該キー情報、スケール情報および拍位置情報は、それぞれ、楽曲のキー、スケールおよび拍位置（拍タイミング）を示すものであり、楽曲を予め解析して得られたものである。詳細は後述するが、ＤＪプレーヤー２からＤＪミキサー３に対し、ＵＳＢメモリーＭに記憶された楽曲のキー情報、スケール情報および拍位置情報を送信し、ＤＪミキサー３がこれらを受信することで、ＤＪミキサー３が、再生する楽曲のキー情報、スケール情報および拍位置情報を取得する。

外部出力装置４は、ＤＪミキサー３に接続されており、アンプ１６と、当該アンプ１６に接続された１台以上のスピーカー１７（図示では、２台）と、を備えている。外部出力装置４は、ＤＪミキサー３から入力された音声信号を、アンプ１６により増幅して、スピーカー１７から外部出力（放音）する。

シンセサイザー５は、鍵盤２１と、ＭＩＤＩ音源２２と、通信インターフェース２３と、制御機構２４と、を備えている。シンセサイザー５は、鍵盤２１の操作（鍵盤２１の押下：演奏）に伴う音響データをＭＩＤＩデータとして生成し、ＭＩＤＩ音源２２によりＭＩＤＩデータを音声信号に変換した後、ＤＪミキサー３に出力する。また、詳細は後述するが、鍵盤２１の操作に伴って生成したＭＩＤＩデータをそのまま、音声信号に変換するのではなく、一度ＤＪミキサー３に出力して、ＤＪミキサー３で所定の変換処理を行った後、この変換処理が行われたＭＩＤＩデータを、音声信号に変換する構成となっている。

ＤＪミキサー３は、通信インターフェース３１と、音声処理機構３３と、制御機構３４と、を備えている。通信インターフェース３１は、ＤＪプレーヤー２、外部出力装置４およびシンセサイザー５とのデータ（主にＭＩＤＩデータおよび音声信号）の送受信を行う。

音声処理機構３３は、ＤＪプレーヤー２およびシンセサイザー５からの音声信号に対し、各種音声処理を行う。

制御機構３４は、ＣＰＵ（Central Processing Unit）３６、ＲＯＭ（Read Only Memory）３７、ＲＡＭ（Random Access Memory）３８から成る。ＣＰＵ３６は、中央処理装置であり、各種演算処理を行う。ＲＯＭ３７は、ＣＰＵ３６が各種演算処理を行うための制御プログラムを記憶し、ＲＡＭ３８は、ＣＰＵ３６が各種演算処理を行う際のワークエリアとして用いられる。ＤＪミキサー３は、制御機構３４により、所定のプログラムを実行することで、本発明の音声処理装置として機能する。

次に図３を参照して、シンセサイザー５およびＤＪミキサー３の機能構成について説明する。図３に示すように、シンセサイザー５は、演奏操作部４１と、ＭＩＤＩデータ生成部４２と、ＭＩＤＩデータ出力部４３と、ＭＩＤＩデータ入力部４４と、ＭＩＤＩ変換部４５と、音声信号出力部４６と、を備えている。

演奏操作部４１は、鍵盤２１を主要部とし、演奏に係る操作（以下、演奏操作）をするためのものである。ＭＩＤＩデータ生成部４２は、演奏操作部４１の演奏操作に伴う音響データを、ＭＩＤＩデータ（演奏データ）として生成する。ＭＩＤＩデータ出力部４３は、通信インターフェース２３を主要部とし、生成したＭＩＤＩデータを、ＤＪミキサー３に出力する。

ＭＩＤＩデータ入力部４４は、通信インターフェース２３を主要部とし、ＤＪミキサー３から出力されたＭＩＤＩデータを入力する。ＭＩＤＩ変換部４５は、ＭＩＤＩ音源２２を主要部とし、入力したＭＩＤＩデータを音声信号に変換する。音声信号出力部４６は、通信インターフェース２３を主要部とし、変換した音声信号をＤＪミキサー３に出力する。

ＤＪミキサー３は、楽曲音声入力部５１と、ＭＩＤＩデータ入力部５２と、情報取得部５３と、ＭＩＤＩデータ変換部（データ変換部）５４と、ＭＩＤＩデータ出力部（データ出力部）５５と、楽器音声入力部５６と、音声処理部５７と、音声出力部５８と、を備えている。

楽曲音声入力部５１は、通信インターフェース３１を主要部とし、ＤＪプレーヤー２から出力された楽曲の音声信号を入力する。ＭＩＤＩデータ入力部５２は、通信インターフェース３１を主要部とし、シンセサイザー５から出力されたＭＩＤＩデータを入力する。

情報取得部５３は、通信インターフェース３１を主要部とし、ＤＪプレーヤー２から、再生する楽曲のキー情報、スケール情報および拍位置情報を取得する。すなわち、情報取得部５３は、ＤＪプレーヤー２から送信されたキー情報、スケール情報および拍位置情報を受信することで、これらの情報を取得する。このように、楽曲を再生するＤＪプレーヤー２から、再生する楽曲のキー情報、スケール情報および拍位置情報を送信する構成であるため、ＤＪミキサー３側で、どの楽曲を再生するか（どの楽曲を再生中か）という情報を、把握する必要がない。

ＭＩＤＩデータ変換部５４は、シンセサイザー５からのＭＩＤＩデータが楽曲のキーやスケールに合った音となるように、ＭＩＤＩデータに対し変換処理を行う。具体的には、ＭＩＤＩデータ変換部５４は、ＭＩＤＩデータにおける各音を、情報取得部５３により取得したスケール情報のスケールの音のうちの、変換元の音に最も近い音に変換する。また、ＭＩＤＩデータ変換部５４は、キー情報のキーを加味してＭＩＤＩデータを変換する。このように、ＭＩＤＩデータ（音響データ）を、キー情報およびスケール情報に合わせて変換するので、シンセサイザー５の演奏において、キーやスケール上にない音を演奏したとしても、キーやスケールに合わせた音に変換される。なお、「変換元の音に最も近い音」とは、その音程が変換元の音に最も近い音の意である。

ＭＩＤＩデータ出力部５５は、通信インターフェース３１を主要部とし、ＭＩＤＩデータ変換部５４により変換したＭＩＤＩデータをシンセサイザー５に出力（返信）する。このとき、ＭＩＤＩデータ出力部５５は、楽曲の拍位置情報に基づき、楽曲の再生（音声信号の出力）に同期するように、ＭＩＤＩデータを出力する。具体的には、情報取得部５３により取得した拍位置情報の拍位置の整数倍または整数分の１倍に合わせたタイミングで、ＭＩＤＩデータを出力する。このように、拍位置情報に合わせてＭＩＤIデータ（音響データ）を出力することで、シンセサイザー５の演奏において、拍位置（リズム）に合わない形で演奏したとしても、拍位置に合わせた形に変更される。

楽器音声入力部５６は、通信インターフェース３１を主要部とし、シンセサイザー５から出力された音声信号を入力する。音声処理部５７は、音声処理機構３３を主要部とし、ＤＪプレーヤー２からの楽曲の音声信号およびシンセサイザー５からの音声信号に対しミックス処理を行う。音声出力部５８は、ミックスされた楽曲の音声信号およびシンセサイザーの音声信号を外部出力装置４に出力する。

次に図４を参照して、音声出力システム１による音声出力動作について説明する。本音声出力動作は、シンセサイザー５の演奏操作に伴う音声信号を、再生している楽曲の音声信号にミックスして外部出力するものである。そのため、本音声出力動作は、ＤＪミキサー３が、楽曲音声入力部５１により、ＤＪプレーヤー２からの楽曲の音声信号を順次入力している状態で行われ、且つシンセサイザー５の演奏操作（鍵盤２１の押下）に起因して実行される。また、ＤＪミキサー３は、情報取得部５３により、予め、再生している楽曲のキー情報、スケール情報および拍位置情報を取得しているものとする（情報取得ステップ）。

図４に示すように、シンセサイザー５は、演奏操作部４１による演奏操作が行われると（Ｓ１：Ｙｅｓ）、ＭＩＤＩデータ生成部４２により、当該演奏操作に伴う音響データをＭＩＤＩデータとして生成する（Ｓ２）。そして、ＭＩＤＩデータ出力部４３により、生成したＭＩＤＩデータをＤＪミキサー３に出力する（Ｓ３）。

これに対し、ＤＪミキサー３は、ＭＩＤＩデータ入力部５２により、シンセサイザー５からのＭＩＤＩデータを入力する（Ｓ４）。その後、ＭＩＤＩデータ変換部５４により、再生している楽曲のキー情報およびスケール情報に合わせて、入力したＭＩＤＩデータを変換する（Ｓ５：データ変換ステップ）。そして、ＭＩＤＩデータ出力部５５により、変換したＭＩＤＩデータを、シンセサイザー５に出力する（Ｓ６：データ出力ステップ）。このとき、上記したように、再生している楽曲の拍位置情報に基づき、楽曲の再生（音声信号の出力）に同期するように、ＭＩＤＩデータを出力する。

一方、シンセサイザー５は、ＭＩＤＩデータ入力部４４により、ＤＪミキサー３からのＭＩＤＩデータを入力する（Ｓ７）。その後、ＭＩＤＩ変換部４５により、入力したＭＩＤＩデータを音声信号に変換する（Ｓ８）。そして、音声信号出力部４６により、変換した音声信号をＤＪミキサー３に出力する（Ｓ９）。

これに対し、ＤＪミキサー３は、楽器音声入力部５６により、シンセサイザー５からの音声信号を入力する（Ｓ１０）。その後、音声処理部５７により、シンセサイザー５からの音声信号を、楽曲の音声信号にミックスする（Ｓ１１）。その後、音声出力部５８により、ミックスした楽曲の音声信号およびシンセサイザー５の音声信号を外部出力装置４に出力する（Ｓ１２）。このとき、ＭＩＤＩデータ出力時（Ｓ６）の出力制御の影響で、楽曲の音声出力（外部出力装置４への出力）に同期するように、シンセサイザー５からの音声信号がミックスされ、出力される。ミックスした音声信号が外部出力装置４に出力されると、外部出力装置４から当該音声信号が外部出力される。これにより、本音声出力動作を終了する。

［第２実施形態］
次に図５ないし図７を参照して、第２実施形態の音声出力システム１について、第１実施形態と異なる部分のみ説明する。本実施形態は、シンセサイザー５に代えて、無音階楽器７１を用いた構成である。

図５に示すように、第２実施形態の音声出力システム１は、シンセサイザー５に代えて、無音階楽器７１を備えている。無音階楽器７１は、例えばテルミン等の電子楽器であり、演奏操作部４１と、音声信号生成部８１と、音声信号出力部４６と、を備えている。音声信号生成部８１は、演奏操作部４１の操作に伴う音響データを、音声信号として生成する。音声信号出力部４６は、生成した音声信号をＤＪミキサー３に出力する。

ＤＪミキサー３は、ＭＩＤＩデータ入力部５２、ＭＩＤＩデータ変換部５４およびＭＩＤＩデータ出力部５５に代えて、音声信号変換部（データ変換部）８２を備えている。音声信号変換部８２は、無音階楽器７１からの音声信号が楽曲のキーおよびスケールに合った音となるように、当該音声信号を変換する。具体的には、図６に示すように、まず、無音階楽器７１からの音声信号に対し、ＦＦＴ（高速フーリエ変換）処理を施し（Ｓ２１）、処理後の音声信号におけるスペクトルピークを検出する（Ｓ２２）。そして、検出した各スペクトルピークの音程を検出する（Ｓ２３）。その後、情報取得部５３により取得したスケール情報のスケール上の音の音程のうち、検出した各スペクトルピークの音程に最も近いものを探索する（Ｓ２４）。このとき、キー情報のキーを加味して探索を行う。そして、探索により得られた各音程の正弦波を生成する（Ｓ２５）。その後、逆ＦＦＴ処理を施して（Ｓ２６）、変換処理を終了する。このように、無音階楽器７１からの音声信号の各音を、スケール上の音のうちいずれかの音に変換し、また、キーを加味して変換する。

また、第２実施形態の音声処理部５７は、情報取得部５３により取得した楽曲の拍位置情報に基づき、楽曲の再生（音声信号の出力）に同期するように、無音階楽器７１からの音声信号を、ＤＪミキサー３からの楽曲の音声信号にミックスする。よって、音声出力部５８は、同期するようにミックスした楽曲の音声信号および無音階楽器７１の音声信号を外部出力装置４に出力する。このように、第２実施形態においては、拍位置情報に基づき、楽曲の再生に同期するように、電子楽器からの音声信号を出力するデータ出力部を、音声処理部５７および音声出力部５８により構成する。

次に図７を参照して、第２実施形態における音声出力動作について説明する。図７に示すように、無音階楽器７１は、演奏操作部４１による演奏操作が行われると（Ｓ３１：Ｙｅｓ）、音声信号生成部８１により、当該演奏操作に伴う音響データを音声信号として生成する（Ｓ３２）。そして、音声信号出力部４６により、生成した音声信号をＤＪミキサー３に出力する（Ｓ３３）。

これに対し、ＤＪミキサー３は、楽器音声入力部５６により、シンセサイザー５からの音声信号を入力する（Ｓ３４）。その後、音声信号変換部８２により、再生している楽曲のキー情報およびスケール情報に合わせて、入力した音声信号を変換する（Ｓ３５：データ変換ステップ）。そして、音声処理部５７により、再生している楽曲の拍位置情報に基づき、楽曲の再生に同期するように、シンセサイザー５からの音声信号を、楽曲の音声信号にミックスする（Ｓ３６）。そして、音声出力部５８により、ミックスした楽曲の音声信号およびシンセサイザー５の音声信号を外部出力装置４に出力する（Ｓ３７）。これにより、本音声出力動作を終了する。なお、第２実施形態においては、データ出力ステップは、音声信号のミックス処理（Ｓ３６）および音声信号の出力処理（Ｓ３７）により実行される。

以上の各実施形態によれば、電子楽器の操作に伴う音響データを楽曲のキー情報およびスケール情報に合わせて変換し、楽曲の拍位置情報に合わせて出力することで、ユーザーが、キーやスケール、拍位置（リズム）が合わない演奏（操作）を行ったとしても、ＤＪミキサー３側で自動的にこれらに合わせた音声出力を行う。そのため、ユーザーが、楽曲のキー情報やスケール情報、拍位置情報を把握する必要はなく、またこれらに合わせた適切な演奏を行う必要がない。よって、楽曲再生に合わせた電子楽器による演奏を容易に行うことができる。

なお、上記各実施形態においては、情報取得部５３によりキー情報およびスケール情報を取得し、データ変換部（ＭＩＤＩデータ変換部５４および音声信号変換部８２）により、キー情報およびスケール情報に合わせて音響データを変換する構成であったが、情報取得部５３により、楽曲のコード進行を示すコード進行情報を取得し、コード進行情報に合わせて音響データを変換する構成であっても良い。

また、上記各実施形態においては、１つの楽曲に対し、単一のキーや単一のスケールが対応している場合を想定しているが、１つの楽曲に対し、複数のキーや複数のスケールが対応している場合も考えられる。例えば、類似する２つのキーやスケールがどちらを使っても楽曲に調和する場合や、再生区間によって調和するキーやスケールが変わる場合、当該楽曲に複数のキーや複数のスケールが対応しているものと言える。かかる場合、情報取得部５３により、対応する複数のキーや複数のスケールを取得し、これらをデータ変換部による変換処理に適宜用いるものとする。

さらに、上記各実施形態においては、情報取得部５３によりキー情報およびスケール情報の両方を取得し、データ変換部によりキー情報およびスケール情報の両方に合わせて音響データを変換する構成であったが、キー情報およびスケール情報のうち、スケール情報のみを取得し、スケール情報のみに合わせて音響データを変換する構成であっても良い。

また、上記各実施形態においては、スケール情報に合わせた変換処理を行う際、電子楽器の操作に伴う音響データにおける各音を、スケール上のいずれかの音のうちの、変換元の音に最も近い音に変換する構成であったが、音響データにおける各音を、スケール上のいずれかの音に変換する構成であれば、これに限るものではない。例えば、音響データの変換処理の都度、変換先の音を、スケール上のいずれかの音の中から無作為（ランダム）に決定する構成であっても良い。かかる構成によれば、意外性の強い演奏を容易に行うことができる。また、例えば、音響データの変換処理の都度、変換先の音を、スケール上のいずれかの音の中から所定の規則性（例えば所定の順番）に従って切り替えて決定する構成であっても良い。

さらに、上記各実施形態においては言及していないが、ＤＪミキサー３が、拍位置情報に基づく同期出力を行う際、ＤＪプレーヤー２による再生操作（再生位置や再生速度の変更操作）を検出し、これを加味して当該同期出力を行うことが好ましい。

またさらに、ＤＪミキサー３が、ＤＪプレーヤー２による楽曲の再生速度の変更操作を検出し（操作検出部）、データ変換部は、当該検出結果に基づき、再生速度の変更操作に伴う音程の変化に合わせて、音響データの変換処理を行う構成であっても良い。かかる場合、各音をスケール上の音に変換した後に、この変換後の音を上記音程の変化に合わせて補正する。

また、上記各実施形態においては言及していないが、キー情報およびスケール情報に合わせた変換処理を行う際、音響データにおける倍音成分については、基音の変換（音程変化）に合わせて変換することが好ましい。

さらに、上記各実施形態においては、ＤＪミキサー３以外の装置で予め解析した楽曲のキー情報、スケール情報および拍位置情報を、ＤＪプレーヤー２に接続するＵＳＢメモリーＭに記憶し、これをＤＪミキサー３で取得する構成であったが、ＤＪプレーヤー２やＤＪミキサー３に楽曲の解析機能を搭載し、ＤＪプレーヤー２やＤＪミキサー３で、キー情報、スケール情報および拍位置情報を解析する構成であっても良い。

また、上記第１実施形態においては、シンセサイザー５がＭＩＤＩ音源２２を備え、シンセサイザー５側で、ＭＩＤＩデータから音声信号への変換を行う構成であったが、ＤＪミキサー３がＭＩＤＩ音源２２を備え、ＤＪミキサー３側で、ＭＩＤＩデータから音声信号への変換を行う構成であっても良い。

さらに、上記第１実施形態においては、ＭＩＤＩデータの状態で、キー情報およびスケール情報に合わせた変換処理を行う構成であったが、ＭＩＤＩデータから音声信号に変換した後の音声信号の状態で、キー情報およびスケール情報に合わせた変換処理を行う構成であっても良い。

またさらに、上記第１実施形態においては、ＭＩＤＩデータを生成するシンセサイザー５と、ＭＩＤＩデータから音声信号への変換を行うシンセサイザー５とが同一のものであったが、これらを異なるシンセサイザー５で行う構成であっても良い。

また、上記第１実施形態において、アルペジエーター演奏を可能とする構成であっても良い。すなわち、自動演奏によって、押えた鍵盤２１の音を、所定のアルペジオパターンで１音ずつ音声出力し、またはランダムで１音ずつ音声出力する構成であっても良い。かかる場合、ＭＩＤＩデータ出力部５５により、これらの制御を付加して、ＭＩＤＩデータを出力する。かかる場合にも、各音（ＭＩＤＩデータ）をキー情報およびスケール情報に基づいて変換すると共に、拍位置情報に合わせてＭＩＤＩデータを出力する。また、ＤＪミキサー３の操作子によって、アルペジエーター演奏におけるアルペジオパターンの変更や、音域の変更、音符の長さの変更等を可能とすることが好ましい。

また、上記第２実施形態においては、電子楽器として無音階楽器７１を用いる構成であったが、無音階楽器７１に代えて、上記ＤＪプレーヤー２とは別のＤＪプレーヤー（演奏用ＤＪプレーヤー）を備え、当該ＤＪプレーヤーを電子楽器として用いる構成であっても良い。かかる場合、例えば、演奏用ＤＪプレーヤーがサイン音等の単調音（正弦波でも可）を再生し、ユーザーは、演奏用ＤＪプレーヤーの各種操作子により、この単調音の音程や再生速度を変化させることで演奏を行う。すなわち、可変速再生機能が付いたＤＪプレーヤーを、単調音演奏機器として機能させることで、当該ＤＪプレーヤーにより無音階楽器７１のような演奏を可能としたものである。演奏用ＤＪプレーヤーから出力された音声信号は、第２実施形態と同様、ＤＪミキサー３で、キー情報およびスケール情報に合うように変換されると共に、拍位置情報に基づき、楽曲の再生に同期するように、楽曲の音声信号にミックスされ、出力される。かかる構成によれば、電子楽器の演奏を絡めたＤＪパフォーマンスを、ＤＪ機器のみで行うことができる。よって、ＤＪ機器以外のものがＤＪブース内にあることによる違和感（見栄えの悪さ）を解消することができる。

さらに、上記第２実施形態においては、スケール情報に合わせた変換処理を行う際、無音階楽器７１（演奏用ＤＪプレーヤー）の操作に伴う音声信号の音を、スケール上の音に変換するため、音程の切り替わりが段階的なものになるが、これをなだらかに変化するように変換処理を行う構成であっても良い（ポルタメント演奏）。すなわち、音声信号変換部８２は、無音階楽器の操作に伴う音響データにおける各音を、スケール上のいずれかの音を中心周波数として、緩やかに変化（上昇もしくは下降）するように変換する。

また、無音階楽器７１の操作に伴う音響データにおける各音を、一定の範囲内で揺らぐように（揺らいで聞こえるように）変換する構成であってもよい（ビブラート演奏）。すなわち、音声信号変換部８２は、無音階楽器７１の操作に伴う音響データの各音を、スケール上のいずれかの音を中心周波数として一定範囲内で揺らぐように変換する。

なお、上記各実施形態においては、ＤＪミキサー３に電子楽器を接続し、電子楽器から入力された音響データに対し、キー情報およびスケール情報に合わせた変換処理や、拍位置情報に合わせた同期出力を行う構成であったが、これに限るものではない。具体的には、ＤＪミキサー３に、声や生楽器の音を拾うマイク等の音声入力機器を接続し、当該音声入力機器から入力された音響データに対し、キー情報およびスケール情報に合わせた変換処理や、拍位置情報に合わせた同期出力を行う構成であっても良い。かかる場合、楽曲再生に合わせた音声入力機器による歌唱や、楽曲再生に合わせた生楽器（電子楽器ではない楽器）の演奏を容易に行うことができる。

また、上記各実施形態においては、ＤＪミキサー３に、本発明を適用したが、これに限るものではない。例えば、他のＤＪ機器（ＤＪプレーヤーやＤＪコントローラー）や、電子楽器、スマートフォン等に本発明を適用しても良い。

３：ＤＪミキサー、 ５：シンセサイザー、 ５３：情報取得部、 ５４：ＭＩＤＩデータ変換部、 ５５：ＭＩＤＩデータ出力部、 ５８：音声信号出力部、 ７１：無音階楽器、 ８２：音声信号変換部

Claims (13)

1. 楽曲のキー情報、スケール情報および拍位置情報を取得する情報取得部と、
   電子楽器および音声入力機器のいずれか一方から入力された音響データを、前記キー情報および前記スケール情報に合わせて変換するデータ変換部と、
   前記拍位置情報に基づき、前記楽曲の音響データの出力に同期するように、変換した前記音響データを出力するデータ出力部と、を備えたことを特徴とする音声処理装置。
2. 前記データ変換部は、前記音響データとして、前記電子楽器から入力された演奏データを変換することを特徴とする請求項１に記載の音声処理装置。
3. 前記楽曲の再生速度の変更操作を検出する操作検出部を、さらに備え、
   前記データ変換部は、前記操作検出部の検出結果に基づき、前記再生速度の変更操作に伴う音程の変化に合わせて、前記音響データの変換処理を行うことを特徴とする請求項１または２に記載の音声処理装置。
4. 前記データ変換部は、入力された前記音響データにおける各音を、前記スケール情報におけるスケール上のいずれかの音に変換することを特徴とする請求項１ないし３のいずれか１項に記載の音声処理装置。
5. 前記データ変換部は、入力された前記音響データにおける各音を、前記スケール上のいずれかの音のうちの、変換元の音に最も近い音に変換することを特徴とする請求項４に記載の音声処理装置。
6. 前記データ変換部は、前記音響データの変換処理の都度、変換先の音を、前記スケール上のいずれかの音の中から無作為に決定することを特徴とする請求項４に記載の音声処理装置。
7. 前記データ変換部は、前記音響データの変換処理の都度、変換先の音を、前記スケール上のいずれかの音の中から所定の規則性に従って切り替えて決定することを特徴とする請求項４に記載の音声処理装置。
8. 前記電子楽器は、シンセサイザーであることを特徴とする請求項１ないし７のいずれか１項に記載の音声処理装置。
9. 前記電子楽器は、無音階楽器であることを特徴とする請求項１ないし７のいずれか１項に記載の音声処理装置。
10. 前記データ変換部は、前記無音階楽器から入力された音響データにおける各音を、前記スケール情報におけるスケール上のいずれかの音を中心周波数として一定範囲内で揺らぐように変換することを特徴とする請求項９に記載の音声処理装置。
11. 前記電子楽器は、ＤＪプレーヤーであることを特徴とする請求項１ないし７のいずれか１項に記載の音声処理装置。
12. 楽曲のキー情報、スケール情報および拍位置情報を取得する情報取得ステップと、
    電子楽器および音声入力機器のいずれか一方から入力された音響データを、前記キー情報および前記スケール情報に合わせて変換するデータ変換ステップと、
    前記拍位置情報に基づき、前記楽曲の音響データの出力に同期するように、変換した前記音響データを出力するデータ出力ステップと、を実行することを特徴とする音声処理装置の制御方法。
13. コンピューターに、請求項１２に記載の音声処理装置の制御方法における各ステップを実行させるためのプログラム。

Images