JP2016184112A - アンサンブル評価装置 - Google Patents

Abstract

【課題】より精度の高い又は表現力の高いアンサンブルを実現するための評価装置を提供する。【解決手段】アンサンブル評価装置は、複数の入力音にそれぞれ対応する複数の入力信号を取得する信号取得部１０１と、複数の入力音それぞれについて入力信号に含まれる物理量を算出する算出部１０３と、物理量の分布を測定する分布測定部１０５と、分布に対する評価値を算出する評価部１０７と、を備える解析部１２０から構成される。【選択図】図２

Description

本発明は、楽器又は歌唱によるアンサンブル演奏又は合唱を評価する技術に関する。

楽器の演奏又は音声による歌唱を行う際に、各演奏者又は歌唱者によって発音される音を評価する方法として、従来、演奏者による入力音のピッチの出現頻度を集計してヒストグラムを生成し、特定の音について発音されるべき正しいピッチの値である模範ピッチと、当該演奏者によって実際に発音されたピッチとの関係を示す画像を表示する方法がある（特許文献１）。

特開２００９−０７５１８７号公報

しかしながら、特定の演奏者又は歌唱者の発音を正しい値である模範ピッチとの関係で評価するだけでは、単に一演奏者と模範ピッチとの関係を比較することしかできない。複数名による楽器のアンサンブル演奏又は合唱（以下「アンサンブル」という場合がある。）を行う際には、複数の演奏者又は歌唱者（以下「アンサンブルメンバー」という場合がある。）によって発音される複数の音を評価するために、例えば同じ楽器を用いて同じメロディを演奏する複数の演奏者間の相対的なハーモニーやタイミングの揃い具合などを評価したり、評価の結果を視覚的に又は聴覚的に提示できることが求められる。より精度の高い、表現力のあるアンサンブルを実現するためには、例えば、同じメロディを演奏する同じグループに属する複数の演奏者間の相対的なハーモニーやタイミングの揃い具合などを評価することで、発音される音の表現を調整したり、同じ曲について他のメロディを演奏する複数の演奏者からなる他のグループとの関係で、グループ相互の相対的なハーモニーやタイミング、バランスなどを比較したりすることが求められる。

本発明の目的の一つは、より精度の高い又は表現力の高いアンサンブルを実現するための評価装置を提供することにある。

本発明の一実施形態において、複数の入力音にそれぞれ対応する複数の入力信号を取得する信号取得部と、前記複数の入力音それぞれについて前記入力信号に含まれる物理量を算出する算出部と、前記物理量の分布を測定する分布測定部と、前記分布に対する評価値を算出する評価部と、を備えることを特徴とする評価装置が提供される。

また、本発明の一実施形態において、前記複数の入力音は、所定の属性に基づく複数のグループのいずれか一つに分類され、前記分布測定部は、同一グループに分類される複数の入力音相互について前記物理量の分布を測定し、又は前記複数のグループ相互について前記物理量の分布を測定してもよい。

また、本発明の一実施形態において、前記物理量は前記入力音のピッチを含み、
前記分布測定部は、前記ピッチの分布に基づいて前記入力音の和音を測定してもよい。

また、本発明の一実施形態において、前記物理量は前記入力音の音量を含み、
前記分布測定部は、前記音量の時間的変化に基づいて音量変化のタイミング又は音量バランスの測定を行ってもよい。

また、本発明の一実施形態において、前記分布測定部は、前記物理量のばらつき具合を示す統計値の大小又は前記物理量の集まり具合のピーク数を測定してもよい。

また、本発明の一実施形態において、前記評価部は、評価の基準時を、瞬時値及び連続値に切り替えて評価してもよい。

また、本発明の一実施形態において、前記信号取得部が取得した前記入力音は、所定の基準値に対する近さに基づいて自動的に前記所定の属性に基づく複数のグループに分類されてもよい。

また、本発明の一実施形態において、前記信号取得部が取得した前記入力音について既存のグループ設定を変更するグループ変更部をさらに備え、前記グループ変更部により既存のグループ設定が変更されると、前記分布測定部は変更後のグループに基づいて分布を再測定し、前記評価部は再測定された分布に基づいて再評価を行ってもよい。

また、本発明の一実施形態において、前記信号取得部、前記算出部、前記分布測定部、又は前記評価部が取得、抽出、測定、又は評価した結果を出力する表示部を備えてもよい。

また、本発明の一実施形態において、複数の入力音にそれぞれ対応する複数の入力信号を取得し、前記複数の入力音それぞれについて前記入力信号に含まれる物理量を算出し、前記物理量の分布を測定し、前記分布に対する評価値を算出することをコンピュータに実行させるためのプログラムが提供される。

本発明の一実施形態によれば、複数の演奏者間の発音を相対的に評価することで、より精度の高い又は表現力の高いアンサンブルを実現するための評価装置を提供することができる。

本発明の第１実施形態における評価装置の構成を示すブロック図である。 本発明の第１実施形態における評価処理部の構成を示すブロック図である。 本発明の第１実施形態における評価処理部の構成を示すブロック図である。 本発明の第１実施形態における評価方法を説明する図である。 本発明の第１実施形態における評価方法を説明する図である。 本発明の第１実施形態における評価方法を説明する図である。 本発明の第１実施形態における評価処理部の構成を示すブロック図である。 本発明の第１実施形態における評価方法を説明する図である。 本発明の第１実施形態における評価方法を説明する図である。 本発明の第１実施形態における評価方法を説明する図である。 本発明の第１実施形態における評価方法を説明する図である。 本発明の第１実施形態における評価方法を説明する図である。 本発明の第１実施形態における評価方法を説明する図である。 本発明の第２実施形態における評価処理部の構成を示すブロック図である。 本発明の第３実施形態における評価処理部の構成を示すブロック図である。 本発明の第４実施形態における評価処理部の構成を示すブロック図である。

以下、本発明の一実施形態における評価装置について、図面を参照しながら詳細に説明する。以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定されるものではない。

＜第１実施形態＞
本発明の第１実施形態における評価装置について、図面を参照しながら詳細に説明する。第１実施形態に係る評価装置は、複数の演奏者又は歌唱者による楽器の演奏又は歌唱による複数の入力音を評価する装置である。この評価装置は、複数の演奏者又は歌唱者の入力音相互を比較して評価することができる。以下、このような評価装置について説明する。

［ハードウエア構成］
図１は、本発明の第１実施形態における評価装置１の構成を示すブロック図である。評価装置１は、制御部１１、記憶部１３、操作部１５、および取得部１９を含む。評価装置１は、さらに表示部１７に接続されていてもよい。表示部１７に関する詳細な構成及び機能については第２実施形態において後述する。制御部１１、記憶部１３、操作部１５、および取得部１９は、バスを介して互いに接続されている。

取得部１９には、楽器自体や弦などの音源の振動を電気信号として検出するピックアップや空気の振動を検出するマイクロフォンなどの収音装置２１（２１ａ〜２１ｉ）が接続されていてもよい。取得部１９は入力音に対応する電気信号を取得して評価装置１に入力する。

図１において、収音装置２１（２１ａ〜２１ｉ）は、各アンサンブルメンバーの人数に対応した数（図１では９個）だけ設けられている。また、各収音装置２１は、入力される音源の属性に応じて予め複数のグループに分類されていてもよい。例えば、図１において収音装置２１ａ〜２１ｃはそれぞれ第１グループに分類される３名の演奏者の各楽器（例えばフルート）に１つずつ設置され、収音装置２１ｄ〜２１ｆはそれぞれ第２グループに分類される３名の演奏者の各楽器（例えばクラリネット）に１つずつ設置され、収音装置２１ｇ〜２１ｉはそれぞれ第３グループに分類される３名の演奏者の各楽器（例えばオーボエ）に１つずつ設置されてもよい。

また、図１とは異なり、収音装置２１は、アンサンブルメンバーのうち一部のメンバーの発音のみを収音するものであってもよい。この場合、他のアンサンブルメンバーの入力音は、あらかじめ録音された音声データや音声ファイル、ストリーミング音声、分析されたピッチ列等であってもよい。例えば、マルチトラック・レコーダーなどを使用して、アンサンブルメンバーが一人ずつ順に演奏を行い、各メンバーの演奏音を重ねて録音する多重録音によって各アンサンブルメンバーの入力音を示すデータを取得してもよい。このように収音装置を介さずに取得されるアンサンブルメンバーの入力音を示すデータは、音声データ等の形式で取得部１９に入力され、取得部１９を介して評価装置１に入力される。

さらに、図示しないが、図１とは異なり収音装置２１を設けない構成も可能である。この場合、全てのアンサンブルメンバーの入力音を示すデータは、予め録音された音声データや音声ファイル、ストリーミング音声、分析されたピッチ列等の形式で存在し、これらのデータをまとめて取得部１９に入力し、取得部１９を介して評価装置１に入力する。

制御部１１は、ＣＰＵなどの演算処理回路を含む。制御部１１は、記憶部１３に記憶された制御プログラムをＣＰＵにより実行して、各種機能を評価装置１において実現させる。実現される機能には、複数の入力音の評価機能が含まれる。記憶部１３は、不揮発性メモリ、ハードディスク等の記憶装置である。記憶部１３は、評価機能を実現するための制御プログラムを記憶する。制御プログラムは、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよい。この場合には、評価装置１は、記録媒体を読み取る装置を備えていればよい。また、制御プログラムは、ネットワーク経由でダウンロードされてもよい。

また、記憶部１３は、入力信号データ、評価基準情報などを記憶する。入力信号データは、演奏者又は歌唱者の発音を示す入力信号として取得部１９が取得したデータである。入力信号データは記憶部１３に一時的にバッファされてもよい。

評価基準情報は、評価装置１が入力信号の評価の基準として用いる情報である。例えば、評価基準情報には、ピッチや音量の分布又は相対的なバランスを評価するためのパターンテーブルやベストケースの情報、協和音程や純正律の情報が含まれてもよい。

操作部１５は、操作パネルおよびリモコンなどに設けられた操作ボタン、キーボード、マウスなどの装置を用いて入力された操作に応じた信号を制御部１１に出力させる。

取得部１９は、複数のアンサンブルメンバーの入力音を示す入力信号を取得する。取得部１９が取得する複数の入力信号は、それぞれ各アンサンブルメンバーの入力音に対応する入力信号であり、入力信号の数はアンサンブルメンバーの人数に対応する。上述したように、取得部１９は、各アンサンブルメンバーの発音を収音する収音装置２１から当該アンサンブルメンバーの入力音を示す入力信号を取得してもよく、予め記録されたデータの入力によってアンサンブルメンバーの入力音を示す入力信号を取得してもよい。

収音装置２１は、上記した例のように、楽器のアンサンブル演奏の場合は、各演奏者の楽器に設けられたピックアップであってもよく、歌唱者による合唱の場合は、各歌唱者の音声をそれぞれ収音する個別のマイクロフォンであってもよく、その他の収音装置であってもよい。

図１に示すように、取得部１９は、各演奏音を収音する複数の収音装置２１（２１ａ〜２１ｉ）から出力される入力信号を所定のサンプリング周期でサンプリングしてデジタル形式の音声データに変換して制御部１１に送信するＡ／Ｄ変換部２５を含む。また、取得部１９は、収音装置２１（２１ａ〜２１ｉ）から取得した入力信号を録音部２７で録音・再生し、アンサンブル演奏の終了後に録音した演奏音を示す入力信号をまとめて評価装置１に出力してもよい。

Ａ／Ｄ変換部２５は、ＭＩＤＩ形式の信号からオーディオ信号を生成する音源、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ等を含む。収音装置２１を介して入力される入力信号は、収音装置２１において電気信号に変換されて取得部１９のＡ／Ｄ変換部２５に入力され、Ａ／Ｄ変換部２５においてＡ／Ｄ変換されて制御部１１に出力される。上述したように、入力信号は、入力信号データとして記憶部１３に記憶される。

［評価処理］
図２、図３及び図６を参照して評価装置１の制御部１１が制御プログラム３１を実行することによって実現される評価処理の一例について説明する。なお、以下に説明する評価機能を実現する構成の一部または全部は、ハードウエアによって実現されてもよい。

図２は、本発明の第１実施形態における評価処理の構成を示すブロック図である。評価処理部１００Ａは、信号取得部１０１及び解析部１２０を含む。解析部１２０は、算出部１０３、分布測定部１０５、及び評価部１０７を含む。信号取得部１０１は、収音装置２１等から入力された入力音を示す入力信号を取得する。なお、信号取得部１０１は、記憶部１３にバッファされた入力信号データを取得するが、記憶部１３に１曲分の入力信号データがバッファされた後にまとめて取得してもよいし、Ａ／Ｄ変換部２５から直接取得してもよい。また、上述したように、収音装置２１を介さずに予め記録されたデータの入力によってアンサンブルメンバーの入力音を示す入力信号を直接取得してもよい。

図３は、本発明の第１実施形態における評価処理の構成の一部を示すブロック図であり、解析部１２０のうち算出部１０３と分布測定部１０５に関する部分を示すブロック図である。

算出部１０３は、信号取得部１０１で取得した入力信号に含まれるピッチと音量を示す物理量を算出する。算出部１０３は、ピッチ抽出部２０１と音量抽出部２０３とを有し、ピッチ抽出部２０１は、信号取得部１０１が取得した入力信号に含まれるピッチを示す物理量を算出し、音量抽出部２０３は、信号取得部１０１が取得した入力信号に含まれる音量を示す物理量を算出する。

ピッチ抽出部２０１は、信号取得部１０１によって取得された入力信号を解析し、入力信号のピッチ（周波数）の時間的な変化、すなわち入力信号のピッチ波形（ピッチデータ）を抽出する。具体的には、入力信号の波形のゼロクロスを用いた方法、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を用いた方法等、公知の方法でピッチ波形が算出される。なお、演奏音または歌唱音のピッチは、一般に、その立ち上がり区間および減衰区間において一定ではないため、ピッチ抽出部２０１は、立ち上がり区間及び減衰区間を除いた区間（安定区間）のみを対象としてピッチを抽出してもよい。このようにして抽出されたピッチに基づいて各入力音の音程が測定される。

ピッチ抽出部２０１は、例えばリアルタイムクロックなどを利用して入力信号の受け取り時刻を取得し、入力音の示す音の発音時刻をその受け取り時刻から換算してその発音時刻を示すタイムスタンプを生成する処理を行い、ピッチ波形にタイムスタンプを付与して時系列データとして記憶部１３に蓄積する。

ピッチ抽出部２０１は、ピッチ波形とタイムスタンプに基づいて、音程が変化したタイミング（ノート変化のタイミング）を測定してこれを記憶部に記憶させてもよい。

音量抽出部２０３は、信号取得部１０１によって取得された入力信号を解析し、入力信号の音量（ａｍｐ）の時間的な変化やタイミングを、入力信号の音量変化の波形を示すエンベロープ分布として抽出する。音量抽出部２０３は、入力信号の音量変化の波形に基づいて、入力音の演奏開始からその入力音の最大音量に到達するまでの時間に相当する入力音のアタック（立ち上がり）を分析してもよい。アタックの分析は、例えば、その入力音の最大音量の値をアタックレベルとし、演奏開始のタイミングをアタックタイミングとし、演奏開始からその入力音の最大音量に到達するまでの音量変化の傾きをアタックレートとして、各値を測定することで行われてもよい。

分布測定部１０５は、算出部１０３において算出された入力信号に含まれるピッチと音量を示す物理量の分布を測定する。分布測定部１０５は、ピッチ抽出部２０１で抽出された各入力音のピッチの分布に基づいて入力音相互の音程測定及びハーモニー測定を行い、音量抽出部２０３で抽出された各入力音の音量の分布に基づいてアタック測定及びバランス測定を行う。

分布測定部１０５は、全入力音を個々の入力音単位で比較して分布を測定してもよく、各入力音を何らかの属性の共通性に基づいて複数のグループに分類したうえで、同じグループ内に含まれる入力音のみを入力音単位で比較して分布を測定してもよく、又は複数のグループによる入力音を各グループ単位で比較してグループ間相互の分布を測定してもよい。本実施形態では、あらかじめ各演奏者が演奏する楽器の種類ごとに対応する収音装置が関連付けられて第１グループから第３グループに分類されているため、収音装置２１ａ〜２１ｃから入力された各入力音を第１グループ、収音装置２１ｄ〜２１ｆから入力された各入力音を第２グループ、収音装置２１ｇ〜２１ｉから入力された各入力音を第３グループに分類する。

分布測定部１０５は、音程測定部５０１、ハーモニー測定部５０３、アタック測定部５０５、及びバランス測定部５０７を含む。音程測定部５０１は、各入力音のピッチの分布（度数分布）に基づいて各入力音の音程を測定する。各入力音の度数が同じ場合（単音を発音する場合）には、さらにピッチの分布に基づいて音程の揃い具合やばらつき具合を測定する。

ハーモニー測定部５０３は、各入力音のピッチの分布（度数分布）に基づき、ピークの位置と音量レベルから和音推定を行ってもよい。また、ピッチのピークの位置から複数の入力音が協和音程に相当するか否かを測定してもよい。さらに、ピッチのピークの位置が平均律のｃｅｎｔ値からずれていても、複数の入力音が純正律の周波数比に相当するか否かを測定してもよい。

アタック測定部５０５は、各入力音の音量の分布に基づいて、入力音の演奏開始からその入力音の最大音量に到達するまでの時間に相当する入力音のアタック（立ち上がり）を測定する。アタック測定は、各入力音ごとのアタックレベル、アタックタイミング、及びアタックレートの値について分布を測定するものでもよい。

図４を参照しながらアタック測定の一例について説明する。図４はある時点における３つの入力音（入力音１、入力音２、及び入力音３）の時間軸における音量変化に基づいて、各入力音のアタックレベル（ＡＬ）、アタックタイミング（ＡＴ）、及びアタックレート（ＡＲ）の値の相対的な関係を可視的に図示したものである。図４において縦軸は音量（レベル）を示し、横軸は時間を示す。図４において、入力音１、入力音２、入力音３の各アタックレベルを、それぞれＡＬ１、ＡＬ２、ＡＬ３で示す。同様に、入力音１、入力音２、入力音３の各アタックタイミングを、それぞれＡＴ１、ＡＴ２、ＡＴ３で示し、入力音１、入力音２、入力音３の各アタックレートを、それぞれＡＲ１、ＡＲ２、ＡＲ３で示す。アタック測定部５０５は、図４以外にも、例えばアタックタイミングのみの測定値の分布を作成してもよい。

バランス測定部５０７は、各入力音の音量の分布に基づいて、入力音相互のバランス測定を行う。バランス測定部５０７は、例えば、複数人の音声による合唱の場合、各入力音の音量を、ソプラノ、アルト、テナー、バスの音声グループに分類して、各グループ単位で音量の合計又は平均値を測定し、グループ間相互の音量のバランス測定を行ってもよい。

図５（ａ）、図５（ｂ）を参照してバランス測定の一例について説明する。図５（ａ）、図５（ｂ）は、ソプラノ（Ｓ）、アルト（Ａ）、テナー（Ｔ）、バス（Ｂ）の音声グループに分類される複数人の音声による合唱の場合におけるバランス測定結果の一例である。各音声グループはそれぞれ複数人のグループメンバーから構成されるものでもよい。図５（ａ）において、縦軸は音量を示し、各棒グラフはソプラノ、アルト、テナー、バスの各音声グループに分類される入力音の総和を示す。図５（ａ）はある瞬間における瞬時値として各グループのバランスを示すものでもよいし、あるフレーズ又は一曲全体について各グループの音量の平均のバランスを示すものでもよい。図５（ｂ）において、縦軸は音量を示し、横軸は時間を示し、各横線グラフはソプラノ（Ｓ）、アルト（Ａ）、テナー（Ｔ）、バス（Ｂ）の各音声グループに分類される入力音の総和の時間的変化を示す。図５（ｂ）の横軸の時間表示レンジはあるフレーズ単位のような短いレンジでもよく、又は一曲全体のような長いレンジでもよい。

図６は、本発明の第１実施形態における評価処理の構成の一部を示すブロック図であり、解析部１２０のうち分布測定部１０５と評価部１０７に関する部分を示すブロック図である。評価部１０７は音程評価部７０１、ハーモニー評価部７０３、アタック評価部７０５、及びバランス評価部７０７を含む。

まず図７（ａ）、図７（ｂ）、図７（ｃ）を参照して標準偏差（σ）を用いた本発明における分布の評価方法の概要について説明する。本発明における分布の評価は、例えば測定値のばらつきの度合いを表す指標として標準偏差（σ）などの統計値（統計的な特徴を示す特徴値）を用いて行われてもよい。標準偏差が小さいということは、全体のばらつきが小さいということ、つまり、測定値の分布が平均値（分布の重心）の周りに集まっているということを意味する。他方、標準偏差が大きいということは、全体のばらつきが大きいということ、つまり、平均値（ｍ）から遠く離れている測定値が多くあるということを意味する。

図７（ａ）、図７（ｂ）、図７（ｃ）は、ある時点における複数の入力音の音量に基づくタイミングの分布を示す一例である。図７（ａ）、図７（ｂ）、図７（ｃ）において、縦軸は測定値の値（度数）を示し、横軸は時間（表示レンジは平均値（ｍ）±５０ｍｓ）を示し、中央の破線は平均値（ｍ）を示す。

図７（ａ）は、測定値のピークが平均値（ｍ）付近に集中的に集まっている場合の分布である。この場合、当該時点において発音のタイミングは揃っていると評価される。この場合、標準偏差（σ）の値は小である。

図７（ｂ）は、測定値のピークは平均値（ｍ）付近にあるが、平均値の周辺にも測定値がやや分散している場合の分布である。この場合、当該時点において発音のタイミングはやや揃っていると評価される。この場合、標準偏差（σ）の値は中である。

図７（ｃ）は、測定値のピークが平均値（ｍ）付近のみならず他にも２か所あり、平均値から離れた場所にも測定値が分散している場合の分布である。この場合、当該時点において発音のタイミングは揃っていない（ばらついている）と評価される。この場合、標準偏差（σ）の値は大である。

図８はアタック測定部５０５で用いられるパターンテーブルの一例である。図８は、各入力音の特徴量の分布を所定のパターンに分類し、当該パターンごとに所定の評価値を設定するテーブルの一例である。

例えば、各入力音のアタックタイミングの分布が図７（ａ）のようになった場合、図８のパターンテーブルで判断すると、測定値の分布のピークは１つであり、σの値は小であるから、パターン１に分類される。そして、パターン１の評価値（スコア）は高であり、高い評価値が与えられる。なぜなら、アタックタイミングの分布が図７（ａ）のようになった場合、アタックのタイミングが揃っていると評価されるため、アンサンブルの評価としては高い評価が与えられるからである。

また、例えば、各入力音のアタックタイミングの分布が図７（ｃ）のようになった場合、図８のパターンテーブルで判断すると、測定値の分布のピークは３つであり、σの値は大であるから、パターン６に分類される。そして、パターン６の評価値（スコア）は低であり、低い評価値が与えられる。なぜなら、アタックタイミングの分布が図７（ｃ）のようになった場合、アタックのタイミングは揃っていない（ばらけている）ため、アンサンブルの評価としては低い評価が与えられるからである。

しかし、アンサンブルとして高い評価が得られる場合は、必ずしも複数の入力音が完全に揃っている場合に限定されるものではない。例えば、各入力音のアタックタイミングの分布が図７（ｂ）のようであった場合、σの値が中であるため、図７（ａ）と比較するとアタックのタイミングは少々ばらついている。しかし、図８のパターンテーブルにおいて図７（ｂ）はパターン２に分類され、その評価値（スコア）は図７（ａ）の属するパターン１と同じ「高」である。なぜなら、アタックのタイミングが少々ばらついている場合、アンサンブルとして発音される演奏音は「やわらかい音」と評価され、曲の種類や演奏者の好みによっては、すべての音が揃って発音される図７（ａ）のような「かたい音」よりも高く評価される場合があるからである。

このように、図８のパターンテーブルには、各入力音の特徴量の分布を分類する際の基準として、測定値の分布のピーク数とσの値の大小とを用いてスコアを規定する一例を示したが、曲の種類や演奏者の好みに合わせて各パターンに対する評価値（スコア）の高低を変更したり、パターン分類を行う際に用いる特徴量の基準を適宜変更したりして、発音されるべきアンサンブル演奏の表現を適宜に設定してもよい。

このような標準偏差（σ）を用いた分布の評価方法は、複数の入力音の音量に基づく他の測定値の分布についても同様に用いることができる。例えば、ある時点における音量の度数分布から、複数の入力音のアタックレートが揃っているかばらついているかを評価する場合には、図７（ａ）、図７（ｂ）、図７（ｃ）の横軸をアタックレートに変更することで、当該時点におけるアタックレートがどの程度揃っているのかを標準偏差（σ）評を用いて評価することができる。アタックレベルについても図７（ａ）、図７（ｂ）、図７（ｃ）の横軸を音量（レベル）に変更することで標準偏差（σ）評を用いて評価することができる。

また、このような標準偏差（σ）を用いた分布の評価方法は、複数の入力音のピッチの分布についても同様に用いることができる。例えば、ある時点におけるピッチの度数分布から、複数の入力音の発音する音程（単音の場合）が揃っているかばらついているかを評価する場合には、図７（ａ）、図７（ｂ）、図７（ｃ）の横軸をピッチ（表示レンジは平均値（ｍ）±５０ｃｅｎｔ）に変更することで、当該時点における発音の音程がどの程度揃っているのかを標準偏差（σ）評を用いて評価することができる。

そして、ある時点におけるピッチの度数分布の評価として図８のパターンテーブルを用いる場合、例えば、各入力音のピッチの分布が図７（ｂ）のようであった場合、σの値が中であるため、図７（ａ）と比較するとピッチの分布は少々ばらついている。しかし、図８のパターンテーブルにおいて図７（ｂ）はパターン２に分類され、その評価値（スコア）は図７（ａ）の属するパターン１と同じ「高」である。なぜなら、ピッチが少々ばらついている場合、アンサンブルとして発音される演奏音は「厚い音」と評価され、曲の種類や演奏者の好みによっては、すべての音が揃って発音される図７（ａ）のような「薄い音」よりも高く評価される場合があるからである。

さらに、図７（ａ）、図７（ｂ）、図７（ｃ）を参照して説明した標準偏差（σ）を用いた本発明における分布の評価方法は、曲の出だしの瞬間、各フレーズの出だしの瞬間、ノート（音程）が変化する時点などの特定の瞬間における値（瞬時値）を示すこともできるし、フレーズ単位、一曲単位などの幅のある時間帯における値の分布を示すこともできる。さらに、一フレーズ、一曲全体などの幅のある時間帯において時間経過とともに変化する入力音を連続値として評価する場合には、ピッチや音量の分布がそろっている状態であった回数、やや揃っている状態であった回数、揃っていない状態であった回数を積算して所定の評価値を加算又は減算することで評価してもよい。

次に、図９（ａ）及び図９（ｂ）を参照してハーモニー評価部７０３について説明する。図９（ａ）及び図９（ｂ）はハーモニー評価の一例を示す図である。ハーモニー評価部７０３は、ある時点における複数の入力音のピッチのピークの位置が協和音程になっている場合には一定の評価値を加算してもよい。例えば、図９（ａ）において、複数の入力音のピッチのピークの位置はそれぞれラ・ミ・ド♯・ソに相当し、協和音程になっているので一定の評価値を加算してもよい。

また、図９（ａ）において、図の左から３つめのピーク（Ｐ３）の位置は、平均律におけるド♯の正しいピッチ（平均律のｃｅｎｔ値）からややずれている（長三度のピッチがやや低い）が、図９（ａ）の複数の入力音のピッチのピークの位置関係が純正律の周波数比に近いことから、純正律に相当すると判断してこの場合に一定の評価値を加算してもよい。このような加点評価の対象となる純正律の周波数比のデータは評価基準情報３５として記憶部１３に記憶されていてもよい。

また、ハーモニー評価部７０３は、ある時点における複数の入力音の高音（高域における音量分布）と低音（低域における音量分布）のバランスを測定し、高音と低音とのバランスの良し悪しを評価してもよい。例えば、図９（ｂ）に示すように、低域の音量分布の度数に比較して高域の音量分布の度数が大きすぎる場合には、高音部が大きすぎてうるさいと評価して一定の評価値を減点してもよい。他方で、図示しないが、ある時点における複数の入力音の高音（高域における音量分布）と低音（低域における音量分布）のバランスが良い場合には一定の評価値を加点してもよい。このような高音と低音とのバランスの良し悪しを評価する場合には、加点評価の対象となる高音と低音のベストバランスの範囲が評価基準情報３５として記憶部１３に記憶されていてもよい。加点評価の対象となる高音と低音のベストバランスの範囲は、例えばプロのアンサンブル演奏や楽団の統計シートに基づいて適宜設定されてもよい。

次に、再び図５（ａ）及び図５（ｂ）を参照してバランス評価部７０７について説明する。バランス評価部７０７は、ある時点における複数の入力音について各グループ相互のバランスの良し悪しを評価する。図５（ａ）、図５（ｂ）を参照して、ソプラノ（Ｓ）、アルト（Ａ）、テナー（Ｔ）、バス（Ｂ）の各音声グループに分類される複数人の音声による合唱の場合におけるバランス評価について説明する。

一般に、合唱におけるソプラノ（Ｓ）、アルト（Ａ）、テナー（Ｔ）、バス（Ｂ）のバランス（ＳＡＴＢバランス）のベストケースは、４：３：３：３であるとされる。このベストケースを基準に評価すると、図５（ａ）の例では、ソプラノ（Ｓ）に対するテナー（Ｔ）の音量が４：３よりやや大きく、ソプラノ（Ｓ）に対するバス（Ｂ）の音量が４：３よりやや小さいため減点してもよいが、ソプラノ（Ｓ）とアルト（Ａ）の音量バランスはほぼ４：３であるため加点してもよい。ＳＡＴＢバランスは図５（ａ）のような瞬時値において評価してもよいし、図５（ｂ）のような時系列変化においてベストバランスに相当した回数を算定して所定の評価値を当該回数分だけ加算してもよく、ベストバランスから外れた回数を算定して所定の評価値を当該回数分だけ減点してもよい。

また、バランス評価部７０７は、ＳＡＴＢバランスのみならず、例えば図１を用いて説明した複数の楽器の演奏のアンサンブル演奏の場合は、フルート、クラリネット、及びオーボエの各バランスの良し悪しを評価してもよい。このような楽器相互のバランスを評価する場合には、加点評価の対象となるベストバランスが評価基準情報３５として記憶部１３に記憶されていてもよい。加点評価の対象となるベストバランスは、例えばプロのアンサンブル演奏や楽団の統計シートに基づいて適宜設定されてもよい。

本実施形態における評価装置によれば、演奏者又は歌唱者相互間における相対的なハーモニーやバランスを具体的に評価することができ、さらに入力音を瞬時値や連続値などにおいて多角的に評価することができるので、様々な観点から複数のアンサンブルメンバーによるアンサンブルを効率的に精度よく評価することができる。

また、本実施形態における評価装置によれば、複数のアンサンブルメンバー相互における相対的なハーモニーやバランスがそろっている部分とそろっていない部分の特定と共有が容易であるため、さらに練習が必要な箇所を特定してアンサンブルメンバー同士で共有することができる。

さらに、本実施形態における評価装置によれば、客観的に表現することの難しかった「やわらかい音」、「厚い音」のような音の表現を、アンサンブルメンバー相互における相対的なハーモニーやバランスの分布の特徴量に基づいて具体的に評価することができるので、より表現力の豊かな精度の高いアンサンブルを実現するための評価及び練習を効率的に行うことができる。

＜第２実施形態＞
本発明の第２実施形態について図１及び図１０を参照して説明する。第２実施形態における評価処理部１００Ｂは、第１実施形態とは異なり、表示部１０９をさらに備える。表示部１０９は、 する。その他のハードウエア構成や評価処理の具体的内容は第１実施形態において説明したものと同じであるため同じ内容の繰り返しは省略する。

図１に示すように、評価装置１は制御部１１、記憶部１３、操作部１５、および取得部１９のみならず表示部１７にも接続されている。制御部１１、記憶部１３、操作部１５、表示部１７、及び取得部１９は、バスを介して互いに接続されている。

表示部１７は、液晶ディスプレイ、有機ＥＬディスプレイ等の外部の表示装置であってもよく、評価装置１は制御部１１による制御に基づいてアンサンブルを評価するための各種画像を表示部１７に表示させる。なお、操作部１５と表示部１７とは一体としてタッチパネルに各機能を実現させるように構成してもよい。また、表示部１７はディスプレイ等に画像を表示させる態様に限定されるものではなく、例えば画像を印刷用紙に印刷して出力させる態様であってもよい。

また、表示部１７が表示する内容も画像に限定されるものではなく、針の動きやＬＥＤランプの点灯によってレベルを示すレベルメータ表示やＯＫランプの点灯などのランプ表示によって評価結果を可視化するものでもよい。さらに、評価結果を可視化するのではなく、報知音や音声など聴覚によって認識可能な出力を行うことで評価結果を認識可能に提示する提示部によって表示部と同様の機能を実現してもよい。

図１０は、本発明の第２実施形態における評価処理の構成を示すブロック図である。評価処理部１００Ｂは、信号取得部１０１、解析部１２０及び表示部１０９を含む。

表示部１０９は、解析部１２０において分布測定部１０５や評価部１０７が測定又は評価した複数の入力音の分布や相対関係などを、ディスプレイなどの表示装置に認識可能に提示させる。表示部１０９が、液晶ディスプレイ、有機ＥＬディスプレイ等の外部の表示装置に表示させるアンサンブルを評価するための各種画像は、例えば図４、図５（ａ）、図５（ｂ）、図７（ａ）、図７（ｂ）、図７（ｃ）、図９（ａ）、図９（ｂ）のような画像であってもよく、本発明に係る評価装置によって行われる入力音の分布や評価を提示するものであればどのような表示であってもよい。また、上述したように、報知音や音声など聴覚によって認識可能な出力を行うことで評価結果を認識可能に提示する提示部によって表示部と同様の機能を実現してもよい。

また、表示部１０９は、操作部１５による操作に応じて、表示する分布又は評価の対象を変更して、例えば特定の同じグループに所属する入力音相互の関係や、同じ曲の異なるメロディを発音する複数のグループ相互の関係を切り替えて表示させてもよい。さらに、表示部１０９は、操作部１５による操作に応じて、表示する分布又は評価の基準時を変更して、ある特定の瞬間における瞬時値や、フレーズ単位又は曲単位などの幅のある時間帯における連続値を切り替えて表示させてもよい。

また、表示部１０９は、取得部が取得した入力音の分布又は評価を表示する場合に、例えば評価基準情報３５として記憶しているベストバランスや、目指すべきアンサンブル演奏の表現を表す音の分布（たとえば「やわらかい音」と評価される分布例など）を模範例として同じ画像に重ね合わせて表示させてもよい。

表示部１０９が液晶ディスプレイ、有機ＥＬディスプレイ等の外部装置に表示させる各種画像は、測定部が測定した分布の表示に限定されるものではなく、分布を評価した結果としての評価値（スコア）や評価コメントのみを表示させてもよい。また、例えば上述した例のようにマルチトラック・レコーダーなどを使用してアンサンブルメンバーの演奏音を重ねて録音する多重録音の場合などには、表示部１０９は、分布を測定する前の各アンサンブルメンバーの入力音を示す波形そのものを表示させてもよい。表示部１０９は、その他にも本実施形態における評価装置に記憶される内容の一部又はすべてを適宜必要に応じて表示させてもよい。

本実施形態における評価装置によれば、演奏者又は歌唱者相互間における相対的なハーモニーやバランスを具体的に評価できるのみならず、これらの評価や入力音を可視化することができ、さらに入力音を瞬時値や連続値などにおいて多角的に表示することもできるので、様々な観点から複数のアンサンブルメンバーによるアンサンブルの評価を具体的に認識することができる。

また、本実施形態における評価装置によれば、客観的に表現することの難しかった「やわらかい音」、「厚い音」のような音の表現を、アンサンブルメンバー相互における相対的なハーモニーやバランスの分布の特徴量に基づいて具体的に可視化することができるので、より表現力の豊かな精度の高いアンサンブルを実現するための評価結果を分かりやすく提示してアンサンブルメンバーに分かりやすく認識させることができるので練習を効率的に行うことができる。

＜第３実施形態＞
本発明の第３実施形態について図１１を参照して説明する。第３実施形態における評価処理部１００Ｃは、第１実施形態及び第２実施形態とは異なり、グループ設定部１３０をさらに備える。グループ設定部１３０は、信号取得部１０１が取得した入力音を示す入力信号を、属性の共通性に基づいて自動的に複数のグループに分類する。その他のハードウエア構成や評価処理の具体的内容は第１実施形態又は第２実施形態において説明したものと同じであるため同じ内容の繰り返しは省略する。

グループ設定部１３０は、たとえば、予め入力されたクラリネットやフルートなどの複数の楽器の演奏音などの複数の基準値について、これらの基準値と信号取得部１０１が取得した複数の入力音を示す入力信号とを比較して、これらの基準値のいずれに最も近いかを特定することによって各入力信号を各グループに自動的に分類してもよい。

グループ設定部１３０は、基準値に対する近さを判断する際に、フォルマントの近さや倍音比率など任意の方法を用いて基準値とのマッチングを判断してもよい。

また、グループ設定部１３０は、楽器の種類のみならず、各入力音によって発音されるメロディ（ピッチ変化の波形）の近さや声質の近さなど様々な観点から基準値を設定してもよい。

たとえば、女性の音声と男性の音声、日本語を母国語とする人の音声と英語を母国語とする人の音声、学生の各学年ごとの演奏音など、所定の属性に基づいて自動的にグループ分類を行う場合は、予め各グループに属するモデルとなる入力信号（学習モデル）を入力しておき、当該学習モデルに対する近さに基づいて様々な属性に基づくグループ分類が行われてもよい。

本実施形態においても、第２実施形態において説明したような表示部１０９をさらに設けて、第２実施形態と同様の構成及び効果を追加的に実現することも勿論可能である。

本実施形態によれば、各演奏者や歌唱者に対応する収音装置を予め対応させておく必要がなく、演奏後に自動的に適切なグループが設定されるのでより効率的にアンサンブル評価を行うことができる。

また、本実施形態によれば、例えば母国語の違いなど任意の基準に基づいて複数の入力信号を任意のグループに分類することができるので、所望のグループ分類において多角的な観点からアンサンブルの評価を行うことができるので、よりきめ細かいアンサンブルの評価を行うことができる。

＜第４実施形態＞
本発明の第４実施形態について図１２を参照して説明する。第４実施形態における評価処理部１００Ｄは、第１実施形態及び第２実施形態とは異なり、グループ変更部１４０をさらに備える。グループ変更部１４０は、信号取得部１０１が取得した入力音を示す入力信号を、既存のグループ設定に基づいて解析した後に、事後的に既存のグループ設定を変更することができる。グループ変更部１４０により既存のグループ設定が変更されると、分布測定部１０５は変更後のグループ設定に基づいて信号取得部１０１が取得した入力音を示す入力信号の分布を再測定し、評価部１０７は再度測定し直された分布に基づいて複数の入力音を再評価する。その他のハードウエア構成や評価処理の具体的内容は第１実施形態又は第２実施形態において説明したものと同じであるため同じ内容の繰り返しは省略する。

グループ変更部１４０が変更する既存のグループ設定は、図１に示すように予め個々の収音装置との関係で対応付けられていたグループ設定でもよいし、第３実施形態のようにグループ設定部１３０によって自動的に分類されたグループ設定であってもよい。

グループ変更部１４０は、グループの分類基準そのものを任意に変更するだけでなく、例えば同じ分類基準に基づきながら、既存のグループ設定に含まれていた特定のアンサンブルメンバーを当該グループから除外するという変更を行うことも可能である。

この場合、特定のアンサンブルメンバーを含めたアンサンブルの評価と特定のアンサンブルメンバーを除外したアンサンブルの評価とを比較することができるので、特定のアンサンブルメンバーの発音が全体または同一グループ内の演奏にどのように影響しているかを客観的にわかりやすく評価することができる。

本実施形態においても、第２実施形態において説明したような表示部１０９をさらに設けて、第２実施形態と同様の構成及び効果を追加的に実現することも勿論可能である。

本実施形態において第２実施形態において説明したような表示部１０９をさらに設けた場合には、既存のグループ設定に基づいて解析した結果と変更後のグループ設定に基づいて解析した結果とを視覚的に分かりやすく比較することができるので、グループ設定の変更次第で各アンサンブルメンバーの演奏が全体の演奏に与える影響を容易に認識することができ、より効果的な評価を行うことができる。

本実施形態によれば、同じアンサンブル演奏又は合唱を、事後的に異なる観点からグループ分類を変更して再評価することができるため、より多角的にアンサンブル演奏を評価・分析することができる。

上記各実施形態では主に信号取得部１０１によって取得される入力音が楽器の演奏音（楽器音）である場合について説明したが、本発明における信号取得部１０１によって取得される入力音は、楽器の演奏音（楽器音）に限定されるものではなく、歌唱者による音声でもよく、さらに歌唱合成による音声であってもよい。

１…評価装置、１１…制御部、１３…記憶部、１５…操作部、１７…表示部、１９…取得部、２１…収音部、２５…Ａ／Ｄ変換部、２７…録音部、３１…制御プログラム、３３…入力信号データ、３５…評価基準情報、１００Ａ、１００Ｂ、１００Ｃ…評価処理部、１０１…信号取得部、１０３…算出部、１０５…分布測定部、１０７…評価部、１０９…表示部、１２０…解析部、１３０…グループ設定部、１４０…グループ変更部、２０１…ピッチ抽出部、２０３…音量抽出部、５０１…音程測定部、５０３…ハーモニー測定部、５０５…アタック測定部、５０７…バランス測定部、７０１…音程評価部、７０３…ハーモニー評価部、７０５…アタック評価部、７０７…バランス評価部

Claims (10)

1. 複数の入力音にそれぞれ対応する複数の入力信号を取得する信号取得部と、
   前記複数の入力音それぞれについて前記入力信号に含まれる物理量を算出する算出部と、
   前記物理量の分布を測定する分布測定部と、
   前記分布に対する評価値を算出する評価部と、を備えることを特徴とする評価装置。
2. 前記複数の入力音は、所定の属性に基づく複数のグループのいずれか一つに分類され、
   前記分布測定部は、同一グループに分類される複数の入力音相互について前記物理量の分布を測定し、又は前記複数のグループ相互について前記物理量の分布を測定することを特徴とする請求項１に記載の評価装置。
3. 前記物理量は前記入力音のピッチを含み、
   前記分布測定部は、前記ピッチの分布に基づいて前記入力音の和音を測定することを含むことを特徴とする請求項１又は請求項２に記載の評価装置。
4. 前記物理量は前記入力音の音量を含み、
   前記分布測定部は、前記音量の時間的変化に基づいて音量変化のタイミング又は音量バランスの測定を行うことを特徴とする請求項１から請求項３のいずれか１つに記載の評価装置。
5. 前記分布測定部は、前記物理量のばらつき具合を示す統計値の大小又は前記物理量の集まり具合のピーク数を測定することを特徴とする請求項１から請求項４のいずれか１つに記載の評価装置。
6. 前記評価部は、評価の基準時を、瞬時値及び連続値に切り替えて評価することを特徴とする請求項１から請求項５のいずれか１つに記載の評価装置。
7. 前記信号取得部が取得した前記入力音は、所定の基準値に対する近さに基づいて自動的に前記所定の属性に基づく複数のグループに分類されることを特徴とする請求項１から請求項６のいずれか１つに記載の評価装置。
8. 前記信号取得部が取得した前記入力音について既存のグループ設定を変更するグループ変更部をさらに備え、前記グループ変更部により既存のグループ設定が変更されると、前記分布測定部は変更後のグループに基づいて分布を再測定し、前記評価部は再測定された分布に基づいて再評価を行うことを特徴とする請求項１から請求項７のいずれか１つに記載の評価装置。
9. 前記信号取得部、前記算出部、前記分布測定部、又は前記評価部が取得、抽出、測定、又は評価した結果を出力する表示部を備えることを特徴とする請求項１から請求項８のいずれか１つに記載の評価装置。
10. 複数の入力音にそれぞれ対応する複数の入力信号を取得し、
    前記複数の入力音それぞれについて前記入力信号に含まれる物理量を算出し、
    前記物理量の分布を測定し、
    前記分布に対する評価値を算出する
    ことをコンピュータに実行させるためのプログラム。