JP2004234767A

JP2004234767A - Frequency spectrum display device

Info

Publication number: JP2004234767A
Application number: JP2003022958A
Authority: JP
Inventors: Yohei Matsuo; 洋平松尾
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2003-01-31
Filing date: 2003-01-31
Publication date: 2004-08-19

Abstract

<P>PROBLEM TO BE SOLVED: To provide a frequency spectrum display device in which the changing of conditions for decomposing a spectrum and a display form and spectrum display for every musical instrument is possible. <P>SOLUTION: This device is equipped with a filter means which outputs a plurality of signals which are limited to prescribed frequency bands from an acoustical signal, a filter control means which controls the filter means, a recording means in which output signal specification information which specifies the output signal is made to be related with a specification frequency band and is recorded, a spectrum display means which displays signal intensity of the output signals of the filter means and a change means which changes a corresponding specification frequency band in response to the change instruction of the specification frequency band. The filter control means controls the filter means so that the frequency band of the output signal corresponding to the output signal specification information becomes the specification frequency band corresponding to the output signal specification information and the spectrum display means makes the signal intensity of the output signal correspond to the specification frequency band corresponding to the output signal and displays them. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、音を周波数スペクトルに分解し、その時間変化を視覚的に表示することができる周波数スペクトル表示装置に関する。
【０００２】
【従来の技術】
近年、音楽用カセットテープやコンパクトディスクなどの再生装置や、ＦＭ放送の受信装置においては、音響の再生と同時に、所定の周波数帯域に区分して、再生中の音響信号をスペクトル表示することが行われている。一般に、音響のスペクトル表示は、音響再生装置に液晶表示パネルを装備し、所定の周波数帯域の信号強度を、時間的に変化する棒グラフとして表示することによって行われている。これによって、ユーザは、再生中の音楽を視覚的に把握することができ、より楽しく、より興味をもって再生音楽を聴くことができる。
【０００３】
音響信号をスペクトルに分解する方法としては、所定の帯域を通過させる複数のバンドパスフィルタを使用する方法や、アナログ音響信号をサンプリングして得られたディジタル信号をフーリエ変換などによって周波数変換する方法が公知である。また、スペクトラムアナライザ用のＩＣとして、所定の通過帯域を持つ複数のバンドパスフィルタ、例えば通過帯域の中心周波数が、各々６８、１７０、４２０、１Ｋ、２．４Ｋ、５．９Ｋ、１４．４ＫＨｚのバンドパスフィルタを備えたＩＣが使用されている。
【０００４】
一方、音響信号のディジタル化が普及し、音響処理回路をディタル音響処理用の標準的なＩＣによって容易に構成することができるようになっており、音響再生装置の再生音響の品質に特徴を出すことが困難になってきている。従って、視覚的効果によってユーザに大きく印象付けることが可能なスペクトル表示は、音響再生装置を差別化する上で重要なものとなっている。例えば、下記の特許文献１には、各周波数帯域の信号強度をバランス良く表示することができる音響再生装置が開示されている。
【０００５】
【特許文献１】
特開平８−３３９６７１号公報
【０００６】
【発明が解決しようとする課題】
従来の音響のスペクトル表示では、上記したスペクトラムアナライザ用ＩＣなどを使用し、固定された周波数帯域でスペクトル解析を行い、得られた信号強度を所定の表示形式で表示するようになっており、周波数帯域や表示形式をユーザが自由に変更することができなかった。従って、従来の音響のスペクトル表示は、見慣れると、印象の薄い、退屈な表示方法となってしまっていた。
【０００７】
また、従来の音響のスペクトル表示においては、音響全体のスペクトル表示は可能であったが、楽器ごとの音に関してスペクトル表示することができなかった。
本発明は、上記の課題を解決すべく、ユーザがスペクトル分解の条件及び表示形式を指定することができ、楽器ごとの音のスペクトルを表示することができる周波数スペクトル表示装置を提供することを目的としている。
【０００８】
【課題を解決するための手段及びその効果】
上記目的を達成するため、本発明に係る周波数スペクトル表示装置（１）は、音響信号の入力を受け、各々所定の周波数帯域に制限された複数の出力信号を出力するフィルタ手段と、該フィルタ手段を制御するフィルタ制御手段と、各々の前記出力信号を指定する出力信号指定情報と指定周波数帯域とを対応させて記録する記録手段と、前記フィルタ手段からの前記出力信号の信号強度を表示するスペクトル表示手段と、前記指定周波数帯域の変更指示を受け、該変更指示に対応する前記指定周波数帯域を変更する変更手段とを備え、前記フィルタ制御手段が、前記出力信号指定情報によって指定される出力信号の周波数帯域が、前記出力信号指定情報に対応する前記指定周波数帯域となるように前記フィルタ手段を制御し、前記スペクトル表示手段が、前記出力信号の信号強度と、前記出力信号に対応する前記指定周波数帯域とを対応させて表示することを特徴としている。
上記周波数スペクトル表示装置（１）によれば、ユーザによって任意に指定された周波数帯域に対応するスペクトルを表示することが可能となる。
【０００９】
また、本発明に係る周波数スペクトル表示装置（２）は、上記周波数スペクトル表示装置（１）において、前記記録手段が、前記出力信号指定情報と対応させて、スペクトル表示を行うか否かを指定する表示指定情報をさらに記録し、前記変更手段が、前記表示指定情報の変更指示を受け、該変更指示に対応する前記表示指定情報を変更し、前記スペクトル表示手段が、スペクトル表示を行うように設定されている前記表示指定情報に対応する出力信号の信号強度と、前記出力信号に対応する前記指定周波数帯域とを対応させて表示することを特徴としている。
上記周波数スペクトル表示装置（２）によれば、ユーザがスペクトル表示するように指定した周波数帯域の信号強度のみをスペクトル表示することができることから、曲中に埋もれて把握が困難である楽器の演奏を視覚的に把握することが可能となる。
【００１０】
また、本発明に係る周波数スペクトル表示装置（３）は、上記周波数スペクトル表示装置（１）又は（２）において、前記記録手段が、前記出力信号指定情報と対応させて、楽器を指定する楽器指定情報をさらに記録し、前記変更手段が、前記楽器指定情報を提示して前記表示指定情報の変更指示を受け付け、該変更指示に対応する前記表示指定情報を変更し、前記指定周波数帯域が、前記楽器が主として発生する音の周波数帯域であることを特徴としている。
上記周波数スペクトル表示装置（３）によれば、ユーザが指定した楽器のスペクトルのみを表示することができることから、曲中に埋もれて把握が困難である楽器の演奏を視覚的に把握することが可能となる。
【００１１】
また、本発明に係る周波数スペクトル表示装置（４）は、音響信号の入力を受け、周波数スペクトルを出力する周波数変換手段と、楽器が主として発生する音の周波数帯域、及びスペクトル表示の対象とする楽器を指定する楽器指定情報を対応させて記録する記録手段と、前記楽器指定情報の変更指示を受け付け、該変更指示に対応する前記楽器指定情報を変更する変更手段と、スペクトル表示の対象に指定されている前記楽器指定情報に対応する前記周波数帯域内にある前記周波数スペクトルの中から、ピークを検出し、該ピーク値を記録するピーク検出記録手段と、所定の時間間隔で繰り返し検出され、時系列に記録された一連の前記ピーク値が周期性を持つか否かを判断する周期性判断手段と、前記周波数スペクトルを表示するスペクトル表示手段とを備え、該スペクトル表示手段が、時系列に記録された一連の前記ピーク値が周期性を持つ場合に、前記周波数スペクトルの中の、前記周波数帯域に対応する周波数の信号強度を、前記周波数帯域と対応させて表示することを特徴としている。
上記周波数スペクトル表示装置（４）によれば、予め設定された、スペクトル表示する楽器が主に発生する基本周波数を、そのまま使用して対応するピーク値を求める代わりに、所定の周波数幅の中でピーク値を求めることが可能となる。これによって、楽器の状態や演奏状態などによって基本周波数が変化した場合においても、精度良く楽器音のスペクトルを表示することが可能となる。
【００１２】
また、本発明に係る周波数スペクトル表示装置（５）は、上記周波数スペクトル表示装置（４）において、前記記録部が、音楽のジャンルに対応させた基準周期性情報をさらに記録し、前記周期性判断手段が、時系列に記録された一連の前記ピーク値の中に、前記基準周期性情報と一致する、若しくは近似する部分が存在するか否かによって周期性を判断することを特徴としている。
上記周波数スペクトル表示装置（５）によれば、音楽ジャンルに特有のリズムを周期性の判断に使用することによって、より精度良く楽器音のスペクトルを表示することが可能となる。
【００１３】
また、本発明に係る周波数スペクトル表示装置（６）は、上記周波数スペクトル表示装置（４）又は（５）において、前記ピーク検出記録手段が、時系列に記録された一連の前記ピーク値が周期性を持つと判断した場合に、検出された前記ピークの周波数を記録し、その後に時系列に記録された一連の前記ピーク値の周期性を判断するときに、前記ピークの周波数を使用することを特徴としている。上記周波数スペクトル表示装置（６）によれば、より精度良く楽器音のスペクトルを表示することが可能となる。
【００１４】
また、本発明に係る周波数スペクトル表示装置（７）は、上記周波数スペクトル表示装置（３）又は（４）において、楽器の画像を表示する楽器画像表示手段を備え、前記スペクトル表示手段が、前記楽器指定情報に対応する前記楽器の画像の色及び輝度の少なくとも１つを、該楽器指定情報に対応する前記信号強度に応じて変化させることを特徴としている。
上記周波数スペクトル表示装置（７）によれば、演奏音に応じて、対応する楽器を模した画像部分の色や輝度が変化することから、演奏されている楽器を視覚的に容易に把握でき、ユーザに対してより強い印象を与え、ユーザの意識を引きつけることが可能となる。
【００１５】
また、本発明に係る周波数スペクトル表示装置（８）は、上記周波数スペクトル表示装置（１）〜（６）の何れかにおいて、前記スペクトル表示手段が、スペクトル表示の対象として指定されている前記信号強度を、等間隔に配置され、ユーザによって指定された所定幅の棒グラフとして表示することを特徴としている。
上記周波数スペクトル表示装置（８）によれば、ユーザがスペクトル表示の棒グラフの幅を自由に変更することが可能となる。
【００１６】
また、本発明に係る周波数スペクトル表示装置（９）は、上記周波数スペクトル表示装置（１）〜（６）の何れかにおいて、前記スペクトル表示手段が、スペクトル表示の対象として指定されている前記信号強度と、該信号強度が所定の閾値を超えたタイミングと、周波数帯域とを対応させてグラフとして表示することを特徴としている。
上記周波数スペクトル表示装置（９）によれば、指定した周波数帯域の信号強度の時間的変化を、色や輝度などによって視覚的に表示することができ、より変化に富んだスペクトル表示が可能となる。
【００１７】
また、本発明に係る周波数スペクトル表示装置（１０）は、上記周波数スペクトル表示装置（３）〜（６）の何れかにおいて、前記スペクトル表示手段が、少なくとも１つの前記楽器指定情報に対応するスペクトルを、全体のスペクトル又は他の前記楽器指定情報に対応するスペクトルから分離して表示することを特徴としている。
上記周波数スペクトル表示装置（１０）によれば、ユーザが指定した楽器音のスペクトルを独立に表示することができ、より変化に富んだスペクトル表示が可能となる。
【００１８】
また、本発明に係る周波数スペクトル表示装置（１１）は、上記周波数スペクトル表示装置（１）〜（６）の何れかにおいて、前記信号強度に応じた電気信号を出力する電気信号出力手段を備えていることを特徴としている。
上記周波数スペクトル表示装置（１１）によれば、外部機器において、指定した周波数帯域の信号強度に応じた電気信号を利用することが可能となる。
【００１９】
また、本発明に係る周波数スペクトル表示装置（１２）は、上記周波数スペクトル表示装置（１１）において、自動車の装飾用の照明機器に接続され、これら照明機器が、入力される前記電気信号に応じて輝度を変化させることを特徴としている。
上記周波数スペクトル表示装置（１２）によれば、指定の周波数帯域の音が出力される状態に応じて、自動車の装飾用の照明を点滅させるなど、車外に対して変化に富んだ演出を示すことが可能となる。
【００２０】
また、本発明に係る周波数スペクトル表示装置（１３）は、上記周波数スペクトル表示装置（１１）において、各々の前記楽器指定情報に対応する複数の発光手段を備え、前記楽器指定情報がドラムセットを構成する楽器に対応し、前記発光手段が、入力される前記電気信号に応じて輝度を変化させることを特徴としている。
上記周波数スペクトル表示装置（１３）によれば、ドラムセットを構成する各々の楽器に対応する発光手段を、エレクトリックドラムの対応する構成部分に取り付け、発光手段が発光したタイミングで対応する構成部分を叩くことによって、ドラム演奏と競演することや、エレクトリックドラムの練習を容易に行うことが可能となる。
【００２１】
また、本発明に係る周波数スペクトル表示装置（１４）は、上記周波数スペクトル表示装置（３）〜（１３）の何れかにおいて、前記楽器指定情報に対応させてＭＩＤＩチャンネル及びＭＩＤＩ音色キーを記録するＭＩＤＩ情報記録手段と、前記楽器指定情報に対応する前記ＭＩＤＩチャンネル及び前記ＭＩＤＩ音色キー、前記楽器指定情報に対応する信号強度、及び該信号強度が所定の閾値を越えたタイミングを基に、ＭＩＤＩデータを生成するＭＩＤＩデータ生成手段とを備えていることを特徴としている。
上記周波数スペクトル表示装置（１４）によれば、指定楽器の演奏のＭＩＤＩデータを自動的に生成することができ、楽曲作成などの音楽活動において便利なものとなる。
【００２２】
また、本発明に係る周波数スペクトル表示装置（１５）は、上記周波数スペクトル表示装置（３）〜（１４）の何れかにおいて、前記楽器指定情報に対応させて音符情報を記録する音符情報記録手段と、前記楽器指定情報に対応する前記音符情報、前記楽器指定情報に対応する信号強度、及び該信号強度が所定の閾値を越えたタイミングを基に、音楽譜面を生成する譜面生成手段とを備えていることを特徴としている。
上記周波数スペクトル表示装置（１５）によれば、指定楽器の演奏の譜面を自動的に生成することができ、楽曲作成などの音楽活動において便利なものとなる。
【００２３】
【発明の実施の形態】
以下、本発明に係る周波数スペクトル表示装置の実施の形態を、図面に基づいて説明する。図１は、実施の形態（１）に係る周波数スペクトル表示装置の概略構成を示すブロック図である。
【００２４】
周波数スペクトル表示装置１は、制御部（以下「ＣＰＵ」と記す）２、メモリ３、記録部４、フィルタ部５、Ａ／Ｄ変換部６、クロック信号発生部７、ビデオ処理部８、表示部９、操作部１０、及び内部バス１１を備えている。周波数スペクトル表示装置１内部の各部間のデータ交換は内部バス１１を介して行われる。メモリ３は一時記憶が可能であり、周波数スペクトル表示装置１の電源（図示せず）がＯＦＦされた場合に、メモリ３に記録されたデータは消えるが、記録部４は不揮発性であり、記録されたデータはそのまま残り、次回周波数スペクトル表示装置１の電源がＯＮされた場合に使用され得るようになっている。操作部１０は、ユーザによる周波数スペクトル表示装置１に対する指示を受け付ける。
【００２５】
フィルタ部５は、複数（ｎ個）の音響帯域のアナログ信号用バンドパスフィルタ（図示せず）を備えており、各々のバンドパスフィルタは、クロック信号発生部７から供給されるクロック信号によって、入力信号を通過させる周波数帯域が指定される。例えば、外部から供給する周波数に応じて、通過させる周波数帯域の中心周波数を変化させることが可能なリニアテクノロジ社（ＬＩＮＥＡＲＴＥＣＨＮＯＬＯＧＹ）のＩＣＬＴＣ１０６０を使用することが可能である。ＬＴＣ１０６０に外部から周波数ｆ_ｃの制御信号を供給すれば、通過帯域の中心周波数ｆ_０は、ｆ_０＝ｆ_ｃ／１００と決定される。また、所定の周波数ｆ_ｃの制御信号を出力する手段には、例えば、ナショナルセミコンダクタ社（ＮａｔｉｏｎａｌＳｅｍｉｃｏｎｄｕｃｔｏｒ）のＬＭ３３１、ＬＨ００４２Ｃ、又は５５５タイプのタイマ用ＩＣなどのＩＣを使用した周知の電圧−周波数変換（Ｖ−Ｆコンバータ）回路を使用することが可能である。帯域制限されたオーディオ信号は、Ａ／Ｄ変換部６によって所定の周波数でサンプリングされ、ディジタルデータに変換される。得られたディジタルデータを用いて、後述するようにスペクトル表示が行われる。
【００２６】
図２は、フィルタ部５の各々のバンドパスフィルタがＬＴＣ１０６０によって構成された周波数スペクトル表示装置１が行う、スペクトルの解析及び表示の処理を示したフローチャートである。図２に示したフローチャートは、主にＣＰＵ２が行う処理を示しており、以下の説明は、特に断らない限りＣＰＵ２が行う処理に関するものである。また、以下の説明において、表示部９に各種画像が表示されることを説明するが、これは、ＣＰＵ２が予め記録部４に記録されている該当する画像データを読み出して必要な変更を加えてビデオ処理部８に伝送し、ビデオ処理部８がアナログ信号に変換して表示部９に伝送することによって実現される。
【００２７】
先ず、記録部４から初期設定を読み出す（ステップＳ１）。初期設定は、サンプリング周波数ｆ_ｓ、フィルタ制御クロック周波数ｆ_ｉ（ｉ＝１〜ｎ）に関して行われる。サンプリング周波数ｆ_ｓは、Ａ／Ｄ変換においてアナログ信号をサンプリングする周波数であり、フィルタ制御クロック周波数ｆ_ｉは、各バンドパスフィルタの中心周波数を設定するために、クロック信号発生部７によって供給される制御信号の周波数である。例えば、図３に示したフィルタ番号、記号、ＯＮ／ＯＦＦ、中心周波数ｆ_０（Ｈｚ）を記録したテーブルから、中心周波数ｆ_０を読み出して、フィルタ制御クロック周波数ｆ_ｉ（ｉ＝１〜ｎ）とする。
【００２８】
次に、上記した初期設定の変更の指示があったか否かを判断する（ステップＳ２）。このとき、例えば、図４に示した画像を表示して、ユーザの操作を待つ。「周波数指定」又は「楽器指定」が選択された場合、変更の指示があったと判断し、ユーザによる変更を受け付ける処理を行うステップＳ３に移行し、「キャンセル」が選択された場合、指示がなかったと判断し、信号のスペクトル解析を行うステップＳ６に移行する。
ステップＳ３において、図４に示した画像の「周波数指定」が選択された場合、各バンドパスフィルタの中心周波数を指定するステップＳ４に移行し、「楽器指定」が選択された場合、スペクトル表示する楽器を指定するステップＳ５に移行する。
【００２９】
図５は、ステップＳ４において表示される画像の一例を示す図面である。図５において、ｆ_１〜ｆ_８は、各フィルタの通過周波数帯域の中心周波数であり、ｆ_１が最大周波数、ｆ_８が最小周波数である。また、「ＯＮ／ＯＦＦ」表示は、各帯域の信号強度をスペクトル表示するか否かを表す。図５に示したデータは、記録部４に記録されている図３に示したテーブルから読み出したものである。
【００３０】
画面外側に設置された左右の矢印キー（Ｒ、Ｌ）によって変更対象のセルを指定し、上下の矢印キー（ＵＰ、ＤＯＷＮ）によって指定されたセルの値を変更する。即ち、右向きの矢印キーＲを押すと右隣のセルに移動し、左向きの矢印キーＬを押すと左隣のセルに移動する。但し、周波数指定のセルが選択された状態で右向きの矢印キーＲを押すと、１段下の「ＯＮ／ＯＦＦ」表示が選択され、「ＯＮ／ＯＦＦ」表示のセルが選択された状態で左向きの矢印キーＬを押すと、１段上の周波数指定のセルが選択される。ｆ_８の周波数設定のセルが選択された状態で、右向きの矢印キーＲを押すと、最下段の「決定」ボタンが選択される。ｆ_１〜ｆ_８の中から変更する対象のセルを選択し、上向きの矢印キーＵＰを押せば周波数値が増大し、下向きの矢印キーＤＯＷＮを押せば周波数値が減少する。また、上向きの矢印キーＵＰ又は下向きの矢印キーＤＯＷＮを押せば、ＯＮ、ＯＦＦが変更される。「決定」、「リセット」、「キャンセル」のボタンは、下向きの矢印ＤＯＷＮが押されたときに押下されたと判断される。
【００３１】
設定の変更が完了して「決定」ボタンが押下されたと判断すると、決定された各々のデータを図３に示した、記録部４に記録されたテーブル内の対応する位置に記録し、且つ周波数指定したことを示すための「表示モード」（例えば、「１」）を記録部４に記録し、ステップＳ６に移行する。「リセット」ボタンが押下されたと判断した場合、それまでに行われた変更を無視して最初の周波数及びＯＮ／ＯＦＦ状態を表示し、「キャンセル」ボタンが押下されたと判断した場合、何も記録ぜすに設定モードを終了してステップＳ６に移行する。
【００３２】
ステップＳ３で「楽器指定」が選択された場合、楽器を指定する画像、例えば図６を表示して楽器の指定を受け付ける（ステップＳ５）。図６には、一例としてドラムセットを構成する打楽器が一覧表示されている。このとき、図７に示したテーブルの楽器名称、状態名称、ＯＮ／ＯＦＦ、基本周波数ｆ_ｂ（Ｈｚ）の各データが、記録部４から読み出されて表示される。
【００３３】
打楽器の場合、周波数スペクトルが比較的単純であり、主に打楽器特有の１つの基本周波数とその倍音とで表すことが可能である。従って、予め、楽器番号ｉとその基本周波数ｆ（ｉ）とを対応させて記録部４に記録しておけば、図６において、各楽器に関する「ＯＮ／ＯＦＦ」を変更することによって、対応する楽器音のスペクトルを表示するか否かを指定し、対応する基本周波数ｆ（ｉ）を決定することができる。「ＯＮ／ＯＦＦ」の変更は、上記と同様に矢印キーの操作によって行われる。また、図６においては、ハイハットシンバルに関しては、スティックで演奏される状態（開いた状態（オープン）、閉じた状態（クローズド））や、スティックで演奏するかペダルで演奏するかによって、基本周波数が異なるので、複数の選択が可能となっている。他の楽器についても、同様に複数の候補から選択可能とすることができる。設定が完了し、「決定」ボタンが押下されたと判断した場合、決定された各データを、図７に示した記録部４に記録されたテーブル内の対応する位置に記録し、且つ楽器を指定したことを示すための「表示モード」（例えば、「２」）を記録部４に記録し、ステップＳ６に移行する。「リセット」ボタンが押下されたと判断した場合、それまでに行われた変更を無視して最初の周波数及びＯＮ／ＯＦＦ状態を表示し、「キャンセル」ボタンが押下されたと判断した場合、何も記録ぜすに設定モードを終了してステップＳ６に移行する。
【００３４】
ステップＳ６において、表示モードを記録部４から読み出して、表示モードが「１」であると判断した場合、図３に示したテーブルからフィルタ制御クロック周波数ｆ_０を読み出し、クロック信号発生部７からフィルタ部５の各々のＬＴＣ１０６０に対して出力されるクロック信号が、読み出したフィルタ制御クロック周波数ｆ_０の１００倍となるように、クロック信号発生部７を制御する。これによって、ステップＳ４で設定された中心周波数ｆ_０を中心とする周波数帯域に帯域制限された音響信号が、対応する各々のバンドパスフィルタから出力される。
【００３５】
また、ステップＳ６において、表示モードが「２」であると判断した場合、図７に示したテーブルから基本周波数ｆ_ｂを読み出し、クロック信号発生部７からフィルタ部５の各ＬＴＣ１０６０に対して出力されるクロック信号が、読み出した基本周波数ｆ_ｂの１００倍となるように、クロック信号発生部７を制御する。これによって、ステップＳ５で指定された楽器の基本周波数を中心とする周波数帯域に帯域制限された音響信号が、対応する各々のバンドパスフィルタから出力される。
【００３６】
次に、ステップＳ１で読み出したサンプリング周波数ｆ_ｓが、クロック信号発生部７からＡ／Ｄ変換部６に出力されるクロック信号となるように、クロック信号発生部７を制御する（ステップＳ７）。これによって、Ａ／Ｄ変換部６は、入力される８個の帯域制限された音響信号をｆ_Ｓの周波数でサンプリングして、８個の振幅データを出力する。振幅データは、メモリ３に、周波数帯域ごとに時系列に記録される。
【００３７】
ステップＳ８において、表示モードが「１」であれば、図３に示したテーブルから、周波数ｆ_０及びＯＮ／ＯＦＦのデータを読み出し、図８に示すように、横軸を周波数としてｆ_０の数値を大きさの順に表記する。さらに、メモリ３に帯域ごとに時系列に記録される振幅データを、順次読み出し、各帯域を表示するか否かを表すＯＮ／ＯＦＦデータを考慮して、対応する帯域に、例えば棒グラフとしてｄＢ表示する。即ち、ＯＮ／ＯＦＦデータが「１」の周波数帯域に関してのみ、メモリ３から振幅データを読み出してグラフとして表示する。図８は、図３、５の設定に対応した周波数帯域を棒グラフで表示した、ある瞬間のスペクトル表示であり、各帯域のレベル即ち棒グラフの高さは時間的に変動する。
【００３８】
ステップＳ８において、表示モードが「２」であれば、図７に示したテーブルから、楽器の基本周波数ｆ_ｂ及びスペクトル表示のＯＮ／ＯＦＦデータを読み出し、上記と同様に、横軸を周波数としてｆ_ｂの数値を大きさの順に表記する。さらに、メモリ３に帯域ごとに時系列に記録される振幅データを、順次読み出し、各帯域を表示するか否かを表すＯＮ／ＯＦＦデータを考慮して、ＯＮ／ＯＦＦデータが「１」の帯域に関してのみ、メモリ３から振幅データを読み出してグラフとして表示する。
最後に、終了の指示があったか否かを判断し、終了の指示があったと判断するまで、上記したステップＳ２〜Ｓ８を繰り返す（ステップＳ９）。
【００３９】
上記実施の形態において、バンドパスフィルタ用のＩＣとしては、ＬＴＣ１０６０などの外部クロック周波数によって制御可能なＩＣを採用したが、別の実施の形態では、シグネティックス社（Ｓｉｇｎｅｔｉｃｓ）のＮＥ５５３２、ＮＥ５５３４や、これらと等価なオペアンプＩＣを使用することが可能である。この場合には、ＩＣ周辺に装備する抵抗及びコンデンサとして、外部からの信号レベルによってその値を変更可能な可変抵抗及び可変コンデンサを使用すれば、上記と同様に各バンドパスフィルタの中心周波数を、ＣＰＵ２から直接又は間接的に変更することが可能である。
【００４０】
また、フィルタ部５をｎ個のバンドパスフィルタで構成せずに、１個のローパスフィルタ、１個のハイパスフィルタ及び（ｎ−２）個のバンドパスフィルタで構成してもよい。
【００４１】
また、フィルタ部５をノイズ除去を目的とする音響帯域を通過させる１つのバンドパスフイルタとして構成し、音源１２からのアナログ音響信号をＡ／Ｄ変換器６でサンプリングして生成したディジタルデータをフーリエ変換し、各周波数帯域の振幅を求めるようにしてもよい。
【００４２】
図９は、実施の形態（２）に係る周波数スペクトル表示装置の概略構成を示すブロック図である。本実施の形態に係る周波数スペクトル表示装置１Ａは、実施の形態（１）に係る周波数スペクトル表示装置１が行うスペクトル分析の精度を、より向上させたものである。図９に示した周波数スペクトル表示装置１Ａのブロック図において、実施の形態（１）に係る周波数スペクトル表示装置１と同じ構成部分には同じ符号を付しており、構成上の相違点は、帯域制限された複数の信号を出力するフィルタ部５を備えていないこととＣＰＵ２がＣＰＵ２ａになっていることである。
【００４３】
図１０は、周波数スペクトル表示装置１Ａが行うスペクトルの解析及び表示の処理を示したフローチャートである。図２に示したフローチャートと同様に、主にＣＰＵ２ａが行う処理を示しており、以下の説明は、特に断らない限りＣＰＵ２ａが行う処理に関するものである。
【００４４】
先ず、表示部９に楽器名称を一覧表示し、楽器の指定を受け付ける（ステップＳ１１）。この楽器の指定の受け付けは、例えば、上記した図６に関する説明と同様に行うことができる。ユーザが操作部１０を操作して楽器を選択すれば、選択された楽器に対応する基本周波数ｆ_ｂ及び帯域幅Δｆ_ｂを、記録部４から読み出す。ここで、基本周波数ｆ_ｂ及び帯域幅Δｆ_ｂは、図７に示したテーブルと同様に、予め楽器と対応させて記録部４に記録させておく。
【００４５】
次に、サンプリング周波数ｆ_Ｓ及びピーク検出回数ｎ_ｐを記録部４から読み出し、所定回数の繰り返し処理を行うために、カウンタｎ_ｃに「０」をセットする（ステップＳ１２）。
ステップＳ１３において、ステップＳ１２で読み出したサンプリング周波数ｆ_Ｓを基に、クロック信号発生部７を制御して、Ａ／Ｄ変換器６に対してサンプリングクロックｆ_Ｓの供給を開始する。これによって、Ａ／Ｄ変換部６は、音源１２から入力されるアナログ音響信号をサンプリングしてディジタルデータとして出力する。ディジタルデータは、内部バス１１を介して、順次メモリ３に記録される。
【００４６】
ステップＳ１４において、メモリ３に順次記録されるディジタルデータの中から所定時間分の時系列データを読み出し、フーリエ変換を行い、周波数スペクトルを求める。
ステップＳ１５において、ステップＳ１４で求められたスペクトルに関して、ステップＳ１１で決定されたｆ_ｂ、Δｆ_ｂを使用し、ｆ_ｂ−Δｆ_ｂ／２〜ｆ_ｂ＋Δｆ_ｂ／２の間のピークを検出し、そのピーク値ａ_ｐをメモリ３に記録する。図１１の（ａ）は、フーリエ変換後の周波数スペクトルをグラフとして表した図であり、（ｂ）は時間軸を拡大して指定の周波数帯域を含む付近を表した図である。
【００４７】
次に、ピークを検出した回数ｎ_ｃが指定値ｎ_ｐよりも小さいか否かを判断し（ステップＳ１６）、ｎ_ｐよりも小さければステップＳ１７に移行してｎ_ｃを１増加させた後、ステップＳ１３〜Ｓ１６を繰り返す。
ｎ_ｃがｎ_ｐ以上になれば、ステップＳ１８に移行し、メモリ３に記録されているピーク値ａ_ｐを読み出し、所定の閾値以下のデータを０とする。これは、楽器が演奏されていない場合においても、ノイズなどの影響によって何らかのピーク値が求められており、以降の処理においてこの影響を無くすためである。この後、値が０以外の隣合うａ_ｐ（ｊ）の間隔ｗ_ｉ＝ｊ_ｍ−ｊ_ｋを求める。ここで、ｊ、ｊ_ｋ、ｊ_ｍは時系列にａ_ｐに付した番号であり、ｋ＜ｍとすれば、ｗ_ｉは正の整数である。ここで、「ａ_ｐ（ｊ_ｋ）、ａ_ｐ（ｊ_ｍ）が隣合う」とは、ａ_ｐ（ｊ_ｋ）、ａ_ｐ（ｊ_ｍ）が何れも０でなく、且つａ_ｐ（ｊ_ｋ）とａ_ｐ（ｊ_ｍ）との間に０より大きいａ_ｐ（ｊ）（ｊ_ｋ＜ｊ＜ｊ_ｍ）が存在しない状態を表す。次にステップＳ１９以降において、得られた正の整数のデータ列｛ｗ_ｉ｝が、規則性を持つか否かを判断する。例えば、正の整数のデータ列｛ｗ_ｉ｝の先頭からｐ個のデータ列｛ｗ_ｉ：ｉ＝１〜ｐ｝を取り出し、このデータ列と同じ、若しくは殆ど同じパターンがその後のデータ列に繰り返し出現するか否かによって、周期性を判断することができる。
【００４８】
周期性を判断するために、先ず、全データ列の先頭から２番目のデータｗ_２から連続するｐ個のデータ列｛ｗ_ｊ：ｊ＝２〜ｐ＋１｝を読み出し（ステップＳ１９）、次に全データ列の先頭ｗ_１からｐ個の基準データ列｛ｗ_ｉ：ｉ＝１〜ｐ｝と、ステップＳ１９で読み出したデータ列｛ｗ_ｊ：ｊ＝２〜ｐ＋１｝とから、対応する順番のデータの差の二乗和ＳＵＭ＝Σ（ｗ_ｉ−ｗ_ｊ）^２を計算し、ＳＵＭをメモリ３に記録する（ステップＳ２０）。連続するｐ個のデータ列｛ｗ_ｊ｝を読み出すスタート位置を１つずらせる毎に、ステップＳ１９及びＳ２０の処理を繰り返し、全データ範囲に亘ってこれらの処理を行う（ステップＳ２１）。
【００４９】
次に、ステップＳ２０でメモリ３に記録した一連のＳＵＭの中に０、若しくは所定の値以下の値が存在するか否かを判断する（ステップＳ２２）。２つのデータ列｛ｗ_ｉ｝、｛ｗ_ｊ｝が全く同じデータ列であればＳＵＭ＝０となり、２つのデータ列｛ｗ_ｉ｝、｛ｗ_ｊ｝の違いが大きくなるほど、ＳＵＭは大きくなる。従って、ＳＵＭの大きさによって、２つのデータ列｛ｗ_ｉ｝、｛ｗ_ｊ｝が同じか否か、若しくは近似するか否かを判断することができる。
【００５０】
何れのＳＵＭも０でなく、且つ所定値以下でもないと判断すれば、周期性が無いことから、ステップＳ１２に戻り、何れかのＳＵＭが０若しくは所定値以下であると判断すれば、周期性があることから、時間的に変化するスペクトル表示、即ちステップＳ１４〜Ｓ１５の処理と同様の処理を行い、指定された楽器の基本周波数のピーク値を求め、図８と同様に表示部９に表示する処理（ステップＳ２３）を、終了の指示があるまで繰り返し行う（ステップＳ２４）。
【００５１】
以上において、１回のフーリエ変換の対象とするサンプルデータの個数、周期性の検査対象とするピーク値ａ_ｐの個数、周期性の判断における基準データの個数ｐは、ユーザに処理時間によるスペクトル表示の遅れを意識させずに、精度よく楽器音のスペクトルを検出し、表示することができるように、調節されることが望ましい。
【００５２】
上記実施の形態においては、フーリエ変換を使用する場合を説明したが、別の実施の形態では、時系列データを周波数成分に分解することができる任意の周波数変換方法、例えば、直交変換（離散コサイン変換、アダマール（Ｈａｄａｍｍａｒｄ）変換など）やウェーブレット変換などを使用してもよい。
【００５３】
また、ステップＳ１８〜Ｓ２２に示した、ピーク値の時系列データに周期性があるか否かを判断する方法において、ｐ個の基準データ列｛ｗ_ｉ｝に、先頭の連続するｐ個のデータを使用する代わりに、別の実施の形態では、全データ列の中の任意の連続するｐ個のデータ列を使用してもよい。
【００５４】
また、ステップＳ１９において読み出すデータ列の読出し開始位置が、基準データ列の先頭位置の近傍である場合、両データ列に関するＳＵＭの値は比較的小さい値となることから、基準データ列の先頭位置の近傍をデータ列の読出し開始位置としないようにすることが望ましい。
【００５５】
また、ステップＳ１８〜Ｓ２２に示した、ピーク値の時系列データに周期性があるか否かを判断する方法は一例であり、これ以外の方法を周期性の判断に使用してもよい。
【００５６】
また、音楽のジャンルによっては、サンバ、ボサノバ、タンゴなど、特有のリズムが存在するので、別の実施の形態では、ジャンルごとの特有のリズムを周期性の基準パターンとして予め記録部４に記録しておき、サンプリングデータから求めた一連のピーク値のデータ列に関する周期性の検出に使用してもよい。また、上記した周期性検出方法と、併用することによって周期性の検出精度を向上させることができる。
【００５７】
また、別の実施の形態では、一度指定した楽器に関して上記の処理によって検出した周波数、リズムパターンを、楽器と対応させて記録部４に記録しておき、その後のスペクトル表示において使用するようにすることも可能である。例えば、記録部に記録されている基本周波数ｆ_ｂを、新たに検出した周波数ｆ_ｎｅｗで置き換えることや、記録部に記録されている基本周波数ｆ_ｂと新たに検出した周波数ｆ_ｎｅｗとの差の絶対値を、基本周波数の幅Δｆ_ｂに加算すること、即ち、Δｆ_ｂ＋｜ｆ_ｂ−ｆ_ｎｅｗ｜を新たに幅Δｆ_ｂとすることが可能である。
【００５８】
また、さらに別の実施の形態では、各楽器の基本周波数ｆ_ｂを、ユーザが指定、若しくは初期設定値から変更することができるようにし、ユーザが指定、若しくは変更した値を使用して、楽器のスペクトルを表示するようにしてもよい。
【００５９】
また、ユーザによる指定を受け付けて、表示部９のスペクトル表示領域全体の幅を、選択された周波数帯域の数で除して棒グラフの幅を決定することによって、選択されなかった周波数帯域があった場合にも、図１２に示したように表示幅を変更して隙間無く表示することが可能である。また、ユーザによる棒グラフの幅の指定を受け付けて、指定幅の棒グラフを等間隔に配置して表示するようにすることも可能である。
【００６０】
また、別の実施の形態では、予め各周波数帯域の信号強度と色、又は信号強度と輝度とを対応させたデータテーブルを記録部４に記録しておくことによって、図１３に示したように、縦軸を周波数、横軸を時間とし、各周波数帯域の信号強度を色又は輝度で時系列的に表示してもよい。
【００６１】
また、全ての周波数帯域のスペクトル表示と、図６で指定された楽器のスペクトル表示とを並べて表示することも可能である。この場合、図６で指定された楽器の基本周波数ｆ_ｂ（ｉ）が割り当てられていないバンドパスフィルタの各々に対して、全音響の周波数帯域（例えば、２０Ｈｚ〜２０ＫＨｚ）ができるだけバランスよく分割されるように中心周波数を指定し、これらの中心周波数と指定された中心周波数ｆ_ｂ（ｉ）とを用いて、全バンドパスフィルタからの信号振幅を取得し、全周波数スペクトルとして表示することが望ましい。
【００６２】
また、別の実施の形態では、楽器の基本周波数に限定せずに、倍音などの高調波をも使用して、１つの楽器に複数の周波数を対応させてもよい。この場合、複数の楽器が同時に演奏され、高調波の周波数が重なってしまう場合があるが、基本周波数の信号振幅に対するｍ番目の倍音の信号振幅の割合α_ｍが一定と仮定し、割合α_ｍを倍音の周波数ｆ_ｍと対応させて楽器ごとに記録しておき、基本周波数の振幅のα_ｍ倍をｍ番目の倍音の振幅とすることで、各楽器音のスペクトルを近似的に分離することが可能である。
【００６３】
また、楽器ごとにスペクトルを分解できることから、図１４に示したように楽器ごとにスペクトを分離して表示しても、あるいは予め楽器ごとに色を指定しておくことによって、図１５に示したように楽器ごとに異なる色で表示してもよい。これによって、特定の倍音において複数の楽器の音が重畳していても、それぞれの楽器がどの程度の割合で寄与しているかを表現することが可能となる。
【００６４】
また、別の実施の形態では、打楽器に限定することなく、一般の楽器に関して事前に楽器毎のスペクトル解析を行っておき、演奏によって生じる代表的な周波数（基本周波数及び倍音）を指定させることによって、楽器の指定に応じて少なくとも近似的スペクトルの表示が可能となる。
【００６５】
また、図６に示した楽器指定がなされた場合、図８に示したスペクトル表示の代わりに、カラー液晶を使用した表示部９にドラムセットの画像を表示し、例えば、フィルタ部５の各バンドパスフィルタから出力される各楽器の基本周波数の振幅に応じて、対応する楽器の画像部分の輝度を変化させることによって、演奏されている楽器を表示することが可能である。その場合、各バンドパスフィルタの出力信号の強度に応じて輝度を変化させることや、所定の閾値を越えた場合にのみ所定のレベルまで輝度を高くするなど、各種の表示方法が採用可能である。
【００６６】
また、さらに別の実施の形態では、棒グラフによるスペクトル表示に替えて、ドラムセットの画像を表示部９に表示し、各楽器に対応する周波数帯域の信号振幅が所定の閾値を越えた場合に、ドラムセットの画像中の対応する楽器部分の輝度を高くしたり、色を変化させて表示したり、あるいは各楽器に対応する周波数帯域の信号振幅に応じて、対応する楽器部分の輝度を変化させて表示してもよい。
【００６７】
また、自動車に装備された装飾用の照明機器を使用し、周波数スペクトル表示装置１のフィルタ部５を構成する複数のバンドパスフィルタの出力信号を、照明機器に入力、若しくは周波数スペクトル表示装置１ＡのＡ／Ｄ変換部６からの出力信号から生成した周波数帯域ごとの複数のアナログ信号を照明機器に入力することによって、音源１２からの音響信号のスペクトル変化に応じて、装飾用の照明機器を点滅させることや輝度を変化させることが可能となる。照明機器に入力する信号には、照明機器の信号入力部の電気的特性に応じて、増幅、波形整形、ローパスフィルタ処理などの必要な処理を施しておく。
【００６８】
また、さらに別の実施の形態では、ドラムセットを構成する各々の楽器に対応させた発光手段を、エレクトリックドラムの対応する構成部分に配置し、上記と同様に、周波数スペクトル表示装置１のフィルタ部５の複数のバンドパスフィルタの出力信号を発光手段に入力、若しくは周波数スペクトル表示装置１ＡのＡ／Ｄ変換部６からの出力信号を周波数帯域ごとの複数のアナログ信号に変換した信号を発光手段に入力することによって、音源１２からドラムの演奏曲が入力された場合、各楽器音の出力に応じて、エレクトリックドラムの対応する各構成部分に配置した発光手段を点滅させることが可能となる。
【００６９】
また、別の実施の形態では、音源１２からの音に対して、指定した楽器特有の周波数帯域の信号の時間変化を取得し、ＭＩＤＩ規格に従って、各楽器に対応するＭＩＤＩチャンネル及び音色キーと演奏タイミングとをＭＩＤＩデータ（例えば、ＳＭＦ（ＳｔａｎｄａｒｄＭＩＤＩＦｉｌｅｓ）形式）に変換するようにしてもよい。ＭＩＤＩ規格では、例えば、ドラムセットの場合、ＭＩＤＩチャンネルは１０チャンネルであり、音色キーはドラムセットの楽器によって所定の値に決定されている。例えば、ハイハットシンバルのクローズド、ペダル、オープンの各状態の音色キーは、各々４２、４４、４６である。従って、チャンネル番号及び音色キーを、図７に示したテーブルの楽器に対応させて記録部４に記録しておき、図６において指定された楽器に対応するチャンネル番号を読み出してステータスバイトの下位４ビットとしてセットし、その楽器に対応する周波数帯域の信号の増減のタイミングに応じて、ノートオン又はノートオフのコードをステータスバイトの上位４ビットとしてセットし、ＭＩＤＩチャンネルメッセージを生成すればよい。
【００７０】
また、別の実施の形態では、予め楽器の周波数帯域に対応する音符情報（音階を表すコード）を、例えば、図７に示したテーブルの楽器に対応させて記録部４に記録しておき、音源１２からの音に対して、指定した楽器特有の周波数帯域の信号の時間変化を取得し、各楽器の周波数帯域に対応する音符情報と信号の出力タイミングとを対応させて時系列に記録するようにしてもよい。これによって、楽器演奏の譜面を自動的に生成することが可能となる。例えば、ドラムセットの演奏用の譜面を生成するには、記録された音符情報と信号の出力タイミングとを基に、打楽器ごとに決まっている譜面上の所定の音階に、所定の音符を記載すればよい。
【００７１】
また、音源１２から出力される音響信号は、アナログ信号に限定するものではなく、アナログ信号をサンプリングしたディジタル信号であってもよく、コンパクトディスクなどのエンコードされたディジタル音響データ、若しくはデコード後のディジタル音響データであってもよい。その場合には、周波数スペクトル表示装置１、１Ａの構成からＡ／Ｄ変換部６を除くことが可能である。また、音源１２から出力される音響信号がエンコードされたディジタル音響データである場合、エンコード方式に対応したデコード手段を備えていることが必要となる。
【図面の簡単な説明】
【図１】本発明の実施の形態（１）に係る周波数スペクトル表示装置の概略構成を示すブロック図である。
【図２】実施の形態（１）に係る周波数スペクトル表示装置が行う処理を示したフローチャートである。
【図３】実施の形態（１）に係るバンドパスフィルタ番号、周波数記号、スペクトル表示のＯＮ／ＯＦＦの設定、及び中心周波数の対応を記録したテーブルを示した図である。
【図４】実施の形態（１）に係るスペクトル表示の設定の変更を受け付ける場合に表示される画像の一例を示した図である。
【図５】実施の形態（１）に係るスペクトル表示のＯＮ／ＯＦＦ及び周波数の指定を受け付ける場合に表示される画像の一例を示した図である。
【図６】実施の形態（１）に係るスペクトル表示のＯＮ／ＯＦＦ及び楽器の指定を受け付ける場合に表示される画像の一例を示した図である。
【図７】実施の形態（１）に係る楽器番号、楽器名称、楽器状態の名称、スペクトル表示のＯＮ／ＯＦＦ設定、及び基本周波数の対応を記録したテーブルを示した図である。
【図８】実施の形態（１）に係るスペクトル表示の一例を示す画像である。
【図９】本発明の実施の形態（２）に係る周波数スペクトル表示装置の概略構成を示すブロック図である。
【図１０】実施の形態（２）に係る周波数スペクトル表示装置が行う処理を示したフローチャートである。
【図１１】（ａ）は、音響信号のサンプリング直後のディジタルデータ列をグラフとして表した図であり、（ｂ）は時間軸を拡大して指定の周波数帯域を含む付近を表した図である。
【図１２】スペクトル表示の指定がなされていない周波数帯域を空けずに表示した、別の実施の形態に係るスペクトル表示を示した図である。
【図１３】縦軸を周波数軸、横軸を時間軸とし、各周波数帯域の信号強度を輝度で表示した、別の実施の形態に係るスペクトル表示を示した図である。
【図１４】楽器ごとにスペクトルを分離して表示した、別の実施の形態に係るスペクトル表示を示した図である。
【図１５】楽器ごとに色分けして表示した、別の実施の形態に係るスペクトル表示を示した図である。
【符号の説明】
１、１Ａ周波数スペクトル表示装置
２、２ａ制御部（ＣＰＵ）
３メモリ
４記録部
５フィルタ部
６Ａ／Ｄ変換部
７クロック信号発生部
８ビデオ処理部
９表示部
１０操作部
１１内部バス
１２音源[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a frequency spectrum display device capable of decomposing a sound into a frequency spectrum and visually displaying a time change thereof.
[0002]
[Prior art]
2. Description of the Related Art In recent years, in a reproducing apparatus such as a cassette tape for music or a compact disc, and a receiving apparatus for FM broadcasting, simultaneously with reproduction of sound, it has been practiced to classify the sound signal being reproduced into a spectrum in a predetermined frequency band and display a spectrum. Has been done. Generally, a spectrum display of sound is performed by equipping a sound reproducing apparatus with a liquid crystal display panel and displaying a signal intensity in a predetermined frequency band as a bar graph that changes with time. As a result, the user can visually grasp the music being reproduced, and can enjoy the reproduced music with more fun and interest.
[0003]
As a method of decomposing an acoustic signal into a spectrum, a method of using a plurality of band-pass filters that pass a predetermined band, and a method of performing frequency conversion of a digital signal obtained by sampling an analog audio signal by a Fourier transform or the like are used. It is known. Also, as an IC for a spectrum analyzer, a plurality of bandpass filters having a predetermined passband, for example, the center frequencies of the passbands are 68, 170, 420, 1K, 2.4K, 5.9K, and 14.4KHz, respectively. ICs with bandpass filters are used.
[0004]
On the other hand, the digitization of audio signals has become widespread, and the audio processing circuit can be easily configured by a standard IC for digital audio processing, and is characterized by the quality of reproduced sound of a sound reproducing apparatus. Things are getting harder. Therefore, a spectral display that can greatly impress a user with a visual effect is important in differentiating a sound reproducing device. For example, Patent Document 1 listed below discloses a sound reproducing device that can display the signal strength of each frequency band in a well-balanced manner.
[0005]
[Patent Document 1]
JP-A-8-339671
[0006]
[Problems to be solved by the invention]
In the conventional acoustic spectrum display, the above-described spectrum analyzer IC is used to perform spectrum analysis in a fixed frequency band, and the obtained signal strength is displayed in a predetermined display format. The user could not freely change the bandwidth and display format. Therefore, the conventional acoustic spectrum display has become a dull display method that is unfamiliar when viewed.
[0007]
Further, in the conventional sound spectrum display, the spectrum of the entire sound can be displayed, but the spectrum of the sound of each musical instrument cannot be displayed.
An object of the present invention is to provide a frequency spectrum display device that enables a user to specify a condition and a display format of spectrum decomposition and display a sound spectrum of each musical instrument in order to solve the above-described problem. And
[0008]
Means for Solving the Problems and Their Effects
In order to achieve the above object, a frequency spectrum display device (1) according to the present invention includes a filter unit that receives an input of an acoustic signal and outputs a plurality of output signals each limited to a predetermined frequency band, and the filter unit. Filter control means for controlling the output signal, recording means for recording output signal designation information for designating each of the output signals and a designated frequency band, and a spectrum for displaying the signal strength of the output signal from the filter means. Display means for receiving an instruction to change the specified frequency band, and changing means for changing the specified frequency band corresponding to the change instruction, wherein the filter control means outputs an output signal specified by the output signal specifying information. Control the filter means so that the frequency band of the specified frequency band corresponding to the output signal specifying information, the spectrum Display means, and the signal strength of the output signal is characterized by displaying in correspondence with said designated frequency band corresponding to the output signal.
According to the frequency spectrum display device (1), it is possible to display a spectrum corresponding to a frequency band arbitrarily specified by a user.
[0009]
Also, in the frequency spectrum display device (2) according to the present invention, in the frequency spectrum display device (1), the recording unit specifies whether or not to perform spectrum display in association with the output signal specification information. The display designation information is further recorded, the change means receives a change instruction of the display designation information, changes the display designation information corresponding to the change instruction, and sets the spectrum display means to perform spectrum display. The signal strength of an output signal corresponding to the specified display designation information and the designated frequency band corresponding to the output signal are displayed in association with each other.
According to the frequency spectrum display device (2), since only the signal intensity of the frequency band designated by the user to be displayed in the spectrum can be displayed in the spectrum, it is possible to play a musical instrument which is buried in the music and difficult to grasp. It becomes possible to grasp visually.
[0010]
Further, in the frequency spectrum display device (3) according to the present invention, in the frequency spectrum display device (1) or (2), the recording means specifies the musical instrument in correspondence with the output signal specification information. Further recording information, the change means presents the musical instrument designation information, receives an instruction to change the display designation information, changes the display designation information corresponding to the change instruction, and the designated frequency band is It is characterized in that it is a frequency band of sounds mainly generated by musical instruments.
According to the frequency spectrum display device (3), only the spectrum of the instrument specified by the user can be displayed, so that it is possible to visually grasp the performance of the instrument buried in the music and difficult to grasp. It becomes.
[0011]
Further, a frequency spectrum display device (4) according to the present invention includes a frequency conversion unit that receives an audio signal and outputs a frequency spectrum, a frequency band of a sound mainly generated by the musical instrument, and a musical instrument to be displayed as a spectrum. Recording means for recording the musical instrument designation information corresponding to the instruction, a change means for receiving an instruction to change the musical instrument designation information, and modifying the instrument designation information corresponding to the change instruction, and a spectrum display target. Peak detection and recording means for detecting a peak from the frequency spectrum within the frequency band corresponding to the musical instrument designation information, and recording the peak value. Periodicity determining means for determining whether or not a series of the peak values recorded in the memory have periodicity, and a spectrum displaying the frequency spectrum. When the series of peak values recorded in time series have a periodicity, the signal intensity of the frequency corresponding to the frequency band in the frequency spectrum is displayed. , And is displayed in correspondence with the frequency band.
According to the frequency spectrum display device (4), instead of using a preset fundamental frequency mainly generated by a musical instrument for spectrum display as it is to obtain a corresponding peak value, a predetermined frequency width within a predetermined frequency width is used. The peak value can be obtained. This makes it possible to accurately display the spectrum of the instrument sound even when the fundamental frequency changes due to the state of the instrument, the playing state, and the like.
[0012]
Also, in the frequency spectrum display device (5) according to the present invention, in the frequency spectrum display device (4), the recording unit may further record reference periodicity information corresponding to a music genre, and The means is characterized in that the periodicity is determined based on whether or not a part that matches or approximates the reference periodicity information exists in the series of peak values recorded in a time series.
According to the frequency spectrum display device (5), it is possible to more accurately display the spectrum of the musical instrument sound by using the rhythm specific to the music genre to determine the periodicity.
[0013]
Further, in the frequency spectrum display device (6) according to the present invention, in the frequency spectrum display device (4) or (5), the peak detection and recording unit may be configured so that the series of peak values recorded in a time series is periodic. When it is determined to have, the frequency of the detected peak is recorded, and then, when judging the periodicity of the series of peak values recorded in time series, the frequency of the peak is used. Features. According to the frequency spectrum display device (6), it is possible to more accurately display the spectrum of the musical instrument sound.
[0014]
Further, the frequency spectrum display device (7) according to the present invention, in the frequency spectrum display device (3) or (4), further includes instrument image display means for displaying an image of a musical instrument, wherein the spectrum display means includes the musical instrument. At least one of the color and luminance of the image of the musical instrument corresponding to the designation information is changed according to the signal intensity corresponding to the instrument designation information.
According to the frequency spectrum display device (7), the color and brightness of the image portion simulating the corresponding musical instrument change according to the performance sound, so that the musical instrument being played can be easily grasped visually. It is possible to give a stronger impression to the user and attract the user's consciousness.
[0015]
Further, in the frequency spectrum display device (8) according to the present invention, in any one of the frequency spectrum display devices (1) to (6), the signal intensity in which the spectrum display means is designated as a target of spectrum display. Are displayed at regular intervals and are displayed as a bar graph having a predetermined width designated by the user.
According to the frequency spectrum display device (8), the user can freely change the width of the bar graph of the spectrum display.
[0016]
Further, in the frequency spectrum display device (9) according to the present invention, in any one of the frequency spectrum display devices (1) to (6), the signal intensity in which the spectrum display means is designated as a target of spectrum display. And a timing at which the signal strength exceeds a predetermined threshold value is displayed as a graph in association with a frequency band.
According to the frequency spectrum display device (9), the temporal change of the signal intensity in the designated frequency band can be visually displayed by color, luminance, and the like, and a spectrum display with more variation can be performed. .
[0017]
Further, in the frequency spectrum display device (10) according to the present invention, in any one of the frequency spectrum display devices (3) to (6), the spectrum display means displays a spectrum corresponding to at least one of the musical instrument designation information. , The entire spectrum or the spectrum corresponding to the other musical instrument designation information is displayed separately.
According to the frequency spectrum display device (10), the spectrum of the instrument sound specified by the user can be displayed independently, and a more varied spectrum display can be performed.
[0018]
Further, the frequency spectrum display device (11) according to the present invention includes, in any one of the frequency spectrum display devices (1) to (6), an electric signal output unit that outputs an electric signal according to the signal intensity. It is characterized by having.
According to the frequency spectrum display device (11), it is possible for an external device to use an electric signal corresponding to the signal strength of the designated frequency band.
[0019]
Further, the frequency spectrum display device (12) according to the present invention, in the frequency spectrum display device (11), is connected to lighting equipment for car decoration, and the lighting equipment responds to the input electric signal. It is characterized by changing the luminance.
According to the frequency spectrum display device (12), a variety of effects are displayed outside the vehicle, such as by flashing a decorative light of a vehicle according to a state in which a sound in a specified frequency band is output. Becomes possible.
[0020]
Further, the frequency spectrum display device (13) according to the present invention, in the frequency spectrum display device (11), includes a plurality of light emitting means corresponding to each of the musical instrument designation information, and the musical instrument designation information constitutes a drum set. The light emitting means changes luminance according to the input electric signal.
According to the frequency spectrum display device (13), the light emitting means corresponding to each musical instrument constituting the drum set is attached to the corresponding component of the electric drum, and the corresponding component is hit at the timing when the light emitting means emits light. This makes it possible to easily compete with drum performances and practice electric drums.
[0021]
Further, the frequency spectrum display device (14) according to the present invention, in any one of the frequency spectrum display devices (3) to (13), stores a MIDI channel and a MIDI timbre key in correspondence with the musical instrument designation information. MIDI data based on the information recording means, the MIDI channel and the MIDI tone key corresponding to the musical instrument designation information, the signal strength corresponding to the musical instrument designation information, and the timing at which the signal strength exceeds a predetermined threshold. MIDI data generating means for generating MIDI data.
According to the frequency spectrum display device (14), MIDI data of the performance of the designated musical instrument can be automatically generated, which is convenient in music activities such as music composition.
[0022]
The frequency spectrum display device (15) according to the present invention, in any one of the frequency spectrum display devices (3) to (14), includes note information recording means for recording note information in correspondence with the musical instrument designation information. Music score generating means for generating a music score based on the note information corresponding to the musical instrument specifying information, a signal strength corresponding to the musical instrument specifying information, and a timing at which the signal strength exceeds a predetermined threshold. It is characterized by having.
According to the frequency spectrum display device (15), the musical score of the performance of the designated musical instrument can be automatically generated, which is convenient for music activities such as music composition.
[0023]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of a frequency spectrum display device according to the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a schematic configuration of a frequency spectrum display device according to Embodiment (1).
[0024]
The frequency spectrum display device 1 includes a control unit (hereinafter referred to as “CPU”) 2, a memory 3, a recording unit 4, a filter unit 5, an A / D conversion unit 6, a clock signal generation unit 7, a video processing unit 8, a display unit. 9, an operation unit 10 and an internal bus 11 are provided. Data exchange between each unit in the frequency spectrum display device 1 is performed via the internal bus 11. When the power (not shown) of the frequency spectrum display device 1 is turned off, the data recorded in the memory 3 disappears, but the recording unit 4 is non-volatile. The data thus obtained remains as it is, and can be used when the power of the frequency spectrum display device 1 is turned on next time. The operation unit 10 receives an instruction from the user to the frequency spectrum display device 1.
[0025]
The filter unit 5 includes bandpass filters (not shown) for analog signals in a plurality of (n) acoustic bands. Each bandpass filter is configured to output a clock signal supplied from the clock signal generation unit 7. A frequency band through which the input signal passes is specified. For example, it is possible to use an IC LTC1060 manufactured by LINEAR TECHNOLOGY, which can change the center frequency of the frequency band to be passed according to the frequency supplied from the outside. An external frequency f _c , The center frequency f of the pass band ₀ Is f ₀ = F _c / 100. Also, a predetermined frequency f _c For example, a known voltage-frequency conversion (VF converter) circuit using an IC such as an LM331, LH0042C, or a 555 type timer IC of National Semiconductor (National Semiconductor) is used as a means for outputting the control signal. It is possible to use The band-limited audio signal is sampled at a predetermined frequency by the A / D converter 6 and is converted into digital data. Using the obtained digital data, spectrum display is performed as described later.
[0026]
FIG. 2 is a flowchart showing a spectrum analysis and display process performed by the frequency spectrum display device 1 in which each bandpass filter of the filter unit 5 is configured by the LTC 1060. The flowchart illustrated in FIG. 2 mainly illustrates processing performed by the CPU 2, and the following description relates to processing performed by the CPU 2 unless otherwise specified. In the following description, various images will be displayed on the display unit 9. The CPU 2 reads the corresponding image data recorded in the recording unit 4 in advance and makes necessary changes. This is realized by transmitting the video signal to the video processing unit 8, converting the analog signal into an analog signal, and transmitting the analog signal to the display unit 9.
[0027]
First, an initial setting is read from the recording unit 4 (step S1). The initial setting is the sampling frequency f _s , Filter control clock frequency f _i (I = 1 to n). Sampling frequency f _s Is the frequency at which the analog signal is sampled in the A / D conversion, and the filter control clock frequency f _i Is the frequency of the control signal supplied by the clock signal generator 7 to set the center frequency of each bandpass filter. For example, the filter number, symbol, ON / OFF, center frequency f shown in FIG. ₀ From the table in which (Hz) is recorded, the center frequency f ₀ And read the filter control clock frequency f _i (I = 1 to n).
[0028]
Next, it is determined whether or not an instruction to change the initial setting has been given (step S2). At this time, for example, the image shown in FIG. 4 is displayed and the user waits for an operation. If "frequency designation" or "instrument designation" is selected, it is determined that a change instruction has been given, and the process proceeds to step S3 for performing processing for accepting a change by the user. If "cancel" has been selected, no instruction has been given. Then, the process proceeds to step S6 in which the spectrum of the signal is analyzed.
In step S3, if "specify frequency" of the image shown in FIG. 4 is selected, the process proceeds to step S4 in which the center frequency of each bandpass filter is specified, and if "specify instrument" is selected, spectrum display is performed. The process proceeds to step S5 for specifying a musical instrument.
[0029]
FIG. 5 is a diagram illustrating an example of an image displayed in step S4. In FIG. 5, f ₁ ~ F ₈ Is the center frequency of the pass frequency band of each filter, and f ₁ Is the maximum frequency, f ₈ Is the minimum frequency. The “ON / OFF” display indicates whether the signal intensity of each band is displayed as a spectrum. The data shown in FIG. 5 is read from the table shown in FIG.
[0030]
The cell to be changed is specified by the left and right arrow keys (R, L) installed outside the screen, and the value of the cell specified by the up and down arrow keys (UP, DOWN) is changed. That is, pressing the right arrow key R moves to the right cell, and pressing the left arrow key L moves to the left cell. However, if the right arrow key R is pressed in the state where the cell for which the frequency is specified is selected, the display “ON / OFF” one step below is selected, and the display is turned left when the cell “ON / OFF” is selected. When the arrow key L is pressed, the cell at the next higher frequency level is selected. f ₈ When the right arrow key R is pressed in a state where the cell of the frequency setting is selected, the "decision" button at the bottom is selected. f ₁ ~ F ₈ Is selected from among the cells to be changed, and the frequency value increases by pressing the up arrow key UP, and decreases by pressing the down arrow key DOWN. When the up arrow key UP or the down arrow key DOWN is pressed, ON and OFF are changed. It is determined that the buttons of “enter”, “reset”, and “cancel” are pressed when the downward arrow DOWN is pressed.
[0031]
When it is determined that the setting change is completed and the “OK” button is pressed, each determined data is recorded at the corresponding position in the table recorded in the recording unit 4 shown in FIG. The “display mode” (for example, “1”) for indicating the designation is recorded in the recording unit 4, and the process proceeds to step S6. If it is determined that the "Reset" button has been pressed, the initial frequency and ON / OFF state are displayed, ignoring any changes made up to that point, and nothing is recorded if it is determined that the "Cancel" button has been pressed. Then, the setting mode is ended and the process proceeds to step S6.
[0032]
If "instrument designation" is selected in step S3, an image for designating the instrument, for example, FIG. 6 is displayed and the designation of the instrument is accepted (step S5). FIG. 6 shows a list of percussion instruments constituting the drum set as an example. At this time, the instrument name, state name, ON / OFF, and fundamental frequency f in the table shown in FIG. _b (Hz) is read from the recording unit 4 and displayed.
[0033]
In the case of percussion instruments, the frequency spectrum is relatively simple and can be represented mainly by one fundamental frequency peculiar to percussion instruments and its overtones. Therefore, if the musical instrument number i and its basic frequency f (i) are recorded in the recording unit 4 in advance in correspondence, by changing “ON / OFF” for each musical instrument in FIG. It is possible to specify whether or not to display the spectrum of the musical instrument sound and determine the corresponding fundamental frequency f (i). "ON / OFF" is changed by operating the arrow keys in the same manner as described above. In FIG. 6, the basic frequency of the hi-hat cymbal depends on the state of playing with a stick (open state (open), closed state (closed)) and whether the player plays with a stick or with a pedal. Because they are different, multiple choices are possible. Similarly, other musical instruments can be selected from a plurality of candidates. When the setting is completed and it is determined that the “enter” button has been pressed, the determined data is recorded at the corresponding position in the table recorded in the recording unit 4 shown in FIG. 7, and the instrument is specified. The “display mode” (for example, “2”) indicating that the operation has been performed is recorded in the recording unit 4, and the process proceeds to step S6. If it is determined that the "Reset" button has been pressed, the initial frequency and ON / OFF state are displayed, ignoring any changes made up to that point, and nothing is recorded if it is determined that the "Cancel" button has been pressed. Then, the setting mode is ended and the process proceeds to step S6.
[0034]
In step S6, the display mode is read from the recording unit 4, and when it is determined that the display mode is "1", the filter control clock frequency f is obtained from the table shown in FIG. ₀ And the clock signal output from the clock signal generation unit 7 to each LTC 1060 of the filter unit 5 is the read filter control clock frequency f ₀ The clock signal generator 7 is controlled so as to be 100 times as large as. As a result, the center frequency f set in step S4 ₀ The audio signal band-limited to the frequency band centered at is output from each corresponding band-pass filter.
[0035]
If it is determined in step S6 that the display mode is “2”, the fundamental frequency f is determined from the table shown in FIG. _b And the clock signal output from the clock signal generation unit 7 to each LTC 1060 of the filter unit 5 is the read fundamental frequency f _b The clock signal generator 7 is controlled so as to be 100 times as large as. As a result, the sound signal band-limited to the frequency band centered on the fundamental frequency of the musical instrument designated in step S5 is output from each corresponding band-pass filter.
[0036]
Next, the sampling frequency f read in step S1 _s Is controlled to be a clock signal output from the clock signal generator 7 to the A / D converter 6 (step S7). As a result, the A / D converter 6 converts the input eight band-limited sound signals to f _S And outputs eight pieces of amplitude data. The amplitude data is recorded in the memory 3 in time series for each frequency band.
[0037]
In step S8, if the display mode is "1", the frequency f is obtained from the table shown in FIG. ₀ And ON / OFF data, and as shown in FIG. ₀ Are written in order of size. Further, amplitude data recorded in time series in the memory 3 for each band is sequentially read out, and in consideration of ON / OFF data indicating whether or not to display each band, the corresponding band is displayed in dB, for example, as a bar graph. I do. That is, the amplitude data is read from the memory 3 and displayed as a graph only for the frequency band in which the ON / OFF data is “1”. FIG. 8 is a spectrum display at a certain moment in which the frequency bands corresponding to the settings of FIGS. 3 and 5 are displayed in a bar graph, and the level of each band, that is, the height of the bar graph varies with time.
[0038]
In step S8, if the display mode is "2", the fundamental frequency f of the musical instrument is obtained from the table shown in FIG. _b And the ON / OFF data of the spectrum display are read out, and f _b Are written in order of size. Further, the amplitude data recorded in the memory 3 in time series for each band is sequentially read out, and in consideration of ON / OFF data indicating whether or not to display each band, the band whose ON / OFF data is “1” is considered. Is read out from the memory 3 and displayed as a graph.
Finally, it is determined whether or not there is a termination instruction, and the above steps S2 to S8 are repeated until it is determined that there is a termination instruction (step S9).
[0039]
In the above embodiment, an IC that can be controlled by an external clock frequency such as LTC1060 is adopted as the IC for the band-pass filter. However, in another embodiment, NE5532, NE5534, or It is possible to use an operational amplifier IC equivalent to these. In this case, if a variable resistor and a variable capacitor whose values can be changed according to an external signal level are used as resistors and capacitors provided around the IC, the center frequency of each bandpass filter can be set as described above. It is possible to change directly or indirectly from the CPU 2.
[0040]
Further, the filter unit 5 may be configured by one low-pass filter, one high-pass filter, and (n−2) band-pass filters, instead of being configured by n band-pass filters.
[0041]
Further, the filter unit 5 is configured as one band-pass filter that passes an acoustic band for noise removal, and digital data generated by sampling an analog audio signal from the sound source 12 with the A / D converter 6 is Fourier-filtered. The conversion may be performed to determine the amplitude of each frequency band.
[0042]
FIG. 9 is a block diagram showing a schematic configuration of a frequency spectrum display device according to Embodiment (2). Frequency spectrum display device 1A according to the present embodiment further improves the accuracy of spectrum analysis performed by frequency spectrum display device 1 according to Embodiment (1). In the block diagram of the frequency spectrum display device 1A shown in FIG. 9, the same components as those of the frequency spectrum display device 1 according to Embodiment (1) are denoted by the same reference numerals, and the difference in configuration is that The point is that no filter unit 5 for outputting a plurality of limited signals is provided, and the CPU 2 is the CPU 2a.
[0043]
FIG. 10 is a flowchart showing a spectrum analysis and display process performed by the frequency spectrum display device 1A. As in the flowchart shown in FIG. 2, the processing mainly performed by the CPU 2a is shown, and the following description relates to the processing performed by the CPU 2a unless otherwise specified.
[0044]
First, a list of musical instrument names is displayed on the display unit 9 and the designation of the musical instrument is received (step S11). The reception of the designation of the musical instrument can be performed, for example, in the same manner as described above with reference to FIG. When the user operates the operation unit 10 to select an instrument, the fundamental frequency f corresponding to the selected instrument is selected. _b And bandwidth Δf _b Is read from the recording unit 4. Here, the fundamental frequency f _b And bandwidth Δf _b Are recorded in the recording unit 4 in advance in association with the musical instruments, similarly to the table shown in FIG.
[0045]
Next, the sampling frequency f _S And peak detection frequency n _p Is read from the recording unit 4 and a counter n _c Is set to "0" (step S12).
In step S13, the sampling frequency f read in step S12 _S The clock signal generator 7 is controlled based on the sampling clock f for the A / D converter 6. _S Start supplying. As a result, the A / D converter 6 samples the analog audio signal input from the sound source 12 and outputs the sampled digital audio data as digital data. Digital data is sequentially recorded in the memory 3 via the internal bus 11.
[0046]
In step S14, time-series data for a predetermined time is read from digital data sequentially recorded in the memory 3, and Fourier transform is performed to obtain a frequency spectrum.
In step S15, regarding the spectrum obtained in step S14, f _b , Δf _b Using f _b -Δf _b / 2 to f _b + Δf _b / 2 is detected and its peak value a _p Is recorded in the memory 3. FIG. 11A is a diagram showing a frequency spectrum after the Fourier transform as a graph, and FIG. 11B is a diagram showing a vicinity including a specified frequency band by expanding the time axis.
[0047]
Next, the number of peak detections n _c Is the specified value n _p It is determined whether it is smaller than (step S16), and n _p If it is smaller than n, the process proceeds to step S17 and n _c Are incremented by 1, and steps S13 to S16 are repeated.
n _c Is n _p If so, the process proceeds to step S18, where the peak value a recorded in the memory 3 is set. _p Is read, and data below a predetermined threshold value is set to 0. This is because even when the musical instrument is not played, some peak value is obtained due to the influence of noise or the like, and this influence is eliminated in the subsequent processing. After this, adjacent a with a value other than 0 _p (J) interval w _i = J _m −j _k Ask for. Where j, j _k , J _m Is chronologically a _p And if k <m, w _i Is a positive integer. Here, "a _p (J _k ), A _p (J _m ) Is next to " _p (J _k ), A _p (J _m ) Is not 0 and a _p (J _k ) And a _p (J _m A) greater than 0 between _p (J) (j _k <J <j _m ) Indicates a state where no data exists. Next, in step S19 and subsequent steps, the obtained positive integer data string {w _i It is determined whether｝ has regularity. For example, a positive integer data string {w _i Ｐp data strings from the beginning of ｛ _i : I = 1 to p｝, and the periodicity can be determined based on whether or not the same or almost the same pattern as this data sequence repeatedly appears in the subsequent data sequence.
[0048]
In order to determine the periodicity, first, the second data w from the head of all data strings ₂ P data strings {w _j : J = 2 to p + 1} (step S19), and then the head w of all data strings ₁ From p reference data strings {w _i : I = 1 to p} and the data string {w read out in step S19 _j : J = 2 to p + 1}, the sum of squares of the difference of the data in the corresponding order SUM = {(w _i -W _j ) ² Is calculated, and the SUM is recorded in the memory 3 (step S20). Continuous p data strings $ w _j Each time the start position for reading｝ is shifted by one, the processes of steps S19 and S20 are repeated, and these processes are performed over the entire data range (step S21).
[0049]
Next, it is determined whether or not a series of SUMs recorded in the memory 3 in step S20 include 0 or a value equal to or smaller than a predetermined value (step S22). Two data strings $ w _i ｝, ｛W _j If｝ are exactly the same data string, SUM = 0 and two data strings {w _i ｝, ｛W _j The greater the difference in 大きく, the greater the SUM. Therefore, depending on the size of SUM, two data strings {w _i ｝, ｛W _j It can be determined whether｝ is the same or approximate.
[0050]
If it is determined that none of the SUMs is 0 and not less than the predetermined value, there is no periodicity. Therefore, the process returns to step S12, and if it is determined that any of the SUMs is 0 or less than the predetermined value, the periodicity is determined. Therefore, the spectrum display that changes with time, that is, the same processing as the processing in steps S14 to S15 is performed to obtain the peak value of the fundamental frequency of the designated musical instrument, and the peak value is displayed on the display unit 9 as in FIG. The process (step S23) is repeated until there is a termination instruction (step S24).
[0051]
In the above, the number of sample data to be subjected to one Fourier transform and the peak value a to be inspected for periodicity _p The number p of the reference data in the judgment of the periodicity is adjusted so that the user can accurately detect and display the spectrum of the instrument sound without making the user aware of the delay of the spectrum display due to the processing time. Is desirable.
[0052]
In the above embodiment, the case of using the Fourier transform has been described. However, in another embodiment, an arbitrary frequency transform method capable of decomposing time-series data into frequency components, for example, an orthogonal transform (discrete cosine) Transform, Hadamard transform, etc.) or wavelet transform may be used.
[0053]
Further, in the method of determining whether or not the time series data of the peak value has periodicity shown in steps S18 to S22, p reference data strings {w _i In｝, instead of using p leading consecutive data, in another embodiment, any consecutive p data strings among all data strings may be used.
[0054]
Further, when the read start position of the data string to be read in step S19 is near the head position of the reference data string, the SUM value of both data strings is relatively small. It is desirable not to set the neighborhood as the data string read start position.
[0055]
The method of determining whether or not the time series data of the peak values has periodicity shown in steps S18 to S22 is an example, and other methods may be used for determining the periodicity.
[0056]
Also, depending on the genre of music, there are specific rhythms such as samba, bossa nova, and tango. Therefore, in another embodiment, a specific rhythm for each genre is recorded in the recording unit 4 in advance as a periodic reference pattern. In addition, it may be used to detect periodicity of a series of peak value data strings obtained from sampling data. Further, the periodicity detection accuracy can be improved by using the periodicity detection method described above in combination.
[0057]
Further, in another embodiment, the frequency and rhythm pattern detected by the above processing for the instrument once designated are recorded in the recording unit 4 in association with the instrument, and used in the subsequent spectrum display. It is also possible. For example, the fundamental frequency f recorded in the recording unit _b To the newly detected frequency f _new And the fundamental frequency f recorded in the recording unit. _b And the newly detected frequency f _new And the absolute value of the difference between _b , That is, Δf _b + | F _b −f _new | To the new width Δf _b It is possible to
[0058]
In still another embodiment, the fundamental frequency f _b May be specified by the user or changed from the initial setting value, and the spectrum of the musical instrument may be displayed using the value specified or changed by the user.
[0059]
In addition, there was a frequency band that was not selected by accepting the designation by the user and determining the width of the bar graph by dividing the width of the entire spectrum display area of the display unit 9 by the number of the selected frequency bands. Also in this case, it is possible to change the display width and display without any gap as shown in FIG. In addition, it is also possible to receive the designation of the width of the bar graph by the user and display the bar graphs of the specified width arranged at equal intervals.
[0060]
Further, in another embodiment, a data table in which the signal intensity and the color or the signal intensity and the luminance of each frequency band are associated with each other is recorded in the recording unit 4 in advance, as shown in FIG. The vertical axis represents frequency, and the horizontal axis represents time, and the signal strength of each frequency band may be displayed in time series in color or luminance.
[0061]
It is also possible to display the spectrum display of all the frequency bands and the spectrum display of the musical instrument designated in FIG. 6 side by side. In this case, the fundamental frequency f of the musical instrument specified in FIG. _b For each of the band-pass filters to which (i) is not assigned, a center frequency is designated so that the frequency band of all sounds (for example, 20 Hz to 20 KHz) is divided as well as possible, and these center frequencies are designated. Center frequency f _b Using (i), it is desirable to acquire the signal amplitude from all bandpass filters and display it as an entire frequency spectrum.
[0062]
Further, in another embodiment, a plurality of frequencies may be made to correspond to one musical instrument by using not only the fundamental frequency of the musical instrument but also harmonics such as harmonics. In this case, a plurality of musical instruments may be played simultaneously, and the harmonic frequencies may overlap, but the ratio α of the signal amplitude of the m-th harmonic to the signal amplitude of the fundamental frequency _m Is constant and the ratio α _m Is the overtone frequency f _m Is recorded for each instrument in correspondence with _m By setting the overtone to be the amplitude of the m-th overtone, the spectrum of each instrument sound can be approximately separated.
[0063]
In addition, since the spectrum can be decomposed for each instrument, the spectrum can be separated and displayed for each instrument as shown in FIG. 14 or the color can be designated for each instrument in advance, as shown in FIG. As described above, different colors may be displayed for each musical instrument. As a result, even if the sounds of a plurality of musical instruments are superimposed on a specific overtone, it is possible to express how much each instrument contributes.
[0064]
Further, in another embodiment, without limiting to a percussion instrument, a spectrum analysis is performed for each instrument in advance for a general instrument, and a representative frequency (fundamental frequency and harmonic) generated by performance is designated. , At least an approximate spectrum can be displayed according to the designation of the musical instrument.
[0065]
When the musical instrument shown in FIG. 6 is designated, the image of the drum set is displayed on the display unit 9 using a color liquid crystal instead of the spectrum display shown in FIG. By changing the luminance of the image portion of the corresponding musical instrument in accordance with the amplitude of the fundamental frequency of each musical instrument output from the pass filter, it is possible to display the musical instrument being played. In this case, various display methods can be adopted, such as changing the luminance according to the intensity of the output signal of each band-pass filter, or increasing the luminance to a predetermined level only when a predetermined threshold is exceeded. .
[0066]
Further, in still another embodiment, an image of the drum set is displayed on the display unit 9 instead of the spectrum display by the bar graph, and when the signal amplitude of the frequency band corresponding to each musical instrument exceeds a predetermined threshold, The brightness of the corresponding instrument part in the image of the drum set can be increased, the color can be displayed differently, or the brightness of the corresponding instrument part can be changed according to the signal amplitude in the frequency band corresponding to each instrument. May be displayed.
[0067]
In addition, using an illumination device for decoration mounted on an automobile, an output signal of a plurality of bandpass filters constituting the filter unit 5 of the frequency spectrum display device 1 is input to the illumination device, or the output signal of the frequency spectrum display device 1A is used. By inputting a plurality of analog signals for each frequency band generated from the output signal from the A / D conversion unit 6 to the lighting device, the lighting device for decoration blinks according to a change in the spectrum of the acoustic signal from the sound source 12. And the brightness can be changed. Signals to be input to the lighting equipment are subjected to necessary processing such as amplification, waveform shaping, and low-pass filtering according to the electrical characteristics of the signal input unit of the lighting equipment.
[0068]
Further, in still another embodiment, the light emitting means corresponding to each musical instrument constituting the drum set is arranged in the corresponding component of the electric drum, and the filter unit of the frequency spectrum display device 1 is provided in the same manner as described above. 5 is input to the light emitting means, or a signal obtained by converting an output signal from the A / D converter 6 of the frequency spectrum display device 1A into a plurality of analog signals for each frequency band is supplied to the light emitting means. By inputting, when a musical performance of a drum is input from the sound source 12, it becomes possible to blink the light emitting means arranged on each corresponding component of the electric drum according to the output of each musical instrument sound.
[0069]
In another embodiment, with respect to a sound from the sound source 12, a time change of a signal in a frequency band specific to a designated musical instrument is acquired, and a MIDI channel and a timbre key corresponding to each musical instrument are played according to the MIDI standard. The timing may be converted to MIDI data (for example, SMF (Standard MIDI Files) format). According to the MIDI standard, for example, in the case of a drum set, the number of MIDI channels is ten, and the tone key is determined to a predetermined value by a musical instrument of the drum set. For example, tone keys in the closed, pedal, and open states of the hi-hat cymbal are 42, 44, and 46, respectively. Therefore, the channel number and the tone color key are recorded in the recording unit 4 in correspondence with the musical instruments in the table shown in FIG. 7, and the channel number corresponding to the musical instrument designated in FIG. A MIDI channel message may be generated by setting a note-on or note-off code as the upper 4 bits of the status byte in accordance with the timing of increasing or decreasing the signal in the frequency band corresponding to the musical instrument.
[0070]
In another embodiment, note information (a code representing a scale) corresponding to the frequency band of the musical instrument is recorded in advance in the recording unit 4 in association with the musical instrument in the table shown in FIG. 7, for example. For a sound from the sound source 12, a time change of a signal in a frequency band peculiar to the designated musical instrument is obtained, and note information corresponding to the frequency band of each musical instrument and a signal output timing are associated with each other and recorded in chronological order. You may do so. Thereby, it is possible to automatically generate the musical score of the musical instrument performance. For example, in order to generate a musical score for playing a drum set, it is necessary to write a predetermined musical note on a predetermined musical scale on a musical score determined for each percussion instrument based on recorded note information and a signal output timing. Just fine.
[0071]
The sound signal output from the sound source 12 is not limited to an analog signal, but may be a digital signal obtained by sampling an analog signal, encoded digital sound data such as a compact disk, or decoded digital sound data. It may be acoustic data. In that case, the A / D converter 6 can be omitted from the configuration of the frequency spectrum display devices 1 and 1A. When the audio signal output from the sound source 12 is encoded digital audio data, it is necessary to provide a decoding unit corresponding to the encoding method.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of a frequency spectrum display device according to Embodiment (1) of the present invention.
FIG. 2 is a flowchart showing a process performed by the frequency spectrum display device according to the embodiment (1).
FIG. 3 is a diagram showing a table in which correspondence between bandpass filter numbers, frequency symbols, ON / OFF settings of spectrum display, and center frequencies according to the embodiment (1) is recorded.
FIG. 4 is a diagram showing an example of an image displayed when a change in the setting of the spectrum display according to the embodiment (1) is received.
FIG. 5 is a diagram showing an example of an image displayed when ON / OFF of spectrum display and designation of a frequency are received according to the embodiment (1).
FIG. 6 is a diagram showing an example of an image displayed when receiving ON / OFF of spectrum display and designation of a musical instrument according to the embodiment (1).
FIG. 7 is a diagram showing a table in which correspondence between an instrument number, an instrument name, an instrument state name, ON / OFF setting of spectrum display, and a fundamental frequency according to the embodiment (1) is shown.
FIG. 8 is an image showing an example of a spectrum display according to Embodiment (1).
FIG. 9 is a block diagram showing a schematic configuration of a frequency spectrum display device according to Embodiment (2) of the present invention.
FIG. 10 is a flowchart showing a process performed by the frequency spectrum display device according to the embodiment (2).
11A is a diagram illustrating a digital data sequence immediately after sampling of an audio signal as a graph, and FIG. 11B is a diagram illustrating a vicinity including a specified frequency band by expanding a time axis. .
FIG. 12 is a diagram showing a spectrum display according to another embodiment, in which frequency bands for which designation of the spectrum display is not specified are displayed without leaving any space.
FIG. 13 is a diagram showing a spectrum display according to another embodiment, in which the vertical axis represents the frequency axis, the horizontal axis represents the time axis, and the signal intensity of each frequency band is displayed by luminance.
FIG. 14 is a diagram showing a spectrum display according to another embodiment in which spectra are displayed separately for each musical instrument.
FIG. 15 is a diagram showing a spectrum display according to another embodiment, which is displayed in different colors for each musical instrument.
[Explanation of symbols]
1, 1A frequency spectrum display device
2, 2a control unit (CPU)
3 memory
4 Recorder
5 Filter section
6 A / D converter
7 Clock signal generator
8 Video processing unit
9 Display
10 Operation unit
11 Internal bus
12 sound sources

Claims

Filter means for receiving the input of the acoustic signal and outputting a plurality of output signals each limited to a predetermined frequency band,
Filter control means for controlling the filter means;
Recording means for recording the output signal designation information for designating each of the output signals and the designated frequency band in association with each other,
Spectrum display means for displaying the signal strength of the output signal from the filter means,
A change unit that receives the change instruction of the designated frequency band and changes the designated frequency band corresponding to the change instruction,
The filter control unit controls the filter unit such that a frequency band of an output signal specified by the output signal specification information is the specified frequency band corresponding to the output signal specification information,
The frequency spectrum display device, wherein the spectrum display means displays the signal strength of the output signal in correspondence with the designated frequency band corresponding to the output signal.

The recording means further records display designation information for designating whether to perform spectrum display in association with the output signal designation information,
The change unit receives a display designation information change instruction, and changes the display designation information corresponding to the change instruction;
The spectrum display means displays the signal strength of an output signal corresponding to the display designation information set to perform spectrum display in association with the designated frequency band corresponding to the output signal. The frequency spectrum display device according to claim 1, wherein

The recording means further records instrument designation information for designating an instrument in association with the output signal designation information,
The change means receives the instruction to change the display designation information by presenting the instrument designation information, and changes the display designation information corresponding to the change instruction,
3. The frequency spectrum display device according to claim 1, wherein the designated frequency band is a frequency band of a sound mainly generated by the musical instrument.

Frequency conversion means for receiving an input of an acoustic signal and outputting a frequency spectrum,
Recording means for recording in correspondence with a frequency band of a sound mainly generated by the musical instrument, and musical instrument designation information for designating the musical instrument to be displayed in the spectrum;
A change unit that receives an instruction to change the instrument designation information and changes the instrument designation information corresponding to the change instruction,
Peak detection and recording means for detecting a peak from the frequency spectrum within the frequency band corresponding to the musical instrument designation information designated as the target of spectrum display, and recording the peak value;
Periodicity determination means that is repeatedly detected at predetermined time intervals, and determines whether the series of peak values recorded in chronological order has periodicity,
Spectrum display means for displaying the frequency spectrum,
When the series of peak values recorded in a time series has a periodicity, the spectrum display unit associates a signal strength of a frequency corresponding to the frequency band in the frequency spectrum with the frequency band. A frequency spectrum display device characterized in that the frequency spectrum is displayed.

The recording unit further records reference periodicity information corresponding to a music genre,
The periodicity judging means judges the periodicity by determining whether or not there is a part that matches or approximates the reference periodicity information in the series of peak values recorded in time series. The frequency spectrum display device according to claim 4, wherein

The peak detection recording means,
If it is determined that the series of peak values recorded in time series has periodicity, record the frequency of the detected peak,
6. The frequency spectrum display device according to claim 4, wherein the frequency of the peak is used when determining the periodicity of the series of peak values recorded in a time series thereafter.

Instrument image display means for displaying an image of the instrument,
4. The apparatus according to claim 3, wherein the spectrum display unit changes at least one of a color and a luminance of an image of the musical instrument corresponding to the musical instrument designation information in accordance with the signal strength corresponding to the musical instrument designation information. Or the frequency spectrum display device according to claim 4.

7. The apparatus according to claim 1, wherein the spectrum display unit displays the signal intensities designated as spectrum display targets as bar graphs arranged at equal intervals and having a predetermined width designated by a user. The frequency spectrum display device according to any one of the above items.

The spectrum display means displays the signal strength designated as a target of spectrum display, a timing at which the signal strength exceeds a predetermined threshold value, and a frequency band in association with each other as a graph. Item 7. The frequency spectrum display device according to any one of Items 1 to 6.

7. The spectrum display device according to claim 3, wherein said spectrum display means displays a spectrum corresponding to at least one piece of said musical instrument designation information separately from an entire spectrum or a spectrum corresponding to said other musical instrument designation information. A frequency spectrum display device according to any one of the preceding claims.

The frequency spectrum display device according to claim 1, further comprising an electric signal output unit that outputs an electric signal according to the signal strength.

Connected to lighting equipment for car decoration,
12. The frequency spectrum display device according to claim 11, wherein the lighting devices change luminance according to the input electric signal.

A plurality of light emitting means corresponding to each of the musical instrument designation information,
The instrument designation information corresponds to an instrument constituting a drum set,
12. The frequency spectrum display device according to claim 11, wherein said light emitting means changes luminance according to the input electric signal.

MIDI information recording means for recording a MIDI channel and a MIDI timbre key in correspondence with the musical instrument designation information;
MIDI data generation for generating MIDI data based on the MIDI channel and the MIDI tone key corresponding to the musical instrument designation information, a signal strength corresponding to the musical instrument designation information, and a timing at which the signal strength exceeds a predetermined threshold. The frequency spectrum display device according to any one of claims 3 to 13, further comprising means.

Note information recording means for recording note information in association with the musical instrument designation information,
Music score generating means for generating a music score based on the musical note information corresponding to the musical instrument designation information, a signal intensity corresponding to the musical instrument designation information, and a timing at which the signal intensity exceeds a predetermined threshold. The frequency spectrum display device according to any one of claims 3 to 14, wherein: