JP2004163767A

JP2004163767A - Environment synchronization control system, control method, and program

Info

Publication number: JP2004163767A
Application number: JP2002331229A
Authority: JP
Inventors: Shinji Asano; 真至浅野
Original assignee: NEC AccessTechnica Ltd
Current assignee: NEC Platforms Ltd
Priority date: 2002-11-14
Filing date: 2002-11-14
Publication date: 2004-06-10
Anticipated expiration: 2022-11-14
Also published as: JP3908649B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a system, a method, etc., for environment synchronization control that can perform environment control over lighting etc., synchronized with music tone. <P>SOLUTION: A chord analysis part 12 performs FFT processing of a sound signal to decide a fundamental component and a harmonic component through frequency analysis. The chord analysis part 12 decides chord constitution from analytic data to find the intensity ratio of the harmonic component to the fundamental component. A music tone information generation part 13 generates music tone information expressing the music tone of a musical sound according to the information from the chord analysis part 12 and provides the music tone information for an environment synchronization control part 14. The environment synchronization control part 14 reads out set conditions of a lighting unit 17 corresponding to the music tone information and an air-conditioning device 18 and generates a control signal for placing the devices under the set conditions. The environment synchronization control part 14 sends the control signal to a lighting adjustment part 15 and an air-conditioning control part 16 to control the lighting unit 17 and air-conditioning device 18 to meet the set conditions synchronized with the music tone. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、音楽に対応させて室内の照明、空調等の聴環境を制御するシステム及び方法等に関する。
【０００２】
【従来の技術】
演奏会の会場、及びカラオケルーム等において、演奏される音楽に対応させて、室内の照明を自動的に変化させ、演出効果を高めることが行われている。
例えば、特許文献１によれば、カラオケ装置の音量レベルに応じて周囲の照明を変化させる装置が提案されている。また、特許文献２によれば、楽音の低周波成分の繁忙度（ピーク成分とレベル変動分との比）により、楽曲のジャンルを分類し、楽曲のジャンルに対応させて予め設定された照明パターンで照明装置を制御するカラオケ装置が提案されている。
【０００３】
【特許文献１】
特開平１０−２０８８８６号公報
【特許文献２】
特開平６−１９４８８号公報
【０００４】
しかし、音量は、楽曲の曲調を反映するものではない。そのため、楽曲の音量レベルを判定基準として照明を変化させる場合には、演奏される音楽の曲調と調和のとれた制御を行うことはできない。また、低周波成分は、例えば、ベースやドラム等のリズムパートの楽器の楽音から主として構成され、楽曲の曲調そのものを表現するものではない。従って、音源の低周波成分を判定基準として照明を変化させる場合にも、必ずしも演奏される音楽と調和のとれた制御を行うことができるとは限らない。
【０００５】
音楽の三要素は、リズム、旋律、ハーモニーであり、特に旋律の和音（コード）は、短調として構成されるか、若しくは長調であるかにより、楽曲の曲調に大きな影響を与える。例えば、短調の曲は、暗くもの悲しいイメージを、逆に長調の曲は、明るく快活な印象を聴取者に与える。
【０００６】
そこで、特許文献３には、演奏中の楽曲の和音を電気的に検出し、その検出結果に応じた色に照明を制御する装置が提案されている。
【０００７】
【特許文献３】
特開昭６１−１３５０９３号公報
【０００８】
【発明が解決しようとする課題】
しかし、上記の場合には、和音を構成する各基音を検出しているので、基音の整数倍の周波数を有する倍音については考慮されていない。低次の倍音成分は、基音と共に聴感上のピッチに影響し、高次の倍音成分は、同じ和音であっても、その音色感を異ならせる。即ち、従来の基音に基づく和音検出においては、微妙な曲調の変化を検出することができず、これに基づいて照明の制御を行うと、曲調とのずれを生じることがあるという問題があった。換言すれば、基音のみに基づく和音検出では、曲調と同期した照明制御を行うことができないという欠点があった。
【０００９】
本発明は、上記実状に鑑みてなされたもので、曲調と同期した環境制御を行うことができる環境同期制御システム及び方法等を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するため、本発明の第１の観点に係る環境同期制御システムは、
楽音の周波数に基づいて和音を検出する和音検出部と、
当該和音を構成する基音の整数倍の周波数を有する倍音の強度を検出する倍音検出部と、
前記和音検出部が検出した和音と、前記倍音検出部が検出した倍音と前記基音との強度比と、に基づいて楽音の調子を表す曲調を判別し、当該曲調を示す曲調情報を生成する曲調情報生成部と、
前記曲調情報生成部で生成した曲調情報に基づいて、所定の聴環境を実現する環境装置を制御して、曲調に同期させて聴環境を調整する環境制御部と、
を備えることを特徴とする。
【００１１】
上記目的を達成するため、本発明の第２の観点に係る環境同期制御システムは、
音源から供給される楽音に同期して、聴環境を制御するシステムであって、
所定の聴環境を実現する環境装置を調整する装置調整部と、
音源から供給される楽音を音響信号に変換する音響信号変換部と、
前記音響信号変換部で変換された音響信号の周波数に基づいて和音を構成する基音と当該基音の整数倍の周波数を有する倍音の強度とを検出して、前記和音と、前記倍音の前記基音に対する強度比と、に基づいて曲調を判別し、楽音の曲調を表す曲調情報を生成する曲調情報生成部と、
前記曲調情報生成部が生成した曲調情報に基づいて、前記装置調整部を制御して、音源から供給される楽音と同期して、聴環境を調節する環境調節部と、
を備えることを特徴とする。
【００１２】
環境装置は、照明装置と空調装置の少なくとも一方を含み、装置調整部は、照明装置の色及び／又は明るさと、空調装置の温度及び／又は風量の少なくとも１つを調整することができる。
【００１３】
上記目的を達成するため、本発明の第３の観点に係る環境同期制御方法は、
音源から供給される楽音に同期して、聴環境を制御する方法であって、
音源からの楽音をピックアップして音響信号に変換する信号変換ステップと、前記信号変換ステップにて変換された音響信号の周波数に基づいて和音を構成する基音と当該基音の整数倍の周波数を有する倍音の強度とを検出する和音検出ステップと、
前記和音と、前記倍音の前記基音に対する強度比と、に基づいて曲調を判別し、楽音の曲調を表す曲調情報を生成する曲調情報生成ステップと、
前記曲調情報生成ステップにて生成した曲調情報に基づいて、照明装置と空調装置の少なくとも一方を制御して、音源から供給される楽音と同期して、聴環境を調節する環境調節ステップと、
を備えることを特徴とする。
【００１４】
【発明の実施の形態】
本発明の実施の形態にかかる環境同期制御システム等について、以下図面を参照して説明する。
【００１５】
図１に本発明の実施の形態にかかる環境同期制御システム１のブロック図を示す。
環境同期制御システム１は、音響信号変換部１１と、和音分析部１２と、曲調情報生成部１３と、環境同期制御部１４と、照明調整部１５と、空調制御部１６と、照明装置１７と、空調装置１８とから構成される。
【００１６】
音響信号変換部１１は、マイクロホンを備え、音源からの楽音をピックアップして音響信号に変換する。音響信号変換部１１は、電気信号として出力される楽器の楽音を直接ライン入力するためのライン入力部を備えてもよい。
【００１７】
和音分析部１２は、ＦＦＴ処理部、及び和音判定部を備える。
ＦＦＴ処理部は、音響信号変換部１１からの音響信号に、ＦＦＴ（高速フーリエ変換）処理を施して、音響信号を周波数分析して、基音と倍音（基音の整数倍の周波数を有する成分）とを判別する。ＦＦＴ処理部は、判別した基音信号を和音判定部に送信する。また、ＦＦＴ処理部は、倍音成分と基音成分との強度比（振幅比）を求める。
【００１８】
図２は、Ａメジャーの和音をＦＦＴ処理した周波数スペクトルの一例を示す模式図である。図２には、説明の簡略化のために、Ａメジャーの和音を構成する基音（Ｃ，Ｅ，Ａ）と５次までの倍音（２Ｃ、３Ｃ、４Ｃ、５Ｃ、２Ｅ、３Ｅ、４Ｅ、５Ｅ、２Ａ、３Ａ、４Ａ、５Ａ）の周波数スペクトルが示されている。
【００１９】
まず、ＦＦＴ処理部は、判別した基音成分Ａ（ここでは、周波数データに基づいて３つの基音のうちで根音である基音Ａについて着目する）の振幅Ｌ_１を求める。次いで、ＦＦＴ処理部は、判別した倍音成分のうち基音Ａの倍音成分２Ａ、３Ａ、４Ａ、５Ａの周波数スペクトルの振幅Ｌ_２、Ｌ_３、Ｌ_４、Ｌ_５を合計して総振幅Ｌ_ｂを求める。一般化すると、ｋ次の倍音成分の振幅をＬ_ｋとして、ｎ次の倍音成分までの振幅を合計した総振幅Ｌ_ｂは、式１で示される。さらに、ＦＦＴ処理部は、式２に示すように、ｎ次までの倍音成分の総振幅Ｌ_ｂと基音成分の振幅Ｌ_１との比Ｌ_ｒを求める。
【００２０】
【数１】

【数２】
Ｌ_ｒ＝Ｌ_ｂ／Ｌ_１
【００２１】
和音判定部は、所定の根音（ルート）に対する、メジャー（根音・長３度・短３度の三和音）、マイナー（根音・短３度・長３度の三和音）、ディミニッシュ（ｄｉｍｉｎｉｓｈ、根音・短３度・短３度の三和音）、オーグメント（ａｕｇｍｅｎｔ、根音・長３度・長３度の三和音）、セブンス（三和音に７度の音を加えた四和音）等の各種和音構成を予め和音構成テーブルとして記憶している。図３に和音構成テーブルの例を示す。図３に示すように、和音構成テーブルには、和音構成と、和音を構成する基音の周波数とが対応付けられている。和音判定部は、基音信号を受信すると、受信した基音信号の周波数を、予め記憶している和音構成の周波数と比較することにより、受信した基音信号に対する和音構成を判別する。
【００２２】
和音分析部１２は、ＦＦＴ処理部で求めた倍音成分と基音成分との強度比Ｌ_ｒと、和音判定部で判別した和音構成とを、曲調情報生成部１３に提供する。
【００２３】
曲調情報生成部１３は、和音構成と、倍音成分と基音成分との強度比Ｌ_ｒと、に対応させた曲調情報を曲調情報テーブルとして記憶する。ここで、曲調情報とは、メジャーの和音構成であれば、明朗な感じを、マイナーの和音構成であれば、暗く沈んだ感じを表現するように照明装置及び空調装置の稼動状態（設定条件）を示す情報である。
【００２４】
図４に、曲調情報テーブルの例を示す。曲調情報テーブルには、Ｃ音からＢ音までの１２の根音に対して、メジャー、マイナーの和音構成が曲調カラムに記憶されている。例えば、根音Ｃについて、メジャーであれば、Ｃ、Ｅ、Ｇの和音構成が、マイナーであれば、Ｃ、Ｅ♭、Ｇの和音構成が、曲調カラムに記憶されている。さらに、各和音構成に対応させて、それぞれの和音構成を示すコード名がコードカラムに記憶されている。
【００２５】
また、それぞれの根音の各和音構成に対して倍音カラムが設けられている。この倍音カラムには、前述した倍音成分の基音成分に対する強度比Ｌ_ｒに対応して、１〜５の数値が設定される。数値１は、倍音成分が全くないか、非常に少ない場合、数値２は、倍音成分が少ない場合、数値３は、倍音成分が標準的な場合、数値４は、倍音成分が多い場合、数値５は、倍音成分が非常に多い場合に、それぞれ対応する。例えば、倍音カラムの数値は、曲調情報生成部が、取得したＬ_ｒの値に対して、０≦Ｌ_ｒ＜２であれば数値１を、２≦Ｌ_ｒ＜５であれば数値２を、５≦Ｌ_ｒ＜１０であれば数値３を、１０≦Ｌ_ｒ＜２０であれば数値４を、２０≦Ｌ_ｒであれば数値５を、それぞれ選択するように設定される。この数値を相対倍音強度と呼ぶことにする。
【００２６】
曲調情報生成部１３は、和音分析部１２から、和音構成と、倍音成分と基音成分との強度比Ｌ_ｒとを取得して、図４に示す曲調情報テーブルから、受信した和音構成を示すコード名、及び、相対倍音強度を読み出し、これらから構成される曲調情報を生成する。
【００２７】
曲調情報生成部１３は、生成した曲調情報を、環境同期制御部１４に提供する。
【００２８】
環境同期制御部１４は、図５に示すような、コード名と、相対倍音強度とを、照明装置１７及び空調装置１８の設定条件と対応させた環境設定テーブルを記憶している。
【００２９】
ここで、図５を参照して、環境設定テーブルについて簡単に説明する。
【００３０】
まず、それぞれのコード名に対して相対倍音強度カラムが設けられている。この相対倍音強度カラムには、前述したように、倍音成分の基音成分に対する強度比Ｌ_ｒに対応して設定される、１〜５の相対倍音強度の数値が記憶されている。後述するように、この相対倍音強度に、照明装置１７の明度レベルと、空調装置１８の風量レベルとが、それぞれ対応付けされている。
【００３１】
次に、設定条件の色カラムには、各コード名に対応する曲調を表現するための照明装置１７の色が設定されている。例えば、Ｃメジャー（Ｃ_Ｍ）の場合には、赤、Ｃマイナー（Ｃ_ｍ）の場合には、青が設定される。これらの色を基準にして、音階が上がるにつれて、メジャーの場合には、所定割合で緑及び青を混色した色が、マイナーの場合には、所定割合で緑及び赤を混色した色が、それぞれ設定されている。
【００３２】
設定条件の明度カラムには、相対倍音強度カラムの数値に対応させて、照明装置の明度レベルが１〜５の５段階で設定される。数値１が最も暗く、数値が増加するにつれて明るさが増し、数値５が最も明るい。
【００３３】
設定条件の温度カラムには、各コード名に対応する曲調を表現するための空調装置の温度が設定される。例えば、Ｃメジャー（Ｃ_Ｍ）の場合には、２４℃が設定され、音階が上がるにつれて０．５℃ずつ設定温度も上昇し、Ｂメジャー（Ｂ_Ｍ）の場合には、２９．５℃に設定される。一方、Ｃマイナー（Ｃ_ｍ）の場合には、１８℃が設定され、音階が上がるにつれて０．５℃ずつ設定温度も上昇し、Ｂマイナー（Ｂ_ｍ）の場合には、２３．５℃に設定される。
【００３４】
最後に、設定条件の風量カラムには、相対倍音強度カラムの数値に対応させて、空調装置の風量レベルが１〜５の５段階で設定される。数値１が最も小さく、数値が増加するにつれて風量も増し、数値５が最も風量が大きい。
【００３５】
例えば、環境同期制御部１４は、Ｃメジャー（Ｃ_Ｍ）の和音構成（コード名）を取得すると、照明装置１７に対しては、暖かく明るい色である赤色を指定する制御信号を、空調装置１８に対しては、視聴者が暖かいと感じる温度である２４℃に設定する制御信号を、それぞれ生成する。
【００３６】
このとき、強度比Ｌ_ｒは、和音構成で示される曲調を表現するための色及び温度を、さらに精度良く設定し、あるいはこれらの環境要素を強調するように、以下に述べる効果を発揮する。図４の曲調情報テーブル及び図５の環境設定テーブルに基づいて、例えば、倍音成分が全くない場合には、環境同期制御部１４は、照明装置１７に対して、同じ色であっても明るさ（明度）の小さい（明度レベル１）色を発光させ、空調装置１８に対しては、最少の風量（風量レベル１）を発生させるように制御する。図５に示すように、相対倍音強度が増加する（強度比Ｌ_ｒが増加する）のに対応して、明度レベルを大きく、また、風量レベルを大きくする制御信号がそれぞれ生成される。
【００３７】
前述したように、環境同期制御部１４は、照明装置１７及び空調装置１８を曲調情報に対応させて、図５の環境設定テーブルで指定された設定条件にするための制御信号を生成する。環境同期制御部１４は、生成した制御信号を、照明調整部１５と、空調制御部１６とにそれぞれ送信する。環境同期制御部１４は、照明調整部１５、空調制御部１６を介して、照明装置１７の色及び明度、空調装置１８の温度及び風量をそれぞれ制御する。
【００３８】
照明調整部１５は、照明装置１７の赤、青、緑（光の３原色を構成する）のランプ群の発光度を調整するアンプ部とランプ出力（ランプの明度）を調整する明度調整部とを備える。
【００３９】
アンプ部は、照明装置１７のランプ群にぞれぞれ、各ランプの発光度を調整するための可変ゲイン信号を供給する。各ランプは、可変ゲイン信号に対応する所望の発光度でそれぞれ発光するので、これらの光が重なる部分は任意の色に設定され得る。そのため、照明調整部１５は、発光度を調整した各ランプの光を集光させて重畳することにより、自在な色を出現させることができる。
【００４０】
明度調整部は、電源装置を備え、この電源装置から所望の電力を照明装置１７の各ランプに供給して、ランプ群を所定の出力で発光させ、その明度を調整する。
【００４１】
空調制御部１６は、空調装置１８の冷媒の循環量及びファンの回転数を制御する。冷媒の循環量は温度に対応し、ファンの回転数は風量に対応する。
【００４２】
照明装置１７は、赤、青、緑のランプ群（発光部）、光反射部、集光・拡散レンズ等を備える。照明装置１７は、照明調整部１５により制御され、任意の色及び明度の光を生成する。
【００４３】
空調装置１８は、内部ファンを備える冷媒循環式の空調機器であり、冷媒の断熱圧縮及び断熱膨張により、空調効果を発揮する。空調装置１８は、空調制御部１６により制御され、所定の温度の風を任意の風量で発生する。
【００４４】
（動作）
以上説明した環境同期制御システム１の各構成部分の動作について、以下に説明する。
コンサートホールでピアノが演奏されている場合を例として、図６に示すフローチャートを用いて各構成部分の動作を説明する。この例においては、最初に、ピアノからＡメジャーの和音と、倍音成分の基音に対する強度比Ｌ_ｒ＝１５に対応する強度の倍音成分とを含む楽音が供給されたとする。
【００４５】
まず、音響信号変換部１１は、ピアノからの楽音をマイクロホンでピックアップし、音響信号に変換する（ステップＳ１０１）。音響信号変換部１１は、変換した音響信号を和音分析部１２に送信する（ステップＳ１０２）。
【００４６】
和音分析部１２は、受信した音響信号を一旦バッファに取り込み、所定のタイミングで時系列の音響信号に窓関数をかけて、フレームとして取り出す。この例において、このフレームには、Ａメジャーを構成する和音の音響信号が含まれる。和音分析部１２のＦＦＴ処理部は、取り出したフレームに含まれる音響信号をＦＦＴ処理する（ステップＳ１０３）。ＦＦＴ処理部は、図２に示す分析データから、Ｃ，Ｅ，Ａの基音成分と、これらの周波数の整数倍の周波数を有する、２Ｃ、３Ｃ、４Ｃ・・・、２Ｅ、３Ｅ、４Ｅ・・・、２Ａ、３Ａ、４Ａ・・・、の倍音成分とを周波数に基づいて判別する（ステップＳ１０４）。ＦＦＴ処理部は、判別した基音成分の周波数データを和音判定部に送信する。
【００４７】
和音分析部１２の和音判定部は、図３に示す和音構成テーブルを参照して、ＦＦＴ処理部から送信された基音成分の周波数データに基づいて、記憶している基音の周波数の組合せに対応する和音構成を判別する（ステップＳ１０５）。この例において、和音判定部は、当該基音はＡメジャーの和音構成であると判別する。和音分析部１２は、判別した和音構成を示す和音構成情報を曲調情報生成部１３に提供する（ステップＳ１０６）。
【００４８】
一方、ＦＦＴ処理部は、判別した基音成分の振幅Ｌ_１を求める。また、ＦＦＴ処理部は、判別した倍音成分のうち基音Ａの倍音成分２Ａ、３Ａ、４Ａ・・・の周波数スペクトルの振幅Ｌ_２、Ｌ_３、Ｌ_４、・・・を合計した総振幅Ｌ_ｂを求める。次いで、ＦＦＴ処理部は、倍音成分の総振幅Ｌ_ｂと基音成分の振幅Ｌ_１との比Ｌ_ｒを求める（ステップＳ１０７）。この例において、求めたＬ_ｒの値は１５である。
【００４９】
和音分析部１２は、ＦＦＴ処理部が求めたＬ_ｒを曲調情報生成部１３に提供する（ステップＳ１０８）。
【００５０】
曲調情報生成部１３は、和音分析部１２から和音構成情報を取得すると、図４に示す曲調情報テーブルを参照して、取得した和音構成情報に対応するコード名を読み出す。さらに、曲調情報生成部１３は、和音分析部１２から倍音成分と基音成分との強度比Ｌ_ｒを取得すると、図４の曲調情報テーブルを参照して、取得した倍音成分の強度比Ｌ_ｒに対応する倍音カラムの数値（相対倍音強度）を読み出す。
【００５１】
曲調情報生成部１３は、読み出したコード名と相対倍音強度とから曲調を表す基本情報である曲調情報を生成する（ステップＳ１０９）。曲調情報生成部１３は、この曲調情報を環境同期制御部１４に提供する（ステップＳ１１０）。この例において、コード名としてＡ_Ｍ、相対倍音強度として数値４がそれぞれ選択され、曲調情報を構成する。
【００５２】
環境同期制御部１４は、曲調情報生成部１３から曲調情報を取得すると、図５に示す環境設定テーブルを参照して、各設定条件カラムから、曲調情報に対応する、照明装置１７の色及び明度レベル、空調装置１８の温度及び風量レベルをそれぞれ読み出す（ステップＳ１１１）。この例においては、コード名がＡ_Ｍであり、相対倍音強度が４であるので、これらの曲調情報に対応する環境設定条件は、橙色で、明度レベル４、２８．５℃の温度で、風量レベル４となる。
【００５３】
環境同期制御部１４は、読み出した設定条件に対応させて、照明装置１７及び空調装置１８を駆動するための制御信号を生成し（ステップＳ１１２）、当該制御信号を、照明調整部１５、空調制御部１６にそれぞれ送信する（ステップＳ１１３）。
【００５４】
照明調整部１５は、環境同期制御部１４からの制御信号に基づいて、アンプ部を制御して、設定された色になるように、照明装置１７の赤、青、緑のランプ群にぞれぞれ、各ランプの発光度を調整するための可変ゲイン信号を供給する。これにより、照明装置１７は、各ランプの色を集光させて重畳することにより、設定された色を出現させる。
【００５５】
また、照明調整部１５は、明度調整部を制御して、明度調整部の電源装置から、照明装置１７のランプ群の明度レベルを設定値に調整するための電力をランプ群に供給する。このようにして、照明調整部１５は、設定された色であって、設定された明度レベルの光を出現させる（ステップＳ１１４）。この例においては、橙色で、明度レベルが４の光が発生される。
【００５６】
空調制御部１６は、環境同期制御部１４からの制御信号に基づいて、空調装置１８の冷媒循環量を調節して、室内温度を設定温度になるように調節する。また、空調制御部１６は、空調装置１８の内部ファンの駆動を制御して、設定された風量レベルとなるように吹き出し風量を調整する。このようにして、空調制御部１６は、温度及び風量レベルが設定された条件となるように、空調装置１８を稼動させる（ステップＳ１１５）。この例においては、温度が２８．５℃で、風量レベルが４に制御される。
【００５７】
以上説明したように、本発明の実施の形態によれば、演奏される楽器の楽音を音響信号として取得し、ＦＦＴ処理により、この音響信号を周波数分析して、所定の和音を構成する基音と、基音の整数倍の周波数を有する倍音成分とを判別する。判別した基音の構成する和音と、倍音成分の基音成分に対する強度比Ｌ_ｒとから、演奏される楽音の曲調を表現する曲調情報を生成する。環境同期制御部が、この曲調情報に基づいて、照明装置の色及び明度レベル、空調装置の温度及び風量レベルを決定し、決定した設定条件となるように、照明装置及び空調装置を制御する。
【００５８】
即ち、本実施の形態の環境同期制御システムは、和音構成及び倍音成分の強度比Ｌ_ｒに基づいて楽音の曲調を表す曲調情報を生成し、この曲調情報に対応するように照明装置及び空調装置の設定条件を選択し、提供される音楽に同期させた環境制御を実現する。従って、和音構成のみならず、倍音成分が曲調に与える効果を考慮することにより、従来よりも、聴衆の聴感に適合する音楽鑑賞のための環境制御を精度良く実行することが可能となる。
【００５９】
本発明は上記の実施の形態に限定されず、その応用及び変形等は任意である。例えば、上記実施の形態では、ＦＦＴ処理により、基音成分と倍音成分とを同時に判別すると説明したが、基音成分と倍音成分との判別はＦＦＴ処理に限定されず任意である。例えば、所定の基音に対応するバンドパスフィルタで基音のみを抽出し、残りの音響信号を周波数分析することにより、倍音成分を検出するようにしてもよい。
【００６０】
上記実施の形態では、時系列的な音響信号に、１つの和音が含まれるように窓関数をかけてフレームとして切り出し、このフレームに対してＦＦＴ処理、及び後続の処理を行うと説明した。音響信号をフレームとして切り出すタイミング、及びフレーム長さ等は任意である。例えば、１つの和音若しくは旋律音程ごとではなく、１小節ごと、４小節ごとであっても良く、この場合には、平均化した曲調情報を使用して、照明装置及び空調装置を制御するようにすることもできる。また、適当な時定数を有する遅延回路を使用して、例えば、１小節内の旋律音程から和音構成を判定するようにしてもよい。この場合には、分散和音も曲調情報に反映できるという利点がある。
【００６１】
上記実施の形態では、倍音成分の振幅を所定の倍音成分（２次〜ｎ次）まで合計すると説明したが、例えば、聴感上の音のピッチに影響する低次の倍音成分までの振幅のみを合計してＬ_ｂを求めても良い。あるいは、音色に影響を及ぼす所定次数以上の高次の倍音成分（高調波成分）に着目して、それらの成分の振幅を合計してＬ_ｂを求めても良い。
【００６２】
上記実施の形態では、基音成分と倍音成分との強度比は、ＦＦＴ処理された周波数スペクトルの各周波数成分の振幅に基づいて求めると説明したが、基音成分と倍音成分との強度比は、振幅の比には限定されない。音の強さを表すパラメータを用いた比率であれば任意である。例えば、音量センサを利用した音量値を使用することもできる。
【００６３】
上記実施の形態では、曲調情報は、メジャー及びマイナーの和音構成と相対倍音強度とから構成され、環境設定条件は、曲調情報に対応する色、明度、温度、風量から構成されると説明した。しかし、曲調情報テーブルの和音コードは一例であり、メジャー及びマイナーの和音構成に限定されるものではなく、セブンス、ディミニッシュ等これら以外の各種和音構成を含むことができる。また、環境設定条件も、色、明度、温度、風量に限定されず、曲調を表現できる（曲調と対応付け可能な）環境要素であれば良い。
【００６４】
上記実施の形態では、照明装置は、赤、青、緑の３原色のランプ群を備えると説明したが、発光部はランプに限定されず、ＬＥＤ（発光ダイオード、ｌｉｇｈｔｅｍｉｔｔｉｎｇｄｉｏｄｅ）、ＬＣＤ（液晶、ｌｉｑｕｉｄｃｒｙｓｔａｌｌｉｎｅｄｅｖｉｃｅ）、有機ＥＬ（エレクトロルミネッセンス、ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）等が使用可能である。
【００６５】
上記実施の形態では、空調装置は、冷媒循環式であると説明したが、任意の空調装置が使用可能であり、例えば、ヒートポンプ式、燃料電池式等の空調装置であってもよい。
【００６６】
上記実施の形態では、倍音成分の基音成分に対する強度比は、５段階の相対倍音強度として曲調情報を構成し、この相対倍音強度に対応させて、環境同期制御部が、照明装置の明度及び空調装置の風量を制御すると説明した。しかし、倍音成分の基音成分に対する強度比に基づいて、照明装置及び空調装置を制御する方法は上記実施の形態に限定されず任意であり、また制御対象も明度及び風量のみに限定されない。
【００６７】
上記実施の形態で説明した環境同期制御システムの装置構成は、一例であり、これに限定されることなく、その装置構成は任意である。例えば、装置構成の一部又は全部を、パーソナルコンピュータ等から構成することもできる。この場合、
上記実施の形態で説明した装置各部は、コンピュータのハードウェア若しくはソフトウェアにより、その機能を実現可能である。例えば、コンピュータに、上記実施の形態で説明した動作の一部又は全部を実行させるためのプログラムを、コンピュータのハードディスク装置に、ＣＤ−ＲＯＭ等の記録媒体に、若しくはダウンロードによりコンピュータのメモリ等に、記憶させて使用しても良い。
【００６８】
上記実施の形態では、音源から供給される楽音を音響信号変換部で音響信号に変換し、この音響信号をそのまま和音分析部に供給すると説明したが、音響信号変換部で音響信号に変換した後に、音響信号に所定の加工処理を行う信号加工部を加えても良い。例えば、曲調の変化に乏しい楽音が提供される場合には、変換された音響信号に所定の増幅処理を、あるいは、録音等により高周波領域がカットされた楽音が供給される場合には、変換された音響信号に周波数補正処理を施すようにしても良い。なお、これらの加工処理は、音響信号に変換される前の楽音に対して直接行なうこともできる。
【００６９】
【発明の効果】
本発明によれば、曲調と同期した照明等の環境制御を行うことができる環境同期制御システム及び方法等を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかる環境同期制御システムの構成を示すブロック図である。
【図２】ＦＦＴ（高速フーリエ変換）処理された音響信号の周波数スペクトルの一例を表す模式図である。
【図３】本発明の実施の形態にかかる和音構成テーブルの一例である。
【図４】本発明の実施の形態にかかる曲調情報テーブルの一例である。
【図５】本発明の実施の形態にかかる環境設定テーブルの一例である。
【図６】本発明の実施の形態にかかる環境同期制御システムの動作を示すフローチャートである。
【符号の説明】
１環境同期制御システム
１１音響信号変換部
１２和音分析部
１３曲調情報生成部
１４環境同期制御部
１５照明調整部
１６空調制御部
１７照明装置
１８空調装置[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a system and a method for controlling a listening environment such as indoor lighting and air conditioning in accordance with music.
[0002]
[Prior art]
2. Description of the Related Art At a concert venue, a karaoke room, and the like, the lighting in the room is automatically changed in accordance with the music to be played, so as to enhance the effect.
For example, according to Patent Literature 1, there is proposed a device that changes ambient lighting according to the volume level of a karaoke device. According to Patent Document 2, the genre of music is classified according to the busyness of the low-frequency component of the musical tone (the ratio between the peak component and the level variation), and an illumination pattern set in advance corresponding to the genre of the music. There is proposed a karaoke apparatus for controlling a lighting device.
[0003]
[Patent Document 1]
JP-A-10-208886
[Patent Document 2]
JP-A-6-19488
[0004]
However, the volume does not reflect the tune of the music. Therefore, when the illumination is changed using the volume level of the music as a criterion, it is not possible to perform control in harmony with the tune of the music to be played. The low-frequency component is mainly composed of, for example, musical tones of a rhythm part instrument such as a bass and a drum, and does not represent the tune itself of the music. Therefore, even when the illumination is changed using the low frequency component of the sound source as a criterion, it is not always possible to perform control in harmony with the music to be played.
[0005]
The three elements of music are rhythm, melody, and harmony. In particular, the chord (chord) of the melody greatly affects the tune of the music depending on whether it is configured in minor or major. For example, a minor song gives a listener a dark and sad image, while a major song gives a bright and lively impression to the listener.
[0006]
Therefore, Patent Document 3 proposes an apparatus that electrically detects a chord of a musical piece being played and controls illumination to a color corresponding to the detection result.
[0007]
[Patent Document 3]
JP-A-61-135093
[0008]
[Problems to be solved by the invention]
However, in the above case, since each fundamental tone constituting the chord is detected, harmonics having an integral multiple frequency of the fundamental tone are not considered. The low-order harmonic components affect the audible pitch together with the fundamental tone, and the high-order harmonic components have different timbres even if they are the same chord. That is, in the conventional chord detection based on the fundamental tone, there is a problem that a delicate change in tune cannot be detected, and if the illumination is controlled based on this, a deviation from the tune may occur. . In other words, there is a disadvantage that the chord detection based on only the fundamental tone cannot perform illumination control synchronized with the tune.
[0009]
The present invention has been made in view of the above circumstances, and has as its object to provide an environment synchronization control system and method capable of performing environment control synchronized with a tune.
[0010]
[Means for Solving the Problems]
In order to achieve the above object, an environmental synchronization control system according to a first aspect of the present invention includes:
A chord detector that detects a chord based on the frequency of the musical tone;
An overtone detector that detects the intensity of an overtone having a frequency that is an integer multiple of the fundamental tone constituting the chord;
A tune representing a tone of a musical tone is determined based on a chord detected by the chord detection unit and an intensity ratio between the overtone detected by the overtone detection unit and the fundamental tone, and a tune that generates tune information indicating the tune is determined. An information generator,
An environment control unit that controls an environment device that implements a predetermined listening environment based on the music information generated by the music information generating unit, and adjusts the listening environment in synchronization with the music.
It is characterized by having.
[0011]
In order to achieve the above object, an environmental synchronization control system according to a second aspect of the present invention includes:
A system for controlling a listening environment in synchronization with a musical tone supplied from a sound source,
A device adjustment unit that adjusts an environment device that realizes a predetermined listening environment,
An audio signal conversion unit that converts a musical tone supplied from a sound source into an audio signal,
Based on the frequency of the acoustic signal converted by the acoustic signal conversion unit, detects a fundamental tone forming a chord and an intensity of an overtone having an integer multiple frequency of the fundamental tone, and detects the chord and the overtone with respect to the fundamental tone. A tune information generation unit that determines tune based on the intensity ratio and generates tune information representing the tune of the musical tone;
Based on the tune information generated by the tune information generation unit, controls the device adjustment unit, in synchronization with a musical tone supplied from a sound source, an environment adjustment unit that adjusts a listening environment,
It is characterized by having.
[0012]
The environmental device includes at least one of a lighting device and an air conditioner, and the device adjustment unit can adjust at least one of the color and / or brightness of the lighting device and the temperature and / or air volume of the air conditioner.
[0013]
To achieve the above object, an environmental synchronization control method according to a third aspect of the present invention includes:
A method of controlling a listening environment in synchronization with a musical tone supplied from a sound source,
A signal conversion step of picking up a tone from a sound source and converting it to an acoustic signal; a fundamental tone forming a chord based on the frequency of the acoustic signal converted in the signal conversion step; and a harmonic having an integral multiple of the fundamental tone. A chord detection step for detecting the intensity of the chord;
A melody information generating step of determining melody based on the chord and the intensity ratio of the overtone to the fundamental tone, and generating melody information representing the melody of the musical tone;
Based on the tune information generated in the tune information generation step, controlling at least one of the lighting device and the air conditioner, in synchronization with the musical tone supplied from the sound source, an environment adjustment step of adjusting the listening environment,
It is characterized by having.
[0014]
BEST MODE FOR CARRYING OUT THE INVENTION
An environment synchronization control system and the like according to an embodiment of the present invention will be described below with reference to the drawings.
[0015]
FIG. 1 shows a block diagram of an environmental synchronization control system 1 according to an embodiment of the present invention.
The environmental synchronization control system 1 includes an acoustic signal conversion unit 11, a chord analysis unit 12, a tune information generation unit 13, an environment synchronization control unit 14, a lighting adjustment unit 15, an air conditioning control unit 16, a lighting device 17, , And an air conditioner 18.
[0016]
The acoustic signal converter 11 includes a microphone, picks up a musical sound from a sound source, and converts the musical sound into an acoustic signal. The acoustic signal conversion unit 11 may include a line input unit for directly inputting a musical tone of a musical instrument output as an electric signal to a line.
[0017]
The chord analysis section 12 includes an FFT processing section and a chord determination section.
The FFT processing unit performs FFT (Fast Fourier Transform) processing on the audio signal from the audio signal conversion unit 11 to analyze the frequency of the audio signal, and calculates a fundamental tone and a harmonic (a component having a frequency that is an integral multiple of the fundamental tone). Is determined. The FFT processing unit transmits the determined fundamental tone signal to the chord determination unit. Further, the FFT processing section obtains an intensity ratio (amplitude ratio) between the harmonic component and the fundamental component.
[0018]
FIG. 2 is a schematic diagram illustrating an example of a frequency spectrum obtained by performing FFT processing on an A major chord. FIG. 2 shows, for the sake of simplicity, fundamental tones (C, E, A) and harmonics up to the fifth order (2C, 3C, 4C, 5C, 2E, 3E, 4E, 5E) constituting the chord of the A major. , 2A, 3A, 4A, 5A) are shown.
[0019]
First, the FFT processing unit determines the amplitude L of the determined fundamental tone component A (here, attention is paid to the fundamental tone A which is the root tone among the three fundamental tone based on the frequency data).₁Ask for. Next, the FFT processing unit determines the amplitude L of the frequency spectrum of the

harmonic components

2A, 3A, 4A, and 5A of the fundamental tone A among the determined harmonic components.₂, L₃, L₄, L₅And the total amplitude L_bAsk for. In general, the amplitude of the k-th harmonic component is L_kThe total amplitude L obtained by summing the amplitudes up to the nth harmonic component_bIs represented by Equation 1. Further, the FFT processing unit calculates the total amplitude L of harmonic components up to the n-th order as shown in Expression 2._bAnd the amplitude L of the fundamental tone component₁And the ratio L_rAsk for.
[0020]
(Equation 1)

(Equation 2)
L_r= L_b/ L₁
[0021]
The chord determining unit determines a major (root, major third, minor third triad), minor (root, minor third, major third triad), and diminished (root, major third minor third) for a predetermined root (root). dimish, root, minor third, minor third triad, augment (augment, root, major third, major third triad), Seventh (triad plus seventh harmonic) ) Are stored in advance as a chord configuration table. FIG. 3 shows an example of the chord configuration table. As shown in FIG. 3, the chord configuration table associates the chord configuration with the frequencies of the fundamental tones constituting the chord. Upon receiving the fundamental tone signal, the chord determining unit compares the frequency of the received fundamental tone signal with a previously stored frequency of the chord configuration to determine a chord configuration for the received fundamental tone signal.
[0022]
The chord analysis unit 12 calculates the intensity ratio L between the harmonic component and the fundamental component obtained by the FFT processing unit._rAnd the chord configuration determined by the chord determination unit are provided to the tune information generation unit 13.
[0023]
The tune information generation unit 13 calculates a chord configuration and an intensity ratio L between a harmonic component and a fundamental component._rIs stored as a tune information table. Here, the tune information is an operating state (setting condition) of the lighting device and the air conditioner so as to express a cheerful feeling in the case of a major chord configuration, and express a dark sinking feeling in the case of a minor chord configuration. Is information indicating
[0024]
FIG. 4 shows an example of the music information table. In the tune information table, major and minor chord configurations are stored in the tune column for twelve root tones from the C sound to the B sound. For example, for the root C, the chord configuration of C, E, and G is stored in the melody column if it is major, and the chord configuration of C, E ♭, and G is stored if it is minor. Further, a chord name indicating each chord configuration is stored in a chord column corresponding to each chord configuration.
[0025]
Also, a harmonic column is provided for each chord configuration of each root. In this overtone column, the intensity ratio L of the overtone component to the fundamental tone component is described._rAre set to numerical values 1 to 5. Numerical value 1 is when there is no or very few harmonic components, Numerical value 2 is when there are few harmonic components, Numerical value 3 is when the harmonic components are standard, Numerical value 4 is when the harmonic components are many, and Numerical value 5 Corresponds to the case where the number of harmonic components is very large. For example, the numerical value of the overtone column is the L obtained by the tune information generation unit._r0 ≦ L_rIf <2,

Numerical value

1 and 2 ≦ L_rIf <5,

Numerical value

2 and 5 ≦ L_rIf <10,

Numerical value

3 and 10 ≦ L_rIf <20,

Numerical value

4 and 20 ≦ L_rIf so, the numerical value 5 is set to be selected. This numerical value is called relative harmonic intensity.
[0026]
The melody information generation unit 13 sends the chord configuration and the intensity ratio L between the harmonic component and the fundamental component from the chord analysis unit 12._rAnd reads the chord name indicating the received chord configuration and the relative harmonic intensity from the tune information table shown in FIG. 4, and generates tune information composed of these.
[0027]
The tune information generation unit 13 provides the generated tune information to the environment synchronization control unit 14.
[0028]
The environment synchronization control unit 14 stores an environment setting table as shown in FIG. 5, in which the code name and the relative harmonic intensity are associated with the setting conditions of the lighting device 17 and the air conditioner 18.
[0029]
Here, the environment setting table will be briefly described with reference to FIG.
[0030]
First, a relative harmonic intensity column is provided for each chord name. As described above, this relative harmonic intensity column has an intensity ratio L of the harmonic component to the fundamental component._rAre stored, and numerical values of relative harmonic intensities of 1 to 5 are stored. As described later, the lightness level of the lighting device 17 and the air volume level of the air conditioner 18 are associated with the relative harmonic intensity.
[0031]
Next, in the color column of the setting condition, the color of the lighting device 17 for expressing the tune corresponding to each code name is set. For example, C major (C_M), Red, C minor (C_mIn the case of ()), blue is set. Based on these colors, as the scale goes up, in the case of major, the color that mixes green and blue in a predetermined ratio, and in the case of minor, the color that mixes green and red in a predetermined ratio, respectively Is set.
[0032]
In the brightness column of the setting condition, the brightness level of the lighting device is set in five stages from 1 to 5, corresponding to the numerical value of the relative harmonic intensity column. The numerical value 1 is the darkest, the brightness increases as the numerical value increases, and the numerical value 5 is the brightest.
[0033]
In the temperature column of the setting condition, the temperature of the air conditioner for expressing the tune corresponding to each code name is set. For example, C major (C_MIn the case of ()), 24 ° C. is set, and the set temperature increases by 0.5 ° C. as the musical scale rises._MIn the case of ()), the temperature is set to 29.5 ° C. On the other hand, C minor (C_mIn the case of ()), 18 ° C. is set, and as the musical scale rises, the set temperature also increases by 0.5 ° C. and the B minor (B_mIn the case of ()), the temperature is set to 23.5 ° C.
[0034]
Finally, in the air volume column under the set conditions, the air volume level of the air conditioner is set in five stages of 1 to 5 in accordance with the numerical value of the relative harmonic intensity column. Numerical value 1 is the smallest, the airflow increases as the numerical value increases, and numerical value 5 is the largest.
[0035]
For example, the environmental synchronization control unit 14 outputs a C major (C_M), The control signal for designating a warm and bright red color is given to the lighting device 17 and the temperature at which the viewer feels warm to the air conditioner 18. A control signal to be set to 24 ° C. is generated.
[0036]
At this time, the intensity ratio L_rHas the following effects so as to more accurately set the color and temperature for expressing the musical tone represented by the chord configuration, or to emphasize these environmental elements. Based on the tune information table of FIG. 4 and the environment setting table of FIG. 5, for example, when there is no harmonic component at all, the environment synchronization control unit A color (lightness level 1) having a small (lightness) is emitted, and the air conditioner 18 is controlled to generate a minimum air volume (air volume level 1). As shown in FIG. 5, the relative harmonic intensity increases (the intensity ratio L_rThe control signals for increasing the lightness level and increasing the airflow level are respectively generated in response to the increase of the control signal.
[0037]
As described above, the environmental synchronization control unit 14 generates a control signal for causing the lighting device 17 and the air conditioner 18 to correspond to the tune information, and to set the setting conditions specified in the environment setting table in FIG. The environmental synchronization control unit 14 transmits the generated control signal to the lighting adjustment unit 15 and the air conditioning control unit 16, respectively. The environmental synchronization control unit 14 controls the color and brightness of the lighting device 17 and the temperature and air volume of the air conditioning device 18 via the lighting adjustment unit 15 and the air conditioning control unit 16, respectively.
[0038]
The illumination adjustment unit 15 includes an amplifier unit that adjusts the luminosity of the red, blue, and green (constituting the three primary colors of light) lamp group of the illumination device 17 and a brightness adjustment unit that adjusts the lamp output (the brightness of the lamp). Is provided.
[0039]
The amplifier unit supplies a variable gain signal for adjusting the luminous intensity of each lamp to each of the lamp groups of the lighting device 17. Each of the lamps emits light at a desired luminous intensity corresponding to the variable gain signal, so that a portion where these lights overlap can be set to an arbitrary color. For this reason, the illumination adjustment unit 15 can converge and superimpose the light of each lamp whose luminous intensity has been adjusted, so that any color can appear.
[0040]
The brightness adjustment unit includes a power supply device, supplies desired power from the power supply device to each lamp of the lighting device 17, causes the lamp group to emit light with a predetermined output, and adjusts the brightness.
[0041]
The air conditioning control unit 16 controls the amount of circulation of the refrigerant of the air conditioner 18 and the number of revolutions of the fan. The circulation amount of the refrigerant corresponds to the temperature, and the rotation speed of the fan corresponds to the air flow.
[0042]
The lighting device 17 includes a group of red, blue, and green lamps (light emitting units), a light reflecting unit, a condenser / diffusion lens, and the like. The illumination device 17 is controlled by the illumination adjustment unit 15 and generates light of any color and brightness.
[0043]
The air conditioner 18 is a refrigerant circulation type air conditioner having an internal fan, and exhibits an air conditioning effect by adiabatic compression and adiabatic expansion of the refrigerant. The air conditioner 18 is controlled by the air conditioning controller 16 and generates a wind of a predetermined temperature with an arbitrary air volume.
[0044]
(motion)
The operation of each component of the environmental synchronization control system 1 described above will be described below.
The operation of each component will be described with reference to a flowchart shown in FIG. 6, taking a case where a piano is played in a concert hall as an example. In this example, first, the intensity ratio L of the chord of the A major to the fundamental tone of the harmonic component from the piano._rIt is assumed that a musical tone including an overtone component having an intensity corresponding to = 15 is supplied.
[0045]
First, the acoustic signal conversion unit 11 picks up a musical tone from a piano with a microphone and converts it into an acoustic signal (step S101). The sound signal conversion unit 11 transmits the converted sound signal to the chord analysis unit 12 (Step S102).
[0046]
The chord analysis unit 12 once fetches the received audio signal into a buffer, multiplies the time-series audio signal by a window function at a predetermined timing, and extracts the frame as a frame. In this example, this frame includes an acoustic signal of a chord constituting the A major. The FFT processing unit of the chord analysis unit 12 performs the FFT processing on the acoustic signal included in the extracted frame (Step S103). From the analysis data shown in FIG. 2, the FFT processing unit 2C, 3C, 4C,..., 2E, 3E, 4E,. .., 2A, 3A, 4A,... Are determined based on the frequency (step S104). The FFT processing unit transmits the frequency data of the determined fundamental tone component to the chord determination unit.
[0047]
The chord determining section of the chord analyzing section 12 refers to the chord configuration table shown in FIG. 3 and, based on the frequency data of the fundamental component transmitted from the FFT processing section, corresponds to the stored combination of the fundamental frequency. The chord configuration is determined (step S105). In this example, the chord determining unit determines that the fundamental tone has an A major chord configuration. The chord analysis unit 12 provides chord configuration information indicating the determined chord configuration to the tune information generation unit 13 (step S106).
[0048]
On the other hand, the FFT processing unit determines the amplitude L of the determined fundamental tone component.₁Ask for. Further, the FFT processing unit determines the amplitude L of the frequency spectrum of the harmonic components 2A, 3A, 4A,.₂, L₃, L₄, ... total amplitude L_bAsk for. Next, the FFT processing unit calculates the total amplitude L of the harmonic components._bAnd the amplitude L of the fundamental tone component₁And the ratio L_rIs obtained (step S107). In this example, the obtained L_rIs 15.
[0049]
The chord analyzer 12 calculates the L calculated by the FFT processor._rIs provided to the tune information generating unit 13 (step S108).
[0050]
Upon acquiring the chord configuration information from the chord analysis unit 12, the tune information generation unit 13 refers to the tune information table shown in FIG. 4 and reads a chord name corresponding to the acquired chord configuration information. Further, the melody information generation unit 13 outputs the intensity ratio L between the harmonic component and the fundamental component from the chord analysis unit 12._rIs acquired, the intensity ratio L of the acquired harmonic component is referred to with reference to the music information table of FIG._rOf the harmonic column (relative harmonic intensity) corresponding to.
[0051]
The tune information generating unit 13 generates tune information which is basic information indicating the tune from the read chord name and the relative harmonic intensity (step S109). The tune information generating unit 13 provides the tune information to the environment synchronization control unit 14 (Step S110). In this example, the code name is A_M, The numerical value 4 is selected as the relative harmonic intensity, and constitutes the tune information.
[0052]
When acquiring the tune information from the tune information generating unit 13, the environment synchronization control unit 14 refers to the environment setting table shown in FIG. 5 and from each setting condition column, determines the color and brightness of the lighting device 17 corresponding to the tune information. The level, the temperature of the air conditioner 18 and the air volume level are read out (step S111). In this example, the code name is A_MSince the relative harmonic intensity is 4, the environment setting condition corresponding to the tune information is orange, the brightness level is 4, the temperature is 28.5 ° C., and the air volume level is 4.
[0053]
The environmental synchronization control unit 14 generates a control signal for driving the lighting device 17 and the air conditioner 18 in accordance with the read setting condition (step S112), and transmits the control signal to the lighting adjustment unit 15, the air conditioning control Each is transmitted to the unit 16 (step S113).
[0054]
The lighting adjustment unit 15 controls the amplifier unit based on the control signal from the environment synchronization control unit 14 so that the illumination unit 17 adjusts the red, blue, and green lamp groups of the lighting device 17 so that the set color is obtained. Each supplies a variable gain signal for adjusting the luminous intensity of each lamp. Thus, the illumination device 17 causes the set colors to appear by condensing and superimposing the colors of the lamps.
[0055]
Further, the lighting adjustment unit 15 controls the brightness adjustment unit, and supplies power for adjusting the brightness level of the lamp group of the lighting device 17 to a set value from the power supply device of the brightness adjustment unit to the lamp group. In this way, the illumination adjustment unit 15 causes light having the set color and the set brightness level to appear (step S114). In this example, orange light with a lightness level of 4 is generated.
[0056]
The air-conditioning control unit 16 adjusts the refrigerant circulation amount of the air conditioner 18 based on the control signal from the environmental synchronization control unit 14 to adjust the indoor temperature to the set temperature. Further, the air-conditioning control unit 16 controls the driving of the internal fan of the air-conditioning device 18 and adjusts the blown air volume so as to have the set air volume level. In this way, the air-conditioning control unit 16 operates the air conditioner 18 so that the temperature and the air volume level are set to the set conditions (step S115). In this example, the temperature is 28.5 ° C. and the air volume level is controlled to 4.
[0057]
As described above, according to the embodiment of the present invention, a musical tone of a musical instrument to be played is acquired as an acoustic signal, and the acoustic signal is subjected to frequency analysis by FFT processing, and a fundamental tone constituting a predetermined chord is obtained. , A harmonic component having an integer multiple of the frequency of the fundamental tone. The intensity ratio L of the chord constituting the determined fundamental tone and the harmonic component of the harmonic component_rThus, tune information representing the tune of the musical tone to be played is generated. The environment synchronization control unit determines the color and brightness level of the lighting device, the temperature and the airflow level of the air conditioner based on the music information, and controls the lighting device and the air conditioner so that the determined setting conditions are satisfied.
[0058]
That is, the environmental synchronization control system according to the present embodiment uses the chord structure and the harmonic component intensity ratio L_rThe musical tone information representing the musical tone of the musical tone is generated based on the musical tone, the setting conditions of the lighting device and the air conditioner are selected so as to correspond to the musical tone information, and the environmental control synchronized with the provided music is realized. Therefore, by taking into account not only the chord structure but also the effect of the harmonic components on the tune, it is possible to more accurately perform the environmental control for listening to music that matches the audience's audibility as compared with the related art.
[0059]
The present invention is not limited to the above embodiment, and its application, modification, and the like are arbitrary. For example, in the above-described embodiment, it has been described that the fundamental component and the harmonic component are simultaneously determined by the FFT process. However, the distinction between the fundamental component and the harmonic component is not limited to the FFT process, and is arbitrary. For example, a harmonic component may be detected by extracting only a fundamental tone with a band-pass filter corresponding to a predetermined fundamental tone and performing frequency analysis on the remaining acoustic signal.
[0060]
In the above-described embodiment, it has been described that the time-series sound signal is cut out as a frame by applying a window function so as to include one chord, and the FFT processing and subsequent processing are performed on the frame. The timing at which the audio signal is cut out as a frame, the frame length, and the like are arbitrary. For example, instead of one chord or melody interval, it may be one bar or four bars, and in this case, the lighting device and the air conditioner are controlled using the averaged tune information. You can also. Further, a chord configuration may be determined from a melody interval in one bar, for example, by using a delay circuit having an appropriate time constant. In this case, there is an advantage that the dispersed chord can be reflected in the melody information.
[0061]
In the embodiment described above, the amplitude of the harmonic component is summed up to a predetermined harmonic component (second order to nth order). However, for example, only the amplitude up to the lower harmonic component which affects the pitch of the sound on the auditory sense is calculated. L in total_bYou may ask. Alternatively, focusing on higher harmonic components (harmonic components) of a predetermined order or more that affect the tone, the amplitudes of these components are summed and L_bYou may ask.
[0062]
In the above embodiment, the intensity ratio between the fundamental component and the overtone component is described as being calculated based on the amplitude of each frequency component of the frequency spectrum subjected to the FFT processing. The ratio is not limited. Any ratio can be used as long as the ratio uses a parameter indicating the sound intensity. For example, a volume value using a volume sensor can be used.
[0063]
In the above-described embodiment, it has been described that the tune information includes the major and minor chord configurations and the relative harmonic intensity, and the environment setting condition includes the color, brightness, temperature, and air volume corresponding to the tune information. However, the chord chords in the tune information table are merely examples, and are not limited to major and minor chord arrangements, and may include various chord arrangements such as seventh and diminished. The environment setting condition is not limited to the color, brightness, temperature, and air volume, but may be any environmental element that can express a tune (can be associated with a tune).
[0064]
In the above embodiment, the illumination device has been described as including the three primary color lamp groups of red, blue, and green. However, the light emitting unit is not limited to the lamp, and may be an LED (light emitting diode, light emitting diode) or an LCD (liquid crystal). , Liquid crystal line device, organic EL (electroluminescence, electroluminescence) and the like can be used.
[0065]
In the above embodiment, the air conditioner is described as being of the refrigerant circulation type. However, any air conditioner can be used, and for example, an air conditioner of a heat pump type, a fuel cell type or the like may be used.
[0066]
In the above-described embodiment, the intensity ratio of the harmonic component to the fundamental component forms the tune information as five-stage relative harmonic intensities, and the environment synchronization control unit adjusts the brightness of the lighting device and the air conditioning in accordance with the relative harmonic intensities. It has been described that the air volume of the device is controlled. However, the method of controlling the lighting device and the air conditioner based on the intensity ratio of the harmonic component to the fundamental component is not limited to the above-described embodiment, and is arbitrary, and the control object is not limited to only the brightness and the air volume.
[0067]
The device configuration of the environmental synchronization control system described in the above embodiment is an example, and the device configuration is not limited thereto, and the device configuration is arbitrary. For example, part or all of the device configuration may be configured by a personal computer or the like. in this case,
Each unit of the device described in the above embodiment can realize its function by computer hardware or software. For example, a program for causing a computer to execute some or all of the operations described in the above embodiments may be stored in a hard disk device of the computer, a recording medium such as a CD-ROM, or downloaded to a memory of the computer, or the like. You may memorize and use it.
[0068]
In the above-described embodiment, it has been described that the musical sound supplied from the sound source is converted into an audio signal by the audio signal conversion unit and the audio signal is supplied to the chord analysis unit as it is. Alternatively, a signal processing unit that performs a predetermined processing on the audio signal may be added. For example, when a musical tone with a little change in tune is provided, a predetermined amplification process is performed on the converted sound signal, or when a musical tone whose high-frequency region is cut by recording or the like is supplied, the converted audio signal is converted. May be subjected to frequency correction processing. It should be noted that these processings can also be performed directly on a musical tone before it is converted into an audio signal.
[0069]
【The invention's effect】
According to the present invention, it is possible to provide an environmental synchronization control system and method capable of performing environmental control such as lighting synchronized with a tune.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an environmental synchronization control system according to an embodiment of the present invention.
FIG. 2 is a schematic diagram illustrating an example of a frequency spectrum of an acoustic signal that has been subjected to FFT (Fast Fourier Transform) processing.
FIG. 3 is an example of a chord configuration table according to the embodiment of the present invention;
FIG. 4 is an example of a music information table according to the embodiment of the present invention;
FIG. 5 is an example of an environment setting table according to the embodiment of the present invention;
FIG. 6 is a flowchart showing an operation of the environment synchronization control system according to the embodiment of the present invention.
[Explanation of symbols]
1 Environmental synchronization control system
11 sound signal converter
12 Chord analysis unit
13 Composition information generator
14 Environment synchronization control unit
15 Lighting adjustment unit
16 Air conditioning control unit
17 Lighting equipment
18 air conditioner

Claims

A chord detector that detects a chord based on the frequency of the musical tone;
An overtone detector that detects the intensity of an overtone having an integer multiple of the frequency of the fundamental tone that constitutes the chord;
A tune representing a tone of a musical tone is determined based on a chord detected by the chord detection section and an intensity ratio between the harmonic detected by the overtone detection section and the fundamental tone, and tune information generating tune information indicating the tune is determined. An information generator,
An environment control unit that controls an environment device that implements a predetermined listening environment based on the music information generated by the music information generating unit, and adjusts the listening environment in synchronization with the music.
Comprising,
An environmental synchronization control system, characterized in that:

A system for controlling a listening environment in synchronization with a musical tone supplied from a sound source,
A device adjustment unit that adjusts an environment device that realizes a predetermined listening environment,
An audio signal conversion unit that converts a musical tone supplied from a sound source into an audio signal,
Based on the frequency of the acoustic signal converted by the acoustic signal conversion unit, to detect the intensity of the fundamental tone and an overtone having an integer multiple of the frequency of the chord based on the frequency of the acoustic signal, the chord, and the harmonic to the fundamental tone A tune analysis information generation unit that determines tune based on the intensity ratio and generates tune information representing the tune of the musical tone;
Based on the tune information generated by the tune information generation unit, controls the device adjustment unit, in synchronization with a musical tone supplied from a sound source, an environment adjustment unit that adjusts a listening environment,
Comprising,
An environmental synchronization control system, characterized in that:

The environmental device includes at least one of a lighting device and an air conditioner,
The device adjustment unit adjusts at least one of the color and / or brightness of the lighting device and the temperature and / or air volume of the air conditioner,
The environmental synchronization control system according to claim 2, wherein:

A method of controlling a listening environment in synchronization with a musical tone supplied from a sound source,
A signal conversion step of picking up a musical tone from a sound source and converting it to an acoustic signal;
A chord detection step of detecting a fundamental tone forming a chord based on the frequency of the acoustic signal converted in the signal conversion step and an intensity of a harmonic having an integer multiple of the fundamental tone frequency,
A melody information generation step of determining melody based on the chord and the intensity ratio of the overtone to the fundamental tone, and generating melody information representing the melody of the musical tone;
Based on the tune information generated in the tune information generation step, based on the tune information generated by controlling at least one of the lighting device and the air conditioner, in synchronization with the musical sound supplied from the sound source, an environment adjustment step of adjusting the listening environment,
Comprising,
An environmental synchronization control method, characterized in that:

Causing the computer to execute a part or all of the steps constituting the environmental synchronization control method according to claim 4.
A program characterized by the following.