JP2012155651A - 信号処理装置および方法、並びに、プログラム - Google Patents

Abstract

【課題】発音不要かつ非接触な入力操作を実現することができるようにする。
【解決手段】覆われ検出部１０３は、時間周波数変換部１０２により音響信号が変換されて得られたパワースペクトルを解析し、そのパワースペクトルに観測される共振点の特徴（例えば周波数や大きさ等）から、音響信号入力部１０１が覆われている様子（覆われ状態）を判定し、その判定結果（覆われ状態を示す情報）を機器制御決定部１０４に供給する。機器制御決定部１０４は、覆われ検出部１０３から供給される判定結果（音響信号入力部１０１の覆われ状態を示す情報）に応じて、図示せぬ電子機器の制御内容を決定し、その制御情報（命令やデータ等）を、その電子機器等に出力する。本発明は、例えば、画像処理装置に適用することができる。
【選択図】図１

Description

本発明は、信号処理装置および方法、並びに、プログラムに関し、特に、発音不要かつ非接触な入力操作を実現することができるようにした信号処理装置および方法、並びに、プログラムに関する。

従来、デバイスに対する制御指示を入力する操作方法として、様々な操作方法が考えられている（例えば、特許文献参照）。

特許文献には、イヤホンに設けられたマイクロホン若しくはその近傍を、ユーザが指等で叩くことにより、そのイヤホンが接続される携帯電話機等に対する制御指示を入力する方法が開示されている。

特開２００３−１４３６８３号公報

しかしながら、近年、電子機器はより多様化しており、それに応じて、上述した特許文献に記載の方法以外の操作方法も求められている。

本発明は、このような状況に鑑みてなされたものであり、特許文献に記載の方法以外のデバイス操作方法として、発音不要かつ非接触な入力操作を実現することができるようにすることを目的とする。

本発明の一側面は、集音する集音手段と、前記集音手段により集音されて得られた音響信号の周波数特性における共振周波数および前記共振周波数の成分の大きさに基づいて、前記集音手段の覆われ状態を検出する覆われ検出手段と、前記覆われ検出手段により検出された前記集音手段の覆われ状態に応じて、制御対象の機器の制御内容を決定する機器制御決定手段とを備える信号処理装置である。

前記覆われ検出手段は、前記集音手段が覆われているか否か、若しくは、前記集音手段が覆われている度合いを検出することができる。

前記覆われ検出手段は、共振周波数および前記共振周波数の成分の大きさを所定の閾値と比較し、その比較結果に応じて前記集音手段の覆われ状態を検出することができる。

前記覆われ検出手段は、複数の時刻における前記音響信号の周波数特性における共振周波数および前記共振周波数の成分の大きさを加算し、その加算結果に基づいて、前記集音手段の覆われ状態を検出することができる。

前記機器制御決定手段は、前記集音手段が覆われているか否か、若しくは、前記集音手段が覆われている度合いに応じて前記制御内容を決定することができる。

前記機器制御決定手段は、前記集音手段が覆われている時間に応じて前記制御内容を決定することができる。

前記機器制御決定手段は、前記集音手段が覆われている度合いに応じて、前記制御内容の制御量を決定することができる。

前記集音手段を複数備えることができる。

複数の前記集音手段のそれぞれにおいて得られた音響信号の周波数特性の差分を算出する差分算出手段をさらに備え、前記覆われ検出手段は、前記差分算出手段により算出された前記差分における前記共振周波数および前記共振周波数の成分の大きさに基づいて、前記集音手段の覆われ状態を検出することができる。

前記機器制御決定手段は、各集音手段の互いに同様の覆われ状態に対して、互いに異なる制御内容を割り当てることができる。

前記集音手段は、通話処理のために集音し、前記覆われ検出手段は、前記集音手段により前記通話処理のために集音されて得られた音響信号の周波数特性における共振周波数および前記共振周波数の成分の大きさに基づいて、前記集音手段の覆われ状態を検出することができる。

前記集音手段により集音されて得られた前記音響信号に対して音声認識処理を行う音声認識処理手段をさらに備え、前記機器制御決定手段は、前記覆われ検出手段により検出された前記集音手段の覆われ状態、および、前記音声認識処理手段による前記音声認識処理の結果に応じて、前記制御内容を決定することができる。

本発明の一側面は、また、信号処理装置の信号処理方法であって、集音手段が、集音し、覆われ検出手段が、集音されて得られた音響信号の周波数特性における共振周波数および前記共振周波数の成分の大きさに基づいて、前記集音手段の覆われ状態を検出し、機器制御決定手段が、検出された前記集音手段の覆われ状態に応じて、制御対象の機器の制御内容を決定する信号処理方法である。

本発明の一側面は、さらに、コンピュータを、集音する集音手段、前記集音手段により集音されて得られた音響信号の周波数特性における共振周波数および前記共振周波数の成分の大きさに基づいて、前記集音手段の覆われ状態を検出する覆われ検出手段、前記覆われ検出手段により検出された前記集音手段の覆われ状態に応じて、制御対象の機器の制御内容を決定する機器制御決定手段として機能させるためのプログラムである。

本発明の一側面においては、集音されて得られた音響信号の周波数特性における共振周波数および共振周波数の成分の大きさに基づいて、集音手段の覆われ状態が検出され、検出された集音手段の覆われ状態に応じて、制御対象の機器の制御内容が決定される。

本発明によれば、信号を処理することができる。特に、デバイス操作方法として、発音不要かつ非接触な入力操作を実現することができる。

本発明を適用した制御装置の主な構成例を示すブロック図である。 図１の覆われ検出部の主な構成例を示すブロック図である。 覆われ状態の検出の動作原理を説明する図である。 覆われた状態において入力される音響信号の周波数特性の例を説明する図である。 覆われ状態の判定方法の例を説明する図である。 覆われ状態の判定方法の他の例を説明する図である。 被覆度の違いによる音響信号の周波数特性の差を説明する図である。 図１の機器制御決定部の主な構成例を示すブロック図である。 機器制御内容判定方法の例を説明する図である。 機器制御内容判定方法の他の例を説明する図である。 制御処理の流れの例を説明するフローチャートである。 覆われ状態検出処理の流れの例を説明するフローチャートである。 制御内容決定処理の流れの例を説明するフローチャートである。 本発明を適用した制御装置の他の構成例を示すブロック図である。 図１４の覆われ検出部の主な構成例を示すブロック図である。 周波数特性解析のための信号処理の例を説明する図である。 制御処理の流れの、他の例を説明するフローチャートである。 覆われ状態検出処理の流れの、他の例を説明するフローチャートである。 本発明を適用した制御装置を用いる携帯型音楽再生装置の主な構成例を示すブロック図である。 制御処理の流れの、さらに他の例を説明するフローチャートである。 制御内容決定処理の流れの、他の例を説明するフローチャートである。 本発明を適用した制御装置を用いる携帯電話機の主な構成例を示すブロック図である。 制御処理の流れの、さらに他の例を説明するフローチャートである。 制御内容決定処理の流れの、さらに他の例を説明するフローチャートである。 本発明を適用したパーソナルコンピュータの主な構成例を示すブロック図である。

以下、発明を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（制御装置）
２．第２の実施の形態（制御装置）
３．第３の実施の形態（携帯型音楽再生装置）
４．第４の実施の形態（携帯電話機）
５．第５の実施の形態（パーソナルコンピュータ）

＜１．第１の実施の形態＞
［制御装置］
図１は、本発明を適用した制御装置の一実施の形態の構成を表している。

図１に示される制御装置１００は、電子機器（図示せず）を制御する装置であり、ユーザ等の指示に基づいて、制御対象の電子機器を制御する命令やデータ等の制御情報を出力する。

図１に示されるように、制御装置１００は、音響信号入力部１０１を有する。ユーザは、この音響信号入力部１０１周辺を例えば手等によって覆う等して、電子機器に対する指示を制御装置１００に入力する。

音響信号入力部１０１は、例えばマイクロホン等により構成されるセンサを有する。音響信号入力部１０１は、そのセンサにより周辺の音響信号を集音し、それを電気信号に変換する。

なお、音響信号は、例えば、所謂、物音や声等の音声、雑音、振動等、あらゆる物体や空間の振動に関する情報を含む。音響信号入力部１０１は、所定の範囲の周辺域に発生する音響信号（すなわち、あらゆる物体や空間の振動）を検出する。

詳細については後述するが、ユーザが例えば手等を使って音響信号入力部１０１近傍を覆うと、その手（覆った物）と音響信号入力部１０１との間に、小空間が形成され、その小空間の存在（位置、形状、大きさ、覆った物の材質、形状、角度等）により、音響信号入力部１０１の伝達関数が変化し、集音された音響信号に共振点が観測されるようになる。

制御装置１００は、その電気信号の周波数成分を解析することにより、音響信号入力部１０１の伝達関数の変化（共振点の発生）を検出し、その伝達関数の変化からユーザが音響信号入力部１０１周辺を覆っている様子を検出し、音響信号入力部１０１の覆われ具合等に応じた制御情報を出力する。

図１に示されるように、制御装置１００は、音響信号入力部１０１の他に、時間周波数変換部１０２、覆われ検出部１０３、および機器制御決定部１０４を有する。時間周波数変換部１０２は、音響信号入力部１０１から出力される電気信号（音響信号入力部１０１が集音した音響信号（入力音）を変換した電気信号）を、例えばフーリエ変換等の任意の方法で周波数変換し、その周波数特性（パワースペクトル）を生成し、覆われ検出部１０３に供給する。

覆われ検出部１０３は、時間周波数変換部１０２により音響信号が変換されて得られたパワースペクトルを解析し、そのパワースペクトルに観測される共振点の特徴（例えば周波数や大きさ等）から、音響信号入力部１０１が覆われている様子（覆われ状態）を判定し、その判定結果（覆われ状態を示す情報）を機器制御決定部１０４に供給する。

機器制御決定部１０４は、覆われ検出部１０３から供給される判定結果（音響信号入力部１０１の覆われ状態を示す情報）に応じて、図示せぬ電子機器の制御内容を決定し、その制御情報（命令やデータ等）を、その電子機器等に出力する。

このように、ユーザは、制御装置１００に対して、発音することなく、かつ、制御装置１００（音響信号入力部１０１等）に接触することなく、単に、音響信号入力部１０１周辺を覆うだけで、電子機器に対する指示を入力することができる。つまり、制御装置１００は、発音不要かつ非接触な入力操作を実現することができる。

［覆われ検出部］
図２は、図１の覆われ検出部１０３の主な構成例を示すブロック図である。図２に示されるように、覆われ検出部１０３は、周波数特性蓄積部１１１、覆われ特徴量算出部１１２、および覆われ状態検出部１１３を有する。

周波数特性蓄積部１１１は、例えば、ハードディスク、フラッシュメモリ、若しくはRAM（Random Access Memory）等の任意の記憶媒体を有し、時間周波数変換部１０２から供給された入力音の周波数特性（パワースペクトル）を記憶する。周波数特性蓄積部１１１は、所定のタイミング、若しくは、覆われ特徴量算出部１１２の要求に基づいて、記憶しているパワースペクトルを覆われ特徴量検出部１１２に供給する。

覆われ特徴量算出部１１２は、周波数特性蓄積部１１１から取得したパワースペクトルを解析する。

ここで、覆われ状態と、その特徴について説明する。

ユーザが例えば手等を使って音響信号入力部１０１近傍を覆うと、その手（覆った物）と音響信号入力部１０１との間に、小空間が形成される。この小空間は、完全に周囲と区切られた閉空間でなくてもよく、手等によって空間の一部が区切られたもの（周囲と区切られていない部分がある領域）であってもよい。

この小空間の存在により、音響信号入力部１０１の伝達関数が変化し、入力音のパワースペクトルに共振点が観測されるようになる。

図３は、覆われ状態の検出の動作原理を説明する図である。例えば、図３Ａの左側に示されるように、音響信号入力部１０１の周辺（集音範囲）が覆われていないとする。この状態の場合、音響信号入力部１０１からの入力音のパワースペクトルには、図３Ａの右側に示されるグラフのように、共振点は検出されない。

これに対して、例えば、図３Ｂの左側に示されるように、ユーザが、音響信号入力部１０１の周辺（集音範囲）を手１３１で覆うと、その手１３１と音響信号入力部１０１との間に小空間１３２が形成される。この状態の場合、図３Ｂの右側に示されるグラフのように、音響信号入力部１０１からの入力音のパワースペクトルにおいて所定の周波数のスペクトルが周囲に対して極端に大きくなる。つまり、スペクトルのピークＰ１が観測される。このピークＰ１が共振点である。以下において共振点Ｐ１とも称する。

図２に戻り、覆われ特徴量算出部１１２は、この共振点Ｐ１を特徴量化する。覆われ特徴量算出部１１２は、算出した特徴量を、覆われ状態検出部１１３に供給する。

覆われ状態検出部１１３は、覆われ特徴量算出部１１２から供給された特徴量に基づいて、音響信号入力部１０１の覆われ状態を判定し、その判定結果を覆われ状態を示す情報（覆われ状態情報）として機器制御決定部１０４に供給する。

例えば、覆われ特徴量算出部１１２は、図４に示されるように、パワースペクトルに観測される共振点Ｐ１の周波数（共振周波数）Ｆと大きさＧとを特徴量として算出する。

これに対して、覆われ状態検出部１１３は、例えば図５Ａに示されるように、共振点Ｐ１の周波数Ｆが、閾値F thresh1と閾値F thresh2との間にあり、かつ、図５Ｂに示されるように、共振点Ｐ１のスペクトルの大きさＧが閾値G thresh1と閾値G thresh2との間にある場合、音響信号入力部１０１が覆われていると判定する。また、覆われ状態検出部１１３は、例えば、大きさＧの値によって、その覆われ具合を判定する。

覆われ具合とは、ユーザの手等、音響信号入力部１０１を覆う物が、音響信号入力部１０１をどの程度覆っているかを示す。共振点Ｐ１のスペクトルの大きさＧは、小空間の位置、形状、大きさ、覆った物の材質、位置、角度、形状等によって変化する。つまり、共振点Ｐ１の大きさＧは、音響信号入力部１０１の覆われ方（覆われ具合）によって変化する。例えば、ユーザが手等で、音響信号入力部１０１のより近くでより広く覆う（よりしっかり覆う）と、共振点Ｐ１のスペクトルの大きさＧは、大きくなる。そこで、覆われ状態検出部１１３は、例えば、大きさＧの値が大きいほど、音響信号入力部１０１がしっかり覆われていることを示す値を出力する。

例えば、覆われ状態検出部１１３は、大きさＧが閾値G thresh2の場合、覆われ状態情報として値「０」を出力し、大きさＧが閾値G thresh1に近づくに従って、より「１」に近い値を出力する。

なお、以上においては、共振点Ｐ１の周波数Ｆとスペクトルの大きさＧが閾値判定されることにより覆われ具合が判定されるように説明したが、覆われ状態を検出する方法は、これ以外であっても良い。

例えば、スペクトルの代わりに、スペクトルの概形を表すパラメータ、例えば、線形予測係数やケプストラム、MFCC（Mel Frequency Cepstral Coefficient）等が用いられるようにしてもよい。

また、例えば、入力音のパワースペクトルのピーク（共振点Ｐ１）周辺の周波数成分のスペクトルの形状に基づいて覆われ具合が判定されるようにしてもよい。

例えば、覆われ特徴量算出部１１２が、入力音のパワースペクトルのピーク（共振点Ｐ１）周辺の周波数成分のスペクトルの形状を特徴量として算出し、覆われ状態検出部１１３が、その形状をモデルケースと比較することにより覆われ具合を判定するようにしてもよい。

この場合、例えば、覆われ状態検出部１１３が、覆われ特徴量算出部１１２より供給される共振点Ｐ１を含む所定の周波数帯域のスペクトルと、音響信号入力部１０１が所定の覆われ具合で覆われた場合の同周波数帯域のスペクトル（モデルケースのスペクトル）とを比較し、その近似度によって、覆われ状態情報の値（例えば値「０」乃至「１」）を決定し、出力するようにしてもよい。

このようにすることにより、覆われ状態の判定をより正確に行うことができる。なお、モデルケースの数は任意であり、その数が多いほど、覆われ状態の判定をより正確に行うことができる。

また、例えば、音響信号入力部１０１が覆われた状態のスペクトル、覆われていない状態のスペクトルをそれぞれ大量に集め、ニューラルネットワーク、サポートベクタマシン、GMM（Gaussian Mixture Models）といった統計的識別器を使用することも可能である。統計的識別法においても、しっかり覆っている状態のものを「１」、軽く覆われているものを「０．５」、覆われていないものを「−１」のように対応付けておくことで、判定結果は覆われている状態を反映する結果を得ることができる。

このようにすることにより、覆われ状態検出部１１３は、デバイスの個体特性や使用環境等の各種条件を、覆われ状態の判定に反映させることができ、より正確な判定を行うことができる。

なお、以上のように、所定のサンプリング時刻のみのスペクトルを用いて覆われ特徴量の算出や覆われ状態の検出が行われる場合、周波数特性蓄積部１１１は省略することもできる。

逆に、周波数特性蓄積部１１１は、複数のサンプリングタイミングのスペクトルを記憶するようにしてもよい。その場合、覆われ特徴量算出部１１２が、周波数特性蓄積部１１１に蓄積される複数の（サンプリングタイミングの）スペクトルを用いて、覆われ特徴量を算出するようにしてもよい。つまり、覆われ特徴量算出部１１２が、例えば図６Ａに示されるようなスペクトログラムから、ピーク（共振点Ｐ１）に関する特徴量を算出するようにしてもよい。

図６Ａに示されるスペクトログラムは、複数の時刻のスペクトルの集合である。例えば、図６Ａの点線に示されるある時刻において、音響信号入力部１０１がユーザの手等で覆われていると、図６Ｂに示されるように、その時刻のスペクトルにおいてピークＰ１が観測される。

この覆われ状態が変化しないとすると、その期間のスペクトログラムにおいては、図６Ａに示されるように、ピークＰ１の連なりが、帯状（帯Ｐ２）となって表される。したがって、周波数特性蓄積部１１１に蓄積される周波数特性を時間方向に加算することで、図６Ｃに示されるように、周波数に変化が少ないものは大きく、周波数に変化があるものは小さく抑圧することができる。つまり、ピーク（共振点Ｐ１）のスペクトルの大きさを強調することができる。これにより、覆われ状態検出部１１３による覆われ状態の判定をより容易にすることができる。

なお、一般的には、覆われ具合（被覆度）によってスペクトルの大きさＧだけでなく、共振周波数Ｆが変化する。図７に覆われ具合（被覆度）の違いによる音響信号の周波数特性の差を示す。図７Ａに示されるグラフは、音響信号入力部１０１が覆われていない状態（通常時）の周波数特性の例を示す。

これに対して、図７Ｂに示されるグラフは、音響信号入力部１０１が少し覆われている状態（被覆度が小さい場合）の周波数特性の例を示す。この場合、線１５１により示されるように、約２１００Ｈｚにピークが観測される。すなわち、共振周波数Ｆ＝約２１００Ｈｚである。

これに対して、図７Ｃに示されるグラフは、音響信号入力部１０１がしっかり覆われている状態（被覆度が大きい場合）の周波数特性の例を示す。この場合、線１５２により示されるように、約１０６０Ｈｚにピークが観測される。すなわち、共振周波数Ｆ＝約１０６０Ｈｚである。

このように、覆われ状態（被覆度）が変化することにより、共振点のスペクトルの大きさＧだけでなく、共振周波数Ｆも変化するので、覆われ状態検出部１１３が、この共振周波数Ｆの変化を用いて、覆われ状態の判定を行うようにしてもよい。

［機器制御決定部］
図８は、図１の機器制御決定部１０４の主な構成例を示すブロック図である。図８に示されるように、機器制御決定部１０４は、覆われ状態蓄積部１６１と制御内容決定部１６２を有する。

覆われ状態蓄積部１６１は、例えば、ハードディスク、フラッシュメモリ、若しくはRAM等の任意の記憶媒体を有し、覆われ検出部１０３から供給される覆われ状態情報（覆われ状態情報）を記憶する。覆われ状態蓄積部１６１は、所定のタイミング、若しくは、制御内容決定部１６２の要求に基づいて、記憶している覆われ状態情報を制御内容決定部１６２に供給する。

制御内容決定部１６２は、覆われ状態蓄積部１６１から覆われ状態情報を取得すると、その値等基づいて、ユーザ操作に対応する電子機器（図示せず）の制御内容を決定し、その制御情報（命令やデータ等）を出力する。

図９は、覆われ検出部１０３の出力（覆われ状態情報）の時間軸に沿った変化の例を示す図である。図９に示される曲線１７１は、覆われ状態情報の値を示している。

制御内容決定部１６２は、例えば、このような覆われ状態情報に対して、所定の閾値Ｖを設定し、その閾値Ｖを用いて音響信号入力部１０１が覆われているか否かを判定する。制御内容決定部１６２は、例えば、覆われ状態情報の値が閾値Ｖより大きい（若しくは閾値Ｖ以上である）場合、音響信号入力部１０１が覆われていると判定する。換言するに、制御内容決定部１６２は、例えば、覆われ状態情報の値が閾値Ｖ以下である（若しくは閾値Ｖより小さい）場合、音響信号入力部１０１が覆われていないと判定する。

そして、制御内容決定部１６２は、その判定結果に基づいて、制御内容を決定し、その制御情報を出力する。これにより、制御内容決定部１６２は、音響信号入力部１０１が覆われているか否かに応じた内容の制御情報を出力することができる。

なお、制御内容決定部１６２が、覆われ状態情報に対して閾値を複数設け、覆われているか否かだけでなく、その覆われ度合いを判定するようにしてもよい。例えば、図９の例において、覆われ状態情報の値Ｘが、閾値Ｖより大きい（Ｘ＞Ｖ）場合、音響信号入力部１０１がしっかり覆われている（覆われ度合いが大きい）と判定され、Ｖ≧Ｘ＞０の場合、音響信号入力部１０１が軽く覆われている（覆われ度合いが小さい）と判定され、０≧Ｘの場合、音響信号入力部１０１が覆われていないと判定されるようにしてもよい。

このようにすることにより、制御内容決定部１６２は、覆われ状態情報から、より多様な制御内容を決定することができる。

もちろん、制御内容決定部１６２が、さらに多くの閾値を設定し、さらに多くの状態に判別するようにしてもよい。また、制御内容決定部１６２が、覆われ状態情報の値Ｘそのもの、若しくは、覆われ状態情報の値Ｘから一意的に求められる値を、覆われ度合いとし、その覆われ度合いを含む制御情報を出力するようにしてもよい。

これらの場合、例えば、制御内容決定部１６２は、覆われ状態情報の値Ｘを覆われ度合いとし、その覆われ度合いに応じた制御量で電子機器を制御する制御情報を生成し、出力するようにしてもよい。つまり、この制御情報が示す制御内容には、制御の種類（どのような制御を行うか）だけでなく、覆われ度合いに対応する制御量（どの程度制御するか）を示す情報も含まれる。

このようにすることにより、制御内容決定部１６２は、覆われ状態情報から、さらに、より多様な制御内容を決定することができる。

さらに、制御内容決定部１６２が、覆われ状態情報の値Ｘの変化のパターン（覆われ状態若しくは覆われ度合いの履歴）に応じて制御内容を決定するようにしてもよい。

なお、制御内容決定部１６２は、例えば、図１０に示されるように、覆われ状態情報に基づいて求められる音響信号入力部１０１が覆われている時間（覆われ時間）の長さに基づいて制御内容を決定するようにしてもよい。

図１０に示される曲線１７１も、図９の場合と同様に、覆われ状態情報の値を示している。例えば、制御内容決定部１６２が、時間閾値Ｔを設定し、図１０に示されるように、覆われている（覆われ検出部１０３の出力Ｘが、値「０」より大きい）区間が、この時間閾値Ｔより大きいか否かによって制御内容を決定するようにしてもよい。

例えば図１０において、覆われている区間Ｔ２の長さは、時間閾値Ｔより長く、覆われている区間Ｔ１の長さは、時間閾値Ｔより短い。制御内容決定部１６２は、このような２つの覆われている区間Ｔ１およびＴ２に対して、互いに異なる制御内容を割り当てるようにすることもできる。

このようにすることにより、制御内容決定部１６２は、覆われている区間の長さに応じて、制御内容を決定することができる。

なお、制御内容決定部１６２が、時間閾値Ｔを複数設け、各閾値と覆われている区間の長さの関係に応じて制御内容を決定するようにしてもよい。このようにすることにより、制御内容決定部１６２は、覆われている区間の長さから、より多様な制御内容を決定することができる。もちろん、図９の場合と同様に、覆われている区間の長さを制御量とされるようにしてもよい。

さらに、制御内容決定部１６２が、覆われている区間の長さの変化のパターン（覆われている区間の長さの履歴）に応じて制御内容を決定するようにしてもよい。

また、上述した複数の制御内容決定方法を組み合わせるようにしてもよい。さらに、上述した制御内容決定方法以外の方法を組み合わせるようにしてもよい。例えば、制御内容決定部１６２が、さらに、覆われている状態と判定される時の時刻や制御装置１００の位置等に応じて制御内容を決定するようにしてもよい。

このようにすることにより、制御内容決定部１６２は、より多様な制御内容を決定することができる。

［制御処理の流れ］
次に、図１１のフローチャートを参照して、制御装置１００により実行される制御処理の流れの例を説明する。

制御処理が開始されると、制御装置１００の音響信号入力部１０１は、ステップＳ１０１において、音響信号の入力を受け付ける。ステップＳ１０２において、時間周波数変換部１０２は、ステップＳ１０１において入力された音響信号に対して、フーリエ変換等の時間・周波数変換を行い、音響信号（入力音）の周波数特性（パワースペクトル）を求める。

ステップＳ１０３において、覆われ検出部１０３は、ステップＳ１０２において生成されたパワースペクトルを用いて、ユーザ操作等による音響信号入力部１０１の覆われ状態の検出を行う。ステップＳ１０４において、機器制御決定部１０４は、ステップＳ１０３において検出（判定）された覆われ状態に応じて、制御対象の電子機器に対する制御内容を決定し（ユーザが行った操作（ユーザ指示）に対応する制御内容を決定し）、その制御情報を出力する。

ステップＳ１０４の処理を終了すると、制御装置１００は、制御処理を終了する。制御装置１００は、このような制御処理を繰り返し実行する。実際には、制御処理の各ステップの処理が適宜並列に実行される。例えば、ステップＳ１０１の処理が行われた後にステップＳ１０２の処理が実行されるのと並行して、次の制御処理が開始され、ステップＳ１０１の処理（次のサンプリングタイミングの音響信号の入力）が行われる。

［覆われ状態検出処理の流れ］
次に、図１２のフローチャートを参照して、図１１のステップＳ１０３において覆われ検出部１０３により実行される覆われ状態検出処理の流れの例を説明する。

覆われ状態検出処理が開始されると、周波数特性蓄積部１１１は、ステップＳ１２１において、図１１のステップＳ１０２において算出されたパワースペクトルを記憶する。ステップＳ１２２において、覆われ特徴量算出部１１２は、周波数特性蓄積部１１１が蓄積しているパワースペクトルを解析し、そのパワースペクトルの特徴を示す覆われ特徴量を算出する。例えば、ピーク（共振点）の周波数Ｆやスペクトルの大きさＧ等が覆われ特徴量として算出される。

なお、ステップＳ１２２において、覆われ特徴量算出部１１２が、１サンプリング分のパワースペクトルのみから覆われ特徴量を算出する場合、ステップＳ１２１の処理を省略し、図１１のステップＳ１０２においてパワースペクトルが算出され次第、ステップＳ１２２の処理が実行されるようにしてもよい。また、ステップＳ１２２において、覆われ特徴量算出部１１２が、複数サンプリング分のパワースペクトルを用いて、覆われ特徴量を算出する場合、ステップＳ１２１の処理が所定回数（複数回）行われてから、ステップＳ１２２の処理が行われるようにしてもよい。

ステップＳ１２３において、覆われ状態検出部１１３は、ステップＳ１２２において算出された覆われ特徴量に基づいて、音響信号入力部１０１の覆われ状態（ユーザ操作の内容）を判定し、その覆われ状態を示す覆われ状態情報を機器制御決定部１０４に出力する。

ステップＳ１２３の処理が終了すると、覆われ検出部１０３は、覆われ状態検出処理を終了し、処理を図１１のステップＳ１０３に戻し、ステップＳ１０４以降の処理を実行させる。

［制御内容決定処理の流れ］
次に、図１３のフローチャートを参照して、図１１のステップＳ１０４において、機器制御決定部１０４により実行される制御内容決定処理の流れの例を説明する。

制御内容決定処理が開始されると、覆われ状態蓄積部１６１は、ステップＳ１４１において、図１２のステップＳ１２３において生成された覆われ状態情報を記憶する。ステップＳ１４２において、制御内容決定部１６２は、覆われ状態蓄積部１６１が蓄積している覆われ状態情報により示される音響信号入力部１０１の覆われ状態に基づいて、電子機器に対する制御内容を決定する。

なお、ステップＳ１４２において、制御内容決定部１６２が、１回分の覆われ状態情報のみから制御内容を決定する場合、ステップＳ１４１の処理を省略し、図１２のステップＳ１２３において覆われ状態情報が生成され次第、ステップＳ１４２の処理が実行されるようにしてもよい。また、ステップＳ１４２において、制御内容決定部１６２が、複数回分の覆われ状態情報を用いて制御内容を決定する場合、ステップＳ１４１の処理が所定回数（複数回）行われてから、ステップＳ１４２の処理が行われるようにしてもよい。

ステップＳ１４２の処理が終了すると、機器制御決定部１０４は、制御内容決定処理を終了し、処理を図１１のステップＳ１０４に戻し、制御処理を終了させる。

以上のように、制御装置１００が各処理を実行することにより、ユーザは、制御装置１００に対して、発音することなく、かつ、制御装置１００（音響信号入力部１０１等）に接触することなく、単に、音響信号入力部１０１の周辺を覆うだけで、電子機器に対する指示を入力することができるようになる。つまり、制御装置１００は、発音不要かつ非接触な入力操作を実現することができる。

＜２．第２の実施の形態＞
［制御装置］
音響信号入力部１０１が複数設けられるようにしてもよい。図１４は、本発明を適用した制御装置の一実施の形態の構成を表している。

図１４に示される制御装置２００は、図１の制御装置１００と同様の装置であり、ユーザ等により行われる音響信号入力部を覆う動作を受け付け、そのユーザ指示により指定される制御内容の制御情報を生成し、制御対象の電子機器等にその制御情報を出力する。したがって、制御装置２００は、基本的に制御装置１００と同様の構成を有するが、制御装置１００と異なり、音響信号入力部１０１を２つ有する（音響信号入力部１０１−１および音響信号入力部１０１−２）。

音響信号入力部１０１−１および音響信号入力部１０１−２は、それぞれ、制御装置１００の音響信号入力部１０１と同様のセンサを有し、集音した音響信号を電気信号に変換する。音響信号入力部１０１−１および音響信号入力部１０１−２は、ユーザ等により覆われていない状態において、互いに略同じ音響信号を集音できる程度に互いの近傍に設置される。ただし、音響信号入力部１０１−１および音響信号入力部１０１−２は、ユーザ等が、それらのいずれか一方のみを覆うことができる程度に離されて設置される。

なお、以下において、音響信号入力部１０１−１および音響信号入力部１０１−２を互いに区別して説明する必要が無い場合、単に、それらを音響信号入力部１０１と称する場合もある。

また、図１４に示されるように、制御装置２００は、時間周波数変換部１０２も２つ有する（時間周波数変換部１０２−１および時間周波数変換部１０２−２）。時間周波数変換部１０２−１は、音響信号入力部１０１−１から出力される電気信号（音響信号入力部１０１−１が集音した音響信号（入力音）を変換した電気信号）を、例えばフーリエ変換等の任意の方法で周波数変換し、その周波数特性（パワースペクトル）を生成する。時間周波数変換部１０２−２は、音響信号入力部１０１−２から出力される電気信号（音響信号入力部１０１−２が集音した音響信号（入力音）を変換した電気信号）を、例えばフーリエ変換等の任意の方法で周波数変換し、その周波数特性（パワースペクトル）を生成する。

制御装置２００は、制御装置１００が有する覆われ検出部１０３の代わりに、覆われ検出部２０３を有する。つまり、制御装置２００は、音響信号入力部１０１−１および音響信号入力部１０１−２、時間周波数変換部１０２−１および時間周波数変換部１０２−２、覆われ検出部２０３、並びに、機器制御決定部１０４を有する。

覆われ検出部２０３は、基本的に制御装置１００の覆われ検出部１０３と同様の処理部であるが、覆われ検出部１０３の場合と異なり、時間周波数変換部１０２−１および時間周波数変換部１０２−２の両方の出力（パワースペクトル）を取得する。覆われ検出部２０３は、その両入力（パワースペクトル）の差分を算出し、その差分値から覆われ特徴量を算出し、覆われ状態を判定し、覆われ状態情報を機器制御決定部１０４に出力する。

［覆われ検出部］
図１５は、図１４の覆われ検出部２０３の主な構成例を示すブロック図である。図１５に示されるように、覆われ検出部２０３は、覆われ検出部１０３の場合の周波数特性蓄積部１１１の代わりに周波数特性蓄積部２１１を有し、さらに、覆われ特徴量算出部１１２および覆われ状態検出部１１３の他に差分算出部２１２を有する。

周波数特性蓄積部２１１は、周波数特性蓄積部１１１と同様に、例えば、ハードディスク、フラッシュメモリ、若しくはRAM等の任意の記憶媒体を有し、時間周波数変換部１０２−１から供給された入力音の周波数特性（パワースペクトル）と、時間周波数変換部１０２−２から供給された入力音の周波数特性（パワースペクトル）との両方を記憶する。周波数特性蓄積部２１１は、所定のタイミング、若しくは、差分算出部２１２の要求に基づいて、記憶している両方のパワースペクトルを差分算出部２１２に供給する。

差分算出部２１２は、周波数特性蓄積部２１１から供給される、音響信号入力部１０１−１において集音された音響信号のパワースペクトルと、音響信号入力部１０１−２において集音された音響信号のパワースペクトルとの差分を算出する。

例えば、ユーザがその手等によって音響信号入力部１０１−２のみを覆った場合、音響信号入力部１０１−１より入力される入力音のパワースペクトルは、図１６Ａに示されるように、覆われていない状態のスペクトル波形となる。これに対して、音響信号入力部１０１−２より入力される入力音のパワースペクトルは、図１６Ｂに示されるように、覆われた状態のスペクトル波形となり、ピーク（共振点）が観測される。

しかしながら、例えば、図１６Ａに示されるように、元々、ピーク以外の周波数成分においてもスペクトルが存在する場合、図１６Ｂに示されるようにピークが目立ちにくい場合がある。

差分算出部２１２は、これらのスペクトルの差分を算出し、図１６Ｃに示されるようなスペクトル波形を得る。上述したように、覆われていない状態において、音響信号入力部１０１−１の入力音と音響信号入力部１０１−２の入力音は、互いに略同一である。つまり、音響信号入力部１０１が覆われている状態のスペクトルから、音響信号入力部１０１が覆われていない状態のスペクトルを減算することにより、音響信号入力部１０１が覆われることにより変化した部分、すなわち、ピークの部分のスペクトルが強調される。

差分算出部２１２は、このように求めた差分値を覆われ特徴量算出部１１２に供給する。覆われ特徴量算出部１１２は、この差分値からピーク（共振点）についての覆われ特徴量を算出する。

このようにすることにより、覆われ特徴量算出部１１２は、より正確にピーク（共振点）を特定することができる。つまり、覆われ特徴量算出部１１２は、ピーク（共振点）についての覆われ特徴量をより正確に算出することができる。これにより、覆われ状態検出部１１３は、より正確に、覆われ状態を判定し、覆われ状態情報を生成することができる。すなわち、制御装置２００は、発音不要かつ非接触な入力操作を実現することができるだけでなく、より正確にユーザ操作に対応する制御情報を出力することができる。

なお、音響信号入力部１０１の数は任意であり、例えば３つ以上であってもよい。また、各音響信号入力部１０１が、覆われていない状態において略同一の音を入力することができ、かつ、それぞれを１つずつ覆うことが可能な程度の距離を保つように配置されるのであれば、その位置関係も任意である。例えば、複数の音響信号入力部１０１が所定の間隔でマトリクス状に配置されるようにしてもよい。

また、各音響信号入力部１０１が、その向きが互いに異なるように設置されるようにしてもよい。

［制御処理］
この場合の、制御処理の流れの例を図１７のフローチャートを参照して説明する。このフローチャートは、図１１のフローチャートに対応する。

制御装置２００が行う制御処理も、制御装置１００が行う制御処理（図１１）と基本的に同様の処理が行われる。

ただし、図１７に示される例の場合、ステップＳ２０１およびステップＳ２０２の処理において、音響信号入力部１０１−１において集音された音響信号の周波数特性（パワースペクトル）が生成される。また、ステップＳ２０３およびステップＳ２０４の処理において、音響信号入力部１０１−２において集音された音響信号の周波数特性（パワースペクトル）が生成される。

これらのパワースペクトルの生成方法は、図１１のステップＳ１０１およびステップＳ１０２の場合と同様である。つまり、図１１のステップＳ１０１およびステップＳ１０２の処理が音響信号入力部１０１の数だけ繰り返される。すなわち、音響信号入力部１０１の数が３つ以上の場合、図１１のステップＳ１０１およびステップＳ１０２の処理が３回以上繰り返される（各音響信号入力部１０１について、図１１のステップＳ１０１およびステップＳ１０２の処理が行われる）ことになる。

ステップＳ２０５において、覆われ検出部２０３は、覆われ状態の検出を行い、ステップＳ２０１乃至ステップＳ２０４の処理により生成されたパワースペクトルから、覆われ状態情報を生成する。ステップＳ２０６において、機器制御決定部１０４は、図１１のステップＳ１０４の場合と同様に、ステップＳ２０３において生成された覆われ状態情報に基づいて、その覆われ状態に応じた制御内容を決定する。

ステップＳ２０６の処理を終了すると、制御装置２００は、制御処理を終了する。制御装置２００は、このような制御処理を繰り返し実行する。実際には、制御処理の各ステップの処理が適宜並列に実行される。

［覆われ状態検出処理の流れ］
次に、図１８のフローチャートを参照して、図１７のステップＳ２０５において覆われ検出部２０３により実行される覆われ状態検出処理の流れの例を説明する。このフローチャートは、図１２のフローチャートに対応する。

覆われ状態処理検出処理が開始されると、周波数特性蓄積部１１１は、ステップＳ２２１において、図１７のステップＳ２０２において算出された音響信号入力部１０１−１の入力音のパワースペクトルを記憶する。また、周波数特性蓄積部１１１は、ステップＳ２２２において、図１７のステップＳ２０４において算出された音響信号入力部１０１−２の入力音のパワースペクトルを記憶する。

ステップＳ２２３において、差分算出部２１２は、ステップＳ２２１およびステップＳ２２２において記憶されたパワースペクトルの差分値を算出する。ステップＳ２２４において、覆われ特徴量算出部１１２は、図１２のステップＳ１２２の場合と同様に、ステップＳ２２３において算出したパワースペクトルの差分値を解析し、覆われ特徴量を算出する。

なお、ステップＳ２２４において、覆われ特徴量算出部１１２が、１サンプリング分のパワースペクトルのみから覆われ特徴量を算出する場合、ステップＳ２２１およびステップＳ２２２の処理を省略し、図１７のステップＳ２０４においてパワースペクトルが算出され次第、ステップＳ２２３の処理が実行されるようにしてもよい。また、ステップＳ２２４において、覆われ特徴量算出部１１２が、複数サンプリング分のパワースペクトルの差分値を用いて、覆われ特徴量を算出する場合、ステップＳ２２１およびステップＳ２２２の処理が所定回数（複数回）行われてから、ステップＳ２２３の処理が行われるようにしてもよい。

ステップＳ２２５において、覆われ状態検出部１１３は、図１２のステップＳ１２３の場合と同様に、ステップＳ２２４において算出された覆われ特徴量に基づいて、各音響信号入力部１０１の覆われ状態（ユーザ操作の内容）を判定し、その覆われ状態を示す覆われ状態情報を機器制御決定部１０４に出力する。

ステップＳ２２５の処理が終了すると、覆われ検出部１０３は、覆われ状態検出処理を終了し、処理を図１７のステップＳ２０５に戻し、ステップＳ２０６以降の処理を実行させる。

以上のような各処理を実行することにより、制御装置２００は、発音不要かつ非接触な入力操作を実現することができるだけでなく、その際、より正確にユーザ操作に対応する制御情報を出力することができる。

以上に説明した制御装置１００および制御装置２００は、任意の電子機器の制御装置として適用することができる。また、制御装置１００および制御装置２００を、任意の電子機器の制御部として構成するようにしてもよい。

以下に、制御装置１００および制御装置２００の応用例の一部について説明する。

＜３．第３の実施の形態＞
［携帯型音楽再生装置］
まず、最初に、制御装置１００および制御装置２００を携帯型音楽再生装置に適用する場合について説明する。

図１９は、本発明を適用した携帯型音楽再生装置の主な構成例を示すブロック図である。なお、図１９においては、本発明に関する部分のみが示されている。図１９に示される携帯型音楽再生装置３００は、例えばハードディスクやフラッシュメモリ等の任意の記憶媒体に記憶されている楽曲データを再生し、その再生された音響信号をヘッドホン等のスピーカより出力する。

また、携帯型音楽再生装置３００は、制御装置１００を内蔵する。これにより、携帯型音楽再生装置３００は、ユーザが、発音することなく、かつ、非接触な操作で、例えば楽曲データの再生等の制御に関する指示を入力することができる。

図１９に示されるように、携帯型音楽再生装置３００は、音響信号入力部１０１−Ｌ、時間周波数変換部１０２−Ｌ、覆われ検出部１０３−Ｌ、音響信号入力部１０１−Ｒ、時間周波数変換部１０２−Ｒ、覆われ検出部１０３−Ｒ、機器制御決定部３０４、および制御部３０５を有する。

音響信号入力部１０１−Ｌおよび音響信号入力部１０１−Ｒは、それぞれ音響信号入力部１０１である。時間周波数変換部１０２−Ｌおよび時間周波数変換部１０２−Ｒは、それぞれ、時間周波数変換部１０２である。覆われ検出部１０３−Ｌおよび覆われ検出部１０３−Ｒは、それぞれ、覆われ検出部１０３である。

音響信号入力部１０１−Ｌおよび音響信号入力部１０１−Ｒは、互いに異なる入力部として互いに異なる位置に設けられる。つまり、音響信号入力部１０１−Ｌおよび音響信号入力部１０１−Ｒは、制御装置２００の場合のように、スペクトルの差分値を取るための構成ではなく、それぞれ、互いに独立して動作し、それぞれに対して行われるユーザ操作を受け付ける。

時間周波数変換部１０２−Ｌおよび覆われ検出部１０３−Ｌは、音響信号入力部１０１−Ｌの入力音（が変換された電気信号）に対して処理を行う。時間周波数変換部１０２−Ｒおよび覆われ検出部１０３−Ｒは、音響信号入力部１０１−Ｒの入力音（が変換された電気信号）に対して処理を行う。

すなわち、携帯型音楽再生装置３００は、「Ｒ」と「Ｌ」の２系統の入力系を有する。各入力系は互いに独立して動作するが、各入力系には互いに異なる制御内容が割り当てられている。つまり、ユーザが音響信号入力部１０１−Ｌと音響信号入力部１０１−Ｒとのそれぞれに対して同じように覆った場合でも、互いに異なる制御内容が決定される。

音響信号入力部１０１−Ｌと音響信号入力部１０１−Ｒの設置位置は任意である。例えば、音響信号入力部１０１−Ｌは、ヘッドホンの左スピーカの近傍に、ヘッドホンの外側に向けて（頭部にヘッドホンが装着された状態において、頭部と反対側に位置するように）設けられる。また、例えば、音響信号入力部１０１−Ｒは、ヘッドホンの右スピーカの近傍に、ヘッドホンの外側に向けて（頭部にヘッドホンが装着された状態において、頭部と反対側に位置するように）設けられる。

例えば、ユーザが、音響信号入力部１０１−Ｌを手で覆うと、第１の実施の形態において説明したように、覆われ検出部１０３−Ｌにより、その覆われ状態が検出され、その覆われ状態情報が生成されて、機器制御決定部３０４に供給される。

同様に、例えば、ユーザが、音響信号入力部１０１−Ｒを手で覆うと、第１の実施の形態において説明したように、覆われ検出部１０３−Ｒにより、その覆われ状態が検出され、その覆われ状態情報が生成されて、機器制御決定部３０４に供給される。

上述したように各入力系に対して互いに異なる制御内容が割り当てられており、機器制御決定部３０４は、それぞれの覆われ状態情報に基づいて、制御内容を決定する。機器制御決定部３０４は、機器制御決定部１０４と同様の構成を有する。すなわち、機器制御決定部３０４は、覆われ状態蓄積部１６１および制御内容決定部１６２を有する（図８）。

以下に、制御内容決定の様子の具体例を説明する。

例えば、覆われ検出部１０３−Ｌが時刻ｔのときに出力する覆われ状態情報の値をX_Lch[t]とし、音響信号入力部１０１−Ｌが覆われている状態のとき、X_Lch[t]＝１とし、覆われていない状態のとき、X_Lch[t]＝−１とする。

ユーザ操作等により、音響信号入力部１０１−Ｌが覆われていない状態から覆われている状態に変化した場合、すなわち、覆われ状態情報の値X_Lch[t1 - 1] = -1, X_Lch[t1] = 1の場合、機器制御決定部３０４は、音響信号入力部１０１−Ｌが覆われている状態から覆われていない状態に変化するまで、すなわち、覆われ状態情報の値X_Lch[t2 - 1] = 1, X_Lch[t2] = -1となるまで、待機する。

そして、音響信号入力部１０１−Ｌが覆われている状態から覆われていない状態に変化した場合、すなわち、覆われ状態情報の値X_Lch[t2 - 1] = 1, X_Lch[t2] = -1となった場合、機器制御決定部３０４は、時刻t2と時刻t1との間隔（t2 - t1）を調べ、

t2 - t1 < T となる場合、前の曲を選曲する制御情報を生成して出力し、
t2 - t1 >= T となる場合、現在再生中の曲を巻き戻す制御情報を生成して出力する。

これに対して、例えば、覆われ検出部１０３−Ｒが時刻ｔのときに出力する覆われ状態情報の値をX_Rch[t]とし、音響信号入力部１０１−Ｒが覆われている状態のとき、X_Rch[t]＝１とし、覆われていない状態のとき、X_Rch[t]＝−１とする。

ユーザ操作等により、音響信号入力部１０１−Ｒが覆われていない状態から覆われている状態に変化した場合、すなわち、覆われ状態情報の値X_Rch[t1 - 1] = -1, X_Rch[t1] = 1の場合、機器制御決定部３０４は、音響信号入力部１０１−Ｒが覆われている状態から覆われていない状態に変化するまで、すなわち、覆われ状態情報の値X_Rch[t2 - 1] = 1, X_Rch[t2] = -1となるまで、待機する。

そして、音響信号入力部１０１−Ｒが覆われている状態から覆われていない状態に変化した場合、すなわち、覆われ状態情報の値X_Rch[t2 - 1] = 1, X_Rch[t2] = -1となった場合、機器制御決定部３０４は、時刻t2と時刻t1との間隔（t2 - t1）を調べ、

t2 - t1 < T となる場合、次の曲を選曲する制御情報を生成して出力し、
t2 - t1 >= T となる場合、現在再生中の曲を早送りする制御情報を生成して出力する。

機器制御決定部３０４は、このように制御内容を決定し、その制御情報を制御部３０５に供給する。制御部３０５は、機器制御決定部３０４から供給される制御情報に従って、携帯型音楽再生装置３００の動作を制御する。例えば、上述の例の場合、制御部３０５は、制御情報に基づいて、曲の選択や、巻き戻しや早送り等の再生制御を行う。もちろん、制御内容は任意である。例えば、出力音量制御や、楽曲データの編集、音声処理（イコライジング）の設定等に関する制御であってもよい。

このように、携帯型音楽再生装置３００は、制御装置１００を適用することにより、ユーザが、発音することなく、かつ、非接触な操作で、例えば楽曲データの再生等の制御に関する指示を入力することができるようにすることができる。

例えば、ユーザは、ヘッドホンの左右のスピーカの近傍に設けられた、音響信号入力部１０１のいずれか一方を手で覆うことにより、容易に、楽曲を選択したり、楽曲の再生を早送りしたり巻き戻したりすることができる。

また、上述したように、音響信号入力部１０１を複数設け、多系統の入力を実現することにより、携帯型音楽再生装置３００は、ユーザがより多様な制御指示を、より容易に入力することができるようにすることができる。

［制御処理の流れ］
この場合の制御処理の流れの例を図２０のフローチャートを参照して説明する。この場合の制御処理においては、第１の実施の形態において説明した制御処理（図１１）の場合と基本的に同様の処理が行われる。

ただし、この場合、入力系統が複数（２つ）存在するので、各入力系について、ステップＳ１０１乃至ステップＳ１０３の各処理が繰り返される。つまり、図２０の例の場合、ステップＳ１０１乃至ステップＳ１０３の各処理と同様のステップＳ３０１乃至ステップＳ３０３の各処理がＬ入力系に対して行われた後、ステップＳ１０１乃至ステップＳ１０３の各処理と同様のステップＳ３０４乃至ステップＳ３０６の各処理が、Ｒ入力系に対して行われる。

ステップＳ３０７において、機器制御決定部３０４は、ステップＳ３０３およびステップＳ３０６のそれぞれにおいて生成された覆われ状態情報に基づいて、制御内容決定処理を行う。ステップＳ３０８において、制御部３０５は、ステップＳ３０７において決定された制御内容に応じた処理を行い、制御処理を終了する。

この場合も制御処理は、繰り返し行われる。また、各処理は、適宜並行して実行される。

［制御内容決定処理の流れ］
次に、図２１のフローチャートを参照して、図２０のステップＳ３０７において実行される制御内容決定処理の流れの例を説明する。

制御内容決定処理が開始されると、覆われ状態蓄積部１６１は、ステップＳ３４１において、覆われ検出部１０３−Ｌから供給される覆われ状態情報を記憶し、ステップＳ３４２において、覆われ検出部１０３−Ｒから供給される覆われ状態情報を記憶する。

ステップＳ３４３において、制御内容決定部１６２は、覆われ状態蓄積部１６１に記憶される各系統の覆われ状態情報（すなわち、各音響信号入力部１０１の覆われ状態）に基づいて、制御内容を決定する。

制御内容が決定されると、機器制御決定部３０４は、制御内容決定処理を終了し、処理を図２０のステップＳ３０７に戻し、ステップＳ３０８以降の処理を行う。

以上のように各処理を行うことにより、携帯型音楽再生装置３００は、ユーザがより多様な制御指示を、より容易に入力することができるようにすることができる。

なお、以上においては、入力系の数を２つとして説明したが、もちろん、入力系が３系統以上であってもよい。その場合、ユーザは、さらに多くの制御指示をより容易に入力することができるようになる。

また、以上においては、携帯型音楽再生装置に制御装置１００を適用する場合について説明したが、制御装置１００の代わりに制御装置２００を適用するようにしてももちろんよい。その場合、音響信号入力部１０１−Ｌおよび音響信号入力部１０１−Ｒが、それぞれ、図１４乃至図１８を参照して説明したように、２つの音響信号入力部１０１−および音響信号入力部１０１−２として構成される。覆われ検出部１０３−Ｌおよび覆われ検出部１０３−Ｒは、スペクトルの差分情報に基づいてそれぞれの覆われ状態情報を生成する。

なお、本発明を適用した制御装置１００および制御装置２００は、携帯型音楽再生装置以外の電子機器にも適用することができる。例えば、ゲーム機に適用することもできる。

近年のゲーム機では、ゲームコントローラにマイクロホンが搭載されていることも多い。このマイクロホンを音響信号入力部１０１として使用するようにしてもよい。例えば、そのマイクロホンを覆っているもの（例えば手）の距離や覆われ具合等をパラメータとして使用し、ゲーム内に反映させることで、制御量を入力可能な所謂アナログコントローラとしてゲーム操作に使用することができる。

＜４．第４の実施の形態＞
［携帯電話機］
次に、制御装置１００および制御装置２００を携帯電話機に適用する場合について説明する。

図２２は、本発明を適用した携帯電話機の主な構成例を示すブロック図である。なお、図２２においては、本発明に関する部分のみが示されている。図２２に示される携帯電話機４００は、通話に使用されるマイクロホンを、さらに音響信号入力部１０１としても使用する。また、このマイクロホンは、音声認識処理の入力デバイスとしても使用される。

図２２に示されるように、携帯電話機４００は、例えば、音響信号入力部１０１、時間周波数変換部１０２、覆われ検出部１０３、機器制御決定部４０４、通話状態通知部４１１、音声波形蓄積部４１２、音声認識部４１３、および制御部４１４を有する。

機器制御決定部４０４は、機器制御決定部１０４（図８）と同様の構成を有する。すなわち、機器制御決定部４０４は、覆われ状態蓄積部１６１および制御内容決定部１６２を有する。

機器制御決定部４０４は、覆われ検出部１０３から供給される覆われ状態情報に基づいて、制御内容を決定する。このとき、機器制御決定部４０４は、通話状態通知部４１１から供給される通話状態に関する情報も参照する。

例えば、ある時刻ｔにおいて覆われ検出部１０３から出力される覆われ状態情報の値をX[t]とし、音響信号入力部１０１が覆われている状態の場合、X[t] = 1とし、音響信号入力部１０１が覆われていない状態の場合、X[t] = -1とする。

音響信号入力部１０１が覆われていない状態から覆われている状態に変化した場合、つまり、X[t1 - 1] = -1, X[t1] = 1となる場合、機器制御決定部４０４は、音響信号入力部１０１が覆われている状態から覆われていない状態に変化するまで、すなわち、X[t2 - 1] = 1, X[t2] = -1となるまで待機する。

そして、両者の時刻ｔ１およびｔ２を比較し、その時間（t2 - t1）が所定の時間閾値Ｔより長く（t2 - t1 > T）、かつ、携帯電話機４００が通話中の状態である場合、機器制御決定部４０４は、例えば、受話音量を大きくするように制御内容を決定し、その制御情報を制御部４１４に供給する。

例えば、ユーザが、通話中に、携帯電話機４００の受話部分（音響信号入力部１０１）近傍（口元）に手を当てると、携帯電話機４００は、受話音量（スピーカの出力レベル）を大きくする。

これに対して、時間（t2 - t1）が所定の時間閾値Ｔより長く（t2 - t1 > T）、かつ、携帯電話機４００が通話中の状態でない場合、機器制御決定部４０４は、例えば、時刻t1から時刻t2までの間に入力された入力音（の電気信号）が音声認識部４１３に供給され、音声認識処理が行われるように制御内容を決定し、その制御情報を音声波形蓄積部４１２に供給する。

そして、機器制御決定部４０４は、音声認識結果を音声認識部４１３から取得し、その音声認識結果に応じた処理を行うように指示する制御情報を制御部４１４に供給する。

例えば、ユーザが、非通話中に、携帯電話機４００の受話部分（音響信号入力部１０１）近傍（口元）に手を当てて音声を入力すると、携帯電話機４００は、その入力された音声に応じた処理を行う。

もちろん、各覆われ状態に応じて決定される制御の内容は任意である。

通話状態通知部４１１は、制御部４１４の制御の様子に基づいて、携帯電話機４００の通話状態を把握し、その通話状態を機器制御決定部４０４に通知する。機器制御決定部４０４は、この通知に基づいて、携帯電話機４００が通話処理中であるか否かを判定する。

音声波形蓄積部４１２は、例えば、ハードディスク、フラッシュメモリ、またはRAM等の任意の記憶媒体により構成され、音響信号入力部１０１において入力される入力音の電気信号を所定期間蓄積する。音声波形蓄積部４１２は、蓄積した音響信号（音声波形）を、機器制御決定部４０４の制御に従って、蓄積している電気信号を音声認識部４１３に供給する。

音声認識部４１３は、音声波形蓄積部４１２から供給される電気信号を解析し、音声認識処理を行う。この音声認識処理の方法は任意である。音声認識部４１３は、音声認識結果を機器制御決定部４０４に供給する。

制御部４１４は、機器制御決定部４０４から供給される制御情報に基づいて、携帯電話機４００の各部を制御する。制御の内容は任意であり、上述した以外であってもよい。

以上のように、携帯電話機４００は、制御装置１００を適用することにより、ユーザが、発音することなく、かつ、非接触な操作で、携帯電話機４００の制御に関する指示を入力することができるようにすることができる。

また、上述したように、携帯電話機４００の通話に用いられるマイクロホンを音響信号入力部１０１として用いることにより、部品点数を低減させることができ、携帯電話機４００の製造コストを低減させることができる。

さらに、上述したように、音響信号入力部１０１を、音声認識処理等のさらに他の処理の入力部として併用することもできる。このようにすることにより、携帯電話機４００のコストをさらに低減させることができる。

［制御処理の流れ］
図２４のフローチャートを参照して、この場合の制御処理の流れの例を説明する。

この場合、図２４に示されるように、制御処理は、図１１を参照して説明した場合と基本的に同様に行われる。つまり、ステップＳ４０１乃至ステップＳ４０４の各処理は、基本的に、図１１のステップＳ１０１乃至ステップＳ１０４の各処理と同様に行われる。

ただし、ステップＳ４０４において行われる制御内容決定処理の詳細については、後述する。

ステップＳ４０５において、制御部４１４は、携帯電話機４００の各部を制御し、機器制御決定部４０４により決定された制御内容に応じた処理を行い、制御処理を終了する。

この場合も制御処理は、繰り返し行われる。また、各処理は、適宜並行して実行される。

［制御内容決定処理の流れ］
次に、図２４のフローチャートを参照して、図２３のステップＳ４０４において実行される制御内容決定処理の流れの例を説明する。

制御内容決定処理が開始されると、ステップＳ４４１において、覆われ状態蓄積部１６１は、覆われ検出部１０３から供給される覆われ状態情報を記憶する。

ステップＳ４４２において、制御内容決定部１６２は、その覆われ状態蓄積部１６１に蓄積される覆われ状態情報に基づいて、音響信号入力部１０１がユーザの手等により覆われている時間である覆われ期間（例えば、上述したt2 - t1）を検出する。

ステップＳ４４３において、制御内容決定部１６２は、通話状態通知部４１１からの通知に基づいて、通話状態を判定する。

ステップＳ４４４において、制御内容決定部１６２は、ステップＳ４４２およびステップＳ４４３の処理結果に基づいて、覆われ期間が所定の長さ（時間閾値Ｔ）より長く、かつ、通話中であるか否かを判定する。覆われ期間が所定の長さ（時間閾値Ｔ）より長く、かつ、通話中であると判定された場合、制御内容決定部１６２は、処理をステップＳ４４５に進める。

ステップＳ４４５において、制御内容決定部１６２は、制御部４１４に制御情報を供給し、受話音量を小さくするように制御させる。ステップＳ４４５の処理を終了すると、制御内容決定部１６２は、制御内容決定処理を終了し、処理を図２３のステップＳ４０４に戻し、ステップＳ４０５以降の処理を実行させる。

また、図２４のステップＳ４４４において、覆われ期間が所定の長さ（時間閾値Ｔ）より長くない、若しくは、非通話中であると判定された場合、制御内容決定部１６２は、処理をステップＳ４４６に進める。

ステップＳ４４６において、制御内容決定部１６２は、ステップＳ４４２およびステップＳ４４３の処理結果に基づいて、覆われ期間が所定の長さ（時間閾値Ｔ）より長く、かつ、非通話中であるか否かを判定する。覆われ期間が所定の長さ（時間閾値Ｔ）より長く、かつ、非通話中であると判定された場合、制御内容決定部１６２は、処理をステップＳ４４７に進める。

ステップＳ４４７において、制御内容決定部１６２は、音声波形蓄積部４１２を制御し、音声波形蓄積部４１２に蓄積されている覆われ期間の入力音の電気信号を、音声認識部４１３に供給させ、音声認識部４１３に音声認識を行わせる。

ステップＳ４４８において、制御内容決定部１６２は、その音声認識結果に基づいて、制御内容を決定し、その制御情報を制御部４１４に供給し、その音声認識処理に対応する処理が実行されるように制御させる。ステップＳ４４８の処理を終了すると、制御内容決定部１６２は、制御内容決定処理を終了し、処理を図２３のステップＳ４０４に戻し、ステップＳ４０５以降の処理を実行させる。

また、図２４のステップＳ４４４において、覆われ期間が所定の長さ（時間閾値Ｔ）より長くないと判定された場合、制御内容決定部１６２は、制御内容決定処理を終了し、処理を図２３のステップＳ４０４に戻し、ステップＳ４０５以降の処理を実行させる。

以上のような各処理を実行することにより、携帯電話機４００は、ユーザが、発音することなく、かつ、非接触な操作で、携帯電話機４００の制御に関する指示を入力することができるようにすることができる。

以上においては、携帯電話機に制御装置１００を適用する場合について説明したが、制御装置１００の代わりに制御装置２００を適用するようにしてももちろんよい。

なお、本発明を適用した制御装置１００および制御装置２００は、携帯電話機以外の電子機器にも適用することができる。例えば、音声認識装置やＩＣレコーダ等に適用することもできる。

例えば、一般に現在の音声認識装置では、認識させたい音声の区間を何らかの手法で特定するPush-To-Talkと呼ばれる手法が用いられることが多い。これは、ユーザが発話する際にボタンのようなものを押してから発話するというものである。

このボタンの代わりに、制御装置１００や制御装置２００を適用することにより、ユーザが、発話に利用するマイクロホンを軽く手で覆う等の非接触な操作を行うことにより、ボタン操作の代わりとすることができる。このようにすることでPush-To-Talk用のボタンを設ける必要がなくなり、音声認識装置の製造コストを低減させることができる。

なお、この場合、ユーザは、手をマイクロホンに接触させる必要が無いので、手等をマイクロホンにかざした状態（マイクロホンが覆われた状態）のまま、発話することができる（この状態においても、マイクロホンはユーザの発話を十分に集音することができる）。

これに対して、例えば、マイクロホンを指で叩く等、マイクロホンに接触する必要がある場合、発話する前にその手をマイクロホンから離す必要があるので、煩雑な作業が必要になる。また、接触することにより雑音が発生するので、発話の立ち上がりの音声を、雑音の少ない好ましい状態で集音することが困難になる恐れもあり、音声認識処理の精度を低減させてしまう恐れもある。

本発明を適用することにより、非接触な操作を実現することができるので、音声認識装置は、立ち上がりの音声から、雑音の少ない好ましい状態で集音を行うことができる。

また、ICレコーダに本発明の制御装置１００や制御装置２００を適用することもできる。その場合、例えば、ICレコーダに設けられた集音（録音）に用いられるマイクロホンを、音響信号入力部１０１として利用することができる。

例えば、マイクロホンが短い時間覆われた場合、一時停止し、マイクロホンが長い時間覆われた場合、録音中なら停止、停止中なら録音開始するようにしてもよい。

このように、ICレコーダに関する動作を、制御内容として覆われ状態に割り当てることにより、ユーザは、ICレコーダ本体に触れることなくICレコーダを操作することができる。したがって、音声認識装置の場合と同様に、製造コストを低減させることができるだけでなく、ユーザが操作のためにマイクロホン等に触れることにより、雑音が録音されることを抑制することができる。

もちろん、本発明を適用した制御装置は、上述した以外の任意の電子機器に適用することができる。

＜５．第５の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、例えば、図２５に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。

図２５において、パーソナルコンピュータ５００のCPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５１３からRAM５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５１０も接続されている。

入出力インタフェース５１０には、キーボード、マウスなどよりなる入力部５１１、CRT（Cathode Ray Tube）ディスプレイやLCD（Liquid Crystal Display）等のディスプレイ、並びにスピーカなどよりなる出力部５１２、フラッシュメモリ等SSD（Solid State Drive）やハードディスクなどよりなる記憶部５１３、有線LAN（Local Area Network）や無線LANのインタフェースやモデムなどよりなる通信部５１４が接続されている。通信部５１４は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース５１０にはまた、必要に応じてドライブ５１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５１３にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図２５に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア５２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５１３に含まれるハードディスクなどにより構成される。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。

また、以上において、１つの装置（または処理部）として説明した構成が、複数の装置（または処理部）として構成されるようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成が、まとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成が付加されるようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部が他の装置（または他の処理部）の構成に含まれるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１００ 制御装置， １０１ 音響信号入力部， １０２ 時間周波数変換部， １０３ 覆われ検出部， １０４ 機器制御決定部， １１１ 周波数特性蓄積部， １１２ 覆われ特徴量算出部， １１３ 覆われ状態検出部， １６１ 覆われ状態蓄積部， １６２ 制御内容決定部， ２００ 制御装置， ２０３ 覆われ検出部， ２１１ 周波数特性蓄積部， ２１２ 差分算出部， ３００ 携帯型音楽再生装置， ３０４ 機器制御決定部， ３０５ 制御部， ４００ 携帯電話機， ４０４ 機器制御決定部， ４１１ 通話状態通知部， ４１２ 音声波形蓄積部， ４１３ 音声認識部， ４１４ 制御部

Claims (14)

1. 集音する集音手段と、
   前記集音手段により集音されて得られた音響信号の周波数特性における共振周波数および前記共振周波数の成分の大きさに基づいて、前記集音手段の覆われ状態を検出する覆われ検出手段と、
   前記覆われ検出手段により検出された前記集音手段の覆われ状態に応じて、制御対象の機器の制御内容を決定する機器制御決定手段と
   を備える信号処理装置。
2. 前記覆われ検出手段は、前記集音手段が覆われているか否か、若しくは、前記集音手段が覆われている度合いを検出する
   請求項１に記載の信号処理装置。
3. 前記覆われ検出手段は、共振周波数および前記共振周波数の成分の大きさを所定の閾値と比較し、その比較結果に応じて前記集音手段の覆われ状態を検出する
   請求項１に記載の信号処理装置。
4. 前記覆われ検出手段は、複数の時刻における前記音響信号の周波数特性における共振周波数および前記共振周波数の成分の大きさを加算し、その加算結果に基づいて、前記集音手段の覆われ状態を検出する
   請求項１に記載の信号処理装置。
5. 前記機器制御決定手段は、前記集音手段が覆われているか否か、若しくは、前記集音手段が覆われている度合いに応じて前記制御内容を決定する
   請求項１に記載の信号処理装置。
6. 前記機器制御決定手段は、前記集音手段が覆われている時間に応じて前記制御内容を決定する
   請求項１に記載の信号処理装置。
7. 前記機器制御決定手段は、前記集音手段が覆われている度合いに応じて、前記制御内容の制御量を決定する
   請求項１に記載の信号処理装置。
8. 前記集音手段を複数備える
   請求項１に記載の信号処理装置。
9. 複数の前記集音手段のそれぞれにおいて得られた音響信号の周波数特性の差分を算出する差分算出手段をさらに備え、
   前記覆われ検出手段は、前記差分算出手段により算出された前記差分における前記共振周波数および前記共振周波数の成分の大きさに基づいて、前記集音手段の覆われ状態を検出する
   請求項８に記載の信号処理装置。
10. 前記機器制御決定手段は、各集音手段の互いに同様の覆われ状態に対して、互いに異なる制御内容を割り当てる
    請求項８に記載の信号処理装置。
11. 前記集音手段は、通話処理のために集音し、
    前記覆われ検出手段は、前記集音手段により前記通話処理のために集音されて得られた音響信号の周波数特性における共振周波数および前記共振周波数の成分の大きさに基づいて、前記集音手段の覆われ状態を検出する
    請求項１に記載の信号処理装置。
12. 前記集音手段により集音されて得られた前記音響信号に対して音声認識処理を行う音声認識処理手段をさらに備え、
    前記機器制御決定手段は、前記覆われ検出手段により検出された前記集音手段の覆われ状態、および、前記音声認識処理手段による前記音声認識処理の結果に応じて、前記制御内容を決定する
    請求項１に記載の信号処理装置。
13. 信号処理装置の信号処理方法であって、
    集音手段が、集音し、
    覆われ検出手段が、集音されて得られた音響信号の周波数特性における共振周波数および前記共振周波数の成分の大きさに基づいて、前記集音手段の覆われ状態を検出し、
    機器制御決定手段が、検出された前記集音手段の覆われ状態に応じて、制御対象の機器の制御内容を決定する
    信号処理方法。
14. コンピュータを、
    集音する集音手段、
    前記集音手段により集音されて得られた音響信号の周波数特性における共振周波数および前記共振周波数の成分の大きさに基づいて、前記集音手段の覆われ状態を検出する覆われ検出手段、
    前記覆われ検出手段により検出された前記集音手段の覆われ状態に応じて、制御対象の機器の制御内容を決定する機器制御決定手段
    として機能させるためのプログラム。

Images