JP2011221702A - 音声信号処理装置、音声信号処理方法、プログラム - Google Patents

Abstract

【課題】マイクロホンを入力操作に用い、かつ簡易な音声信号処理で入力操作を検知する。
【解決手段】マイクロホンによって集音された音声信号についての低域成分のエネルギーレベルを監視する。そして、エネルギーレベルが第１の時間内での増加及び減少した場合に叩打があったと判定する。特に、第２の時間内に複数回の叩打が検出された場合に叩打入力操作があったと判定する。これにより波形解析等を行わず、簡易な音声信号処理でユーザの入力操作を検知し、それに応じた制御処理を実行できるようにする。
【選択図】図１

Description

本発明は、マイクロホンによって集音された音声信号によってユーザの操作入力を検知する音声信号処理装置、音声信号処理方法に関する。また当該音声信号処理装置、音声信号処理方法を実現するためのプログラムに関する。

特開２００８−１６６８９７号公報

各種の電子機器において、ユーザの操作入力のためのデバイスとして、操作キー、キーボード、マウス、操作ダイヤル、タッチパネル等が用いられている。
通常、電子機器の機能に応じて、これらの操作デバイスが搭載されるが、一方で、電子機器の機能や使用形態によっては、なるべく操作キーを少なくしたり、より使用性のよい操作、効率的な操作ができるようにすることが求められている。

上記特許文献1には、マイクロホンを操作入力のためのデバイスとして用いる技術が開示されている。この特許文献１に記載の技術は、マイクロホン或いはその周辺をユーザが指等で軽く叩打（タッピング）することを操作入力として認識する。このために、ユーザがタッピングしたときにマイクロホンで集音される音声信号波形を、波形相関処理により認識するようにしている。

上記特許文献１のように、マイクロホンを入力デバイスとして兼用できることで、機器筐体への操作キーの削減や、操作性の向上に寄与できる。
例えば携帯用音楽プレーヤの操作として、ユーザが装着しているヘッドホン部分にマイクロホンが取り付けられている場合を考える。ユーザは、携帯用音楽プレーヤは、通常衣服のポケットや鞄などに入れているが、ヘッドホン部分のマイクロホン周辺をタッピングすることで所定の操作が可能とされれば、わざわざ携帯用音楽プレーヤを取り出さなくてもよいためである。

ところが、マイクロホン入力の音声信号にタッピングによる音声信号成分が含まれていることを検出するためには、ＦＦＴを用いた周波数解析や、相互相関などが必要であった。これは演算処理装置としてのＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）のリソース（計算量)を多くとり、処理負担が大きい。
特に、操作入力の検知処理は、不定期のユーザ操作に対応するために常に実行していなければならない。計算量の多い処理を常に実行していくためには、それだけ高性能な演算処理装置が必要となる。
これは高性能な電子機器では大きな問題とならないが、上記の携帯用音楽プレーヤなど、比較的低コスト化が強く求められる機器では、コストアップにつながる要因となるとして好ましくない。
さらに操作検知のための計算量が多いことで操作認識までの時間が長くなり、レスポンスの良い装置動作に不利であるという欠点もあった。

そこで本発明では、マイクロホン入力の音声信号からユーザの叩打（タッピング）による操作入力を検知する場合に、すべて処理および判定を時間軸信号処理で行い、計算量を減らし、同時に検知までの時間の短縮化を実現することを目的とする。

本発明の音声信号処理装置は、マイクロホンによって集音された音声信号が入力されるとともに、該音声信号の低域成分のエネルギーレベルの第１の時間内での増加及び減少を判定するエネルギー増減判定処理に基づいて叩打入力操作を検知する叩打検知部と、上記叩打検知部により叩打入力操作が検知されたことに応じて、叩打入力操作について設定された所定の制御処理を行う制御部とを備える。
また上記叩打検知部は、上記エネルギー増減判定処理で上記エネルギーレベルの増加及び減少が第１の時間内に検出されることが、上記第１の時間より長い第２の時間内において複数回発生した場合に、叩打入力操作がされたと検知する。

また上記叩打検知部には、複数チャンネルの音声信号が入力され、上記叩打検知部は、複数チャンネルの音声信号を加算した音声信号について、上記エネルギー増減判定処理を行う。
或いは、上記叩打検知部には、複数チャンネルの音声信号が入力され、上記叩打検知部は、複数の各チャンネルの音声信号のそれぞれについて、上記エネルギー増減判定処理を行い、各チャンネルについての叩打入力操作を検知する。
或いは上記叩打検知部には、複数チャンネルの音声信号が入力され、上記叩打検知部は、複数の各チャンネルの音声信号のうちで叩打音が含まれるチャンネルを判定するチャンネル判定処理と、上記複数チャンネルの音声信号を加算または減算した音声信号についての上記エネルギー増減判定処理とを行い、叩打入力操作の検知及び叩打入力操作が行われたチャンネルの検知を行う。
また上記エネルギー増減判定処理では、該音声信号の低域成分のエネルギーレベルが第１の閾値より上昇した後、上記第１の時間内で、上記エネルギーレベルが第２の閾値より減少するか否かを判定する。
またマイクロホンをさらに備え、上記マイクロホンによって集音された音声信号が上記叩打検知部に入力されるようにする。

本発明の音声信号処理方法は、マイクロホンによって集音された音声信号についての低域成分のエネルギーレベルの第１の時間内での増加及び減少を判定するエネルギー増減判定処理に基づいて、叩打入力操作を検知する叩打検知ステップと、上記叩打検知ステップで叩打入力操作が検知されたことに応じて、叩打入力操作について設定された所定の制御処理を行う制御ステップとを備える。
本発明のプログラムは、上記叩打検知ステップと制御ステップとを演算処理装置に実行させるプログラムである。

このような本発明では、一体または別体のマイクロホンによって集音された音声信号についての低域成分のエネルギーレベルを監視する。そして、エネルギーレベルが第１の時間内での増加及び減少した場合に叩打があったと判定する。
特には、第２の時間内に複数回の叩打が検出された場合に叩打入力操作があったと判定することも好適である。
叩打があった場合、マイクロホン入力信号の低域成分のエネルギーレベル（振幅）が大きくなる。そこで音声信号の低域成分のエネルギーを監視することで、波形解析等を行わず、簡易に叩打を検知することが可能となる。

本発明により、マイクロホン入力音声信号から簡易な処理で叩打によるユーザ操作を検知できるようになる。これによって操作検知のための処理負担の軽減、それによる低コスト化の促進が可能となる。
さらに簡易な処理であることで操作検知時間が短縮されレスポンスの良い装置動作が可能となる。

本発明の実施の形態の基本的な構成のブロック図である。 本発明の実施の形態の基本的な処理のフローチャートである。 実施の形態のＮＣヘッドホンの説明図である。 実施の形態のＮＣヘッドホンのブロック図である。 実施の形態の叩打検知部の構成例Ｉのブロック図である。 実施の形態の叩打検知部に入力される音声信号の説明図である。 実施の形態の叩打検知部の処理のフローチャートである。 実施の形態の叩打検知部のタッピング判定の説明図である。 実施の形態の叩打検知部の操作入力検知の説明図である。 実施の形態の叩打検知部の構成例IIのブロック図である。 実施の形態の叩打検知部の構成例IIIのブロック図である。 実施の形態の構成例IIIの叩打検知部の処理のフローチャートである。 実施の形態の３回タッピング判定の場合のフローチャートである。 実施の形態の２回及び３回タッピング判定の場合のフローチャートである。 実施の形態の電子メール操作の例の説明図である。 実施の形態の電子メール操作の例の動作の説明図である。

以下、本発明の実施の形態について、次の順序で説明する。
＜１．基本構成及び処理＞
＜２．ＮＣヘッドホンに適用した実施の形態＞
［２−１：ＮＣヘッドホンの構成］
［２−２：叩打検知部（構成例Ｉ）］
［２−３：叩打検知部（構成例II）］
［２−４：叩打検知部（構成例III）］
［２−５：叩打検知部の処理の変形例］
＜３．各種機器に適用した実施の形態＞
＜４．プログラム＞

＜１．基本構成及び処理＞

まず本発明の実施の形態としての基本構成を説明する。
本発明は、本来、機器に設置され収音目的で使われているマイクロホン（以下「マイク」と略称する）デバイスを、機器の機能をコントロールするための各種の操作入力のセンサとして使うシステムを前提とする。そして、マイクまたはその周辺部を軽く叩くこと（本明細書では、この行為を「叩打」又は「タッピング」と呼ぶ）をユーザの操作入力として認識する。本発明は、この叩打による操作入力の検知アルゴリズムに関するものである。特に本発明の検知アルゴリズムは、従来に使われているような周波数軸解析を行わず、時間軸のみで処理を行うことで、処理のリソースを少なくして検知効果が得られるものである。
以下説明していく実施の形態は、このような本発明の検知アルゴリズムを採用して操作入力を認識する音声信号処理装置を搭載した各種の電子機器となる。

図１に実施の形態の基本構成を示す。
この図１では、音声信号処理部１、マイク４、マイクアンプ５、Ａ／Ｄ変換器６、通常処理系７を示している。
音声信号処理部１は叩打検知部２と制御部３を備える。この音声信号処理部１が本発明の音声信号処理装置に相当する。音声信号処理部１は、例えばＣＰＵやＤＳＰ等で形成される。

マイク４で集音された音声信号はマイクアンプ５で増幅された後、Ａ／Ｄ変換器６でアナログ−デジタル変換される。そしてデジタル信号とされた音声信号は、通常処理系７及び音声信号処理部１に入力される。

ここでいう通常処理系７とは、マイク４からの音声信号を入力する電子機器における音声信号に対する通常の機能の処理部を示している。
民生電子機器においては、既に様々な目的でマイク４が設けられている。或いは別体のマイク４が接続可能とされている。
例えば、携帯電話機や、録画とともに録音機能の付いたデジタルカメラ、ＩＣレコーダ、音声コミュニケーション機能を持つパーソナルコンピュータなどの情報処理装置、モバイル機器、ノイズキャンセリングヘッドホン（以下「ＮＣヘッドフォン」）などがある。
これら各種の電子機器では、マイク入力音声信号について、それぞれ機能に応じた処理系が搭載されている。
例えば記録媒体への録音を行う機能を有する機器であれば、録音のための圧縮処理、記録用エンコード処理、記録媒体への記録処理等を行う部位が、図１の通常処理系７となる。
また携帯電話機等の通信可能な機器において、音声信号を送信する機能を有する機器であれば、圧縮処理、送信用エンコード処理、送信処理等を行う部位が、図１の通常処理系７となる。
さらに図３以降で説明するＮＣヘッドフォンの場合、ノイズキャンセル処理を行う機能部分が通常処理系７に相当する。
通常処理系７では、入力された音声信号について、これらの機能に応じた処理を行う。

音声信号処理部１は、入力された音声信号について叩打検知を行い、ユーザによる操作入力を検知する。
まず叩打検知部２では、時間軸のみの処理でユーザの叩打を検知する。具体的には、入力された音声信号の低域成分のエネルギーレベルの第１の時間内での増加及び減少を判定するエネルギー増減判定処理に基づいて叩打入力操作を検知する。つまり第１の時間内として瞬間的なエネルギーレベルの増減があったときに、ユーザの叩打があったと検知する。
なお、１回の叩打によって操作入力と認識しても良いが、ユーザの無意識の叩打やマイク４の扱い、或いは何らか物体のマイク４への衝突等を操作として誤認識しないようにするため、複数回の連続的な叩打を操作入力として検知するようにしてもよい。即ちエネルギー増減判定処理として、音声信号の低域成分のエネルギーレベルの増加及び減少が第１の時間内に検出されることが、第１の時間より長い第２の時間内において複数回発生した場合に、叩打入力操作がされたと検知することも考えられる。
叩打検知部２は、ユーザの１回又は複数回のタッピングを操作入力として検知し、操作検知信号Ｓｄｅｔを制御部３に出力する。

制御部３は、電子機器において少なくともユーザ操作に対応して制御処理を行う機能を備える。そして制御部３は、操作検知信号Ｓｄｅｔによって、叩打検知部２により叩打入力操作が検知されたことを認識したら、叩打入力操作について設定された所定の制御処理を行う。
制御処理の例については、各種電子機器に応じて異なるため、後に具体的な電子機器の実施の形態の説明において述べるが、例えば音楽データ等の再生機能を有する機器であれば、再生制御などである。その場合、ユーザがマイク４を叩打することで音楽再生制御が行われ、音楽再生が実行されるような動作が実現されることとなる。

本発明の実施の形態の基本構成は以上の図１のようになる。つまり、音声信号処理部１に対してマイク４からの入力音声信号が入力され、音声信号処理部１が叩打の判定によりユーザ操作を検知する。そして操作入力があったと検知した場合は、その操作に応じた所定の制御処理を行う。

図２に実施の形態の基本的な処理の手順を示した。
図１のようにマイク入力音声信号が常時入力される音声信号処理部１において、ステップＦ１として叩打判定が行われる。つまり叩打検知部２の処理である。そしてユーザの操作入力としての叩打があったと判定された場合は、ステップＦ２からＦ３に進み、当該操作入力に応じた制御処理を行う。つまり制御部３の処理である。

以下では、具体的な電子機器の例として、ノイズキャンセリングヘッドホン（ＮＣヘッドフォン）の例を挙げて、実施の形態を説明していく。
また他の電子機器の例についても後述する。

＜２．ＮＣヘッドホンに適用した実施の形態＞
［２−１：ＮＣヘッドホンの構成］

図３は、携帯用のメディアプレーヤ２０等の音楽再生機器に接続して用いるＮＣヘッドフォン１０を模式的に示している。
メディアプレーヤ２０は、内部の記録媒体に記録された音楽等のデータを再生し、Ｌ、Ｒの２チャンネル音声信号を、接続されたＮＣヘッドフォン１０に出力する。

ＮＣヘッドフォン１０は、ヘッドホン部１１とノイズキャンセルユニット１４から成る。
ヘッドホン部１１は、ユーザの左右両耳に対応した各スピーカハウジング内にＬチャンネルとＲチャンネルのスピーカ１３Ｌ、１３Ｒを有する。
この例の場合、いわゆるフィードフォワード方式のノイズキャンセル処理を行うものとしており、マイク１２Ｌ、１２Ｒが、左右の各スピーカハウジングの外部音声を集音するように設けられている。

なおヘッドホン部１１は、図のようなスピーカハウジングを有するタイプでなく、イヤホン型、耳当て型のようなタイプでもよい。本例の場合は、いずれにしてもマイク１２Ｌ、１２Ｒが設けられていればよい。
またフィードフォワード方式のノイズキャンセル処理を行うＮＣヘッドフォン１０に限られず、フィードバック方式のノイズキャンセル処理を行うものでもよい。

上記のようにマイク１２Ｌ、１２Ｒが設けられたヘッドホン部１１に対してノイズキャンセルユニット１４が接続される。
ノイズキャンセルユニット１４は、メディアプレーヤ２０から供給されてくる再生音楽等の音声信号に対してノイズ低減音声信号をミックスすることで、外部ノイズの低減された音声信号をスピーカ１３Ｌ、１３Ｒから出力させるものである。
簡単に言えば次のようにノイズ低減を行う。
スピーカハウジングに取り付けられたマイク１２Ｌ、１２Ｒは、スピーカハウジングを介してユーザの耳に達する外部ノイズを集音する。ノイズキャンセルユニット１４は、このマイク１２Ｌ、１２Ｒで集音した外部ノイズの音声信号から、外部ノイズとは音響的に逆相のノイズ低減音声信号を生成する。そして生成したノイズ低減音声信号を、再生音楽等の音声信号に合成してスピーカ１３Ｌ、１３Ｒに供給する。
従ってスピーカ１３Ｌ、１３Ｒから出力される音声には、外部ノイズの逆相成分が含まれているため、この逆相成分と、実際にスピーカハウジングを介して漏れ込む外部ノイズとが空間的に相殺されることになり、ユーザの聴覚には外部ノイズ成分が低減されて本来の再生音楽の出力音声が届くものとなる。

ノイズキャンセルユニット１４の内部構成例を図４に示す。
ノイズキャンセルユニット１４は、マイクアンプ３１Ｌ、３１Ｒ、Ａ／Ｄ変換器３２Ｌ、３２Ｒ、ＤＳＰまたはＣＰＵによる主処理部３３、メモリ部４０、パワーアンプ４２Ｌ、４２Ｒ、Ａ／Ｄ変換器４１Ｌ、４１Ｒを有する。
主処理部３３には、ノイズキャンセル部３４，ゲイン部３５、加算器３６Ｌ、３６Ｒ、叩打検知部３７、制御部３８、イコライザ３９が設けられる。

まずメディアプレーヤ２０からの再生音楽等の音声信号は次のように処理される。
メディアプレーヤ２０からは、いわゆるヘッドホン出力としてのＬチャンネル、Ｒチャンネルの再生音声信号ＳＡ−Ｌ，ＳＡ−Ｒが供給される。
この再生音声信号ＳＡ−Ｌ，ＳＡ−Ｒは、Ａ／Ｄ変換器４１Ｌ、４１Ｒでデジタル信号化される。そしてイコライザ３９で振幅−周波数特性補正や位相−周波数特性補正、あるいはその両方などの音質補正がなされる。
イコライザ３９の補正処理は制御部３８からの制御信号ＳＧ３に基づいて実行される。例えば周波数特性の指示などが制御信号ＳＧ３によってなされる。

イコライザ３９で音質補正された再生音声信号ＳＡ−Ｌ，ＳＡ−Ｒは、それぞれ加算器３６Ｌ、３６Ｒでノイズ低減音声信号と加算されたうえで、パワーアンプ４２Ｌ、４２Ｒに供給される。
パワーアンプ４２Ｌ、４２Ｒはデジタルアンプで構成されても良いし、Ｄ／Ａ変換器とアナログアンプで構成されても良い。
そしてパワーアンプ４２Ｌ、４２Ｒからの出力が、スピーカ１３Ｌ、１３Ｒに対する駆動信号とされ、スピーカ１３Ｌ、１３Ｒから再生音声信号ＳＡ−Ｌ，ＳＡ−Ｒに基づく音声出力が行われる。

一方、上述のノイズキャンセルのための処理が次のように行われる。
マイク１２Ｌ、１２Ｒで集音された音声信号ＳｍＬ，ＳｍＲは、ノイズキャンセルユニット１４におけるマイクアンプ３１Ｌ、３１Ｒで増幅された後、Ａ／Ｄ変換器３２Ｌ、３２Ｒでデジタル信号化される。
Ａ／Ｄ変換器３２Ｌ、３２Ｒから出力されるデジタル化された音声信号ＳｍＬ，ＳｍＲは、ノイズキャンセル部３４に供給される。ノイズキャンセル部３４は上述したフィードフォワード方式でのノイズ低減音声信号を生成するデジタルフィルタとされる。このノイズキャンセル部３４は、制御部３８から制御信号ＳＧ１で指示されるフィルタ係数で、音声信号ＳｍＬ，ＳｍＲのそれぞれについてのフィルタ処理を行い、Ｌチャンネル及びＲチャンネルのノイズ低減音声信号を生成する。

生成されたＬチャンネル及びＲチャンネルのノイズ低減音声信号はゲイン部３５に供給される。ゲイン部３５は、制御部３８からの制御信号ＳＧ２で指示されるゲイン係数により、Ｌチャンネル及びＲチャンネルのノイズ低減音声信号に対するゲインを与える。
そしてゲイン部３５からのＬチャンネル及びＲチャンネルのノイズ低減音声信号は加算器３６Ｌ、３６Ｒに供給される、上述のように再生音声信号ＳＡ−Ｌ，ＳＡ−Ｒとそれぞれ加算される。
このようなノイズ低減音声信号が加算された再生音声信号ＳＡ−Ｌ，ＳＡ−Ｒにより、スピーカ１３Ｌ、１３Ｒから再生音声が出力されることで、上述のようなノイズ低減機能が発揮される。

本例のノイズキャンセルユニット１４は、さらにマイク１２Ｌ、１２Ｒ又はその周辺の叩打によるユーザ操作を検知する機能を備える。
マイク１２Ｌ、１２Ｒで集音された音声信号ＳｍＬ，ＳｍＲは、叩打検知部３７にも供給される。
叩打検知部３７の構成及び動作は詳しく後述するが、叩打検知部３７では、時間軸のみの処理でユーザのマイク１２Ｌ、１２Ｒ又はその周辺への叩打を検知する。具体的には、入力された音声信号ＳｍＬ，ＳｍＲの低域成分のエネルギーレベルの第１の時間内での増加及び減少を判定するエネルギー増減判定処理に基づいて叩打入力操作を検知する。そして特に叩打が複数回連続して行われたときに、それをユーザの操作入力として検知し、操作検知信号Ｓｄｅｔを制御部３８に出力する。

制御部３８は、上記の制御信号ＳＧ１，ＳＧ２，ＳＧ３によりノイズキャンセルユニット１４の各部を制御する。またメディアプレーヤ２０に対して制御信号ＳＧ４を送信することもできる。
特に本例では、制御部３８はユーザの叩打操作に対応して制御処理を行う機能を備える。即ち制御部３８は、操作検知信号Ｓｄｅｔによって、叩打検知部３７により叩打入力操作が検知されたことを認識したら、叩打入力操作について設定された所定の制御処理を行う。例えば叩打入力による操作の検知に応じて、制御信号ＳＧ４としてメディアプレーヤ２０へ操作入力情報を送信することなどを行う。
メモリ部４０は、制御部３８が制御処理において参照する情報が記憶されている。例えばメモリ部４０には、ノイズキャンセル部３４やイコライザ３９におけるフィルタ係数の情報等が記憶されている。

本実施の形態では、ユーザの叩打入力操作に応じて制御部３８が所定の制御を行うが、その制御処理の例としては次のようなものが想定される。

まず制御信号ＳＧ４としてメディアプレーヤ２０へ操作入力情報を送信することが考えられる。
例えば、
− 再生／停止／録音／ＦＦ（早送り）／ＲＥＷ（早戻し）など、音楽等の再生動作に関わる制御
− 再生・ミュート（又は小音量再生）の切替え
− ノイズキャンセル機能のオン／オフの切替え
− ノイズキャンセル機能オン／モニターモード（環境音収音，補聴動作）の切替え
− ボリュームアップ／ダウン
− 音声通話・音楽再生の切替え
などがあげられる。

例えば叩打（タッピング）操作を「再生」の操作とする場合、制御部３８は叩打検知部３７によって叩打操作が検知された場合に、メディアプレーヤ２０に「再生」のコマンドを送信するという処理を行うことになる。他の場合も同様であり、叩打操作についてどのような操作内容が割り当てられているかによる。
また後述するが、マイク１２Ｌの叩打とマイク１２Ｒの叩打を区別して検知する場合は、２種類の操作内容を割り当てることができる。その場合、例えばマイク１２Ｌの叩打をボリュームアップ、マイク１２Ｒの叩打をボリュームダウンとすれば、制御部３８は叩打検知部３７による叩打操作の検知に応じて、メディアプレーヤ２０に「ボリュームアップ」又は「ボリュームダウン」のコマンドを送信する処理を行うこととなる。
さらに、連続的なタッピング回数で操作を区別することや、タッピング回数と左右マイク１２Ｌ、１２Ｒの組み合わせなどで、多様な操作を区別して設定することもできる。その場合も、制御部３８はそれらの叩打操作の検知に応じて、所定のコマンドをメディアプレーヤ２０に送信する。

ノイズキャンセル機能を実現するためには、より耳元位置に近いマイク１２Ｌ、１２Ｒを」設置することが必要なため、通常マイク１２Ｌ、１２Ｒは、耳元に設置されている。すると、例えば通勤時などにメディアプレーヤ２０の本体を取り出さなくても、マイク１２Ｌ、１２Ｒを叩打するだけで、メディアプレーヤ２０の動作の制御が可能になるのは、ユーザにとって大きな利便性がある。

また制御部３８が、叩打検知に応じて、ノイズキャンセルユニット１４の内部制御を行う例も考えられる。
例えば叩打操作に応じて、制御信号ＳＧ１による制御でノイズキャンセル部３４のフィルタ係数の切り替えを行うようにしても良い。
一般的に、ノイズ環境特性は、周波数特性で観察したとしても、飛行場、駅のプラットホーム、電車内、工場などの場所の環境によって大きく異なっている。したがって、ノイズ低減のためのフィルタ特性は、本来は、各ノイズ環境特性に合わせた最適なものを用いることが望まれる。そのため、ユーザがマイク１２Ｌ、１２Ｒのタッピングによって、最も適したフィルタ特性を切り替えて選んでいけるようにすることは有用である。

また制御部３８が、叩打検知に応じて、制御信号ＳＧ２よる制御でゲイン部３５のゲイン係数の切り替えを行うようにしても良い。これによってユーザは、ノイズキャンセルのレベルを、容易な操作で任意に調整できることになる。

また制御部３８が、叩打検知に応じて、制御信号ＳＧ３よる制御でイコライザ３９におけるフィルタ係数の変更を行うようにしても良い。これによってユーザは、容易な操作で音質補正状態を選択できる。例えばプリセットとして各種周波数特性をメモリ部４０に記憶させておき、ユーザが好みの音質となるイコライザ特性を、容易なタッピング操作で任意に選択できることは有用である。

［２−２：叩打検知部（構成例Ｉ）］

以下、叩打検知部３７の構成及び動作を説明する。ここではまず図５に示す構成例Ｉについて説明する。
この構成例Ｉは、マイク１２Ｌ、１２Ｒからの音声信号ＳｍＬ，ＳｍＲについて共通に叩打を検知する構成例である。
叩打検知部３７は、加算器５１，ローパスフィルタ５２、絶対値化回路５３、ローパスフィルタ５４、判定処理部５５を備える。

マイク１２Ｌ、１２Ｒからの各音声信号ＳｍＬ，ＳｍＲは、加算器５１で加算されてローパスフィルタ５２に入力される。ローパスフィルタ５２はカットオフ周波数がｆｃ１とされている。例えばｆｃ１＝１００Ｈｚなどとされる。
ローパスフィルタ５２から出力される音声信号ＳｍＬ，ＳｍＲの加算信号についての低域成分は絶対値化回路５３で絶対値化される。
絶対値化回路５３で絶対値化された信号はローパスフィルタ５４を介して、音声信号ＳｍＬ，ＳｍＲのエネルギーレベルを表した信号Ｓとされて判定処理部５５に入力される。ローパスフィルタ５４のカットオフ周波数ｆｃ２は例えば５０Ｈｚなどとされる。
判定処理部では信号Ｓについて後述するエネルギー増減判定処理で叩打による操作入力の有無を検知する。そして検知の結果、操作検知信号Ｓｄｅｔを制御部３８に出力する。

このような叩打検知部３７の動作を図６〜図９で説明する。
図６（ａ）は、叩打があったときの波形を示している。
ここでは、ヘッドホン部１１に取り付けられたマイク１２Ｌ、１２Ｒの周辺部を、連続して２回叩打（ダブルタッピング）した時のマイク１２Ｌ、１２Ｒの出力としての音声信号ＳｍＬ，ＳｍＲの時間波形としている。
時間ｔ１は１回の叩打時の波形の時間長であり、時間ｔ２は１回目の叩打開始（波形の立ち上がり）から２回目の叩打終了（波形の収束）までにかかる時間長である。
実際には、図を見てわかるとおり叩打の時に筐体や音響部によって反射が発生し、叩打反応波形よりやや遅れて、小さな波形がみてとれる。

ここで、１回叩打した時の応答波形（反射による波形は除く、ｔ１時間の波形が対象）の周波数特性は、図６（ｂ）のようになっている。
一点鎖線は通常時の暗騒音を収音している状態で、破線が叩打時の特性、実線が両者の差成分である。
この周波数特性からわかるように、叩打時は低域成分（例えば１００Ｈｚ以下）の信号が圧倒的に大きく収音されることが明らかであり、ここの情報に着目すればよいことがわかる。

まず図５に示したローパスフィルタ５２は、このような低域成分を抽出する意味を持つ。
そしてローパスフィルタ５２の出力は、当該低域成分であるが、正／負の値を持つ振幅であるため、負の振幅もエネルギーレベルとして判断するために絶対値化回路５３で絶対値化する。そしてローパスフィルタ５４でエネルギーレベルを示す包絡線としての信号ｓとする。

図７は判定処理部５５が信号Ｓから、連続２回のタッピングをユーザの操作入力として検知するための、エネルギー増減判定処理のフローチャートを示している。
判定処理部５５は入力される信号Ｓに対して図７のエネルギー増減判定処理を行う。
まずステップＦ１０１で判定処理部５５は、信号Ｓのレベルが閾値ＴＨ１より高いか否かを判断する。
図８，図９には信号Ｓの波形と閾値ＴＨ１、ＴＨ２を示している。閾値ＴＨ１は、信号Ｓのエネルギーレベルが増大したか否かを判断する閾値である。一方、閾値ＴＨ２は、信号Ｓのエネルギーレベルが減少したか否かを判断する閾値である。

ステップＦ１０１では、入力される信号Ｓの値を逐次閾値ＴＨ１と比較していく。信号Ｓが閾値ＴＨ１以下であると判断されたときは、「Ｒ」で示すようにステップＦ１０１に戻り、次の信号Ｓの入力値と閾値ＴＨ１の比較を行う。
信号Ｓが閾値ＴＨ１を越えたときに判定処理部５５はステップＦ１０２に進む。
ステップＦ１０２では判定処理部５５は、まずカウンタＣｎ１を０にリセットし、カウントをスタートさせる。
そして判定処理部５５はステップＦ１０３でカウンタＣｎ１をインクリメントしていきながら、ステップＦ１０４，Ｆ１０５の判断を行っていく。

ステップＦ１０４では判定処理部５５は、カウンタＣｎ１の値が、第１の時間ＴＨｔｍ１に達していないかどうかを判断する。
第１の時間ＴＨｔｍ１とは、図８に示すような所定時間である。これは、信号Ｓのエネルギー増減が瞬間的に起こったか否かを判断するための時間として設定される。
もしステップＦ１０４でカウンタＣｎ１の値が、第１の時間ＴＨｔｍ１を越えたら、「Ｒ」で示すようにステップＦ１０１に戻る。つまりその場合は、操作としてのタッピングではなかったと判断する。
またステップＦ１０５では判定処理部５５は、信号Ｓが閾値ＴＨ２より小さくなったか否かを判断する。
このステップＦ１０５で信号Ｓが閾値ＴＨ２より小さくなったと判定したら、判定処理部５５はステップＦ１０６に進み、操作としてのタッピングの１回目があったと仮判定する。

先に図６（ａ）で述べたように、叩打時の信号Ｓの波形は、急峻にエネルギーレベルが増大し、その後短時間でエネルギーレベルが減少する。このような波形変化を時間軸で判断するために、ステップＦ１０４で、エネルギーレベルの増大が検出された後の経過時間を確認する。つまり、まだステップＦ１０５で信号Ｓのエネルギーレベルが減少したと判定されていない時点での経過時間である。

このことを図８で説明する。
図８（ａ）は、１回のタッピングがあったと判定される場合の例である。
この場合、信号Ｓの波形（エネルギーレベル包絡線波形）は、急峻に立ち上がり、時点ｔａで閾値ＴＨ１を越えることで、ステップＦ１０１でエネルギー増と判定される。
この時点でステップＦ１０２でカウンタＣｎ１のカウントがスタートされる。
この図８（ａ）の場合は、時点ｔｂで信号Ｓのエネルギーレベルが閾値ＴＨ２より下がっている。この時点ｔｂは、まだ時点ｔｂより第１の時間ＴＨｔｍ１を経過する前である。従って時点ｔｂでステップＦ１０５からＦ１０６に進んで、１回目のタッピングと判断することとなる。
つまり、エネルギーレベルの増加及び減少が第１の時間ＴＨｔｍ１内に検出されることで、１回の操作としての叩打と判定する。

一方、図８（ｂ）は、操作としてのタッピングとは判断されない場合を示している。
この場合、信号Ｓの波形は、時点ｔｃで閾値ＴＨ１を越えることで、ステップＦ１０１でエネルギー増と判定される。
この時点でステップＦ１０２でカウンタＣｎ１のカウントがスタートされる。
この図８（ｂ）の場合は、その後エネルギーレベルが急激には低下していない。そして時点ｔｃより第１の時間ＴＨｔｍ１を経過した時点ｔｄにおいても、信号Ｓのエネルギーレベルは閾値ＴＨ２より下がっていない。
この場合、図７の処理は第１の時間ＴＨｔｍ１を経過することで、ステップＦ１０４からステップＦ１０１に戻ることになる。
つまり、エネルギーレベルの増加及び減少が第１の時間ＴＨｔｍ１内に検出されなかったため、操作としての叩打による信号Ｓのエネルギーレベルの増大ではなかったと判定する。例えば他の外部ノイズ等によるエネルギーレベルの増大などとみなすものとなる。

以上のステップＦ１０６までの処理で、判定処理部５５は、１回のタッピングがあったか否かを判定することとなる。
ステップＦ１０６で１回目のタッピングがあったと判定した場合、判定処理部５５はステップＦ１０７でカウンタＣｎ２を０にリセットし、カウントをスタートさせる。
そして判定処理部５５はステップＦ１０８でカウンタＣｎ２をインクリメントしていきながら、ステップＦ１０９，Ｆ１１０の判断を行っていく。

ステップＦ１０９では判定処理部５５は、カウンタＣｎ２の値が、第２の時間ＴＨｔｍ２に達していないかどうかを判断する。
第２の時間ＴＨｔｍ２とは、図９に示すような所定時間である。この第２の時間ＴＨｔｍ２は第１の時間ＴＨｔｍ１より長い時間とされ、２回の連続的なタッピングであるか否かを判断するための時間として設定される。

もしステップＦ１０９でカウンタＣｎ２の値が、第２の時間ＴＨｔｍ２を越えたら、「Ｒ」で示すようにステップＦ１０１に戻る。つまりその場合は、操作としての２回連続のタッピングが行われているのではないと判断する。
またステップＦ１１０では判定処理部５５は、信号Ｓが閾値ＴＨ１より大きくなったか否かを判断する。
これは２回目のタッピングによる信号Ｓのエネルギーレベルの増大が観測されたか否かの判断処理となる。

このステップＦ１１０で信号Ｓが閾値ＴＨ１より大きくなったと判定したら、判定処理部５５はステップＦ１１１〜Ｆ１１４の処理を行う。
なお破線で囲ったステップＦ１１１〜Ｆ１１４の処理は、同じく破線で囲ったステップＦ１０２〜Ｆ１０５と同一の処理（共通ルーチン）となる。

ステップＦ１１１では判定処理部５５は、まずカウンタＣｎ１を０にリセットし、カウントをスタートさせる。
そして判定処理部５５はステップＦ１１２でカウンタＣｎ１をインクリメントしていきながら、ステップＦ１１３，Ｆ１１４の判断を行っていく。

ステップＦ１１３では判定処理部５５は、カウンタＣｎ１の値が、第１の時間ＴＨｔｍ１に達していないかどうかを判断する。
第１の時間ＴＨｔｍ１とは、上記のように信号Ｓのエネルギー増減が瞬間的に起こったか否か、つまりタッピング操作によるエネルギーレベルの瞬間的な増減であるか否かを判断するための時間として設定されている。
従って、ステップＦ１１３でカウンタＣｎ１の値が、第１の時間ＴＨｔｍ１を越えたら、「Ｒ」で示すようにステップＦ１０１に戻る。つまりその場合は、操作としてのタッピングではなかったと判断する。
またステップＦ１１４では判定処理部５５は、信号Ｓが閾値ＴＨ２より小さくなったか否かを判断する。
このステップＦ１１４で信号Ｓが閾値ＴＨ２より小さくなったと判定したら、判定処理部５５はステップＦ１１５に進み、操作としての２回目のタッピングがあったと判断する。

図９で説明する。
図９は２回の連続的なタッピングがあった場合の信号Ｓのエネルギーレベルの変化を示している。
この場合、信号Ｓの波形が時点ｔｅで閾値ＴＨ１を越えることで、ステップＦ１０１でエネルギー増と判定される。この時点でステップＦ１０２でカウンタＣｎ１のカウントがスタートされる。
そして時点ｔｆで信号Ｓのエネルギーレベルが閾値ＴＨ２より下がっている。この時点ｔｆは、まだ時点ｔｂより第１の時間ＴＨｔｍ１を経過する前である。従って時点ｔｆでステップＦ１０５からＦ１０６に進んで、１回目のタッピングと判断することとなる。
その時点ｔｆからステップＦ１０７でカウンタＣｎ２のカウントが開始される。
そしてカウンタＣｎ２の値が第２の時間ＴＨｔｍ２に達する前に、時点ｔｇで信号Ｓの波形が閾値ＴＨ１を越えることで、ステップＦ１１０で２回目のタッピングによるエネルギー増が推定される。この時点でステップＦ１１１でカウンタＣｎ１のカウントがスタートされる。
そして時点ｔｈで信号Ｓのエネルギーレベルが閾値ＴＨ２より下がっている。この時点ｔｈは、まだ時点ｔｇより第１の時間ＴＨｔｍ１を経過する前である。従って時点ｔｇでステップＦ１１４からＦ１１５に進んで、２回目のタッピングもなされたと判断することとなる。

なお、ステップＦ１０９でタッピング操作ではないとしてステップＦ１０１に戻る場合とは、時点ｔｆ以後、第２の時間ＴＨｔｍ２に達しても、２回目のエネルギーレベルの増大が検出されない場合である。
またステップＦ１１３でタッピング操作ではないとしてステップＦ１０１に戻る場合とは、時点ｔｇ以後、第１の時間ＴＨｔｍ１に達しても、エネルギーレベルの減少が検出されない場合である。これはつまり２回目のエネルギーレベルの増大が図８（ｂ）のようなものであった場合である。

ステップＦ１１５に進んだ場合、判定処理部５５は、ユーザの意識的な操作としてのダブルタッピングが行われたと判定する。その場合、操作有りとしての操作検知信号Ｓｄｅｔを制御部３８に出力することとなる。

本例の叩打検知部３７は、判定処理部５５が以上の図７のように時間軸でのエネルギー増減判定処理を行うことで、リソースの増加を招くことなく、容易に叩打操作を判定できる。
叩打があった場合、マイクロホン入力信号の低域成分のエネルギーレベル（振幅）が大きくなる。そこで音声信号の低域成分のエネルギーを監視することで、波形解析等を行わず、エネルギー増減判定で叩打を検知するようにしている。
これによって操作検知のための処理負担の軽減、それによる低コスト化の促進が可能となる。特にＮＣヘッドフォン１０のノイズキャンセルユニット１４のように小型でリソースの小さい機器において、このように簡易な動作で必要な検知処理が可能となることは、非常に有効である。
また操作入力の検知処理は、不定期のユーザ操作に対応するために常に実行していなければならない。このため時間軸の信号処理として計算量の小さい処理であることで、常に実行していく処理として適している。
さらに簡易な処理であることで操作検知時間が短縮されレスポンスの良い装置動作が可能となる。

また本例の場合は、２回の連続的なタッピング（ダブルタッピング）を、第２の時間ＴＨｔｍ２を基準として判定し、ダブルタッピングがあった場合に、ユーザの操作として認識する。
さらに、１回目及び２回目の各タッピングの判断は、第１の時間ＴＨｔｍ１を基準とし、瞬間的な信号Ｓのエネルギーレベルの増減を確認する。
即ち叩打検知部３７は、図７のエネルギー増減判定処理で、信号Ｓのエネルギーレベルの増加及び減少が第１の時間ＴＨｔｍ１内に検出されることが、第１の時間ＴＨｔｍ１より長い第２の時間ＴＨｔｍ２内において複数回（この例では２回）発生した場合に、叩打入力操作がされたと検知する。
従って、まずエネルギーレベルの増大があったときに、すぐにタッピング操作であると判断しないことから、他の外部ノイズ等によるエネルギーレベルの増大をタッピングと誤検出することを避けることができる。例えば風などの外来ノイズや、ユーザがマイク１２Ｌ、１２Ｒを触りつづけるときなどをタッピングと誤検出しないようにできる。
また、ダブルタッピングを操作として認識することでは、ユーザが誤操作でマイク１２Ｌ又は１２Ｒに触れてしまう場合や、外来雑音の影響を取り除き、１回のタッピング動作に比べ検知精度を高めるのに役立っている。

また、図５に示した構成例Ｉによれば、ユーザは左右のマイク１２Ｌ、１２Ｒのどちらでも任意にタッピング操作を行うことができる。
例えば鞄などを持って片方の手がふさがっているときに、空いている手でタッピング操作を行うことが容易となり、操作性が良いものとすることができる。

そして叩打検知部３７がこのように叩打操作を検知することに応じて、制御部３８は当該叩打操作に割り当てられた操作内容に応じた制御、例えば先に例示した制御を行う。
制御部３８がメディアプレーヤ２０の動作を制御するコマンドを送信することとすれば、ユーザは通勤時などにメディアプレーヤ２０をポケットや鞄にしまったまま操作ができる。

また指で叩くという操作手法であることで直観的にメディアプレーヤ２０或いはノイズキャンセルユニット１４のコントロールが可能となる。
また、マイク１２Ｌ、１２Ｒを叩く方式であるため、タッチセンサなど特殊なセンサを使わなくても通常の（安価な）マイクと、ＣＰＵ／ＤＳＰ等の信号処理部があれば実装できるため、コスト削減に役立つ。
さらに本例のＮＣヘッドフォン１０の場合、ノイズキャンセル機能のためにヘッドホン部１１にマイク１２Ｌ、１２Ｒが設けられている。このマイク１２Ｌ、１２Ｒを利用してタッピングによる操作を可能とするものであるため、操作入力のための新たなセンサデバイスを設けることは不要であり、その点でもコスト削減に適しており、また装置構成部品の増大ということもない。

なお、図５の例ではＬ、Ｒチャンネルの各マイク１２Ｌ、１２Ｒからの音声信号ＳｍＬ，ＳｍＲを合成して、タッピング操作を判断したが、一方のチャンネルのみの音声信号（例えば音声信号ＳｍＬ）のみをローパスフィルタ５２に入力してもよい。その場合は、当該チャンネルのマイク１２Ｌのみがタッピング操作の用途に供される構成となる。

［２−３：叩打検知部（構成例II）］

構成例IIとしての叩打検知部３７を図１０で説明する。
この構成例IIは、ＬチャンネルとＲチャンネル、即ちマイク１２Ｌ、１２Ｒを、それぞれ別の操作に割り当てることができるようにする例である。
例えばマイク１２Ｌのタッピングをボリュームアップ、マイク１２Ｒのタッピングをボリュームダウンなどとすることができるような構成例である。

図１０に示すように、叩打検知部３７には、ＬチャンネルとＲチャンネルで独立２系統の叩打検知構成を採る。
即ちマイク１２Ｌからの音声信号ＳｍＬに対して、ローパスフィルタ５２Ｌ、絶対値化回路５３Ｌ、ローパスフィルタ５４Ｌ、判定処理部５５Ｌを設ける。またマイク１２Ｒからの音声信号ＳｍＲに対して、ローパスフィルタ５２Ｒ、絶対値化回路５３Ｒ、ローパスフィルタ５４Ｒ、判定処理部５５Ｒを設ける。

ローパスフィルタ５２Ｌ、５２Ｒ、絶対値化回路５３Ｌ、５３Ｒ、ローパスフィルタ５４Ｌ、５４Ｒの動作は上記構成例Ｉのローパスフィルタ５２、絶対値化回路５３、ローパスフィルタ５４の動作と同様であるため、繰り返しの説明は避ける。
また判定処理部５５Ｌ、５５Ｒは、それぞれが例えば図７のようなエネルギー増減判定処理を行えばよい。
そして判定処理部５５Ｌは音声信号ＳｍＬから得られる信号Ｓについてダブルタッピングを検知したら操作検知信号ＳｄｅｔＬを制御部３８に出力する。
判定処理部５５Ｒは音声信号ＳｍＲから得られる信号Ｓについてダブルタッピングを検知したら操作検知信号ＳｄｅｔＲを制御部３８に出力する。

制御部３８は操作検知信号ＳｄｅｔＬ、ＳｄｅｔＲにより、２種類の操作入力を認識でき、それらに応じて例えば上記のボリュームアップ／ダウンの制御などを行うことができる。

このような構成例IIにより、左右のマイク１２Ｌ、１２Ｒで２種類の操作を使い分けることができ、ユーザの操作性向上に好適である。

［２−４：叩打検知部（構成例III）］

続いて構成例IIIを図１１に示す。これは上記構成例IIと同様に、ＬチャンネルとＲチャンネル、即ちマイク１２Ｌ、１２Ｒを、それぞれ別の操作に割り当てることができるようにする例である。上記構成例IIの場合は、叩打検知部３７に単純に２系統の叩打検知処理系を搭載するため、構成負担が大きくなる。この構成例IIIは構成負担を軽減できる例である。
この構成例IIIでは、叩打検知部３７は、複数の各チャンネルの音声信号ＳｍＬ，ＳｍＲのうちで叩打音が含まれるチャンネルを判定するチャンネル判定処理と、複数チャンネルの音声信号を加算または減算した音声信号についてのエネルギー増減判定処理とを行う。これにより叩打入力操作の検知及び叩打入力操作が行われたチャンネルの検知を行うものである。

この場合、図１１に示すように、マイク１２Ｌからの音声信号ＳｍＬはローパスフィルタ５２Ｌに入力され、カットオフ周波数ｆｃ１で低域抽出される。
また、マイク１２Ｒからの音声信号ＳｍＲはローパスフィルタ５２Ｒに入力され、カットオフ周波数ｆｃ１で低域抽出される。

ローパスフィルタ５２Ｌの出力は絶対値化回路５６Ｌと減算器５９に供給される。
またローパスフィルタ５２Ｒの出力は絶対値化回路５６Ｒと減算器５９に供給される。
絶対値化回路５６Ｌはローパスフィルタ５２Ｌの出力を絶対値化して減算器５７に供給する。絶対値化回路５６Ｒはローパスフィルタ５２Ｒの出力を絶対値化して減算器５７に供給する。
従って減算器５７の出力としては、左右チャンネルの音声信号ＳｍＬ，ＳｍＲの各低域成分のエネルギーレベルの差分が現れることになる。
この減算器５７の出力はカットオフ周波数ｆｃ２のローパスフィルタ５８で包絡線信号とされて判定処理部５５に供給される。
判定処理部５５では、マイク１２Ｌ、１２Ｒのいずれかに対してタッピングがなされたときは、この包絡線信号の正負判定により、マイク１２Ｌ、１２Ｒのどちらに対するタッピングであったかを検出できる。

ローパスフィルタ５２Ｌ、５２Ｒで抽出された音声信号ＳｍＬ，ＳｍＲの各低域成分は、減算器５９で減算処理され、差分値が抽出される。
マイク１２Ｌ、１２Ｒのうちで一方がタッピングされた場合、そのタッピングされた方の音声信号の低域成分のエネルギーが増大するが、従って減算器５９の出力としては、そのタッピングによるエネルギー増大成分が現れる。
この減算器５９の出力は絶対値化回路５３で絶対値化され、カットオフ周波数ｆｃ２のローパスフィルタ５４で包絡線化された信号Ｓとされて判定処理部５５に供給される。

判定処理部５５では、信号Ｓに対してエネルギー増減判定処理を行い、信号Ｓについてダブルタッピングを検知したら操作検知信号Ｓｄｅｔ、及びＬチャンネル／Ｒチャンネルの判定信号Ｄ−ＬＲを制御部３８に出力する。

この場合の判定処理部５５のエネルギー増減判定処理は、例えば図１２のように行われればよい。
なお図１２において、上記図７と同一の処理については同一のステップ番号を付し、重複説明は避ける。
この図１２の処理では、ステップＦ１０１〜Ｆ１０６で、１回目のタッピングの検知を行う。またステップＦ１０７〜Ｆ１１０で、１回目のタッピングから２回目のタッピングまでの時間を監視する。以上は図７と同様である。

ステップＦ１１０で２回目のタッピングと判定される可能性のある信号Ｓのエネルギーレベルの増大があったら、判定処理部５５はステップＦ１３０でＬ／Ｒ判定を行う。
これは、この時点で図１１のローパスフィルタ５８からの信号の正負を判定する。図１１のように減算器５７でＬチャンネルの絶対値化信号からＲチャンネルの絶対値化信号が減算される構成の場合、ローパスフィルタ５８からの信号が正であればＬチャンネル、負であればＲチャンネルと判定する。
即ちこのＬ／Ｒ判定は、マイク１２Ｌ、１２Ｒのどちらがタッピングされたかを検出する処理となる。

続いて判定処理部５５はステップＦ１１１〜Ｆ１１４で２回目のタッピングであるかの確認処理を図７の場合と同様に行う。
そしてステップＦ１１４で第２の時間ＴＨｔｍ２内の信号Ｓのエネルギーレベルの減少が検出されたら、ステップＦ１１５Ａで２回目のタッピングがなされたと判定する。
このとき判定処理部５５は、操作検知信号ＳｄｅｔＬ、及びＬチャンネル／Ｒチャンネルの判定信号Ｄ−ＬＲを制御部３８に出力する。判定信号Ｄ−ＬＲはステップＦ１３０のＰ判定処理に基づいて生成するものである。

この構成例IIIの場合、制御部３８は操作検知信号Ｓｄｅｔと判定信号Ｄ−ＬＲにより、マイク１２Ｌ、１２Ｒを別個に用いた２種類の操作入力を認識でき、それらに応じて例えばボリュームアップ／ダウンなどの制御などを行うことができる。

従ってこの構成例IIIによっても、左右のマイク１２Ｌ、１２Ｒで２種類の操作を使い分けることができ、ユーザの操作性向上に好適である。その上で構成例IIに比べて叩打検知部３７の構成負担を少なくできる。特に判定処理部５５が１つでよいことで処理（リソース）負担も軽減される。
なお、減算器５９に代えて加算器を用いることも考えられる。

［２−５：叩打検知部の処理の変形例］

ここまで叩打検知部３７の構成例及びエネルギー増減判定処理例について例を挙げてきたが、実施の形態の変形例としてさらに多様な例が考えられる。

上記各例では、ダブルタッピングを所定の操作とする例を挙げたが、もちろん１回目のタッピングだけで操作と認識するようにしてもよい。
例えばその場合、判定処理部５５は図７のステップＦ１０６に進んだ時点で、ユーザの操作として判定し、操作検知信号Ｓｄｅｔを出力するようにすればよい。

また、ダブルタッピングではなくトリプルタッピング、即ち３回の連続的な叩打を操作入力として認識するようにしても良い。
この場合のエネルギー増減判定処理は例えば図１３のようにする。
図１３において図７と同一の処理は同一のステップ番号を付して詳細な説明を省略する。

この図１３では、ステップＦ１０１〜Ｆ１１４は図７と同一である。従って、ステップＦ１１４で信号Ｓが閾値ＴＨ２より下がったと検出された場合は、２回目のタッピングがあったと判定される場合となる。そこで判定処理部５５はステップＦ１１５Ｂに進んで、ユーザ操作と推定される２回目のタッピングがあったと仮判定する。

そしてステップＦ１１６で判定処理部５５はカウンタＣｎ２をさらにインクリメントしていきながら、ステップＦ１１７，Ｆ１１８の判断を行っていく。
ステップＦ１１７では判定処理部５５は、カウンタＣｎ２の値が、第２の時間ＴＨｔｍ２に達していないかどうかを判断する。
もしステップＦ１１７でカウンタＣｎ２の値が、第２の時間ＴＨｔｍ２を越えたら、「Ｒ」で示すようにステップＦ１０１に戻る。つまりその場合は、第２の時間ＴＨｔｍ２に達しても、３回目のエネルギーレベルの増大が検出されない場合であり、操作としての３回連続のタッピングが行われているのではないと判断する。
またステップＦ１１８では判定処理部５５は、信号Ｓが閾値ＴＨ１より大きくなったか否かを判断する。
これは３回目のタッピングによる信号Ｓのエネルギーレベルの増大が観測されたか否かの判断処理となる。

このステップＦ１１８で信号Ｓが閾値ＴＨ１より大きくなったと判定したら、判定処理部５５はステップＦ１１９〜Ｆ１２２の処理を行う。
この場合も、破線で囲ったステップＦ１１９〜Ｆ１２２の処理は、同じく破線で囲ったステップＦ１１１〜Ｆ１１４、及びステップＦ１０２〜Ｆ１０５と同一の処理（共通ルーチン）となる。

ステップＦ１１９では判定処理部５５は、まずカウンタＣｎ１を０にリセットし、カウントをスタートさせる。
そして判定処理部５５はステップＦ１２０でカウンタＣｎ１をインクリメントしていきながら、ステップＦ１２１，Ｆ１２２の判断を行っていく。

ステップＦ１２１では判定処理部５５は、カウンタＣｎ１の値が、第１の時間ＴＨｔｍ１に達していないかどうかを判断する。
第１の時間ＴＨｔｍ１とは、上記のように信号Ｓのエネルギー増減が瞬間的に起こったか否か、つまりタッピング操作によるエネルギーレベルの瞬間的な増減であるか否かを判断するための時間として設定されている。
従って、ステップＦ１２１でカウンタＣｎ１の値が、第１の時間ＴＨｔｍ１を越えたら、「Ｒ」で示すようにステップＦ１０１に戻る。つまりその場合は、操作としてのタッピングではなかったと判断する。
またステップＦ１２２では判定処理部５５は、信号Ｓが閾値ＴＨ２より小さくなったか否かを判断する。

このステップＦ１２２で信号Ｓが閾値ＴＨ２より小さくなったと判定したら、判定処理部５５はステップＦ１２３に進み、操作としての３回目のタッピングがあったと判断する。
そして判定処理部５５は、ユーザの意識的な操作としてのトリプルタッピングが行われたと判定し、操作有りとしての操作検知信号Ｓｄｅｔを制御部３８に出力する。

このような処理により、一定時間内に３回のタッピングを行ったことが検知でき、それを操作入力と認識して制御部３８が所定の制御処理を行うことができる。
もちろん、４回以上の連続タッピングを操作として検知することもできる。その場合の処理も上記図１３の処理を応用して考えればよい。

また、複数回のタッピングと無音区間と組み合わせることで操作入力を検知することも可能である。

さらに先に、構成例II、IIIではマイク１２Ｌ、１２Ｒの各叩打で２種類の操作を認識できる例を示したが、タッピング回数で複数種類の操作を認識することも可能である。
図１４には、ダブルタッピングとトリプルタッピングを異なる操作として認識する処理例を示した。

図１４において図１３と同一の処理は同一のステップ番号を付して説明を省略する。
ステップＦ１０１〜Ｆ１１５Ｂは図１３と同様である。
ステップＦ１１５Ｂで２回目のタッピングがあったと仮判定した場合は、図１３と同様にステップＦ１１６〜Ｆ１１８で３回目のタッピングが第２の時間ＴＨｔｍ２内に発生するか否かを監視する。
ここで、ステップＦ１１７で３回目のタッピングが検出されないまま第２の時間ＴＨｔｍ２の経過となった場合はステップＦ１２４に進むこととする。
即ち判定処理部５５はユーザのタッピングが２回で終了したと判断し、ステップＦ１２４でダブルタッピング操作による操作入力と判定する。そしてダブルタッピング操作有りとしての操作検知信号ＳｄｅｔＷを制御部３８に出力する。

一方、３回目のタッピングが推定される場合はステップＦ１１８からＦ１１９に進み、図１３の場合と同様にステップＦ１１９〜Ｆ１２２の処理を行う。そして３回目のタッピングと判定されるときは、ステップＦ１２３に進み、操作としてのトリプルタッピングを認定する。この場合判定処理部５５はトリプルタッピング操作有りとしての操作検知信号ＳｄｅｔＴを制御部３８に出力する。

この図１４のようなエネルギー増減判定処理によれば、制御部３８は操作検知信号ＳｄｅｔＷ、ＳｄｅｔＴによって２種類の操作入力を認識し、それぞれに応じて所定の制御処理を行うことができる。
もちろん、上述の構成例II、IIIと組み合わせれば、マイク１２Ｌ、１２Ｒのそれぞれのダブルタッピング、トリプルタッピングとして、４種類の操作入力を認識できることにもなる。
当然、さらに１回タッピング、４回以上の連続タッピングなども区別して認識し、さらに多様な操作を可能とすることも考えられる。

また、本実施の形態ではＮＣヘッドフォン１０の例として、既存のノイズキャンセル用のマイク１２Ｌ、１２Ｒを用いた例であるが、操作入力用のマイクロホンを多数配設できるのであれば、各マイクロホンで多種類の操作入力が可能となる。

＜３．各種機器に適用した実施の形態＞

ここまではＮＣヘッドフォン１０に本発明を適用した実施の形態を述べてきたが、本発明は多様な電子機器に適用できる。以下例示していく。

まず図３に示したメディアプレーヤ２０において、図１に示した音声信号処理部１（叩打検知部２，制御部３）を搭載することが考えられる。
即ちノイズキャンセルユニット１４の機能をメディアプレーヤ２０に内蔵する場合である。この場合、メディアプレーヤ２０が本発明の実施の形態の音声信号処理部１を搭載した具体的な装置となり、上述したＮＣヘッドフォン１０の効果と同様の効果を発揮できる。
その場合のマイク４は、接続されるヘッドホン装置に搭載されるものでも良いし、マイク入力端子に接続されたヘッドホン装置とは別体のマイク機器でもよい。もちろんメディアプレーヤ２０の本体にマイクを内蔵する場合、そのマイクを用いても良い。

また、デジタルスチルカメラ、ビデオカメラ等の撮像機器でも、マイクを搭載することが多い。そのような撮像機器に図１の構成を備えるようにすることで、マイクを利用した操作入力が可能となる。
ゲーム機であれば、マイク４に対するタッピングをゲーム上の操作に利用することもできる。

同様にパーソナルコンピュータや携帯型情報処理装置（例えばＰＤＡ（Personal Digital Assistant））、携帯電話機などでも本発明は適用できる。
これらの機器に音声入力用のマイクを設ける場合、そのマイクをタッピングすることによる操作入力が可能となる。例えばパーソナルコンピュータやモバイルＰＣで搭載されている通信用ステレオマイクを用いて、叩打検知による操作を認識し、所定の処理を行うようにすることができる。
また携帯電話機の場合、マイクは当然に設けられるため、これを利用することでマイクデバイスの新規搭載負担なく、本発明を適用できる。

特にＮＣヘッドフォン、メディアプレーヤ、携帯電話機、モバイルＰＣ、携帯用ゲーム機など、マイクが設置されている機器は可搬性の高いモバイル機器であることが多く、大きく場所をとるスイッチの設置を省くことができるのは有用である。
なお小型機器であるため、必然的に内部に搭載されるＣＰＵやＤＳＰのリソースは限られたものであり、検知のアルゴリズムは、より軽いものであることが望まれる、という背景がある。
そのため上述した時間軸でエネルギー増減判定処理を行い、周波数解析等を行わないで叩打検知を行う実施の形態のアルゴリズムはより有効である。

さらに、各種の通信装置、ＡＶ（Audio-Visual）機器、家電機器などにも本発明は適用できる。

またタッピング操作に関しては、タッピングするマイクの別、タッピング回数、タッピング間隔などで多様な操作を割り当てることができる。
また、マイクに関しては、他の音声入力機能に用いるマイクを利用するだけでなく、叩打操作入力の専用のマイクを設けても良い。
また叩打操作に用いるマイクはステレオマイクロホン、モノラルマイクロホン、多チャンネルマイクロホンのいずれであってもよい。

また、叩打操作による操作内容としては、記録再生に関する操作、送受信に関する操作、メニュー操作、エンター操作、電源オン／オフ操作など多様な例が考えられる。
さらには、電子メール文章の作成や文字入力などにも利用できる。
電子メールの作成及び送信操作としての一例を挙げる。

図１５（ａ）は携帯電話機１００にマイク１０２が搭載されたイヤホンスピーカ１０１が接続されている例を示している。
もちろん、マイク１０２は携帯電話機１００の本体に搭載されているマイクとしても良い。
このマイクロホン１０２のタッピングで任意の電子メール文書を作成し、送信する。

まず携帯電話機１００内の図示しない制御部は、図１５（ｂ）のように特殊コードとセレクトモードを設定しておく。
特殊コードとしては、１秒以内のダブルタッピングをセレクトモードのイン／アウト操作とする。また１秒以内のトリプルタッピングを１つ前のセレクトアイテムへ戻る操作とする。

セレクトモードとしては、送信先セレクト、文面セレクト、実行セレクトを用意する。
送信先セレクトモードでは、アドレス登録された人をメール送信先として選べるようにする。文面セレクトモードでは、文章内容を選択できるようにする。実行セレクトモードでは、送信や取り消し等の動作を選択できるようにする。

図１６で電子メールの作成及び送信の動作例を示す。
まずダブルタッピングが検知されたら、携帯電話機１００の制御部は送信先セレクトモードに入る。そして送信先として登録された人の名前を読み上げる。
ユーザは、読み上げられる名前をスピーカ１０１で聴き取り、今回送信しようとする相手の名前が読み上げられた時点で再びダブルタッピングする。
すると制御部は、そのダブルタッピングの直前に読み上げた人を送信先として決定する。図の場合、「Ｂさん」が送信先として選ばれることになる。そして制御部は送信先セレクトモードから文面セレクトモードに移行する。

文面セレクトモードでは、制御部は各種の文面を読み上げていく処理を行う。ユーザは読み上げられる文面をスピーカ１０１で聴き取り、今回送信しようとする内容の文面が読み上げられた時点で再びダブルタッピングすればよい。
また、読み上げ内容を戻したい場合はトリプルタッピングすればよい。
図の例では「現在出社中」「今から帰る」「本日遅刻します」・・・と順に読み上げられていく。ここで、ユーザは「今から帰る」を選択したかったのに、次の文面まで読み上げが進んでしまったのなら、トリプルタッピングを行う。これに応じて制御部は１つ前の「今から帰る」を再び読み上げる。
ここでユーザがダブルタッピングをすれば、制御部は「今から帰る」が選択されたとして文面セレクトモードから実行セレクトモードに移行する。

実行セレクトモードでも制御部は、実行内容を読み上げる処理を行う。そして例えば「送信」と読み上げられたタイミングでユーザがダブルタッピングすれば、制御部は「送信」が選択されたと認識し、実行セレクトモードを終了して送信処理を行う。
このような処理によって「Ｂさん」に対して「今から帰る」という電子メール文書が作成され、送信されることになる。

この例のように、タッピングのタイミングを判定することで、文字コードや、あらかじめ決まった文章を打ち込むこともできる。例えば図１５（ａ）のように耳元にマイクがある場合であれば、電車内などでしゃべることなく、また携帯電話／端末を鞄などから出して打つ必要なく、耳元で簡易的に操作するだけで、定型文をメールで送信することができる。
上記例では、あらかじめ、メーカもしくはユーザが良く使用される送信先や定型文の種類をプリセットしておき、さらに特殊コードとしての規則を決めておくようにした。
このようにすることで、比較的簡単に、効率よく、また周囲のヒトから気づかれにくく送信することができる。
また上記例ではセレクトアイテム時に読み上げ処理を行うとしたが、これは必ずしも必要なわけではなく、最後または途中段階で確認が入るような仕組みにしても良い。
またセレクトアイテムの読み上げをシングルタッピング操作で進行させるような操作を取り入れることも考えられる。

もちろん、同様の手法を用いて、定型文でなく文字そのもののコードを入力するようにして、タッピングを使って１文字ずつ入力する機構を実装してもかまわない。例えば、図示はしないが、左耳のタッピングで「あ、か、さ、た、な・・・」を選択し、その後右耳にて「あ段、い段、・・・」を選択するようにすれば、比較的平易に入力することが可能である。

＜４．プログラム＞

本発明の実施の形態のプログラムは、叩打検知ステップと制御ステップとを演算処理装置に実行させるプログラムである。
叩打検知ステップは、一体又は別体接続されたマイクロホンによって集音された音声信号についての低域成分のエネルギーレベルの第１の時間内での増加及び減少を判定するエネルギー増減判定処理に基づいて、叩打入力操作を検知する。
制御ステップは、叩打検知ステップで叩打入力操作が検知されたことに応じて、叩打入力操作について設定された所定の制御処理を行う。

このようなプログラムに基づいて上述した各種機器の制御部（演算処理装置）が動作することで、本発明の音声信号処理装置が実現される。即ち図２及び図７（又は図１２，図１３，図１４等）の処理が実行される。

このようなプログラムは、パーソナルコンピュータ等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

１ 音声信号処理部、２ 叩打検知部、３ 制御部、４ マイク、１０ ＮＣヘッドフォン、１１ ヘッドホン部、１２Ｌ、１２Ｒ マイク、１３Ｌ、１３Ｒ スピーカ、１４ ノイズキャンセルユニット、２０ メディアプレーヤ、３４ ノイズキャンセル部、３５ ゲイン部、３７ 叩打検知部、３８ 制御部、３９ イコライザ、５２，５２Ｌ、５２Ｒ，５４，５４Ｌ，５４Ｒ，５８ ローパスフィルタ、５３，５３Ｌ，５３Ｒ，５６Ｌ，５６Ｒ 絶対値化回路、５５，５５Ｌ，５５Ｒ 判定処理部

Claims (9)

1. マイクロホンによって集音された音声信号が入力されるとともに、該音声信号の低域成分のエネルギーレベルの第１の時間内での増加及び減少を判定するエネルギー増減判定処理に基づいて叩打入力操作を検知する叩打検知部と、
   上記叩打検知部により叩打入力操作が検知されたことに応じて、叩打入力操作について設定された所定の制御処理を行う制御部と、
   を備えた音声信号処理装置。
2. 上記叩打検知部は、上記エネルギー増減判定処理で上記エネルギーレベルの増加及び減少が第１の時間内に検出されることが、上記第１の時間より長い第２の時間内において複数回発生した場合に、叩打入力操作がされたと検知する請求項１に記載の音声信号処理装置。
3. 上記叩打検知部には、複数チャンネルの音声信号が入力され、
   上記叩打検知部は、複数チャンネルの音声信号を加算した音声信号について、上記エネルギー増減判定処理を行う請求項２に記載の音声信号処理装置。
4. 上記叩打検知部には、複数チャンネルの音声信号が入力され、
   上記叩打検知部は、複数の各チャンネルの音声信号のそれぞれについて、上記エネルギー増減判定処理を行い、各チャンネルについての叩打入力操作を検知する請求項２に記載の音声信号処理装置。
5. 上記叩打検知部には、複数チャンネルの音声信号が入力され、
   上記叩打検知部は、複数の各チャンネルの音声信号のうちで叩打音が含まれるチャンネルを判定するチャンネル判定処理と、上記複数チャンネルの音声信号を加算または減算した音声信号についての上記エネルギー増減判定処理とを行い、叩打入力操作の検知及び叩打入力操作が行われたチャンネルの検知を行う請求項２に記載の音声信号処理装置。
6. 上記エネルギー増減判定処理では、該音声信号の低域成分のエネルギーレベルが第１の閾値より上昇した後、上記第１の時間内で、上記エネルギーレベルが第２の閾値より減少するか否かを判定する請求項２に記載の音声信号処理装置。
7. マイクロホンをさらに備え、
   上記マイクロホンによって集音された音声信号が上記叩打検知部に入力される請求項２に記載の音声信号処理装置。
8. マイクロホンによって集音された音声信号についての低域成分のエネルギーレベルの第１の時間内での増加及び減少を判定するエネルギー増減判定処理に基づいて、叩打入力操作を検知する叩打検知ステップと、
   上記叩打検知ステップで叩打入力操作が検知されたことに応じて、叩打入力操作について設定された所定の制御処理を行う制御ステップと、
   を備えた音声信号処理方法。
9. マイクロホンによって集音された音声信号についての低域成分のエネルギーレベルの第１の時間内での増加及び減少を判定するエネルギー増減判定処理に基づいて、叩打入力操作を検知する叩打検知ステップと、
   上記叩打検知ステップで叩打入力操作が検知されたことに応じて、叩打入力操作について設定された所定の制御処理を行う制御ステップと、
   を演算処理装置に実行させるプログラム。

Images