JP2009232423A - 音響出力装置、携帯端末装置および耳装着判定方法 - Google Patents

Abstract

【課題】特殊な構造のヘッドセットを使用することなく、イヤホン等が耳に装着されているかどうかを判定することが可能な音響出力装置を提供する。
【解決手段】本発明の音響出力装置は、ヘッドセット３１において音響信号を入力可能な状態を示す入力可能状態と音響信号を出力可能な状態を示す出力可能状態とを切り替える入出力切り替えスイッチ２６と、出力可能状態である際に、所定の信号をヘッドセット３１に出力させる音響出力部２３と、所定の信号を出力させた際、入出力切り替えスイッチ２６に、出力可能状態から入力可能状態への切り替えを指示する入出力タイミング検出部２５と、入力可能状態である際に、ヘッドセット３１から所定の信号に基づく反射信号を入力する音響入力部２７と、所定の信号および反射信号に基づいて、ヘッドセット３１が耳に装着されているか否かを判定する装着検出部２９とを有する。
【選択図】図１

Description

本発明は、音響出力装置、携帯端末装置、および耳装着判定方法に関する。

最近の携帯電話端末や携帯型情報端末（ＰＤＡ）のような携帯型の端末においては、音楽を再生する機能や、テレビ番組を受信し再生する機能など様々な機能が搭載されている。

このような携帯端末装置においては、端末の電源である電池の消耗が大きな問題になる。例えば、実際にはユーザが視聴していないにもかかわらず、音楽の再生やテレビ番組の再生などを長時間にわたって継続すると、電池が消耗してしまい、例えば電話の着信等が発生した場合のようにユーザが端末を使いたいときに、必要な機能が使えなくなってしまうような状況も生じやすい。

このような無駄な電力消費を防止するためには、ユーザが音楽等の視聴を終了したときに再生停止等の操作を忘れた場合であっても、自動的に再生を停止するのが望ましい。しかし、ユーザが音楽等の視聴を継続しているかどうかを検出するのは難しい。

ユーザが音楽等の視聴を継続しているかどうかを検出するための技術の一例として、ユーザが所定のヘッドセット（イヤホン、ヘッドホンを含む。以下同様。）を耳の位置に装着しているかどうかを自動的に検出するための技術が知られている（例えば、特許文献１参照）。具体的には、互いに近接した状態で配置されたスピーカとマイクを備えるヘッドセットを用いて、スピーカから出力され耳の鼓膜で反射した反射音をマイクで検出し、出力した音響と入力された反射音とを比較することにより、ヘッドセットが耳の位置に装着されているかどうかを自動的に識別する。

特開２００７−１６５９４０号公報

しかしながら、特許文献１の技術では、互いに近接した状態で配置されたスピーカとマイクを備える特殊な構造のヘッドセットを使用することが不可欠である。一般的な音楽プレーヤや携帯電話端末などに用いられるヘッドホンやイヤホンなどの場合には、耳に装着される箇所に、単一の電気−音響変換器のみが搭載されているので、そのままでは特許文献１の技術を採用できない。すなわち、特許文献１の技術を採用するためには、特殊な構造のヘッドセットを採用し、端末自体の構造も大きく変更しなければならない。

本発明は、上記事情に鑑みてなされたものであって、特殊な構造のヘッドセットを使用することなく、イヤホン等が耳に装着されているかどうかを判定することが可能な音響出力装置、携帯端末装置および耳装着判定方法を提供することを目的とする。

本発明の音響出力装置は、耳に装着可能な音響信号入出力器において音響信号を入力可能な状態を示す入力可能状態と、前記音響信号入出力器において音響信号を出力可能な状態を示す出力可能状態と、を切り替える入出力切り替え部と、前記出力可能状態である際に、所定の信号を前記音響信号入出力器に出力させる音響出力部と、前記所定の信号を出力させた際、前記入出力切り替え部に、前記出力可能状態から前記入力可能状態への切り替えを指示する切り替え制御部と、前記入力可能状態である際に、前記音響信号入出力器から前記所定の信号に基づく反射信号を入力する音響入力部と、前記所定の信号および前記反射信号に基づいて、前記音響信号入出力器が耳に装着されているか否かを判定する装着判定部とを有する。

この構成によれば、互いに近接した状態で配置されたスピーカとマイクを備える特殊な構造のヘッドセットを使用することなく、イヤホン等が耳に装着されているかどうかを検出することができる。イヤホン等に内蔵される発音素子（例えば圧電素子）のような一般的な電気−音響変換部は、電気信号を音響に変換するだけでなく、外部から入力される音響を電気信号として出力することもできる。そこで、電気信号を音響に変換して出力する出力可能状態と外部からの音響入力を電気信号に変換する入力可能状態とを、スイッチなどの切り替え部で切り替えることにより、音響の出力と音響の入力との両方の機能を実現することができる。但し、単一の電気−音響変換部をスピーカ（出力可能状態）およびマイク（入力可能状態）として共用するため、切り替え部を切り替えるタイミングを適切に決定する必要がある。この制御を切り替え制御部が行う。電気−音響変換部で音響を出力してから鼓膜からの反射音が電気−音響変換部に戻るまでには所定の時間差があるので、この時間差を利用して切り替えを行うことが可能である。

また、本発明の音響出力装置は、前記音響出力部が、前記装着判定部によって前記音響信号入出力器が耳に装着されてないと判定された場合、前記音響信号入出力器による音響信号の出力を停止させる。

この構成によれば、イヤホン等が耳に装着されておらず、音響を出力しても無駄となってしまう場合には、この音響出力を停止させるので、無駄な電力消費を低減することが可能である。

また、本発明の音響出力装置は、前記音響出力部が、更に、外部スピーカに音響信号を出力させる。

この構成によれば、イヤホン等の音響出力器と外部スピーカとを選択的に使用できる場合に、状況に応じてこれらのいずれか一方を自動的にかつ適切に選択することができる。例えば、電話の着信音は確実にユーザが認識できるように出力する必要があるが、音響出力器をユーザが耳に装着していない状態では、音響出力器から出力される音響はユーザに聞こえにくい。そこで、着信音等の音響を、イヤホン等の音響出力器をユーザが耳に装着していない状態では外部スピーカから出力させることで、ユーザの利便性が向上する。

また、本発明の音響出力装置は、前記音響出力部が、前記音響信号入出力器に出力させる音響信号の信号レベルが所定時間以上所定レベル以下である場合、前記音響信号入出力器に前記所定の信号を出力させる。

この構成によれば、イヤホン等の電気−音響変換部を出力可能状態から入力可能状態に切り替えるタイミングを無音区間（もしくは信号レベルが所定レベル以下の弱音区間）が現れた時点を基準にして決定するので、ユーザ（視聴者）に大きな不快感を与えることなく、イヤホン等の音響出力器が耳に装着されているかどうかを検出できる。例えば、ユーザがテレビ番組を視聴しているような状況では、番組と次の番組との間や、１つの番組中にコマーシャルのような区切りが存在し、この区切り位置には少しの間だけ無音区間が存在する。そこで、無音区間が現れたときに、試験信号である上記所定の信号をイヤホン等の電気−音響変換部から音響として出力し、その直後に電気−音響変換部を入力可能状態に切り替えて耳の鼓膜からの反射音を検出する。無音区間のタイミングでは、ユーザが聞くべき音響が存在しないので、入力可能状態に切り替えてもユーザに不快感を与えることはない。

また、本発明の音響出力装置は、前記所定の信号が、トーン信号である。

この構成によれば、上記所定の信号が例えば特定周波数帯で一定周期分の正弦波（「ピッ」のようなワンショット鳴動するトーン信号）であり、信号レベル、出力時間、音質等においてユーザに不快感を与えずに耳装着判定が可能となる。

また、本発明の音響出力装置は、前記音響信号入出力器に出力させる音響信号からなる所定時間長の音響データを時系列的に保持するバッファを有し、前記切り替え制御部が、前記音響信号入出力器によって前記バッファに保持された最終の音響データが出力された際、前記入出力切り替え部に、前記出力可能状態から前記入力可能状態への切り替えを指示する。

この構成では、出力される音響の元になる音響デジタル情報（例えば音楽や着信音などの音響を出力するための時系列データ）を一時的に保持しているバッファの内容を監視し、音響出力が終了する時点（バッファが空になる時点）を把握する。従って、音響の最後尾の部分が音響として出力された直後に、イヤホン等の電気−音響変換部を出力可能状態から入力可能状態に切り替えることができ、切り替えの直前に出力された音響に対する鼓膜からの反射波を時間差を利用して耳装着判定をすることができる。なお、特別な試験信号を生成する必要はない。

また、本発明の音響出力装置は、前記音響信号入出力器に出力させる音響信号からなる所定時間長の音響データを時系列的に保持するバッファを有し、前記切り替え制御部が、前記バッファに保持された音響データに所定時間以上連続して音響信号の信号レベルが所定レベル以下のデータが含まれる場合、前記音響信号入出力器によって当該音響信号の信号レベルが所定レベル以下のデータの直前の有音データが出力された際、前記入出力切り替え部に、前記出力可能状態から前記入力可能状態への切り替えを指示する。

この構成では、出力される音響の元になる音響デジタル情報（例えば音楽や着信音などの音響を出力するための時系列データ）を一時的に保持しているバッファの内容を監視し、連続的に現れる音響の中に無音区間（例えばテレビ番組とコマーシャルとの区切りや、曲と曲との間の区切りなど）が現れる時点（バッファの中で無音データ等の音響信号の信号レベルが所定レベル以下のデータが所定以上連続的に現れる時点）を把握する。従って、無音区間が現れる前の音響の最後尾の部分が音響として出力された直後に、イヤホン等の電気−音響変換部を出力可能状態から入力可能状態に切り替えることができ、切り替えの直前に出力された音響に対する鼓膜からの反射波を時間差を利用して耳装着判定をすることができる。

また、本発明の音響出力装置は、前記装着判定部が、更に、前記所定の信号の周波数特性の情報に基づいて、前記音響信号入出力器が耳に装着されているか否かを判定する。

この構成によれば、耳装着判定の精度を高めることができる。すなわち、イヤホン等の電気−音響変換部から出力される音響に対応する上記所定の信号と、鼓膜等からの反射波を電気−音響変換部で検出して得られる反射信号とを比較する際に、イヤホン等の音響出力器が耳に装着された状態であれば、上記所定の信号と反射信号との周波数特性には大きな類似性があるので、この周波数特性を考慮して信号の比較を行うことにより、イヤホン等の音響出力器が耳に装着されているかどうかに関する判定精度を高めることができる。

また、本発明の音響出力装置は、前記切り替え制御部が、前記装着判定部によって耳に装着されていないと判定された場合に、前記入出力切り替え部に、前記入力可能状態への切り替えを指示し、前記音響入力部が、前記入力可能状態である際に、音響信号を入力し、前記装着判定部が、前記音響入力部によって入力された音響信号の信号特性および所定信号の信号特性とに基づいて、前記音響信号入出力器が耳に装着されようとしているか否か判定する。

この構成によれば、例えば、ユーザがイヤホン等の音響出力器を耳に装着していない状態から音響出力器を再び耳に装着する時の状態の変化を簡単に検出することができる。すなわち、ユーザがイヤホン等を耳に装着する際には、イヤホン等が耳と擦れるために音（例えば「ガサガサ・・・」）が発生するので、この音をイヤホン等の電気−音響変換部で検出することにより、ユーザがイヤホン等を再び耳に装着しようとしていることを認識できる。

また、本発明の音響出力装置は、前記音響出力部が、前記装着判定部によって前記音響信号入出力器が耳に装着されようとしていると判定された場合、前記音響信号入出力器による音響信号の出力を開始する。

この構成によれば、イヤホン等の音響出力器と外部スピーカとを選択的に使用できる場合に、状況に応じてこれらのいずれか一方を自動的にかつ適切に選択することができる。例えば、電話の着信音は確実にユーザが認識できるように出力する必要があるが、前記音響出力器をユーザが耳に装着している状態では、外部スピーカから出力される音響はユーザに聞こえにくい。そこで、着信音等の音響を、イヤホン等の音響出力器をユーザが耳に装着しようとしている状態ではイヤホン等の音響出力器から出力させることで、ユーザの利便性が向上する。

また、本発明の携帯端末装置は、上記いずれかの音響出力装置を搭載している。

この構成によれば、特殊な構造のヘッドセットを使用することなく、イヤホン等が耳に装着されているかどうかを判定することが可能である。

また、本発明の耳装着判定方法は、耳に装着可能な音響信号入出力器において音響信号を出力可能な状態を示す出力可能状態である際に、所定の信号を前記音響信号入出力器に出力させるステップと、前記所定の信号を出力させた際、前記入出力切り替え部に、前記出力可能状態から、前記音響信号入出力器において音響信号を入力可能な状態を示す入力可能状態への切り替えを指示するステップと、前記入力可能状態である際に、前記音響信号入出力器から前記所定の信号に基づく反射信号を入力するステップと、前記所定の信号および前記反射信号に基づいて、前記音響信号入出力器が耳に装着されているか否かを判定するステップとを有する。

この方法によれば、特殊な構造のヘッドセットを使用することなく、イヤホン等が耳に装着されているかどうかを判定することが可能である。

本発明によれば、互いに近接した状態で配置されたスピーカとマイクを備える特殊な構造のヘッドセットを使用することなく、イヤホン等が耳に装着されているかどうかを判定することができる。

本発明の実施形態における音響出力装置、携帯端末装置および耳装着判定方法について、図面を参照しながら以下に説明する。

本発明の実施形態における音響出力装置としては、具体的には一般的な音楽プレーヤ、携帯電話装置、携帯情報端末（ＰＤＡ）などの携帯端末装置等が考えられる。ここでは、本発明の実施形態における音響出力装置の一例である携帯端末装置について説明する。

また、本発明の実施形態における音響データとは、各種アプリケーションに基づく音声データや音楽データ、その他の音に関するデータを広く含む。

（第１の実施形態）
図１は、本発明の第１の実施形態における携帯端末装置の主要部の構成の一例を示すブロック図である。図１に示す携帯端末装置１は、アプリケーション保持部１０、音声デコード部２１、バッファ２２、音響出力部２３、試験信号生成部２４、入出力タイミング検出部２５、入出力切り替えスイッチ２６、音響入力部２７、フィルタアンプ２８、装着検出部２９、装置状態管理部３０、ヘッドセット３１、および外部スピーカ３２を有して構成される。なお、ヘッドセット３１および外部スピーカ３２は、携帯端末装置１とは別になっていてもよい。

ヘッドセット３１は、一般的な構造のヘッドホンやイヤホンと同様に、ユーザの耳の部分に装着可能な構造になっており、装着した状態で鼓膜と対向する位置に音響を出力するための電気−音響変換器が設けられている。なお、ヘッドセット３１では両耳の位置にそれぞれ独立した電気−音響変換器が設けられているが、ステレオ音響を再生しない場合には左右いずれかの耳の位置に配置される単一の電気−音響変換器を備えるだけでよい。なお、ヘッドセット３１は、音響信号入出力器の一例である。

外部スピーカ３２は、音響を出力するための電気−音響変換器である。外部スピーカ３２では、ユーザがヘッドセット３１を装着していない場合に音響信号を出力する。なお、外部スピーカ３２については装置本体の筐体に内蔵しておいても良いし、装置本体と電気的に接続して使用するような形態であってもよい。

アプリケーション保持部１０は、本端末を制御する制御部（図示せず）が実行可能なアプリケーションプログラムを保持するための記憶装置である。このアプリケーション保持部１０には、電話アプリケーションプログラム１１やプレーヤアプリケーションプログラム１２などが保持されている。すなわち、電話アプリケーションプログラム１１を実行することにより、携帯電話の機能を実現することができ、プレーヤアプリケーションプログラム１２を実行することにより、音楽プレーヤやテレビ番組の受信機や再生機としての機能を実現することができる。

音声デコード部２１は、アプリケーション保持部１０に保持されている各アプリケーションプログラムの機能によって出力される音楽や音声などの音響を圧縮符号化したデータ（例えばＡＡＣ形式のデータ）を復号処理してＰＣＭ（パルス符号変調）形式等の時系列デジタル音響データを出力する。音声デコード部２１が出力する時系列デジタル音響データは、バッファ２２を経由して音響出力部２３に入力される。

音響出力部２３は、入力される時系列デジタル音響データを順次にアナログ音響信号に変換し、外部スピーカ３２もしくはヘッドセット３１に出力する。ここで、音響出力部２３が出力するアナログ音響信号は、スイッチ（図示せず）の選択により、外部スピーカ３２側とヘッドセット３１側とのいずれか一方に出力される。このスイッチの出力先は、例えば各アプリケーションプログラムの制御によって選択される。また、音響出力部２３は、所定の信号（例えば、ヘッドセット３１等の音響信号入出力器の耳装着検出を行うための信号を示す装着検出信号）を音響信号入出力器に出力させる機能を有する。

試験信号生成部２４は、ヘッドセット３１がユーザの耳に装着されているかどうかを調べる際に、所定の試験信号を出力するために設けられている。この試験信号は、図３に示す検出トーン信号ＳＧ１のように出力される時間の長さが非常に短い（例えば０．２秒）信号であってもよいし、また、予め定めた周波数の正弦波等の波形を有する信号であってもよい。生成された試験信号は、音響出力部２３によって出力される。なお、試験信号は装着検出信号の一例である。

入出力切り替えスイッチ２６は、ヘッドセット３１の出力と入力とを切り替えるためのスイッチであり、入出力タイミング検出部２５の制御により、高速で切り替えられる。例えば、ヘッドセット３１がユーザの耳に装着されているかどうかを調べる際に用いられる。

すなわち、ヘッドセット３１に内蔵されている電気−音響変換器は、電気信号を音響に変換するための用途に用いられる他に、外部から入力される音響を電気信号に変換する。この変換方法を切り替えることにより、電気−音響変換器を有するヘッドセット３１をマイクとして利用することもできる。

このように、音響出力部２３から出力される電気信号をヘッドセット３１から音響として出力する出力状態と、外部から入力される音響（空気の振動）をヘッドセット３１で電気信号に変換して入力する入力状態とを入出力切り替えスイッチ２６で選択的に切り替える。つまり、入出力切り替えスイッチ２６は、ヘッドセット３１等の音響信号入出力機器において音響信号を入力可能な状態を示す入力可能状態と、音響信号入出力機器において音響信号を出力可能な状態を示す出力可能状態と、を切り替える入出力切り替え部としての機能を有する。

入出力タイミング検出部２５は、音声デコード部２１またはバッファ２２が出力する時系列デジタル音響データ、または音響出力部２３から出力されるアナログ音響信号の信号レベル（音響の大きさを表す振幅）を監視することにより、音響信号の区切り（例えばテレビ番組とコマーシャルとの区切り）を表す実質的な無音状態を検出する。信号レベルが所定レベル以下の状態が所定時間以上続いたことを検出した場合には、無音状態とみなし、ヘッドセット３１の装着検出を開始する。この場合、試験信号生成部２４に対して試験信号の出力を要求する。

また、入出力タイミング検出部２５は、まず、入出力切り替えスイッチ２６の選択状態を出力側に保持し、試験信号生成部２４が出力する試験信号を、音響出力部２３および入出力切り替えスイッチ２６を介してヘッドセット３１に出力する。この試験信号をヘッドセット３１から音響として出力した直後のタイミングで、入出力タイミング検出部２５は入出力切り替えスイッチ２６の選択状態を入力側に切り替える。

音響入力部２７は、マイクとして機能しているヘッドセット３１から、入出力切り替えスイッチ２６を介して入力される音響（出力した試験信号の反射波）のアナログ信号を入力し、時系列の例えばＰＣＭデジタル信号等のデジタル信号に変換する。つまり、音響入力部２７は、ヘッドセット３１等の音響信号入出力器から装着検出信号に基づく反射信号を入力する。

フィルタアンプ２８は、音響入力部２７から入力される音響のデジタル信号を処理して、検出に必要な周波数帯域の成分だけを抽出する。すなわち、試験信号生成部２４が出力する試験信号の周波数成分はそのまま通過させ、それ以外の周波数成分は減衰させるように信号を処理する。なお、検出に必要な周波数帯域は、入出力タイミング２５により指示される。また、フィルタアンプ２８は、抽出された成分について増幅処理も行う。

装着検出部２９は、出力した試験信号に関する波形や周波数や時間に関する特徴を、フィルタアンプ２８から入力される音響のデジタル信号の特徴と比較することにより、ユーザがヘッドセット３１を耳に装着している状態か否かを自動的に識別する。

すなわち、ユーザがヘッドセット３１を耳に装着している状態であれば、ヘッドセット３１内部の電気−音響変換器から出力される試験信号の音響が、耳の鼓膜で反射して反射波の音響として同じ電気−音響変換器に入力される。この音響の反射は、電気−音響変換器と鼓膜との間で何回か繰り返される。従って、ユーザがヘッドセット３１を耳に装着している状態であれば、フィルタアンプ２８から装着検出部２９に入力される音響の信号の特徴は、出力した試験信号と非常に高い類似性を有しているので、両者の特徴を比較することにより、ユーザがヘッドセット３１を耳に装着しているか否かを識別できる。装着検出部２９は、この識別結果を装置状態管理部３０に通知する。

このように、装着検出部２９は、試験信号等の装着検出信号および反射信号に基づいて、ヘッドセット３１等が耳に装着されているかどうかを判定する装着判定部としての機能を有する。

装置状態管理部３０は、装着検出部２９からの通知内容に基づいて、ユーザがヘッドセット３１を耳に装着しているか否かを管理し、その状態を必要に応じて各アプリケーションプログラムに通知する。

ここで、図８は、入出力切り替えスイッチ２６、ヘッドセット３１、およびユーザの耳において伝達される音響信号の一例を示す図である。

入出力切り替えスイッチ２６は、例えばＧＮＤ端子、ＯＵＴＰＵＴ端子、ＩＮＰＵＴ端子を備え、入出力タイミング検出部２５の指示により、所定のタイミングで、ＯＵＴＰＵＴ端子およびＩＮＰＵＴ端子のいずれかが選択される。ＯＵＴＰＵＴ端子にヘッドセット３１が接続されると、ヘッドセット３１は音響出力を行うスピーカとして機能し、ＩＮＰＵＴ端子にヘッドセット３１が接続されると、ヘッドセット３１は音響入力を行うマイクとして機能する。ヘッドセット３１から音響信号が出力されると、音響信号は耳の中の外耳道を通って鼓膜へ到達し、鼓膜で反射する。反射された音響信号は、反射波として再び外耳道を通ってヘッドセット３１へ到達すると、マイクとして機能するヘッドセット３１から入力される。

次に、携帯端末装置１の動作の一例について説明する。
図２は、携帯端末装置１の動作に関する処理手順の一例を示す図である。

まず、ステップＳ１１では、図示しない制御部が、アプリケーション保持部１０に保持されている各アプリケーションプログラムのうち起動しているプログラムに基づいて、音響として出力すべきデータ（音楽やテレビ番組の音声データなど）が存在するかどうかを識別する。データが存在する場合にはステップＳ１２に進む。

ステップＳ１２では、音声デコード部２１が、各アプリケーションプログラムにより出力される音響の圧縮符号化されたデータを復号し、時系列デジタル音響データとして出力する。続いて、ステップＳ１３に進む。

ステップＳ１３では、音響出力部２３が、音響出力における信号の出力先の選択状態を識別する。すなわち、音響をヘッドセット３１から出力するように選択されている場合にはステップＳ１４に進み、外部スピーカ３２から音響を出力するように選択されている場合にはステップＳ２４に進む。

ステップＳ１４では、入出力タイミング検出部２５が、音響の区切りに現れる無音状態になったかどうかを調べるために、音声デコード部２１もしくはバッファ２２が出力する時系列デジタル音響データ、または音響出力部２３から出力されるアナログ音響信号の信号レベル（音響の大きさを表す振幅）を監視し、この信号レベルを予め定めた閾値と比較する。信号レベルが閾値より大きい（無音状態ではない）場合にはステップＳ２４に進み、信号レベルが閾値以下（無音状態）の場合にはステップＳ１５に進む。

ステップＳ１５では、入出力タイミング検出部２５が、無音状態の継続時間を調べるために、内部タイマの計時を開始する。つまり、無音状態を検出した時点から計時を開始する。続いて、ステップＳ１６に進む。

ステップＳ１６では、入出力タイミング検出部２５が、内部タイマの状態を調べ、計時開始から一定時間（Ｔ１）が経過したかどうかを識別する。一定時間（Ｔ１）が経過してなければステップＳ２４に進み、経過した場合にはステップＳ１７に進む。

ステップＳ１７では、入出力タイミング検出部２５が、試験信号生成部２４に指示を与えて、短い時間だけ試験信号（検出トーン）を生成させ、音響出力部２３に試験信号の出力を実行させる。この際、入出力切り替えスイッチ２６の選択状態が出力側に保持されているので、試験信号は音響出力部２３および入出力切り替えスイッチ２６を経由してヘッドセット３１に出力され、音響として出力される。続いて、ステップＳ１８に進む。

ステップＳ１８では、入出力タイミング検出部２５が、ヘッドセット３１から音響が出力された直後に、入出力切り替えスイッチ２６の選択状態を出力側から入力側に切り替える。続いて、ステップＳ１９に進む。

ステップＳ１９では、音響入力部２７が、マイクとして動作しているヘッドセット３１から入力される音響（反射波）の信号を入力し、デジタル信号に変換する。続いて、ステップＳ２０に進む。

ステップＳ２０では、フィルタアンプ２８が、音響入力部２７から出力される音響のデジタル信号をフィルタ処理して、試験信号と同じ周波数帯域の成分だけを抽出する。続いて、ステップＳ２１に進む。

ステップＳ２１では、装着検出部２９が、フィルタアンプ２８から出力される音響のデジタル信号の特徴を、試験信号の特徴と比較して両者の類似性が高いかどうかを識別することにより、ヘッドセット３１が耳に装着されているかどうかを判定する。

ステップＳ２２では、ステップＳ２１の判定の結果、装着なしを検出した場合にはステップＳ２３に進み、装着有りを検出した場合にはステップＳ１１に戻る。

ステップＳ２３では、装着検出部２９が、装着なしであることを装置状態管理部３０に通知し、装置状態管理部３０が、装着なしとして管理状態を変更する。

ステップＳ２４では、ヘッドセット３１の装着検出を行う状態ではないので、音響出力部２３が、音声や音楽などの音響信号をヘッドセット３１または外部スピーカ３２から音響として出力する。

図２の処理は、まとめて説明すると、下記のような処理である。なお、図３は携帯端末装置１のヘッドセット３１から出力される音響波形の一例を示す図である。

例えば、ユーザが連続的に音楽を視聴しているような状態であっても、曲と曲との間には所定時間以上の無音区間があるので、図３に示すように所定レベル以上の信号波形が現れている「音楽鳴動中」状態から、しばらく無音状態に切り替わる。そこで、ユーザの視聴の妨げになるのを防止するために、無音状態のタイミングでヘッドセット３１の装着に関する検出を実施する。つまり、音響出力のためにヘッドセット３１を使用していない無音状態が所定時間（ここではＴ１）継続していることを検出した時点で、試験信号である特定周波数帯で一定周期分の正弦波トーン信号ＳＧ１（例えば、「ピッ」のようなワンショット鳴動するトーン信号）を音響としてヘッドセット３１から出力する。この検出トーン信号ＳＧ１を出力した直後に、入出力切り替えスイッチ２６は出力側から入力側に切り替わり、ヘッドセット３１はマイクとして動作する。

ユーザがヘッドセット３１を耳に装着している場合には、ヘッドセット３１から音響として出力された検出トーン信号ＳＧ１が、鼓膜に届き、鼓膜で反射し、反射波としてヘッドセット３１に戻る。実際には一定周期で反射が何回か繰り返される。ユーザがヘッドセット３１を耳に装着していなければ、このような反射波は生じない。そこで、反射波の音響をマイクとしてのヘッドセット３１で検出し、出力した試験信号と比較することにより、ユーザがヘッドセット３１を耳に装着しているかどうかを識別できる。

例えば、プレーヤアプリケーションプログラム１２を実行することによりユーザが連続的な音楽の再生を開始し、ヘッドセット３１を耳に装着して視聴している状態から、視聴を終了しヘッドセット３１を耳から外した場合に、音楽の再生動作を終了するための操作を忘れると、音楽の再生動作の継続によって無駄な電力が消費されるため電池が消耗するおそれがある。しかし、ユーザがヘッドセット３１を耳から外したことを装着検出部２９が検出し、装置状態管理部３０の管理状態が変化すると、その状態変化がプレーヤアプリケーションプログラム１２に通知されるので、プレーヤアプリケーションプログラム１２は再生動作を自動的に停止することができる。これにより、無駄な電力消費を抑制することができる。なお、停止するのではなく、アプリケーションプログラムに基づいて、外部スピーカで音響出力を行うようにしてもよい。

（第２の実施形態）
図４は、本発明の第２の実施形態における携帯端末装置の主要部の構成の一例を示すブロック図である。また、図４において図１と対応する要素は同一の符号を付けて示してある。同一の構成要素および動作については以下の説明を簡略化または省略する。

図４に示す携帯端末装置１Ｂは、アプリケーション保持部１０、音声デコード部２１、ＦＩＦＯ蓄積バッファ２２Ｂ、音響出力部２３、入出力タイミング検出部２５Ｂ、入出力切り替えスイッチ２６、音響入力部２７、フィルタアンプ２８、装着検出部２９、装置状態管理部３０、ヘッドセット３１、および外部スピーカ３２を有して構成される。

具体的な図１に示す携帯端末装置１と図４に示す携帯端末装置１Ｂとの相異は、図１に示されているバッファ２２の代わりにＦＩＦＯ蓄積バッファ２２Ｂを設けてあり、試験信号生成部２４は不要なため設けておらず、入出力タイミング検出部２５Ｂの動作が変更されていることである。

ＦＩＦＯ蓄積バッファ２２Ｂは、複数ブロックのデータを蓄積可能な一時記憶装置であり、入力した順番と同じ順番でデータを順次出力する。つまり、先に入れたデータが先に出力されるバッファとして利用できる。バッファ２２と同様に、音声デコード部２１から出力されるＰＣＭ形式等の時系列デジタル音響データがＦＩＦＯ蓄積バッファ２２Ｂに順次に入力される。

このように、ＦＩＦＯ蓄積バッファ２２Ｂは、ヘッドセット３１等の音響信号入出力機器に出力させる音響信号からなる所定時間長の音響データを時系列的に保持するバッファの一例である。

入出力タイミング検出部２５Ｂは、ＦＩＦＯ蓄積バッファ２２Ｂに蓄積されているデータを解析することにより、これから先にどのような音響が出力されるのかを、実際に音響を出力する前に調べることができる。

例えば、入出力タイミング検出部２５Ｂが、図６（ａ）に示すように、一連の音響の最後の部分に相当する最終データを保持しているバッファ位置（その音響が出力されるタイミングと関係がある）を特定することができる。また、入出力タイミング検出部２５Ｂが、図６（ｂ）に示すように時系列の音響信号の中に複数の無音データ等の音響信号の信号レベルが所定レベル以下のデータが含まれているかどうかを調べることもできる。なお、図６は、ＦＩＦＯ蓄積バッファ２２Ｂに蓄積されているデータの一例を示す図である。

具体的には、音声デコード部２１が、復号したデータをＦＩＦＯ蓄積バッファ２２Ｂに格納したことを示す格納情報を入出力タイミング検出部２５Ｂに通知するので、入出力タイミング検出部２５Ｂが、この通知に基づいて、ＦＩＦＯ蓄積バッファ２２Ｂの内容を解析し、最終データが現れたかどうか、並びに、所定数の無音データ等の音響信号の信号レベルが所定レベル以下のデータが連続的に現れたかどうかを検出する。また、入出力タイミング検出部２５Ｂは、最終データが現れた場合、または所定数の無音データ等の音響信号の信号レベルが所定レベル以下のデータが連続的に現れた場合には、その位置を特定すると共に、最終データまたは連続する無音データ等の音響信号の信号レベルが所定レベル以下のデータの直前のデータに関する音響出力波形の周波数特性の特徴情報を検出する。

また、入出力タイミング検出部２５Ｂは、入出力切り替えスイッチ２６の選択状態を切り替えるタイミングを以下のように決定する。

入出力タイミング検出部２５Ｂは、ＦＩＦＯ蓄積バッファ２２Ｂ上で最終データを検出した場合には、最終データの信号がヘッドセット３１に出力されるまでは入出力切り替えスイッチ２６を出力側を選択した状態に保持し、最終データの信号が音響としてヘッドセット３１から出力された直後のタイミングで入出力切り替えスイッチ２６を入力側の選択に切り替える。つまり、最終データの信号を装着検出信号としている。

また、入出力タイミング検出部２５Ｂは、ＦＩＦＯ蓄積バッファ２２Ｂ上で所定数の連続する無音データ（無音区間）等の音響信号の信号レベルが所定レベル以下のデータ（弱音区間）を検出した場合には、無音データ等の音響信号の信号レベルが所定レベル以下のデータの直前に位置するデータ（特定データ）の信号がヘッドセット３１に出力されるまでは入出力切り替えスイッチ２６を出力側を選択した状態に保持し、この特定データの信号が音響としてヘッドセット３１から出力された直後のタイミングで入出力切り替えスイッチ２６を入力側の選択に切り替える。つまり、特定データを装着検出信号としている。

つまり、本実施形態では、ヘッドセット３１が耳に装着されているかどうかを調べる際に、各アプリケーションプログラムが出力する音響のデータによって出力される音響を利用するので、第１の実施形態のような所定の試験信号を生成する必要はない。

入出力切り替えスイッチ２６が出力側を選択している時に、ヘッドセット３１に出力された信号により生成される音響は、ユーザの耳の鼓膜で反射し、入出力切り替えスイッチ２６が入力側に切り替わった後で、反射波がマイクとして機能しているヘッドセット３１によって電気信号として検出される。ヘッドセット３１が検出した反射波の電気信号は、入出力切り替えスイッチ２６を経由して音響入力部２７に入力され、ＰＣＭデジタル信号等のデジタル信号に変換される。

入出力タイミング検出部２５Ｂは、ＦＩＦＯ蓄積バッファ２２Ｂ上で検出した音響データ（上記の最終データ、特定データに相当）の信号波形の周波数特性の特徴情報をフィルタアンプ２８および装着検出部２９に与える。従って、フィルタアンプ２８は音響入力部２７が出力するＰＣＭデジタル信号の中からヘッドセット３１の装着検出に必要な信号の周波数成分だけを抽出することができる。

装着検出部２９は、ヘッドセット３１から出力した音響（上記の最終データ、特定データに相当）に関する波形や周波数や時間に関する特徴を、フィルタアンプ２８から入力される音響のＰＣＭデジタル信号等のデジタル信号の特徴と比較することにより、ユーザがヘッドセット３１を耳に装着している状態か否かを識別する。

次に、携帯端末装置１Ｂの動作の一例について説明する。
図５は、携帯端末装置１Ｂの動作に関する主要な処理手順の一例を示す図である。

まず、ステップＳ３１では、図示しない制御部が、アプリケーション保持部１０に保持されている各アプリケーションプログラムのうち起動しているプログラムに基づいて、音響として出力すべきデータ（音楽やテレビ番組の音声データなど）が存在するかどうかを識別する。データが存在する場合にはステップＳ３２に進む。

ステップＳ３２では、音声デコード部２１が、各アプリケーションプログラムにより出力される音響の圧縮符号化されたデータを復号し、ＰＣＭ形式等の時系列デジタル音響データとして出力する。続いて、ステップＳ３３に進む。

ステップＳ３３では、音響出力部２３が、音響出力における信号の出力先の選択状態を識別する。すなわち、音響をヘッドセット３１から出力するように選択されている場合にはステップＳ３４に進み、外部スピーカ３２から音響を出力するように選択されている場合にはステップＳ４５に進む。

ステップＳ３４では、入出力タイミング検出部２５Ｂが、音響の区切りの位置を調べるために、ＦＩＦＯ蓄積バッファ２２Ｂに存在している時系列デジタル音響データの内容を監視する。続いて、ステップＳ３５に進む。

ステップＳ３５では、入出力タイミング検出部２５Ｂが、音響の区切りである最終データを検出した場合、または所定時間以上の無音区間を検出した場合には、ヘッドセット３１の装着状態を検出するのに適するタイミングであるか否かを判断する。検出タイミングであると判断された場合にはステップＳ３６に進み、それ以外の場合はステップＳ４５に進む。

ステップＳ３６では、入出力タイミング検出部２５Ｂが、ヘッドセット３１の装着状態を検出する際に利用する検出データ（上記の最終データ、特定データに相当）を取得する。続いて、ステップＳ３７に進む。

ステップＳ３７では、入出力タイミング検出部２５Ｂが、ステップＳ３６で取得した検出データの波形の周波数特性を解析し、その特徴情報を得る。続いて、ステップＳ３８に進む。

ステップＳ３８では、入出力タイミング検出部２５Ｂが、入出力切り替えスイッチ２６が出力側を選択している状態に保持することにより、上記の検出データの電気信号をヘッドセット３１に与え、これを音響としてヘッドセット３１から出力する。続いて、ステップＳ３９に進む。

ステップＳ３９では、入出力タイミング検出部２５Ｂが、音響として上記の検出データをヘッドセット３１から出力した直後、入出力切り替えスイッチ２６の選択状態を出力側から入力側に切り替える。続いて、ステップＳ４０に進む。

ステップＳ４０では、音響入力部２７が、マイクとして動作しているヘッドセット３１から入力される音響（反射波）の信号を入力し、デジタル信号に変換する。続いて、ステップＳ４１に進む。

ステップＳ４１では、フィルタアンプ２８が、音響入力部２７から出力される音響のデジタル信号を処理して、上記検出データの信号波形の周波数帯域と同じ周波数帯域の成分だけを抽出する。続いて、ステップＳ４２に進む。

ステップＳ４２では、装着検出部２９が、フィルタアンプ２８から出力される音響のデジタル信号の特徴と上記検出データの特徴と比較して、両者の類似性が高いかどうかを識別することにより、ヘッドセット３１が耳に装着されているかどうかを判定する。この場合、上記の周波数特性の特徴情報を考慮し、耳に装着されているかどうかを判定することが可能である。

ステップＳ４３では、ステップＳ４２の判定の結果、装着なしを検出した場合にはステップＳ４４に進み、装着有りの場合はステップＳ３１に戻る。

ステップＳ４４では、装着検出部２９が、装着なしであることを装置状態管理部３０に通知し、装置状態管理部３０が、管理状態を変更する。

ステップＳ４５では、ヘッドセット３１の装着検出を行う状態ではないので、音響出力部２３が、音声や音楽などの音響信号をヘッドセット３１または外部スピーカ３２から音響として出力する。

図３の処理を行う携帯端末装置１Ｂによれば、例えば再生中の音楽が終了するときに、あるいはテレビ番組とコマーシャルとが切り替わる際に発生する無音区間などのタイミングで、再生している音源の一部分を利用してヘッドセット３１が装着されているかどうかを検出することができる。

次に、携帯端末装置１Ｂが装着なしを検出後に実行する動作の一例について説明する。
図７は、携帯端末装置１Ｂが装着なしを検出後に実行する動作の一例を示す図である。なお、この制御は第１の実施形態の携帯端末装置１に適用することもできる。

図２および図５では、装着なしが検出された場合に装着状態管理部３０によって管理状態を変更する旨のみ説明したが、装着なし状態であった場合には、引き続き下記の処理が実行されてもよい。

まず、ステップＳ５１では、装置状態管理部３０が、ヘッドセット３１の装着なしとして、装置の状態を管理しているかどうかを調べる。装着なしであれば、ステップＳ５２に進む。

ステップＳ５２では、図示しない制御部が、電話アプリケーションプログラム１１やプレーヤアプリケーションプログラム１２に基づいて、音響出力部２３を制御し、音楽や着信音などの音響の出力先を外部スピーカ３２側に切り替える。続いて、ステップＳ５３に進む。

これにより、音楽や着信音が外部スピーカ３２から出力されるので、ユーザがプレーヤの再生の終了操作を忘れている場合には、それに気が付きやすくなる。また、電話の着信音を確実にユーザに知らせることができる。

ステップＳ５３では、入出力タイミング検出部２５Ｂが、入出力切り替えスイッチ２６の選択状態を制御し、入力側を選択した状態に固定する。すなわち、装着なし状態なので、ヘッドセット３１から音響を出力する必要はなく、入出力切り替えスイッチ２６を入力側を選択した状態に固定することで、ヘッドセット３１をマイクとして利用できる。このマイクを利用して、ユーザが再びヘッドセット３１を耳に装着する際に発生する音（例えば使用イヤフォンの材質と形状で特徴が異なるため、イヤフォンが肌に擦れる「ガサガサ・・・」音をサンプルしておき、類似の信号かを確認する）を検出することが可能になる。続いて、ステップＳ５４に進む。

ステップＳ５４では、音響入力部２７が、マイクとして機能しているヘッドセット３１から入力される音響の電気信号を入出力切り替えスイッチ２６を経由して入力する。ステップＳ５５に進む。

ステップＳ５５では、フィルタアンプ２８が、音響信号である対象音（例えば「ガサガサ・・・」）の検出に適する周波数帯域の信号抽出を行う。続いて、ステップＳ５６に進む。

ステップＳ５６では、装着検出部２９が、予め定めた対象音のレベルや周波数などの特徴（信号特性）とフィルタアンプ２８から入力された対象音のレベルや周波数などの特徴（信号特性）とを比較することで、ユーザが再びヘッドセット３１を耳に装着しようとしているのかどうか、つまり装着準備中かどうかを判断する。ユーザが再びヘッドセット３１を耳に装着しようとしているものと判断した場合にはステップＳ５７に進み、判断しなかった場合にはステップＳ５５に戻って装着検出を繰り返す。なお、装着検出処理の期間が所定期間以上となった場合には、図７の処理を終了してもよい。

ステップＳ５７では、入出力タイミング検出部２５Ｂが、ステップＳ５５における装着検出部２９の検出結果に基づき、入出力切り替えスイッチ２６を出力側の選択状態に切り替える。続いて、ステップＳ５８に進む。

ステップＳ５８では、装着検出部２９が、ヘッドセット３１の装着ありであることを装置状態管理部３０に通知し、装置状態管理部３０が、装着ありとして管理状態を変更する。続いて、ステップＳ５９に進む。

ステップＳ５９では、図示しない制御部が、装置状態管理部３０からの装着状態変更通知を受信し、電話アプリケーションプログラム１１やプレーヤアプリケーションプログラム１２に基づいて、音響出力部２３を制御し、音楽や着信音などの音響の出力先をヘッドセット３１側に切り替える。

これにより、耳装着を検出した場合には、音楽や着信音等の音響がヘッドセット３１から出力される。すなわち、ユーザは出力先の切り替えのためにボタン等を操作しなくても、視聴対象の音響をヘッドセット３１で聞くことができる。

なお、ステップＳ５２において、音響出力部２３の制御により、音楽や着信音などの音響の出力先を外部スピーカ３２側に切り替える代わりに、ヘッドセット３１からの音響出力を停止するようにしてもよい。これにより、ユーザの聞いていない音響を停止させ、無駄な消費電力を低減させることが可能となる。

本発明は、特殊な構造のヘッドセットを使用することなく、イヤホン等が耳に装着されているかどうかを判定することが可能な音響出力装置、携帯端末装置等として有用である。

本発明の第１の実施形態における携帯端末装置の主要部の構成の一例を示すブロック図である。 本発明の第１の実施形態における携帯端末装置の動作の一例を示すフローチャートである。 本発明の第１の実施形態におけるヘッドセットから出力される音響波形の一例を示す波形図である。 本発明の第２の実施形態における携帯端末装置の主要部の構成の一例を示すブロック図である。 本発明の第２の実施形態における携帯端末装置の主要な動作の一例を示すフローチャートである。 本発明の第２の実施形態における携帯端末装置のＦＩＦＯ蓄積バッファ上のデータの構成例を示す模式図である。 本発明の第２の実施形態における携帯端末装置が装着なしを検出後に実行する動作の一例を示すフローチャートである。 本発明の第１の実施形態における入出力切り替えスイッチ、ヘッドセット、およびユーザの耳において伝達される音響信号の一例を示す図

符号の説明

１、１Ｂ 携帯端末装置
１０ アプリケーション保持部
１１ 電話アプリケーションプログラム
１２ プレーヤアプリケーションプログラム
２１ 音声デコード部
２２ バッファ
２２Ｂ ＦＩＦＯ蓄積バッファ
２３ 音響出力部
２４ 試験信号生成部
２５，２５Ｂ 入出力タイミング検出部
２６ 入出力切り替えスイッチ
２７ 音響入力部
２８ フィルタアンプ
２９ 装着検出部
３０ 装置状態管理部
３１ ヘッドセット
３２ 外部スピーカ

Claims (12)

1. 耳に装着可能な音響信号入出力器において音響信号を入力可能な状態を示す入力可能状態と、前記音響信号入出力器において音響信号を出力可能な状態を示す出力可能状態と、を切り替える入出力切り替え部と、
   前記出力可能状態である際に、所定の信号を前記音響信号入出力器に出力させる音響出力部と、
   前記所定の信号を出力させた際、前記入出力切り替え部に、前記出力可能状態から前記入力可能状態への切り替えを指示する切り替え制御部と、
   前記入力可能状態である際に、前記音響信号入出力器から前記所定の信号に基づく反射信号を入力する音響入力部と、
   前記所定の信号および前記反射信号に基づいて、前記音響信号入出力器が耳に装着されているか否かを判定する装着判定部と
   を有する音響出力装置。
2. 請求項１に記載の音響出力装置であって、
   前記音響出力部は、前記装着判定部によって前記音響信号入出力器が耳に装着されてないと判定された場合、前記音響信号入出力器による音響信号の出力を停止させる
   音響出力装置。
3. 請求項２に記載の音響出力装置であって、
   前記音響出力部は、更に、外部スピーカに音響信号を出力させる
   音響出力装置。
4. 請求項１ないし３のいずれか１項に記載の音響出力装置であって、
   前記音響出力部は、前記音響信号入出力器に出力させる音響信号の信号レベルが所定時間以上所定レベル以下である場合、前記音響信号入出力器に前記所定の信号を出力させる
   音響出力装置。
5. 請求項４に記載の音響出力装置であって、
   前記所定の信号は、トーン信号である
   音響出力装置。
6. 請求項１ないし３のいずれか１項に記載の音響出力装置であって、更に、
   前記音響信号入出力器に出力させる音響信号からなる所定時間長の音響データを時系列的に保持するバッファを有し、
   前記切り替え制御部は、前記音響信号入出力器によって前記バッファに保持された最終の音響データが出力された際、前記入出力切り替え部に、前記出力可能状態から前記入力可能状態への切り替えを指示する
   音響出力装置。
7. 請求項１ないし３のいずれか１項に記載の音響出力装置であって、更に、
   前記音響信号入出力器に出力させる音響信号からなる所定時間長の音響データを時系列的に保持するバッファを有し、
   前記切り替え制御部は、前記バッファに保持された音響データに所定時間以上連続して音響信号の信号レベルが所定レベル以下のデータが含まれる場合、前記音響信号入出力器によって当該音響信号の信号レベルが所定レベル以下のデータの直前の有音データが出力された際、前記入出力切り替え部に、前記出力可能状態から前記入力可能状態への切り替えを指示する
   音響出力装置。
8. 請求項１ないし３のいずれか１項に記載の音響出力装置であって、
   前記装着判定部は、更に、前記所定の信号の周波数特性の情報に基づいて、前記音響信号入出力器が耳に装着されているか否かを判定する
   音響出力装置。
9. 請求項２または３に記載の音響出力装置であって、
   前記切り替え制御部は、前記装着判定部によって耳に装着されていないと判定された場合に、前記入出力切り替え部に、前記入力可能状態への切り替えを指示し、
   前記音響入力部は、前記入力可能状態である際に、音響信号を入力し、
   前記装着判定部は、前記音響入力部によって入力された音響信号の信号特性および所定信号の信号特性とに基づいて、前記音響信号入出力器が耳に装着されようとしているか否か判定する
   音響出力装置。
10. 請求項９に記載の音響出力装置であって、
    前記音響出力部は、前記装着判定部によって前記音響信号入出力器が耳に装着されようとしていると判定された場合、前記音響信号入出力器による音響信号の出力を開始する
    音響出力装置。
11. 請求項１ないし１０のいずれか１項に記載の音響出力装置を搭載した携帯端末装置。
12. 耳に装着可能な音響信号入出力器において音響信号を出力可能な状態を示す出力可能状態である際に、所定の信号を前記音響信号入出力器に出力させるステップと、
    前記所定の信号を出力させた際、前記入出力切り替え部に、前記出力可能状態から、前記音響信号入出力器において音響信号を入力可能な状態を示す入力可能状態への切り替えを指示するステップと、
    前記入力可能状態である際に、前記音響信号入出力器から前記所定の信号に基づく反射信号を入力するステップと、
    前記所定の信号および前記反射信号に基づいて、前記音響信号入出力器が耳に装着されているか否かを判定するステップと
    を有する耳装着判定方法。

Images