JP2016127376A - 音出力装置および音出力装置における音の再生方法 - Google Patents

Abstract

【課題】音出力装置を利用しているときであっても、周囲の状況を把握することが可能な音出力装置を提供する。【解決手段】ヘッドホン装置１００は、環境音を取得する取得部１２１と、ユーザの状況を特定する特定部１２２と、特定部１２２によって特定されたユーザの状況に応じて、取得部１２１によって取得された環境音から所定の音を抽出する抽出部１２３と、抽出部１２３によって抽出された音に基づいた再生処理を実行する再生部１２４と、を備える。【選択図】図２

Description

本発明は、イヤホンやヘッドホンのような音出力装置および音出力装置における音の再生方法に関する。

近年、周囲の音（環境音）をカットすることができる機能を備えたイヤホン装置やヘッドホン装置のような音出力装置が実用に供されている。たとえば下記特許文献１に記載されたヘッドホン装置によれば、環境音に含まれるノイズを打ち消すことによって、その音がユーザに聞こえないようにすることができる。打ち消すべきノイズとしては、たとえば乗物などによって生じる騒音が考えられる。

特開２００８−１９３４２０号公報

上述の機能によって、音出力装置を利用しているときに環境音に含まれるノイズが打ち消されると、ユーザが周囲の状況を把握しにくくなることもある。たとえば、乗物が近づいてくるような場合にその音がノイズであるとして打ち消されると、ユーザが乗物の接近に気づきにくくなるので好ましくない。この場合には、乗物の音はノイズではなくユーザにとって必要な音である。よって、どのような環境音がユーザにとって必要な音であるかは、ユーザの状況によって異なると考えられる。

本発明は、上記問題点に鑑みてなされたものであり、音出力装置を利用しているときであっても、周囲の状況を把握することが可能な音出力装置および音出力装置における音の再生方法を提供することを目的とする。

本発明の一態様に係る音出力装置は、環境音を取得する取得手段と、ユーザの状況を特定する特定手段と、特定手段によって特定されたユーザの状況に応じて、取得手段によって取得された環境音から所定の音を抽出する抽出手段と、抽出手段によって抽出された音に基づいた再生処理を実行する再生手段と、を備える。

本発明の一態様に係る音出力装置における音の再生方法は、環境音を取得するステップと、ユーザの状況を特定するステップと、特定するステップによって特定されたユーザの状況に応じて、取得するステップによって取得された環境音から特定の音を抽出するステップと、抽出するステップによって抽出された音に基づいた再生処理を実行するステップと、を含む。

上記の音出力装置または音出力装置における音の再生方法によれば、ユーザの状況に応じて環境音から所定の音が抽出され、抽出された音に基づいた再生処理が実行される。たとえば、ユーザにとって必要な所定の音が聞こえやすくなるような再生処理を実行することで、ユーザは音出力装置を利用しているときであってもその音の存在を知ることができ、これにより、周囲の状況を把握することができるようになる。

また、再生手段は、抽出手段によって抽出された音に対して強調処理を実行してもよい。ユーザは、強調処理がされた音を聞くことによって、より確実にユーザにとって必要な所定の音の存在を知ることができるようになる。

また、再生手段は、所定の音の音源と音出力装置との位置関係を考慮して、強調処理を実行してもよい。これにより、ユーザは、音源の位置に対応した音を聞くことができるようになる。

また、再生手段は、抽出手段によって抽出された音に所定の語彙が含まれる場合に、強調処理を実行してもよい。これにより、強調処理の実行の対象となる音をさらに絞り込むことができるので、ユーザは、ユーザにとってより必要な音を聞くことができるようになる。

また、再生手段は、他の音の再生状態を変えることによって、強調処理を実行してもよい。ユーザにとって必要な音が聞こえやすくなるように他の音の再生状態を変えることによって、ユーザは、必要な音をより確実に聞くことができるようになる。

また、再生手段は、抽出手段によって抽出された音を変換することによって、強調処理を実行してもよい。たとえば、抽出された音をユーザが聞きやすい音に変換して再生することにより、ユーザは、その音の存在をより確実に知ることができるようになる。

本発明によれば、音出力装置を利用しているときであっても、周囲の状況を把握することが可能になる。

実施形態に係る音出力装置の概要を説明するための図である。 音出力装置などの概略構成を示す図である。 記憶部が記憶するデータテーブルの一例を示す図である。 他人の足音を抽出するためのデータ処理の概要を説明するための図である。 脳波センサのデータに基づくユーザ状況の特定について説明するための図である。 音出力装置が実行する処理の一例を示すフローチャートである。

以下、本発明の実施形態について、図面を参照しながら説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。

図１は、実施形態に係る音出力装置の概要を説明するための図である。図１に示す例では、音出力装置はヘッドホン装置１００であり、ヘッドホン装置１００は、マイク１１０と、コントローラ（制御部）１２０と、スピーカ１４０とを含む。これらの要素は、コードＣを介して接続されており、コードＣの端部には端子Ｔが設けられている。ユーザは、端子Ｔを後述のデバイス群２００に含まれる各デバイスに接続し、ヘッドホン装置１００を装着することによって、スピーカ１４０からの種々の音（たとえば音楽やゲームの音）を聞くことができる。音以外にも、ヘッドホン装置１００は、デバイス群２００から種々の情報を取得できるようになっている。なお、種々の音や情報はヘッドホン装置１００の端子Ｔを各デバイスに接続するだけでなく、Ｂｌｕｅｔｏｏｔｈ（登録商標）のような近距離無線通信技術を利用することによって、取得することもできる。なお、実施形態に係る音出力装置は、ヘッドホン装置１００に限らず、イヤホン装置であってもよい。

デバイス群２００として、図１に示す例では、端末装置２００ａ、リストバンド２００ｂ、グラス２００ｃ、照度計２００ｄ、リストウォッチ２００ｅなどが挙げられる。

端末装置２００ａは、たとえばスマートホンのような携帯通信端末装置である。そのような端末装置は、ネットワーク通信が可能であるだけでなく、アプリケーションを起動することによって音楽やゲームを楽しむこともできる。ヘッドホン装置１００の装着時には、それらの音が、スピーカ１４０を介してユーザへ出力される。

リストバンド２００ｂは、ユーザのリスト部分に取り付けられることによって、心拍センサ２０３でユーザの心拍数を取得し、その情報をヘッドホン装置１００に送信する。

グラス２００ｃは、ユーザの頭部に取り付けられることによって、脳波センサ２０２でユーザの脳波を取得し、その情報をヘッドホン装置１００に送信する。

照度計２００ｄは、ユーザに携帯されることによって、照度を取得し、その情報をヘッドホン装置１００に送信する。

リストウォッチ２００ｅは、ユーザの腕に取り付けられ、現在の時刻を取得し、その情報をヘッドホン装置１００に送信する。

なお、上述のリストバンド２００ｂ、グラス２００ｃ、照度計２００ｄ、リストウォッチ２００ｅなどの機能は、端末装置２００ａにおいて実現されてもよい。また、ヘッドホン装置１００の備えるマイク１１０および制御部１２０の機能（後述）も、端末装置２００ａにおいて実現されてもよい。

図２は、ヘッドホン装置１００などの概略構成を示すブロック図である。ヘッドホン装置１００は、先に説明した図１にも記載されているマイク１１０、制御部１２０、スピーカ１４０の他に、さらに記憶部１３０を備える。記憶部１３０は、制御部１２０が実行する処理に必要な種々の情報を記憶する。図２に示す例では記憶部１３０は制御部１２０とは別に設けられているが、記憶部１３０は制御部１２０に含まれてもよい。あるいは、記憶部１３０の機能がサーバ４００において実現されてもよい。

まず、一般的なイヤホン装置やヘッドホン装置と同様に、ユーザは、ヘッドホン装置１００を用いることによって音楽やゲームの音を聞くことができる。たとえば、音楽再生装置２０８やゲーム機２０９の音がヘッドホン装置１００に送られてスピーカ１４０から出力され、ユーザはその音を聞くことができる。なお、音楽再生装置２０８やゲーム機２０９の機能は、たとえば図１の端末装置２００ａにおいて実現され得る。

上記の一般的なイヤホン装置やヘッドホン装置の機能に加え、本実施形態に係るヘッドホン装置１００は、マイク１１０、制御部１２０、記憶部１３０などの構成要素を含む点において特徴がある。

マイク１１０は、周囲の音（環境音）を検出する。なお、マイク１１０は、複数のマイクであってもよい。先に説明した図１の例では、マイク１１０は２つのマイクで構成されるが、マイク１１０の数は３つ以上であってもよい。複数のマイク１１０を用いることによって、音源の音が各マイク１１０に到達するタイミグの時間差を検出することができ、それによって音源の位置情報を特定することも可能になる。音源の位置情報は、ヘッドホン装置１００から音源までの距離やその方向などを含む。

制御部１２０は、取得部（取得手段）１２１と、特定部（特定手段）１２２と、抽出部（抽出手段）１２３と、再生部（再生手段）１２４とを含む。

取得部１２１は、環境音を取得する部分である。環境音は、マイク１１０を介して取得される。取得部１２１は、取得した環境音を適時録音（記憶）しておくこともできる。録音データは、記憶部１３０に記憶することができる。

特定部１２２は、ユーザの状況（ユーザ状況）を特定する部分である。ユーザ状況は、デバイス群２００から送信される情報に基づいて特定される。これについては、後に図３を参照して詳述する。

抽出部１２３は、特定部１２２によって特定されたユーザ状況に応じて、取得部１２１によって取得された環境音から所定の音（所定音）を抽出する部分である。所定音の抽出は、たとえば周波数成分の分析も含めた公知の音声認識技術などを用いて環境音を解析することによって行うことができる。どのような所定音を抽出するかは、ユーザ状況と所定音とを対応付けて記述したデータベースを予め作成しておき、そのデータベースを参照することによって行うことができる。そのようなデータベースは記憶部１３０に記憶しておくことができる。その一例については、後に図３を参照して説明する。

再生部１２４は、抽出部１２３によって抽出された音に基づいた再生処理を実行する部分である。再生処理は、ユーザが所定音の存在を知ることができるようにするための処理である。再生処理では、抽出された音がそのまま再生されてもよいし、強調処理が実行された後に再生されてもよい。強調処理は、たとえば、抽出された音の音量を増加させたり、抽出された音の周波数を変換したり、抽出された音を予め登録された別の音に置き換えたり（変換したり）する処理である。再生部１２４は、再生すべき音をスピーカ１４０に送信する。これにより、スピーカ１４０が音を出力し、ユーザはその音を聞くことができる。なお、先に説明した音楽やゲームの音も、再生部１２４を経由してスピーカ１４０に送信することができる。このため、再生部１２４は、音楽やゲームの音の再生を制御することもできる。

記憶部１３０は、制御部１２０が実行する処理に必要な種々のデータを記憶する。記憶部１３０に記憶されるデータの一例については、後に図３を参照して説明する。

スピーカ１４０は、再生部１２４から送信された音を出力する。なお、スピーカ１４０は、複数のスピーカであってもよい。先に説明した図１の例では、スピーカ１４０は２つのスピーカで構成される。複数のスピーカ１４０を用いることによって、ステレオ出力が可能になる。たとえば各スピーカが出力する音のタイミング（ユーザが左右の耳で聞く音のタイミング）をずらすことによって、ユーザは特定の方向から音が聞こえるように知覚することができる。たとえば先に説明した複数のマイク１１０によって音源の位置を特定した場合には、その音源の位置がユーザにわかるように、スピーカ１４０から音を出力することもできる。

以上説明した制御部１２０は、物理的には、１または複数のＣＰＵ（CentralProcessing Unit）、主記憶装置であるＲＡＭ（RandomAccess Memory）およびＲＯＭ（Read OnlyMemory）、データ送受信デバイスである通信モジュール、ならびに、ハードディスクなどの補助記憶装置などのハードウェアを備えるコンピュータを含んで構成することができる。図２を参照して説明した制御部１２０の各機能は、たとえば、ＣＰＵ、ＲＡＭなどのハードウェア上に１または複数の所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵの制御のもとで通信モジュールを動作させるとともに、ＲＡＭおよび補助記憶装置におけるデータの読み出しおよび書き込みを行うことで実現される。なお、専用のハードウェアを用いて制御部１２０の各機能を実現することもできる。また、先に述べたように、制御部１２０の機能は、端末装置２００ａにおいて実現することもできる。

次にデバイス群２００について説明すると、図２に示す例では、デバイス群２００は、加速度センサ２０１と、脳波センサ２０２と、心拍センサ２０３と、照度センサ２０４と、タイマ２０５と、ＧＰＳ（Global Positioning System）装置２０６と、通信装置２０７と、音楽再生装置２０８と、ゲーム機２０９とを含む。加速度センサ２０１、ＧＰＳ装置２０６、通信装置２０７、音楽再生装置２０８およびゲーム機２０９の機能は、たとえば端末装置２００ａにおいて実現される。脳波センサ２０２は、たとえばグラス２００ｃに搭載される。心拍センサ２０３は、たとえばリストバンド２００ｂに搭載される。照度センサ２０４は、たとえば端末装置２００ａや照度計２００ｄに搭載される。タイマ２０５は、たとえば端末装置２００ａやリストウォッチ２００ｅに搭載される。

通信装置２０７は、通信ネットワーク３００を介してサーバ４００と通信することができる。たとえば、ＧＰＳ装置２０６および通信装置２０７が協働することによって、サーバ４００の処理を利用した位置測位や移動履歴の取得などが可能になる。また、音楽再生装置２０８および通信装置２０７が協働することによってさまざまな音楽コンテンツをダウンロードすることができ、ゲーム機２０９および通信装置２０７が協働することによってさまざまなゲームコンテンツをダウンロードすることもできる。

ヘッドホン装置１００の動作概要を説明すると、まず、ユーザが音楽再生装置２０８やゲーム機２０９を利用するときには、音楽やゲームの音がスピーカ１４０から出力され、ユーザはその音を聞くことができる。さらに、ユーザが音楽やゲームの音を聞いているとき（つまりヘッドホン装置１００を利用しているとき）に、マイク１１０によって検出された環境音に所定音が含まれている場合には、その音が抽出部１２３によって抽出される。そして、抽出された音に基づく再生処理が再生部１２４によって実行される。これにより、ユーザは、音楽やゲームの音を聞いているときでも、環境音に含まれる所定音の存在を知ることができるようになる。

本実施形態では、所定音として、ユーザにとって必要であると考えられる音が設定される。そのような所定音はユーザ状況に応じて異なるため、本実施形態では、ユーザ状況に応じた適切な音を所定音に設定する。このため、記憶部１３０には、ユーザ状況と所定音とを対応付けたデータテーブルが記憶される。

図３は、記憶部１３０が記憶するデータテーブルの一例を示す図である。図３に示すように、データテーブル１３０ａは、ユーザ状況と、所定音とを対応付けて記述している。

ユーザ状況としては、たとえば「夜道で一人歩き」、「ランニング中」、「電車内でゲームに集中」（あるいは電車内で睡眠中）が挙げられる。これらのユーザ状況に対して、たとえば所定音「他人の足音」、「乗物の音」、「車内アナウンス」がそれぞれ対応する。

所定音「他人の足音」がユーザ状況「夜道で一人歩き」に対応する理由は、夜道で一人歩きの場合に、たとえば他人が背後から近づいてきた場合には、その他人の足音の存在をユーザに知らせることが好ましいと考えられるためである。このことは、ユーザ状況「夜道で一人歩き」の場合には、「他人の足音」はユーザにとって必要な音と判断されることを意味する。

ここで、図４を参照して、他人の足音を抽出するためのデータ処理の概要について説明する。まず、図４（ａ），（ｂ）を参照して、環境音として、他人の足音が無く、ユーザの足音のみが存在する場合について説明する。

図４（ａ）は、環境音の時間変化の一例を示すグラフである。グラフの横軸は時間を示し、縦軸は電圧を示す。縦軸が電圧を示しているのは、ユーザの足音がマイク１１０（図２）によって電圧信号に変換されて取得されたためである。図４（ａ）に示すように、ユーザの足音が所定の間隔（ユーザの歩行周期の２分の１）で発生していることがわかる。

図４（ｂ）のグラフは、環境音の周波数成分の一例を示すグラフである。グラフの横軸は周波数を示し、縦軸は電力を示す。このグラフは、たとえば図４（ａ）のデータに対してフーリエ変換処理を実行することによって取得することができる。フーリエ変換処理は、たとえば抽出部１２３（図２）によって実行される。図４（ｂ）に示すように、周波数ｆ_１（たとえば２Ｈｚ）を中心としたパワースペクトル成分が観測される。周波数ｆ_１を中心としたパワースペクトル成分はユーザの足音の周波数成分であり、周波数ｆ_１はユーザの歩行周期に依存し得る。

次に、図４（ｃ），（ｄ）を参照して、環境音として、ユーザの足音に加えて他人の足音も存在する場合について説明する。図４（ｃ）のグラフは、図４（ａ）のグラフにおいてさらに他人の足音が存在する場合の環境音の時間変化を示す。図４（ｄ）のグラフは、図４（ｃ）のデータにフーリエ変換処理を実行したものである。図４（ｄ）においては、周波数ｆ_１を中心としたパワースペクトル成分が観測されるだけでなく、周波数ｆ_２（たとえば１．７Ｈｚ）を中心としたパワースペクトル成分も観測される。周波数ｆ_２を中心としたパワースペクトル成分は他人の足音の周波数成分であり、周波数ｆ_２は他人の歩行周期に依存し得る。

図４（ｄ）に示ように、ユーザの足音および他人の足音は、周波数ｆ_１を中心としたパワースペクトルおよび周波数ｆ_２を中心としたパワースペクトルとして区別することができる。このため、ユーザの足音に関する情報（歩行周期やそれに応じた周波数ｆ_１など）が予め分かっていれば、抽出部１２３（図２）は、図４（ｄ）に示すような周波数パワースペクトルに基づいて、ユーザの足音と他人の足音とを区別し、他人の足音を抽出することができる。ユーザの足音に関する情報は、記憶部１３０に記憶しておいてもよい。なお、フーリエ変換処理によってパワースペクトルを観測することによって、周期的でない単発の音などを足音として誤認識することを防ぐこともできる。

再び図３に戻って、所定音「乗物の音」がユーザ状況「ランニング中」に対応する理由は、ランニング中に、たとえば乗物が背後から近づいてきた場合には、その乗物の音の存在をユーザに知らせることが好ましいと考えらえるためである。このことは、ユーザ状況「ランニング中」の場合には、「乗物の音」はユーザにとって必要な音であると判断されることを意味する。乗物の音の特定は、たとえば、パワースペクトルに乗物の音の周波数帯域の成分が含まれるか否かを判断することによって行うことができる。

所定音「車内アナウンス」がユーザ状況「電車内でゲームに集中（あるいは睡眠中）」に対応する理由は、電車内でゲームに集中等しているときに車内アナウンスがあった場合には、その車内アナウンスの存在をユーザに知らせることが好ましいと考えられるためである。このことは、ユーザ状況「電車内でゲームに集中（あるいは睡眠中）」の場合には、「車内アナウンス」はユーザにとって必要な音であると判断されることを意味する。車内アナウンスの特定は、たとえば、パワースペクトルに車内アナウンスの周波数帯域の成分が含まれるか否かを判断することによって行うことができるし、音声認識によって行うこともできる。

以上説明したような図３に示すデータテーブル１３０ａを参照すれば、ユーザ状況に応じて、適切な所定音（ユーザにとって必要な音）を設定することができる。

ユーザ状況は、先に説明したように、特定部１２２（図２）がデバイス群２００から送信される情報に基づいて特定する。ここで、図３に記載されたユーザ状況の特定手法について具体的に説明する。

ユーザ状況が「夜道で一人歩き」であることの特定は、現在の時刻およびユーザの位置に関する情報などに基づいて行うことができる。具体的に、現在の時刻が夜（たとえば２０：００〜７：００）であり、ユーザの位置が所定の道幅（たとえば６ｍ以下）の路上にあり、その位置における歩行者数が比較的少なく（たとえば０．１人／平方メートル）、比較的暗い場所（たとえば明るさが３００ルクス以下）である場合には、ユーザは、夜道で一人歩きを行っていると特定（推測）することができる。図２を参照して説明すると、現在の時刻はタイマ２０５から取得することができ、ユーザの位置はＧＰＳ装置２０６から取得することができる。また、そのユーザの位置における歩行者数に関する情報は、たとえば通信装置２０７を介してサーバ４００から取得することができる。比較的暗い場所であるか否かは照度センサ２０４から照度に関する情報を取得することができる。

なお、上記においてユーザの位置における歩行者数に関する情報をサーバ４００から取得する場合、その情報は、サーバ４００において作成することができる。具体的に、サーバ４００は、複数のユーザが携帯している通信端末（たとえば図１の端末装置２００ａ）と通信を行い、各通信端末の位置情報を把握することによって、ユーザの位置における歩行者数に関する情報を作成することができる。

ユーザ状況が「ランニング中」であることの特定は、ユーザの状態およびユーザの位置に関する情報などに基づいて行うことができる。具体的に、ユーザの心拍数が所定値以上（たとえば１００拍／分以上）であり、ユーザの移動速度が所定値以上（たとえば８ｋｍ／ｈ以上）である場合には、ユーザがランニング中であると特定（推測）することができる。図２を参照して説明すると、心拍数は心拍センサ２０３から取得することができる。また、ユーザの移動速度はＧＰＳ装置２０６から取得した移動履歴に基づいて算出することもできるし、加速度センサ２０１から取得した加速度履歴に基づいて算出することもできる。

ユーザ状況が「電車内でゲームに集中」、あるいは「電車内で睡眠中」であることの特定は、ユーザの位置に関する情報、ユーザの状態およびユーザ操作などに基づいて行うことができる。具体的に、ユーザの位置、移動速度および移動履歴などから、ユーザが電車に乗車中であることを特定（推定）することができる。また、ユーザの脳波の状態に基づいて、ユーザが集中している状態であるのか、睡眠中であるのかなどを特定（推定）することができる。さらに、ゲーム機２０９に対するユーザ操作がある場合には、ユーザがゲームをプレイしていることを特定（推定）することができる。図２を参照して説明すると、ユーザの位置、移動速度および移動履歴などはＧＰＳ装置２０６や加速度センサ２０１から取得することができる。ユーザの脳波の状態は、脳波センサ２０２から取得することができる。ゲーム機２０９に対するユーザ操作の有無は、ゲーム機２０９から取得することができる。

ここで、図５を参照して、脳波センサに基づくユーザ状況の特定について説明する。図５に示すグラフにおいて、横軸は、時間（単位はたとえば秒）を示す。縦軸は、測定した脳波（のレベル）の、平常時の脳波に対する比率(単位はたとえば％）を示す。この場合、脳波センサの測定値は、平常時の脳波（たとえば予め測定して把握しておく）の測定値でキャリブレーションしておく。これにより、現在の脳波と、平常時の脳波との差分を把握することができる。脳波の時間変化（つまり脳波の波形）は、ユーザ状況によって異なる。このため、脳波センサによって取得された情報から、ユーザ状況（集中しているときや睡眠中など）を特定することができる。たとえば、脳波の特定成分が平常時と比較して３０％以上観測されるような波形を測定したときは、ユーザ状況を、集中している状態として特定するようにしてもよい。そのようないくつかの所定のパターンの波形と、ユーザ状況とを対応付けたデータを予め作成して、記憶部１３０（図２）に記憶しておいてもよい。特定部１２２は、脳波センサ２０２から送信された情報と、記憶部１３０に記憶されたデータとに基づいて、ユーザ状況を特定することができる。

図６は、ヘッドホン装置１００が実行する処理（音出力装置における音の再生方法）の一例を示すフローチャートである。このフローチャートの処理は、たとえば端末装置２００ａにおいて音楽再生やゲームのアプリケーションが実行され、音楽やゲームの音がヘッドホン装置１００のスピーカ１４０から出力されたことに応じて開始される。フローチャートの各処理は、とくに説明がない場合には制御部１２０によって実行されるものとする。

まず、ヘッドホン装置１００は、環境音の取得（録音）を開始する（ステップＳ１）。この処理は、取得部１２１によって実行される。また、取得部１２１は、取得した環境音を記憶部１３０に記憶する。

次に、ヘッドホン装置１００は、ユーザ状況を特定する（ステップＳ２）。この処理は、特定部１２２によって実行される。図６に示す例では、ユーザ状況として状況Ａ〜Ｃの３通りの場合の処理が示される。状況Ａは一例としてユーザ状況「夜道で一人歩き」であり、状況Ｂは一例としてユーザ状況「ランニング中」であり、状況Ｃは一例としてユーザ状況「電車内でゲームに集中」である。

先のステップＳ２において特定されたユーザの状況が状況Ａの場合、ヘッドホン装置１００は、抽出すべき音を所定音Ａに設定する（ステップＳ３）。所定音Ａは、たとえば他人の足音である。そして、ヘッドホン装置１００は、環境音に所定音Ａが含まれるか否か判断する（ステップＳ４）。環境音に所定音Ａが含まれる場合（ステップＳ４：ＹＥＳ）、ヘッドホン装置１００は、環境音から所定音Ａを抽出する（ステップＳ５）。そうでない場合（ステップＳ４：ＮＯ）、ヘッドホン装置１００は、ステップＳ２に再び処理を戻す。これらの処理は、抽出部１２３によって実行される。環境音に所定音Ａが含まれることの判断は、たとえば録音された環境音のデータのうち、現時点から過去の所定時間（たとえば数秒から数十秒）までのデータを対象としたデータ処理（たとえば音声認識処理）を実行することによって行うことができる。

先のステップＳ５において所定音Ａを抽出した後、ヘッドホン装置１００は、強調処理を実行して再生処理を実行する（ステップＳ６）。この処理は、再生部１２４によって実行される。ここでの強調処理は、たとえば音楽の音を小さくし、予め登録された足音を再生することである。予め登録された足音は、たとえば「カツーン、カツーン」といった足音を連想させる音である。その後、ヘッドホン装置１００は、ステップＳ２に再び処理を戻す。

一方、先のステップＳ２において特定されたユーザの状況が状況Ｂの場合、ヘッドホン装置１００は、抽出すべき音を所定音Ｂに設定する（ステップＳ７）。所定音Ｂは、たとえば乗物の音である。そして、ヘッドホン装置１００は、環境音に所定音Ｂが含まれるか否か判断する（ステップＳ８）。環境音に所定音Ｂが含まれる場合（ステップＳ８：ＹＥＳ）、ヘッドホン装置１００は、環境音から所定音Ｂを抽出する（ステップＳ９）。そうでない場合（ステップＳ８：ＮＯ）、ヘッドホン装置１００は、ステップＳ２に再び処理を戻す。これらの処理は、抽出部１２３によって実行される。

先のステップＳ９において所定音Ｂを抽出した後、ヘッドホン装置１００は、音源の方向を特定する（ステップＳ１０）。音源の方向は、先に説明したように複数のマイク１１０（図１）を用いることによって特定することができる。この処理は、たとえば取得部１２１によって実行される。たとえば乗物が接近してくる場合には、音源の方向はその乗物が接近してくる方向である。

そして、ヘッドホン装置１００は、強調処理を実行して再生処理を実行する（ステップＳ１１）。ここでの強調処理は、所定音Ｂの音源とヘッドホン装置１００との位置関係をも考慮したものであり、たとえば音楽の音をぼやかして再生し、乗物の音は方向もわかるようにはっきり再生することである。音楽の音をぼやかすとは、ユーザにとって音楽の音が遠い位置にあるように聞こえるようにすることである。たとえば、音楽の音を小さくしたり周波数を変えたりすることによって、音楽の音をぼやかすことができ、これにより、乗物の音を相対的にはっきり再生することにもつながる。乗物の音の方向がわかるようにする再生は、先に説明したように複数のスピーカ１４０（図１）を用いることによって行うことができる。この処理は、再生部１２４によって実行される。その後、ヘッドホン装置１００は、ステップＳ２に再び処理を戻す。

また、先のステップＳ２において特定されたユーザの状況が状況Ｃの場合、ヘッドホン装置１００は、抽出すべき音を所定音Ｃに設定する（ステップＳ１２）。所定音Ｃは、たとえば車内アナウンスである。そして、ヘッドホン装置１００は、環境音に所定音Ｃが含まれるか否か判断する（ステップＳ１３）。環境音に所定音Ｃが含まれる場合（ステップＳ１３：ＹＥＳ）、ヘッドホン装置１００は、環境音から所定音Ｃを抽出する（ステップＳ１４）。そうでない場合（ステップＳ１３：ＮＯ）、ヘッドホン装置１００は、ステップＳ２に再び処理を戻す。これらの処理は、抽出部１２３によって実行される。なお、環境音に車内アナウンスが含まれるか否かの判断は、環境音に車内アナウンスの周波数帯域の音が含まれるか否かを判断することによって行ってもよいし、音声認識技術を用いて行ってもよい。

先のステップＳ１４において所定音Ｃを抽出した後、ヘッドホン装置１００は、所定音Ｃに所定の語彙が含まれるか否か判断する（ステップＳ１５）。所定の語彙はたとえば降車すべき駅名である。この処理は、抽出部１２３によって実行される。所定音Ｃに所定の語彙が含まれる場合（ステップＳ１５：ＹＥＳ）、ヘッドホン装置１００は。強調処理を実行して再生処理を実行する（ステップＳ１６）。そうでない場合（ステップＳ１５：ＮＯ）、ヘッドホン装置１００は、ステップＳ２に再び処理を戻す。ステップＳ１６における強調処理は、たとえばゲームの音（ゲーム中でなく音楽を聴いているときには音楽）を停止し、車内アナウンスを再生することである。あるいは、ゲームの音の音量を小さくしたり（音量をゼロにすることを含む）、音の再生速度を変化させても（たとえば遅くしても）よい。すなわち、ステップＳ１６における強調処理は、ユーザにとって必要な音（たとえば降車すべき駅名）が聞こえやすくなるように、他の音（たとえばゲームの音）の再生状態を変える処理である。この処理は、再生部１２４によって実行される。ステップＳ１６の処理の完了後、ヘッドホン装置１００は、ステップＳ２に再び処理を戻す。なお、上述の所定の語彙は、たとえば予めユーザが設定し、記憶部１３０に記憶しておくことができる。

なお、ステップＳ１において録音が開始された環境音の録音データは、適宜更新されてもよい。たとえば、所定音の抽出に必要な録音データとして現時点から過去の所定時間（たとえば数秒〜数十秒）までのデータのみを残しておき、それ以前のデータは消去するようにしてもよい。これにより、録音データが大きくなりすぎることを防ぐことができる。また、図６のフローチャートの処理は、たとえば、端末装置２００ａにおいて音楽再生やゲームのアプリケーションが終了され、音楽やゲームの音がヘッドホン装置１００のスピーカ１４０から出力されなくなったこと応じて終了する。

次に、ヘッドホン装置１００の作用効果について説明する。図２，３などに示すように、ヘッドホン装置１００では、取得部１２１が環境音を取得し（ステップＳ１）、特定部１２２がユーザ状況を特定する（ステップＳ２）。抽出部１２３は、特定されたユーザ状況に応じて、取得された環境音から所定音を抽出する（ステップＳ５，Ｓ９，Ｓ１４）。再生部１２４は、抽出された音に基づいた再生処理を実行する（ステップＳ６，Ｓ１０，Ｓ１１，Ｓ１５，Ｓ１６）。

ヘッドホン装置１００によれば、ユーザ状況に応じた必要な音が聞こえやすくなるような再生処理を実行することで、ユーザは、音楽やゲームの音を聞いているとき（ヘッドホン装置１００を利用しているとき）であっても、周囲の状況を把握することができるようになる。

具体的に、再生部１２４は、抽出部１２３によって抽出された音に対して強調処理を実行する（ステップＳ６，Ｓ１１，Ｓ１６）。ユーザは、強調処理がされた音を聞くことによって、より確実にユーザにとって必要な所定の音の存在を知ることができるようになる。

また、再生部１２４は、所定の音の音源とヘッドホン装置１００との位置関係を考慮して、強調処理を実行することもできる（ステップＳ１０，Ｓ１１）。これにより、ユーザは音源の位置に対応した音を聞くことができるようになる。

また、再生部１２４は、抽出部によって抽出された音に所定の語彙が含まれる場合に、強調処理を実行することもできる（ステップＳ１５，Ｓ１６）。これにより、強調処理の実行の対象となる音をさらに絞り込むことができるので、ユーザは、ユーザにとってより必要な音を聞くことができるようになる。

また、再生部１２４は、他の音の再生状態を変えることによって、強調処理を実行することもできる（ステップＳ１６）。ユーザにとって必要な音が聞こえやすくなるように他の音の再生状態を変えることによって、ユーザは、必要な音をより確実に聞くことができるようになる。

また、再生部１２４は、抽出部１２３によって抽出された音を変換することによって、強調処理を実行してよい（ステップＳ６）。たとえば、抽出された音をユーザが聞きやすい音に変換して再生することにより、ユーザは、その音の存在を把握しやすくなる。

以上説明したヘッドホン装置１００のような音出力装置として、いわゆる密閉型のヘッドホン装置やイヤホン装置を好適に用いることができる。たとえば図１に示すヘッドホン装置１００のように、装着時にスピーカ１４０の部分がユーザの耳全体を覆う形状としたものは、それによって環境音を遮断する機能を発揮するので、密閉型の音出力装置であると言える。また、いわゆるカナル型のイヤホン装置なども、密閉型の音出力装置である。密閉型の音出力装置とすることによって環境音を遮断すれば、ユーザは音楽やゲームの音をより快適に聞くことができる。また、密閉型の音出力装置によって環境音が遮断されたとしても、本実施形態によれば、ユーザにとって必要な音が再生されるので、ユーザは周囲の状況を把握することができるようになる。

１００…ヘッドホン装置、１１０…マイク、１２０…制御部、１２１…取得部、１２２…特定部、１２３…抽出部、１２４…再生部、１３０…記憶部、１４０…スピーカ、２００…デバイス群、３００…通信ネットワーク、４００…サーバ。

Claims (7)

1. 環境音を取得する取得手段と、
   ユーザの状況を特定する特定手段と、
   前記特定手段によって特定されたユーザの状況に応じて、前記取得手段によって取得された環境音から所定の音を抽出する抽出手段と、
   前記抽出手段によって抽出された音に基づいた再生処理を実行する再生手段と、
   を備える、
   音出力装置。
2. 前記再生手段は、前記抽出手段によって抽出された音に対して強調処理を実行する、請求項１に記載の音出力装置。
3. 前記再生手段は、前記所定の音の音源と前記音出力装置との位置関係を考慮して、前記強調処理を実行する、請求項２に記載の音出力装置。
4. 前記再生手段は、前記抽出手段によって抽出された音に所定の語彙が含まれる場合に、前記強調処理を実行する、請求項２に記載の音出力装置。
5. 前記再生手段は、他の音の再生状態を変えることによって、前記強調処理を実行する、請求項２に記載の音出力装置。
6. 前記再生手段は、前記抽出手段によって抽出された音を変換することによって、前記強調処理を実行する、請求項２に記載の音出力装置。
7. 音出力装置における音の再生方法であって、
   環境音を取得するステップと、
   ユーザの状況を特定するステップと、
   前記特定するステップによって特定されたユーザの状況に応じて、前記取得するステップによって取得された環境音から特定の音を抽出するステップと、
   前記抽出するステップによって抽出された音に基づいた再生処理を実行するステップと、
   を含む、
   音出力装置における音の再生方法。

Images