JP2021090136A - 情報処理システム及びプログラム - Google Patents

Abstract

【課題】外周音の取込量又は出力量の切り替えをユーザの操作で実現する場合とは異なり、外周音の音量を自動的に調整できるようにする。【解決手段】情報処理システムは、頭部で測定される生体情報を検出し、検出された生体情報に応じ、耳部を塞ぐ状態で装着されるデバイスに設けられたスピーカから出力される外周音の音量を制御するプロセッサを有する。【選択図】図４

Description

本発明は、情報処理システム及びプログラムに関する。

イヤホンは、耳の外耳孔を塞ぐ構造を有している。また、ヘッドホンは、耳を覆う構造を有している。このため、これらのデバイスを装着したユーザには、外周音が自然と聞き取りづらくなる。この不都合を想定して、デバイスを取り外さなくても、外周音を取り込むことが可能な機能を有するデバイスがある。この機能は、例えば外音取り込み機能と呼ばれる。一方、邪魔な外周音を積極的に遮断する機能を有するデバイスもある。この機能は、いわゆるノイズキャンセル機能と呼ばれている。

特開２０１９−４４８８号公報

ところが、耳部を塞ぐ構造を有するデバイスにおける外周音の取り込みと遮断の切り替えは、ユーザが手動で行う必要がある。

本発明は、外周音の取込量又は出力量の切り替えをユーザの操作で実現する場合とは異なり、外周音の音量を自動的に調整できるようにすることを目的とする。

請求項１に記載の発明は、頭部で測定される生体情報を検出し、検出された当該生体情報に応じ、耳部を塞ぐ状態で装着されるデバイスに設けられたスピーカから出力される外周音の音量を制御するプロセッサを有する、情報処理システムである。
請求項２に記載の発明は、前記デバイスは、両耳に装着される、請求項１に記載の情報処理システムである。
請求項３に記載の発明は、前記デバイスは、外耳孔を塞ぐ状態で装着される、請求項２に記載の情報処理システムである。
請求項４に記載の発明は、前記生体情報が、ユーザが集中している状態を示す場合、前記プロセッサは、前記スピーカから出力される外周音の音量を、基準とする音量よりも低減する、請求項１に記載の情報処理システムである。
請求項５に記載の発明は、前記生体情報が、集中している状態からの変化を示す場合、前記プロセッサは、ユーザが集中している状態の間に取得された外周音を再生する又は外周音の再生の希望を確認する、請求項４に記載の情報処理システムである。
請求項６に記載の発明は、前記外周音は、前記デバイスに設けられたマイクにより取得される、請求項５に記載の情報処理システムである。
請求項７に記載の発明は、前記生体情報が、ユーザが集中している状態を示す場合でも、予め定めた条件を満たす音が取得されたとき、前記プロセッサは、音声又は音を基準よりも大きな音量で出力する、請求項４に記載の情報処理システムである。
請求項８に記載の発明は、前記予め定めた条件は、予め定めた用語を含む音声の取得、又は、予め定めた種類の音の取得である、請求項７に記載の情報処理システムである。
請求項９に記載の発明は、前記予め定めた用語又は前記予め定めた種類の音は、危険を知らせる用語又は音である、請求項８に記載の情報処理システムである。
請求項１０に記載の発明は、前記生体情報が睡眠を示す場合、前記プロセッサは、前記スピーカからの外周音の出力を停止する、請求項１に記載の情報処理システムである。
請求項１１に記載の発明は、前記生体情報が睡眠を示す場合でも、予め定めた条件を満たす音が取得されたとき、前記プロセッサは、音声又は音を基準よりも大きな音量で出力する、請求項１０に記載の情報処理システムである。
請求項１２に記載の発明は、前記予め定めた条件は、予め定めた用語を含む音声の取得、又は、予め定めた種類の音の取得である、請求項１１に記載の情報処理システムである。
請求項１３に記載の発明は、前記生体情報が不快な状態を示す場合、前記プロセッサは、前記スピーカから出力される外周音の音量を基準とする音量よりも低減する、請求項１に記載の情報処理システムである。
請求項１４に記載の発明は、外周音の音量の制御は、外周音の音量を制御する動作モードの実行をユーザが選択した場合に実行される、請求項１に記載の情報処理システムである。
請求項１５に記載の発明は、外周音の音量を制御する前記動作モードには、検出された生体情報を使用しない動作モードが含まれる、請求項１４に記載の情報処理システムである。
請求項１６に記載の発明は、外周音の音量を制御する前記動作モードには、前記スピーカから再生される音に外周音を重畳する動作モードが含まれる、請求項１４に記載の情報処理システムである。
請求項１７に記載の発明は、前記生体情報は、ユーザの頭部又は耳部に接触する電極で測定される、請求項１に記載の情報処理システムである。
請求項１８に記載の発明は、前記生体情報は、非接触に測定される、請求項１に記載の情報処理システムである。
請求項１９に記載の発明は、請求項１に記載の情報処理システムは、ユーザが装着して使用するデバイスである。
請求項２０に記載の発明は、請求項１に記載の情報処理システムは、ユーザが装着するデバイスと通信可能に接続されたコンピュータである。
請求項２１に記載の発明は、コンピュータに、頭部で測定される生体情報を検出する機能と、検出された生体情報に応じ、耳部を塞ぐ状態で装着されるデバイスに設けられたスピーカから出力される外周音の音量を制御する機能とを実行させるプログラムである。

請求項１記載の発明によれば、外周音の取込量又は出力量の切り替えをユーザの操作で実現する場合とは異なり、外周音の音量を自動的に調整できる。
請求項２記載の発明によれば、両耳が塞がれている状況における外周音の音量の調整を自動化できる。
請求項３記載の発明によれば、両耳が塞がれている状況における外周音の音量の調整を自動化できる。
請求項４記載の発明によれば、ユーザが集中している状況では外周音で集中が妨げられないようにできる。
請求項５記載の発明によれば、集中力が低下した状況を利用して外周音をユーザに知覚させることができる。
請求項６記載の発明によれば、ユーザが聞こえたはずの外周音をスピーカから出力できる。
請求項７記載の発明によれば、予め定めた条件を満たす場合は、集中した状態を邪魔しても外周音を知覚させることができる。
請求項８記載の発明によれば、予め定めた用語や音の出現をユーザに知覚させることができる。
請求項９記載の発明によれば、集中した状況を邪魔してもユーザに危険を知らせることができる。
請求項１０記載の発明によれば、外周音で睡眠が妨げられないようにできる。
請求項１１記載の発明によれば、予め定めた条件を満たす場合は、睡眠を邪魔しても外周音を知覚させることができる。
請求項１２記載の発明によれば、予め定めた用語や音をユーザに知覚させることができる。
請求項１３記載の発明によれば、外周音を不快に感じている場合には自動的に外周音の音量を低減できる。
請求項１４記載の発明によれば、外周音の自動的な調整はユーザが選択した場合に限定できる。
請求項１５記載の発明によれば、ユーザの心身の状況によらない外周音の音量の調整を選択できる。
請求項１６記載の発明によれば、意図的に再生している音に外周音を重畳することができる。
請求項１７記載の発明によれば、電極で測定可能な生体情報による外周音の音量の調整を実現できる。
請求項１８記載の発明によれば、非接触に測定可能な生体情報による外周音の音量の調整を実現できる。
請求項１９記載の発明によれば、ユーザが装着するデバイス内でスピーカから出力される外周音の音量を自動的に調整できる。
請求項２０記載の発明によれば、ユーザが装着するデバイスの外部においてユーザが装着するデバイスのスピーカから出力される外周音の音量を自動的に調整できる。
請求項２１記載の発明によれば、外周音の取込量又は出力量の切り替えをユーザの操作で実現する場合とは異なり、外周音の音量を自動的に調整できる。

実施の形態で使用するイヤホンシステムの概略構成を示す図である。 実施の形態で使用するイヤホンの外観構成の一例を説明する図である。 実施の形態で使用するイヤホンの内部構成の一例を説明する図である。 実施の形態で使用する情報端末の内部構成の一例を示す図である。 実施の形態で使用するテーブルの例を説明する図である。 脳波情報を含むデジタル信号を受信した情報端末が実行する処理動作の一例を説明するフローチャートである。 イヤホンを装着した状態で、脳波の測定が可能な脳波センサ付きヘッドセットの測定点を説明する図である。 論文に掲載されている脳波の計測点を示す図である。 α波の出力評価を説明する図である。 MindWaveによる測定結果を説明する図である。（Ａ）は瞬き無しで開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果であり、（Ｂ）は瞬き有りで開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果である。 実施の形態で使用するイヤホンによる測定結果を説明する図である。（Ａ）は瞬き無しで開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果であり、（Ｂ）は瞬き有りで更に顎の動きを加えて開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果である。 MindWaveによる測定結果を説明する図である。（Ａ）は開眼状態で瞬き有りから閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｂ）は開眼状態で瞬き無しから閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｃ）はα波の増加が出現しない場合である。 実施の形態で使用するイヤホンによる測定結果を説明する図である。（Ａ）は開眼状態で瞬き有りから閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｂ）は開眼状態で瞬き無しから閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｃ）はα波の増加が出現しない場合である。 スペクトル強度の増加部の提示例を示す図である。（Ａ）はMindWaveの測定結果であり、（Ｂ）は実施の形態で使用するイヤホンの測定結果である。 片耳に装着するタイプのイヤホンの外観例を説明する図である。 脳波の測定に使用する電極をフレームのツルに配置した眼鏡の一例を説明する図である。 ユーザの周囲の環境に同化させた画像を表示させる機能を備えるヘッドセットに脳波の測定に使用する場合の電極の配置例を説明する図である。（Ａ）はヘッドセットの装着例であり、（Ｂ）はヘッドセットにおける電極の配置例を説明する図である。 額で脳波を測定するヘッドセットと市販されているイヤホンを組み合わせたデバイスの装着例を説明する図である。 近赤外光を用いて脳の活動に起因する血流量の変化を測定するヘッドセットの一例を示す図である。 脳磁計の一例を説明する図である。

以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態＞
＜システム構成＞
図１は、実施の形態で使用するイヤホンシステム１の概略構成を示す図である。
図１に示すイヤホンシステム１は、外耳孔を塞ぐように装着されるイヤホン１０と、イヤホン１０と無線で接続される情報端末２０とで構成されている。本実施の形態におけるイヤホン１０は、外耳孔を物理的に塞ぐため、電源がオフの状態の場合、いわゆる耳栓として使用することが可能である。
本実施の形態におけるイヤホン１０と情報端末２０は、情報処理システムの一例である。

本実施の形態におけるイヤホン１０は、情報端末２０から受信される音を再生する回路に加え、脳の活動に起因する電気的な信号（以下「脳波」という）を測定する回路を内蔵する。本実施の形態で使用するイヤホン１０は、ワイヤレス型のデバイスである。このため、イヤホン１０は、無線通信により、情報端末２０と接続される。
本実施の形態では、イヤホン１０と情報端末２０との無線接続にブルートゥース（登録商標）を使用する。なお、無線接続には、ＷｉＦｉ（登録商標）その他の通信規格を用いることも可能である。もっとも、イヤホン１０と情報端末２０をケーブルで接続することも可能である。

情報端末２０は、イヤホン１０から受信されるデジタル信号に含まれている脳波に関する情報（以下「脳波情報」という）からユーザの状態を推定し、推定されたユーザの状態によりイヤホン１０から出力されるユーザの周囲の音（以下「外周音」という）の音量を自動的に制御する機能を有している。
音量の自動的な制御には、外周音をユーザが気にならない音量まで低減することが含まれる。外周音の音量をユーザが気にならない音量まで低減する制御には、外周音の音量をゼロに制御することも含まれる。

なお、本実施の形態の場合、イヤホン１０から出力される外周音の音量の制御は、イヤホン１０を装着しているユーザが聞き取ることが可能な外周音の音量を制御する意味で使用する。すなわち、本実施の形態における外周音の音量の制御は、不図示のスピーカから出力する外周音の物理的な音量が大きいか小さいかではなく、イヤホン１０を装着した場合にユーザが知覚する音量の意味で使用する。例えばいわゆるノイズキャンセル機能では、外周音の逆位相の音をイヤホン１０から出力させることで、外周音を聞き取りづらくしている。
本実施の形態の場合、外周音の音量を強制的に抑制する場合、ノイズキャンセル機能がオン状態に制御される。その結果、イヤホン１０を装着しているユーザは、外周音の存在に気づかないか、気にならない程度にしか外周音を知覚しない。

なお、外周音に気づくか否かは、イヤホン１０から出力されている音楽や音声の音量との関係も関係する。
例えばイヤホン１０から出力される外周音の音量は同じでも、イヤホン１０から出力されている音楽や音声の音量が小さい場合にはユーザは外周音に気づくことがあり、イヤホン１０から出力されている音楽や音声の音量が大きい場合にはユーザは外周音に気づかないことがある。
本実施の形態では、イヤホン１０から出力されている音楽や音声の音量との関係でユーザが外周音の存在に気づき得る音量の最小値を「基準とする音量」という。
従って、ユーザに外周音を気づかせないためには、イヤホン１０から出力される外周音の音量を基準とする音量よりも低減させることが求められる。
反対に、ユーザに外周音を気づかせるためには、イヤホン１０から出力される外周音の音量を基準とする音量よりも大きくすることが求められる。

もっとも、音に対する感じ方は個人差が大きい。例えば音量は同じでも、若者には聞こえ、年配者には聞こえないか聞き取り難い音もある。また、体調により聞こえることもあれば、聞こえない場合もある。また、聴力には、個人差もある。このため、任意のユーザに共通する「基準とする音量」の設定は困難である。
従って、本実施の形態では、「基準とする音量」を厳格な意味ではなく、おおよその目安の意味で使用する。すなわち、ユーザが気づかない場合だけでなく気づいても気にならないほど小さい音量を、基準とする音量より低減されているものとして扱う。
換言すると、本実施の形態における外周音の低減は、市販のイヤホンに実装されているノイズキャンセル機能と同等程度でよい。
同様に、外周音を気づく音量も、市販のイヤホンに実装されている外音取り込み機能と同等程度でよい。

ただし、市販されているイヤホンの場合には、これらの機能を有効にするには、ユーザが手動で各機能をオン状態に操作する必要がある。同様に、これらの機能を無効にするには、ユーザが手動で各機能をオフ状態に操作する必要がある。
一方、本実施の形態の場合、ユーザはイヤホン１０を装着しているだけでよい。本実施の形態における情報端末２０は、イヤホン１０で測定されたユーザの脳波情報からユーザの状態を推定し、推定されたユーザの状態に応じて外周音の音量を制御する。この制御の内容の詳細については後述する。
図１の例では、情報端末２０としてスマートフォンを想定している。もっとも、情報端末２０は、タブレット端末やノート型のコンピュータでもよく、ウェアラブルコンピュータ等でもよい。

以下、本実施の形態において、脳波の測定にイヤホン１０を用いる理由について説明する。脳波は、頭部で測定される生体情報の一例である。
脳波の測定が可能なデバイスの普及を考える場合、脳波を計測していることが明らかなデバイスの装着は、ユーザの支持を受けられない可能性がある。例えばヘルメット型のデバイスは、デザイン性の観点からも、身体への負担の観点からもユーザの支持を得られない可能性がある。

以上の理由に鑑み、本実施の形態では、脳波を測定するデバイスとしてイヤホン１０を使用する。イヤホン１０は、いわゆるオーディオ機器として普及しているため、その装着に対する心理的な抵抗は少ないと考えられる。
また、イヤホン１０が装着される外耳孔は、脳に近いため、脳波の測定にも好都合である。イヤホン１０で脳波の測定が可能なことは、後述する実験結果の項で説明する。
なお、外耳孔は、耳部の一例である。本実施の形態における耳部は、耳介と外耳孔を含む意味で使用する。加えて、イヤホン１０は、外周音の取得にも好都合である。

＜イヤホン１０の構成＞
図２は、実施の形態で使用するイヤホン１０の外観構成の一例を説明する図である。
イヤホン１０は、外耳孔に挿入されるイヤホンチップ１１Ｒ及び１１Ｌと、イヤホンチップ１１Ｒ及び１１Ｌが取り付けられるイヤホン本体１２Ｒ及び１２Ｌと、耳介と側頭との隙間に装着されるイヤーフック１３Ｒ及び１３Ｌと、イヤホン本体１２Ｒ及び１２Ｌを接続するケーブル１４と、電源ボタンやボリュームボタンが配置されたコントローラ１５とで構成されている。
図中のＲはユーザの右耳側に位置することを示し、Ｌはユーザの左耳側に位置することを示す。

本実施の形態におけるイヤホンチップ１１Ｒは、外耳孔に挿入され、外耳孔の内壁に接触されるドーム状の電極１１Ｒ１と、耳甲介腔に接触されるリング状の電極１１Ｒ２とで構成される。
本実施の形態における電極１１Ｒ１と電極１１Ｒ２は、いずれも導電性ゴムで構成される。皮膚に現れる電気信号を測定するためである。なお、電極１１Ｒ１と電極１１Ｒ２とは、絶縁体により電気的に分離されている。

本実施の形態の場合、電極１１Ｒ１は、脳波（ＥＥＧ：ElectroEncephaloGram）に起因する電位変動の測定に用いられる端子（以下「ＥＥＧ測定用端子」という）である。
電極１１Ｒ２は、接地電極（以下「ＧＮＤ端子」ともいう）である。
イヤホンチップ１１Ｌは、外耳孔に挿入され、外耳孔の内壁に接触されるドーム状の電極１１Ｌ１で構成される。本実施の形態の場合、電極１１Ｌ１は、基準電位（ＲＥＦ：REFerence）の測定に用いられる端子（以下「ＲＥＦ端子」という）である。もっとも、本実施の形態の場合、電極１１Ｒ２と電極１１Ｌ１は電気的に短絡されている。
本実施の形態の場合、脳波に起因する電位変動は、電極１１Ｒ１と電極１１Ｌ１で測定された電気信号の差分信号として測定される。

脳科学の分野において、脳波以外に由来する全ての電位変動は、アーチファクトと呼ばれる。脳科学の分野では、脳波を測定した電気信号には、アーチファクトが必ず含まれると考えられている。本実施の形態では、電位変動の由来を区別せず、イヤホン１０で測定される電位変動を、脳波を測定した電気信号という。
因みに、アーチファクトに含まれる成分は、生体に由来する成分、電極等の測定系に由来する成分、外部の機会や環境に由来する成分に分類される。これら３つの成分のうち生体に由来する成分以外は、イヤホン１０で測定される雑音として測定することが可能である。雑音は、電極１１Ｒ１と電極１１Ｌ１を電気的に短絡した状態における電気信号として測定することが可能である。

本実施の形態におけるイヤホン本体１２Ｒには、脳波と脳波以外に由来する電位変動の測定信号を生成する回路、不図示のマイクから出力される電気信号からオーディオデータを生成する回路、情報端末２０（図１参照）から受信されたオーディオデータを復号して不図示のスピーカに出力する処理を実行する回路等が内蔵されている。
一方、イヤホン本体１２Ｌには、バッテリが内蔵されている。

図３は、実施の形態で使用するイヤホン１０の内部構成の一例を説明する図である。
図３には、イヤホン１０のうちイヤホン本体１２Ｒ及び１２Ｌの内部構成が表されている。
本実施の形態の場合、イヤホン本体１２Ｒは、デジタル脳波計１２１と、マイク１２２と、スピーカ１２３と、６軸センサ１２４と、ブルートゥースモジュール１２５と、半導体メモリ１２６と、ＭＰＵ（＝Micro Processing Unit）１２７を有している。

デジタル脳波計１２１は、電極１１Ｒ１と電極１１Ｌ１に現れる電位変動を差動増幅する差動アンプと、差動アンプの出力をサンプリング処理するサンプリング回路と、サンプリング後のアナログ電位をデジタル値に変換するアナログ／デジタル変換回路とを含んでいる。本実施の形態の場合、サンプリングレートは６００Ｈｚである。また、アナログ／デジタル変換回路の分解能は１６ビットである。
マイク１２２は、ユーザが発する音声で振動する振動板と、振動板の振動を電気信号に変換するボイスコイルと、電気信号を増幅するアンプとを含んでいる。なお、アンプから出力される電気信号のアナログ電位をデジタル値に変換するアナログ／デジタル変換回路が別途用意される。

スピーカ１２３は、振動板と、オーディオデータに応じた電流が流れることで振動板を振動させるボイスコイルとを含んでいる。なお、ＭＰＵ１２３から入力されるオーディオデータは、デジタル／アナログ変換回路によりアナログ信号に変換される。
６軸センサ１２４は、３軸の加速度センサと３軸のジャイロセンサで構成される。６軸センサ１２４は、ユーザの姿勢の検知に用いられる。
ブルートゥースモジュール１２５は、情報端末２０（図１参照）との間でデータを送受信するために用いられる。本実施の形態の場合、ブルートゥースモジュール１２５は、デジタル脳波計１２１が出力するデジタル信号やマイク１２２で取得されたオーディオデータの情報端末２０への送信に用いられる他、情報端末２０からのオーディオデータの受信にも用いられる。
なお、ブルートゥースモジュール１２５は、情報端末２０からの外周音の音量を制御する信号（以下「制御信号」という）の受信にも用いることが可能である。もっとも、音量を制御した後の外周音が情報端末２０で生成され、オーディオデータとしてイヤホン１０に送信される場合には、外周音の音量の制御信号の受信は不要となる。

半導体メモリ１２６は、例えばＢＩＯＳ（＝Basic Input Output System）が記憶されたＲＯＭ（＝Read Only Memory）と、ワークエリアとして用いられるＲＡＭ（＝Random Access Memory）と、書き換えが可能な不揮発性のメモリ（以下「フラッシュメモリ」という）で構成される。
本実施の形態の場合、フラッシュメモリは、デジタル脳波計１２１の出力であるデジタル信号の記憶、マイク１２２で取得されたオーディオデータの記憶、情報端末２０から受信されたオーディオデータの記憶等に用いられる。

ＭＰＵ１２７は、情報端末２０との間におけるデジタル信号の送受信の制御、情報端末２０に送信するデジタル信号の処理、情報端末２０から受信したデジタル信号の処理等を実行する。本実施の形態の場合、ＭＰＵ１２７は、デジタル脳波計１２１が出力するデジタル信号に対するフーリエ変換等の処理を実行する。なお、ＭＰＵ１２７と半導体メモリ１２６はコンピュータとして動作する。
一方、イヤホン本体１２Ｌには、リチウムバッテリ１２８が内蔵されている。

＜情報端末２０の構成＞
図４は、実施の形態で使用する情報端末２０の内部構成の一例を示す図である。
なお、図４では、情報端末２０を構成するデバイスのうち、脳波情報から推定されたユーザの状態に応じて外周音の音量を制御する機能に関連するデバイスを抜き出して表している。
図４に示す情報端末２０は、ブルートゥースモジュール２０１と、ＭＰＵ２０２と、半導体メモリ２０３とを有している。図４には、ブルートゥースモジュール２０１を２つ表しているが、実際は１つである。

ブルートゥースモジュール２０１は、イヤホン１０に設けられているブルートゥースモジュール１２５との通信に用いられる。
ＭＰＵ２０２は、イヤホン１０より受信されたデジタル信号から脳波情報を取得し、ユーザの状態を推定する機能を実行する。ここでの機能はアプリケーションプログラムの実行を通じて実現される。本実施の形態の場合、ユーザの状態とは、心身の状態の意味で用いる。本実施の形態では、心身の状態を、興奮した状態、集中している状態、リラックスした状態、浅い睡眠状態、深い睡眠状態に分類する。なお、心身の状態の分類は、例示した状態に限らない。より少ない状態に分類してもよいし、より多くの状態に分類してもよい。

なお、興奮した状態は、γ波が多く出力される状態である。γ波は、イライラした状態や不快な気持ちの場合にも出力される。
集中している状態は、β波が多く出力される状態である。β波は、日常生活をしている場合や仕事をしている場合に出現すると言われている。
リラックスした状態は、α波が多く出力される状態である。α波は、意識が集中している状態でも出力される。なお、α波に対応する状態を更に細分化する分類もある。ファストα波、ミドルα波、スローα波の３つである。ファスト、ミドル、スローは、周波数の高さに対応し、ファストは緊張感を伴う集中、スローは休息に近い集中、ミドルはいわゆるリラックスした集中に分類される。
浅い睡眠状態は、θ波が多く出力される状態である。θ波は、意識はあるが、意識のレベルは低い状態で出力されると言われる。
深い睡眠状態は、δ波が多く出力される状態である。δ波は、意識が無い状態で出力されると言われる。

図４に示すＭＰＵ２０２は、イヤホン１０より受信されたデジタル信号に含まれる外周音の内容を判定する外周音判定部２２１と、イヤホン１０より受信されたデジタル信号に含まれる脳波情報からユーザの状態を推定するユーザ状態推定部２２２と、推定されたユーザの状態と外周音の内容に応じてイヤホン１０のスピーカ１２３（図３参照）から出力される外周音の音量等を制御する外周音出力制御部２２３として機能する。

本実施の形態における外周音判定部２２１は、イヤホン１０から受信された外周音に、予め定めた用語を含む音声が含まれるか、予め定めた種類の音が含まれるか等を判定する。
予め定めた用語には、例えばイヤホン１０を装着しているユーザの名前、呼びかけの言葉、挨拶の言葉がある。また、予め定めた用語には、例えば危険を知らせる言葉がある。例えば「危ない」、「逃げて」等の用語である。この他、交通機関等で使用される一部のアナウンス等も、予め定めた用語に含めることが可能である。
予め定めた種類の音には、例えばサイレンの音、ベルの音、クラクションの音がある。危険や注意を喚起するサイレンの音やクラクションの音には、警察車両、消防車、救急車、防災無線等で用いられる音等がある。また、ベルの音には、目覚まし時計の音、タイマーの音、火災報知器の音、大きな震度の地震動を予告する音等がある。
なお、予め定めた用語や予め定めた種類の音は、初期設定において定められている。もっとも、予め定めた用語や予め定めた種類の音の一部は、ユーザによる編集や追加が可能でもよい。

本実施の形態におけるユーザ状態推定部２２２は、イヤホン１０より受信されたデジタル信号から脳波情報を抽出し、脳波情報に多く含まれる周波数成分に基づいてユーザの状態を推定する。周波数成分への分解には、例えば高速フーリエ変換を使用する。本実施の形態の場合、イヤホン１０（図１参照）のＭＰＵ１２７（図３参照）が周波数成分に分解する。各周波数成分には、ユーザの状態が対応付けられている。ユーザ状態推定部２２２は、脳波情報に多く含まれる周波数成分に対応付けられている状態を、推定値として出力する。
なお、脳波情報には、複数の周波数成分が含まれる。本実施の形態の場合、周波数成分毎に定めた閾値よりも多くの出力が確認された周波数成分を、脳波情報に多く含まれる周波数成分とする。もっとも、閾値を超える周波数成分が複数ある場合には、予め定めた優先順位に従って１つの周波数成分を決定してもよい。
また、閾値を超える周波数成分とは異なり、複数の周波数成分の出力パターンに対して割り当てられている１つの周波数成分を代表的な周波数成分として用いてもよい。

本実施の形態における外周音出力制御部２２３は、推定されたユーザの状態と外周音の内容との組み合わせに応じ、イヤホン１０に設けられているスピーカ１２３（図３参照）から出力される外周音の音量を制御する。ここでの音量の制御の対象は、マイク１２２（図３参照）で取得される外周音の音量であり、情報端末２０で再生される楽曲や通話の音声の音量とは異なる。
本実施の形態の場合、推定されたユーザの状態と外周音の内容との組み合わせに応じた制御の内容は、プログラムで定められている。なお、推定されたユーザの状態と外周音の内容の組み合わせと、制御の内容との関係をテーブルに用意してもよい。

この他、本実施の形態における外周音出力制御部２２３には、ユーザが集中状態からリラックス状態に変化した場合に、集中状態の間に録音された外周音をイヤホン１０のスピーカ１２３（図３参照）から再生させる機能も有している。ここでの外周音の再生は、ユーザに聞き取らせることを目的としているので、基準とする音量よりも大きな値になるように制御される。
なお、録音された外周音の再生は、集中状態の間に録音された外周音の再生をユーザが希望していることを条件にしてもよい。ユーザの希望の確認は、情報端末２０（図１参照）の表示部に表示される確認画面を用いてもよいし、イヤホン１０から再生される問いかけに対する応答を用いてもよい。本実施の形態の場合、ユーザが確認画面に用意された特定のボタンをタップすると、情報端末２０が録音されている外周音の再生を開始する。

本実施の形態における半導体メモリ２０３には、脳波情報の特徴とユーザの状態との関係を記録したテーブル２３１が記憶されている。
図５は、実施の形態で使用するテーブル２３１の例を説明する図である。テーブル２３１には、管理番号と、脳波情報の特徴と、対応するユーザの状態とが記憶されている。
図５の場合、γ波が多く出現する特徴ＡＡには、興奮状態が対応付けられている。興奮状態には、不快な状態も含まれる。
また、β波が多く出現する特徴ＢＢには、集中状態が対応付けられている。α波が多く出現する特徴ＣＣには、リラックス状態が対応付けられている。θ波が多く出現する特徴ＤＤには、浅い睡眠状態が対応付けられている。δ波が多く出現する特徴ＥＥには、深い睡眠状態が対応付けられている。以下では、浅い睡眠状態と深い睡眠状態を総称して睡眠状態ともいう。

このテーブル２３１は、ユーザの状態を推定する際にユーザ状態推定部２２２（図４参照）により参照される。
なお、半導体メモリ２０３は、テーブル２３１以外にも、ＢＩＯＳが記憶されたＲＯＭと、ワークエリアとして用いられるＲＡＭと、外部記憶メモリとしてのフラッシュメモリも含む。フラッシュメモリには、イヤホン１０から受信した外周音のオーディオデータが記録される。フラッシュメモリに記録されている外周音は、外周音出力制御部２２３により読み出され、ユーザの状態と外周音の内容に応じた音量でブルートゥースモジュール２０１に出力される。なお、ユーザが聴いている音楽や通話の音声がある場合には、このオーディオデータに外周音をミックスしたオーディオデータが生成される。

＜情報端末２０の処理動作＞
以下では、情報端末２０（図１参照）が、ＭＰＵ２０２（図４参照）によるプログラムの実行を通じて実現する処理動作の一例を説明する。

図６は、脳波情報を含むデジタル信号を受信した情報端末２０が実行する処理動作の一例を説明するフローチャートである。なお、図中のＳはステップを意味する。
本実施の形態では、脳波情報を含むデジタル情報はイヤホン１０（図１参照）から情報端末２０に送信されている。
まず、ＭＰＵ２０２は、外周音の音量を自動的に調整するモードか否かを判定する（ステップ１）。
ステップ１で否定結果が得られた場合、ＭＰＵ２０２は、手動で設定された動作モードで外周音の出力を制御する（ステップ２）。この制御は、外周音出力制御部２２３（図４参照）の機能の一部として設けられる。

一方、ステップ１で肯定結果が得られた場合、ＭＰＵ２０２は、脳波情報に多く含まれる周波数成分に基づいてユーザの状態を推定する（ステップ３）。本実施の形態の場合、興奮状態、集中状態、リラックス状態、浅い睡眠状態、深い睡眠状態のうちのいずれかがユーザの状態の推定値として用いられる。
次に、ＭＰＵ２０２は、外周音の内容を判定する（ステップ４）。なお、ステップ３とステップ４の順序は入れ替わってもよいし、並列に実行されてもよい。
続いて、ＭＰＵ２０２は、現在の状態と外周音の内容に応じた制御を実行する。
図６の場合、ＭＰＵ２０２は、ユーザは集中状態か否かを判定する（ステップ５）。すなわち、ＭＰＵ２０２は、脳波情報に多くのβ波が出現しているか否かを判定する。

ステップ５で肯定結果が得られた場合、ＭＰＵ２０２は、外周音に予め定めた内容が含まれるか否かを判定する（ステップ６）。予め定めた内容とは、予め定めた用語や予め定めた種類の音である。
ユーザが集中状態であり、外周音にも予め定めた内容が含まれていない場合、ＭＰＵ２０２は、ステップ６で否定結果を得る。この場合、ＭＰＵ２０２は、外周音の音量を強制的に抑制する（ステップ７）。この結果、ユーザは、集中状態を妨げられずに済む。また、ユーザは、外周音を抑制する操作を個別に行わずに済む。
一方、ユーザは集中状態であるが、外周音に予め定めた内容が含まれている場合、ＭＰＵ２０２は、ステップ６で肯定結果を得る。この場合、ＭＰＵ２０２は、外周音の音量を強制的に上げる（ステップ８）。この結果、集中状態は妨げられるが、ユーザは呼びかけや身体の危険に気づくことが可能になる。

ユーザの状態が集中状態でない場合、ＭＰＵ２０２は、ステップ５で否定結果を得る。この場合、ＭＰＵ２０２は、ユーザは興奮状態か否かを判定する（ステップ９）。すなわち、ＭＰＵ２０２は、脳波情報に多くのγ波が出現しているか否かを判定する。
ユーザが興奮状態の場合、ＭＰＵ２０２は、ステップ９で肯定結果を得る。
ステップ９で肯定結果が得られた場合、ＭＰＵ２０２は、前述したステップ６の判定を実行し、その後、判定の結果に応じた処理を実行する。すなわち、外周音に予め定めた内容が含まれていない場合、ＭＰＵ２０２は、ユーザの興奮状態を刺激しないように、外周音の音量を強制的に抑制する（ステップ７）。一方、予め定めた内容が外周音に含まれる場合、ＭＰＵ２０２は、ユーザが興奮状態でも、外周音の音量を強制的に上げる（ステップ８）。

ユーザの状態が興奮状態でない場合、ＭＰＵ２０２は、ステップ９で否定結果を得る。
ステップ９で否定結果が得られた場合、ＭＰＵ２０２は、ユーザは覚醒状態か否かを判定する（ステップ１０）。すなわち、ＭＰＵ２０２は、脳波情報に多くのα波が出現しているか否かを判定する。
ユーザの状態が浅い睡眠状態又は深い睡眠状態の場合、ＭＰＵ２０２は、ステップ１０で否定結果を得る。
ステップ１０で否定結果が得られた場合、ＭＰＵ２０２は、前述したステップ６の判定を実行し、その後、判定の結果に応じた処理を実行する。すなわち、外周音に予め定めた内容が含まれていない場合、ＭＰＵ２０２は、ユーザの睡眠状態を刺激しないように、外周音の音量を強制的に抑制する（ステップ７）。一方、予め定めた内容が外周音に含まれる場合、ＭＰＵ２０２は、ユーザが睡眠状態でも、外周音の音量を強制的に上げる（ステップ８）。

ユーザがリラックス状態の場合、ＭＰＵ２０２は、ステップ１０で肯定結果を得る。
ステップ１０で肯定結果が得られた場合、ＭＰＵ２０２は、ユーザは直前まで集中状態であったか否かを判定する（ステップ１１）。
ユーザの直前の状態が興奮状態や睡眠状態であった場合、ＭＰＵ２０２は、ステップ１１で否定結果を得る。この場合、本実施の形態におけるＭＰＵ２０２は、ステップ８に移行し、外周音の音量を強制的に上げる処理を実行する。すなわち、リラックス状態では、外周音が聞こえるように制御する。
ただし、ユーザの直前の状態が集中状態であった場合、ＭＰＵ２０２は、ステップ１１で肯定結果を得、集中状態の間に録音された外周音をイヤホン１０から出力させる（ステップ１２）。

前述したように、ユーザの状態が集中状態の場合、ＭＰＵ２０２は、予め定めた内容が外周音に含まれない限り、集中状態を邪魔しないように外周音の音量を強制的に下げる制御を実行する。一方で、集中状態が終われば、集中状態の期間にあった外周音の内容を確認したい可能性もある。
そこで、本実施の形態では、集中状態からリラックス状態に移行した場合に、集中状態の期間に録音された外周音をイヤホン１０から出力させる制御を実行する。なお、ステップ１２の実行は、ユーザが事前に設定した場合に限定してもよい。また、録音されている外周音の出力を開始する前に、録音されている外周音をユーザに問い合わせる機能を設けてもよい。

以上説明したように、本実施の形態のイヤホンシステム１は、外耳孔を塞ぐイヤホン１０を装着しているユーザの状態を脳波によって推定し、推定された状態に応じてユーザにより知覚される外周音の音量を自動的に制御する。このため、ユーザは、外周音を聞こえるようにするための操作や反対に聞こえないようにするための操作を手動で行う必要がない。換言すると、ユーザは、外周音に煩わされることなく、自身の行動や活動を継続することが可能になる。例えば騒音が酷い場所にユーザが移動する場合にも、ユーザは外周音を意識することなく、イヤホン１０から出力される音楽や音を楽しむことが可能である。
一方で、危険等を知らせる音や用語を含む外周音は強制的にユーザに聞こえるように音量を上げることが可能であり、ユーザの安全やユーザの使い勝手も配慮される。

＜実験結果等＞
以下では、イヤホン１０（図２参照）により、ユーザの脳波情報の取得が可能であることを、第三者による実験の結果や出願人による実験の結果を通じて説明する。

＜イヤホン１０との対比に使用するMindWave（NeuroSky社）の信頼性＞
図７は、イヤホン１０を装着した状態で、脳波の測定が可能な脳波センサ付きヘッドセット３０の測定点を説明する図である。
今回の実験では、脳波センサ付きヘッドセット３０として、市場で入手が可能なNeuroSky社のMindWaveを使用した。
前述したように、イヤホン１０は外耳孔を脳波の測定点として使用するのに対し、NeuroSky社のMindWaveは、額３０Ａを脳波の測定点とする。
図７に示す額３０Ａは、脳波の測定に使用する電極配置の国際標準として推奨されている１０−２０法で定める２１個の配置のうちのＦｐ１に相当する。

MindWaveによって測定される脳波は、医療認定されているＥＥＧシステムと同等であることが、Elena Ratti等の論文「Comparison of Medical and Consumer Wireless EEG Systems for Use in Clinical Trials」（https://www．frontiersin．org/articles/10．3389/fnhum．2017．00398/full）で検証されている。
なお、この論文は、ＵＳデューク大学のPh．DシニアサイエンティストDimiter Dimitrovと、イタリアミラノ工科大学Ph．Dイタリア国立研究評議会（CNR）のMarta Parazziniにより査読掲載されている。
図８は、論文に掲載されている脳波の計測点を示す図である。
図８に示すB-AlertとEnobioは、ヨーロッパと米国で医療認定を得ているＥＥＧシステムの名称である。また、MuseとMindWaveは、消費者向けのＥＥＧシステムの名称である。

図８の場合、白丸で示す位置は、医療認定されているＥＥＧシステムでのみ使用する測定点である。これに対し、ＡＦ７、Ａｐ１、ＡＦ８、Ａ１、Ａ２で示す位置は、消費者向けのＥＥＧシステムであるＭｕｓｅでのみ使用する測定点である。そして、Ｆｐ１は、４つのＥＥＧシステムに共通する測定点である。すなわち、Ｆｐ１は、MindWaveの測定点である。なお、測定点のＡ１とＡ２は、耳介と側頭部とで挟まれた部分に当たり、外耳孔ではない。

論文の詳細については省略するが、安静時の脳波の測定を、５人の健康な被験者を対象として、日を改めて２回行っている。また、同実験では、額部のＦｐ１を共通の測定点とし、目を閉じた状態と目を開いた状態における脳波パターンとパワースペクトル密度が比較されている。この論文における評価は、閉眼時の脳波におけるα波の出力評価に当たる。
また、論文の結論の項には、MindWaveのＦｐ１で測定されるパワースペクトルは、医療認定されているＥＥＧシステムであるB-Alert及びEnobioと再現テストの結果も含めてほぼ同じであり、α波のピークも捉えられたことが記載されている。なお、MindWaveで測定される脳波には、瞬きと開眼中の動きがノイズとして乗ることも記載されている。ちなみに、Museの信頼性が低い理由として、アーチファクトの影響の可能性が指摘されている。

＜イヤホン１０による測定結果とMindWaveによる測定結果の比較＞
以下では、被験者に、イヤホン１０（図７参照）とMindWaveの両方を装着し、脳波を測定する実験を行った結果について説明する
図７に示したように、イヤホン１０は外耳孔を測定点とし、MindWaveは額３０Ａを測定点とする。

出願人の実験では、５８名を被験者とした。一人につき、同日中に、３回のアテンションの上昇テストとメディテーションの上昇テストを設計し、閉眼時におけるα波の出現を捉える実験を行った。
なお、実際の被験者は８３名であったが、２５名の測定の結果には開眼時のアーチファクトの影響が過大であったため除外した。

アテンションの上昇テストでは、被験者に対し、開眼状態で１５０ｍｍ先のペン先を３０秒間見つめ続けてもらった。このテストは、集中状態を作ってα波の出現を抑止し、β波を増加させることを目的とする。
メディテーション上昇テストでは、被験者に対し、閉眼状態で３０秒間の瞑想をお願いした。このテストは、閉眼時のα波の出力評価に相当する。換言すると、リラックス状態におけるα波の増加比率を捉えることを目的とする。

実験時には、アテンションの上昇テストの後にメディテーションの上昇テストに移行し、α波の出力を評価した。
α波の出力の評価は、３０秒間の開眼状態の後に３０秒間の閉眼状態を２セット繰り返し、閉眼状態におけるα波の上昇を確認するのが一般的である。
ただし、今回の実験では、一度に多くのデータを収集するためにセットの回数を増やして行った。

まず、メディテーションの上昇テストを行った理由と、閉眼時におけるα波の出力の評価に用いた方法について説明する。
図９は、α波の出力評価を説明する図である。前述したように、脳波の生データは、主にδ波、θ波、α波、β波、γ波に分類が可能である。
脳波は、人の動作による再現性が小さく、臨床データによる取得性能の再現性の評価が難しいとされるが、その中でも、α波は、開眼と閉眼の差で出現され易いとされている。
いずれの波も、開眼状態においては一様に出現し易い一方、α波以外の波は閉眼状態において一様に減衰するといわれる。すなわち、α波は、閉眼状態においても比較的影響を受けることなく出現するといわれる。

この特徴を活かし、実験では、脳波の生データをフーリエ変換し、各波に対応する周波数帯のスペクトル強度Ｓｎを特性値とした。
実験では、α波強度比Ｔαを、全周波数帯のスペクトル強度の和（すなわちΣＳｎ）に対するα波帯のスペクトル強度Ｓαの比（＝Ｓα／ΣＳｎ）として定義し、開眼状態から閉眼状態への変化でα波強度比Ｔαが増加したか否かを確認した。
α波強度比Ｔαの増加が確認されれば、脳波の測定の証拠になる。

以下では、図１０及び図１１を使用して、イヤホン１０による測定結果とMindWaveによる測定結果の異同について説明する。
図１０は、MindWaveによる測定結果を説明する図である。（Ａ）は瞬き無しで開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果であり、（Ｂ）は瞬き有りで開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果である。
図１１は、実施の形態で使用するイヤホン１０（図２参照）による測定結果を説明する図である。（Ａ）は瞬き無しで開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果であり、（Ｂ）は瞬き有りで更に顎の動きを加えて開眼状態と閉眼状態の切り替えを２セット行った場合の測定結果である。

瞬きが無い場合、イヤホン１０による測定結果とMindWaveによる測定結果との間には、高い類似性が認められた。
一方、瞬きがある場合、MindWaveによる測定結果には、瞬きの影響を受けたアーチファクトが顕著に出現した。その理由は、MindWaveは、額は目に近く、開眼時における瞬きが大きなアーチファクトとして検出され易いためと考えられる。このことは、前述したElena Ratti等の論文でも指摘されている。

ところで、瞬きの影響によるアーチファクトは、主にδ波帯に出現した。ただし、図１０に示すように大きなアーチファクトがあると、α波の増加が誤検出される可能性が高くなる。その理由は、開眼状態における全周波数帯のスペクトル強度の和が大きくなる結果、開眼状態におけるα波強度比Ｔαが小さくなり、閉眼状態におけるα波強度比Ｔαが相対的に大きく見えてしまうためである。前述した被験者の削減もこの理由による。
なお、瞬きに伴い検出されるアーチファクトには、瞼の動きに伴い発生する生体由来の電位の変動だけでなく、瞼を動かそうとする脳波由来の電位の変動が含まれている。

一方、本実施の形態で使用するイヤホン１０（図２参照）による測定結果には、０秒から３０秒の期間に、瞬きに起因するアーチファクトは検知されなかった。
ただし、唾液を飲み込む顎の動きに起因するアーチファクトは、開眼状態か閉眼状態かを問わず、検出されることが確認された。唾液を飲み込む顎の動きに起因するアーチファクトは、主に、θ波帯に出現した。
一方で、唾液の飲み込みに伴い出現するアーチファクトのスペクトル強度は、MindWaveで検知された瞬きに対応するアーチファクトのスペクトル強度に比して格段に小さい。このため、MindWaveの場合のように、α波の増加への影響は認められなかった。

因みに、唾液の飲み込みに伴い出現するアーチファクトにも、顎の筋肉の動きに伴い発生する生体由来の電位の変動だけでなく、顎の筋肉を動かそうとする脳波由来の電位の変動が含まれている。
前述の説明において、ユーザが特定の操作を念じながら行う意図的な筋肉の動きとして、唾液を飲み込む顎の動作を例示したのは、図１１に示すアーチファクトの出現が理由となっている。

続いて、図１２及び図１３を使用して、イヤホン１０による測定結果に現れるα波の増加とMindWaveによる測定結果に現れるα波の増加を説明する。
図１２は、MindWaveによる測定結果を説明する図である。（Ａ）は開眼状態で瞬き有りから閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｂ）は開眼状態で瞬き無しから閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｃ）はα波の増加が出現しない場合である。
図１３は、実施の形態で使用するイヤホン１０（図２参照）による測定結果を説明する図である。（Ａ）は開眼状態で瞬き有りから閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｂ）は開眼状態で瞬き無しから閉眼状態に変化したときの周波数帯別のスペクトル強度の割合の変化を示し、（Ｃ）はα波の増加が出現しない場合である。

図１２及び図１３の縦軸はスペクトル強度の割合であり、横軸は周波数帯域である。また、図１２の（Ａ）に対応する被験者と図１３の（Ａ）に対応する被験者は同じである。同様に、図１２の（Ｂ）に対応する被験者と図１３の（Ｂ）に対応する被験者は同じである。図１２の（Ｃ）に対応する被験者と図１３の（Ｃ）に対応する被験者も同じである。
MindWaveのスペクトル強度の分布（図１２参照）とイヤホン１０のスペクトル強度の分布（図１３参照）は、δ波〜θ波の低周波帯で異なっているが、α波以上ではほぼ同じであった。

実験の結果、MindWaveとイヤホン１０の両方でα波の増加が確認された被験者は４６名であった。この割合は、５８名のうちの約８割弱に相当する。
因みに、イヤホン１０だけでα波の増加が確認された被験者は７名であった。換言すると、イヤホン１０では、α波の増加が計５３名で確認された。すなわち、イヤホン１０では、約９割強の被験者でα波の増加が確認された。
なお、MindWaveとイヤホン１０の両方でα波の増加が確認されなかった被験者は５名であった。図１２及び図１３の（Ｃ）に示す波形は、この５名の被験者の測定結果を表している。

図１４は、スペクトル強度の増加部の提示例を示す図である。（Ａ）はMindWaveの測定結果であり、（Ｂ）は実施の形態で使用するイヤホン１０（図２参照）の測定結果である。縦軸はスペクトル強度の割合であり、横軸は周波数である。
図１４では、図１２及び図１３の場合とは異なり、横軸に実周波数を用いている。前述したElena Ratti等の論文では、横軸に実周波数を用いてα波の増加を説明している。図中の○印で示す部分が増加部分である。
図１４に示すように、いずれの測定方法でも、周波数が高くなるのに従ってスペクトル強度の割合が低下する傾向が表れている。この傾向は、Elena Ratti等の論文と同様である。
このように、本実施の形態で使用する外耳孔で脳波を測定するイヤホン１０は、MindWaveと同等の測定能力を有していることが確かめられた。

＜他の実施の形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

例えば前述の実施の形態では、イヤホン１０（図１参照）で測定が可能な電位変動の一例として脳波について説明したが、筋電、心拍、心電、脈拍、脈波等も含まれる。すなわち、筋電、心拍、心電、脈拍、脈波等も、頭部で測定される生体情報の一例である。

前述の実施の形態では、両耳の外耳孔にイヤホン１０を装着して脳波を想定しているが、イヤホン１０は、片耳の外耳孔に装着するタイプでもよい。
図１５は、片耳に装着するタイプのイヤホン１０Ａの外観例を説明する図である。図１５には、図２との対応部分に対応する符号を付して示している。図１５に示すイヤホン１０Ａの場合、イヤホンチップ１１Ｒが絶縁リングにより先端側と本体側とに電気的に分離され、先端側に電極１１Ｒ１が配置され、本体側に電極１１Ｌ１が配置されている。なお、ＧＮＤ端子としての電極Ｒ２は不図示の絶縁体により電極１１Ｌ１と電気的に分離されている。
この構成の場合、イヤホン本体１２Ｒ内にリチウムバッテリ１２８（図３参照）も格納される。

前述の実施の形態では、イヤホン１０（図１参照）内に電位変動をセンシングする機能のみを設け、情報端末２０（図１参照）等に脳波情報等の特徴に応じて操作の内容を推定する機能を設けているが、脳波情報等の特徴に応じて操作の内容を推定する機能についてもイヤホン１０に含めてもよい。この場合、イヤホン１０は、単独で情報処理システムの一例となる。
また、前述の実施の形態では、情報端末２０（図１参照）等に脳波情報等の特徴に応じて操作の内容を推定する機能を設けているが、脳波情報等の特徴に応じて操作の内容を推定する機能の一部又は全てをインターネット上のサーバで実行してもよい。この場合、サーバが、情報処理システムの一例となる。
前述の実施の形態の場合には、情報端末２０（図１参照）のＭＰＵ２０２（図４参照）は、イヤホン１０（図１参照）の右耳側のイヤホンチップ１１Ｒと左耳側のイヤホンチップ１１Ｌの両方から出力される外周音の音量を制御しているが、音量の制御はいずれか一方だけでもよい。制御の対象は、ユーザによる選択により切り替えが可能としてもよい。なお、イヤホン１０の管理者が切り替えられるようにしてもよい。

前述の実施の形態では、脳波等に起因する電位変動を測定する電極をイヤホン１０に配置する例を説明したが、他の物品に装着してもよい。以下、具体例を幾つか例示する。
例えば脳波等に起因する電位変動を測定する電極は、耳介を覆うヘッドホンに配置してもよい。ヘッドホンの場合、電極は、イヤパッドのうち頭部と接触する部分に設けられる。この際、電極は、頭髪が少なく、皮膚と直に接触が可能な位置に配置される。
また、耳介に接触する物品は、眼鏡型のデバイスでもよい。これらは、ウェアラブルデバイスの一例である。

図１６は、脳波の測定に使用する電極をフレーム４１のツルに配置した眼鏡４０の一例を説明する図である。眼鏡４０は、図３に示す内部構成のうちのスピーカ１２３（図３参照）だけを内蔵するイヤホンチップ１１Ｒ及び１１Ｌに設け、その他の構成部分をフレーム４１に設けた構成を有している。
図１６に示すように、イヤホンチップ１１Ｒ及び１１Ｌは、フレーム４１のツルに取り付けられ、外耳孔を塞ぐようにユーザに装着される。
図１６の場合、右側のツルの先端部（以下「モダン」という）に電極１１Ｒ１と電極１１Ｌ１が配置され、左側のツルのモダンに電極１１Ｒ２が配置されている。これらの電極は不図示の絶縁体により電気的に分離されている。また、動作に必要な電力を供給するバッテリやブルートゥースその他の通信モジュールは、ツルやモダンに内蔵される。

この他、脳波の測定に使用する電極は、スマートグラスやヘッドマウントディスプレイと呼ばれる情報を表示するヘッドセットへの組み合わせも可能である。また、ユーザの周囲の環境を理解し、環境に同化させた画像を表示する機能を備えるヘッドセットへの搭載も可能である。
図１７は、ユーザの周囲の環境に同化させた画像を表示させる機能を備えるヘッドセット５０に脳波の測定に使用する場合の電極の配置例を説明する図である。（Ａ）はヘッドセット５０の装着例であり、（Ｂ）はヘッドセット５０における電極１１Ｒ１、１１Ｒ２、１２Ｌ１の配置例を説明する図である。

図１７に示すヘッドセット５０は、マイクロソフト（登録商標）社のhololens（登録商標）に、電極１１Ｒ１、１１Ｒ２、１１Ｌ１を取り付けた構成をイメージしている。ヘッドセット５０を装着したユーザが体験する仮想の環境は、拡張現実や複合現実と呼ばれる。
図１７に示すヘッドセット５０では、頭部に装着されるリング状の部材のうち耳部に接触する部位に電極１１Ｒ１、電極１１Ｒ２、電極１１Ｌ１が配置されている。図１７に示すヘッドセット５０の場合、電極１１Ｒ１と電極１１Ｒ２は右耳側に配置され、電極１１Ｌ１は左耳側に配置される。
なお、ヘッドセット５０には、眼鏡４０（図１６参照）の場合と同様、スピーカ１２３（図３参照）だけを内蔵し、外耳孔を塞ぐようにユーザに装着されるイヤホンチップ１１Ｒ及び１１Ｌが取り付けられている。
この構成の場合、ヘッドセット５０の本体内に、図３に示す構成のうちスピーカ１２３を除くデバイスが内蔵されている。

前述の実施の形態においては、ユーザの耳部に接触する電極を用いて脳波を含む生体情報を取得する場合について説明したが、脳波を含む生体情報を取得する位置は耳部に限らない。電極は、例えば額その他の頭部の位置に設けてもよい。
図１８は、額で脳波を測定するヘッドセット６０と市販されているイヤホンチップ１１Ｒ及び１１Ｌを組み合わせたデバイスの装着例を説明する図である。
図１８の場合、ヘッドセット６０の左頭部側には、電極６１を額に押し当てるアーム６２の一端部が取り付けられている。この他、ヘッドセット６０には、スピーカ１２３（図３参照）だけを内蔵するイヤホンチップ１１Ｒ及び１１Ｌが取り付けられている。イヤホンチップ１１Ｒ及び１１Ｌも、外耳孔を塞ぐようにユーザに装着される。
この他、例えばヘッドセット５０（図１７参照）の電極１１Ｒ１、１１Ｒ２、１１Ｌ１を、頭部に装着されるリング型の部材における耳部以外の場所に配置してもよい。

前述の実施の形態においては、ユーザの耳部を含む頭部に接触する電極を用いて脳波を含む生体情報を取得する場合について説明したが、脳の活動を血流量の変化によって計測してもよい。
図１９は、近赤外光を用いて脳の活動に起因する血流量の変化を測定するヘッドセット７０の一例を示す図である。ヘッドセット７０は、頭部に装着されるリング状の本体を有している。この本体の内側には、頭皮に近赤外光を照射するプローブ７１と、反射光を受光する検出プローブ７２で構成される測定部が１又は複数配置されている。なお、ＭＰＵ７３は、プローブ７１による近赤外光の照射を制御し、検出プローブ７２から出力される信号を処理して、ユーザの脳波の特徴を検出する。図１９の場合、ユーザは、耳介を覆うヘッドホン７５を装着している。ヘッドホン７５は、イヤホンチップ１１Ｒ及び１１Ｌ（図１８参照）と同様、スピーカ１２３（図３参照）だけを内蔵する。ヘッドセット７０の本体内には、図３に示す構成のうちスピーカ１２３を除くデバイスが内蔵されている。

この他、脳波を含む生体情報の取得には脳磁計を用いてもよい。脳の神経細胞が生じる電気的活動によって生じる磁場の測定には、例えばＴＭＲ（＝Tunnel Magneto Resistance）センサを用いる。
図２０は、脳磁計８０の一例を説明する図である。図２０に示す脳磁計８０は、頭部に装着されるキャップ８１に複数のＴＭＲセンサ８２を配列した構造を有している。なお、ＴＭＲセンサ８２の出力は、不図示のＭＰＵに入力され、脳磁図が生成される。この場合、脳磁図における磁場の分布がユーザの脳波の特徴として用いられる。
なお、脳磁計８０には、スピーカ１２３（図３参照）だけを内蔵し、外耳孔を塞ぐようにユーザに装着されるイヤホンチップ１１Ｒ及び１１Ｌが取り付けられている。
この構成の場合、脳磁計８０の本体内に、図３に示す構成のうちスピーカ１２３を除くデバイスが内蔵されている。

なお、前述した各実施の形態におけるＭＰＵは、広義的な意味でのプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ（＝Central Processing Unit）等）の他、専用的なプロセッサ（例えばＧＰＵ（＝Graphical Processing Unit）、ＡＳＩＣ（＝Application Specific Integrated Circuit）、ＦＰＧＡ（＝Field Programmable Gate Array）、プログラム論理デバイス等）を含む。
また、前述した各実施の形態におけるプロセッサの動作は、１つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順序は、前述した各実施の形態に記載した順序のみに限定されるものでなく、個別に変更してもよい。

１…イヤホンシステム、１０、１０Ａ…イヤホン、２０…情報端末、３０、５０、６０、７０…ヘッドセット、４０…眼鏡、８０…脳磁計、２２１…外周音判定部、２２２…ユーザ状態判定部、２２３…外周音出力制御部

Claims (21)

1. 頭部で測定される生体情報を検出し、検出された当該生体情報に応じ、耳部を塞ぐ状態で装着されるデバイスに設けられたスピーカから出力される外周音の音量を制御するプロセッサを有する、情報処理システム。
2. 前記デバイスは、両耳に装着される、請求項１に記載の情報処理システム。
3. 前記デバイスは、外耳孔を塞ぐ状態で装着される、請求項２に記載の情報処理システム。
4. 前記生体情報が、ユーザが集中している状態を示す場合、前記プロセッサは、前記スピーカから出力される外周音の音量を、基準とする音量よりも低減する、請求項１に記載の情報処理システム。
5. 前記生体情報が、集中している状態からの変化を示す場合、前記プロセッサは、ユーザが集中している状態の間に取得された外周音を再生する又は外周音の再生の希望を確認する、請求項４に記載の情報処理システム。
6. 前記外周音は、前記デバイスに設けられたマイクにより取得される、請求項５に記載の情報処理システム。
7. 前記生体情報が、ユーザが集中している状態を示す場合でも、予め定めた条件を満たす音が取得されたとき、前記プロセッサは、音声又は音を基準よりも大きな音量で出力する、請求項４に記載の情報処理システム。
8. 前記予め定めた条件は、予め定めた用語を含む音声の取得、又は、予め定めた種類の音の取得である、請求項７に記載の情報処理システム。
9. 前記予め定めた用語又は前記予め定めた種類の音は、危険を知らせる用語又は音である、請求項８に記載の情報処理システム。
10. 前記生体情報が睡眠を示す場合、前記プロセッサは、前記スピーカからの外周音の出力を停止する、請求項１に記載の情報処理システム。
11. 前記生体情報が睡眠を示す場合でも、予め定めた条件を満たす音が取得されたとき、前記プロセッサは、音声又は音を基準よりも大きな音量で出力する、請求項１０に記載の情報処理システム。
12. 前記予め定めた条件は、予め定めた用語を含む音声の取得、又は、予め定めた種類の音の取得である、請求項１１に記載の情報処理システム。
13. 前記生体情報が不快な状態を示す場合、前記プロセッサは、前記スピーカから出力される外周音の音量を基準とする音量よりも低減する、請求項１に記載の情報処理システム。
14. 外周音の音量の制御は、外周音の音量を制御する動作モードの実行をユーザが選択した場合に実行される、請求項１に記載の情報処理システム。
15. 外周音の音量を制御する前記動作モードには、検出された生体情報を使用しない動作モードが含まれる、請求項１４に記載の情報処理システム。
16. 外周音の音量を制御する前記動作モードには、前記スピーカから再生される音に外周音を重畳する動作モードが含まれる、請求項１４に記載の情報処理システム。
17. 前記生体情報は、ユーザの頭部又は耳部に接触する電極で測定される、請求項１に記載の情報処理システム。
18. 前記生体情報は、非接触に測定される、請求項１に記載の情報処理システム。
19. 請求項１に記載の情報処理システムは、ユーザが装着して使用するデバイスである。
20. 請求項１に記載の情報処理システムは、ユーザが装着するデバイスと通信可能に接続されたコンピュータである。
21. コンピュータに、
    頭部で測定される生体情報を検出する機能と、
    検出された生体情報に応じ、耳部を塞ぐ状態で装着されるデバイスに設けられたスピーカから出力される外周音の音量を制御する機能と
    を実行させるプログラム。

Images