JP2018504719A - スマートオーディオヘッドホンシステム - Google Patents

Abstract

本発明は、スマートヘッドホンに関する。より具体的には、本発明は、ユーザの好み、具体的には、ユーザの気分及び／又は感情の状態に適応する個人的プレイリストを変化させるようになったスマートオーディオヘッドホンシステムに関する。【選択図】 図１

Description

本発明は、スマートヘッドホンに関する。より具体的には、本発明は、ユーザの好み、具体的には、ユーザの気分及び／又は感情に適合する個人的プレイリストを変更させるようになったスマートオーディオヘッドホンシステムに関する。

ＺＥＮ ＴＵＮＥＳは、音楽を聴取しているときに出る脳波を解析して、聴取者の「リラックス」及び「集中」した状態に基づいて音楽チャートを生成するｉＰｈｏｎｅアプリである。ＺＥＮ ＴＵＮＥＳは、聴取者の脳波を、聴取者が実際に聴取している音楽にタグ付けすることによる「認識」を可能にする。

このＺＥＮ ＴＵＮＥＳを拡張したものが、単一のＥＥＣセンサを聴取者の前額部に当てるＭｉｃｏヘッドホンに見られる。Ｍｉｃｏヘッドホンは、前額部上のセンサを介して脳波を検出する。次に、Ｍｉｃｏアプリ（ＺＥＮ ＴＵＮＥＳ）は、ユーザの脳の状態を解析して、Ｍｉｃｏ音楽データベースからユーザの状態に適合する音楽を検索して、ユーザの状態に適合する選曲を再生する。

米国特許公開第２０１４０３０７８７８号「Ｍｅｔｈｏｄ Ａｎｄ Ｓｙｓｔｅｍ Ｆｏｒ Ａｎａｌｙｓｉｎｇ Ｓｏｕｎｄ」が存在する。

本発明は、オーディオ（例えば、音楽）トラックを解析するための方法及びシステムに関する。脳内の人間のより下層皮質の辺縁系皮質下領域のうちの１又は２以上による、サウンドに対する神経生理的作用及び反応についての予測モデルが説明される。サウンドは解析され、聴取者の神経生理的興奮状態を刺激及び／又は操るために聴取者に適したサウンドを選択して再生することができる。本方法及びシステムは、具体的には、バイオフィードバックリソースを利用する用途に適用できる。

米国特許第８７８１５７０号「Ａｕｄｉｏ ｈｅａｄｓｅｔ ｗｉｔｈ ｂｉｏ−ｓｉｇｎａｌ ｓｅｎｓｏｒｓ」が存在する。

Ｒｕｏ−Ｎａｎ Ｄｕａｎ、Ｘｉａｏ−Ｗｅｉ Ｗａｎｇ、及びＢａｏ−Ｌｉａｎｇ Ｌｕ著「ＥＥＧ−Ｂａｓｅｄ Ｅｍｏｔｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ Ｌｉｓｔｅｎｉｎｇ Ｍｕｓｉｃ ｂｙ Ｕｓｉｎｇ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ ａｎｄ Ｌｉｎｅａｒ Ｄｙｎａｍｉｃ Ｓｙｓｔｅｍ」、Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ： Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ、第７６６６巻、２０１２年、４６８から４７５頁が存在する。

米国特許公開第２０１４０３０７８７８号 米国特許第８７８１５７０号

Ｒｕｏ−Nａｎ Ｄｕａｎ、Ｘｉａｏ−Ｗｅｉ Ｗａｎｇ、及びＢａｏ−Ｌｉａｎｇ Ｌｕ著「ＥＥＧ−Ｂａｓｅｄ Ｅｍｏｔｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ Ｌｉｓｔｅｎｉｎｇ Ｍｕｓｉｃ ｂｙ Ｕｓｉｎｇ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ ａｎｄ Ｌｉｎｅａｒ Ｄｙｎａｍｉｃ Ｓｙｓｔｅｍ」、Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ： Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ、第７６６６巻、２０１２年、４６８から４７５頁

本発明は、１又は２以上のオーディオスピーカ及び１又は２以上の生体信号センサを有するオーディオヘッドホンを含み、ユーザに対して再生される音楽と関連付けてユーザの感情、気分、及び／又は好み（ＥＭＰ）を学習及び検出することができるシステム、ユーザ聴取者及び曲名によって分類整理される経時的に収集された生体信号を収集及び解析する方法、楽曲の属性を識別してこの属性を特定の気分及び／又は感情に関連付ける方法、並びに特定のユーザに合わせて学習された感情、気分、及び／又は好みに基づいて適応的かつ自動的に音楽を選択するための方法として説明される。

本開示の実施形態は、図面を参照することでより良く理解されるであろう。

スマートオーディオヘッドホンシステムを示す図である。 スマートオーディオヘッドホンシステムを示す図である。 スマートオーディオヘッドホンシステムを示す図である。 ヘッドバンド上に配置されたセンサを有するスマートオーディオイヤホンシステムを示す図である。 ヘッドバンド上に配置された非接触式センサを有するスマートオーディオイヤホンシステムを示す図である。 インイヤ型スマートオーディオヘッドホンユニットを示す図である。 ユーザの頸部を取り囲む生体センサを有するスマートオーディオイヤホンシステムを示す図である。 ＥＥＧ及びＥＣＧ生体信号を収集するスマートオーディオヘッドホンを示す図である。 感情、気分、及び／又は好み（ＥＭＰ）を学習するためのフローチャートを示す。 選択的な生理的信号を学習して、この信号を適切な音楽に適合させる機械分類器を使用する、自動的かつ適応的に音楽を選択するための処理に関するフローチャートを示す。 ユーザがシステムの訓練を開始してＥＭＰを学習するための処理を示す。 ユーザのＥＭＰに関連する音楽の属性を学習するための処理に関するフローチャートを示す。 システムがアクセスするデータストアを示す。 図８から１０の方法を実行できるコンピュータシステムを示すブロック図である。 音楽データベースにアクセスするデバイス及びコンピュータシステムを示す概略図である。 感情チャートである。

本発明の１又は２以上の実施形態の詳細な説明は、本発明の原理を示す添付図面とともに以下に提示される。本発明は、このような実施形態に関連して説明されるが、本発明は、いずれの実施形態に限定されるものではなく、多くの代替例、変更例、及び均等物を包含する。本発明の十分な理解を可能にするために、多くの具体的な詳細内容が以下に説明される。これらの詳細内容は、例示目的で提示されるものであり、本発明は、これらの具体的な詳細内容の一部又は全部がなくとも特許請求の範囲により実施することができる。明瞭化のために、本発明に関連する技術分野で公知の技術内容は、本発明を不必要に曖昧にしないように詳細に説明されない。

従って、本明細書全体を通した「１つの実施形態」、「一実施形態」、「ある実施形態」、又は同様の用語への言及は、実施形態に関連して説明する具体的な特徴、構造、又は特性が、本発明の少なくとも１つの意図又は実施形態に含まれることを意味するものであり、明示的に全ての実施形態に含まれることを意味するものではない。従って、本明細書全体を通した「１つの実施形態」、「一実施形態」、及び同様の用語での表現の出現は、必須ではないが、全て同じ実施形態に言及する場合があるが、別途明示さない限り、「全てではないが１又は２以上の実施形態」を意味する。加えて、本発明の様々な実施形態は、様々なモジュール式特徴を用いて説明される。説明される特徴は、モジュール式であり、必ずしもこの特定の記載の実施形態又は全ての実施形態ではない、いずれかの実施形態において使用することができる。「含む」、「備える」、及び「有する」という用語、並びにそれらの変形形態は、別途明示されない限り、「限定されるものではないが、含む」を意味する。列挙した要素の一覧は、別途明示されない限り、これらの要素のいずれか又は全てが、相互に排他的であることを意味するものではない。また、「１つの（英文不定冠詞）」及び「その（英文定冠詞）」という用語は、別途明示さない限り、「１又は２以上の」を意味する。

当業者に理解されるように、本発明の態様は、システム、デバイス、装置、方法、又はコンピュータプログラム製品として具体化することができる。従って、本発明の態様は、完全にハードウェアでの実施形態、完全にソフトウェアでの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、又はソフトウェア態様とハードウェア態様とを組み合わせた実施形態の形態とすることができ、本明細書では、これらは全て、概して「回路」、「モジュール」、又は「システム」として言及することできる。さらに、本発明のいくつかの態様は、そこに具現化される及び／又はクライアントデバイスに具現化されるコンピュータ可読プログラムコードを有する１又は２以上のコンピュータ可読媒体に具現化されたコンピュータプログラム製品を有する電子デバイスの形態とすることができる。

さらに、実施形態についての説明される特徴、構造、又は特性は、何らかの好適な方法で組み合わせることができる。以下の説明では、実施形態の十分な理解を可能にするために、プログラム、ソフトウェアモジュール、ユーザ選択、ネットワークトランザクション、データベースクエリ、データベース構造、ハードウェアモジュール、ハードウェア回路、ハードウェアチップ、デバイス、装置、他の例などの非常に多くの具体的な詳細が提示される。しかしながら、当業者であれば、実施形態は、これらの具体的な詳細のうちの１又は２以上がなくとも実施することができること、又は他の方法、構成要素、材料などを用いて実施することができることを認識できるであろう。場合によっては、公知の構造、材料、又は動作は、実施形態の態様を不明瞭にしないように、詳細に図示又は説明されない。

本発明の１つの実施形態では、本明細書に記載の発明は、具体的には、学習されたユーザ感情、気分、及び／又は好み（ＥＭＰ）に基づいて適応的かつ自動的に音楽を選択してこの音楽を聴取するためのスマートオーディオヘッドホンシステムに適用できる。本システムは、１又は２以上のオーディオスピーカ及び１又は２以上の生体信号センサ（例えば、ＥＥＧセンサ（例えば、電極）を有し耳を覆う又は耳の穴に差し込むタイプのイヤホン）を有するオーディオヘッドホン（別名、ヘッドセット、ヘッドホン、耳の穴に差し込むタイプのイヤホン、イヤホン、又はイヤカン（ｅａｒｃａｎ））を備え、本システムは、適応的に１又は２以上の生体信号を抽出及び分類して、ユーザの感情、気分、及び／又は好みを学習して、ユーザの感情、気分、及び／又は好みに適合する音楽を選択し、デバイスは、これに関連して説明される。音楽は、ボーカル、楽器、又は機械的サウンドを意味し、リズム、メロディ、又はハーモニィ（例えば、旋律、ジングル、楽曲、ノイズミュージックなど）を含むこと又は含まない場合があり、作曲全体又はその一部分を含むことができる。これらの用語、例えば、楽曲、旋律、楽曲、作曲の具体的な使用は、これらの用語が、同義的に使用され、より広範な概念であるオーディオサウンドの例として使用されるので、本発明を限定するものではないと解釈されたい。

代替的又は追加的な実施形態では、オーディオヘッドホンシステムは、１又は複数のユーザの好み、気分、及び／又は感情に基づいて音楽の属性を分類するための学習メカニズムを含む。例えば、音楽は、音楽に関する人間の個人的好み、感情、又は気分に基づいて、或いは人間の個人的分類（例えば、ジャンル、アクティビティ、使用目的など）に基づいて自動的に分類及びラベル付けすることができる。

本明細書で説明する感情、気分、及び／又は好みは、感情、気分、及び／又は好みの生理的又は行動的表現に基づくものである。この新しい手法の目的で、少なくとも人間の感情又は好み要素を取り込むものとして認識される感情、気分、又は好み定義及び階層の何らかのセットを使用することができ、これらは、芸術／エンターテイメント、マーケティング、心理学の分野で説明されるもの、又は本明細書での発明で新たに得られるものを含むことができる。例えば、好みは、個人的好き嫌い並びに無関心のように単純なもの、或いはより複雑なもの、例えば、感情に関するヒューマンマシンインタラクションネットワーク（ＨＵＭＡＩＮＥ）によって提案された感情注釈及び表現言語（ＥＡＲＬ）、すなわち、否定的で強制的なもの（例えば、怒り、いらだち、侮辱、嫌悪、立腹）、否定的で抑制できないもの（例えば、不安、当惑、恐怖、無力、無気力、心配）、否定的な考え（例えば、疑い、嫉妬、欲求不満、罪責感、羞恥心）、否定的で消極的なもの（例えば、退屈、絶望、失望、痛み、悲しみ）、動揺（例えば、ストレス、ショック、緊張）、肯定的で陽気なもの（例えば、楽しみ、歓喜、高揚感、興奮、幸福感、喜び、愉快）、親身な気持ち（例えば、愛情、共感、親近感、愛）、肯定的な考え（例えば、勇気、希望、自尊心、満足、信頼）、静かで肯定的なもの（例えば、冷静さ、満足、くつろぎ、解放感、平静）、反応的なもの（例えば、興味、丁寧、驚き）とすることができる。

他の感情体系は、Ｒｏｂｅｒｔ Ｐｌｕｔｃｈｉｋが規定した、怒り、恐怖、悲しみ、嫌悪、驚き、期待、信頼、及び喜びからなる８つの基本感情を含む（Ｐｌｕｔｃｈｉｋ Ｒ．による「Ｅｍｏｔｉｏｎｓ ａｎｄ ｌｉｆｅ： ｐｅｒｓｐｅｃｔｉｖｅｓ ｆｒｏｍ ｐｓｙｃｈｏｌｏｇｙ， ｂｉｏｌｏｇｙ， ａｎｄ ｅｖｏｌｕｔｉｏｎ」ワシントンＤＣアメリカ心理学会第１版（２００３年））であるか、或いはＰａｕｌ Ｅｋｍａｎの基本感情のリストは、怒り、恐怖、悲しみ、幸福感、嫌悪、驚きであり、これらの基本感情は、楽しみ、侮辱、満足、当惑、興奮、罪責感、達成における自尊心、解放感、満足、感覚的快楽、及び恥かしさに拡張されている（Ｄａｌｇｌｅｉｓｈ Ｔ．及びＰｏｗｅｒ Ｍ．（編集者）による「Ｈａｎｄｂｏｏｋ ｏｆ Ｃｏｇｎｉｔｉｏｎ ａｎｄ Ｅｍｏｔｉｏｎ」（ニューヨークのワイリー社、１９９９年）におけるＥｋｍａｎ Ｐ．による基本感情）。また、他の感情体系が意図されており、例えば、図１６を参照されたい。具体的には、有用な感情セットは、エンターテイメント、マーケティング、心理学、又は購入行為に利用されるものを含む（例えば、Ｓｈｒｕｍ ＬＪ（編集者）による「Ｔｈｅ Ｐｓｙｃｈｏｌｏｇｙ ｏｆ Ｅｎｔｅｒｔａｉｎｍｅｎｔ Ｍｅｄｉａ： Ｂｌｕｒｒｉｎｇ ｔｈｅ Ｌｉｎｅｓ ｂｅｔｗｅｅｎ Ｅｎｔｅｒｔａｉｎｍｅｎｔ ａｎｄ Ｐｅｒｓｕａｓｉｏｎ」（ローレンス・エルバウム・アソシエイト、２００４年）と、Ｂｒｙａｎｔ及びＶｏｒｄｅｒｅｒ（編集者）による「Ｐｓｙｃｈｏｌｏｇｙ ｏｆ Ｅｎｔｅｒｔａｉｎｍｅｎｔ」（ラウトレッジ社、２００６年）と、Ｄｅｕｔｓｃｈ Ｄ．（編集者）による「Ｔｈｅ Ｐｓｙｃｈｏｌｏｇｙ ｏｆ Ｍｕｓｉｃ」第３版（Ｃｏｇｎｉｔｉｏｎ ａｎｄ Ｐｅｒｃｅｐｔｉｏｎ）（アカデミックプレス社、２０１２年）とを参照）。

本開示の実施形態は、図１から１６に示されている。

１つの実施形態では、本開示は、脳の電気的活動を測定するためのスマートオーディオ脳波（ＥＥＧ）ヘッドホンに関し、脳波（ＥＥＧ）信号を取得して監視する構成の複数の電極を支持するオーディオヘッドホンを含む。図１は、スマートヘッドホンシステム用のシステム１００の１つの実施形態を示している。図示の実施形態でのシステム１００は、電極又はセンサ１１０などを介して１又は２以上のＥＥＧ信号を取得するように構成されたオーディオヘッドホンモジュール１００を含む。電極１１０は、例えば、耳の皮膚、ユーザの耳を取り囲む皮膚、或いは耳の周りの又は頸部の上の髪の生えぎわに沿った皮膚からＥＥＧ信号を読み取るように位置決めすることができる。図２に示されている代替的又は追加的な実施形態では、１又は２以上のセンサ２１０が、ヘッドホンのヘッドバンド２２０に沿って配置され、例えば頭髪を通って突出して皮膚に達する電極歯を介して頭皮から脳波（ＥＥＧ）信号を取得してこの信号を監視することができる。ヘッドホンは、装飾されたもの又は単純なものとすることができ、或いは消費者動向に適合するように設計することができる。

各電極は、電極からの信号を受け取って出力をプロセッサに提供するように構成できる電子回路に電気的に接続される。この電子回路は、電極から受け取った信号の少なくともいくつかの処理を実行するように構成することができる。いくつかの実装例では、電子回路は、ヘッドホンに取り付けること又はヘッドホン内部に収容することができる。１つの実施形態では、ＥＥＧ信号取得回路は、プロセッサ、アナログ信号処理ユニット、Ａ／Ｄ（アナログ／デジタル）コンバータを含み、また、このＥＥＧ信号取得回路は、限定されるものではないが、例えば、フィルタ及び増幅器を含むこともできる。代替的又は追加的な実施形態では、いくつかの信号処理は、本発明のシステムの別個のデバイス上の遠隔受信器内のプロセッサによって実行することができ、これはＰＣ又はモバイル機器などの別個のクライアントデバイス或いはネットワークを介したウェブサーバ上の別個のコンピュータ上とすることができる。１つの実施形態では、電子回路は、ソフトウェアを更新又はアップグレードするコンポーネント、例えば、プログラム修正を可能にする有線又は無線コンポーネントを含む。また、電子回路は、電子インタフェース（例えば、ポート）、ユーザインタフェース（例えば、タッチ又はタッチレスコントローラ、ＬＥＤ又は同様のスクリーン／光などのステータスインタフェース）、及び同様のものなどの外部インタフェースも含む。

デバイス、例えば、オーディオヘッドホンは、他のタイプの生体信号センサを含む他のタイプのセンサ、及び／又は音響／聴力骨伝導、ジャイロスコープ及び加速度計などのモーションセンサ、ヘッドホンビデオヘッドマウントディスプレイ（例えば、オーディオスピーカを有するビデオグラス）、及び／又は３Ｄ立体視装置などの他のタイプのマルチメディア機能とともに使用できることが理解されるであろう。このような生体信号は、例えば、心電図（ＥＣＧ／ＥＫＧ）、皮膚伝導（ＳＣ）又は電気皮膚反応（ＧＳＲ）、筋電図検査（ＥＭＧ）、呼吸、脈拍、電気眼球図記録（ＥＯＧ）、瞳孔の拡張、視線追跡、顔面表情符号化、反応時間装置などを含む。電気バイオセンサは、皮膚に取り付けられた２つの電極間の差分（例えば、ＥＥＧ、ＥＣＧ、ＥＯＧ、及び／又はＥＭＧ）及び／又は電気抵抗（例えば、ＧＳＲ）を測定する差動増幅器などの複数の測定法に冗長的に使用することができる。図８は、ＥＥＧ及びＥＣＧ両方を測定するスマートオーディオヘッドホンを示している。センサは、ヘッドバンド上、又はヘッドホンの耳当て部の上若しくはその内部に配置すること（及び／又は、さもなければ、ヘッドホンに関連して配置すること）、或いはさもなければ、所望の情報を測定できるように配置することができる。

図１は、スピーカヘッドセットの１つの実施形態を示しているが、いくつかの実施形態では、ヘッドホンは、２つの耳当て部の代わりに１つだけの耳当て部が存在するモノラルヘッドセットである。ヘッドセット１００は、電気部品及び構造体（図示せず）を含み、これらの電気部品及び構造体は、電気部品を保護して快適なフィット性をもたらしながらユーザの頭部の表面からの電気信号を測定するために、ヘッドバンド１３０及び耳当て部１２０の中に収容されている。ヘッドバンド１３０は、バッテリ、及び各電極１１０とのワイヤ又はリード線を有する他の電子部品（無線送信器、プロセッサなど）などの電子機器（図示せず）を収容することができる。電力は、デバイス内部のバッテリから供給されるか、又は配線を介して外部デバイスから供給される。１つの実施形態では、ヘッドセット１００は、着用者の頭部のまわりに、例えば、頭部の頭頂部に沿って位置するように適用及び構成される。耳当て部１２０は、オーディオスピーカ１０５及びＥＥＧセンサ１１０の両方を含む。ＥＥＧセンサ１１０は、耳を取り囲む皮膚又は耳の皮膚との直接接触をもたらすように、耳当て部１２０上に配置することができる。イヤーパッド１１５は、電極１１０の配置を助けるために利用することができる。１つの実施形態では、イヤーパッド１１５は、エラストマー材料又は可撓性材料（例えば、発泡体、ゴム、プラスチック、或いは他のポリマー、ファブリック、又はシリコーンなどの弾力性のある又は柔軟な材料）から作製され、異なるユーザの頭部及び耳の形状及び大きさを収容できる形状であり、皮膚に対する電極の十分な加圧及び位置決めを可能にして適切な接触を保証しながら、装着の快適性をもたらすことができる。１つの実施形態では、電極は、アーチ形状のヘッドバンドが、耳に対してイヤーパッドを所定位置に保持することによって位置決めされる。

図２は、ヘッドバンドを有するスマートオーディオヘッドセットを用いた１つの実施形態を示しており、このヘッドバンドは、ユーザの頭皮との接触又は密接な接触を可能にするための１又は複数の電極歯又は延長部２１０を含む。電極歯は、ヘッドバンドの周りに配置され、例えば耳から耳までの頭部の上部にわたって、ＥＥＧ信号を記録することができる。複数のヘッドバンド３１０及び３２０は、頭部の異なる横断面を測定するのに使用することができる（例えば、図３を参照）。電極歯は、永続的にヘッドバンドに取り付けることができ、或いは取り外し可能／取り換え可能とすること、例えば、差し込み式ソケット又は雄／雌ソケットとすることができる。各電極歯は、頭皮に到達するのに十分な長さのものとすること、頭皮に接触した状態で「面する」ようにばね付勢さられること又は柔軟性／可塑性のあるものとすること、或いは物理的に接触しなくともＥＥＧ信号を取り込むように非接触式とすることができる。電極歯２１０は、着用者の頭部に対する心的外傷を防止するための曲線的外面を有することができ、より好ましくは、頭皮との安全で安定した接触を保証するためのフランジ状先端部を有することができる。電極歯２１０は、開口部のまわりに、又は代替的に、ヘッドバンドに沿って離間した関係で配置された１又は２以上の直線状の列に配列することができる。電極歯２１０は、ヘッドバンド２１０に対する追加の構造、剛性、又は可塑性を提供して、ユーザの頭皮に対して接点２３０を配置するのを助けることができるファブリック、ポリマー、又は金属材料から作製することができる。本発明はさらに、異なる位置に配置される電極を意図しており、例えば、図５に示されているように、電極歯又は延長部は、ヘッドバンドに取り付けられた又はヘッドバンドに取り付けることができる、くし状部又はヘアクリップ５２０上の電極歯として提供することができる。例えば、頭部の上部の電極は、頭髪に接触する場合がある。従って、「歯」、クリップ、又はばねの端部上の電極は、頭髪を通って頭部の頭皮に到達するために利用することができる。このような実施形態並びにヘッドバンド上の他の同様の電極の例は、米国特許出願番号１３／８９９，５１５「ＥＥＧ Ｈａｉｒ Ｂａｎｄ」に記載されており、その内容は、引用により本明細書に組み込まれる。

ＥＥＧに使用されるのに公知の様々な電極のうちのいずれかは、本デバイスで使用することができる。１つの実施形態では、耳当て部は、１つの電極又は複数の電極を備えることができる。１つの実施形態では、耳当て部は、完全に導電性とすることができる。さらに別の実施形態では、本デバイスで使用される１又は２以上の電極は、導電性電極ユニットを取り囲む非導電性材料で作製されたイヤーパッド内又はその表面に埋め込むこと又は包含することができる。さらに別の実施形態では、電極は、半導電面又は非導電面にエッチング又はプリントすることができる。ファブリック（合成、天然、半合成、及び動物の皮膚を含む）などの非導電性材料は、２以上の場合に各電極を切り離す／間隔を空けること、又は生体信号を接点に局所化するために使用することができる。本発明に利用される電極センサは、完全に導電性であること、非導電性材料又は半導電性材料と混ぜること又はその中に結合すること、或いは、例えば電極チップ上で部分的に導電性であるものとすることができる。例えば、ある実施形態では、導電性電極は、非導電性材料の中で又はそれなしに、電極の可塑性及び快適性を高めるためにファブリック、ネット、又はメッシュ状の材料の中に織り込まれか、或いはファブリック又は頭部ストラップの他の基材に埋め込まれる又は縫い付けられるか、或いは他の手段が施される。１つの実施形態では、ＥＥＧセンサは、ドライ電極又は半ドライ電極である。電極センサの材料は、電気信号を取得するために、ステンレス鋼又は銅などの金属、不活性金属など、金、銀（銀／塩化銀）、スズ、タングステン、酸化イリジウム、パラジウム、プラチナなどの金属、炭素（例えば、グラフェン）又は他の導電性材料、或いは上記の組み合わせとすることができる。導電性材料はさらに、コーティングすること又は電極内部に組み込むこと、例えば、ゴム、シリコーン、又はポリマーと混合されたグラフェン又は金属などの他の材料と混ぜ合わせることができ、最終電極がもたらされる。また、電極は、取り外し可能とすることもでき、例えば、使い捨て導電性ポリマー又は発泡体電極を含む。電極は、可塑性がある、事前に成形された又は剛性がある、或いはより大きな可塑性耳当て部の内部で剛性があるものとすることができ、例えば、シート状、矩形、円形、又は着用者の皮膚と接触することを可能にする他の形状などの何らかの形状のものとすることができる。例えば、電極は、皮膚と接触する外面導電層、及び本発明の電子部品に接続する内部接続部（耳当て部の下面）を有することができる。いくつかの実施形態では、電極は微細加工技術を使用して製造することができ、可塑性基板上にアレイ構成で非常に多くの電極を配置する。様々な実施形態では、刺激アレイは、可塑性材料上に配置された１又は２以上の生体適合金属（例えば、金、プラチナ、クロム、チタン、イリジウム、タングステン、及び／又は酸化物及び／又はこれらの合金）を含む。

図４に示されている一例は、デバイスの耳当て部上に重複して配置された電極歯４１０／４１１を示している。電極歯又は電極バンパー４１０／４１１は、様々な大きさ（例えば、幅及び長さ）、形状（例えば、サイロ状、直線状の波又は突起部、ピラミッド形）、材料、密度、形状因子、及び同様のものとすることができ、特に頭髪の干渉を最小にするために、最も強い信号を取得すること及び／又はノイズを低減することができる。図４は、導電性のある場合又はそうでない場合がある個別のバンパー４１１のアレイ４１１で取り囲まれた１つの電極における導電性の重複バンパーを含むいくつかの個別電極４１０を示している。個別のバンパーは、１つの大きな電極として使用することができる。図５は、髪の生えぎわの近くのバンパー電極５１０、及び頭髪に接触する可能性が低い、耳当て部のより低い部分における非バンパー電極５１２の個別の配置を示している。１つの実施形態では、電極は、ユーザの皮膚を刺激する（例えば、突く）可能性を伴わずに堅固な個々の接続をもたらための導電性チップ又は導電性繊維を有する発泡体又は類似の可塑性材料から作製される。参考としてさらに理解されるように、限定されるものではないが、このような材料及び設計は、バンパーを利用して足元を支持する何らかの「マッサージ」サンダルに見つけることができる。バンパー電極の設計は、接続部（例えば、頭髪を分けて頭皮に達するように設計された流線形押し付け接点）を最大にする因子、ノイズを低減する因子、耐久性を高める因子、不快感を緩和する因子、及び／又は快適性及び人間工学的なものを高める因子、並びに同様の因子を組み込むことができる。例えば、電極バンパーは、より可塑性のある材料を使用でき導電性バンパーを防護するための耐久性のある材料から製作された非導電性バンパーで取り囲むこと、或いは不快感を最小にする及び／又は電極の耐久性を最大にするアレイ状のものとすることができる。

本発明は、異なる組み合わせ及び数の電極及び電極組立体を利用することを想定している。電極に関して、電極の数量及び配列は、いずれも、許容空間、費用、実用性、及び用途を含む種々の要求に対応して異なるものとすることができる。従って、制限はない。電極組立体は、典型的に、各々が別々の電極リード線に対応する２以上の電極、例えば、数個又はそれより多い電極を有するが、例えば、各耳当て部ごとの電極が２から３００又はそれよりも多い範囲内での異なる数の電極を支持するのは容易である。１又は２以上の電極は、１つの重複アレイ電極として１つのリード線によって接続すること、複数の電極への各リード線が、異なる信号（例えば、チャネル）を記録するために各グループにグループ化された複数のリード線によって接続すること、或いは異なる信号又はチャネルのアレイが生成されるように別個の他の電極から独立している各電極への単一のリード線によって接続することができる。

イヤホンの電極の大きさは、閉じ込められた空間内の複数の電極に適合できることと、電極の静電容量がこの領域に比例することとの間のトレードオフとすることができるが、センサ及び配線のコンダクタンスは、電極の全体的な感度に寄与することもできる。耳挿入部は多くの異なる形状を有することができ、全ての形状の共通の目的は、ユーザの皮膚との密接なフィット性を与え、装着するのに快適であり、耳の閉塞ができるだけ少ない耳挿入部にすることである。例えば、図６は、オーディオスピーカ６０５及び１又は２以上の電極６１０を有する、インイヤ型イヤプラグを含むイヤホン６００（別名、耳の穴に差し込むタイプのイヤホン）としての本発明の１つの実施形態を示している。例示的なイヤホン６００は、耳甲介内又は外耳道内部に着座する。電極６１０は、イヤホン６００の外周又はイヤホン６００の中央に位置決めされて、耳甲介の皮膚（耳甲介の外壁又は中央）又は外耳道の壁部と直接接触することができる。図７は、インイヤ型ヘッドセットを示しており、ここでは、電極が、耳の内部に配置され、接地電極が、耳の外側部分（例えば、耳介）、又はユーザの頸部、及び首筋若しくは頸部の他の部分を一周することできる帯状部分に取り付けられ、追加の生体センサは、この帯状部分に配置することができる。

１又は２以上の電極は、デバイスの接地板に接続する接地又は基準端子（例えば、耳、耳垂、頸部、顔面、頭皮、前額部などの身体の一部分、又は代替的に胸部などの身体の他の部分に取り付けることができる）として使用されることが想定される。接地及び／又は基準電極は、１つの電極又は複数の電極に専用とすること、又は異なる電極の間で交互になることができる（例えば、電極は、接地と記録電極との間で交互になることができる）。

１つの実施形態では、１又は２以上の電極は、例えば、米国特許出願番号２０１５／０２３１３９６明細書に記載の電極アレイなどの、神経刺激される被験者に微弱な電圧及び電流を印可することができる。

１つの実施形態では、本発明は、１又は２以上のリード線に接続された１又は２以上の電極アレイ、及び神経刺激デバイスを含む組立体を備える。説明を容易にするために、１又は２以上の電極アレイは、単一の電極アレイを含むと説明することができる。しかしながら、当業者が本発明の教示を適用することを通して、各々が独立して同時にＥＥＧ信号を記録する２又は３以上の電極アレイを含む実施形態を構成することができる。例えば、実施形態は、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５、１６、１７、１８、１９、２０、又はそれより多い電極アレイを含むことができる。いくつかの実施形態では、このアレイは、有線又は無線とすることができる。さらに、各電極レイは、アレイごとに、１、２、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５、１６、１７、１８、１９、２０、２５、３０、５０、１００、又はそれより多い電極を含むことができる。いくつかの実施形態では、センサは、有線式又は無線式とすることができる。

生体信号データは、何らかの好適な方法で外部デバイス又はシステムに送信すること（及びこれによって制御すること）ができる。本発明の１つの例示的な実施形態では、デバイスのデータは、１又は２以上の信号を送信するための、ＲＳ−２３２シリアルケーブル、ＵＳＢコネクタ、Ｆｉｒｅｗｉｒｅ又はＬｉｇｈｔｎｉｎｇコネクタ、或いは他の好適な有線接続などの有線接続を使用して、媒介デバイス（例えば、コンピュータ又はモバイル機器などのクライアントデバイス）に送信される。標準のケーブル敷設を使用することが意図されているが、複数の並列ワイヤを有する専用配線も意図されている。データは、並列で又は順次的に送信され、未加工とすること又は処理することができる。また、生体信号データは、無線送信器、例えば、ＲＦモジュールを使用して、無線で媒介デバイスに送信することもできる。Ｂｌｕｅｔｏｏｔｈ（登録商標）接続、赤外線放射、Ｚｉｇｂｅｅ（登録商標）プロトコル、Ｗｉｂｒｅｅ（登録商標）プロトコル、ＩＥＥＥ ８０２．１５プロトコル、ＩＥＥＥ ８０２．１１プロトコル、ＩＥＥＥ ８０２．１６プロトコル、及び／又は超広帯域（ＵＷＢ）プロトコルなどの無線通信のいずれかの好適な方法が、医療機器データを送信するために使用することができる。また、メッセージは、無線移動体電話通信ネットワーク、汎用パケット無線サービス（ＧＰＲＳ）ネットワーク、無線ローカルエリアネットワーク（ＷＬＡＮ）、グローバル・システム・フォー・モバイル・コミュニケーションズ（ＧＳＭ）ネットワーク、ＧＳＭ進化型高速データレート（ＥＤＧＥ）ネットワーク、パーソナル通信サービス（ＰＳＳ）ネットワーク、高度携帯電話システム（ＡＭＰＳ）ネットワーク、符号分割多元接続（ＣＤＭＡ）ネットワーク、広帯域ＣＤＭＡ（Ｗ−ＣＤＭＡ）ネットワーク、時分割同期ＣＤＭＡ（ＴＤ−ＣＤＭＡ）ネットワーク、ユニバーサル移動体通信システム（ＵＭＴＳ）ネットワーク、時分割多元接続（ＴＤＭＡ）ネットワーク、及び／又は衛星通信ネットワークなどのいずれかの好適な無線システムを使用して無線で送信することもできる。必要な場合には、スマートオーディオヘッドホンは、例えば、冗長通信手段を提供するように、有線接続及び無線接続両方を使用して媒介デバイスに送信することができる。各コンポーネントは、それ自体の電源を有することができ、或いは集中電源が、デバイスのコンポーネントのうちの１又は２以上に電力を供給することもできる。

本発明の様々な実施形態では、本発明は、サーバユニットと接続して又はサーバユニットから独立して媒介デバイスと通信する本発明のヘッドホンを含む総合的オーディオヘッドホンシステムの一部分として実施することができる。ここで、限定されるものではないが、スマートディオヘッドホンと外部装置との間の回路構成（電気部品及び／又はモジュール）が存在し、このことは、スマートディオヘッドホンによって提供される機能が柔軟性のあること、例えば、取得した生体信号は、デジタル化の後で外部装置に直接送信すること又は送信前に処理することができることを意味し、様々な状況が可能であることに留意されたい。しかしながら、送信前の本発明のデバイスに対する処理は、同時に送信する必要がある独立した生体信号の数を少なくすることができる。当業者は、他の分野に適用される手法を適用して、情報を失うことなく帯域幅を狭くすることができる。送信前の処理は、複数の並列ワイヤの必要性を低減して、肥大化したケーブル及び費用を低減する。

１つの実施形態では、本発明のヘッドホンは、本発明の処理、全監視処理中に取得した生体信号、音楽及びその属性、及び同様のものを格納するメモリを備えることができ、或いはメモリは、無線送信中のバッファとして使用することができ、ユーザが外部装置の受信範囲外にいる場合に、ユーザが受信範囲内に戻った場合の将来の送信に備えて信号を依然として一時的に格納でき、或いはメモリは、無線伝送の信号品質が不十分な場合にバックアップを格納するのに使用することができる。本発明のヘッドホンは、データを格納するためのメモリを含むことができ、１つの実施形態では、メモリは、外部からアクセスされる取り外し可能なメモリとして実装することができ、例えば、ユーザは、デバイス全体ではなくメモリを利用することができる。

加えて、本発明は、必ずしも必要とされるものではないが、電極の効率を高めるための手法及び機構を意図している。例えば、単一のより広い電極は、アーチファクト及び／又はノイズが低減されるようにいくつかの冗長なより狭い電極に置き換えることができる。加えて、高入力インピーダンス増幅器チップ及び活性電極の手法が、接点インピーダンスの依存関係を小さくする。低消費電力、高利得、及び低周波数応答のための他の方法が意図されている。さらに、電極設計に関する考慮は、電極の生体適合性を高めること、電極インピーダンスを小さくすること、又は例えば低電圧パルスを印可することによって電極インタフェース特性を改良することを含む。本発明はさらに、脳機能における微妙な変化を測定する能力における継続した改良が見込まれる、信号の複雑性及び同期化を計算するための新しい信号源局在化アルゴリズム及び方法と一緒に、改良された分解能を備える新規性のあるＥＥＧセンサを組み込むことを意図している。

図中の概略的フローチャート及び／又は概略的ブロック図は、本発明の様々な実施形態による、アーキテクチャ、機能、並びに装置、システム、方法、コンピュータプログラム製品の可能性のある実装例の動作を示している。この関連で、概略的フローチャート及び／又は概略的ブロック図における各ブロックは、特定の論理機能を実装するためのプログラムコードからなる１又は２以上の実行可能命令を含むモジュール、セグメント、又はコードの一部分を表すことができる。

また、いくつかの別の実施態様では、ブロックで示された機能は、図中に示された順番以外の順番で行うことができることにも留意されたい。例えば、連続して示される２つのブロックは、実際には、実質的に同時に実行することができ、場合によっては、ブロックは、必要とされる機能に応じて逆の順番で実行することもできる。図に示された、機能、ロジック、１又は２以上のブロックに対する作用、又はこれらの一部において等価な他のステップ及び方法を想定することができる。

フローチャート及び／又はブロック図には様々なタイプの矢印及び線分を用いることができるいが、これらは対応する実施形態の範囲を限定するものではないことを理解されたい。実際には、いくつかの矢印又は他の結合子は、図示の実施形態の論理フローのみを示すために使用することができる。例えば、ある矢印は、図示の実施形態の列挙されたステップ間の不特定期間の待機又は監視期間を示す場合がある。また、ブロック図及び／又はフローチャートの各ブロック、並びにブロック図及び／又はフローチャートの各ブロックの組み合わせは、特定の機能又は動作、又は専用ハードウェアとコンピュータ可読プログラムコードとを組み合わせたものを実行する専用ハードウェアベースシステムによって実装できることにも留意されたい。

図９は、機械分類器９４０を使用して、図１１に示すように、選択的生理的信号９２０を学習してこの信号を対応する音楽に適合させる（９６０）ための、自動的かつ適応的に音楽を選択する非限定的なシステムの実施例を示している。生体信号は、楽曲又は他のタイプの音楽などの刺激提示９１０に基づいてユーザ９０１に関する特徴セットとして取得される（９２０）。本システムは、既存の分類された特徴セットから得られたパラメータ値、特にユーザ入力に適用される際のユーザ応答、又はデータを訓練するための他のこのような方法に基づいて、１又は２以上の感情、気分、及び／又は好みなどの特定の挙動として、生体信号を特徴付けるように訓練することができる（９３０）。加えて、特徴抽出及び選択手法１１０１などの、情報を低減するための機械学習又はパターン認識手法を適用することができる。次に、スマートオーディオヘッドホンから取得したユーザの生体信号特徴セットは、機械分類器、パターン分類器、及び／又は、気分、感情、及び／又は好みに関連すると判定された特徴セット内のパターンを見つけるための他のいくつかの好適な手法を使用して解析することができる（１１０２）。次に、この情報は、システムが、ユーザの精神状態に基づいてユーザのプレイリストを自動的に生成してこのプレイリストを連続的に適応させるのに使用することができる。本発明の１つの実施形態では、特徴セットは、ユーザの感情、気分、及び／又は好みを反映するＥＥＧデータセットである。ユーザの挙動の評価は、ユーザに関する新しいＥＥＧ記録が、本明細書で記載の本発明のいくつかの実施形態に従って収集及び解析されるたびに継続的に更新（例えば、挙動データベースにおいて）することができる。訓練は、最初に、周期的に、又は連続的に適用することができる。この情報は、継続的にシステムを適応／進化させるために、もしくは追加の機能又は解析のために、追加的に使用される挙動データベース（感情／気分／好みデータベース）に格納すること、又はクライアントデバイス又はサービスに送信することができる。いくつかの実施形態では、ＥＥＧ記録及び後続の解析は、異なるユーザに対して行うことができ、解析の各々からの特徴出力は、ユーザのグループに関する完全特徴セットに結合することができる。

生体信号は、当業者に公知の手法及び方法を使用して取得及び収集することができる。１つの特定の実施形態では、生体信号は、連続的に、ランダムに、又は周期的に、例えば、数秒、数分、数時間、及び／又は数日ごとに、又は楽曲の異なる部分（例えば、開始及び／又は終了）において、収集される。取得は、ユーザにとって顕著なもの又は目立たず控えめなものとすることができる。１つの実施形態では、ＥＥＧ信号は、連続的、断続的、又は周期的に取得される。特定の実施形態では、特定の事象関連電位（ＥＲＰ）解析及び／又は事象関連（電力）スペクトル摂動（ＥＲＳＰ）は、ユーザが刺激にさらされる前、その間、及び／又はその後、或いはユーザが刺激にさらされる前及びその後毎に、脳の異なる領域に対して評価される。例えば、脳の複数の領域におけるＥＲＰ時間領域成分の前刺激と後刺激の差分、並びに標的及び差分の測定値が求められる。並行して、例えば、心拍、電気反応などの他の生理的測定値を取得して、脳からの測定値と相互に関連付けることができる。

限定されるものではないが、（ＥＥＧ測定値）シータ、アルファ、ベータ、ガンマ、及びハイガンマを含む複数の周波数帯域及び位置にわたる注意、感情、及び記憶維持を評価するための反応差の事象関連時間、周波数、及び／又は振幅解析を評価することができる。１つの実施形態では、非対称インデックスは、これらの対称電極ペアのユーザスペクトルを含み、例えば電力減算又は分割のいずれかによって情報を処理することによって計算することができる。

また、本システムは、実在物／関係に関連する刺激セグメントの脳局部コヒーレンス測定と、ＥＥＧ測定値の時間周波数解析を含む神経生理的測定に基づいた注意、感情のかかわり、及び記憶維持推定値を合成するセグメント有効性測定と、セグメント間の差分聴覚関連神経シグネチャとを使用する関係評価を組み込むこともでき、結合／関係パターンは、セグメントを非結合相互作用と比較することで明らかになる。

１つの実施形態では、音楽、サウンド、演奏、視覚的体験、テキスト、画像、ビデオ、又は感覚体験などの様々な刺激を使用して、生理的反応を引き起こすことができる。神経反応データ又は脳活動、具体的には、ＥＥＧは、時間、空間、及びスペクトル情報を用いて測定することができる。加えて、本発明の手法及び機構は、神経領域間の相互作用が、組織化及び体系化された挙動に対応することを認識する。注意、感情、好み、気分、記憶、及びその他の能力は、空間、時間、電力、周波数、及び処理されたスペクトルデータを含む他の関連信号に基づくことができるが、これらの信号間のネットワーク相互作用に依存することもできる。

本発明の手法及び機構はさらに、種々の周波数帯域を取り込むことができることを認識する。加えて、評価情報は、各ユーザに対して較正すること、及び／又は各ユーザにわたって同期させることができる。特定の実施形態では、前刺激と後刺激との差分を測定するためのベースラインを生成するためのテンプレートがユーザ向けに生成される。様々な実施形態によれば、刺激生成器は、インテリジェントなものであり、各ユーザを解析するための露出期間及び継続時間などの特定のパラメータを適応的に変更する。

特定の実施形態では、生体信号収集は、ある事象又は時間と同期すること、例えば、刺激提示、ユーザのデバイス利用、又は２４時制と同期することができる。また、特定の実施形態では、信号収集は、状態評価サブシステムを含むことができ、この状態評価サブシステムは、自動トリガと、ユーザの状態、刺激、収集される信号、及びデータ収集機器を連続的に監視する警告及び状態監視及びコンポーネントとを提供する。また、状態評価サブシステムは、視覚的警告を提示して自動的に是正措置をトリガすることもできる。様々な実施形態により、本発明は、刺激材料に対するユーザの神経反応を監視するためのデータ収集機構又は処理だけでなく、刺激材料を識別してそれを監視するための機構も含むことができる。例えば、データ収集処理は、音楽プレーヤと同期されて、再生される音楽を監視することができる。他の実施例では、データ収集は、ユーザが、もはや刺激材料に注意を向けていない場合を監視するために一方向に同期することができる。さらに別の実施例では、データ収集は、刺激が、楽曲、旋律、番組、コマーシャル、印刷又はデジタル素材、体験、オーディオ素材、及び同様のものであるか否かに関わらず、一般的にユーザによって提示される刺激材料を受け取ってこれらを格納することができる。収集されたデータは、単にユーザの気分転換を図るものでなく、神経反応情報、及びこの情報の実際の刺激材料との相関の解析を可能にする。

図９に例示されている学習システムは、人間が介入する又は介入しない自動システムを含むことができる。例えば、図１０に示すように、ユーザ１００１は、幸福又は用心深さなどの感情、又はユーザの特定の音楽についての好き／嫌いなどの好みを示すものなどの訓練ガイドライン１０５０を提供して、システムの訓練９３０を開始することができる。加えて、本システムは、所定の音楽特性を利用することができ、従って、特定の音楽（例えば、ロック、ジャズ、ポップス、クラシック）のジャンル、アーティスト、又は特性などの類似の属性が、神経生理的信号及び／又は他の生理的信号の分類を可能にする。ユーザは、運動用音楽又は勉強用音楽及び同様のものなどの追加の所定の特性又は属性を提供することができる。また、このような生体信号の訓練９３０は、パターン認識及び物体識別手法を含むこともできる。これらのサブシステムは、ハードウェア実装及び／又はソフトウェア実装を含むことができる。例えば、１つの実施形態では、分類器１０４０は、取得した生体信号の完全特徴セット１０２０及び訓練データのデータベース１０５０を入力として受け取る。データベース１０５０は、限定されるものではないが、認識されたＥＥＧ測定値、ユーザ入力、刺激に関する既存の情報、及び対応するエキスパート評価及び診断結果を含む、分類処理を容易にするのに適した何らかの情報を含むことができる。

さらに別の実施形態では、図８に示されているように、ＥＥＧ（図示）、ＧＳＲ、ＥＣＧ／ＥＫＧ（図示）、瞳孔の拡張、ＥＯＧ、視線追跡、顔面表情符号化、反応時間などの１又は２以上の又は様々なモダリティを使用することができる。ＥＥＧなどのユーザモダリティは、神経領域伝達経路をインテリジェントに認識することによって改良される。クロスモダリティ解析は、中枢神経系、自律神経系、及びエフェクタ特徴の合成及び分析的混合を使用して改良することができる。時間及び位相シフト、同期、相互関連付け、及びイントラモーダル決定の検証などの機構による合成及び解析は、様々なデータ応答の有意性を特徴付ける合成出力を生成して、消費者体験評価を有効的に行うことを可能にする。

特に実生活の状況におけるユーザの動揺した感情、気分、及び／又は好みに自動的に適応するためのシステムに関連する本開示の態様は、その様々な実施形態を実行するための様々なＡ．Ｉ．（別名、人工知能）に基づくスキームを使用することができる。例えば、１日を通して生じる日常の感情、気分、及び／又は好みの変化に関連するものとして生体信号を相互に関連付けるための処理、及び／又は特定の好み、気分、及び／又は感情に関連するものとして特定の音楽の特性を分類してこれを登録する処理などは、本発明の自動分類システム及び処理を用いて容易にすることができる。別の実施例では、特定の音楽に関連するものとしてＥＥＧ信号を登録する処理、並びに特定の好み、気分、及び／又は感情を分類して音楽のプレイリスト及び／又は他の作用を予測的に生成するための処理は、特に、例えばスマートオーディオヘッドホンに関連するものとして、本発明の自動分類システム及び処理を用いて容易にすることができる。

図１１は、本開示の態様による、１又は２以上の処理の自動化を容易にすることができる学習コンポーネントを使用した例示的かつ非限定的なシステムを示している。メモリ（図示せず）、プロセッサ（図示せず）、及び特徴分類コンポーネント１１０２、並びに他のコンポーネント（図示せず）は、本明細書では例えば前記の図に関してより完全に説明される機能を含むことができる。検討中のランダム変数の数を低減する特徴抽出コンポーネント１１０１及び／又は特徴選択コンポーネント１１０１は、必ずしも必要とされるものではないが、何らかのデータ分類及びクラスタリングを行う前に利用することができる。特徴抽出の目的は、入力データをより少ない次元の特徴セットに変換することである。特徴選択の目的は、特徴のサブセットを抽出して、冗長な特徴を取り除いて、情報を提供する特徴を維持することによって計算効率を高めることである。

分類器１１０２は、何らかの好適な機械学習又は分類手法を実行することができる。１つの実施形態では、分類モデルは、データ内に存在する目的パラメータに基づいてデータ本体をクラスに分離することを試みる何らかの好適な統計的分類又は機械学習方法を使用して形成することができる。機械学習アルゴリズムは、このアルゴリズムの所望の結果又は機械学習中に利用可能なタイプの入力に基づいて分類基準に体系化することができる。教師あり学習アルゴリズムは、ラベル付けされた例、すなわち、所望の出力が既知である場合の入力に対して訓練される。教師あり学習アルゴリズムは、入力から出力への関数又はマッピングを一般化することを試み、次に、このアルゴリズムは、以前に確認されていない入力に対して出力を生成するのに思索的に使用することができる。教師なし学習アルゴリズムは、ラベル付けされていない例、すなわち、所望の出力が未知である場合の入力に対して動作する。ここで、この目的は、入力から出力へのマッピングを一般化することではなく、データ内の構造を発見すること（例えば、クラスタ分析を介して）である。半教師あり学習は、ラベル付けされた例とラベル付けされていない例とを両方組み合わせて、適切な関数又は分類器を生成する。トランスダクション又はトランスダクティブ推定は、特定の固定の（検証）事例に対して観測された特定の（訓練）事例から新しい出力を予測することを試みる。強化学習は、インテリジェントエージェントが、何らかの概念の報酬を最大にするために環境内でどのように動作するのが適切であるかに関係している。このエージェントは、観測できる環境状態を変化させる動作を実行する。エージェントは、一連の動作を通して、環境が、エージェントの動作にどのように応答するかについての情報を収集することを試み、累積的な報酬を最大にする一連の動作を合成することを試みる。学習のための学習は、以前の体験に基づいて、それ自体の帰納的バイアスを学習する。ロボット学習用に精巧に作られた発達学習は、それ自体の一連の学習状況（カリキュラムとも呼ばれる）を生成して、自律的自己分析及び人間の教師との社会的相互作用を介して新規技術のレパートリを累積的に取得し、能動的学習、成熟、モータシナジー、及び模倣などの誘導機構を使用する。また、機械学習アルゴリズムは、生成モデル及び識別モデルにグループ化することもできる。

本発明の１つの実施形態では、分類方法は、教師あり分類であり、ここでは、既知のカテゴリの例を含む訓練データが、既知のクラスの各々を規定する１又は２以上の関係セットを学習する学習機構に提示される。次に、新しいデータが、学習機構に適用され、次に、この学習機構が、学習された関係を使用して新しいデータを分類することができる。教師あり学習手法では、デバイスに対する神経インパルスのコントローラ又はコンバータは、適応される低水準フィードバックを計算するために所望の反応の詳細なコピーを必要とする。例えば、１又は２以上の生体信号マーカが分類される場合には、所望の反応は、所定の感情、気分、及び／又は好み、すなわちロック、クラシック、又はジャズなどの特定のタイプの音楽とすることができる。

教師あり分類処理の例は、線形回帰処理（例えば、重線形回帰（ＭＬＲ）、部分的最小二乗（ＰＬＳ）回帰、及び主成分回帰（ＰＧＲ））、二分決定木（例えば、ＣＡＲＴなどの再帰分割処理）、誤差逆伝播法ネットワークなどの人工ニューラルネットワーク、判別分析（例えば、ベイズ分類器又はフィッシャー分析）、ロジスティック分類器、及びサポートベクター分類器（サポートベクターマシン）を含む。別の教師あり分類方法は、再帰分割処理である。

教師あり学習アルゴリズムの別の例は、平均１従属推定器（ａｖｅｒａｇｅｄ ｏｎｅ− ｄｅｐｅｎｄｅｎｃｅ ｅｓｔｉｍａｔｏｒｓ：ＡＯＤＥ）、人工ニューラルネットワーク（例えば、誤差逆伝播法、オートエンコーダ、ホップフィールドネットワーク、ボルツマンマシン、及び制限付きボルツマンマシン、スパイキングニューラルネットワーク）、ベイズ統計（例えば、ベイズ分類器）、事例ベース推論、決定木、帰納論理プログラミング、ガウス処理回帰、遺伝子発現プログラミング、データ処理のグループ化方法（ＧＭＤＨ）、学習オートマトン、学習ベクトル量子化、ロジスティックモデルツリー、最小メッセージ長（決定木、決定グラフなど）、怠惰学習、事例に基づく学習（例えば、最近傍アルゴリズム、類似モデリング）、高い可能性の近似的に正確な学習（ｐｒｏｂａｂｌｙ ａｐｐｒｏｘｉｍａｔｅｌｙ ｃｏｒｒｅｃｔ ｌｅａｒｎｉｎｇ：ＰＡＣ）、リップルダウンルール、知識獲得方法、シンボリック機械学習アルゴリズム、サポートベクターマシン、ランダムフォレスト、決定木集合体（例えば、バギング、ブースティング）、順序分類、情報ファジィネットワーク（ＩＦＮ）、条件付き確率場、ＡＮＯＶＡ、線形分類器（例えば、フィッシャーの線形判別、ロジスティック回帰、多項ロジスティック回帰、単純ベイズ分類器、パーセプトロン）、二次分類器、ｋ近傍法、決定木、及び隠れマルコフモデルを含む。

他の実施形態では、生成される分類モデルは、教師なし学習モデルを使用して形成することができる。教師なし学習は、外部教示信号を必要とせずに神経デコーディングに適したデータ駆動手法を使用する代替手段である。教師なし分類は、訓練データセットが得られたスペクトルを事前に分類することなく、訓練データセット内の類似性に基づいて分類を学習することを試みることができる。

教師なし学習のための手法は、
・クラスタリング（例えば、ｋ平均法、混合モデル、階層的クラスタリング）（Ｈａｓｔｉｅ Ｔｒｅｖｏｒ、及びＲｏｂｅｒｔ Ｔｉｂｓｈｉｒａｎｉ、Ｆｒｉｅｄｍａｎ Ｊｅｒｏｍｅによる「Ｔｈｅ Ｅｌｅｍｅｎｔｓ ｏｆ Ｓｔａｔｉｓｔｉｃａｌ Ｌｅａｒｎｉｎｇ： Ｄａｔａ ｍｍｉｎｇ，Ｉｎｆｅｒｅｎｃｅ，ａｎｄ Ｐｒｅｄｉｃｔｉｏｎ」（２００９年）、ニューヨークのシュプリンガー社、４８５から５８６頁）と、
・隠れマルコフモデルと、
・次元低減のための特徴抽出手法を使用したブラインド信号源分離（例えば、主成分分析、独立成分分析、非負値行列因子分解、特異値分解（Ａｃｈａｒｙｙａ Ｒａｎｊａｎによる「Ａ Ｎｅｗ Ａｐｐｒｏａｃｈ ｆｏｒ Ｂｌｉｎｄ Ｓｏｕｒｃｅ Ｓｅｐａｒａｔｉｏｎ ｏｆ Ｃｏｎｖｏｌｕｔｉｖｅ Ｓｏｕｒｃｅｓ」（２００８年）、ＩＳＢＮ９７８−３−６３９−０７７９７−１（この書籍は、ブラインド信号源分離を用いた教師なし学習に焦点を合わせている））と、
を含む。

ニューラルネットワークモデルの中で、自己組織化マップ（ＳＯＭ）及び適応共鳴理論（ＡＲＴ）が、一般的に使用される教師なし学習アルゴリズムである。ＳＯＭは、マップ内の近傍位置が類似の特性を有する入力を表すトポグラフィー機構である。ＡＲＴモデルは、問題の大きさに伴ってクラスタ数が異なることを可能にし、ユーザが、警戒パラメータと呼ばれるユーザ規定の定数によって同じクラスタのメンバ間で類似度を制御するようにさせる。また、ＡＲＴネットワークは、自動目標認識及び地震波信号処理などの多くのパターン認識タスクにも使用される。ＡＲＴの最初のバージョンは、Ｃａｒｐｅｎｔｅｒ及びＧｒｏｓｓｂｅｒｇによって開発された（１９８８年）「ＡＲＴ１」（Ｃａｒｐｅｎｔｅｒ Ｇ．Ａ．及びＧｒｏｓｓｂｅｒｇ Ｓ．による「Ｔｈｅ ＡＲＴ ｏｆ ａｄａｐｔｉｖｅ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ ｂｙ ａ ｓｅｌｆ−ｏｒｇａｎｉｚｉｎｇ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ」（１９８８年）、コンピュータ ２１巻、７７から８８頁）である。

１つの実施形態では、サポートベクターマシン（ＳＶＭ）は、使用できる分類器の一例である。ＳＶＭは、可能性のある入力空間内の超曲面を見つけることによって動作することができ、この超曲面は、トリガされていない事象からトリガ基準を分離することを試みる。直観的には、これは、訓練データに近いが同一でないデータを検証するために、分類を正確なものにする。他の有向及び無向モデル分類手法は、例えば、単純ベイズ、ベイジアンネットワーク、決定木、ニューラルネットワーク、及びファジィ論理モデルを含むことができ、異なるパターンの独立変数を提供する確率的分類モデルが利用される。また、本明細書で使用される分類は、優先度のモデルを開発するのに利用される統計的回帰を含むことができる。

本開示の態様は、明示的に訓練された（例えば、ユーザ介入又はフィードバック、既知の感情／気分／好みなどの前提条件刺激９１０、既存のプレイリスト、音楽の好み、及び同様のものによる）分類器、並びに非明示的に訓練された（例えば、特定のユーザに対して経時的に音楽選曲を観測すること、使用パターン（例えば、勉強、運動など）を観測すること、外部情報を受け取ることなどによる）分類器、又はこれらの組み合わせを用いることができる。例えば、ＳＶＭは、特徴分類器コンストラクタ及び特徴選択モジュール内の学習又は訓練段階を介して構成することができる。従って、分類器は、限定されるものではないが、特定の感情、気分、及び／又は好みに関する生体信号を学習すること、特定の音楽に関連する生体信号（例えば、ＥＥＧ）を学習すること、アーチファクトノイズを含むノイズを取り除くこと、楽曲の属性に基づいて各ユーザ向けの音楽を自動的に類別すること、個人的感情、気分、及び／又は好みに関連する楽曲の属性を識別することなどを含むいくつかの機能を自動的に学習及び実行するのに使用することができる。基準は、限定されるものではないが、ＥＥＧ忠実度、ノイズアーチファクト、デバイス環境、デバイス用途、各音楽作品に利用可能な既存の情報、楽曲忠実度、サービスプロバイダの好み、及び／又は方針などを含むことができる。

例えば、図１０に示されているように、本発明の１つの実施形態では、スマートオーディオヘッドホンシステムは、ユーザの介入を利用して、システムの訓練を開始する。ユーザ１００１は、楽曲を（事前に）選択すること、音楽のタイプに関する一般的なガイドライン及び好み、又は例えば、ユーザが、ある音楽のジャンル、あるアーティスト若しくは楽器、又はある楽曲の特徴を好むことなどの他のこのような属性を提供すること、或いは「これは「ロック」ソングである」などの音楽に関する分類を事前に確立すること（例えば、事前に分類すること）によって、本システムを開始することができる。同様に、ユーザは、例えば、運動、勉強、集中、又はバックグラウンドミュージックといった所望の使用法及び／又は用途に基づいて、異なるガイドライン及び好みを特定する楽曲を事前に選択することができる。ユーザに対して音楽が再生される際に、ユーザは、各楽曲又は楽曲の一部分に関する好み状態（「好き」又は「嫌い」）、各楽曲又は楽曲の一部分に起因する感情（例えば、「楽しい」楽曲、「ラブソング」、又は「集中」楽曲など）、楽曲のスキップ又は繰り返し、或いは他のこのような介入を手動で特定して、本発明のシステムが、ユーザ介入に連動して、収集及び取得された生体信号から訓練することを可能にすることができる。本システムは、フィードバックループを生成して、ユーザの好み、気分、及び／又は感情に対してより正確に予測又は進化するように本システムをさらに訓練及び適応することができる。

様々な実施形態により、本発明のシステムは、随意的に事前処理ステップも含む。事前処理は、生体信号特徴セットの複雑性又は次元を低減するためのステップを含むことができる。例えば、図１１は、特徴抽出及び／又は特徴選択処理を使用する任意選択ステップを示している。既存の又は認識された生体信号を活用する特徴抽出手法は、処理を低減するのに適用できるが、主成分分析又は独立成分分析、半定値埋め込み、多因子次元低減、多重線形部分空間学習、非線形次元低減、イソマップ（ｉｓｏｍａｐ）、潜在的意味解析、部分的最小二乗分析、オートエンコーダ、及び同様のものなどの一般的な次元低減手法が、有用とすることもできる。加えて、特徴選択ステップ９０３は、より大きい特徴セットから関連特徴のサブセットを選択して、冗長で無関係な特徴を取り除くこと、例えば、生体信号特徴セットから１又は２以上の生体信号を削減すること、音楽属性特徴セットから１又は２以上の音楽属性を削減すること、又は感情／気分／好み特徴セットから１又は２以上の感情／気分／好みを削減することに使用することができる。各サンプルに関する結果として生じる強度値は、フィルタ手法を含みデータに内在する特性を調査することによって特性の関連性を評価できる特徴選択手法、特徴セット検索内にモデル仮説を組み込むラッパー方法、及び／又は最適な特徴セットの検索が分類器アルゴリズムに組み込まれた組み込み手法を使用して解析することができる。

特定の実施形態では、本発明はさらに、固定適応フィルタリング、重み付き平均、改良型成分抽出（ＰＣＡ、ＩＣＡのようなもの）、ベクトル成分分離方法などを使用して、収集されたデータに対して、ノイズ、アーチファクト、及び他の無関係な又は冗長なデータを取り除くための特徴抽出／選択処理の一部分である場合又はそうでない場合があるフィルタを含む。このフィルタは、外来ノイズ（ユーザがビデオを視聴している間、信号源が、ユーザの生理機能以外である、例えば、ＲＦ信号、電話の鳴る音）及び内因性アーチファクト（信号源が、神経生理的なもの、例えば、心臓アーチファクト、筋肉の動き、まばたきなど）の両方を取り除くことによってデータを削除する。アーチファクト削除サブシステムは、選択的に反応データを切り離してこのデータを調査し、回線周波数、まばたき、筋肉の動きなどのアーチファクトに対応する時間領域及び／又は周波数領域属性を有するエポックを識別する機構を含む。次に、アーチファクト削除サブシステムは、これらのエポックを省略すること、又は他の正確なデータ（例えば、ＥＥＧ隣接重み付き平均手法）に基づいてこれらのエポックデータを推定値と置き換えることのいずれかによって、アーチファクトを取り除く。

様々な実施形態により、事前処理は、ハードウェア、ファームウェア、及び／又はソフトウェアを使用して実装される。事前処理は、特徴分類の前に利用することができる。事前処理は、他のコンポーネントと同様に、システム実装に基づいて異なる位置及び機能を有することができることに留意されたい。例えば、いくつかのシステムは、他のシステムでは、ユーザデバイスに、ユーザクライアントデバイス（コンピュータ又はモバイル機器）上に、又は「クラウド内の」集約処理システム上に組み込むことができる何らかの自動処理ステップであっても、その自動処理ステップを使用することができない。

図９にさらに示されているように、本発明の実施形態はさらに、ＥＥＧ信号などの選択された生体信号で表され分類された感情／気分／好みに合うように楽曲又は他の音楽をマッチング及び選択する音楽マッチングステップを含む。本システムは、ユーザの手動の、意識した、潜在意識の、又は感情的な音楽選択に合致するように自動的に音楽のプレイリストを生成することができる。音楽は、デバイス上、スタンドアロン型コンピューティングデバイス又はモバイル機器上、或いはクライアントデバイス上の音楽データベース内に、より大規模なネットワーク又はグリッドコンピューティングシステムの一部分として格納することができる。例えば、特定の感情、気分、又は好みとして表された識別子は、ユーザから収集された生体信号に基づいて各楽曲（又は楽曲の一部分）に関連付けることができる。また、識別子は、複数のユーザ（例えば、全住民）の感情／気分／好み、音楽属性データベース、全住民ライブラリ、及び同様ものを表すこともできるが、１つの実施形態では、識別子は、ユーザの即時の又はリアルタイムの感情、気分、及び／又は好みを測定するためのユーザに特有のものである。識別子は、システムを改良するために、さらにシステムを訓練するために、メタデータとして利用するために、又は他のこのような目的で、例えば、１つの実施形態では、システム内部の又は外部の１又は２以上のデータベースに収集及び集約することができる。識別子は、一時的又は永続的に音楽と関連付けること、又はユーザの好みが変化するとともに進化させることができる。例えば、ユーザは、システムをさらに訓練するのに使用できる音楽選択を無効にすること又はこの選択を確認することができる。加えて、本システムは、異なる感情、気分、及び／又は好みを各楽曲に関連付けるように学習するので、識別子は、修正することができ、或いは複数の識別子が、各楽曲（又は楽曲の一部分）と関連することもできる。例えば、本システムは、ユーザがこの特定の時間に複数回再生した場合には「楽しい」楽曲をハッピーソングとして明示することができず、従って、識別子の変更又は複数の識別子の割り当てが必要となる。従って、本システムは、感情、気分、及び／又は好みの強度を、特定の楽曲又は音楽に、或いは時間又は活動／環境に依存する感情／気分／好みに関連付けることもできる。追加的に又は代替的に、上述したプレイリストは、楽曲の属性に基づいて生成することができる。例えば、楽曲に関するユーザの好みが識別されると、本システムは、これらの楽曲が、音楽属性などのどの共通要素を有するかを発見して、音楽の新規プレイリストを発見してそれを生成するのに利用することができる。

追加の実施形態又は本発明の別の／独立した実施形態において、図１２に示されているシステムは、ユーザの特定の気分、感情、及び／又は好みに関連する音楽の属性を学習するためのオーディオ属性分類システムを含む。１つの実施形態では、感情、気分、及び／又は好みに分類された（例えば、本システム又はユーザによる）音楽は、本システムと、同様に分類された音楽に基づいて生成され分類された属性のパターンとを訓練するのに使用することができる。本明細書で説明する属性分類方法は、類似の音楽（例えば、同様に分類された属性を有する音楽）のプレイリストを生成するのに使用することができる。本発明はさらに、プレイリスト上の再生される音楽が、適切な感情、気分、及び／又は好みと適合することを継続的に確認する適応コンポーネントを含むことができる。分類器は、適合した音楽だけでなく適合しなかった音楽の両方から、具体的には、この音楽を構成する属性から学習することができる。

１つの実施形態では、音楽作品の要素又は特性を含む属性に基づいて選択された音楽は、システムを訓練するのに使用することができる（また、以下さらに説明するように、本システムが、音楽データベース内の音楽を類別／分類すること及び／又は関連音楽を識別することに利用することができる）。このような属性は、ピッチと、半音階内の音符と、拍子記号、リズム、ペダル、アタック、サステイン、及びテンポを含む継続時間に基づく音符及び要素の継続時間と、ラウドネス又はボリューム及び基づいている要素と、半音階内の音符間にあるピッチと、第２の高い分解能未満の時間間隔でサンプリングされたピッチと、倍音の主音と、音楽作品又は演奏の非音楽的サウンド部分と、音声又は他の音符と同時に生じる一連のユーザ音符と、パーカッションと、音色、鮮明度、こする音、及び電子的歪みを含むサウンド品質と、主題を表す又はメロディに関する一連の音符と、連続的に倍音の役割を有する音符と、正格終止、弱終止、アーメン終止、及び半音下げた第６終止を含む終止のタイプと、終止の段階と、コードのタイプと、コードのメジャー／マイナー状態と、コード内の音符と、パートと、楽句と、不協和音と、を含む。また、属性は、楽曲の特徴、例えば、ジャンル（例えば、ロック、クラシック、ジャズなど）、楽曲の雰囲気、楽曲が録音された時期、アーティストに最も関連する血統又は領域、アーティストタイプ、歌手の性別、歪みレベル（電子ギター）、及び同様もののも含む。例えば、Ｇｒａｃｅｎｏｔｅ（ｗｗｗ．ｇｒａｃｅｎｏｔｅ．ｃｏｍ）、以前はＣＤＤＢ（コンパクトディスクデータベース）、ＦｒｅｅＤＢ（ｈｔｔｐ：／／ｗｗｗ．ｆｒｅｅｄｂ．ｏｒｇ）、ＭｕｓｉｃＢｒａｉｎｚ（ｈｔｔｐ：／／ｍｕｓｉｃｂｒａｉｎｚ．ｏｒｇ）、及びＰａｎｄｏｒａによって利用されるシステム（及び米国特許番号７，００３，５１５号「Ｍｕｓｉｃ Ｇｅｎｏｍｅ Ｐｒｏｊｅｃｔ」に記載のもの）などの属性ライブラリを利用することができる。一般的な属性は、楽曲をグループ化又はクラスタリングすること、及び／又は各楽曲に関連する感情、気分、又は好みを識別／ラベル付けすることに利用することができる。

ある実施形態では、プレイリストは、２つ以上の作品において繰り返されユーザの好ましいスタイルの本質と解釈できるパターンに基づくことができる。スタイルは、種々の音楽間の関係の反復パターンに固有である。これらのパターンの主成分は、音楽データベースプレイリスト内に取り込まれそこで表現された数量及び品質、例えば、作品内のピッチ、継続時間、時間的位置であるが、強弱法及び音色などの他の因子が、再生に関与することができる。パターンは、ハーモニィなどの垂直同時関係、メロディなどの水平時間ベースの関係、並びに振幅ベースの関係（強弱法）、及び音色関係で区別することができる。パターンは、同一、ほとんど同一、同一であるが逆、類似しているが反転したもの、同様であるが同一でないものとすることができる。この処理の本質は、音楽の異なる部分のパターンを反復して選択し、データベース内の他の場所で同様又は類似のパターンの他のインスタンスを探し求めること、並びに発生頻度、タイプ、及び類似度によって音楽をランク付けして、適合する音楽の一覧を編集することである。この調査の目的（すなわち、最終的なパターンマッチングが、厳密に又は幅広く割り当てられたか否か）は、ユーザの感情、気分、及び／又は好みに特有の音楽データベース内の音楽本体の共通点又は「スタイル」を特徴付けるパターンを検出することである。

本発明は、適宜、本明細書において環境用途の観点から説明される。これらの環境の観点からの説明は、本発明の様々な特徴及び実施形態を例示的なアプリケーションとの関連で表現することを可能にするために提示される。本明細書で開示される実施形態に対して様々な変更を行うことができるが理解されるであろう。従って、上記の説明は、限定されるものではなく、単に好ましい実施形態を例示するものとして解釈されたい。当業者であれば、本開示の範囲及び精神の中で他の変更例が構想されるであろう。このような変更例及び変形例は、以下の特許請求の範囲の範疇に含まれることが意図されている。

例えば、スマートオーディオヘッドホンシステムは、本発明を限定することなく、ユーザ個人専用プレイリストを自動的かつ適応的に生成することを含む様々な用途に利用することができる。加えて、このデバイスは、異なる環境でユーザのリアルタイムの感情／気分／好みに基づいて異なる楽曲及び他のタイプの音楽を再生するのに利用できるだけでなく、用途に応じて楽曲及び／又は音楽を操作するのに利用することもできる。例えば、運動している人は、ユーザの生理的状態に基づいて楽曲のテンポを速くすることができる。１つの実施形態では、本デバイスは、機械学習を使用して学習者（又は作業者）の関与（ｅｎｇａｇｅｍｅｎｔ）及び／又は不関与（ｄｉｓ−ｅｎｇａｇｅｍｅｎｔ）を決定して、学習者の関与を修正又は改良することができる。機敏さを高める音楽は、学習者の精神状態を修正するために再生することができる。図示の実施形態では、学習者関与モジュールは、１又は２以上の学習者、１又は２以上の電子学習出版社、１又は２以上の学習機関、又は同様のものと通信して、電子学習出版社及び／又は学習機関によって学習者に提供される電子学習材料に関して学習者の関与を決定することができる。同様に、憂鬱な人、ストレスを受けている人、或いは片頭痛又は頭痛などの精神的、心理的、又は生理的な異常の傾向がある人は、本デバイスを使用して、このような状態を緩和又は軽減することができる。他の実施形態では、本システムは、他の動作（非音楽的）を開始することができ、例えば、本発明のデバイスは、インターネット（「モノのインターネット」）を介してアクセスされる物理的物体のネットワークに接続されて、他のデバイス又は他のマシン（例えば、視界内の色及び明るさ）を操作することができる。他の応用例は、ニューロトレーニング、知覚学習／訓練、ニューロフィードバック、神経刺激、及び例えばオーディオ刺激を利用できるものを含む他の応用例を含む。

ここで、図１３を参照すると、この図は、挙動ライブラリ、感情、気分、及び／又は好みのライブラリ、分類整理した音楽及び／又はその属性のライブラリ、ユーザデータベース、及び複数ユーザの共有データベースを含む、本明細書で利用される例示的なデータストアを示す概略図である。感情、気分、又は好みのライブラリは、感情、気分、又は好みに関連する生体信号、例えば、本発明のシステムによって特定のユーザに関して収集及び分類された既存のライブラリ及び／又は生体信号を含むことができる。音楽ライブラリは、ユーザによって又はより大きいライブラリから収集された音楽の一覧、各楽曲又は音楽に関連するユーザの気分、感情、又は好みを含み各楽曲又は音楽に関連する属性を含むことができる。音楽ライブラリは、デバイス上に、又はデバイスの外部に、或いはサービスを介して格納することができる。いくつかの実施形態では、サーバは、ユーザデータベースを含むことができる。ユーザデータベースは、データベース、階層木、データファイル、又は一般的にユーザレコードと呼ばれる、複数のユーザに関して同じライブラリ内又は別個の共有データベース内に集合的に格納することができる、ユーザの識別情報又は記録を格納するための他のデータ構造を含むことができる。

ある実施形態では、本発明のデバイスシステムは、オーディオファイルを含む１又は２以上のライブラリを提供するように、及び／又はユーザが、これらのライブラリを提供することを可能にするように構成される。本明細書で使用される音楽ライブラリは、複数のオーディオベースファイルを集めたものを意味する。１つの実施形態では、本発明は、デバイスに格納された全てのオーディオファイルを含む総合的又は主要ライブラリを提供するように構成される。また、本発明は、２又は３以上のオーディオファイルを含むサブセットを提供するように、又はユーザが、これらのサブセットを生成することを可能にするように構成される。ライブラリサブセットは、任意数のオーディオファイルを含むが、ライブラリに格納されたオーディオファイルの全てより少ないオーディオファイルを含むことができる。「音楽ライブラリ」という用語は、電子デバイス上に格納された全てのオーディオベースファイルを含む主要ライブラリ、及び電子デバイス上に格納されたオーディオベースファイルのサブセットを含むライブラリサブセットを包含する。また、ライブラリサブセットは、ライブラリのコンテンツを規定する又はこのコンテンツをラベル付けするように別の用語によって変更される場合又は変更されない場合がある単なる「音楽ライブラリ」を意味することもあり、或いは、ライブラリサブセットは、プレイリストを意味することもある。主要音楽ライブラリは、特定のオーディオベースファイル全部を集めたものを意味することができる。例えば、主要ライブラリは、ユーザの格納された音楽又は楽曲ファイルの全てを含む主要音楽ライブラリとすることができる。ライブラリサブセットは、ユーザが生成したもの、又はライブラリアプリケーションによって生成されたものとすることができる。本発明は、オーディオファイルに関連して学習された感情、気分、及び／又は好みに基づいてライブラリサブセットを生成することができる。例えば、楽曲ファイルは、ジャンル、アーティスト名、アルバム名、及び同様のものなどの属性を含むことができる。また、本発明は、例えば、ライブラリ名、生成された日付、誰がライブラリを生成したか、オーディオファイルの順番、ライブラリが編集された日付、ライブラリ内のオーディオファイルが再生された順番（及び／又は平均順番）、ライブラリ内のオーディオファイルが再生された回数及び／又は平均回数、及び本明細書で説明した他のこのような属性などの、ライブラリに関連する様々な特徴又はデータを特定するように構成することもできる。

実施形態のある態様は、本明細書では、本発明の実施形態による方法、装置、システム、及びコンピュータプログラム製品の概略的フローチャート及び／又は概略的ブロック図を参照して説明される。概略的フローチャート及び／又は概略的ブロック図の各ブロック、及び概略的フローチャート及び／又は概略的ブロック図のブロックの組み合わせは、コンピュータ可読プログラムコードによって実装できることが理解されるであろう。これらのコンピュータ可読プログラムコードは、汎用コンピュータ、専用コンピュータ、シーケンサ、又はマシンをもたらす他のプログラム可能データ処理装置のプロセッサに提供されて、コンピュータ又は他のプログラム可能データ処理装置のプロセッサを介して実行される命令が、概略的フローチャート及び／又は概略的ブロック図のブロックにおいて規定された機能／動作を実行するための手段を生成するようにすることができる。

ここで、図９から１２の方法を実行できる処理システム１３００を示すブロック図である図１４を参照する。図１４は、単に、そのいずれか又は全てが必要に応じて利用できる様々なコンポーネントの一般的な実例を提示することを意味していることに留意されたい。従って、図１４は、ユーザシステムの要素が、比較的より独立して、又は比較的より統合されて、どのようにして実装できるかを広義に示している。

本明細書で説明する機能ユニットの多くは、より具体的にこれらの実装独立性を強調するようにモジュールとしてラベル付けされている。例えば、モジュールは、カスタムＶＬＳＩ回路又はゲートアレイ、論理チップなどの市販の半導体、トランジスタ、又は他の個別部品を含むハードウェア回路として実装することができる。また、モジュールは、マイクロコード、ファームウェア、もしくはフィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジックデバイス又は同様のものなどのプログラマブルハードウェアデバイスなどで実装することもできる。

また、モジュールは、様々なタイプのプロセッサによって実行されるソフトウェアで実装することもできる。例えば、コンピュータ可読プログラムコードからなる識別されたモジュールは、例えば、オブジェクト、手続き、又は機能として構成できるコンピュータ命令からなる１又は２以上の物理又は論理ブロックを含むことができる。それにもかかわらず、識別されたモジュールの実行ファイルは、物理的に一緒に位置する必要はないが、異なる場所に格納された異なる命令を含むことができ、これらの命令は、論理的に一緒に結合された場合に、モジュールを構成してこのモジュールに指定された目的を達成する。本明細書では、これらの実装、又は本発明が利用できる他の何らかの形態は、手法、ステップ、又は処理と呼ばれることがある。

実際には、コンピュータ可読プログラムコードからなるモジュールは、単一の命令又は多数の命令とすることができ、さらに、いくつかの異なるコードセグメントにわたって、異なるプログラム間で、及びいくつかのメモリデバイスにわたって分散することもできる。同様に、本明細書では、動作データは、モジュール内で識別されて示すことができ、何らかの好適な形態で具体化されて、何らかの好適なタイプのデータ構造内で構成することができる。動作データは、単一のデータセットとして収集すること、又は異なる記憶装置を含む異なる場所にわたって分散することができ、少なくとも部分的に、単なるシステム又はネットワーク上の電子信号として存在することもできる。モジュール又はモジュールの一部分がソフトウェアで実装される場合、コンピュータ可読プログラムコードは、１又は２以上のコンピュータ可読媒体に格納すること及び／又はこれらのコンピュータ可読媒体で配布することができる。

コンピュータ可読媒体は、コンピュータ可読プログラムコードを格納する有形のコンピュータ可読記憶媒体とすることができる。１又は２以上のコンピュータ可読記憶媒体の何らかの組み合わせを利用することができる。コンピュータ可読記憶媒体は、例えば、限定されるものではないが、電子、磁気、光学的、電磁的、赤外線、又は半導体システム、装置、又はデバイス、或いは前述のものの何らかの好適な組み合わせとすることができる。

コンピュータ可読媒体のより具体的な例（非網羅的リスト）は、限定されるものではないが、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能でプログラム可能な読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、Ｂｌｕ−Ｒａｙ（登録商標）ディスク（ＢＤ）、光学式記憶装置、磁気記憶装置、ホログラフィック記憶媒体、マイクロメカニカル記憶装置、又は前述のものの何らかの好適な組み合わせを含むことができる。本明細書との関連で、コンピュータ可読記憶媒体は、命令実行システム、装置、又はデバイスによって及び／又はこれらに関連して使用されるコンピュータ可読プログラムコードを含むこと、及び／又はこのコンピュータ可読プログラムコードを格納することができる何らかの有形媒体とすることができる。

また、コンピュータ可読媒体は、コンピュータ可読信号媒体とすることもできる。コンピュータ可読信号媒体は、例えばベースバンドにおいて又は搬送波の一部分として具体化されコンピュータ可読プログラムコードを有する伝搬データ信号を含むことができる。このような伝搬データ信号は、限定されるものではないが、電気、電磁気、磁気、光学、又はこれらの何らかの好適な組み合わせを含む様々な形態のうちのいずれかを利用することができる。コンピュータ可読信号媒体は、命令実行システム、装置、又はデバイスによって又はこれらに関連して使用されるコンピュータ可読プログラムコードを伝達すること、このコンピュータ可読プログラムコードを伝搬すること、又はコンピュータ可読プログラムコードを搬送することができコンピュータ可読媒体ではない何らかのコンピュータ可読媒体とすることができる。コンピュータ可読信号媒体上で具体化されるコンピュータ可読プログラムコードは、限定されるものではないが、無線、有線、光ファイバケーブル、無線収集（ＲＦ）、又は同様ものの、或いは前述のものの何らかの好適な組み合わせを含む何らかの適切な媒体を使用して送信することができる。

１つの実施形態では、コンピュータ可読媒体は、１又は２以上のコンピュータ可読記憶媒体及び１又は２以上のコンピュータ可読信号媒体の組み合わせを含むことができる。例えば、コンピュータ可読プログラムコードは、プロセッサによって実行されるように光ファイバケーブルを介して電磁気信号として伝搬すること、及びプロセッサによって実行されるようにＲＡＭ記憶装置に格納することができる。

本発明の態様に関する動作を実行するためのコンピュータ可読プログラムコードは、Ｊａｖａ、Ｐｙｔｈｏｎ、Ｒｕｂｙ、ＰＨＰ、Ｃ＋＋、又は同様のものなどのオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語などの従来の手続型プログラミング言語を含む１又は２以上のプログラミング言語の何らかの組み合わせで記述することができる。コンピュータ可読プログラムコードは、ユーザのコンピュータ上で完全に、ユーザのコンピュータ上で部分的に、スタンドアロン型ソフトウェアパッケージとして、ユーザのコンピュータ上で部分的かつリモートコンピュータ上で部分的に、或いはリモートコンピュータ又はサーバ上で完全に実行することができる。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む何らかのタイプのネットワークを介してユーザのコンピュータに接続することができ、或いはこの接続は、外部コンピュータ（例えば、インターネットサービスプロバイダを使用したインターネットを介する）に対して行うこともできる。

また、コンピュータ可読プログラムコードは、コンピュータ、他のプログラム可能データ処理装置、又は他のデバイスに、特定の方法で機能するように指示できるコンピュータ可読媒体に格納されて、このコンピュータ可読媒体に格納された命令が、概略的フローチャート及び／又は概略的ブロック図のブロックにおいて規定された機能／動作を実行する命令を含む製造品を製造するようにすることができる。

また、コンピュータ可読プログラムコードは、コンピュータ、タブレット又は電話機などのその他のプログラム可能データ処理装置、或いはその他のデバイスにロードされて、一連の動作ステップを、コンピュータ、その他のプログラム可能装置、又はその他のデバイス上で実行させて、コンピュータ実行処理を生成して、コンピュータ又はその他のプログラム可能装置上で実行されるプログラムコードが、フローチャート及び／又はブロック図のブロックで規定された機能／動作を実行するための処理を提供するようにすることもできる。

図１５に示されているように、本発明のある実施形態は、ネットワークを含むことができるネットワーク接続環境で動作する。このネットワークは、限定されるものではないが、ＴＣＰ／ＩＰ、ＳＮＡ、ＩＰＸ、ＡｐｐｌｅＴａｌｋ、及び同様のものを含む商業的に利用可能な種々のプロトコルのうちのいずれかを使用したデータ通信をサポートでき当業者によく知られたいずれかのタイプのネットワークとすることができる。単に例として、ネットワークは、限定されるものではないが、Ｅｔｈｅｒｎｅｔ（登録商標）ネットワーク、トークンリングネットワーク及び／又は同様のものを含むローカルエリアネットワーク（ＬＡＮ）、限定されるものではないが、仮想プライベートネットワーク（「ＶＰＮ」）を含む仮想ネットワーク、インターネット、イントラネット、エクストラネット、公衆交換電話網（「ＰＳＴＮ」）、赤外線ネットワーク、限定されるものではないが、当業者に公知のＩＥＥＥ ８０２．１１プロトコル一式、Ｂｌｕｅｔｏｏｔｈ（ＴＭ）プロトコル、及び／又はその他の無線プロトコルのいずれかの下で動作するネットワークを含む無線ネットワーク、及び／又はこれらの何らかの組み合わせ及び／又はその他のネットワークとすることができる。

本発明の実施形態は、ヘッドホン又はクライアントと同一場所に配置すること、或いは例えば「クラウド」内にリモートで配置することができる１又は２以上のサーバコンピュータを含むことができる。サーバコンピュータの各々は、限定されるものではないが、上述したもののいずれか、並びに商業的に（又はフリーで）利用可能ないずれかのサーバオペレーティングシステムを含むオペレーティングシステムで構成することができる。また、サーバの各々は、サービスを、スマートオーディオヘッドホンに直接、１又は２以上の媒介クライアントに、及び／又はその他のサーバに提供するように構成することができる１又は２以上のアプリケーション及びデータベースを実行することができる。

別途規定されない限り、本明細書で用いられる全ての技術的及び科学的用語は、本発明が属する技術分野の当業者によって一般に理解されるものと同じ意味を有する。本明細書で参照される全ての特許、出願、公開出願、及びその他の公開物は、その全体が引用により組み込まれる。このセクションで示される定義が、引用により本明細書に組み込まれた出願、公開出願、及びその他の公開物で示される定義に反する場合、又はそれ以外の場合には、それと矛盾する場合には、本明細書で示される定義が、引用により本明細書に組み込まれた定義より優先する。

１００ システム
１１０ センサ
１１５ イヤーパッド
１２０ 耳当て部
１３０ ヘッドバンド

Claims (20)

1. ユーザの学習された感情、気分、及び／又は好みに基づいて適応的かつ自動的に音楽を選択するスマートオーディオヘッドホンシステムであって、
   １又は２以上のオーディオスピーカと、
   １又は２以上の生体信号センサと、
   を備え、
   適応的に１又は２以上の生体信号を取得して分類し、ユーザの感情、気分、及び／又は好みを学習して、前記ユーザの好み、気分、及び／又は感情にマッチする音楽を選択するようになった、オーディオヘッドホン。
2. 生理的信号を取得して、前記生理的信号を対応する感情、気分、及び／又は好みに分類するための機械分類器をさらに備える、請求項１に記載のオーディオヘッドホンシステム。
3. 前記生理的信号は、ユーザが最初に使用する際に、断続的に、周期的に、又は連続的に取得される、請求項２に記載のオーディオヘッドホンシステム。
4. 前記生理的信号は、音楽と相互に関連付けられる、請求項２に記載のオーディオヘッドホンシステム。
5. 前記生体信号センサは、電極である、請求項１に記載のオーディオヘッドホンシステム。
6. 前記電極は、ユーザの耳の皮膚、前記ユーザの耳を取り囲む皮膚、或いは前記ユーザの耳の周りの又は頸部の髪の生えぎわに沿った皮膚からＥＥＧ信号を読み取るように位置決めされる、請求項４に記載のオーディオヘッドホンシステム。
7. 前記ヘッドホンは、２又は３以上の電極を備え、少なくとも１つの電極が基準電極である、請求項４に記載のオーディオヘッドホンシステム。
8. 前記スピーカ及び電極を支持する１又は２以上の耳当て部をさらに備える、請求項４に記載のオーディオヘッドホンシステム。
9. 各々がスピーカ及び１又は２以上の電極を支持する２つの耳当て部をさらに備える、請求項４に記載のオーディオヘッドホンシステム。
10. 前記耳当て部は、前記電極を支持するイヤーパッドを備える、請求項６に記載のオーディオヘッドホンシステム。
11. 前記オーディオヘッドホンは、前記スピーカ及びセンサを支持するヘッドバンドをさらに備える、請求項１に記載のオーディオヘッドホンシステム。
12. 前記ヘッドバンドは、１又は２以上のＥＥＧセンサを備える、請求項６に記載のオーディオヘッドホンシステム。
13. バッテリ及びプロセッサをさらに備える、請求項１に記載のオーディオヘッドホンシステム。
14. 前記生体信号を格納及び処理するための外部仲介デバイスをさらに備える、請求項１に記載のオーディオヘッドホンシステム。
15. 前記ユーザは、前記ユーザの好み、気分、及び／又は感情を用いて前記システムを訓練する、請求項１に記載のオーディオヘッドホンシステム。
16. 音楽は、音楽に対するユーザの個人的好み、気分、又は感情に基づいて、自動的に分類されラベル付けされる、請求項２に記載のオーディオヘッドホンシステム。
17. ユーザの好み、気分、及び／又は感情に基づいて音楽の属性を分類するための学習機構をさらに備える、請求項１に記載のオーディオヘッドホンシステム。
18. 音楽のライブラリが、ユーザの好み、気分、及び／又は感情に基づいて生成される、請求項１に記載のオーディオヘッドホンシステム。
19. ユーザの感情、気分、及び／又は好みに基づいて音楽の属性を分類するための学習機構を備える音楽の好み学習システム。
20. １又は２以上の電気接点センサ及び１又は２以上のスピーカを備えるオーディオヘッドホンシステムからＥＥＧ信号を取得する方法であって、該方法は、
    ａ．音楽などの第１のオーディオ刺激をユーザに提示する段階と、
    ｂ．ユーザの頭部から前記ＥＥＧ信号を取得する段階と、
    ｃ．前記ＥＥＧ信号を、前記オーディオ刺激に対するユーザの好み、気分、及び／又は感情に分類して、前記ユーザの感情、気分、及び／又は好みと音楽のタイプ又は属性との間の１又は２以上の関連情報を特定する段階と、
    ｄ．その後、前記第１のオーディオ刺激と類似した又は前記第１のオーディオ刺激と異なる追加のオーディオ刺激を提示する段階と、
    を含む方法。

Images