JP2018504719A - スマートオーディオヘッドホンシステム - Google Patents
スマートオーディオヘッドホンシステム Download PDFInfo
- Publication number
- JP2018504719A JP2018504719A JP2017542819A JP2017542819A JP2018504719A JP 2018504719 A JP2018504719 A JP 2018504719A JP 2017542819 A JP2017542819 A JP 2017542819A JP 2017542819 A JP2017542819 A JP 2017542819A JP 2018504719 A JP2018504719 A JP 2018504719A
- Authority
- JP
- Japan
- Prior art keywords
- user
- music
- audio
- headphone system
- electrode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1041—Mechanical or electronic switches, or control elements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/25—Bioelectric electrodes therefor
- A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
- A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6814—Head
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6814—Head
- A61B5/6815—Ear
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6822—Neck
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1008—Earpieces of the supra-aural or circum-aural type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/105—Earpiece supports, e.g. ear hooks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Otolaryngology (AREA)
- Social Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Headphones And Earphones (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本発明は、スマートヘッドホンに関する。より具体的には、本発明は、ユーザの好み、具体的には、ユーザの気分及び/又は感情の状態に適応する個人的プレイリストを変化させるようになったスマートオーディオヘッドホンシステムに関する。【選択図】 図1
Description
本発明は、スマートヘッドホンに関する。より具体的には、本発明は、ユーザの好み、具体的には、ユーザの気分及び/又は感情に適合する個人的プレイリストを変更させるようになったスマートオーディオヘッドホンシステムに関する。
ZEN TUNESは、音楽を聴取しているときに出る脳波を解析して、聴取者の「リラックス」及び「集中」した状態に基づいて音楽チャートを生成するiPhoneアプリである。ZEN TUNESは、聴取者の脳波を、聴取者が実際に聴取している音楽にタグ付けすることによる「認識」を可能にする。
このZEN TUNESを拡張したものが、単一のEECセンサを聴取者の前額部に当てるMicoヘッドホンに見られる。Micoヘッドホンは、前額部上のセンサを介して脳波を検出する。次に、Micoアプリ(ZEN TUNES)は、ユーザの脳の状態を解析して、Mico音楽データベースからユーザの状態に適合する音楽を検索して、ユーザの状態に適合する選曲を再生する。
米国特許公開第20140307878号「Method And System For Analysing Sound」が存在する。
本発明は、オーディオ(例えば、音楽)トラックを解析するための方法及びシステムに関する。脳内の人間のより下層皮質の辺縁系皮質下領域のうちの1又は2以上による、サウンドに対する神経生理的作用及び反応についての予測モデルが説明される。サウンドは解析され、聴取者の神経生理的興奮状態を刺激及び/又は操るために聴取者に適したサウンドを選択して再生することができる。本方法及びシステムは、具体的には、バイオフィードバックリソースを利用する用途に適用できる。
米国特許第8781570号「Audio headset with bio−signal sensors」が存在する。
Ruo−Nan Duan、Xiao−Wei Wang、及びBao−Liang Lu著「EEG−Based Emotion Recognition in Listening Music by Using Support Vector Machine and Linear Dynamic System」、Neural Information Processing: Lecture Notes in Computer Science、第7666巻、2012年、468から475頁が存在する。
Ruo−Nan Duan、Xiao−Wei Wang、及びBao−Liang Lu著「EEG−Based Emotion Recognition in Listening Music by Using Support Vector Machine and Linear Dynamic System」、Neural Information Processing: Lecture Notes in Computer Science、第7666巻、2012年、468から475頁
本発明は、1又は2以上のオーディオスピーカ及び1又は2以上の生体信号センサを有するオーディオヘッドホンを含み、ユーザに対して再生される音楽と関連付けてユーザの感情、気分、及び/又は好み(EMP)を学習及び検出することができるシステム、ユーザ聴取者及び曲名によって分類整理される経時的に収集された生体信号を収集及び解析する方法、楽曲の属性を識別してこの属性を特定の気分及び/又は感情に関連付ける方法、並びに特定のユーザに合わせて学習された感情、気分、及び/又は好みに基づいて適応的かつ自動的に音楽を選択するための方法として説明される。
本開示の実施形態は、図面を参照することでより良く理解されるであろう。
本発明の1又は2以上の実施形態の詳細な説明は、本発明の原理を示す添付図面とともに以下に提示される。本発明は、このような実施形態に関連して説明されるが、本発明は、いずれの実施形態に限定されるものではなく、多くの代替例、変更例、及び均等物を包含する。本発明の十分な理解を可能にするために、多くの具体的な詳細内容が以下に説明される。これらの詳細内容は、例示目的で提示されるものであり、本発明は、これらの具体的な詳細内容の一部又は全部がなくとも特許請求の範囲により実施することができる。明瞭化のために、本発明に関連する技術分野で公知の技術内容は、本発明を不必要に曖昧にしないように詳細に説明されない。
従って、本明細書全体を通した「1つの実施形態」、「一実施形態」、「ある実施形態」、又は同様の用語への言及は、実施形態に関連して説明する具体的な特徴、構造、又は特性が、本発明の少なくとも1つの意図又は実施形態に含まれることを意味するものであり、明示的に全ての実施形態に含まれることを意味するものではない。従って、本明細書全体を通した「1つの実施形態」、「一実施形態」、及び同様の用語での表現の出現は、必須ではないが、全て同じ実施形態に言及する場合があるが、別途明示さない限り、「全てではないが1又は2以上の実施形態」を意味する。加えて、本発明の様々な実施形態は、様々なモジュール式特徴を用いて説明される。説明される特徴は、モジュール式であり、必ずしもこの特定の記載の実施形態又は全ての実施形態ではない、いずれかの実施形態において使用することができる。「含む」、「備える」、及び「有する」という用語、並びにそれらの変形形態は、別途明示されない限り、「限定されるものではないが、含む」を意味する。列挙した要素の一覧は、別途明示されない限り、これらの要素のいずれか又は全てが、相互に排他的であることを意味するものではない。また、「1つの(英文不定冠詞)」及び「その(英文定冠詞)」という用語は、別途明示さない限り、「1又は2以上の」を意味する。
当業者に理解されるように、本発明の態様は、システム、デバイス、装置、方法、又はコンピュータプログラム製品として具体化することができる。従って、本発明の態様は、完全にハードウェアでの実施形態、完全にソフトウェアでの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、又はソフトウェア態様とハードウェア態様とを組み合わせた実施形態の形態とすることができ、本明細書では、これらは全て、概して「回路」、「モジュール」、又は「システム」として言及することできる。さらに、本発明のいくつかの態様は、そこに具現化される及び/又はクライアントデバイスに具現化されるコンピュータ可読プログラムコードを有する1又は2以上のコンピュータ可読媒体に具現化されたコンピュータプログラム製品を有する電子デバイスの形態とすることができる。
さらに、実施形態についての説明される特徴、構造、又は特性は、何らかの好適な方法で組み合わせることができる。以下の説明では、実施形態の十分な理解を可能にするために、プログラム、ソフトウェアモジュール、ユーザ選択、ネットワークトランザクション、データベースクエリ、データベース構造、ハードウェアモジュール、ハードウェア回路、ハードウェアチップ、デバイス、装置、他の例などの非常に多くの具体的な詳細が提示される。しかしながら、当業者であれば、実施形態は、これらの具体的な詳細のうちの1又は2以上がなくとも実施することができること、又は他の方法、構成要素、材料などを用いて実施することができることを認識できるであろう。場合によっては、公知の構造、材料、又は動作は、実施形態の態様を不明瞭にしないように、詳細に図示又は説明されない。
本発明の1つの実施形態では、本明細書に記載の発明は、具体的には、学習されたユーザ感情、気分、及び/又は好み(EMP)に基づいて適応的かつ自動的に音楽を選択してこの音楽を聴取するためのスマートオーディオヘッドホンシステムに適用できる。本システムは、1又は2以上のオーディオスピーカ及び1又は2以上の生体信号センサ(例えば、EEGセンサ(例えば、電極)を有し耳を覆う又は耳の穴に差し込むタイプのイヤホン)を有するオーディオヘッドホン(別名、ヘッドセット、ヘッドホン、耳の穴に差し込むタイプのイヤホン、イヤホン、又はイヤカン(earcan))を備え、本システムは、適応的に1又は2以上の生体信号を抽出及び分類して、ユーザの感情、気分、及び/又は好みを学習して、ユーザの感情、気分、及び/又は好みに適合する音楽を選択し、デバイスは、これに関連して説明される。音楽は、ボーカル、楽器、又は機械的サウンドを意味し、リズム、メロディ、又はハーモニィ(例えば、旋律、ジングル、楽曲、ノイズミュージックなど)を含むこと又は含まない場合があり、作曲全体又はその一部分を含むことができる。これらの用語、例えば、楽曲、旋律、楽曲、作曲の具体的な使用は、これらの用語が、同義的に使用され、より広範な概念であるオーディオサウンドの例として使用されるので、本発明を限定するものではないと解釈されたい。
代替的又は追加的な実施形態では、オーディオヘッドホンシステムは、1又は複数のユーザの好み、気分、及び/又は感情に基づいて音楽の属性を分類するための学習メカニズムを含む。例えば、音楽は、音楽に関する人間の個人的好み、感情、又は気分に基づいて、或いは人間の個人的分類(例えば、ジャンル、アクティビティ、使用目的など)に基づいて自動的に分類及びラベル付けすることができる。
本明細書で説明する感情、気分、及び/又は好みは、感情、気分、及び/又は好みの生理的又は行動的表現に基づくものである。この新しい手法の目的で、少なくとも人間の感情又は好み要素を取り込むものとして認識される感情、気分、又は好み定義及び階層の何らかのセットを使用することができ、これらは、芸術/エンターテイメント、マーケティング、心理学の分野で説明されるもの、又は本明細書での発明で新たに得られるものを含むことができる。例えば、好みは、個人的好き嫌い並びに無関心のように単純なもの、或いはより複雑なもの、例えば、感情に関するヒューマンマシンインタラクションネットワーク(HUMAINE)によって提案された感情注釈及び表現言語(EARL)、すなわち、否定的で強制的なもの(例えば、怒り、いらだち、侮辱、嫌悪、立腹)、否定的で抑制できないもの(例えば、不安、当惑、恐怖、無力、無気力、心配)、否定的な考え(例えば、疑い、嫉妬、欲求不満、罪責感、羞恥心)、否定的で消極的なもの(例えば、退屈、絶望、失望、痛み、悲しみ)、動揺(例えば、ストレス、ショック、緊張)、肯定的で陽気なもの(例えば、楽しみ、歓喜、高揚感、興奮、幸福感、喜び、愉快)、親身な気持ち(例えば、愛情、共感、親近感、愛)、肯定的な考え(例えば、勇気、希望、自尊心、満足、信頼)、静かで肯定的なもの(例えば、冷静さ、満足、くつろぎ、解放感、平静)、反応的なもの(例えば、興味、丁寧、驚き)とすることができる。
他の感情体系は、Robert Plutchikが規定した、怒り、恐怖、悲しみ、嫌悪、驚き、期待、信頼、及び喜びからなる8つの基本感情を含む(Plutchik R.による「Emotions and life: perspectives from psychology, biology, and evolution」ワシントンDCアメリカ心理学会第1版(2003年))であるか、或いはPaul Ekmanの基本感情のリストは、怒り、恐怖、悲しみ、幸福感、嫌悪、驚きであり、これらの基本感情は、楽しみ、侮辱、満足、当惑、興奮、罪責感、達成における自尊心、解放感、満足、感覚的快楽、及び恥かしさに拡張されている(Dalgleish T.及びPower M.(編集者)による「Handbook of Cognition and Emotion」(ニューヨークのワイリー社、1999年)におけるEkman P.による基本感情)。また、他の感情体系が意図されており、例えば、図16を参照されたい。具体的には、有用な感情セットは、エンターテイメント、マーケティング、心理学、又は購入行為に利用されるものを含む(例えば、Shrum LJ(編集者)による「The Psychology of Entertainment Media: Blurring the Lines between Entertainment and Persuasion」(ローレンス・エルバウム・アソシエイト、2004年)と、Bryant及びVorderer(編集者)による「Psychology of Entertainment」(ラウトレッジ社、2006年)と、Deutsch D.(編集者)による「The Psychology of Music」第3版(Cognition and Perception)(アカデミックプレス社、2012年)とを参照)。
本開示の実施形態は、図1から16に示されている。
1つの実施形態では、本開示は、脳の電気的活動を測定するためのスマートオーディオ脳波(EEG)ヘッドホンに関し、脳波(EEG)信号を取得して監視する構成の複数の電極を支持するオーディオヘッドホンを含む。図1は、スマートヘッドホンシステム用のシステム100の1つの実施形態を示している。図示の実施形態でのシステム100は、電極又はセンサ110などを介して1又は2以上のEEG信号を取得するように構成されたオーディオヘッドホンモジュール100を含む。電極110は、例えば、耳の皮膚、ユーザの耳を取り囲む皮膚、或いは耳の周りの又は頸部の上の髪の生えぎわに沿った皮膚からEEG信号を読み取るように位置決めすることができる。図2に示されている代替的又は追加的な実施形態では、1又は2以上のセンサ210が、ヘッドホンのヘッドバンド220に沿って配置され、例えば頭髪を通って突出して皮膚に達する電極歯を介して頭皮から脳波(EEG)信号を取得してこの信号を監視することができる。ヘッドホンは、装飾されたもの又は単純なものとすることができ、或いは消費者動向に適合するように設計することができる。
各電極は、電極からの信号を受け取って出力をプロセッサに提供するように構成できる電子回路に電気的に接続される。この電子回路は、電極から受け取った信号の少なくともいくつかの処理を実行するように構成することができる。いくつかの実装例では、電子回路は、ヘッドホンに取り付けること又はヘッドホン内部に収容することができる。1つの実施形態では、EEG信号取得回路は、プロセッサ、アナログ信号処理ユニット、A/D(アナログ/デジタル)コンバータを含み、また、このEEG信号取得回路は、限定されるものではないが、例えば、フィルタ及び増幅器を含むこともできる。代替的又は追加的な実施形態では、いくつかの信号処理は、本発明のシステムの別個のデバイス上の遠隔受信器内のプロセッサによって実行することができ、これはPC又はモバイル機器などの別個のクライアントデバイス或いはネットワークを介したウェブサーバ上の別個のコンピュータ上とすることができる。1つの実施形態では、電子回路は、ソフトウェアを更新又はアップグレードするコンポーネント、例えば、プログラム修正を可能にする有線又は無線コンポーネントを含む。また、電子回路は、電子インタフェース(例えば、ポート)、ユーザインタフェース(例えば、タッチ又はタッチレスコントローラ、LED又は同様のスクリーン/光などのステータスインタフェース)、及び同様のものなどの外部インタフェースも含む。
デバイス、例えば、オーディオヘッドホンは、他のタイプの生体信号センサを含む他のタイプのセンサ、及び/又は音響/聴力骨伝導、ジャイロスコープ及び加速度計などのモーションセンサ、ヘッドホンビデオヘッドマウントディスプレイ(例えば、オーディオスピーカを有するビデオグラス)、及び/又は3D立体視装置などの他のタイプのマルチメディア機能とともに使用できることが理解されるであろう。このような生体信号は、例えば、心電図(ECG/EKG)、皮膚伝導(SC)又は電気皮膚反応(GSR)、筋電図検査(EMG)、呼吸、脈拍、電気眼球図記録(EOG)、瞳孔の拡張、視線追跡、顔面表情符号化、反応時間装置などを含む。電気バイオセンサは、皮膚に取り付けられた2つの電極間の差分(例えば、EEG、ECG、EOG、及び/又はEMG)及び/又は電気抵抗(例えば、GSR)を測定する差動増幅器などの複数の測定法に冗長的に使用することができる。図8は、EEG及びECG両方を測定するスマートオーディオヘッドホンを示している。センサは、ヘッドバンド上、又はヘッドホンの耳当て部の上若しくはその内部に配置すること(及び/又は、さもなければ、ヘッドホンに関連して配置すること)、或いはさもなければ、所望の情報を測定できるように配置することができる。
図1は、スピーカヘッドセットの1つの実施形態を示しているが、いくつかの実施形態では、ヘッドホンは、2つの耳当て部の代わりに1つだけの耳当て部が存在するモノラルヘッドセットである。ヘッドセット100は、電気部品及び構造体(図示せず)を含み、これらの電気部品及び構造体は、電気部品を保護して快適なフィット性をもたらしながらユーザの頭部の表面からの電気信号を測定するために、ヘッドバンド130及び耳当て部120の中に収容されている。ヘッドバンド130は、バッテリ、及び各電極110とのワイヤ又はリード線を有する他の電子部品(無線送信器、プロセッサなど)などの電子機器(図示せず)を収容することができる。電力は、デバイス内部のバッテリから供給されるか、又は配線を介して外部デバイスから供給される。1つの実施形態では、ヘッドセット100は、着用者の頭部のまわりに、例えば、頭部の頭頂部に沿って位置するように適用及び構成される。耳当て部120は、オーディオスピーカ105及びEEGセンサ110の両方を含む。EEGセンサ110は、耳を取り囲む皮膚又は耳の皮膚との直接接触をもたらすように、耳当て部120上に配置することができる。イヤーパッド115は、電極110の配置を助けるために利用することができる。1つの実施形態では、イヤーパッド115は、エラストマー材料又は可撓性材料(例えば、発泡体、ゴム、プラスチック、或いは他のポリマー、ファブリック、又はシリコーンなどの弾力性のある又は柔軟な材料)から作製され、異なるユーザの頭部及び耳の形状及び大きさを収容できる形状であり、皮膚に対する電極の十分な加圧及び位置決めを可能にして適切な接触を保証しながら、装着の快適性をもたらすことができる。1つの実施形態では、電極は、アーチ形状のヘッドバンドが、耳に対してイヤーパッドを所定位置に保持することによって位置決めされる。
図2は、ヘッドバンドを有するスマートオーディオヘッドセットを用いた1つの実施形態を示しており、このヘッドバンドは、ユーザの頭皮との接触又は密接な接触を可能にするための1又は複数の電極歯又は延長部210を含む。電極歯は、ヘッドバンドの周りに配置され、例えば耳から耳までの頭部の上部にわたって、EEG信号を記録することができる。複数のヘッドバンド310及び320は、頭部の異なる横断面を測定するのに使用することができる(例えば、図3を参照)。電極歯は、永続的にヘッドバンドに取り付けることができ、或いは取り外し可能/取り換え可能とすること、例えば、差し込み式ソケット又は雄/雌ソケットとすることができる。各電極歯は、頭皮に到達するのに十分な長さのものとすること、頭皮に接触した状態で「面する」ようにばね付勢さられること又は柔軟性/可塑性のあるものとすること、或いは物理的に接触しなくともEEG信号を取り込むように非接触式とすることができる。電極歯210は、着用者の頭部に対する心的外傷を防止するための曲線的外面を有することができ、より好ましくは、頭皮との安全で安定した接触を保証するためのフランジ状先端部を有することができる。電極歯210は、開口部のまわりに、又は代替的に、ヘッドバンドに沿って離間した関係で配置された1又は2以上の直線状の列に配列することができる。電極歯210は、ヘッドバンド210に対する追加の構造、剛性、又は可塑性を提供して、ユーザの頭皮に対して接点230を配置するのを助けることができるファブリック、ポリマー、又は金属材料から作製することができる。本発明はさらに、異なる位置に配置される電極を意図しており、例えば、図5に示されているように、電極歯又は延長部は、ヘッドバンドに取り付けられた又はヘッドバンドに取り付けることができる、くし状部又はヘアクリップ520上の電極歯として提供することができる。例えば、頭部の上部の電極は、頭髪に接触する場合がある。従って、「歯」、クリップ、又はばねの端部上の電極は、頭髪を通って頭部の頭皮に到達するために利用することができる。このような実施形態並びにヘッドバンド上の他の同様の電極の例は、米国特許出願番号13/899,515「EEG Hair Band」に記載されており、その内容は、引用により本明細書に組み込まれる。
EEGに使用されるのに公知の様々な電極のうちのいずれかは、本デバイスで使用することができる。1つの実施形態では、耳当て部は、1つの電極又は複数の電極を備えることができる。1つの実施形態では、耳当て部は、完全に導電性とすることができる。さらに別の実施形態では、本デバイスで使用される1又は2以上の電極は、導電性電極ユニットを取り囲む非導電性材料で作製されたイヤーパッド内又はその表面に埋め込むこと又は包含することができる。さらに別の実施形態では、電極は、半導電面又は非導電面にエッチング又はプリントすることができる。ファブリック(合成、天然、半合成、及び動物の皮膚を含む)などの非導電性材料は、2以上の場合に各電極を切り離す/間隔を空けること、又は生体信号を接点に局所化するために使用することができる。本発明に利用される電極センサは、完全に導電性であること、非導電性材料又は半導電性材料と混ぜること又はその中に結合すること、或いは、例えば電極チップ上で部分的に導電性であるものとすることができる。例えば、ある実施形態では、導電性電極は、非導電性材料の中で又はそれなしに、電極の可塑性及び快適性を高めるためにファブリック、ネット、又はメッシュ状の材料の中に織り込まれか、或いはファブリック又は頭部ストラップの他の基材に埋め込まれる又は縫い付けられるか、或いは他の手段が施される。1つの実施形態では、EEGセンサは、ドライ電極又は半ドライ電極である。電極センサの材料は、電気信号を取得するために、ステンレス鋼又は銅などの金属、不活性金属など、金、銀(銀/塩化銀)、スズ、タングステン、酸化イリジウム、パラジウム、プラチナなどの金属、炭素(例えば、グラフェン)又は他の導電性材料、或いは上記の組み合わせとすることができる。導電性材料はさらに、コーティングすること又は電極内部に組み込むこと、例えば、ゴム、シリコーン、又はポリマーと混合されたグラフェン又は金属などの他の材料と混ぜ合わせることができ、最終電極がもたらされる。また、電極は、取り外し可能とすることもでき、例えば、使い捨て導電性ポリマー又は発泡体電極を含む。電極は、可塑性がある、事前に成形された又は剛性がある、或いはより大きな可塑性耳当て部の内部で剛性があるものとすることができ、例えば、シート状、矩形、円形、又は着用者の皮膚と接触することを可能にする他の形状などの何らかの形状のものとすることができる。例えば、電極は、皮膚と接触する外面導電層、及び本発明の電子部品に接続する内部接続部(耳当て部の下面)を有することができる。いくつかの実施形態では、電極は微細加工技術を使用して製造することができ、可塑性基板上にアレイ構成で非常に多くの電極を配置する。様々な実施形態では、刺激アレイは、可塑性材料上に配置された1又は2以上の生体適合金属(例えば、金、プラチナ、クロム、チタン、イリジウム、タングステン、及び/又は酸化物及び/又はこれらの合金)を含む。
図4に示されている一例は、デバイスの耳当て部上に重複して配置された電極歯410/411を示している。電極歯又は電極バンパー410/411は、様々な大きさ(例えば、幅及び長さ)、形状(例えば、サイロ状、直線状の波又は突起部、ピラミッド形)、材料、密度、形状因子、及び同様のものとすることができ、特に頭髪の干渉を最小にするために、最も強い信号を取得すること及び/又はノイズを低減することができる。図4は、導電性のある場合又はそうでない場合がある個別のバンパー411のアレイ411で取り囲まれた1つの電極における導電性の重複バンパーを含むいくつかの個別電極410を示している。個別のバンパーは、1つの大きな電極として使用することができる。図5は、髪の生えぎわの近くのバンパー電極510、及び頭髪に接触する可能性が低い、耳当て部のより低い部分における非バンパー電極512の個別の配置を示している。1つの実施形態では、電極は、ユーザの皮膚を刺激する(例えば、突く)可能性を伴わずに堅固な個々の接続をもたらための導電性チップ又は導電性繊維を有する発泡体又は類似の可塑性材料から作製される。参考としてさらに理解されるように、限定されるものではないが、このような材料及び設計は、バンパーを利用して足元を支持する何らかの「マッサージ」サンダルに見つけることができる。バンパー電極の設計は、接続部(例えば、頭髪を分けて頭皮に達するように設計された流線形押し付け接点)を最大にする因子、ノイズを低減する因子、耐久性を高める因子、不快感を緩和する因子、及び/又は快適性及び人間工学的なものを高める因子、並びに同様の因子を組み込むことができる。例えば、電極バンパーは、より可塑性のある材料を使用でき導電性バンパーを防護するための耐久性のある材料から製作された非導電性バンパーで取り囲むこと、或いは不快感を最小にする及び/又は電極の耐久性を最大にするアレイ状のものとすることができる。
本発明は、異なる組み合わせ及び数の電極及び電極組立体を利用することを想定している。電極に関して、電極の数量及び配列は、いずれも、許容空間、費用、実用性、及び用途を含む種々の要求に対応して異なるものとすることができる。従って、制限はない。電極組立体は、典型的に、各々が別々の電極リード線に対応する2以上の電極、例えば、数個又はそれより多い電極を有するが、例えば、各耳当て部ごとの電極が2から300又はそれよりも多い範囲内での異なる数の電極を支持するのは容易である。1又は2以上の電極は、1つの重複アレイ電極として1つのリード線によって接続すること、複数の電極への各リード線が、異なる信号(例えば、チャネル)を記録するために各グループにグループ化された複数のリード線によって接続すること、或いは異なる信号又はチャネルのアレイが生成されるように別個の他の電極から独立している各電極への単一のリード線によって接続することができる。
イヤホンの電極の大きさは、閉じ込められた空間内の複数の電極に適合できることと、電極の静電容量がこの領域に比例することとの間のトレードオフとすることができるが、センサ及び配線のコンダクタンスは、電極の全体的な感度に寄与することもできる。耳挿入部は多くの異なる形状を有することができ、全ての形状の共通の目的は、ユーザの皮膚との密接なフィット性を与え、装着するのに快適であり、耳の閉塞ができるだけ少ない耳挿入部にすることである。例えば、図6は、オーディオスピーカ605及び1又は2以上の電極610を有する、インイヤ型イヤプラグを含むイヤホン600(別名、耳の穴に差し込むタイプのイヤホン)としての本発明の1つの実施形態を示している。例示的なイヤホン600は、耳甲介内又は外耳道内部に着座する。電極610は、イヤホン600の外周又はイヤホン600の中央に位置決めされて、耳甲介の皮膚(耳甲介の外壁又は中央)又は外耳道の壁部と直接接触することができる。図7は、インイヤ型ヘッドセットを示しており、ここでは、電極が、耳の内部に配置され、接地電極が、耳の外側部分(例えば、耳介)、又はユーザの頸部、及び首筋若しくは頸部の他の部分を一周することできる帯状部分に取り付けられ、追加の生体センサは、この帯状部分に配置することができる。
1又は2以上の電極は、デバイスの接地板に接続する接地又は基準端子(例えば、耳、耳垂、頸部、顔面、頭皮、前額部などの身体の一部分、又は代替的に胸部などの身体の他の部分に取り付けることができる)として使用されることが想定される。接地及び/又は基準電極は、1つの電極又は複数の電極に専用とすること、又は異なる電極の間で交互になることができる(例えば、電極は、接地と記録電極との間で交互になることができる)。
1つの実施形態では、1又は2以上の電極は、例えば、米国特許出願番号2015/0231396明細書に記載の電極アレイなどの、神経刺激される被験者に微弱な電圧及び電流を印可することができる。
1つの実施形態では、本発明は、1又は2以上のリード線に接続された1又は2以上の電極アレイ、及び神経刺激デバイスを含む組立体を備える。説明を容易にするために、1又は2以上の電極アレイは、単一の電極アレイを含むと説明することができる。しかしながら、当業者が本発明の教示を適用することを通して、各々が独立して同時にEEG信号を記録する2又は3以上の電極アレイを含む実施形態を構成することができる。例えば、実施形態は、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19、20、又はそれより多い電極アレイを含むことができる。いくつかの実施形態では、このアレイは、有線又は無線とすることができる。さらに、各電極レイは、アレイごとに、1、2、3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19、20、25、30、50、100、又はそれより多い電極を含むことができる。いくつかの実施形態では、センサは、有線式又は無線式とすることができる。
生体信号データは、何らかの好適な方法で外部デバイス又はシステムに送信すること(及びこれによって制御すること)ができる。本発明の1つの例示的な実施形態では、デバイスのデータは、1又は2以上の信号を送信するための、RS−232シリアルケーブル、USBコネクタ、Firewire又はLightningコネクタ、或いは他の好適な有線接続などの有線接続を使用して、媒介デバイス(例えば、コンピュータ又はモバイル機器などのクライアントデバイス)に送信される。標準のケーブル敷設を使用することが意図されているが、複数の並列ワイヤを有する専用配線も意図されている。データは、並列で又は順次的に送信され、未加工とすること又は処理することができる。また、生体信号データは、無線送信器、例えば、RFモジュールを使用して、無線で媒介デバイスに送信することもできる。Bluetooth(登録商標)接続、赤外線放射、Zigbee(登録商標)プロトコル、Wibree(登録商標)プロトコル、IEEE 802.15プロトコル、IEEE 802.11プロトコル、IEEE 802.16プロトコル、及び/又は超広帯域(UWB)プロトコルなどの無線通信のいずれかの好適な方法が、医療機器データを送信するために使用することができる。また、メッセージは、無線移動体電話通信ネットワーク、汎用パケット無線サービス(GPRS)ネットワーク、無線ローカルエリアネットワーク(WLAN)、グローバル・システム・フォー・モバイル・コミュニケーションズ(GSM)ネットワーク、GSM進化型高速データレート(EDGE)ネットワーク、パーソナル通信サービス(PSS)ネットワーク、高度携帯電話システム(AMPS)ネットワーク、符号分割多元接続(CDMA)ネットワーク、広帯域CDMA(W−CDMA)ネットワーク、時分割同期CDMA(TD−CDMA)ネットワーク、ユニバーサル移動体通信システム(UMTS)ネットワーク、時分割多元接続(TDMA)ネットワーク、及び/又は衛星通信ネットワークなどのいずれかの好適な無線システムを使用して無線で送信することもできる。必要な場合には、スマートオーディオヘッドホンは、例えば、冗長通信手段を提供するように、有線接続及び無線接続両方を使用して媒介デバイスに送信することができる。各コンポーネントは、それ自体の電源を有することができ、或いは集中電源が、デバイスのコンポーネントのうちの1又は2以上に電力を供給することもできる。
本発明の様々な実施形態では、本発明は、サーバユニットと接続して又はサーバユニットから独立して媒介デバイスと通信する本発明のヘッドホンを含む総合的オーディオヘッドホンシステムの一部分として実施することができる。ここで、限定されるものではないが、スマートディオヘッドホンと外部装置との間の回路構成(電気部品及び/又はモジュール)が存在し、このことは、スマートディオヘッドホンによって提供される機能が柔軟性のあること、例えば、取得した生体信号は、デジタル化の後で外部装置に直接送信すること又は送信前に処理することができることを意味し、様々な状況が可能であることに留意されたい。しかしながら、送信前の本発明のデバイスに対する処理は、同時に送信する必要がある独立した生体信号の数を少なくすることができる。当業者は、他の分野に適用される手法を適用して、情報を失うことなく帯域幅を狭くすることができる。送信前の処理は、複数の並列ワイヤの必要性を低減して、肥大化したケーブル及び費用を低減する。
1つの実施形態では、本発明のヘッドホンは、本発明の処理、全監視処理中に取得した生体信号、音楽及びその属性、及び同様のものを格納するメモリを備えることができ、或いはメモリは、無線送信中のバッファとして使用することができ、ユーザが外部装置の受信範囲外にいる場合に、ユーザが受信範囲内に戻った場合の将来の送信に備えて信号を依然として一時的に格納でき、或いはメモリは、無線伝送の信号品質が不十分な場合にバックアップを格納するのに使用することができる。本発明のヘッドホンは、データを格納するためのメモリを含むことができ、1つの実施形態では、メモリは、外部からアクセスされる取り外し可能なメモリとして実装することができ、例えば、ユーザは、デバイス全体ではなくメモリを利用することができる。
加えて、本発明は、必ずしも必要とされるものではないが、電極の効率を高めるための手法及び機構を意図している。例えば、単一のより広い電極は、アーチファクト及び/又はノイズが低減されるようにいくつかの冗長なより狭い電極に置き換えることができる。加えて、高入力インピーダンス増幅器チップ及び活性電極の手法が、接点インピーダンスの依存関係を小さくする。低消費電力、高利得、及び低周波数応答のための他の方法が意図されている。さらに、電極設計に関する考慮は、電極の生体適合性を高めること、電極インピーダンスを小さくすること、又は例えば低電圧パルスを印可することによって電極インタフェース特性を改良することを含む。本発明はさらに、脳機能における微妙な変化を測定する能力における継続した改良が見込まれる、信号の複雑性及び同期化を計算するための新しい信号源局在化アルゴリズム及び方法と一緒に、改良された分解能を備える新規性のあるEEGセンサを組み込むことを意図している。
図中の概略的フローチャート及び/又は概略的ブロック図は、本発明の様々な実施形態による、アーキテクチャ、機能、並びに装置、システム、方法、コンピュータプログラム製品の可能性のある実装例の動作を示している。この関連で、概略的フローチャート及び/又は概略的ブロック図における各ブロックは、特定の論理機能を実装するためのプログラムコードからなる1又は2以上の実行可能命令を含むモジュール、セグメント、又はコードの一部分を表すことができる。
また、いくつかの別の実施態様では、ブロックで示された機能は、図中に示された順番以外の順番で行うことができることにも留意されたい。例えば、連続して示される2つのブロックは、実際には、実質的に同時に実行することができ、場合によっては、ブロックは、必要とされる機能に応じて逆の順番で実行することもできる。図に示された、機能、ロジック、1又は2以上のブロックに対する作用、又はこれらの一部において等価な他のステップ及び方法を想定することができる。
フローチャート及び/又はブロック図には様々なタイプの矢印及び線分を用いることができるいが、これらは対応する実施形態の範囲を限定するものではないことを理解されたい。実際には、いくつかの矢印又は他の結合子は、図示の実施形態の論理フローのみを示すために使用することができる。例えば、ある矢印は、図示の実施形態の列挙されたステップ間の不特定期間の待機又は監視期間を示す場合がある。また、ブロック図及び/又はフローチャートの各ブロック、並びにブロック図及び/又はフローチャートの各ブロックの組み合わせは、特定の機能又は動作、又は専用ハードウェアとコンピュータ可読プログラムコードとを組み合わせたものを実行する専用ハードウェアベースシステムによって実装できることにも留意されたい。
図9は、機械分類器940を使用して、図11に示すように、選択的生理的信号920を学習してこの信号を対応する音楽に適合させる(960)ための、自動的かつ適応的に音楽を選択する非限定的なシステムの実施例を示している。生体信号は、楽曲又は他のタイプの音楽などの刺激提示910に基づいてユーザ901に関する特徴セットとして取得される(920)。本システムは、既存の分類された特徴セットから得られたパラメータ値、特にユーザ入力に適用される際のユーザ応答、又はデータを訓練するための他のこのような方法に基づいて、1又は2以上の感情、気分、及び/又は好みなどの特定の挙動として、生体信号を特徴付けるように訓練することができる(930)。加えて、特徴抽出及び選択手法1101などの、情報を低減するための機械学習又はパターン認識手法を適用することができる。次に、スマートオーディオヘッドホンから取得したユーザの生体信号特徴セットは、機械分類器、パターン分類器、及び/又は、気分、感情、及び/又は好みに関連すると判定された特徴セット内のパターンを見つけるための他のいくつかの好適な手法を使用して解析することができる(1102)。次に、この情報は、システムが、ユーザの精神状態に基づいてユーザのプレイリストを自動的に生成してこのプレイリストを連続的に適応させるのに使用することができる。本発明の1つの実施形態では、特徴セットは、ユーザの感情、気分、及び/又は好みを反映するEEGデータセットである。ユーザの挙動の評価は、ユーザに関する新しいEEG記録が、本明細書で記載の本発明のいくつかの実施形態に従って収集及び解析されるたびに継続的に更新(例えば、挙動データベースにおいて)することができる。訓練は、最初に、周期的に、又は連続的に適用することができる。この情報は、継続的にシステムを適応/進化させるために、もしくは追加の機能又は解析のために、追加的に使用される挙動データベース(感情/気分/好みデータベース)に格納すること、又はクライアントデバイス又はサービスに送信することができる。いくつかの実施形態では、EEG記録及び後続の解析は、異なるユーザに対して行うことができ、解析の各々からの特徴出力は、ユーザのグループに関する完全特徴セットに結合することができる。
生体信号は、当業者に公知の手法及び方法を使用して取得及び収集することができる。1つの特定の実施形態では、生体信号は、連続的に、ランダムに、又は周期的に、例えば、数秒、数分、数時間、及び/又は数日ごとに、又は楽曲の異なる部分(例えば、開始及び/又は終了)において、収集される。取得は、ユーザにとって顕著なもの又は目立たず控えめなものとすることができる。1つの実施形態では、EEG信号は、連続的、断続的、又は周期的に取得される。特定の実施形態では、特定の事象関連電位(ERP)解析及び/又は事象関連(電力)スペクトル摂動(ERSP)は、ユーザが刺激にさらされる前、その間、及び/又はその後、或いはユーザが刺激にさらされる前及びその後毎に、脳の異なる領域に対して評価される。例えば、脳の複数の領域におけるERP時間領域成分の前刺激と後刺激の差分、並びに標的及び差分の測定値が求められる。並行して、例えば、心拍、電気反応などの他の生理的測定値を取得して、脳からの測定値と相互に関連付けることができる。
限定されるものではないが、(EEG測定値)シータ、アルファ、ベータ、ガンマ、及びハイガンマを含む複数の周波数帯域及び位置にわたる注意、感情、及び記憶維持を評価するための反応差の事象関連時間、周波数、及び/又は振幅解析を評価することができる。1つの実施形態では、非対称インデックスは、これらの対称電極ペアのユーザスペクトルを含み、例えば電力減算又は分割のいずれかによって情報を処理することによって計算することができる。
また、本システムは、実在物/関係に関連する刺激セグメントの脳局部コヒーレンス測定と、EEG測定値の時間周波数解析を含む神経生理的測定に基づいた注意、感情のかかわり、及び記憶維持推定値を合成するセグメント有効性測定と、セグメント間の差分聴覚関連神経シグネチャとを使用する関係評価を組み込むこともでき、結合/関係パターンは、セグメントを非結合相互作用と比較することで明らかになる。
1つの実施形態では、音楽、サウンド、演奏、視覚的体験、テキスト、画像、ビデオ、又は感覚体験などの様々な刺激を使用して、生理的反応を引き起こすことができる。神経反応データ又は脳活動、具体的には、EEGは、時間、空間、及びスペクトル情報を用いて測定することができる。加えて、本発明の手法及び機構は、神経領域間の相互作用が、組織化及び体系化された挙動に対応することを認識する。注意、感情、好み、気分、記憶、及びその他の能力は、空間、時間、電力、周波数、及び処理されたスペクトルデータを含む他の関連信号に基づくことができるが、これらの信号間のネットワーク相互作用に依存することもできる。
本発明の手法及び機構はさらに、種々の周波数帯域を取り込むことができることを認識する。加えて、評価情報は、各ユーザに対して較正すること、及び/又は各ユーザにわたって同期させることができる。特定の実施形態では、前刺激と後刺激との差分を測定するためのベースラインを生成するためのテンプレートがユーザ向けに生成される。様々な実施形態によれば、刺激生成器は、インテリジェントなものであり、各ユーザを解析するための露出期間及び継続時間などの特定のパラメータを適応的に変更する。
特定の実施形態では、生体信号収集は、ある事象又は時間と同期すること、例えば、刺激提示、ユーザのデバイス利用、又は24時制と同期することができる。また、特定の実施形態では、信号収集は、状態評価サブシステムを含むことができ、この状態評価サブシステムは、自動トリガと、ユーザの状態、刺激、収集される信号、及びデータ収集機器を連続的に監視する警告及び状態監視及びコンポーネントとを提供する。また、状態評価サブシステムは、視覚的警告を提示して自動的に是正措置をトリガすることもできる。様々な実施形態により、本発明は、刺激材料に対するユーザの神経反応を監視するためのデータ収集機構又は処理だけでなく、刺激材料を識別してそれを監視するための機構も含むことができる。例えば、データ収集処理は、音楽プレーヤと同期されて、再生される音楽を監視することができる。他の実施例では、データ収集は、ユーザが、もはや刺激材料に注意を向けていない場合を監視するために一方向に同期することができる。さらに別の実施例では、データ収集は、刺激が、楽曲、旋律、番組、コマーシャル、印刷又はデジタル素材、体験、オーディオ素材、及び同様のものであるか否かに関わらず、一般的にユーザによって提示される刺激材料を受け取ってこれらを格納することができる。収集されたデータは、単にユーザの気分転換を図るものでなく、神経反応情報、及びこの情報の実際の刺激材料との相関の解析を可能にする。
図9に例示されている学習システムは、人間が介入する又は介入しない自動システムを含むことができる。例えば、図10に示すように、ユーザ1001は、幸福又は用心深さなどの感情、又はユーザの特定の音楽についての好き/嫌いなどの好みを示すものなどの訓練ガイドライン1050を提供して、システムの訓練930を開始することができる。加えて、本システムは、所定の音楽特性を利用することができ、従って、特定の音楽(例えば、ロック、ジャズ、ポップス、クラシック)のジャンル、アーティスト、又は特性などの類似の属性が、神経生理的信号及び/又は他の生理的信号の分類を可能にする。ユーザは、運動用音楽又は勉強用音楽及び同様のものなどの追加の所定の特性又は属性を提供することができる。また、このような生体信号の訓練930は、パターン認識及び物体識別手法を含むこともできる。これらのサブシステムは、ハードウェア実装及び/又はソフトウェア実装を含むことができる。例えば、1つの実施形態では、分類器1040は、取得した生体信号の完全特徴セット1020及び訓練データのデータベース1050を入力として受け取る。データベース1050は、限定されるものではないが、認識されたEEG測定値、ユーザ入力、刺激に関する既存の情報、及び対応するエキスパート評価及び診断結果を含む、分類処理を容易にするのに適した何らかの情報を含むことができる。
さらに別の実施形態では、図8に示されているように、EEG(図示)、GSR、ECG/EKG(図示)、瞳孔の拡張、EOG、視線追跡、顔面表情符号化、反応時間などの1又は2以上の又は様々なモダリティを使用することができる。EEGなどのユーザモダリティは、神経領域伝達経路をインテリジェントに認識することによって改良される。クロスモダリティ解析は、中枢神経系、自律神経系、及びエフェクタ特徴の合成及び分析的混合を使用して改良することができる。時間及び位相シフト、同期、相互関連付け、及びイントラモーダル決定の検証などの機構による合成及び解析は、様々なデータ応答の有意性を特徴付ける合成出力を生成して、消費者体験評価を有効的に行うことを可能にする。
特に実生活の状況におけるユーザの動揺した感情、気分、及び/又は好みに自動的に適応するためのシステムに関連する本開示の態様は、その様々な実施形態を実行するための様々なA.I.(別名、人工知能)に基づくスキームを使用することができる。例えば、1日を通して生じる日常の感情、気分、及び/又は好みの変化に関連するものとして生体信号を相互に関連付けるための処理、及び/又は特定の好み、気分、及び/又は感情に関連するものとして特定の音楽の特性を分類してこれを登録する処理などは、本発明の自動分類システム及び処理を用いて容易にすることができる。別の実施例では、特定の音楽に関連するものとしてEEG信号を登録する処理、並びに特定の好み、気分、及び/又は感情を分類して音楽のプレイリスト及び/又は他の作用を予測的に生成するための処理は、特に、例えばスマートオーディオヘッドホンに関連するものとして、本発明の自動分類システム及び処理を用いて容易にすることができる。
図11は、本開示の態様による、1又は2以上の処理の自動化を容易にすることができる学習コンポーネントを使用した例示的かつ非限定的なシステムを示している。メモリ(図示せず)、プロセッサ(図示せず)、及び特徴分類コンポーネント1102、並びに他のコンポーネント(図示せず)は、本明細書では例えば前記の図に関してより完全に説明される機能を含むことができる。検討中のランダム変数の数を低減する特徴抽出コンポーネント1101及び/又は特徴選択コンポーネント1101は、必ずしも必要とされるものではないが、何らかのデータ分類及びクラスタリングを行う前に利用することができる。特徴抽出の目的は、入力データをより少ない次元の特徴セットに変換することである。特徴選択の目的は、特徴のサブセットを抽出して、冗長な特徴を取り除いて、情報を提供する特徴を維持することによって計算効率を高めることである。
分類器1102は、何らかの好適な機械学習又は分類手法を実行することができる。1つの実施形態では、分類モデルは、データ内に存在する目的パラメータに基づいてデータ本体をクラスに分離することを試みる何らかの好適な統計的分類又は機械学習方法を使用して形成することができる。機械学習アルゴリズムは、このアルゴリズムの所望の結果又は機械学習中に利用可能なタイプの入力に基づいて分類基準に体系化することができる。教師あり学習アルゴリズムは、ラベル付けされた例、すなわち、所望の出力が既知である場合の入力に対して訓練される。教師あり学習アルゴリズムは、入力から出力への関数又はマッピングを一般化することを試み、次に、このアルゴリズムは、以前に確認されていない入力に対して出力を生成するのに思索的に使用することができる。教師なし学習アルゴリズムは、ラベル付けされていない例、すなわち、所望の出力が未知である場合の入力に対して動作する。ここで、この目的は、入力から出力へのマッピングを一般化することではなく、データ内の構造を発見すること(例えば、クラスタ分析を介して)である。半教師あり学習は、ラベル付けされた例とラベル付けされていない例とを両方組み合わせて、適切な関数又は分類器を生成する。トランスダクション又はトランスダクティブ推定は、特定の固定の(検証)事例に対して観測された特定の(訓練)事例から新しい出力を予測することを試みる。強化学習は、インテリジェントエージェントが、何らかの概念の報酬を最大にするために環境内でどのように動作するのが適切であるかに関係している。このエージェントは、観測できる環境状態を変化させる動作を実行する。エージェントは、一連の動作を通して、環境が、エージェントの動作にどのように応答するかについての情報を収集することを試み、累積的な報酬を最大にする一連の動作を合成することを試みる。学習のための学習は、以前の体験に基づいて、それ自体の帰納的バイアスを学習する。ロボット学習用に精巧に作られた発達学習は、それ自体の一連の学習状況(カリキュラムとも呼ばれる)を生成して、自律的自己分析及び人間の教師との社会的相互作用を介して新規技術のレパートリを累積的に取得し、能動的学習、成熟、モータシナジー、及び模倣などの誘導機構を使用する。また、機械学習アルゴリズムは、生成モデル及び識別モデルにグループ化することもできる。
本発明の1つの実施形態では、分類方法は、教師あり分類であり、ここでは、既知のカテゴリの例を含む訓練データが、既知のクラスの各々を規定する1又は2以上の関係セットを学習する学習機構に提示される。次に、新しいデータが、学習機構に適用され、次に、この学習機構が、学習された関係を使用して新しいデータを分類することができる。教師あり学習手法では、デバイスに対する神経インパルスのコントローラ又はコンバータは、適応される低水準フィードバックを計算するために所望の反応の詳細なコピーを必要とする。例えば、1又は2以上の生体信号マーカが分類される場合には、所望の反応は、所定の感情、気分、及び/又は好み、すなわちロック、クラシック、又はジャズなどの特定のタイプの音楽とすることができる。
教師あり分類処理の例は、線形回帰処理(例えば、重線形回帰(MLR)、部分的最小二乗(PLS)回帰、及び主成分回帰(PGR))、二分決定木(例えば、CARTなどの再帰分割処理)、誤差逆伝播法ネットワークなどの人工ニューラルネットワーク、判別分析(例えば、ベイズ分類器又はフィッシャー分析)、ロジスティック分類器、及びサポートベクター分類器(サポートベクターマシン)を含む。別の教師あり分類方法は、再帰分割処理である。
教師あり学習アルゴリズムの別の例は、平均1従属推定器(averaged one− dependence estimators:AODE)、人工ニューラルネットワーク(例えば、誤差逆伝播法、オートエンコーダ、ホップフィールドネットワーク、ボルツマンマシン、及び制限付きボルツマンマシン、スパイキングニューラルネットワーク)、ベイズ統計(例えば、ベイズ分類器)、事例ベース推論、決定木、帰納論理プログラミング、ガウス処理回帰、遺伝子発現プログラミング、データ処理のグループ化方法(GMDH)、学習オートマトン、学習ベクトル量子化、ロジスティックモデルツリー、最小メッセージ長(決定木、決定グラフなど)、怠惰学習、事例に基づく学習(例えば、最近傍アルゴリズム、類似モデリング)、高い可能性の近似的に正確な学習(probably approximately correct learning:PAC)、リップルダウンルール、知識獲得方法、シンボリック機械学習アルゴリズム、サポートベクターマシン、ランダムフォレスト、決定木集合体(例えば、バギング、ブースティング)、順序分類、情報ファジィネットワーク(IFN)、条件付き確率場、ANOVA、線形分類器(例えば、フィッシャーの線形判別、ロジスティック回帰、多項ロジスティック回帰、単純ベイズ分類器、パーセプトロン)、二次分類器、k近傍法、決定木、及び隠れマルコフモデルを含む。
他の実施形態では、生成される分類モデルは、教師なし学習モデルを使用して形成することができる。教師なし学習は、外部教示信号を必要とせずに神経デコーディングに適したデータ駆動手法を使用する代替手段である。教師なし分類は、訓練データセットが得られたスペクトルを事前に分類することなく、訓練データセット内の類似性に基づいて分類を学習することを試みることができる。
教師なし学習のための手法は、
・クラスタリング(例えば、k平均法、混合モデル、階層的クラスタリング)(Hastie Trevor、及びRobert Tibshirani、Friedman Jeromeによる「The Elements of Statistical Learning: Data mming,Inference,and Prediction」(2009年)、ニューヨークのシュプリンガー社、485から586頁)と、
・隠れマルコフモデルと、
・次元低減のための特徴抽出手法を使用したブラインド信号源分離(例えば、主成分分析、独立成分分析、非負値行列因子分解、特異値分解(Acharyya Ranjanによる「A New Approach for Blind Source Separation of Convolutive Sources」(2008年)、ISBN978−3−639−07797−1(この書籍は、ブラインド信号源分離を用いた教師なし学習に焦点を合わせている))と、
を含む。
・クラスタリング(例えば、k平均法、混合モデル、階層的クラスタリング)(Hastie Trevor、及びRobert Tibshirani、Friedman Jeromeによる「The Elements of Statistical Learning: Data mming,Inference,and Prediction」(2009年)、ニューヨークのシュプリンガー社、485から586頁)と、
・隠れマルコフモデルと、
・次元低減のための特徴抽出手法を使用したブラインド信号源分離(例えば、主成分分析、独立成分分析、非負値行列因子分解、特異値分解(Acharyya Ranjanによる「A New Approach for Blind Source Separation of Convolutive Sources」(2008年)、ISBN978−3−639−07797−1(この書籍は、ブラインド信号源分離を用いた教師なし学習に焦点を合わせている))と、
を含む。
ニューラルネットワークモデルの中で、自己組織化マップ(SOM)及び適応共鳴理論(ART)が、一般的に使用される教師なし学習アルゴリズムである。SOMは、マップ内の近傍位置が類似の特性を有する入力を表すトポグラフィー機構である。ARTモデルは、問題の大きさに伴ってクラスタ数が異なることを可能にし、ユーザが、警戒パラメータと呼ばれるユーザ規定の定数によって同じクラスタのメンバ間で類似度を制御するようにさせる。また、ARTネットワークは、自動目標認識及び地震波信号処理などの多くのパターン認識タスクにも使用される。ARTの最初のバージョンは、Carpenter及びGrossbergによって開発された(1988年)「ART1」(Carpenter G.A.及びGrossberg S.による「The ART of adaptive pattern recognition by a self−organizing neural network」(1988年)、コンピュータ 21巻、77から88頁)である。
1つの実施形態では、サポートベクターマシン(SVM)は、使用できる分類器の一例である。SVMは、可能性のある入力空間内の超曲面を見つけることによって動作することができ、この超曲面は、トリガされていない事象からトリガ基準を分離することを試みる。直観的には、これは、訓練データに近いが同一でないデータを検証するために、分類を正確なものにする。他の有向及び無向モデル分類手法は、例えば、単純ベイズ、ベイジアンネットワーク、決定木、ニューラルネットワーク、及びファジィ論理モデルを含むことができ、異なるパターンの独立変数を提供する確率的分類モデルが利用される。また、本明細書で使用される分類は、優先度のモデルを開発するのに利用される統計的回帰を含むことができる。
本開示の態様は、明示的に訓練された(例えば、ユーザ介入又はフィードバック、既知の感情/気分/好みなどの前提条件刺激910、既存のプレイリスト、音楽の好み、及び同様のものによる)分類器、並びに非明示的に訓練された(例えば、特定のユーザに対して経時的に音楽選曲を観測すること、使用パターン(例えば、勉強、運動など)を観測すること、外部情報を受け取ることなどによる)分類器、又はこれらの組み合わせを用いることができる。例えば、SVMは、特徴分類器コンストラクタ及び特徴選択モジュール内の学習又は訓練段階を介して構成することができる。従って、分類器は、限定されるものではないが、特定の感情、気分、及び/又は好みに関する生体信号を学習すること、特定の音楽に関連する生体信号(例えば、EEG)を学習すること、アーチファクトノイズを含むノイズを取り除くこと、楽曲の属性に基づいて各ユーザ向けの音楽を自動的に類別すること、個人的感情、気分、及び/又は好みに関連する楽曲の属性を識別することなどを含むいくつかの機能を自動的に学習及び実行するのに使用することができる。基準は、限定されるものではないが、EEG忠実度、ノイズアーチファクト、デバイス環境、デバイス用途、各音楽作品に利用可能な既存の情報、楽曲忠実度、サービスプロバイダの好み、及び/又は方針などを含むことができる。
例えば、図10に示されているように、本発明の1つの実施形態では、スマートオーディオヘッドホンシステムは、ユーザの介入を利用して、システムの訓練を開始する。ユーザ1001は、楽曲を(事前に)選択すること、音楽のタイプに関する一般的なガイドライン及び好み、又は例えば、ユーザが、ある音楽のジャンル、あるアーティスト若しくは楽器、又はある楽曲の特徴を好むことなどの他のこのような属性を提供すること、或いは「これは「ロック」ソングである」などの音楽に関する分類を事前に確立すること(例えば、事前に分類すること)によって、本システムを開始することができる。同様に、ユーザは、例えば、運動、勉強、集中、又はバックグラウンドミュージックといった所望の使用法及び/又は用途に基づいて、異なるガイドライン及び好みを特定する楽曲を事前に選択することができる。ユーザに対して音楽が再生される際に、ユーザは、各楽曲又は楽曲の一部分に関する好み状態(「好き」又は「嫌い」)、各楽曲又は楽曲の一部分に起因する感情(例えば、「楽しい」楽曲、「ラブソング」、又は「集中」楽曲など)、楽曲のスキップ又は繰り返し、或いは他のこのような介入を手動で特定して、本発明のシステムが、ユーザ介入に連動して、収集及び取得された生体信号から訓練することを可能にすることができる。本システムは、フィードバックループを生成して、ユーザの好み、気分、及び/又は感情に対してより正確に予測又は進化するように本システムをさらに訓練及び適応することができる。
様々な実施形態により、本発明のシステムは、随意的に事前処理ステップも含む。事前処理は、生体信号特徴セットの複雑性又は次元を低減するためのステップを含むことができる。例えば、図11は、特徴抽出及び/又は特徴選択処理を使用する任意選択ステップを示している。既存の又は認識された生体信号を活用する特徴抽出手法は、処理を低減するのに適用できるが、主成分分析又は独立成分分析、半定値埋め込み、多因子次元低減、多重線形部分空間学習、非線形次元低減、イソマップ(isomap)、潜在的意味解析、部分的最小二乗分析、オートエンコーダ、及び同様のものなどの一般的な次元低減手法が、有用とすることもできる。加えて、特徴選択ステップ903は、より大きい特徴セットから関連特徴のサブセットを選択して、冗長で無関係な特徴を取り除くこと、例えば、生体信号特徴セットから1又は2以上の生体信号を削減すること、音楽属性特徴セットから1又は2以上の音楽属性を削減すること、又は感情/気分/好み特徴セットから1又は2以上の感情/気分/好みを削減することに使用することができる。各サンプルに関する結果として生じる強度値は、フィルタ手法を含みデータに内在する特性を調査することによって特性の関連性を評価できる特徴選択手法、特徴セット検索内にモデル仮説を組み込むラッパー方法、及び/又は最適な特徴セットの検索が分類器アルゴリズムに組み込まれた組み込み手法を使用して解析することができる。
特定の実施形態では、本発明はさらに、固定適応フィルタリング、重み付き平均、改良型成分抽出(PCA、ICAのようなもの)、ベクトル成分分離方法などを使用して、収集されたデータに対して、ノイズ、アーチファクト、及び他の無関係な又は冗長なデータを取り除くための特徴抽出/選択処理の一部分である場合又はそうでない場合があるフィルタを含む。このフィルタは、外来ノイズ(ユーザがビデオを視聴している間、信号源が、ユーザの生理機能以外である、例えば、RF信号、電話の鳴る音)及び内因性アーチファクト(信号源が、神経生理的なもの、例えば、心臓アーチファクト、筋肉の動き、まばたきなど)の両方を取り除くことによってデータを削除する。アーチファクト削除サブシステムは、選択的に反応データを切り離してこのデータを調査し、回線周波数、まばたき、筋肉の動きなどのアーチファクトに対応する時間領域及び/又は周波数領域属性を有するエポックを識別する機構を含む。次に、アーチファクト削除サブシステムは、これらのエポックを省略すること、又は他の正確なデータ(例えば、EEG隣接重み付き平均手法)に基づいてこれらのエポックデータを推定値と置き換えることのいずれかによって、アーチファクトを取り除く。
様々な実施形態により、事前処理は、ハードウェア、ファームウェア、及び/又はソフトウェアを使用して実装される。事前処理は、特徴分類の前に利用することができる。事前処理は、他のコンポーネントと同様に、システム実装に基づいて異なる位置及び機能を有することができることに留意されたい。例えば、いくつかのシステムは、他のシステムでは、ユーザデバイスに、ユーザクライアントデバイス(コンピュータ又はモバイル機器)上に、又は「クラウド内の」集約処理システム上に組み込むことができる何らかの自動処理ステップであっても、その自動処理ステップを使用することができない。
図9にさらに示されているように、本発明の実施形態はさらに、EEG信号などの選択された生体信号で表され分類された感情/気分/好みに合うように楽曲又は他の音楽をマッチング及び選択する音楽マッチングステップを含む。本システムは、ユーザの手動の、意識した、潜在意識の、又は感情的な音楽選択に合致するように自動的に音楽のプレイリストを生成することができる。音楽は、デバイス上、スタンドアロン型コンピューティングデバイス又はモバイル機器上、或いはクライアントデバイス上の音楽データベース内に、より大規模なネットワーク又はグリッドコンピューティングシステムの一部分として格納することができる。例えば、特定の感情、気分、又は好みとして表された識別子は、ユーザから収集された生体信号に基づいて各楽曲(又は楽曲の一部分)に関連付けることができる。また、識別子は、複数のユーザ(例えば、全住民)の感情/気分/好み、音楽属性データベース、全住民ライブラリ、及び同様ものを表すこともできるが、1つの実施形態では、識別子は、ユーザの即時の又はリアルタイムの感情、気分、及び/又は好みを測定するためのユーザに特有のものである。識別子は、システムを改良するために、さらにシステムを訓練するために、メタデータとして利用するために、又は他のこのような目的で、例えば、1つの実施形態では、システム内部の又は外部の1又は2以上のデータベースに収集及び集約することができる。識別子は、一時的又は永続的に音楽と関連付けること、又はユーザの好みが変化するとともに進化させることができる。例えば、ユーザは、システムをさらに訓練するのに使用できる音楽選択を無効にすること又はこの選択を確認することができる。加えて、本システムは、異なる感情、気分、及び/又は好みを各楽曲に関連付けるように学習するので、識別子は、修正することができ、或いは複数の識別子が、各楽曲(又は楽曲の一部分)と関連することもできる。例えば、本システムは、ユーザがこの特定の時間に複数回再生した場合には「楽しい」楽曲をハッピーソングとして明示することができず、従って、識別子の変更又は複数の識別子の割り当てが必要となる。従って、本システムは、感情、気分、及び/又は好みの強度を、特定の楽曲又は音楽に、或いは時間又は活動/環境に依存する感情/気分/好みに関連付けることもできる。追加的に又は代替的に、上述したプレイリストは、楽曲の属性に基づいて生成することができる。例えば、楽曲に関するユーザの好みが識別されると、本システムは、これらの楽曲が、音楽属性などのどの共通要素を有するかを発見して、音楽の新規プレイリストを発見してそれを生成するのに利用することができる。
追加の実施形態又は本発明の別の/独立した実施形態において、図12に示されているシステムは、ユーザの特定の気分、感情、及び/又は好みに関連する音楽の属性を学習するためのオーディオ属性分類システムを含む。1つの実施形態では、感情、気分、及び/又は好みに分類された(例えば、本システム又はユーザによる)音楽は、本システムと、同様に分類された音楽に基づいて生成され分類された属性のパターンとを訓練するのに使用することができる。本明細書で説明する属性分類方法は、類似の音楽(例えば、同様に分類された属性を有する音楽)のプレイリストを生成するのに使用することができる。本発明はさらに、プレイリスト上の再生される音楽が、適切な感情、気分、及び/又は好みと適合することを継続的に確認する適応コンポーネントを含むことができる。分類器は、適合した音楽だけでなく適合しなかった音楽の両方から、具体的には、この音楽を構成する属性から学習することができる。
1つの実施形態では、音楽作品の要素又は特性を含む属性に基づいて選択された音楽は、システムを訓練するのに使用することができる(また、以下さらに説明するように、本システムが、音楽データベース内の音楽を類別/分類すること及び/又は関連音楽を識別することに利用することができる)。このような属性は、ピッチと、半音階内の音符と、拍子記号、リズム、ペダル、アタック、サステイン、及びテンポを含む継続時間に基づく音符及び要素の継続時間と、ラウドネス又はボリューム及び基づいている要素と、半音階内の音符間にあるピッチと、第2の高い分解能未満の時間間隔でサンプリングされたピッチと、倍音の主音と、音楽作品又は演奏の非音楽的サウンド部分と、音声又は他の音符と同時に生じる一連のユーザ音符と、パーカッションと、音色、鮮明度、こする音、及び電子的歪みを含むサウンド品質と、主題を表す又はメロディに関する一連の音符と、連続的に倍音の役割を有する音符と、正格終止、弱終止、アーメン終止、及び半音下げた第6終止を含む終止のタイプと、終止の段階と、コードのタイプと、コードのメジャー/マイナー状態と、コード内の音符と、パートと、楽句と、不協和音と、を含む。また、属性は、楽曲の特徴、例えば、ジャンル(例えば、ロック、クラシック、ジャズなど)、楽曲の雰囲気、楽曲が録音された時期、アーティストに最も関連する血統又は領域、アーティストタイプ、歌手の性別、歪みレベル(電子ギター)、及び同様もののも含む。例えば、Gracenote(www.gracenote.com)、以前はCDDB(コンパクトディスクデータベース)、FreeDB(http://www.freedb.org)、MusicBrainz(http://musicbrainz.org)、及びPandoraによって利用されるシステム(及び米国特許番号7,003,515号「Music Genome Project」に記載のもの)などの属性ライブラリを利用することができる。一般的な属性は、楽曲をグループ化又はクラスタリングすること、及び/又は各楽曲に関連する感情、気分、又は好みを識別/ラベル付けすることに利用することができる。
ある実施形態では、プレイリストは、2つ以上の作品において繰り返されユーザの好ましいスタイルの本質と解釈できるパターンに基づくことができる。スタイルは、種々の音楽間の関係の反復パターンに固有である。これらのパターンの主成分は、音楽データベースプレイリスト内に取り込まれそこで表現された数量及び品質、例えば、作品内のピッチ、継続時間、時間的位置であるが、強弱法及び音色などの他の因子が、再生に関与することができる。パターンは、ハーモニィなどの垂直同時関係、メロディなどの水平時間ベースの関係、並びに振幅ベースの関係(強弱法)、及び音色関係で区別することができる。パターンは、同一、ほとんど同一、同一であるが逆、類似しているが反転したもの、同様であるが同一でないものとすることができる。この処理の本質は、音楽の異なる部分のパターンを反復して選択し、データベース内の他の場所で同様又は類似のパターンの他のインスタンスを探し求めること、並びに発生頻度、タイプ、及び類似度によって音楽をランク付けして、適合する音楽の一覧を編集することである。この調査の目的(すなわち、最終的なパターンマッチングが、厳密に又は幅広く割り当てられたか否か)は、ユーザの感情、気分、及び/又は好みに特有の音楽データベース内の音楽本体の共通点又は「スタイル」を特徴付けるパターンを検出することである。
本発明は、適宜、本明細書において環境用途の観点から説明される。これらの環境の観点からの説明は、本発明の様々な特徴及び実施形態を例示的なアプリケーションとの関連で表現することを可能にするために提示される。本明細書で開示される実施形態に対して様々な変更を行うことができるが理解されるであろう。従って、上記の説明は、限定されるものではなく、単に好ましい実施形態を例示するものとして解釈されたい。当業者であれば、本開示の範囲及び精神の中で他の変更例が構想されるであろう。このような変更例及び変形例は、以下の特許請求の範囲の範疇に含まれることが意図されている。
例えば、スマートオーディオヘッドホンシステムは、本発明を限定することなく、ユーザ個人専用プレイリストを自動的かつ適応的に生成することを含む様々な用途に利用することができる。加えて、このデバイスは、異なる環境でユーザのリアルタイムの感情/気分/好みに基づいて異なる楽曲及び他のタイプの音楽を再生するのに利用できるだけでなく、用途に応じて楽曲及び/又は音楽を操作するのに利用することもできる。例えば、運動している人は、ユーザの生理的状態に基づいて楽曲のテンポを速くすることができる。1つの実施形態では、本デバイスは、機械学習を使用して学習者(又は作業者)の関与(engagement)及び/又は不関与(dis−engagement)を決定して、学習者の関与を修正又は改良することができる。機敏さを高める音楽は、学習者の精神状態を修正するために再生することができる。図示の実施形態では、学習者関与モジュールは、1又は2以上の学習者、1又は2以上の電子学習出版社、1又は2以上の学習機関、又は同様のものと通信して、電子学習出版社及び/又は学習機関によって学習者に提供される電子学習材料に関して学習者の関与を決定することができる。同様に、憂鬱な人、ストレスを受けている人、或いは片頭痛又は頭痛などの精神的、心理的、又は生理的な異常の傾向がある人は、本デバイスを使用して、このような状態を緩和又は軽減することができる。他の実施形態では、本システムは、他の動作(非音楽的)を開始することができ、例えば、本発明のデバイスは、インターネット(「モノのインターネット」)を介してアクセスされる物理的物体のネットワークに接続されて、他のデバイス又は他のマシン(例えば、視界内の色及び明るさ)を操作することができる。他の応用例は、ニューロトレーニング、知覚学習/訓練、ニューロフィードバック、神経刺激、及び例えばオーディオ刺激を利用できるものを含む他の応用例を含む。
ここで、図13を参照すると、この図は、挙動ライブラリ、感情、気分、及び/又は好みのライブラリ、分類整理した音楽及び/又はその属性のライブラリ、ユーザデータベース、及び複数ユーザの共有データベースを含む、本明細書で利用される例示的なデータストアを示す概略図である。感情、気分、又は好みのライブラリは、感情、気分、又は好みに関連する生体信号、例えば、本発明のシステムによって特定のユーザに関して収集及び分類された既存のライブラリ及び/又は生体信号を含むことができる。音楽ライブラリは、ユーザによって又はより大きいライブラリから収集された音楽の一覧、各楽曲又は音楽に関連するユーザの気分、感情、又は好みを含み各楽曲又は音楽に関連する属性を含むことができる。音楽ライブラリは、デバイス上に、又はデバイスの外部に、或いはサービスを介して格納することができる。いくつかの実施形態では、サーバは、ユーザデータベースを含むことができる。ユーザデータベースは、データベース、階層木、データファイル、又は一般的にユーザレコードと呼ばれる、複数のユーザに関して同じライブラリ内又は別個の共有データベース内に集合的に格納することができる、ユーザの識別情報又は記録を格納するための他のデータ構造を含むことができる。
ある実施形態では、本発明のデバイスシステムは、オーディオファイルを含む1又は2以上のライブラリを提供するように、及び/又はユーザが、これらのライブラリを提供することを可能にするように構成される。本明細書で使用される音楽ライブラリは、複数のオーディオベースファイルを集めたものを意味する。1つの実施形態では、本発明は、デバイスに格納された全てのオーディオファイルを含む総合的又は主要ライブラリを提供するように構成される。また、本発明は、2又は3以上のオーディオファイルを含むサブセットを提供するように、又はユーザが、これらのサブセットを生成することを可能にするように構成される。ライブラリサブセットは、任意数のオーディオファイルを含むが、ライブラリに格納されたオーディオファイルの全てより少ないオーディオファイルを含むことができる。「音楽ライブラリ」という用語は、電子デバイス上に格納された全てのオーディオベースファイルを含む主要ライブラリ、及び電子デバイス上に格納されたオーディオベースファイルのサブセットを含むライブラリサブセットを包含する。また、ライブラリサブセットは、ライブラリのコンテンツを規定する又はこのコンテンツをラベル付けするように別の用語によって変更される場合又は変更されない場合がある単なる「音楽ライブラリ」を意味することもあり、或いは、ライブラリサブセットは、プレイリストを意味することもある。主要音楽ライブラリは、特定のオーディオベースファイル全部を集めたものを意味することができる。例えば、主要ライブラリは、ユーザの格納された音楽又は楽曲ファイルの全てを含む主要音楽ライブラリとすることができる。ライブラリサブセットは、ユーザが生成したもの、又はライブラリアプリケーションによって生成されたものとすることができる。本発明は、オーディオファイルに関連して学習された感情、気分、及び/又は好みに基づいてライブラリサブセットを生成することができる。例えば、楽曲ファイルは、ジャンル、アーティスト名、アルバム名、及び同様のものなどの属性を含むことができる。また、本発明は、例えば、ライブラリ名、生成された日付、誰がライブラリを生成したか、オーディオファイルの順番、ライブラリが編集された日付、ライブラリ内のオーディオファイルが再生された順番(及び/又は平均順番)、ライブラリ内のオーディオファイルが再生された回数及び/又は平均回数、及び本明細書で説明した他のこのような属性などの、ライブラリに関連する様々な特徴又はデータを特定するように構成することもできる。
実施形態のある態様は、本明細書では、本発明の実施形態による方法、装置、システム、及びコンピュータプログラム製品の概略的フローチャート及び/又は概略的ブロック図を参照して説明される。概略的フローチャート及び/又は概略的ブロック図の各ブロック、及び概略的フローチャート及び/又は概略的ブロック図のブロックの組み合わせは、コンピュータ可読プログラムコードによって実装できることが理解されるであろう。これらのコンピュータ可読プログラムコードは、汎用コンピュータ、専用コンピュータ、シーケンサ、又はマシンをもたらす他のプログラム可能データ処理装置のプロセッサに提供されて、コンピュータ又は他のプログラム可能データ処理装置のプロセッサを介して実行される命令が、概略的フローチャート及び/又は概略的ブロック図のブロックにおいて規定された機能/動作を実行するための手段を生成するようにすることができる。
ここで、図9から12の方法を実行できる処理システム1300を示すブロック図である図14を参照する。図14は、単に、そのいずれか又は全てが必要に応じて利用できる様々なコンポーネントの一般的な実例を提示することを意味していることに留意されたい。従って、図14は、ユーザシステムの要素が、比較的より独立して、又は比較的より統合されて、どのようにして実装できるかを広義に示している。
本明細書で説明する機能ユニットの多くは、より具体的にこれらの実装独立性を強調するようにモジュールとしてラベル付けされている。例えば、モジュールは、カスタムVLSI回路又はゲートアレイ、論理チップなどの市販の半導体、トランジスタ、又は他の個別部品を含むハードウェア回路として実装することができる。また、モジュールは、マイクロコード、ファームウェア、もしくはフィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジックデバイス又は同様のものなどのプログラマブルハードウェアデバイスなどで実装することもできる。
また、モジュールは、様々なタイプのプロセッサによって実行されるソフトウェアで実装することもできる。例えば、コンピュータ可読プログラムコードからなる識別されたモジュールは、例えば、オブジェクト、手続き、又は機能として構成できるコンピュータ命令からなる1又は2以上の物理又は論理ブロックを含むことができる。それにもかかわらず、識別されたモジュールの実行ファイルは、物理的に一緒に位置する必要はないが、異なる場所に格納された異なる命令を含むことができ、これらの命令は、論理的に一緒に結合された場合に、モジュールを構成してこのモジュールに指定された目的を達成する。本明細書では、これらの実装、又は本発明が利用できる他の何らかの形態は、手法、ステップ、又は処理と呼ばれることがある。
実際には、コンピュータ可読プログラムコードからなるモジュールは、単一の命令又は多数の命令とすることができ、さらに、いくつかの異なるコードセグメントにわたって、異なるプログラム間で、及びいくつかのメモリデバイスにわたって分散することもできる。同様に、本明細書では、動作データは、モジュール内で識別されて示すことができ、何らかの好適な形態で具体化されて、何らかの好適なタイプのデータ構造内で構成することができる。動作データは、単一のデータセットとして収集すること、又は異なる記憶装置を含む異なる場所にわたって分散することができ、少なくとも部分的に、単なるシステム又はネットワーク上の電子信号として存在することもできる。モジュール又はモジュールの一部分がソフトウェアで実装される場合、コンピュータ可読プログラムコードは、1又は2以上のコンピュータ可読媒体に格納すること及び/又はこれらのコンピュータ可読媒体で配布することができる。
コンピュータ可読媒体は、コンピュータ可読プログラムコードを格納する有形のコンピュータ可読記憶媒体とすることができる。1又は2以上のコンピュータ可読記憶媒体の何らかの組み合わせを利用することができる。コンピュータ可読記憶媒体は、例えば、限定されるものではないが、電子、磁気、光学的、電磁的、赤外線、又は半導体システム、装置、又はデバイス、或いは前述のものの何らかの好適な組み合わせとすることができる。
コンピュータ可読媒体のより具体的な例(非網羅的リスト)は、限定されるものではないが、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能でプログラム可能な読み出し専用メモリ(EPROM又はフラッシュメモリ)、ポータブルコンパクトディスク読み出し専用メモリ(CD−ROM)、デジタル多用途ディスク(DVD)、Blu−Ray(登録商標)ディスク(BD)、光学式記憶装置、磁気記憶装置、ホログラフィック記憶媒体、マイクロメカニカル記憶装置、又は前述のものの何らかの好適な組み合わせを含むことができる。本明細書との関連で、コンピュータ可読記憶媒体は、命令実行システム、装置、又はデバイスによって及び/又はこれらに関連して使用されるコンピュータ可読プログラムコードを含むこと、及び/又はこのコンピュータ可読プログラムコードを格納することができる何らかの有形媒体とすることができる。
また、コンピュータ可読媒体は、コンピュータ可読信号媒体とすることもできる。コンピュータ可読信号媒体は、例えばベースバンドにおいて又は搬送波の一部分として具体化されコンピュータ可読プログラムコードを有する伝搬データ信号を含むことができる。このような伝搬データ信号は、限定されるものではないが、電気、電磁気、磁気、光学、又はこれらの何らかの好適な組み合わせを含む様々な形態のうちのいずれかを利用することができる。コンピュータ可読信号媒体は、命令実行システム、装置、又はデバイスによって又はこれらに関連して使用されるコンピュータ可読プログラムコードを伝達すること、このコンピュータ可読プログラムコードを伝搬すること、又はコンピュータ可読プログラムコードを搬送することができコンピュータ可読媒体ではない何らかのコンピュータ可読媒体とすることができる。コンピュータ可読信号媒体上で具体化されるコンピュータ可読プログラムコードは、限定されるものではないが、無線、有線、光ファイバケーブル、無線収集(RF)、又は同様ものの、或いは前述のものの何らかの好適な組み合わせを含む何らかの適切な媒体を使用して送信することができる。
1つの実施形態では、コンピュータ可読媒体は、1又は2以上のコンピュータ可読記憶媒体及び1又は2以上のコンピュータ可読信号媒体の組み合わせを含むことができる。例えば、コンピュータ可読プログラムコードは、プロセッサによって実行されるように光ファイバケーブルを介して電磁気信号として伝搬すること、及びプロセッサによって実行されるようにRAM記憶装置に格納することができる。
本発明の態様に関する動作を実行するためのコンピュータ可読プログラムコードは、Java、Python、Ruby、PHP、C++、又は同様のものなどのオブジェクト指向プログラミング言語、及び「C」プログラミング言語又は同様のプログラミング言語などの従来の手続型プログラミング言語を含む1又は2以上のプログラミング言語の何らかの組み合わせで記述することができる。コンピュータ可読プログラムコードは、ユーザのコンピュータ上で完全に、ユーザのコンピュータ上で部分的に、スタンドアロン型ソフトウェアパッケージとして、ユーザのコンピュータ上で部分的かつリモートコンピュータ上で部分的に、或いはリモートコンピュータ又はサーバ上で完全に実行することができる。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク(LAN)又はワイドエリアネットワーク(WAN)を含む何らかのタイプのネットワークを介してユーザのコンピュータに接続することができ、或いはこの接続は、外部コンピュータ(例えば、インターネットサービスプロバイダを使用したインターネットを介する)に対して行うこともできる。
また、コンピュータ可読プログラムコードは、コンピュータ、他のプログラム可能データ処理装置、又は他のデバイスに、特定の方法で機能するように指示できるコンピュータ可読媒体に格納されて、このコンピュータ可読媒体に格納された命令が、概略的フローチャート及び/又は概略的ブロック図のブロックにおいて規定された機能/動作を実行する命令を含む製造品を製造するようにすることができる。
また、コンピュータ可読プログラムコードは、コンピュータ、タブレット又は電話機などのその他のプログラム可能データ処理装置、或いはその他のデバイスにロードされて、一連の動作ステップを、コンピュータ、その他のプログラム可能装置、又はその他のデバイス上で実行させて、コンピュータ実行処理を生成して、コンピュータ又はその他のプログラム可能装置上で実行されるプログラムコードが、フローチャート及び/又はブロック図のブロックで規定された機能/動作を実行するための処理を提供するようにすることもできる。
図15に示されているように、本発明のある実施形態は、ネットワークを含むことができるネットワーク接続環境で動作する。このネットワークは、限定されるものではないが、TCP/IP、SNA、IPX、AppleTalk、及び同様のものを含む商業的に利用可能な種々のプロトコルのうちのいずれかを使用したデータ通信をサポートでき当業者によく知られたいずれかのタイプのネットワークとすることができる。単に例として、ネットワークは、限定されるものではないが、Ethernet(登録商標)ネットワーク、トークンリングネットワーク及び/又は同様のものを含むローカルエリアネットワーク(LAN)、限定されるものではないが、仮想プライベートネットワーク(「VPN」)を含む仮想ネットワーク、インターネット、イントラネット、エクストラネット、公衆交換電話網(「PSTN」)、赤外線ネットワーク、限定されるものではないが、当業者に公知のIEEE 802.11プロトコル一式、Bluetooth(TM)プロトコル、及び/又はその他の無線プロトコルのいずれかの下で動作するネットワークを含む無線ネットワーク、及び/又はこれらの何らかの組み合わせ及び/又はその他のネットワークとすることができる。
本発明の実施形態は、ヘッドホン又はクライアントと同一場所に配置すること、或いは例えば「クラウド」内にリモートで配置することができる1又は2以上のサーバコンピュータを含むことができる。サーバコンピュータの各々は、限定されるものではないが、上述したもののいずれか、並びに商業的に(又はフリーで)利用可能ないずれかのサーバオペレーティングシステムを含むオペレーティングシステムで構成することができる。また、サーバの各々は、サービスを、スマートオーディオヘッドホンに直接、1又は2以上の媒介クライアントに、及び/又はその他のサーバに提供するように構成することができる1又は2以上のアプリケーション及びデータベースを実行することができる。
別途規定されない限り、本明細書で用いられる全ての技術的及び科学的用語は、本発明が属する技術分野の当業者によって一般に理解されるものと同じ意味を有する。本明細書で参照される全ての特許、出願、公開出願、及びその他の公開物は、その全体が引用により組み込まれる。このセクションで示される定義が、引用により本明細書に組み込まれた出願、公開出願、及びその他の公開物で示される定義に反する場合、又はそれ以外の場合には、それと矛盾する場合には、本明細書で示される定義が、引用により本明細書に組み込まれた定義より優先する。
100 システム
110 センサ
115 イヤーパッド
120 耳当て部
130 ヘッドバンド
110 センサ
115 イヤーパッド
120 耳当て部
130 ヘッドバンド
Claims (20)
- ユーザの学習された感情、気分、及び/又は好みに基づいて適応的かつ自動的に音楽を選択するスマートオーディオヘッドホンシステムであって、
1又は2以上のオーディオスピーカと、
1又は2以上の生体信号センサと、
を備え、
適応的に1又は2以上の生体信号を取得して分類し、ユーザの感情、気分、及び/又は好みを学習して、前記ユーザの好み、気分、及び/又は感情にマッチする音楽を選択するようになった、オーディオヘッドホン。 - 生理的信号を取得して、前記生理的信号を対応する感情、気分、及び/又は好みに分類するための機械分類器をさらに備える、請求項1に記載のオーディオヘッドホンシステム。
- 前記生理的信号は、ユーザが最初に使用する際に、断続的に、周期的に、又は連続的に取得される、請求項2に記載のオーディオヘッドホンシステム。
- 前記生理的信号は、音楽と相互に関連付けられる、請求項2に記載のオーディオヘッドホンシステム。
- 前記生体信号センサは、電極である、請求項1に記載のオーディオヘッドホンシステム。
- 前記電極は、ユーザの耳の皮膚、前記ユーザの耳を取り囲む皮膚、或いは前記ユーザの耳の周りの又は頸部の髪の生えぎわに沿った皮膚からEEG信号を読み取るように位置決めされる、請求項4に記載のオーディオヘッドホンシステム。
- 前記ヘッドホンは、2又は3以上の電極を備え、少なくとも1つの電極が基準電極である、請求項4に記載のオーディオヘッドホンシステム。
- 前記スピーカ及び電極を支持する1又は2以上の耳当て部をさらに備える、請求項4に記載のオーディオヘッドホンシステム。
- 各々がスピーカ及び1又は2以上の電極を支持する2つの耳当て部をさらに備える、請求項4に記載のオーディオヘッドホンシステム。
- 前記耳当て部は、前記電極を支持するイヤーパッドを備える、請求項6に記載のオーディオヘッドホンシステム。
- 前記オーディオヘッドホンは、前記スピーカ及びセンサを支持するヘッドバンドをさらに備える、請求項1に記載のオーディオヘッドホンシステム。
- 前記ヘッドバンドは、1又は2以上のEEGセンサを備える、請求項6に記載のオーディオヘッドホンシステム。
- バッテリ及びプロセッサをさらに備える、請求項1に記載のオーディオヘッドホンシステム。
- 前記生体信号を格納及び処理するための外部仲介デバイスをさらに備える、請求項1に記載のオーディオヘッドホンシステム。
- 前記ユーザは、前記ユーザの好み、気分、及び/又は感情を用いて前記システムを訓練する、請求項1に記載のオーディオヘッドホンシステム。
- 音楽は、音楽に対するユーザの個人的好み、気分、又は感情に基づいて、自動的に分類されラベル付けされる、請求項2に記載のオーディオヘッドホンシステム。
- ユーザの好み、気分、及び/又は感情に基づいて音楽の属性を分類するための学習機構をさらに備える、請求項1に記載のオーディオヘッドホンシステム。
- 音楽のライブラリが、ユーザの好み、気分、及び/又は感情に基づいて生成される、請求項1に記載のオーディオヘッドホンシステム。
- ユーザの感情、気分、及び/又は好みに基づいて音楽の属性を分類するための学習機構を備える音楽の好み学習システム。
- 1又は2以上の電気接点センサ及び1又は2以上のスピーカを備えるオーディオヘッドホンシステムからEEG信号を取得する方法であって、該方法は、
a.音楽などの第1のオーディオ刺激をユーザに提示する段階と、
b.ユーザの頭部から前記EEG信号を取得する段階と、
c.前記EEG信号を、前記オーディオ刺激に対するユーザの好み、気分、及び/又は感情に分類して、前記ユーザの感情、気分、及び/又は好みと音楽のタイプ又は属性との間の1又は2以上の関連情報を特定する段階と、
d.その後、前記第1のオーディオ刺激と類似した又は前記第1のオーディオ刺激と異なる追加のオーディオ刺激を提示する段階と、
を含む方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462074042P | 2014-11-02 | 2014-11-02 | |
US62/074,042 | 2014-11-02 | ||
PCT/US2015/058647 WO2016070188A1 (en) | 2014-11-02 | 2015-11-02 | Smart audio headphone system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018504719A true JP2018504719A (ja) | 2018-02-15 |
Family
ID=55858456
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017542819A Pending JP2018504719A (ja) | 2014-11-02 | 2015-11-02 | スマートオーディオヘッドホンシステム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20170339484A1 (ja) |
EP (1) | EP3212073A4 (ja) |
JP (1) | JP2018504719A (ja) |
KR (1) | KR20170082571A (ja) |
CN (1) | CN107106063A (ja) |
WO (1) | WO2016070188A1 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109002492A (zh) * | 2018-06-27 | 2018-12-14 | 淮阴工学院 | 一种基于LightGBM的绩点预测方法 |
JP2019195618A (ja) * | 2018-05-08 | 2019-11-14 | 富士ゼロックス株式会社 | 情報処理システム、情報処理装置及びプログラム |
JP2020123140A (ja) * | 2019-01-30 | 2020-08-13 | ファナック株式会社 | 制御パラメータ調整装置 |
JP2021525628A (ja) * | 2018-05-26 | 2021-09-27 | センズ.エーアイ インコーポレイテッドSens.Ai Inc. | Eegおよびバイオメトリックセンサを有するウェアラブルデバイスのための方法および装置 |
JP2022097293A (ja) * | 2020-12-18 | 2022-06-30 | ヤフー株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
WO2022208906A1 (ja) * | 2021-03-30 | 2022-10-06 | ソニーグループ株式会社 | コンテンツ再生システム、情報処理装置及びコンテンツ再生制御アプリケーション |
JP7297342B1 (ja) | 2022-09-26 | 2023-06-26 | 株式会社Creator’s NEXT | 脳情報の分析によるレコメンデーション |
JP2023113965A (ja) * | 2017-07-28 | 2023-08-16 | パナソニックIpマネジメント株式会社 | データ生成装置、生体データ計測システム、識別器生成装置、データ生成方法、識別器生成方法及びプログラム |
WO2023190592A1 (ja) * | 2022-03-31 | 2023-10-05 | Vie Style株式会社 | ヘッドセット |
WO2024090527A1 (ja) * | 2022-10-26 | 2024-05-02 | サントリーホールディングス株式会社 | 生体信号計測装置 |
Families Citing this family (81)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130035579A1 (en) | 2011-08-02 | 2013-02-07 | Tan Le | Methods for modeling neurological development and diagnosing a neurological impairment of a patient |
US20200238097A1 (en) * | 2014-01-28 | 2020-07-30 | Medibotics Llc | Head-Worn Mobile Neurostimulation Device |
EP3027110A4 (en) | 2013-07-30 | 2017-06-28 | Emotiv Lifesciences, Inc. | Wearable system for detecting and measuring biosignals |
US12029573B2 (en) | 2014-04-22 | 2024-07-09 | Interaxon Inc. | System and method for associating music with brain-state data |
US10321842B2 (en) | 2014-04-22 | 2019-06-18 | Interaxon Inc. | System and method for associating music with brain-state data |
GB2527157B (en) * | 2014-11-19 | 2016-07-13 | Kokoon Tech Ltd | A headphone |
US20160157777A1 (en) * | 2014-12-08 | 2016-06-09 | Mybrain Technologies | Headset for bio-signals acquisition |
US10108264B2 (en) | 2015-03-02 | 2018-10-23 | Emotiv, Inc. | System and method for embedded cognitive state metric system |
NZ773847A (en) | 2015-03-16 | 2022-07-01 | Magic Leap Inc | Methods and systems for diagnosing and treating health ailments |
KR102320815B1 (ko) * | 2015-06-12 | 2021-11-02 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
US10143397B2 (en) * | 2015-06-15 | 2018-12-04 | Edward Lafe Altshuler | Electrode holding device |
KR20230084603A (ko) | 2016-04-08 | 2023-06-13 | 매직 립, 인코포레이티드 | 가변 포커스 렌즈 엘리먼트들을 가진 증강 현실 시스템들 및 방법들 |
GB2550550A (en) * | 2016-05-11 | 2017-11-29 | Alexander Lang Gordon | Inner ear transducer with EEG feedback |
US10698477B2 (en) * | 2016-09-01 | 2020-06-30 | Motorola Mobility Llc | Employing headset motion data to determine audio selection preferences |
US10852829B2 (en) * | 2016-09-13 | 2020-12-01 | Bragi GmbH | Measurement of facial muscle EMG potentials for predictive analysis using a smart wearable system and method |
US11540759B2 (en) | 2016-09-29 | 2023-01-03 | Mindset Innovation Inc. | Biosignal headphones |
FR3058628B1 (fr) * | 2016-11-15 | 2021-07-30 | Cosciens | Dispositif de mesure et/ou de stimulation de l'activite cerebrale |
DE102017000835B4 (de) | 2017-01-31 | 2019-03-21 | Michael Pieper | Massagegerät für den Kopf eines Menschen |
CA3053571A1 (en) | 2017-02-23 | 2018-08-30 | Magic Leap, Inc. | Display system with variable power reflector |
US10918325B2 (en) * | 2017-03-23 | 2021-02-16 | Fuji Xerox Co., Ltd. | Brain wave measuring device and brain wave measuring system |
US10291976B2 (en) * | 2017-03-31 | 2019-05-14 | Apple Inc. | Electronic devices with configurable capacitive proximity sensors |
JP6839818B2 (ja) * | 2017-05-17 | 2021-03-10 | パナソニックIpマネジメント株式会社 | コンテンツ提供方法、コンテンツ提供装置及びコンテンツ提供プログラム |
US11150694B2 (en) | 2017-05-23 | 2021-10-19 | Microsoft Technology Licensing, Llc | Fit system using collapsible beams for wearable articles |
JP2019024758A (ja) * | 2017-07-27 | 2019-02-21 | 富士ゼロックス株式会社 | 電極及び脳波測定装置 |
US11547333B2 (en) * | 2017-08-27 | 2023-01-10 | Aseeyah Shahid | Physiological parameter sensing device |
WO2019104172A1 (en) | 2017-11-21 | 2019-05-31 | 3M Innovative Properties Company | A cushion for a hearing protector or audio headset |
US20200373001A1 (en) * | 2017-11-24 | 2020-11-26 | Thought Beanie Limited | System with wearable sensor for detecting eeg response |
CN108200491B (zh) * | 2017-12-18 | 2019-06-14 | 温州大学瓯江学院 | 一种无线交互式头戴语音设备 |
US11568236B2 (en) | 2018-01-25 | 2023-01-31 | The Research Foundation For The State University Of New York | Framework and methods of diverse exploration for fast and safe policy improvement |
US10524040B2 (en) * | 2018-01-29 | 2019-12-31 | Apple Inc. | Headphones with orientation sensors |
KR102497042B1 (ko) * | 2018-01-29 | 2023-02-07 | 삼성전자주식회사 | 사용자 행동을 바탕으로 반응하는 로봇 및 그의 제어 방법 |
US10857360B2 (en) * | 2018-02-08 | 2020-12-08 | Innovative Neurological Devices Llc | Cranial electrotherapy stimulator |
FR3078249A1 (fr) * | 2018-02-28 | 2019-08-30 | Dotsify | Systeme interactif de diffusion de contenu multimedia |
US20210030358A1 (en) * | 2018-03-09 | 2021-02-04 | Mitsubishi Electric Corporation | State of discomfort determination device |
EP3576019B1 (en) | 2018-05-29 | 2024-10-09 | Nokia Technologies Oy | Artificial neural networks |
USD866507S1 (en) * | 2018-07-13 | 2019-11-12 | Shenzhen Fushike Electronic Co., Ltd. | Wireless headset |
US11272288B1 (en) * | 2018-07-19 | 2022-03-08 | Scaeva Technologies, Inc. | System and method for selective activation of an audio reproduction device |
JP7217602B2 (ja) * | 2018-09-06 | 2023-02-03 | 株式会社フジ医療器 | マッサージ機 |
JP2022502221A (ja) | 2018-09-21 | 2022-01-11 | マクロジックス インコーポレイテッドMaculogix, Inc. | 眼球検査及び測定を行う方法、装置並びにシステム |
US10878796B2 (en) | 2018-10-10 | 2020-12-29 | Samsung Electronics Co., Ltd. | Mobile platform based active noise cancellation (ANC) |
CN110602589B (zh) * | 2018-10-27 | 2020-11-27 | 杭州鐵三角科技有限公司 | 一种电脑耳机及其使用方法 |
CN109350051B (zh) * | 2018-11-28 | 2023-12-29 | 华南理工大学 | 用于精神状态评估与调节的头部可穿戴设备及其工作方法 |
CN109663196A (zh) * | 2019-01-24 | 2019-04-23 | 聊城大学 | 一种音乐指挥及音乐治疗系统 |
US11205414B2 (en) | 2019-02-15 | 2021-12-21 | Brainfm, Inc. | Noninvasive neural stimulation through audio |
RU2718662C1 (ru) * | 2019-04-23 | 2020-04-13 | Общество с ограниченной ответственностью "ЭЭГНОЗИС" | Бесконтактный датчик и устройство регистрации биоэлектрической активности головного мозга |
CN110049396B (zh) * | 2019-04-28 | 2024-03-12 | 成都法兰特科技有限公司 | 多功能按摩模组及自适应佩戴头戴式耳机 |
EP3922041A1 (en) * | 2019-06-13 | 2021-12-15 | Google LLC | Capacitive on-body detection |
WO2021005048A1 (en) * | 2019-07-08 | 2021-01-14 | Mybrain Technologies | Method and sytem for generating a personalized playlist of sounds |
WO2021015733A1 (en) * | 2019-07-22 | 2021-01-28 | Hewlett-Packard Development Company, L.P. | Headphones |
KR102381117B1 (ko) * | 2019-09-20 | 2022-03-31 | 고려대학교 산학협력단 | 뇌파 기반 음악 검색방법 및 그를 위한 직관적 뇌-컴퓨터 인터페이스 장치 |
KR102265577B1 (ko) * | 2019-09-24 | 2021-06-16 | 주식회사 이엠텍 | 이어버드 장치를 이용한 음향 시스템 |
CN110795127B (zh) * | 2019-10-29 | 2023-09-22 | 歌尔科技有限公司 | 一种无线耳机及其升级方法及装置 |
CN110947076B (zh) * | 2019-11-27 | 2021-07-16 | 华南理工大学 | 一种可进行精神状态调节的智能脑波音乐可穿戴设备 |
CN110841169B (zh) * | 2019-11-28 | 2020-09-25 | 中国科学院深圳先进技术研究院 | 一种用于睡眠调节的深度学习声音刺激系统和方法 |
JP2023511067A (ja) * | 2020-01-22 | 2023-03-16 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 眼電図測定とアイトラッキング |
US11615772B2 (en) * | 2020-01-31 | 2023-03-28 | Obeebo Labs Ltd. | Systems, devices, and methods for musical catalog amplification services |
CN111528837B (zh) * | 2020-05-11 | 2021-04-06 | 清华大学 | 可穿戴脑电信号检测装置及其制造方法 |
US20220361789A1 (en) * | 2020-06-15 | 2022-11-17 | Georgia Tech Research Corporation | Fully Stretchable, Wireless, Skin-Conformal Bioelectronics for Continuous Stress Monitoring in Daily Life |
CN112130118B (zh) * | 2020-08-19 | 2023-11-17 | 复旦大学无锡研究院 | 基于snn的超宽带雷达信号处理系统及处理方法 |
CN116157069A (zh) * | 2020-08-27 | 2023-05-23 | 株式会社岛津制作所 | 可穿戴设备以及检测系统 |
CN112118485B (zh) * | 2020-09-22 | 2022-07-08 | 英华达(上海)科技有限公司 | 音量自适应调整方法、系统、设备及存储介质 |
CN112351360B (zh) * | 2020-10-28 | 2023-06-27 | 深圳市捌爪鱼科技有限公司 | 一种智能耳机及基于智能耳机的情绪监控方法 |
US20220157434A1 (en) * | 2020-11-16 | 2022-05-19 | Starkey Laboratories, Inc. | Ear-wearable device systems and methods for monitoring emotional state |
US11609633B2 (en) * | 2020-12-15 | 2023-03-21 | Neurable, Inc. | Monitoring of biometric data to determine mental states and input commands |
GB2602791A (en) * | 2020-12-31 | 2022-07-20 | Brainpatch Ltd | Wearable electrode arrangement |
FR3119990A1 (fr) * | 2021-02-23 | 2022-08-26 | Athénaïs OSLATI | Dispositif et procédé de modification d’un état émotionnel d’un utilisateur |
EP4059410A1 (en) * | 2021-03-17 | 2022-09-21 | Sonova AG | Arrangement and method for measuring an electrical property of a body |
CN113397482B (zh) * | 2021-05-19 | 2023-01-06 | 中国航天科工集团第二研究院 | 一种人类行为分析方法及系统 |
US11966661B2 (en) | 2021-10-19 | 2024-04-23 | Brainfm, Inc. | Audio content serving and creation based on modulation characteristics |
US11392345B1 (en) | 2021-12-20 | 2022-07-19 | Brainfm, Inc. | Extending audio tracks while avoiding audio discontinuities |
US11957467B2 (en) * | 2021-07-02 | 2024-04-16 | Brainfm, Inc. | Neural stimulation through audio with dynamic modulation characteristics |
US20230021336A1 (en) * | 2021-07-12 | 2023-01-26 | Isabelle Mordecai Troxler | Methods and apparatus for predicting and preventing autistic behaviors with learning and ai algorithms |
CN114931706B (zh) * | 2021-10-19 | 2023-01-31 | 慧创科仪(北京)科技有限公司 | 一种拨发组件、拨发装置及经颅光调控设备 |
GB2613869B (en) * | 2021-12-17 | 2024-06-26 | Kouo Ltd | Sensing apparatus and method of manufacture |
WO2023187660A1 (en) * | 2022-03-28 | 2023-10-05 | Escapist Technologies Pty Ltd | Meditation systems and methods |
EP4304197A1 (en) * | 2022-07-05 | 2024-01-10 | GN Audio A/S | Headset with capacitive sensor |
CN115278436B (zh) * | 2022-07-21 | 2024-08-02 | 东莞市惟声科技有限公司 | 一种基于基因表达式编程的主动降噪方法 |
US20240070045A1 (en) * | 2022-08-29 | 2024-02-29 | Microsoft Technology Licensing, Llc | Correcting application behavior using user signals providing biological feedback |
WO2024175200A1 (en) * | 2023-02-23 | 2024-08-29 | Yildirim, Mustafa | Device and method for real-time measurement of specific muscle group activity on a human body |
USD1005982S1 (en) * | 2023-09-13 | 2023-11-28 | Shenzhen Yinzhuo Technology Co., Ltd | Headphone |
USD1038069S1 (en) * | 2024-05-15 | 2024-08-06 | Yifei Wang | Headphone bracket |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5740812A (en) * | 1996-01-25 | 1998-04-21 | Mindwaves, Ltd. | Apparatus for and method of providing brainwave biofeedback |
US6623427B2 (en) * | 2001-09-25 | 2003-09-23 | Hewlett-Packard Development Company, L.P. | Biofeedback based personal entertainment system |
WO2005113099A2 (en) * | 2003-05-30 | 2005-12-01 | America Online, Inc. | Personalizing content |
US8271075B2 (en) * | 2008-02-13 | 2012-09-18 | Neurosky, Inc. | Audio headset with bio-signal sensors |
US20120016208A1 (en) * | 2009-04-02 | 2012-01-19 | Koninklijke Philips Electronics N.V. | Method and system for selecting items using physiological parameters |
CN102446533A (zh) * | 2010-10-15 | 2012-05-09 | 盛乐信息技术(上海)有限公司 | 音乐播放器 |
GB201109731D0 (en) * | 2011-06-10 | 2011-07-27 | System Ltd X | Method and system for analysing audio tracks |
US9557957B2 (en) * | 2012-09-17 | 2017-01-31 | Agency For Science, Technology And Research | System and method for developing a model indicative of a subject's emotional state when listening to musical pieces |
CN103412646B (zh) * | 2013-08-07 | 2016-03-30 | 南京师范大学 | 基于脑机交互的音乐情绪化推荐方法 |
US10321842B2 (en) * | 2014-04-22 | 2019-06-18 | Interaxon Inc. | System and method for associating music with brain-state data |
-
2015
- 2015-11-02 EP EP15853797.7A patent/EP3212073A4/en not_active Withdrawn
- 2015-11-02 KR KR1020177015200A patent/KR20170082571A/ko unknown
- 2015-11-02 CN CN201580066908.5A patent/CN107106063A/zh active Pending
- 2015-11-02 US US15/522,730 patent/US20170339484A1/en not_active Abandoned
- 2015-11-02 WO PCT/US2015/058647 patent/WO2016070188A1/en active Application Filing
- 2015-11-02 JP JP2017542819A patent/JP2018504719A/ja active Pending
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023113965A (ja) * | 2017-07-28 | 2023-08-16 | パナソニックIpマネジメント株式会社 | データ生成装置、生体データ計測システム、識別器生成装置、データ生成方法、識別器生成方法及びプログラム |
JP7417970B2 (ja) | 2017-07-28 | 2024-01-19 | パナソニックIpマネジメント株式会社 | データ生成装置、生体データ計測システム、識別器生成装置、データ生成方法、識別器生成方法及びプログラム |
JP2019195618A (ja) * | 2018-05-08 | 2019-11-14 | 富士ゼロックス株式会社 | 情報処理システム、情報処理装置及びプログラム |
JP7296618B2 (ja) | 2018-05-08 | 2023-06-23 | 株式会社Agama-X | 情報処理システム、情報処理装置及びプログラム |
JP2021525628A (ja) * | 2018-05-26 | 2021-09-27 | センズ.エーアイ インコーポレイテッドSens.Ai Inc. | Eegおよびバイオメトリックセンサを有するウェアラブルデバイスのための方法および装置 |
CN109002492B (zh) * | 2018-06-27 | 2021-09-03 | 淮阴工学院 | 一种基于LightGBM的绩点预测方法 |
CN109002492A (zh) * | 2018-06-27 | 2018-12-14 | 淮阴工学院 | 一种基于LightGBM的绩点预测方法 |
JP2020123140A (ja) * | 2019-01-30 | 2020-08-13 | ファナック株式会社 | 制御パラメータ調整装置 |
JP7476091B2 (ja) | 2020-12-18 | 2024-04-30 | Lineヤフー株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
JP2022097293A (ja) * | 2020-12-18 | 2022-06-30 | ヤフー株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
WO2022208906A1 (ja) * | 2021-03-30 | 2022-10-06 | ソニーグループ株式会社 | コンテンツ再生システム、情報処理装置及びコンテンツ再生制御アプリケーション |
WO2023190592A1 (ja) * | 2022-03-31 | 2023-10-05 | Vie Style株式会社 | ヘッドセット |
JP7297342B1 (ja) | 2022-09-26 | 2023-06-26 | 株式会社Creator’s NEXT | 脳情報の分析によるレコメンデーション |
JP2024047181A (ja) * | 2022-09-26 | 2024-04-05 | 株式会社Creator’s NEXT | 脳情報の分析によるレコメンデーション |
WO2024071027A1 (ja) * | 2022-09-26 | 2024-04-04 | 株式会社Creator’s NEXT | 脳情報の分析によるレコメンデーション |
WO2024090527A1 (ja) * | 2022-10-26 | 2024-05-02 | サントリーホールディングス株式会社 | 生体信号計測装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3212073A4 (en) | 2018-05-16 |
KR20170082571A (ko) | 2017-07-14 |
EP3212073A1 (en) | 2017-09-06 |
WO2016070188A1 (en) | 2016-05-06 |
CN107106063A (zh) | 2017-08-29 |
US20170339484A1 (en) | 2017-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018504719A (ja) | スマートオーディオヘッドホンシステム | |
US20240236547A1 (en) | Method and system for collecting and processing bioelectrical and audio signals | |
US11696714B2 (en) | System and method for brain modelling | |
US20200368491A1 (en) | Device, method, and app for facilitating sleep | |
Bhatti et al. | Human emotion recognition and analysis in response to audio music using brain signals | |
Chaturvedi et al. | Music mood and human emotion recognition based on physiological signals: a systematic review | |
EP3441896B1 (en) | Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data | |
WO2021026400A1 (en) | System and method for communicating brain activity to an imaging device | |
Rahman et al. | Brain melody informatics: analysing effects of music on brainwave patterns | |
CN103890838A (zh) | 用于分析声音的方法和系统 | |
Garg et al. | Machine learning model for mapping of music mood and human emotion based on physiological signals | |
Khalili et al. | Emotion detection using brain and peripheral signals | |
Wang et al. | Unsupervised decoding of long-term, naturalistic human neural recordings with automated video and audio annotations | |
Kim et al. | Dual-function integrated emotion-based music classification system using features from physiological signals | |
CN115227243A (zh) | 判别脑疲劳及情绪的自动检索背景音乐bci系统 | |
Othmani et al. | Machine learning-based approaches for post-traumatic stress disorder diagnosis using video and EEG sensors: A review | |
Mai et al. | Real-Time On-Chip Machine-Learning-Based Wearable Behind-The-Ear Electroencephalogram Device for Emotion Recognition | |
Pal et al. | Study of neuromarketing with eeg signals and machine learning techniques | |
Lan et al. | Stable feature selection for EEG-based emotion recognition | |
Hassib | Mental task classification using single-electrode brain computer interfaces | |
Kanaga et al. | A Pilot Investigation on the Performance of Auditory Stimuli based on EEG Signals Classification for BCI Applications | |
Knierim et al. | Detecting Daytime Bruxism Through Convenient and Wearable Around-the-Ear Electrodes | |
Jeong et al. | Automated video classification system driven by characteristics of emotional human brainwaves caused by audiovisual stimuli | |
Merino Monge et al. | A preliminary study about the music influence on EEG and ECG signals | |
Romani | Music-Emotion: towards automated real-time recognition of affective states with a wearable Brain-Computer Interface |