JP2021513437A - 超低周波数音バイオセンサ・システムおよび方法 - Google Patents

超低周波数音バイオセンサ・システムおよび方法 Download PDF

Info

Publication number
JP2021513437A
JP2021513437A JP2020564817A JP2020564817A JP2021513437A JP 2021513437 A JP2021513437 A JP 2021513437A JP 2020564817 A JP2020564817 A JP 2020564817A JP 2020564817 A JP2020564817 A JP 2020564817A JP 2021513437 A JP2021513437 A JP 2021513437A
Authority
JP
Japan
Prior art keywords
user
data
acoustic
ultra
low frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020564817A
Other languages
English (en)
Inventor
バーナッカ,アンナ
Original Assignee
マインドミクス,インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マインドミクス,インコーポレイテッド filed Critical マインドミクス,インコーポレイテッド
Publication of JP2021513437A publication Critical patent/JP2021513437A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/02Measuring pulse or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • A61B7/02Stethoscopes
    • A61B7/04Electric stethoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/01Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816Measuring devices for examining respiratory frequency
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6814Head
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • A61B7/003Detecting lung or respiration noise
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06Measuring blood flow
    • A61B8/065Measuring blood flow to determine blood output from the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6814Head
    • A61B5/6815Ear
    • A61B5/6817Ear canal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • A61B7/001Detecting cranial noise, e.g. caused by aneurism
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4483Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
    • A61B8/4488Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer the transducer being a phased array
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/56Details of data transmission or power supply
    • A61B8/565Details of data transmission or power supply involving data transmission via a network

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Pulmonology (AREA)
  • Physiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Hematology (AREA)
  • Neurosurgery (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

ヘッドセットおよびポータブル・デバイスを含むポータブル超低周波数身体活動監視システム。ヘッドセットは、マイクロホンのセットと、温度計、ジャイロスコープ、加速度計を含む補助センサとを備える。マイクロホンのセットは、可聴周波数帯域幅内および超低周波数帯域幅内の音響信号を検出する。ヘッドセットは、ある形のイヤホンまたはヘッドフォンを有することができる。監視される超低周波数音は、脳活動に関する血流および振動の結果であり、心拍数、呼吸速度などを含む、ある範囲のパラメータの測定をもたらす。脳および身体活動を、モバイル・デバイス上で走行するソフトウェアを介して監視することができる。モバイル・デバイスを、ウェアラブルとすることができる。本発明を、バイオフィードバックに使用することができる。【選択図】図1

Description

関連出願
本願は、米国特許法第119(e)条の下で、参照によってその全体が本明細書に組み込まれている、2018年2月13日に出願した米国特許仮出願第62/629961号の利益を主張するものである。
身体的幸福は、人間の健康および幸福にとってきわめて重要である。身体活動監視は、健康および身体機能と外部刺激に対する反応との理解に決定的に重要である。
個人の健康および身体機能の監視は、現在、多量の別々の医療デバイスおよび別個の監視デバイスによって実行される。心拍数、体温、呼吸、心機能、および血圧は、別々のデバイスによって測定される。現在の監視デバイスの医療バージョンは、測定正確さの標準をセットするが、可用性、コスト、および便利さを犠牲にしている。身体機能監視デバイス消費者バージョンは、一般に、より便利で安価であるが、通常は不完全であり、多くの場合に不正確である。
音響バイオセンサ技術の発明は、バイオメトリック・データの全範囲にわたる医療デバイスの精度を、健康およびウェルネス監視を幅広く使用可能にし、有効にするのに必要な便利さ、低コスト、および精度と組み合わせる。
したがって、控え目でアクセス可能で使い易くコスト効率のよいものになり得る可能なポータブル身体活動監視デバイスの必要がある。そのようなデバイスは、たとえば、長い期間および広範囲の状況にわたる身体活動のリアルタイム監視を可能にすることができる。
本発明は、ヘッドマウント変換器システムおよび処理システムを含む、アクセス可能で使い易い身体活動監視システムすなわちバイオセンサ・システムとして実施され得る。ヘッドマウント変換器システムは、1つまたは複数の音響変換器、たとえば、マイクロホンまたは身体からの音響信号を検出できる他のセンサを備える。超低周波数帯および/または可聴周波数帯の音響信号を検出する音響変換器。ヘッドマウント変換器システムは、好ましくは、温度計、加速度計、ジャイロスコープ、その他を含む補助センサをも含む。ヘッドマウント変換器システムは、ヘッドセット、イヤバッド(インナーイヤ型イヤホン)、イヤホン、および/またはヘッドホンの形をとることができる。多くの場合に、音響変換器は、ユーザの外耳道の外部、入口、および/または内部に設置される。ウェアラブル変換器システムは、完全に機能するオーディオ・イヤバッドまたはイヤホンと分離して一体化され、ユーザが音楽を聴き、電話をかけ、または一般に通常生活の活動を行う間に監視機能がバイオメトリック・データを収集することを可能にすることができる。
一般に、監視される生体音響信号は、血流および身体活動に関係する他の振動の結果である。ヘッドマウント変換器システムは、検出された音響信号および補助センサによって生成された他のデータの出力データ・ストリームを、たとえばスマートホン、スマートウォッチ、または他の持ち運ばれるかウェアラブルのモバイル・コンピューティング・デバイスなどのモバイル・コンピューティング・デバイスおよび/ならびに変換器システムもしくは/またはモバイル・コンピューティング・デバイスに接続されたサーバ・システムなどの処理システムに供給する。
音響変換器は、通常、少なくとも1つのマイクロホンを含む。より多数のマイクロホンを追加することができる。たとえば、ユーザの外耳道内の音波の気圧変動を検出し、変動を電気信号に変換するマイクロホンを、イヤホン内で実施することができる。それに加えてまたはその代わりに、少数の例を挙げると変位センサ、接触音響センサ、歪みセンサなどの他のセンサを使用して、生体音響信号を検出することができる。
ヘッドマウント変換器システムは、さらに、可聴周波数範囲の音を生成するが、超低周波数範囲の音をも生成できるスピーカを有することができる。本改革は、たとえば、心拍数、呼吸速度、および温度、ならびに血圧および血液循環を含むバイタル・サインの監視を可能にする。他のマイクロホンを追加して、背景雑音を収集し、記録することができる。背景マイクロホンの目標の1つは、ユーザの脳および身体から発する音響信号を外部雑音から区別するのを助けることとすることができる。さらに、背景マイクロホンは、外部の可聴および超低周波数の雑音を監視でき、その出所を認識するのを助けることができる。したがって、ユーザは、ユーザの環境内の超低周波数雑音の存在をチェックすることができる。
処理システムおよび/またはリモート処理ステム上で走行するソフトウェアを介して、身体活動を監視し、その特性を表すことができる。本発明を、たとえば、瞑想、エクササイズ、睡眠、その他の間の身体活動を監視するのに使用することができる。本発明を、脳状態および身体状態の最良のレベルを確立し、環境、エクササイズの影響、パフォーマンスに対する日常の活動の影響を査定するのに使用することができ、とりわけ、バイオフィードバックに使用することができる。
一般に、一態様によれば、本発明は、外耳道を介するユーザからの音響信号を検出する音響センサと、音響センサによって検出された音響信号を分析する処理システムとを含むバイオセンサ・システムを特徴とする。
諸実施形態では、システム音響信号は、超低周波数および/または可聴サウンドを含む。さらに、このシステムは、好ましくは、たとえば、ユーザの移動を検出する補助センサをさらに含む。さらに、ユーザの体温を検出する補助センサが有用である。
多くの場合に、音響センサは、ヘッドセット内に組み込まれる。ヘッドセットは、1つまたは複数のイヤバッドを含むことができる。さらに、ユーザの外耳道を遮る追加の手段が、音響信号の検出の効率を改善するのに有用である。遮る手段は、イヤバッド・カバーを含むことができる。
好ましくは、ユーザの両方の外耳道内の音響センサがあり、処理システムは、心臓活動および/または呼吸などの身体過程の特性記述の正確さを高めるために両方のセンサからの信号を使用する。
通常、処理システムは、ユーザの心周期および/または呼吸サイクルを分析するために音響信号を分析する。
一般に、別の態様によれば、本発明は、バイオセンサ・システムを用いてユーザを監視する方法を特徴とする。ここで、この方法は、音響センサを使用して外耳道を介するユーザからのむ音響信号を検出することと、ユーザを監視するために音響センサによって検出された音響信号を分析することとを含む。
一般に、別の態様によれば、本発明は、イヤバッドスタイル・ヘッドマウント変換器システムを特徴とする。このシステムは、ユーザの外耳道に突き出す外耳道延長部と、ユーザからの音響信号を検出する、外耳道延長部内の音響センサとを含む。
一般に、別の態様によれば、本発明は、ユーザ・デバイスのタッチスクリーン・ディスプレイ上にバイオセンサ・システムのユーザ・インターフェースを提供するアプリケーションを実行するユーザ・デバイスを特徴とする。このバイオセンサ・システムは、ユーザの身体状態を査定するためにユーザからの超低周波数信号を分析する。好ましくは、ユーザ・インターフェースは、ユーザの状態を気象に類推して説明し、かつ/または超低周波数信号のプロットおよび/もしくは超低周波数信号に基づいて過去のバイタル状態要約にアクセスするカレンダ・スクリーンを提示するディスプレイを提示する。
一般に、別の態様によれば、本発明は、ユーザからの超低周波数信号を含む音響信号を検出する1つまたは複数の音響センサと、環境雑音監視、血圧監視、血液循環査定、脳活動監視、概日リズム監視、肥満、メンタル・ヘルス、時差ぼけ、および他の健康問題を含む障害の特性記述および/もしくはその矯正の助力、瞑想、睡眠監視、受胎能力監視、ならびに/または月経周期監視のうちの1つまたは複数を容易にするために音響信号を分析する処理システムとを含む、バイオセンサ・システムおよび/またはその動作の方法を特徴とする。
一般に、さらに別の態様によれば、本発明 ユーザからの音響信号を検出する音響センサと、ユーザの環境からの音響信号を検出する背景音響センサと、ユーザからの音響信号および環境からの音響信号を分析する処理システムとを含む、バイオセンサ・システムおよび/またはその動作の方法。
例では、バイオセンサ・システムおよび方法は、背景音響センサを使用して環境内の可聴サウンドおよび/または超低周波数音の特性を表す。さらに、バイオセンサ・システムおよび/または方法は、しばしば、環境からの検出された音響信号および/または補助センサからの情報を参照することによって、ユーザからの検出された音響信号内の雑音を低減する。
部分の構成および組合せのさまざまな新規の詳細および他の利点を含む本発明の上記および他の特徴を、これから添付図面を参照してより具体的に説明し、特許請求の範囲で指摘する。本発明を実施する特定の方法およびデバイスが、本発明の限定としてではなく、実例として示されることを理解されたい。本発明の原理および特徴を、本発明の範囲から逸脱せずに、さまざまな多数の実施形態で実施することができる。
添付図面では、符号は、異なる図面を通じて同一の部分を指す。図面は、必ずしも原寸通りではなく、その代わりに、本発明の原理を示す際に強調が行われた。
本発明による、ユーザ・デバイスおよびクラウド・サーバ・システムを含むバイオセンサ・システムのヘッドマウント変換器システムを示す概略図である。 異なる人間起点サウンドの範囲が10Hz未満の検出可能な心臓活動に対応する関心を持たれているサウンドと共に図示されている、人間オーディオグラム範囲を示す図である。 右外耳道(点線)および左外耳道(実線)の内部に配置されたマイクロホンを用いて記録された生データを示す、秒単位の時間の関数としての任意の単位の振幅を示すプロットである。 図4Aは、外耳道の内部に配置されたマイクロホンを用いて記録された秒単位の時間の関数としての任意の単位の振幅を有する心周期に対応する単一の波形を示すプロットであり、約0.5秒の大きい振幅の信号が心室収縮に対応することに留意されたい。図4Bは、外耳道の内部に配置されたマイクロホンを用いて記録された30秒にわたる超低周波数音活動を示す、秒単位の時間の関数としての任意の単位の振幅を有する心周期の複数の波形を示す。 図4Bに提示されたデータのパワー・スペクトルを示す図である。図5Aは、対数スケールで周波数の関数としてデシベル単位の大きさを示す。図5Bは、線形スケールで任意の単位の振幅を示す。図4Aの断続線は、EEGを用いて検出可能な異なる脳波に対応する範囲を示す。図5Bの10Hz未満の顕著なピークは、主に心周期に対応する。 本発明のイヤバッドスタイル・ヘッドマウント変換器システムを示す概略図である。 イヤバッドスタイル・ヘッドマウント変換器システムのプリント回路基板を示す概略図である。 ヘッドマウント変換器システムの制御モジュールを示す概略図である。 制御モジュールの左右のアナログ・チャネルのそれぞれを示す回路図である。 本発明の実施形態による例示的なイヤホン/イヤバッド・スタイル変換器システムを示す分解図である。 バイオセンサ・システム50の動作を示すブロック図である。 本発明の実施形態によるバイオセンサ・データの信号処理を示す流れ図である。 心臓波形を抽出し、心拍数、心拍数変動性、呼吸性洞性不整脈、呼吸速度などの生物物理メトリックを入手するのに使用されるデータ分析のフェーズを示す経時的プロットである。 データ査定フローを示し、データ分析フローを提示する図である。 さまざまなユーザに関するバイオセンサ・システム50との間の通信をサポートするネットワーク1200を示す概略図である。 ユーザ・デバイス106上で実行するアプリケーションのユーザ・インターフェースを示す4つの例示的なスクリーンショットである。
これから、本発明を、添付図面を参照して以下でより十分に説明するが、添付図面には、本発明の例示的な実施形態が示されている。しかし、本発明は、多数の異なる形で実施され得、本明細書で示される実施形態に限定されると解釈されてはならず、これらの実施形態は、本開示が完全になり、本発明の範囲を当業者に十分に伝えるようにするために提供される。
本明細書で使用される時に、用語「および/または」は、関連するリストされた項目のうちの1つまたは複数の任意のすべての組合せを含む。さらに、単数形および冠詞「a」、「an」、および「the」は、そうではないと明示的に述べられない限り、複数形をも含むことが意図されている。本明細書で使用される時に、用語includes、comprises、including、および/またはcomprisingが、述べられた特徴、整数、ステップ、動作、要素、および/または構成要素の存在を指定するが、1つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素、および/またはその群の存在または追加を除外しないことをさらに理解されたい。さらに、構成要素またはサブシステムを含む要素が、別の要素に接続されまたは結合されるものとして言及され、かつ/または図示される時に、その要素を、その別の要素に直接に接続しまたは結合することができ、あるいは、介在する要素が存在してもよいことを理解されたい。
他の形で定義されない限り、本明細書で使用されるすべての用語(技術用語および科学用語を含む)は、本発明が属する技術の通常の技量を有する者によって一般に理解されるものと同一の意味を有する。さらに、一般に使用される辞書で定義されるものなどの用語が、関連技術の文脈での意味と一貫する意味を有すると解釈されなければならず、本明細書で明示的にそのように定義されない限り、理想化された意味または極度に形式的な意味では解釈されないことをさらに理解されたい。
本システムは、ユーザの血流、筋肉、機械的動き、および神経活動によって生成される音響信号を利用する。本システムは、ユーザの生理学的活動とその可聴環境および超低周波数環境との特徴を表すために、たとえばヘッドセット、イヤホン、またはヘッドホンなどのヘッドマウント変換器システム内およびおそらくは他所に埋め込まれた変換器、たとえばマイクロホン、および/または他のセンサを使用する。1つのマイクロホンまたはマイクロホンのアレイなどの音響変換器は、通常はユーザの外耳道から、超低周波数周波数範囲および可聴周波数範囲内のサウンドを検出する。他の補助センサは、温度計、加速度計、ジャイロスコープなどを含むことができが、これに限定はされない。
本システムは、生理学的活動の記録、記憶、分析、およびユーザへのバイオフィードバックを可能にする。本システムは、ローカル処理システム上で実行するアプリケーションのセットとして動作することができ、より広範囲の記憶および分析のためにウェブベースのコンピュータ・サーバ・システムなどのリモート処理システム(1つまたは複数)をさらに含むことができる。本システムは、心拍数およびその特性、呼吸およびその特性、体温、循環および圧力を含むがこれに限定されない脳の血流、神経振動(neuronal oscillation)、ユーザの動きなどを含むがこれに限定されないユーザの生理学的活動に関する情報を提供する。
本発明のある種の実施形態は、ユーザの環境から発するサウンド、具体的には超低周波数音であるが通常は可聴サウンドをも記録するために、1つまたは複数の背景マイクロホンまたは基準マイクロホン(一般に一方または両方のイヤホン上に配置される)を含む。これらの信号は、システムが、ユーザの身体から発するサウンドをユーザの環境からのサウンドと区別し、弁別し、環境の特徴をも表すことを可能にするのに使用されることが意図されている。基準マイクロホンは、環境内の可聴音および超低周波数音のレベルおよび起点を監視するのにさらに使用され得る。
以下の説明は、例示的実施形態を提供するのみであって、本開示の範囲、適用可能性、または構成を限定することは意図されていない。そうではなく、例示的実施形態(1つまたは複数)の以下の説明は、当業者が例示的実施形態を実施することを可能にする。添付の特許請求の範囲に示された趣旨および範囲から逸脱せずに、要素の機能および配置においてさまざまな変更を行うことができることを理解されたい。
本発明のさまざまな実施形態は、データの前処理、処理、および/または分析のうちの少なくとも1つを提供する関連するエレクトロニクス・デバイスに無線でおよび/または有線インターフェースを介してインターフェースされるアセンブリを含むことができる。埋込みセンサを有するヘッドマウント変換器システムは、データの記録、前処理、処理、および分析を分離して提供すると同時に、インターネット・アクセス、データ記憶、他のバイオメトリック・データとのセンサ統合、ユーザ較正データ記憶、およびユーザ・パーソナル・データ記憶を含むがこれに限定されない他の機能のサポートを提供するために補助的な、通常は日用品のポータブル電子デバイス内で実施される処理システムに無線で接続されおよび/または配線され得る。
本明細書および本開示全体で言及されるバイオセンサ監視システムの処理システムを、多数の形で実施することができる。このシステムは、一般に、無線のおよび/または配線された通信インターフェースを有し、電力用のバッテリなどの何らかのタイプのエネルギ貯蔵ユニットを有し、かつ/または電力を入手するための固定された有線インターフェースを有する。ワイヤレス電力転送が、もう1つのオプションである。例は、セルラ電話機、スマートフォン、携帯情報端末、ポータブル・コンピュータ、ページャ、ポータブル・マルチメディア・プレイヤ、ポータブル・ゲーム機、静止マルチメディア・プレイヤ、ラップトップ・コンピュータ、コンピュータ・サーバ、タブレット・コンピュータ、電子リーダー、スマートウォッチ(たとえば、iWatch)、パーソナル・コンピュータ、電子キオスク、静止ゲーム機、デジタル・セットトップ・ボックス、インターネット対応アプリケーション、Androidオペレーティング・システムまたはIOSオペレーティング・システムを走行させるGPS対応スマートフォン、GPSユニット、追跡ユニット、この特定の目的のために作られたポータブル電子デバイス、携帯情報端末、MP3プレイヤ、iPad、カメラ、ハンドヘルド・デバイス、ページャを含む(これに限定はされない)。処理システムを、ウェアラブルとすることもできる。
図1は、本発明の原理に従って構成されたバイオセンサ・システム50の例を示す。
より詳細には、ユーザ10は、図示の実施形態の場合に、左右のイヤバッド102、103の形のヘッドマウント変換器システム100を身に着ける。左右のイヤバッド102、103は、ユーザの2つの外耳道の入口または内部に取り付けられる。イヤバッドのハウジングは、1つまたは複数の柔軟で柔らかい材料から成形され形成され得る。イヤホンは、ある範囲の色、形状、およびサイズで提供され得る。左右のイヤバッド102、103またはヘッドホン内に埋め込まれたセンサが、消費者/市場の受け入れすなわち広く行き渡った汎用使用を促進するのを助ける。
左右のイヤバッド102、103は、テザーまたはイヤバッド接続105を介して接続される。制御モジュール104が、このテザー105上で支持される。
これが、ヘッドマウント変換器システム100がテザーでつながれたイヤバッドの対として実施される1つの潜在的な実施形態にすぎないことに留意されたい。
超低周波数音
生体音響信号101が、たとえば呼吸、心拍、咳、筋肉の移動、嚥下、咀嚼、身体の動き、くしゃみ、血流などによって体内で内部的に生成される。可聴サウンドおよび超低周波数サウンドは、エア・コンディショニング・システム、車両インテリア、さまざまな産業プロセス、その他などの外部ソースによっても生成され得る。
音響信号101は、通常の周囲圧力に重畳された変動する圧力変化を表し、そのスペクトル周波数成分によって定義され得る。20Hzから20kHzまでの範囲にわたる周波数を有するサウンドは、通常人間によって聞かれるサウンドを表し、可聴範囲内に含まれるものとして指定される。可聴範囲未満の周波数を有するサウンドは、超低周波数と呼ばれる。この2つの間の境界は、多少任意であり、超低周波数音と可聴範囲内のサウンドとの間には、その周波数とそれらが人によって感知されるモダリティに関する効率以外の物理的区別はない。さらに、超低周波数音は、しばしば、音圧レベルが接触の感知によるのに十分に高い場合に、人間に知覚可能になる。
サウンドのレベルは、通常、それが表す圧力変化の大きさに関して定義され、この大きさは、測定可能であり、サウンドの周波数に依存しない。外耳道の内部の生物学的に発するサウンドは、主に超低周波数音範囲内である。たとえば本発明で提案されるようにイヤバッドを用いて外耳道をふさぐことは、外耳道内の身体超低周波音を増幅し、信号検出を容易にする。
図2は、心臓活動、呼吸、および発話に対応する周波数範囲を示す。したがって、回路自体および環境サウンドを含むがこれに限定されない複数のソースから生じる可能性がある通常の量の雑音を伴って、標準マイクロホン回路を用いて10Hz未満の内部身体サウンドを検出することは、困難である。雑音への最大の回路寄与は、電圧雑音である。したがって、本発明のいくつかの実施形態は、マイクロホンのアレイを使用し、信号を合計することによって雑音を低減する。この形で、相関する実際の信号が合計され、ホワイト・ノイズの特性を有する回路雑音は、低減される。
回路雑音の他のソースは、以下を含むがこれに限定されない。
抵抗 原理的に、抵抗器は、1%程度の公差を有する。その結果、抵抗器をまたぐ電圧低下は、1%以上離れる可能性がある。この抵抗器特性は、抵抗器寿命にわたって変化する可能性もある。そのような変化は、短い時間スケールでは誤差を導入しない。しかし、そのような変化は、回路のベースライン電圧に可能なオフセットを導入する。通常の抵抗器の電流雑音は、0.2から0.8(mu V/V)までの範囲内である。
キャパシタンス キャパシタは、5%程度の公差を有する可能性がある。その結果、これらにまたがる電圧降下は、5%以上離れる可能性があり、通常の値は、20%にも達する。これは、回路内の電圧(したがって信号)に対する全体的な低下をもたらす可能性があるが、すばやい変化はまれである。キャパシタンスは、非常に低い温度および非常に高い温度で劣化する可能性もある。
マイクロホン 通常のマイクロホン雑音レベルは、1〜2%程度であり、電気(1/F)雑音によって支配される。
演算増幅器 低いマイクロホン・インピーダンスに関して、電気(電圧または1/Fとも称する)雑音が支配する。一般に、より小さいサイズのマイクロホンは、より高いインピーダンスを有する。高いインピーダンスを有するシステムでは、電流雑音が支配し始める可能性がある。さらに、演算増幅器は、入力信号が大きすぎる場合に飽和する可能性があり、これは、歪んだ信号の期間につながる可能性がある。低インピーダンス・システムでは、マイクロホンの雑音が、雑音(演算増幅器ではなく)を支配するソースである。
電圧破壊 原理的に、すべての構成要素は、高すぎる電圧が印加される場合に、劣化し始める可能性がある。低電圧構成要素を有するシステムが、電圧破壊を回避する1つの解決策である。
バイオ超低周波数音信号
図1に戻って、通常、ユーザ10は、たとえば、スマートホン、タブレット・コンピュータ(たとえば、iPadブランドのコンピュータ)、スマート・ウォッチ(たとえば、iWatchブランドのスマートウォッチ)、ラップトップ・コンピュータ、または、広域セルラ・ネットワークもしくはWiFiネットワーク、またはBluetoothなどの他の無線接続を介する、他の電話機、インターネット、または処理システムの一部として機能する 可能な ウェブベースのクラウド・コンピュータ・サーバ・システム109へのデータ伝送のための他の無線ネットワークへの接続を有する他のポータブル・コンピューティング・デバイスなどの処理システム106を与えられまたはこれを使用する。
ヘッドマウント変換器システム100は、サウンドからの振動に応答する、マイクロホンなどの音響センサによって、身体音響信号および環境音響信号を取り込む。
いくつかの例で、左右のイヤバッド102、103は、処理システムもしくはユーザ・デバイス106および/またはサーバ・システム109への無線接続107を維持する介在するコントローラ・モジュール104に接続される。ユーザ・デバイス106は、通常、クラウド・コンピュータ・サーバ・システム109への、セルラ・ネットワーク、他の広域ネットワーク、またはWi−Fiネットワークを介するなどの無線接続108を維持する。いずれのシステムからも、情報を、医療機関105、医療記録リポジトリ112、おそらくは他のユーザ・デバイス111から入手することができる。
コントローラ・モジュール104が、いくつかの実施態様ではイヤバッドまたは他のヘッドセットから分離されないことに留意されたい。コントローラ・モジュール104は、たとえば、イヤバッドの一方または両方に一体化され得る。
図3、図4A、および図4Bは、外耳道の内部に配置されたマイクロホンを用いて記録された例示的な身体生理学活動を示す。
振動は、たとえば、心周期の急激な機械的事象と脳の神経系および循環系でのその明示とに起因する血液の加速および減速によって作られる。
図5Aおよび図5Bは、図4Bの人間の外耳道の内部で測定された音響信号のパワー・スペクトルを示す。図5Aは、対数スケールを有する。断続線は、EEGを用いて検出可能な異なる脳波に対応する範囲を示す。図5Bは、線形スケールで振幅を示す。10Hz未満の顕著なピークは、主に心周期に対応する。
神経組織の高い代謝要求は、機能的充血(functional hyperemia)と称する、脳実質内の神経活動と血流との間の緊密な調整を必要とする(The Cerebral Circulation、by Marilyn J.Cipolla、Morgan & Claypool Life Sciences; 2009年、https://www.ncbi.nlm.nih.gov/books/NBK53081/参照)。しかし、流れを要求する脳内の野への流れが増加するためには、上流血管が、下流微小血管圧の低下を避けるために膨張しなければならない。したがって、おそらく遠位の動脈部分から近位の動脈部分への案内されたまたは流れによって媒介された血管拡張と低下した圧力に応答して流れを増やす筋原性機構とに起因して、調整された流れ応答が脳内で発生する。
活発な脳領域は、より多くの酸素を必要とし、したがって、より多くの血液が、脳のより活発な部分に流れ込む。さらに、神経組織は、振動する活動すなわち、膜電位の振動または活動電位のリズミカルなパターンを生成する可能性がある。外耳道およびその中に存在するサウンドは、血流、筋肉、および神経活動の結果である。したがって、外耳道内またはその付近に配置されたマイクロホンは、これらの音響信号を検出することができる。検出された音響信号は、たとえば、脳活動レベル、血液循環を推論し、心臓血管系、心拍数の特徴を表し、または脳活動の空間起点を判定するのに使用され得る。
EEGを用いて検出される人間の脳活動は、1/f「ピンク・ノイズ」減衰に全般的に従い、正準デルタ周波数帯(0〜4Hz)および正準アルファ周波数帯(8〜13Hz)内の顕著なピークによって区切られる(Spectral Signatures of Reorganised Brain Networks in Disorders of Consciousness、Chennu他、2014年10月16日、https://doi.org/10.1371/journal.pcbi.1003887参照)。
通常のケースでは、ユーザ10は、イヤバッドもしくは他のイヤホンまたは別のタイプのヘッドセットなどのヘッドマウント変換器システム100を身に着ける。変換器システムおよびそのマイクロホンまたは他の音響センサすなわちセンサは、ユーザの身体を介して伝搬する音響信号を測定する。図示の例の音響センサは、身体の超低周波音および他の音響信号を検出するために、外耳道の外部もしくは入口または外耳道の内部に位置決めされる。
この目的に最も適するマイクロホンは、超低周波数周波数範囲内で相対的に平坦な応答を有し(Response identification in the extremely low frequency region of an electret condenser microphone、Jeng,Yih−Nen他、Sensors(Basel,スイス国)vol.11,1(2011):623〜37頁、https://www.ncbi.nlm.nih.gov/pubmed/22346594参照)、低い周波数で低いノイズ・フロアを有する(A Portable Infrasonic Detection System, Shams, Qamar A. et al., Aug 19, 2008, https://ntrs.nasa.gov/search.jsp?R=20080034649)ので、エレクトレット・コンデンサである。ある範囲のマイクロホン・サイズすなわち、直径2ミリメートル(mm)から9mmまでを使用することができる。単一の大きいマイクロホンは、一般に低い周波数で雑音が少ないが、複数のより小さいマイクロホンを実施して、相関しない信号を取り込むことができる。
検出されたサウンドは、たとえばBluetooth、WiFi、または有線接続107を介して処理システム106に出力される。おそらくはイヤバッド(102、103)の一方または両方に一体化されるコントローラ・モジュール104が、無線データ接続107を維持する。データ分析の少なくとも一部は、しばしば、処理システム・ユーザ・デバイス106を使用して実行され、あるいは、データを、処理システムの構成要素として機能するウェブベースのコンピュータ・サーバ・システム109に送信することができ、あるいは、処理を、ユーザ・デバイス106とウェブベースのコンピュータ・サーバ・システム109との間で共有することができる。脳のサウンドの検出された出力を、たとえばコンピュータ、仮想サーバ、スーパーコンピュータ、ラップトップなどで処理し、コンピュータ上で走行するソフトウェアによって監視することができる。したがって、この分析を介して、ユーザは、バイオメトリック活動およびバイタル・サインへのリアルタイム洞察を有することができ、あるいは、データを後で見ることができる。
図3のプロットは、外耳道内に配置されたマイクロホンを使用して記録された例のデータを示す。このデータは、右耳と左耳との両方での一貫した検出を有する、心室収縮1303に対応する顕著なピークを有する心臓波形を示す。外耳道内に配置されたマイクロホンを使用して検出された心臓波形の分析を使用して、心拍数、心拍数変動性、不整脈、血圧、その他などの心臓血管系に関する正確な情報を抽出することができる。
図5Aおよび図5Bのプロットは、外耳道内に配置されたマイクロホンを使用して収集された図4Bに示された30秒のデータから入手されたパワー・スペクトルの例を示す。ユーザの脳活動の処理は、所与の周波数範囲に関する信号のパワーの推定値をもたらすことができる。検出された超低周波数音を、ソフトウェアによって処理することができ、このソフトウェアは、さらなるアクションを判定する。たとえば、リアルタイム・データを、以前のユーザのデータと比較することができる。検出された脳サウンドを、直接にまたはリモートに、たとえばインターネットを介してコンピュータに接続することによって、機械学習アルゴリズムによって監視することもできる。応答は、ユーザのスマートフォンまたはスマートウォッチ上でアラートを提供することができる。
処理システム・ユーザ・デバイス106は、好ましくは、デバイスのタッチスクリーン・ディスプレイ上に提示されるユーザ・インターフェースを有し、このデバイスは、パーソナルな性質の情報が保持されることを全く必要としない。したがって、身体活動およびバイタル・サインが検出されている時であっても、ユーザの匿名性を保つことができる。その場合に、識別情報がコンピュータによって処理されることなく、脳波をイヤホンによって監視でき、検出された身体サウンドをコンピュータに送信することができる。
さらに、ユーザは、検出された通常はデジタル化される超低周波音を受信し、ヘッドマウント変換器システム100の出力を処理し、検出された信号への応答をユーザのために生成すべきか否かを判定する、処理システム・ユーザ・デバイス106上で走行するアプリケーションを有することができる。
本発明の実施形態は、追加のマイクロホンをも有することができ、その目的は、超低周波音および可聴サウンドの外部ソースを検出することである。マイクロホンは、ユーザの頭蓋骨の異なる部分から発するサウンドを取り込むために、さまざまな角度でお互いから離れて面して方位を定められ得る。外部マイクロホンを使用して、識別された音響信号がユーザ活動から発するのか外部雑音の結果であるのかの弁別を容易にすることができる。
人間の健康に対する外部超低周波数ソースからの悪影響が、広範囲に調査された。超低周波数音は、自然のソースならびに人間の活動によって作られる。超低周波数音の例のソースは、飛行機、自動車、自然災害、核爆発、エア・コンディショニング・ユニット、雷雨、雪崩、隕石衝突、風、機械類、ダム、橋、および動物(たとえば、鯨および象)である。外部マイクロホンを使用して、外部超低周波数雑音のレベルおよび周波数を監視し、その起点を判定するのを助けることもできる。
バイオセンサ・システム50は、可聴周波数範囲内の音楽などのサウンドの生成を可能にするオーディオ・スピーカをも含むことができる。さらに、ヘッドセットは、埋め込まれた追加のセンサ、たとえば、ユーザの体温を監視する温度計、ユーザの動きの特徴を表すジャイロスコープおよび加速度計を有することができる。
好ましい実施形態が、特定の詳細と共に示されたが、さらなる実施形態、修正形態、および変形形態が、本発明のより幅広い態様に従って企図されている。
イヤホン
図6は、左右のイヤバッド102、103の1つの潜在的な構成を示す。
より詳細には、イヤバッド102、103のそれぞれは、イヤバッド・ハウジング204を含む。ハウジング204の外耳道延長部205は、ユーザ10の外耳道内に突き出す。ユーザの身体からの音響信号を検出する音響センサ206−Eが、この延長部205内に収容される。
図示の例では、スピーカ208と、背景サウンドおよび環境サウンド用の別の背景音響センサ206−Bとが、ハウジング204の遠位側付近に設けられる。ハウジング内には、プリント回路基板(PCB)207もある。
図7は、左右のイヤバッド102、103のそれぞれのプリント回路基板207の潜在的な構成要素を示すブロック図である。
好ましくは、PCB 207L、207Rのそれぞれは、ユーザ10の頭の回転などの角度回転を検出するジャイロスコープ214を含む。1つのケースで、MEMS(微小電気機械システム)ジャイロスコープが、PCB 207に設置される。さらに、MEMS加速度計218が、加速度と地球の重力場内の方位とを検出するためにPCB 207上に含まれる。温度変換器225が、温度を感知するために含まれ、好ましくは、ユーザ10の体温を検出するように配置される。磁力計222も、地球の磁場内のイヤバッドの方位を検出するために含まれる。
また、いくつかの例では、慣性計測装置(IMU)216が、イヤバッド102、103の移動を検出するためにさらに設けられる。
PCB 207は、それぞれのスピーカ208へのアナログ有線スピーカ・インターフェース210と、それぞれの音響センサ206−Eおよび206−Bのアナログ有線音響インターフェース212とをも支持する。組み合わされたアナログおよびデジタルの有線モジュール・インターフェース224ADが、PCB 207をコントローラ・モジュール104に接続する。
図8は、左右のイヤバッド102、103のそれぞれに接続するコントローラ・モジュール104を示すブロック図である。
より詳細には、アナログ有線インターフェース224ARが、右イヤバッド103のためにPCB 207Rに設けられる。さらに、アナログ有線インターフェース224ALが、左イヤバッド102のためにPCB 207Lに設けられる。右アナログ・チャネル226Rおよび左アナログ・チャネル226Lは、左右のイヤバッド102、103のそれぞれの、マイクロコントローラ228と音響センサ206−Eおよび206−Bとの間のインターフェースとして機能する。
右デジタル有線インターフェース224DRは、マイクロコントローラ228を右PCB 207Rに接続し、左デジタル有線インターフェース224DLは、マイクロコントローラ228を左PCB 207Lに接続する。これらのインターフェースは、マイクロコントローラ228が、左右のイヤバッド102、103のそれぞれのジャイロスコープ214、加速度計218、IMU 216、温度変換器225、および磁力計222を含む補助センサに電力を供給し、質問することを可能にする。
一般に、マイクロコントローラ228は、イヤバッド102、103のそれぞれからの音響センサと補助センサとの両方からの情報を処理し、データ接続を維持するBluetoothトランシーバ330によって維持される無線接続107を介してこの情報を処理システム・ユーザ・デバイス106に送信する。
他の実施形態では、処理システムの機能が、コントローラ・モジュール104に組み込まれる。
やはりコントローラ・モジュール104内に設けられるのが、有線インターフェース224L、224Rを介してコントローラ・モジュール104およびイヤバッド102、103のそれぞれに電力を供給するバッテリ332である。
さらに、情報が、Bluetoothトランシーバ330を介して処理システム・ユーザ・デバイス106から受信され、その後、マイクロコントローラ228によって処理される。たとえば、それぞれのイヤバッド102、103のそれぞれについてそれぞれのスピーカ208によって再生されるオーディオ情報は、通常、処理システム・ユーザ・デバイス106から送信され、Bluetoothトランシーバ330によって受信される。その後、マイクロコントローラ228が、対応するオーディオ・データを右アナログ・チャネル226Rおよび左アナログ・チャネル226Lに供給する。
図9は、右アナログ・チャネル226Rおよび左アナログ・チャネル226Lのそれぞれの例の回路を示す回路図である。
より詳細には、左右のアナログ・チャネル226R、226Lのそれぞれは、一般に、それぞれのイヤバッドの音響センサ206−Eおよび206−Bからのアナログ信号用のサンプリング回路と、それぞれのスピーカ208のアナログ・ドライバ回路とを含む。
より詳細には、音響センサ206−Eおよび206−Bからのアナログ信号は、抵抗器314を介してマイクバイアス回路311によってバイアスを与えられる。DCブロッキング・キャパシタ313が、音響センサ206−Bおよび206−Eのオーディオ・コーデック209の入力に含まれる。音響センサからのこのDCフィルタリングされた信号は、その後、プリ・ゲイン・アンプリファイヤ(Pre Gain Amplifier)302−E/302−Bに供給される。
プリ・ゲイン・アンプリファイヤ302−E/302−Bは、信号を増幅して、処理中の耐雑音性を改善する。302−E/302−Bの出力は、その後、それぞれプログラマブル利得アンプ(PGA)303−E/303−Bに供給される。この増幅器(通常は演算増幅器)は、可変利得または増幅率を適用することによって信号振幅を増加させる。この利得値を、マイクロコントローラ228を使用してソフトウェアによって変更することができる。
PGA 303−E/303−Bからの増幅されたアナログ信号は、その後、アナログ−デジタル変換器(ADC)304−E/304−Bによってデジタル化される。必要に従ってこのデジタル信号を変更するために、2つのフィルタすなわち、デジタル・フィルタ305−E/305−Bおよびバイカッド・フィルタ306−E/306−Bが適用される。サイドトーン・レベル307−E/307−Bも、必要な場合に接続されたスピーカに直接に信号を送ることを可能にするために設けられる。その後、デジタル信号は、デジタル利得およびレベル制御308−E/308−Bによってデジタル増幅される。その後、308−E/308−Bの出力は、デジタル・オーディオ・インターフェース(DAI)309−E/309−Bによって、適当な直列データ・フォーマットに変換され、この直列デジタル・データ310−E/310−Bが、マイクロコントローラ228に送られる。
その一方で、マイクロコントローラ228からのデジタル・オーディオ390は、DAI 389によって受信される。この出力は、そのレベルを、マイクロコントローラ228の制御の下でデジタル増幅器388によって制御される。サイドトーン387が、レベル制御386と一緒にさらに設けられる。等化器385が、マイクロコントローラ228の制御の下で、デジタル・オーディオ信号のスペクトル内容を変更する。さらに、ダイナミック・レンジ・コントローラ384が、ダイナミック・レンジを制御する。最後に、デジタル・フィルタ383が、デジタル・オーディオ信号がデジタル−アナログ変換器382に供給される前に設けられる。駆動増幅器381が、DAC 382からのアナログ信号に応答してスピーカ208に電力を供給する。
キャパシタ313は、マイクロホンの信号内のより低周波数の大きい時間領域振動を平滑化しながら、超低周波数周波数が第1の増幅器に達することを可能にするのに十分に大きいキャパシタンスを有しなければならない。この形で、キャパシタ313は、高域フィルタとして機能する。低周波数でのカット・オフは、周波数f<1/(2πRC)を有する信号が減衰されるように、キャパシタ313および抵抗器312によって制御される。したがって、キャパシタ313および抵抗器312は、カット・オフ周波数(f)が、5Hz未満、通常は2Hz未満、好ましくは1Hz未満になるように選択される。したがって、それぞれ5Hz、2Hz、および1Hzより高い周波数は、それぞれの増幅器器302−B、302−Eに通過する。実際に、本発明のこの実施形態では、キャパシタ313および抵抗器312の値は、キャパシタC=22uFおよび抵抗器R=5kオームであり、これは、約0.1Hzのカット・オフ周波数を与える。したがって、現在、カット・オフ周波数は、1Hz未満であり、一般に、0.1Hz未満、f≪1Hzでなければならない。2つの残りの抵抗器314は、それぞれマイクバイアス311およびグラウンドに接続され、電圧供給の最大値の1/2に信号をセンタリングするように選択された値を有する。
音響センサ206−E/206−Bは、円形、楕円形、規則的なN辺多角形、不規則なN辺多角形を含むがこれに限定されない1つまたは複数の異なる形状とすることができる。さまざまなマイクロホン・サイズを使用することができる。2mm〜9mmのサイズを、外耳道に収めることができる。サイズのこのバラエティは、大きい外耳道を有するユーザと小さい外耳道を有するユーザとの両方に対処することができる。
図10を参照すると、図1に示されたものなどの本発明のいくつかの実施形態による、ヘッドマウント変換器システム100の例示的なイヤバッド102、103が示されている。
イヤバッド・カバー801が、外耳道延長部205の上に配置される。カバー801は、異なる形状および色を有することができ、ゴム、プラスティック、木、金属、炭素繊維、ガラス繊維、その他など、異なる材料から作られ得る。
イヤバッド102、103は、赤外線検出器とすることのできる埋め込まれた温度変換器225を有する。通常のデジタル温度計は、−40Cから100Cまでで0.25Cの正確さで働くことができる。
例示的なシステムでは、SDAピンおよびSCLピンが、通信にI2Cプロトコルを使用する。そのような構成は、複数のセンサが、マイクロコントローラ228上の同一のバスに接続することを可能にする。デジタル情報が、SDAピンおよびSCLピンを用いてマイクロコントローラ228に渡された後に、マイクロコントローラは、温度計の製造業者からの基準曲線を使用して、インストールされた基準ライブラリを使用して信号を物理温度に変換する。赤外デジタル温度変換器225は、耳開口部の付近または外耳道自体の中に配置され得る。温度変換器225は、内部外耳道などの、正確な温度読みを与える耳の区域への広い視野を有するように配置される。温度変換器225は、測定の正確さを高めるために、ユーザの皮膚との接触を抑制するカバーを有することができる。
マイクロホンまたは音響センサ206−E/206−Bのアレイが、ヘッドマウント変換器システム100が内部身体サウンドおよび背景サウンドを検出するのを可能にするのに使用される。身体からのサウンドを検出する1つまたは複数のマイクロホン206−Eは、外耳道の内部または入口に配置され得、異なる位置および方位を有することができる。例示的なイヤホンは、可聴周波数範囲のサウンドを再生でき、別の電子デバイスからのサウンドを再生するのに使用され得るスピーカ208を有する。
イヤホン・ハウジング204は、基本的なクラムシェル・デザインを有する2つの部分からなる。ハウジング204は、異なる部分を保持し、異なる色、形状を有することができ、プラスティック、木、金属、炭素繊維、ガラス繊維、その他など、異なる材料から作られ得る。
イヤホン・ハウジング204の内部には、おそらく、バッテリ806およびPCB 207がある。バッテリ806は、たとえばリチウム・イオンとすることができる。PCB 207は、回路、たとえば図7に示された回路を含む。さらに、いくつかの実施形態では、制御モジュール226が、PCB 207上でさらに実施される。
背景外部マイクロホンまたはマイクロホンのアレイ206−Bが、低周波数範囲の環境サウンドを検出するために追加されることが好ましい。検出されたサウンドは、その後、デジタル化され、マイクロコントローラ228に供給される。
マイクロホン配置およびイヤバッド・カバー801の組合せは、外耳道内の低周波数サウンドの40dBまでの増幅をもたらす、外耳道内のオクルージョン効果(Occlusion Effect)(The ”Occlusion Effect” −− What it is and What to Do About it、Mark Ross、2004年1月/2月、https://web.archive.org/web/20070806184522/http:/www.hearingresearch.org/Dr.Ross/occlusion.htm)を最大化するように設計され得る。耳を、イヤバッド・カバー801を用いて部分的にまたは完全に密閉することができ、外耳道内の801の配置を使用して、中程度の挿入距離でオクルージョン効果を最大にすることができる(Bone Conduction and the Middle Ear、Stenfelt,Stefan、(2013年).10.1007/978−1−4614−6591−1_6.、https://www.researchgate.net/publication/278703232_Bone_Conduction_and_the_Middle_Ear)。
回路基板207上の加速度計218は、ユーザの動きに関係する内部サウンドの起点のよりよい区別を可能にする。PCB 207に取り付けられる3軸(x,y,z)を有する例示的な加速度計、または、これをマイクロコントローラ228に埋め込むことができる。例示的な加速度計218は、マイクロコントローラ228に取り付けられた、3軸(x,y,z)を有するアナログとすることができる。加速度計218を、イヤバッド102、103の長い軸様セクション809内に配置することができる。例示的な加速度計は、加速度が感知要素を動かす時のキャパシタンスの変化によって作動する。加速度計の各軸の出力は、マイクロコントローラ228内のアナログ・ピンにリンクされる。その後、マイクロコントローラは、このデータを、WiFi、セルラ・サービス、またはBluetoothを使用して、ユーザのモバイル・デバイスまたはクラウドに送ることができる。マイクロコントローラ228は、加速度計データを使用して、ローカル・データ分析を実行するか、図9に示された右アナログ・チャネル226Rおよび左アナログ・チャネル226L内のデジタル電位差計の利得を変更することもできる。
PCB 207上のジャイロスコープ214は、補助動き検出および特性記述システムとして使用される。そのようなジャイロスコープは、マイクロコントローラ228に取り付けられた3軸(x,y,z)を有する低電力とすることができ、PCB 207内に埋め込まれる。ジャイロスコープ214からのデータを、たとえばデジタル・ジャイロスコープ信号に関するI2Cプロトコルを使用してマイクロコントローラ228に送ることができる。マイクロコントローラ228は、その後、ジャイロスコープの各軸からのデータを、WiFi、セルラ・サービス、またはBluetoothを使用して、ユーザのモバイル・デバイス処理システム106またはクラウド・コンピュータ・サーバ・システム109に送ることができる。マイクロコントローラ228は、ジャイロスコープ・データを使用して、ローカル・データ分析を実行するか、図9に示された右アナログ・チャネル226Rおよび左アナログ・チャネル226L内の利得を変更することもできる。
データ獲得システム
図11は、本発明の実施形態によるバイオセンサ・システム50の動作を示すブロック図を示す。ここで提示されるバイオセンサ・システム50は、ヘッドマウント変換器システム100のヘッドセットまたはイヤホン・システム内に埋め込まれた複数のセンサからのバイオフィードバック・データを処理する例示的な形である。
マイクロコントローラ228は、音響変換器、たとえばマイクロホン206−E/206−B、ジャイロスコープ214、加速度計218、温度変換器225、磁力計222、および/または慣性計測装置(IMU)216を含むがこれに限定されないセンサ・アレイ911から信号を収集する。
データを、センサ・アレイ911からフィルタおよび増幅器912に送信することができる。フィルタ912は、たとえば、信号を所望の周波数範囲に調整するために低周波数または高周波数をフィルタによって除去するのに使用され得る。増幅器912は、たとえば激しいユーザの動きによって引き起こされる信号飽和を回避するために、調整可能な利得を有することができる。利得レベルを、ユーザ・デバイス106によって推定し、無線受信器および無線送信器を介してマイクロコントローラ228に戻って送信することができる。増幅器およびフィルタ912は、マイクロコントローラ228に接続され、マイクロコントローラ228は、任意の所与の時にどのセンサを使用すべきかを選択する。マイクロコントローラ228は、異なるタイム・インターバルでセンサ911からの情報をサンプリングすることができる。たとえば、温度を、音響センサ206−Eおよび206−Bと比較して、より低いレートでサンプリングすることができる。マイクロコントローラ228は、Bluetoothトランシーバ330を介して処理システム・ユーザ・デバイス106に収集されたデータを送出し、Bluetoothトランシーバ330を介して処理システム・ユーザ・デバイス106から入力をとって、増幅器912の利得を調整し、かつ/またはセンサ・アレイ911からとられるデータからのサンプリング・レートを変更する。データは、Bluetoothトランシーバ330を用いてリンク107を介してマイクロコントローラ内で送られ/受信される。
データは、ヘッドマウント変換器システム100のマイクロコントローラ228によって、Bluetoothトランシーバ330を介して処理システム・ユーザ・デバイス106に送出される。Bluetoothトランシーバ921が、ユーザ・デバイス106のデータ無線リンク107の他端をサポートする。
ローカル信号処理モジュール922が、ユーザ・デバイス106の中央処理装置上で実行し、ヘッドマウント変換器システム110からのデータを使用し、これをローカル分析モジュール923に送る前にローカル・データベース924内にローカルに記憶されたデータと組み合わせることができ、ローカル分析モジュール923も、通常、ユーザ・デバイス106の中央処理装置上で実行する。
ローカル信号処理モジュール922は、通常、データのどの部分がクラウド・コンピュータ・サーバ・システム109のリモート・ストレージ933に送出されるのかを判断する。たとえば、信号処理を容易にするために、2の次のべきに等しいN個のサンプルだけを送ることができる。したがって、1〜(N−1)サンプルからのデータが、ローカル信号処理モジュール922からローカル・ストレージ924に送られ、N番目のサンプルでは、データが、ローカル・ストレージ924からローカル信号処理モジュール922に送り返されて、1〜(N−1)データ・サンプルをN番目のデータ・サンプルと組み合わせて、これらのすべてを一緒にローカル分析モジュール923に送る。データが記憶され/組み合わされる形は、ローカル・ユーザ・セッティング925および分析カップリング923に依存する可能性がある。たとえば、ユーザは、温度計をオフに切り替えることができる。所与のセンサをオフに切り替えるオプションを、ローカル・ユーザ固有セッティング925内で指定することができる。センサのうちの1つをオフに切り替えた結果として、ローカル・データ分析ユニット923によって必要とされる計算を妨げない限り、データをより低頻度で記憶することができる。
ローカル・データ分析および判断処理ユニット923は、無線データ・リンク108をサポートする広域ネットワーク無線送信器926を介してクラウド・コンピュータ・サーバ・システム109にどのデータを送信すべきか、およびどのデータをユーザに表示すべきかを判断する。データ送信および表示に関する判断は、925内のローカル・ユーザ・セッティング内で使用可能な情報、またはクラウド・コンピュータ・サーバ・システム109から無線送信器/受信器926を介して受信された情報に基づいて行われる。たとえば、地震が検出された地理的領域内で、クラウド・コンピュータ・サーバ・システム109によってデータ・サンプリングを増加させることができる。その場合に、クラウド・コンピュータ・サーバ・システム109は、そのトランシーバ926を介して無線送信器931からユーザ・デバイス106に信号を送り、ユーザ・デバイス106は、その領域内のユーザに関して指定された時間期間の間にデータのサンプリング/記憶を増やすために、ローカル・データ分析および判断処理モジュール923と通信する。この情報は、その後、サンプリング・レート/データ転送レートを変更するために、ヘッドマウント変換器システムにも伝搬され得る。原理的に、ユーザの地理的位置、ユーザが聞いている音楽に関する情報、または他のソースなどのユーザ・デバイス106からの他のデータが、ユーザ・デバイス106レベルまたはクラウド・コンピュータ・サーバ・システム109レベルで組み合わされ得る。
ローカル・ストレージ924は、データの分数を処理するか、これを無線送信器/受信器926を介してサーバ・システム109に送る前に、所与の長さの時間の間にそのデータの分数を記憶するのに使用され得る。
本発明のいくつかの実施形態によれば、無線送信器および受信器921は、変換器システム100との通信を処理できるBluetooth送信器/受信器を含むことができるが、これに限定はされない。無線送信器/受信器926を、たとえばクラウド・ベースのストレージなど、たとえばユーザ・デバイス106および/またはクラウド・サーバ・システム109から/へデータを送信する、WiFiを使用する通信に基づくものとすることができる。
無線送信器/受信器926は、処理されたデータをクラウド・サーバ・システム109に送信する。データを、Bluetooth、WiFi、または広域ネットワーク(セルラ)接続を使用して送信することができる。無線送信器/受信器926は、クラウド・サーバ・システム109から命令を受け取ることもできる。送信は、ネットワーク108上で行われる。
クラウド・サーバ・システム109は、たとえばサーバ、スーパーコンピュータを使用してまたはクラウド内で、データを記憶し、分析し、追加の処理システムとしても機能する。無線トランシーバ931は、図示のユーザ・デバイス106およびさまざまなサブスクライブするユーザの数百台または数千台の他のデバイス106からデータを得、これを、サーバ上で実行するリモート信号処理ユニット932に送信する。
通常は1つまたは複数のサーバ上で実行するリモート信号処理ユニット932は、単一のユーザのデータを処理し、ユーザからのパーソナル・データおよび/または他のユーザからのデータもしくはメタデータを組み合わせて、より計算集中型の分析アルゴリズムを実行することができる。クラウド・サーバ・システム109も、リモート・データベース934内に記憶されたユーザに関するデータを組み合わせることができる。クラウド・サーバ・システム109は、ユーザのデータのすべてまたは一部を記憶し、またはユーザのデータからのメタデータを記憶し、またはリモート・ストレージ・ユニット933内の複数のユーザからのデータ/メタデータを組み合わせると判断することができる。クラウド・サーバ・システム109は、無線送信器/受信器931を介して、さまざまなユーザ・デバイス106に情報を送り返すとも判断する。また、クラウド・サーバ・システム109は、ユーザのプリファレンスまたはデータ・キュレーション・アルゴリズムに基づいて、リモート・ストレージ933からデータを削除する。リモート・ストレージ933は、システム全体の長期ストレージとすることができる。リモート・ストレージ933は、クラウド・テクノロジ、サーバ、またはスーパーコンピュータを使用することができる。リモート・ストレージ933上のデータ記憶は、さまざまなユーザにわたるヘッドマウント変換器システム100から入手されたユーザからの生データ、前処理されたデータ それぞれのユーザ・デバイス106、およびユーザのプリファレンスに従って指定されたデータを含むことができる。ユーザ・データを暗号化することができ、バック・アップすることができる。
同一のユーザ・デバイス106またはデータ記憶ファシリティ930上のユーザ・アカウントに接続される複数のユーザ・デバイス106に接続する複数の変換器システム100をユーザが有することができることが、このシステムのオプションである。ユーザは、データを1つのアカウントに収集するバイオセンサを備えたヘッドフォン/イヤバッドの複数のセットを有することができる。たとえば、ユーザは、目的に応じたバイオイヤフォンの異なる設計、たとえば、睡眠用、瞑想用、スポーツ用などのイヤフォンを有することができる。複数のバイオイヤフォンを有するユーザは、同一のアプリケーションおよびアカウントを使用して複数のバイオイヤフォンに接続することを可能にされる。さらに、ユーザは、同一のバイオイヤフォンまたは同一のアカウントに接続するのに複数のデバイスを使用することができる。
変換器システム100は、そのユーザ・デバイス106から切断される場合に対処するために、いくつかの例で、それ自体の記憶能力を有する。変換器システム100とユーザ・デバイス106との間の接続の欠如の場合に、データは、接続が再確立されるまでローカルにバッファリングされ、記憶されることが好ましい。ローカル・ストレージが空間を使い果たす場合に、より古いデータまたはより新しいデータが、ユーザのプリファレンスに従って削除される。マイクロコントローラ228は、よりコンパクトな形で未送信データを処理し、接続が再確立された後にユーザ・デバイス106に送る潜在能力を有することができる。
データ分析
図12は、本発明の実施形態によるバイオセンサ・データの信号処理の例示的な流れ図を示す。
生データ1001は、音響変換器、たとえばマイクロホン206−E/206−B、ジャイロスコープ214、加速度計218、温度変換器225、磁力計222、および/または慣性計測装置(IMU)216を含むがこれに限定されないセンサ911から受信される。データは、複数のステップで分析される。
データ・サンプリングは、選択される 図13Bに示された心臓波形を再構成する形である。本発明の実施形態では、サンプリング・レート範囲は、100Hzと1kHzとの間であった。好ましくは、サンプリング・レートは、約100HHzであり、一般に100Hz未満であってはならない。さらに、心臓波形をよりよくモデル化するために高忠実度データを収集し、たとえば血圧などの詳細なバイオフィードバック情報を抽出するために、サンプリング・レートは、100Hzを超えなければならない。
本発明の実施形態では、図9に提示された回路は、0.1Hzを超える超低周波数周波数が通過することを可能にし、これは、心臓活動の信号を検出することを可能にする。さらに、ユーザ10がオーディオ・スピーカ208を使用している時に、オーディオ・コーデック209は、スピーカ208によって生成された潜在的な信号干渉を音響センサ206−Eおよび206−Bからフィルタによって除去するように構成され得る。
図11の増幅および初期フィルタリング912の後に、データは、マイクロコントローラ228、ローカル信号処理モジュール922、ローカル・データ分析および判断処理モジュール923、ならびにリモート・データ分析および判断処理モジュール932を含むがこれに限定されない他のユニット内で処理され、記憶される。データは、通常、一連の、たとえばオーバーラップする10秒長データ・シーケンス内に2〜3秒おきに送られる。オーバーラップするウィンドウの長さおよび各シーケンス内のサンプルの個数は、他の実施形態では変化する可能性がある。
マイクロホンのアレイが使用される時に、マイクロホンの電圧を、分析の前に加算することができる。マイクロホンの内部アレイおよび外部アレイからの信号は、別々に分析される。信号合計は、信号対雑音比を即座に改善する。その後、マイクロホン・データは、物理単位(dB)の信号を達成するために較正される。マイクロホンからの各データ・サンプルは、高速フーリエ変換(FFT)に備えて前処理される。たとえば、平均値をデータから減算する、ウィンドウ関数を適用するなどである。ウェーブレット・フィルタを使用することもできる。
外部汚染認識システム1002は、外耳道の内部または入口に配置されたマイクロホン206−Eおよび外部音響センサ206−Bからのデータを使用する。外部音響センサ206−Bの目的は、ユーザの環境から発する超低周波数音を含む音響信号を監視し、認識し、これらを人間の身体によって作られた音響信号から区別することである。ユーザは、外部環境超低周波数音のスペクトル特性にアクセスし、見ることができる。ユーザは、環境内の超低周波数音の高まったレベルに関して警告を受けるために、ローカル・ユーザ固有セッティング925内で選択することができる。ローカル・データ分析システム923を使用して、検出された超低周波数音の可能な起点の基本的な識別を提供することができる。外部マイクロホンからのデータは、リモート・データ分析システム932によって、より掘り下げて分析されることも可能であり、ここで、データを、他のユーザから収集された情報と組み合わせることができる。共通の地理的エリア内の複数のユーザからの分析される環境超低周波数音データを使用して、地震、雪崩、核兵器実験、その他など、可能な危険を検出し、これに関してユーザに警告することができる。
外部/背景音響センサ206−Bによって検出された周波数は、内部音響センサ206−Eからの信号からフィルタによって除去される。減算された外部超低周波数音を有する身体超低周波数音データが、その後、動き認識システム1003によって処理され、ここで、動き検出は、加速度計218およびジャイロスコープ214を含むがこれに限定されないセンサ911の補助セットによってサポートされる。動き認識システム1003は、ユーザが動いているかどうかを検出する手段を提供する。動きが検出されない場合に、データ・サンプルは、「動きなし」としてマークされる。動きが検出される場合に、システムは、信号の特性を表すためにさらなる分析を実行する。データは、歩く、走る、ジャンプする、立ち上がる、座る、倒れる、向きを変える、頭の運動、その他を含むがこれに限定されない異なる身体の動きに対応するパターンを検索するために分析される。
内部音響センサ206−Eおよび外部音響センサ206−Bからのデータを、加速度計218およびジャイロスコープ214からのデータと組み合わせることができる。調整可能な利得が使用される場合に、利得の現在のレベルは、使用可能な別のデータ・ソースである。マイクロホンからのデータを、別々に分析することもできる。動きを、たとえば、ウェーブレット分析、ヒルベルト−ファン変換、経験的モード分解、正準相関分析、独立成分分析、機械学習アルゴリズム、または方法論の何らかの組合せを使用して検出し、特徴を表すことができる。動きに対応する超低周波数音は、データからフィルタによって除去され、あるいは、大量の動きの期間に対応するデータが、分析から除外される。
フィルタリングされたユーザの動きを有するデータ・サンプルまたは「動きなし」としてマークされたデータ・サンプルは、筋肉サウンド認識システム1004によってさらに分析される。システム1004の目標は、嚥下、くしゃみ、咀嚼、あくび、会話、その他などの静止筋肉サウンドを識別し、特性を表すことである。アーティファクト、たとえば筋肉運動の除去を、ユーザの動きをフィルタによって除去するのに使用されるものに類似する方法論を介して達成することができる。アーティファクトを、たとえば、ウェーブレット分析、経験的モード分解、正準相関分析、独立成分分析、機械学習アルゴリズム、または方法論のなんらかの組合せを使用して除去することができる。フィルタによって除去できない大きすぎる筋肉信号を有するデータ・サンプルは、分析から除外される。フィルタによって成功裡に除去された筋肉信号を有するデータまたは筋肉信号汚染なしとして筋肉なしを含むものとして識別されたデータは、「筋肉クリーン」としてマークされ、さらなる分析に使用される。
「筋肉クリーン」データは、信号の起点を成分の心拍数1005、血圧1006、血液循環1007、呼吸速度1008などに分解するために、本発明のいくつかの実施形態で、離散フーリエ変換の変形形態、たとえば高速フーリエ変換(FFT)を経験する。
戻って、図3は、外耳道の内部に配置されたマイクロホンを用いて記録された10秒の音響身体活動を示す。この信号は、動きおよび筋肉運動が、検出され得、大きい信号1302として示されることを示す。大きい振幅を有するピークは、心室収縮1303に対応する。心拍数1005を、心室収縮に対応するピークの間のインターバルを計算することによって抽出でき、これらのピークは、1301に示されたものなどのデータの直接ピーク発見方法によって見出され得る。心拍数も、FFTベースの方法または平均をとられた心臓波形302を相互相関させることによるテンプレート法を使用することによって抽出することができる。
図4は、外耳道の内部に配置されたマイクロホンを用いて記録された1秒の超低周波数音を示す。約0.5秒の最大のピークは、心周期最大値に対応する。脳血流量は、血液の粘性、血管がどれほど膨張しているのか、および、身体の血圧によって判定される脳灌流圧と称する脳への血液の流れの正味圧力などの複数の要因によって決定される。脳血管は、自己調節と呼ばれるプロセスでその直径を変更することによって、脳血管を通る血液の流れを変更することができ、体血圧が高まる時には収縮し、体血圧が下がる時には膨張する(https://en.wikipedia.org/wiki/Cerebral_circulation#cite_note−Kandel−6)。小動脈も、異なる化学濃度に応答して収縮し、膨張する。たとえば、小動脈は、血液内の高いレベルの二酸化炭素に応答して膨張し、低いレベルの二酸化炭素に応答して収縮する。心搏の振幅、立ち上がり、および立ち下がりは、血圧に依存する。したがって、ステップ1006で血圧を抽出するのに使用され得る超低周波数音を使用して処理システム106によって検出される心臓波形1301の形状。よりよい正確さを得るために、推定された血圧を、外部血圧モニタを使用して較正することができる。
脳循環は、頭および脊髄の血管系内に生じる血液循環である。覚醒、睡眠、または身体/精神活動のレベルの間の大きい変動なしに、中枢神経系は、人の酸素摂取量の約15〜20%および心臓の出力のわずかに少ないパーセンテージだけを使用する。この酸素使用量の事実上すべてが、グルコースをCO2に変換するためのものである。神経組織は、酸素を貯蔵する機構を有しないので、約8〜10秒のみの酸素代謝予備がある。脳は、約50から140mmHGの範囲の間に血圧を自動的に調整する。圧力が50mmHg未満になる場合に、血管系への調整が補償することはできず、脳灌流圧も低下し、その結果は、低酸素症および循環閉塞(circulatory blockage)になる可能性がある。140mmHgを超えて高められた圧力は、脳動脈樹内の流れに対する高められた抵抗をもたらす。過剰な圧力は、流れ抵抗を圧倒し、高められた毛細管圧、貧弱な組織コンパートメントへの体液の消失、および脳腫脹につながる。血液循環は、流れの効率および心拍数との流れの同期に依存する別個のサウンド周波数を作る。ステップ1007での血液循環は、同期要因として測定される。
心搏は、呼吸サイクルに伴って自然に変化し、この現象は、呼吸性洞性不整脈(RSA) で見られる。心搏速度と呼吸サイクルとの間の関係は、心搏振幅が、吸入に伴って増加し、呼気に伴って減少するようになっている。したがって、心拍数変動性パターンの振幅および周波数は、呼吸の深さおよび周波数に強く関係する(https://coherence.com/science_full_html_production.htm)。したがって、RSA(13C参照)は、以下のセクションでさらに示すように(図13D参照)、ステップ1008での呼吸速度測定の独立の形として使用される。
心拍数および呼吸速度 アルゴリズム
以下の議論は、ヘッドマウント変換器システム100のセンサ911およびおそらくはユーザの身体の他所に配置された追加の変換器からのセンサ・データに基づいて、心臓波形および呼吸数を解決するために、通常はたとえばユーザ・デバイス106および/またはサーバ・システム109を含む処理システムによって実行される処理を説明する。
より詳細には、各心臓サイクルは、心房収縮および心室収縮ならびに大血管への血液放出からなる(図3、図4、および図13参照)。他のサウンドおよび心雑音は、異常を示す可能性がある。心室収縮の2つのサウンドの間の距離は、1つの心臓サイクルの持続時間である 処理システム106/109によって心拍数を判定するのに使用される。データ内のピーク(極大)または谷(極小)を検出する1つの形は、ピーク(または谷)がその直接の隣接物より大きく(または小さく)なければならないという特性を処理システム106/109が使用することである。図13Aに示された心室収縮ピークは、処理システム106/109によって、最小ピーク距離(MPD)、ピーク幅、おおび正規化されたしきい値(しきい値より大きい振幅を有するピークだけが検出される)を要求するピークを信号から経時的に検索することによって検出され得る。MPDパラメータは、ユーザの心拍数に応じて変化する可能性がある。このアルゴリズムは、以前に収集されたユーザのデータまたは図13Bに示された重畳された心臓波形を使用して推定された心室収縮ピークの幅に対するカットをも含むことができる。
図13Aのピークは、0.7秒の最小ピーク距離および0.8の正規化されたしきい値を使用して処理システム106/109によって検出された。検出されたピークの分解能を、各以前に検出されたピークの付近で補間およびガウス分布のあてはめを使用することによって、処理システム106/109によって高めることができる。その後、心室収縮ピークの質を高められた位置が、処理システム106/109によって、連続するピークの間の距離を計算するのに使用される。その後、ピークの間のそのような計算された距離が、処理システム106/109によって、図13Cに示された脈拍間インターバルを推定するのに使用され、この脈拍間インターバルは、心拍数を入手するのに使用される。ピークの位置を、たとえば連続ウェーブレット変換ベースのパターン・マッチングを組み込んだ方法を使用して抽出することもできる。図13Aに示された例では、処理システム106/109は、平均心拍数が63.73±7.57BPMであると判定し、ここで、標準偏差は、呼吸性洞性不整脈の影響を反映する。図13Cに示された時間の関数としての脈拍間インターバルは、処理システム106/109によって、呼吸性洞性不整脈などの心拍リズムを検出し、特徴を表すのに使用される。標準偏差は、処理システム106/109によって、ユーザの身体状態および感情状態の特性を表すと同時に、心拍数変動性を定量化するのに使用される。実線は、秒単位の平均脈拍間インターバルを示す。断続線および一点鎖線は、それぞれ1標準偏差および1.5標準偏差での脈拍間インターバルを示す。推定された標準偏差を使用して、図13Aで95秒付近に見られるデータ内の雑音を検出し、除去することができる。
図13Cに示された脈拍間インターバルは、非常に明瞭な呼吸性洞性不整脈を示す。心拍数変動性パターンは、呼吸の深さおよび周波数に強く関係する。したがって、呼吸速度を測定するために、処理システム106/109は、以前に推定された心拍数のピークを検出するアルゴリズムを使用する。図13Aに提示された例では、心拍数振幅が、処理システム106/109によって、2つの心搏の最小距離内で、0.5のしきい値を超える正規化振幅を用いて検索された。心拍数のピークの間の距離は、呼吸に対応する。この推定された呼吸持続時間は、図13Dの呼吸速度を推定するのに使用される。
提示された例では、平均呼吸数は、16.01±2.14呼吸毎分である。標準偏差は、心拍数推定の場合と同様に、ユーザの呼吸の変動を反映し、処理システム106/109によって、ユーザの身体状態および感情状態の特性を表すのに使用され得る。
図5Aおよび図5Bは、人間の外耳道の内部で測定された例の超低周波数音信号のパワー・スペクトルを示し、10Hz未満の顕著なピークは、主に心周期に対応する。
呼吸は、外耳道の内部または入口に配置されたマイクロホン206−Eによって検出される振動を誘導する。呼吸サイクルは、処理システム106/109 呼吸時間よりはるかに小さいステップで、移動するウィンドウを用いて2〜3秒の長さの時間サンプルに対してFFTを走行させることによって検出される。このステップは、処理システム106/109が、呼吸に伴って可変の周波数内容を監視することを可能にする。20Hzを超える周波数範囲での高められたパワーは、吸入に対応し、減らされたパワーは、吐出を示す。呼吸速度およびその特性は、処理システム106/109によって、呼吸テンプレートを時系列と相互相関させることによって推定される。呼吸信号は、時系列からさらに除去される。図13Aに示された抽出された心搏ピークは、図13Bの心臓波形を同期させるのに使用され、心臓信号は、データ・サンプルから除去される。
センサ911からの抽出された時系列データは、呼吸速度1008を推定するのに使用される。肺サウンドは、通常は100Hz未満の周波数でピークになり(Auscultation of the respiratory system、Sarkar,Malay他、Annals of thoracic medicine vol.10,3(2015年):158〜68頁、https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4518345/#ref10)、サウンド・エネルギの鋭い下落が、100Hzと200Hzとの間で発生する。呼吸は、外耳道の内部または入口に配置されたマイクロホン206−Eによって検出され得る振動を誘導する。呼吸サイクルは、処理システム106/109が、呼吸時間よりはるかに小さいステップで、移動するウィンドウを用いて2〜3秒の長さの時間サンプルに対してFFTを走行させることによって検出される。このステップは、処理システム106/109が、呼吸に伴って可変の周波数内容を監視することを可能にする。20Hzを超える周波数範囲の高められたパワーは、吸入に対応し、下げられたパワーは、吐出を示す。呼吸速度およびその特性を、処理システム106/109が呼吸テンプレートを時系列と相互相関させることによって推定することもできる。呼吸信号は、時系列からさらに除去される。
脳血流および神経振動に関する残りの脳サウンドを有するそのようなフィルタリングされたデータのFFTの結果が、その後、処理システム106/109によって、脳活動が相対的に簡単に識別される周波数範囲にデータを制限するために適用される高域フィルタおよび低域フィルタを使用して、スペクトル的に分析される。事前定義の周波数範囲内の信号を統合することに基づく脳活動測定値1009。
データ査定システム
図14は、データ内の心臓活動、ユーザの動き、ユーザの顔面筋運動、環境雑音などを認識し、区別するために処理システム106/109によって実行されるプロセスを示す流れ図を示す。バイオセンサ・システム50は、ユーザ10によってアクティブ化され、内部音響センサ206−E、外部/背景音響センサ206−B、ジャイロスコープ214、加速度計218、磁力計222、温度変換器225を含むセンサからのデータ・フローを開始する1400。第1のステップでは、データ査定1401が、たとえば図13Aのピーク検出に基づくアルゴリズムと、信号なし1300、心臓活動1301、大きい信号1302としてフラグを立てられている場合にデータとを使用して、処理システム106/109によって実行される。データ・ストリームが、信号なし1300として査定される場合に、このシステムは、外耳道内の音響信号増幅をもたらすイヤバッド・カバー205の密閉を改善するために、右イヤバッド103もしくは左イヤバッド102またはその両方の位置を調整するためにユーザに通知を送る。データ・ストリームが、処理システム106/109によって心臓活動31として査定される場合に、システムは、ステップ1402で、心搏ピークが左右のイヤバッド内で検出されるかどうかをチェックする。
左右の外耳道での同時の心室収縮の検出は、処理システム106/109が、雑音レベルを下げ、心拍数測定の正確さを改善することを可能にする。心室収縮の波形は、両方のイヤバッド102、103で時間的に一貫するが、信号の他のソースは、相関しない場合があり、大きい信号1302を参照されたい。したがって、非常に正確な結果を入手するために、システムは、ステップ1402で、心室収縮が両方のイヤバッドで同時に検出されるかどうかをチェックする。処理システム106/109は、単一のイヤバッドから、よりよいスプリアス・ピーク排除を伴って心臓活動分析を実行することができる。心搏が両方のイヤバッドで検出される場合に、処理システム106/109は、ステップ1403で心拍数、心拍数変動、心拍リズム認識、血圧、呼吸速度、温度などを抽出する。以前のユーザ・データと組み合わされた、ステップ1403で抽出された値は、処理システム106/109によって、ステップ1404でユーザ感情、ストレス・レベルなどを抽出するのに使用される。ステップ1403および1404でのパラメータの抽出の後に、ユーザは、ステップ1405で、処理システム106/109によって結果を通知される。
データ査定1401分析が、心臓活動1301を認識するが、すべての心搏が同時に検出されるのではない場合には、処理システム106/109は、雑音の外部レベルに関して外部/背景音響センサ206−Bをチェックする。外部/背景音響センサ206−Bが、処理システム106/109による音響環境雑音を示す場合1406には、外部/背景音響センサ206−Bからのデータが、内部音響センサ206−Eから検出された身体音響信号から環境音響雑音を抽出するのに使用される。外部/背景音響センサ206−Bを使用してそのように抽出された環境雑音は、処理システム106/109によって作られたデータの品質を改善し、雑音レベルを下げる。環境雑音の抽出1407の後に、データは、処理システム106/109によって、バイタル・サインなどを計算する1403のに使用される。
外部/背景音響センサ206−Bを使用して監視された環境音響雑音1406が、かなりのレベルの環境雑音を示す場合には、処理システム106/109は、雑音のレベルおよび起点をチェックする。次に、処理システム106/109は、検出された環境音響雑音がユーザにとって危険であるかどうかをチェックする1408。レベルが危険である場合には、処理システム106/109は、ユーザに通知する1405。
環境音響雑音が検出されない場合および/またはデータ査定システム1406がデータを大きい信号1302として認識する場合に、ジャイロスコープ214、加速度計218、磁力計222、その他などの他のセンサからのデータ1409が、信号起点を解釈するために処理システム106/109によって含められる。補助センサからのデータが、ユーザの動きを示さない場合には、処理システム106/109は、テンプレート認識および機械学習を使用してユーザの筋肉の動き1410の特徴を表し、この特徴は、瞬き、嚥下、咳、くしゃみ、発話、喘鳴、咀嚼、ヨーイングなどを含む可能性がある。ユーザの筋肉の動き1410に関するデータ特性記述は、処理システム106/109によって、ユーザ身体条件1411を検出するのに使用され、ユーザ身体条件1411は、アレルギ、病気、薬物副作用などを含む可能性がある。
処理システム106/109は、身体条件1411が検出される場合に、ユーザに通知する1405。
補助センサからのデータが、ユーザの身体の動きを示す場合に、システムは、テンプレート認識または機械学習を使用してユーザの身体の動き1412の特性を表すことができ、ユーザの身体の動き1412は、ステップ、走行、自転車、水泳、頭の動き、ジャンプ、立ち上がる、座る、倒れる、頭のけがなどを含む可能性がある。ユーザの身体の動き1410に関するデータ特性記述を使用して、ユーザによって消費されたカロリ1413おおびユーザ・フィットネス/身体活動レベル1416を計算することができる。システムは、身体活動のレベル1416および消費カロリ1413に関してユーザに通知する1405。
アプリケーション
ヘッドセットおよびソフトウェアのポータビリティは、処理システム106/109が日夜を通じて読みをとることを可能にする。処理システム106/109は、以前に識別されなかったバイオセンサ状態が検出される時に、ユーザに通知をプッシュする。ユーザ・データのこのより包括的な分析は、ユーザの身体的幸福および感情的幸福をよりよくターゲットにし、より大きい健康改善をもたらすバイオフィードバック・アクション提案をもたらす。
バイオフィードバック・パラメータ 本発明の一実施形態によるバイオセンサ・データは、処理システム106/109が、体温、動き特性(タイプ、持続時間、発生の時刻、位置、強度)、心拍数、心拍数変動性、呼吸速度、呼吸速度変動性、吸入の持続時間および傾き、吐出の持続時間および傾き、心臓ピーク特性(振幅、傾き、半値半幅(HWHM)、ピーク平均値、分散、歪度、尖度)、たとえば心臓ピーク特性に基づく相対血圧、相対血液循環、異なる周波数範囲でのフィルタリングされた脳サウンド、その他を含むがこれに限定されないパラメータを提供することを可能にする。
生体信号特性 概日リズムは、約24時間の内因性同調性振動を示す生物学的過程である。人体内の事実上すべての機能が、概日リズムを示すことが示されている。通院条件では、環境要因および身体運動が、示されるリズムを不明瞭にし、または強める可能性がある。3つの最も一般的に監視され、研究 バイタル・サインが、血圧(収縮および拡張)、心拍数、および体温である。
バイタル・サインは、人間のバイタル・サインの毎日のリズムを示す(Rhythmicity of human vital signs、https://www.circadian.org/vital.html)。身体運動が回避される場合に、心拍数の毎日のリズムは、通院条件の下であっても頑健である。実のところ、通院条件は、睡眠時間中の身体活動の不在および覚醒時間中の活動の存在のゆえにリズムを強める。
原理的に、心拍数は、起床時間中より睡眠時間中に低い。バイタル・サインの中で、体温は、最も頑健なリズムを有する。このリズムは、身体運動によって混乱させられるが、座っているユーザでは非常に再現可能である。これは、たとえば、発熱の概念が、時刻に依存することを暗示する。血圧は、通院条件の下で最も不規則な測定値である。血圧は、睡眠中に下がり、起床時に上がり、日中、起床から約6時間にわたって相対的に高いままになる。したがって、高血圧などの概念は、時刻に依存し、単一の測定値は、非常にミスリーディングになる可能性がある。長期間にわたってユーザ10データを収集するバイオセンサ・システム50を使用して、概日リズムとして知られるユーザの体内時計を監視することができる。
睡眠中に、生理学的要求が減る。したがって、温度および血圧は低下する。一般に、脳波活動、呼吸、および心拍数などの生理学的機能の多くは、起きている期間中またはREM睡眠中に可変である。しかし、生理学的機能は、ノンREM睡眠時には極端に規則的である。覚醒中に、多くの生理学的変数は、身体の機能に最適なレベルに制御される。体温、血圧、ならびに血中の酸素、二酸化炭素、およびグルコースのレベルは、起きている間に一定になる。
我々の身体の温度は、震え、発汗、および皮膚への血流の変更などの機構によって制御され、その結果、体温は、覚醒中にセットされたレベルの周囲で最小限に変動するようになる。制御される体温のこのプロセスを、体温調節と称する。眠る前に、身体は、多少の熱を環境に失い始め、このプロセスが、睡眠を導入するのを助けると考えられる。睡眠中に、体温は1から2°Fだけ低下する。その結果、体温を維持するのに、より少ないエネルギが使用される。
ノンREM睡眠中に、体温は、下げられたレベルで維持される。REM睡眠中に、体温はその最低点まで低下する。REM睡眠の10分から30分の期間中のベッドでの丸まるなどの動きは、体温調節のないこの潜在的に危険な時間中に多過ぎる熱が環境に失われないことを保証する。
呼吸の変化も、睡眠中に発生する。起きている状態では、呼吸は、発話、感情、エクササイズ、姿勢、および他の要因によって影響され得るので、不規則になる可能性がある。覚醒からノンREM睡眠の諸ステージを介する推移中に、呼吸速度は、低下し、非常に規則的になる。REM睡眠中に、呼吸パターンは、ノンREM睡眠と比較してはるかに可変になり、呼吸速度が高まる。覚醒状態と比較して、ノンREM睡眠中には、心拍数および血圧の全体的な低下がある。しかし、REM睡眠中には、血圧および心拍数の全体的な増加と共に、心臓血管活動のより顕著な変動がある。
バイオセンサ・システム50を用いるユーザのバイタル・サインおよび生物時計の監視を使用して、ユーザの睡眠障害、肥満、メンタル・ヘルス障害、時差ぼけ、および他の健康問題を助けることができる。これは、ユーザの身体が夜勤作業スケジュールにどのように調整するのかを監視するユーザの能力を改善することもできる。
呼吸は、エクササイズ・レベルに伴って変化する。たとえば、エクササイズ中およびエクササイズ直後に、健康な成年は、35〜45呼吸毎分の範囲内の呼吸速度を有する可能性がある。極端なエクササイズ中の呼吸速度は、60〜70呼吸毎分もの高さになる可能性がある。さらに、呼吸は、ある種の病気、たとえば発熱、喘息、またはアレルギによって増加する可能性がある。すばやい呼吸は、特にその間に影響される人が過換気になるパニック発作と称する不安障害の発症中に、不安およびストレスの症状でもある可能性がある。人の呼吸の割合の変更の異常な長期傾向は、慢性不安の症状である可能性がある。呼吸速度は、たとえば日常のストレス、興奮、落ち着いていること、安らぎによっても影響される。
高すぎる呼吸速度は、酸素を血液細胞に送るのに十分な時間を提供しない。過換気は、めまい、筋痙攣、胸痛などを引き起こす可能性がある。高すぎる呼吸速度は、正常な体温をシフトする可能性もある。過換気は、集中し、考え、または判断する状況への問題点をもたらす可能性もある。
精神状態 バイオセンサ・データ分析がメトリックの形でおおまかに定量化し、ユーザに表示する精神状態は、ストレス、緊張緩和、集中、瞑想、感情および/または気分、バレンス(気分の積極性/消極性)、覚醒(気分の強度)、不安、眠気、状態知的明晰さ/明敏な認知機能(たとえば、「知的に雲が懸かった状態」対「値的明晰さ」、創造性、推論、記憶)、睡眠、睡眠の質(たとえば、睡眠の各ステージで費やされた時間に基づく)、睡眠相(REM、ノンREM)、所与の相で眠った時間の長さ、発作の存在、発作「前駆期」(やがて来る発作を示す)の存在、脳卒中または切迫脳卒中の存在、偏頭痛または切迫した偏頭痛の存在、切迫の深刻度、心拍数、パニック発作または切迫したパニック発作を含むことができるが、これに限定はされない。
多数の精神障害および神経障害のバイオマーカを、たとえば脳超低周波数音を使用する、生体信号の検出および分析を介して確立することもできる。さらに、複数の障害が、単一ユーザの高められた脳バイオデータ・サンプル獲得および増やされたユーザ統計/データを伴う、検出可能な脳サウンド・フットプリントを有する場合がある。そのような障害は、鬱病、双極性障害、全般性不安障害、アルツハイマー病、統合失調症、さまざまな形の癲癇、睡眠障害、パニック障害、ADHD、脳酸化に関係する疾患、低体温症、高体温症、低酸素症(たとえば、脳内の相対血液循環の変化の測定を使用する)、過換気などの呼吸の異常を含むことができるが、これに限定はされない。
追加された機能性 バイオセンサ・システム50は、その目的に応じて、複数の特に最適化された設計を有することが好ましい。ヘッドマウント変換器システム100は、たとえば、プロフェッショナル・スタイルまたはコンパクト・スタイルを有することができる。プロフェッショナル・スタイルは、優秀な全体性能、高品質音声通信(たとえば、電話呼、音声録音、音声コマンド)を可能にする高品質マイクロホン、および追加の機能性を提供することができる。プロフェッショナル・スタイル・ヘッドセットは、長いマイクロホン軸を有することができ、このマイクロホン軸は、ユーザの頬の中央またはユーザの口まで延びることができる。コンパクト・スタイルは、プロフェッショナル設計より小さく、単一のユニットを含む音声通信用のイヤピースおよびマイクロホンを有することができる。コンパクト・ヘッドセットの形状は、たとえば長方形とすることができ、音声通信用のマイクロホンは、ユーザの頬の最上部付近に配置される。一部のモデルは、定位置に留まるのにヘッド・ストラップを使用することができ、他のモデルは、耳の回りにクリップで留まることができる。イヤホンは、耳の内部に入り、外耳道の入口または耳たぶの外縁に止まる。一部のイヤホン・モデルは、ユーザが最も快適なものを選択することを可能にする異なる形状を有する交換可能なスピーカ・クッションを有することができる。
たとえばモノラル・サウンド、ステレオ・サウンド、またはHDサウンドを有するヘッドセットを提供することができる。モノラル・ヘッドセット・モデルは、単一のイヤホンを提供し、片耳にサウンドを供給することができる。これらのモデルは、電話呼および他の基本的な機能に適当なサウンド品質を有することができる。しかし、音楽を聴きまたはビデオ・ゲームをプレイする間に生理学的活動を監視するヘッドセットを使用することを望むユーザは、他のステレオ・ヘッドセットのように8kHzではなく16kHzで動作できるステレオ・サウンド品質またはHDサウンド品質を有するヘッドセットというオプションを有することができる。
生理学的活動を監視するヘッドマウント変換器システム100は、周囲雑音を検出することと、たとえばユーザまたは人 彼らはマイクロホンの1つを介して発話している の気をそらす背景雑音を遮断することによって周囲雑音を抑止するのに特殊なソフトウェアを使用することとによる、雑音消去能力を有することができる。雑音消去能力は、ユーザが混雑した場所または公共輸送機関で音楽またはオーディオブックを聞いている間にも有益である。有効な雑音消去を保証するために、ヘッドセットは、複数のマイクロホンを有することができる。1つのマイクロホンは、背景雑音を検出するのに使用され、他のマイクロホンは、発話を録音するのに使用される。
本発明のさまざまな実施形態は、ユーザのヘッドマウント変換器システム100を複数のBluetooth互換デバイスにペアリングしまたは接続する能力をユーザに提供する複数のペアリング・サービスを含むことができる。たとえば、マルチポイント・ペアリングを有するヘッドセットは、スマートフォン、タブレット・コンピュータ、およびラップトップに同時に簡単に接続することができる。生理学的活動を記録するヘッドセットは、ユーザが、彼らのヘッドセットをデバイスにペアリングし、バッテリ状況をチェックし、電話に答え、電話を拒絶することを可能にすることのできる音声コマンドの機能性を有することができ、料理、運転、エクササイズ、または仕事をしている間のヘッドセットの使用を促進するためにスマートフォン、タブレット、または他のBluetooth対応デバイスと共に含まれる音声コマンドにユーザがアクセスすること可能にすることすらできる。
本発明のさまざまな実施形態は、セッティング・メニューまたは他のタスクにアクセスする必要なしにユーザがBluetoothヘッドセットをBluetooth対応デバイスとペアリングすることを可能にする近距離無線通信(NFC)を含むこともできる。ユーザは、単純に、彼らのヘッドセットを、接続したいスマートフォン、タブレット、ラップトップ、またはステレオの上または付近に置くことによって、NFC対応Bluetoothヘッドセットを彼らのお気に入りのデバイスとペアリングすることができ、暗号技術が、パブリック・ネットワーク内で通信を安全に保つ。Bluetoothヘッドセットは、二重チャネル・オーディオ・ストリーミング能力を特徴とするA2DP技術をも使用することができる。これは、ユーザが、オーディオ・ケーブルなしでフル・ステレオの音楽を聞くことを可能にすることができる。A2DP対応ヘッドセットは、ユーザが、彼らの電話機を直接には使用せずに、リダイヤルまたは通話中着信など、ある種の携帯電話機機能を使用することを可能にする。生理学的活動を監視するヘッドセットに埋め込まれたA2DP技術は、着信電話呼に簡単に答える能力と共にスマートフォンを使用して音楽を再生しまたはビデオを見るユーザにとっての効率的な解決策を提供する。さらに、バイオセンサ・システム50のいくつかの実施形態は、オーディオおよびビデオを再生する電子デバイスすなわちTV、高性能サウンド・システムなどを制御するのに単一のインターフェースを使用するAVRCP技術を使用することができる。AVRCP技術は、複数のデバイスと共にBluetoothヘッドセットを使用し、それらを制御する能力を維持することをも望むユーザに利益を提供することができる。AVRCPは、ユーザのヘッドセットからストリーミング・メディアを再生し、一時停止し、停止し、その音量を調整する能力をユーザに与える。本発明のさまざまな実施形態は、外国語をリアル・タイムで翻訳する能力を有することもできる。
ソフトウェア
図15を参照すると、さまざまなユーザに関するバイオセンサ・システム50との間の通信をサポートするネットワーク1200が示されている。これらのユーザからのデータを、オンラインで、たとえばリモート・サーバ、サーバ・ファーム、データ・センタ、コンピューティング・クラウドなどに転送することができる。より複雑なデータ分析を、オンライン・コンピューティング・リソースすなわち、クラウド・コンピューティングおよびオンライン・ストレージを使用して達成することができる。各ユーザは、好ましくは、たとえばソーシャル・メディア、ソーシャル・ネットワーク(1つまたは複数)、電子メール、ショート・メッセージ・サービス(SMS)、ブログ、ポストなどを使用して、データまたはデータ分析の結果を共有するオプションを有する。ネットワークが、図示の通信図をサポートするので、ユーザ・グループ1201は、たとえば長距離OC−48/OC−192バックボーン要素、OC−48広域ネットワーク(WAN)、受動光ネットワーク、および/または無線リンクを含むことのできる遠隔通信ネットワーク1200にインターフェースする。ネットワーク1200を、ローカルの、地域の、または国際的な交換局に、およびその中で無線アクセス・ポイント(AP)1203に接続することができる。Wi−Fiノード1204も、ネットワーク1200に接続される。ユーザ・グループ1201を、DSL、ダイヤルアップ、DOCSIS、イーサネット、G.hn、ISDN、MoCA、PON、および電力線通信(PLC)を含むがこれに限定されない有線インターフェースを介してネットワーク1200に接続することができる。ユーザ・グループ1201は、たとえばIEEE 802.11、IEEE 802.15、IEEE 802.16、IEEE 802.20、UMTS、GSM 850、GSM 900、GSM 1800、GSM 1900、GPRS、ITU−R 5.28、ITU−R 5.150、ITU−R 5.280、およびIMT−2000などの1つまたは複数の無線通信標準規格を介してネットワーク1200と通信することができる。電子デバイスは、たとえばユーザが電話およびSMSなどのGSMサービス、Wi−Fi/WiMAXデータ伝送、VoIP、インターネット・アクセスなどを使用できるように、複数のワイヤレス・プロトコルを同時にサポートすることができる。
ユーザのグループ1201は、たとえば、ラップトップ・コンピュータ、ポータブル・ゲーム機、タブレット・コンピュータ、スマートフォン/スーパーフォン、セルラ電話機/セル電話機、ポータブル・マルチメディア・プレイヤ、ゲーム機、およびパーソナル・コンピュータを含むさまざまな電子デバイスを使用することができる。アクセス・ポイント1203は、やはりネットワーク1200に接続されるが、たとえば、セルラGSM(Global System for Mobile Communications)電話サービスならびに機能強化されたデータ・トランスポート・サポートを有する3G、4G、または5Gの進化したサービスを提供する。
電子デバイスのいずれもが、ローカル・データ獲得ユニット910の機能性を提供し、かつ/またはサポートすることができる。さらに、ネットワーク1200に接続されたサーバ1205。サーバ1205は、ユーザ・グループ1201内のすべての電子デバイスから通信を受信することができる。サーバ1205は、ネットワーク1200に接続された他の電子デバイスから通信を受信することもできる。サーバ1205は、ローカル・データ獲得ユニット910、ローカル・データ処理モジュール920、およびリモート・データ処理モジュール930を議論する時の機能性をサポートすることができる。
ネットワーク1200に接続された外部サーバは、複数のサーバ、たとえば、科学的目的にデータおよび分析を使用することのできる研究機関1206に属するサーバを含むことができる。科学的目的は、正常なおよび/または異常な脳状態および身体状態を検出し、特性を表すアルゴリズムの開発、健康に対する環境超低周波数音の影響の調査、たとえば気象、風力タービン、動物、核実験、その他などの環境低周波数信号の特性記述を含むことができるが、これに限定はされない。医療サービス1207を含めることもできる。医療サービス1207は、たとえば高血圧、パニック発作、過換気の発症などの事象を追跡するのにデータを使用することができ、あるいは、心臓発作および脳卒中などの深刻な事象の場合に医師および緊急サービスに通知することができる。サード・パーティ・エンタープライズ1208も、たとえば異なる製品またはサービスに対するユーザの関心および反応を判定するためにネットワーク1200に接続でき、特定のユーザの生理学的反応に基づいてそのユーザが関心を持つ可能性がより高い広告を最適化するのに使用され得る。サード・パーティ・エンタープライズ1208は、ユーザの健康、たとえばClueなどのアプリケーションによる受胎能力および月経前症候群(PMS)、Breatheなどの瞑想アプリケーションによる呼吸および心拍数の情報をよりよく査定するのにバイオセンサ・データを使用することもできる。
さらに、ネットワーク1200は、または例Facebook、Twitter、LinkedIn、Instagram、Google+、YouTube、Pinterest、Flickr、Reddit、Snapchat、WhatsApp、Quora、Vine、Yelp、およびDeliciousなどのソーシャル・ネットワーク1209への接続を可能にすることができる。ソーシャル・ネットワーク1209の登録ユーザは、彼らの身体状態、感情状態に関する情報、またはバイオセンサ・データから導出された環境に関する情報をポストすることができる。そのような情報は、たとえば、サウンド、エモティコン、包括的なデータなどとして直接にポストされ得る。ユーザは、ソーシャル・メディア上にポストされる情報ならびに電子メールおよびSMSなどのソーシャル・ネットワーキングの範囲の外部の電子通信内の情報のスタイルおよび内容をカスタマイズすることもできる。ネットワークを介して送られるデータを、たとえばWi−Fiを介する接続に関してTLSプロトコル、またはたとえばBluetoothを介する接続に関してSMPプロトコルを用いて暗号化することができる。プロプライエタリまたは本発明のために特に開発されるものを含む他の暗号化プロトコルを使用することもできる。
ウェアラブル・デバイスを使用して収集されたデータは、リーチおよび情報の非常に複雑なセットを提供する。データの複雑さは、単純でアクション可能なフォーマットで情報を提示しないので、しばしば、ウェアラブル・デバイスの有効な使用を阻む。好ましくは、本発明人が、Androidオペレーティング・システムまたはIOSオペレーティング・システム用のアプリケーションとして複雑なバイオセンサ・データを表示する直観的な形と、開発者がバイオセンサ・データおよびアルゴリズムにアクセスするのを容易にするソフトウェア開発キット(SKD)とを与える多目的ソフトウェア・バンドルが提供される。SDKは、バイオセンサベースのアプリケーションの開発を単純化するように設計されたライブラリ(ドキュメンテーションおよび例を伴う)のコレクションを表す。SDKは、iOS、Android、Windows、Blackberryなどを含むがこれに限定されないプラットフォーム用に最適化され得る。SDKは、たとえば、バイタル・サイン抽出、感情状態検出などのためのバイオデータベースのアルゴリズムを含むモジュールを有する。
ユーザの感情状態および生理学的状態に関するユーザのアウェアネスを改善することを意図されたモバイル・アプリケーション。このアプリケーションは、環境内の超低周波数音レベルの監視をも可能にする。このアプリケーションは、バイタル・サインを含むがこれに限定されないユーザの生理学的活動を抽出するのにアルゴリズムのセットを使用し、この情報を使用してユーザの現在の状態を識別する。ユーザは、バイオセンサを有するヘッドセットを身に着けている時にリアル・タイムで彼らの生理学的状態をチェックでき、あるいは、たとえばカレンダの形で、以前のデータへのアクセスを有することができる。実際のバイタル・サインならびにユーザの身体および環境に関する他のパラメータは、ユーザがヘッドセットを身に着けている時に表示される。さらに、ユーザは、ユーザの現在の状態が正常から逸脱するかどうかを示す傾向を見ることができる。ユーザの正常な(ベースライン)状態は、他のユーザからのデータの大きいセットおよび医療現場からのベースライン・バイタルの推定値と組み合わされたユーザの長期データを使用して推定される。ユーザの状態、傾向、およびユーザのアクションとの相関は、たとえば、人工ニューラル・ネットワーク、ベイズ線形クラシファイヤ、カスケーディング・クラシファイヤ、概念的クラスリング、決定木、階層クラシファイヤ、K近傍アルゴリズム、K平均アルゴリズム、カーネル法、サポート・ベクトル・マシン、サポート・ベクトル・ネットワーク、関連ベクトル・マシン、関連ベクトル・ネットワーク、多層パーセプトロン・ニューラル・ネットワーク、ニューラル・ネットワーク、単一層パーセプトロン・モデル、ロジスティック回帰、ロジスティック・クラシファイヤ、ナイーブ・ベイズ、線形判別分析、線形回帰、信号空間投影、隠れマルコフ・モデル、およびランダム・フォレストなどの分類アルゴリズムを使用して導出され得る。分類アルゴリズムを、複数のセンサ、メタデータ(たとえば、全地球測位システム(GPS)を使用する位置、時刻/日付情報、活動など)、バイタル・サイン、バイオマーク、その他からの生データ、フィルタリングされたデータ、または前処理されたデータと連合させることができる。
現在のユーザ状態を、表示しまたは発声することができる。アプリケーションは、異なる状態またはユーザの進行を通信するためにスマートフォン/ユーザ・デバイス106を振動させることもできる。アプリケーションは、ある種の状態が検出される場合にアドバイスを表示しまたは発声するのに、スクリーン・ベースのプッシュ通知または音声ガイダンスを使用することができる。たとえば、ユーザの呼吸または心拍数が不安の状態を示す場合に、アプリケーションは、呼吸運動を提案することができる。ユーザは、血圧を下げ、または呼吸を安定させるために目標をセットすることもできる。そのような状況で、アプリケーションは、適当なアクションを提案することができる。アプリケーションは、ユーザの進行に関してユーザに通知し、ユーザの目標に対する改善または悪影響につながるユーザのアクションを分析する。ユーザは、カレンダまたはグラフを見ることによって経時的な彼らの平均バイタルを見ることもでき、ユーザが彼らの進行を記録することが可能になる。
アプリケーションは、ウェブ・サービス・プロバイダとインターフェースして、ユーザの過去および現在の精神状態および身体状態のより正確な分析をユーザに提供することができる。多くの場合に、ユーザのより正確なバイオメトリックスは、電子デバイス上で計算するには計算集中型に過ぎ、したがって、本発明の実施形態は、クラウドベースのバックエンド・インフラストラクチャ上の機械学習アルゴリズムに関連して利用される。被験者および個々のセッションから処理されるデータが多ければ多いほど、個々の結果がより正確で規範的になる。したがって、処理ツールおよび確立されたデータベースを使用して、身体状態および心理状態のバイオマーカを自動的に識別し、その結果、ユーザの診断を助けることができる。たとえば、アプリケーションは、収集され分析されたバイオデータが精神障害または身体障害の可能性を示唆する場合に、特定の障害に関して医師に連絡するようにユーザに提案することができる。クラウド・ベースのバックエンド処理は、関心を持たれているバイオメトリックスをどのようにしてよりよく計算すべきかを学習し、障害に関して検査し、ライフスタイル提案を提供し、エクササイズ提案を提供するために、複数のユーザからの異なるタイプのデータのコングロマリット形成を可能にする。
本発明の実施形態は、リモート・ユニット内にデータを記憶することができる。バイオセンサ・データを使用するユーザ・デバイス上で実行するアプリケーションを含むアプリケーションは、たとえばクラウド・コンピュータ・サーバ・システム109のオンライン・クラウド・ストレージを用いる、バイオデータのオンライン・ストレージおよび分析を使用することができる。クラウド・コンピューティング・リソースを、より深いリモート分析に、またはソーシャル・メディア上でバイオ関連情報を共有するのに、使用することができる。電子デバイス上に一時的に記憶されたデータは、電子デバイスが十分なバッテリ寿命を有してまたは充電状態でネットワークに接続される時にいつでも、オンラインにアップロードされ得る。ユーザ・デバイス106上で実行するアプリケーションは、より長い時間期間にわたる一時データの記憶を可能にする。アプリケーションは、ユーザ・デバイス106上で十分な空間が使用可能ではない時またはデータをオンラインにアップロードするための接続がある時に、データを枝刈りすることができる。データを、日付などの異なるパラメータに基づいて除去することができる。アプリケーションは、未使用データを除去することによって、または空間最適化アルゴリズムを適用することによって、ストレージを掃除することもできる。アプリケーションは、たとえばバイオセンサ・システム50を使用する経験を強化し、改善するために他のユーザを含むグループと共同作業するために、ソーシャル・メディアを介して友人、医師、セラピスト、またはグループとある種の情報をユーザが共有することをも可能にする。
図16A〜図16Dは、ユーザ・デバイス106上で実行するアプリケーションのユーザ・インターフェースの4つの例示的なスクリーンショットを示す。これらのスクリーンショットは、ユーザ・デバイスのタッチスクリーン・ディスプレイからのものである。
図16Aは、温度、心拍数、血圧、および呼吸速度を含む基本的なバイタル・サインを表示するユーザの状況スクリーンを示す。GPS位置も表示されている。背景は、気象として視覚化され、類推されたユーザの精神状態、たとえば、少数の雲を有する空として表現された「主に平静」に対応する。
図16Bは、ユーザの電子ユーザ・デバイス106への変換器システムのBluetooth接続を示す、ユーザ・インターフェースのスクリーンを示す。
図16Cは、より科学教養のあるユーザ向けに設計された、より複雑なデータ視覚化を提示するユーザ・インターフェースを示す。このスクリーンの上部は、マイクロホン206からの時系列を示す。これらの時系列を使用して、たとえば心周期の振幅を見ることによって、データ品質をチェックすることができる。このスクリーンの中央は、マイクロホン206からの信号の周波数内容を示すパワー・スペクトルを示す。
図16Dは、ユーザ・デバイス106上で実行するアプリケーションのユーザ・インターフェースのカレンダ・スクリーンを示す。ここで、ユーザは、バイオセンサ使用の期間にわたるバイタル状態要約をチェックすることができる。
さまざまな生体信号の検出および監視に基づく電子ユーザ・デバイス106の機能強化されたインターフェースを使用する多様なアプリケーションを開発することができる。たとえば、オーディオ・データ、マルチメディア・データ、位置データ、および/または運動データと組み合わせて電子デバイスの特徴豊かなアプリケーション開発環境にバイオセンサ・データを統合することは、高度なユーザアウェア・インターフェースおよび革新的アプリケーションの新たなプラットフォームを提供することができる。アプリケーションは、下記を含むことができるがこれに限定されない。
瞑想 質を高められた瞑想経験のためのユーザ・デバイス106上で実行するスマートフォン・アプリケーションは、ユーザが、バイオ案内された瞑想をいつでもどこでも実践することを可能にする。バイオヘッドセット100に関連するそのようなアプリケーションは、たとえば心拍数、温度、呼吸特性、または脳の血液循環に基づいて推定された監視されたユーザのパフォーマンスに基づいてリアルタイム・フィードバックおよびガイダンスを提供することによって、人の瞑想を改善する手近なツールになるはずである。マインドフルネス瞑想、超越瞑想、alternate nostril breathing、heart rhythm meditation(HRM)、クンダリーニ、guided visualization、気功、座禅、マインドフルネス、その他を含むがこれに限定されない多数のタイプの瞑想をシステムに統合することができる。時刻および場所に関する情報と組み合わされた瞑想パフォーマンスの監視は、外部環境がユーザの瞑想経験に対して有する影響のよりよい理解をユーザに与えもする。瞑想アプリケーションは、ユーザの概日リズムおよび瞑想に対するその影響への深い洞察を提供する。バイオセンサからのデータに基づく感情認識システムは、ユーザの状態の検出を可能にし、最適の瞑想スタイルを提案し、フィードバックを提供する。瞑想アプリケーションは、研究のために本質的なデータを提供もする。
脳−コンピュータ・インターフェース バイオセンサ・システム50は、ユーザの脳と電子デバイスとの間の直接通信の手段として使用できる、バイタル・サインと集中、感情、その他などの精神状態との監視を可能にする。変換器システム100は、ある外部刺激に対する身体および精神の自動的反応の即座の監視および分析を可能にする。変換器システム・ヘッドセットを、たとえば広範囲のロボット・デバイスの制御を可能にする、非侵襲的脳−コンピュータ・インターフェースとして使用することができる。このシステムは、ユーザの生体信号の振幅を変更するためにユーザが数ヶ月にわたってトレーニングすることを可能にすることができ、あるいは、トレーニング時間を最小にするために、機械学習手法を使用して、分析システム内に埋め込まれたクラシファイヤをトレーニングすることができる。
ゲーム バイタル・サインおよび感情状態を監視する能力を有するバイオセンサ・システム50は、より没入できるゲームを設計し、リアル・タイムで判定されるユーザの感情状態および身体状態に合わせて設計された機能強化されたゲーム経験をユーザに提供するために、ゲーム環境によって効率的に実施され得る。たとえば、ゲームの課題およびレベルを、ユーザの測定された心的状態および身体状態に基づいて最適化することができる。
睡眠 ユーザ・デバイス106上で実行する追加のアプリケーションは、ユーザが彼らの睡眠の質を改善するのを助けるために、アクション可能な分析論を監視し、提供するための変換器システム100からのデータの広範囲の使用を採用することができる。監視されるバイタル・サインは、ユーザの睡眠の質の洞察を与え、睡眠の異なる相の区別を可能にする。このシステムによって提供される環境内の超低周波数音に関する情報は、ユーザの睡眠に干渉する可能性がある雑音の源を突き止めることを可能にする。ユーザの環境内の超低周波数音の検出およびユーザの睡眠の質との相関は、そうでなければ検出不能な雑音を除去する独自の形を提供し、これが、ユーザが、雑音のそのような源を除去し、彼らの睡眠の質を改善することを可能にする。日中のユーザの活動に関する追加情報(動きの特性および量、座り、歩き、走る持続時間、食事の量)は、ユーザの概日リズムの特性を表すのを助け、これが、たとえば機械学習アルゴリズムと組み合わされて、どのアクションがユーザの睡眠の質および量によい影響または悪影響を有するのかをアプリケーションが検出することを可能にする。ユーザのバイタルおよび概日リズムの分析は、アプリケーションが、ユーザが眠るか起床するのに最良の時刻を提案することを可能にする。睡眠監視イヤホンは、ユーザが眠っている時の快適性および安全性を保証するために専用設計を有することができる。睡眠用に設計されたイヤバッドは、埋込み雑音除去解決策をも有することができる。
受胎能力監視/月経周期監視 バイオセンサ・システム50は、1日全体を通じたユーザの温度の監視をも可能にする。受胎能力/月経周期追跡は、毎日同一の時刻のユーザの温度の正確な測定を必要とする。変換器システム100を用いて収集される複数時間または全日の温度データは、ユーザの温度の1つの測定値の追跡だけではなく、機械学習と他のユーザの集合データとの単一のユーザのデータの組合せとを介して、ユーザの温度が1日全体でどのように変化するのかを追跡することもでき、したがって、ユーザの受胎能力のより正確な測定を与える。さらに、機械学習アルゴリズムと組み合わされた、コングロマリット・マルチユーザ/複数時刻データセットは、ユーザの受胎能力月経周期の異常の可能な検出を可能にし、受胎能力、PCOS、ホルモン・バランスの乱れなどであるがこれに限定されないものの可能な検出を可能にする。アプリケーションは、ユーザが受胎能力月経周期のどこにいるのかを知らせるためにユーザにプッシュ通知を送ることができ、異常が検出される場合には、プッシュ通知は、内科医に連絡する提案を含むことができる。
エクササイズ バイオセンサ・システム50は、ユーザがエクササイズを行っており、ユーザのパフォーマンスに関する非常に重要な情報を供給する時に、バイタルを監視することを可能にする。機械学習アルゴリズムと組み合わされる、センサのアレイによって供給されるデータは、ユーザのヒストリおよびデータの幅広いセットに基づいて最適化されたエクササイズを行うのに最適な時間に関するフィードバックを提供する、スマートフォン・アプリケーションの形でコンパイルされ得る。ユーザ・デバイス106上で実行するアプリケーションは、最良の睡眠の質、たとえば血液循環を含む脳パフォーマンス、またはマインドフルネスを保証するために、エクササイズの最適の長さおよびタイプを提案することができる。
iDoctor ユーザのそれぞれのバイオセンサ・システム50によって収集されたユーザの大きいグループからの情報と、クラウド・コンピュータ・サーバ・システム1099によって実行される分析される機械学習アルゴリズムとに基づいて、バイオセンサ・システム50は、くしゃみ、咳、あくび、嚥下、その他を含むがこれに限定されないユーザの身体関連活動のリアルタイム検出をも可能にする。クラウド・コンピュータ・サーバ・システム109は、たとえば、検出されたまたはやがて来る風邪の大流行、インフルエンザ、咽喉炎、アレルギ(アレルギ源の空間相関とユーザのヒストリとの比較とを含む)などを検出し、その後、これに関するプッシュ通知をユーザのユーザ・デバイス106に送ることができる。
ユーザのデバイス106上で実行するアプリケーションは、睡眠またはエクササイズの量を増やすようにユーザに提案し、または医師に会うようにユーザに奨励することができる。アプリケーションは、ユーザが薬物を摂取する時にユーザの健康がどのように改善するのかをリアル・タイムで監視することができ、アプリケーションは、摂取された薬物が期待されるパフォーマンスおよび時間特性を有するかどうかを評価することができる。ユーザのバイオセンサ・データに基づくアプリケーションは、摂取された薬物の検出された副作用または他の摂取された薬物との相互作用に関する情報を提供することもできる。neighborhood−based predictionまたはモデル・ベースの強化学習などの組込み機械学習アルゴリズムを有するシステムは、患者診断およびトリアージ、全般的な患者および医療の知識、患者の病気の激しさの推定値、ならびにグローバルおよびローカルのクラウドソーシングされた情報に基づく健康マップを含む精密医療の送達を可能にする。
特定の詳細が、諸実施形態の完全な理解を提供するために上の説明で与えられる。しかし、これらの特定の詳細なしで実施形態を実践できることを理解されたい。たとえば、回路が、不必要な詳細で実施形態を不明瞭にしないようにするためにブロック図で示される場合がある。他の場合に、周知の回路、プロセス、アルゴリズム、構造、および技法が、実施形態を不明瞭にすることを回避するために不必要な詳細なしで示される場合がある。
本発明の例示的実施形態の前述の開示は、例示および説明のために提示された。網羅的であることまたは本発明を開示された正確な形態に限定することは、意図されていない。上の開示に鑑みて、説明された実施形態の多数の変形形態および修正形態が、当業者に明白になろう。本発明の範囲は、添付の特許請求の範囲およびその同等物のみによって定義されなければならない。
さらに、本発明の代表的実施形態の説明で、本明細書が、ステップの特定のシーケンスとして本発明の方法および/またはプロセスを提示した場合がある。しかし、方法またはプロセスが、本明細書に示されたステップの特定の順序に依存しない範囲で、方法またはプロセスは、説明されたステップの特定のシーケンスに限定されてはならない。当業者は、ステップの他のシーケンスが可能である可能性があることを了解しよう。したがって、本明細書で示されたステップの特定の順序を、特許請求の範囲に対する限定と解釈してはならない。さらに、本発明の方法および/またはプロセスを対象とする請求項が、書かれた順序でのそのステップの実行に限定されてはならず、当業者は、シーケンスが、変更され得、それでも本発明の趣旨および範囲に含まれるままであることをたやすく了解することができる。
本発明を、その好ましい実施形態を参照して具体的に図示し、説明したが、形態および詳細におけるさまざまな変更が、添付の特許請求の範囲によって包含される本発明の範囲から逸脱せずに行われ得ることが、当業者によって理解されよう。

Claims (24)

  1. 外耳道を介するユーザからの超低周波数信号を含む音響信号を検出する音響センサと、
    前記音響センサによって検出された前記音響信号を分析する処理システムと
    を含むバイオセンサ・システム。
  2. 前記音響信号は、5Hz以下の超低周波数音を含む、請求項1に記載のシステム。
  3. 前記ユーザの移動を検出する補助センサをさらに含む、請求項1に記載のシステム。
  4. 前記ユーザの体温を検出する補助センサをさらに含む、請求項1に記載のシステム。
  5. 前記音響センサは、ヘッドセット内に組み込まれる、請求項4に記載のシステム。
  6. ヘッドセットは、1つまたは複数のイヤバッドを含む、請求項1に記載のシステム。
  7. 前記音響信号の前記検出の効率を改善するために前記ユーザの前記外耳道を遮る手段をさらに含み、前記遮る手段は、イヤバッド・カバーを含む、請求項1に記載のシステム。
  8. 前記ユーザの両方の外耳道内の音響センサをさらに含み、前記処理システムは、心臓活動の特性記述の正確さを高めるために両方のセンサからの信号を使用する、請求項1に記載のシステム。
  9. 前記処理システムは、前記ユーザの心周期および/または呼吸サイクルを分析するために前記音響信号を分析する、請求項1に記載のシステム。
  10. 音響センサを使用して外耳道を介するユーザからの超低周波数信号を含む音響信号を検出することと、
    前記ユーザを監視するために前記音響センサによって検出された前記音響信号を分析することと
    を含む、バイオセンサ・システムを用いてユーザを監視する方法。
  11. 前記音響信号は、5Hz以下の超低周波数音を含む、請求項10に記載の方法。
  12. 補助センサを使用して前記ユーザの移動を検出することをさらに含む、請求項10に記載の方法。
  13. 前記ユーザの体温を検出することをさらに含む、請求項10に記載の方法。
  14. 前記音響センサは、ヘッドセット内に組み込まれる、請求項10に記載の方法。
  15. 前記ヘッドセットは、1つまたは複数のイヤバッドを含む、請求項14に記載の方法。
  16. 前記音響信号の前記検出の効率を改善するために、前記ユーザの前記外耳道を遮ることをさらに含む、請求項10に記載の方法。
  17. 前記ユーザの両方の外耳道から音響信号を検出することと、心臓活動の特性記述の正確さを高めるために両方の管からの前記信号を使用することとをさらに含む、請求項10に記載の方法。
  18. 前記ユーザの心周期および/または呼吸サイクルを追跡するために前記音響信号を分析することをさらに含む、請求項10に記載の方法。
  19. ユーザの外耳道に突き出す外耳道延長部と、
    前記ユーザからの音響信号を検出する、前記外耳道延長部内の音響センサと
    を含む、イヤバッドスタイル・ヘッドマウント変換器システム。
  20. ユーザ・デバイスのタッチスクリーン・ディスプレイ上にバイオセンサ・システムのユーザ・インターフェースを提供するアプリケーションを実行する前記ユーザ・デバイスであって、前記バイオセンサ・システムは、ユーザの身体状態を査定するために前記ユーザからの超低周波数信号を分析し、前記ユーザ・インターフェースは、前記ユーザの前記状態を気象に類推して説明し、かつ/または超低周波数信号のプロットおよび/もしくは前記超低周波数信号に基づいて過去のバイタル状態要約にアクセスするカレンダ・スクリーンを提示するディスプレイを提示する、ユーザ・デバイス。
  21. ユーザからの超低周波数信号を含む音響信号を検出する1つまたは複数の音響センサと、
    環境雑音監視、
    血圧監視、
    血液循環査定、
    脳活動監視、
    概日リズム監視、
    肥満、メンタル・ヘルス、時差ぼけ、および他の健康問題を含む障害の特性記述および/もしくはその矯正の助力、
    瞑想、
    睡眠監視、
    受胎能力監視、ならびに/または
    月経周期監視
    のうちの1つまたは複数を容易にするために前記音響信号を分析する処理システムと
    を含む、バイオセンサ・システムおよび/またはその動作の方法。
  22. ユーザからの音響信号を検出する音響センサと、
    前記ユーザの環境からの音響信号を検出する背景音響センサと、
    前記ユーザからの前記音響信号および前記環境からの前記音響信号を分析する処理システムと
    を含む、バイオセンサ・システムおよび/またはその動作の方法。
  23. 前記背景音響センサを使用して前記環境内の可聴サウンドおよび/または超低周波数音の特性を表す、請求項22に記載のバイオセンサ・システムおよび/または方法。
  24. 前記環境からの前記検出された音響信号および/または補助センサからの情報を参照することによって、前記ユーザからの検出された音響信号内の雑音を低減する、請求項22に記載のバイオセンサ・システムおよび/または方法。
JP2020564817A 2018-02-13 2019-02-13 超低周波数音バイオセンサ・システムおよび方法 Pending JP2021513437A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862629961P 2018-02-13 2018-02-13
US62/629,961 2018-02-13
PCT/US2019/017832 WO2019160939A2 (en) 2018-02-13 2019-02-13 Infrasound biosensor system and method

Publications (1)

Publication Number Publication Date
JP2021513437A true JP2021513437A (ja) 2021-05-27

Family

ID=65818590

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020564817A Pending JP2021513437A (ja) 2018-02-13 2019-02-13 超低周波数音バイオセンサ・システムおよび方法

Country Status (7)

Country Link
US (1) US20190247010A1 (ja)
EP (1) EP3752066A2 (ja)
JP (1) JP2021513437A (ja)
KR (1) KR20200120660A (ja)
CN (1) CN111867475B (ja)
CA (1) CA3090916A1 (ja)
WO (1) WO2019160939A2 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102395445B1 (ko) * 2018-03-26 2022-05-11 한국전자통신연구원 음원의 위치를 추정하기 위한 전자 장치
EP3657810A1 (en) * 2018-11-21 2020-05-27 Telefonica Innovacion Alpha S.L Electronic device, method and system for inferring the impact of the context on user's wellbeing
US11992360B2 (en) 2019-07-19 2024-05-28 Anna Barnacka System and method for heart rhythm detection and reporting
CA3150852A1 (en) 2019-08-12 2021-02-18 Anna BARNACKA System and method for cardiovascular monitoring and reporting
CA3150962A1 (en) 2019-08-15 2021-02-18 Anna BARNACKA Earbud for detecting biosignals from and presenting audio signals at an inner ear canal and method therefor
WO2021050985A1 (en) * 2019-09-13 2021-03-18 The Regents Of The University Of Colorado, A Body Corporate A wearable system for intra-ear sensing and stimulating
EP3795086B1 (en) * 2019-09-20 2022-05-04 Mybrain Technologies Method and system for monitoring physiological signals
US11559006B2 (en) * 2019-12-10 2023-01-24 John Richard Lachenmayer Disrupting the behavior and development cycle of wood-boring insects with vibration
KR20220160685A (ko) * 2020-04-02 2022-12-06 던 엘라 피에르네 음향 및 시각 에너지 구성 시스템 및 방법
WO2021220515A1 (ja) * 2020-05-01 2021-11-04 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法及びプログラム
WO2021263155A1 (en) * 2020-06-25 2021-12-30 Barnacka Anna System and method for leak correction and normalization of in-ear pressure measurement for hemodynamic monitoring
US11343612B2 (en) 2020-10-14 2022-05-24 Google Llc Activity detection on devices with multi-modal sensing
CH718023A1 (de) * 2020-10-30 2022-05-13 Rocket Science Ag Gerät zur Detektion von Herzton-Signalen eines Benutzers sowie Verfahren zum Überprüfen der Herztätigkeit des Benutzers.
WO2022146863A1 (en) * 2020-12-30 2022-07-07 The Johns Hopkins University System for monitoring blood flow
US20220218273A1 (en) * 2021-01-13 2022-07-14 Anna Barnacka System and Method for Noninvasive Sleep Monitoring and Reporting
CN117813837A (zh) 2021-06-18 2024-04-02 A·巴纳卡 振动声学耳塞
US11665473B2 (en) * 2021-09-24 2023-05-30 Apple Inc. Transmitting microphone audio from two or more audio output devices to a source device
CN114191684B (zh) * 2022-02-16 2022-05-17 浙江强脑科技有限公司 基于脑电的睡眠控制方法、装置、智能终端及存储介质
KR102491893B1 (ko) 2022-03-03 2023-01-26 스마트사운드주식회사 반려동물 심음 및 호흡수 정확도가 향상된 건강측정장치, 시스템 및 그의 운용 방법
US20240036151A1 (en) * 2022-07-27 2024-02-01 Dell Products, Lp Method and apparatus for locating misplaced cell phone with two high accuracy distance measurement (hadm) streams from earbuds and vice versa
WO2024030141A1 (en) * 2022-08-05 2024-02-08 Google Llc Score indicative of mindfulness of a user

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007532156A (ja) * 2004-04-08 2007-11-15 マシモ コーポレーション 呼吸速度、心拍速度、及び無呼吸に関する非侵襲性モニタリング
US20100125218A1 (en) * 2008-11-17 2010-05-20 Sony Ericsson Mobile Communications Ab Apparatus, method, and computer program for detecting a physiological measurement from a physiological sound signal
US20110125063A1 (en) * 2004-09-22 2011-05-26 Tadmor Shalon Systems and Methods for Monitoring and Modifying Behavior
US20110295127A1 (en) * 2010-05-27 2011-12-01 Sandler Richard H Vibro-Acoustic Detection of Cardiac Conditions
WO2014021335A1 (ja) * 2012-07-30 2014-02-06 株式会社三菱ケミカルホールディングス 検体情報検出ユニット、検体情報処理装置、電動歯ブラシ装置、電動シェーバー装置、検体情報検出装置、老齢化度評価方法、及び老齢化度評価装置
JP2014505535A (ja) * 2011-01-05 2014-03-06 コーニンクレッカ フィリップス エヌ ヴェ 外耳道の封鎖の封鎖性能の推定
WO2016083807A1 (en) * 2014-11-25 2016-06-02 Inova Design Solutions Ltd Portable physiology monitor
JP2017536867A (ja) * 2014-10-14 2017-12-14 フセイン・アルシル・ネイヤーHUSSAIN, Arsil, Nayyar 身体的特徴に関するデータを取り込んで出力するためのシステム、装置、および方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7137955B2 (en) * 2002-04-19 2006-11-21 Omron Healthcare Co., Ltd. Methods and systems for distal recording of phonocardiographic signals
US7020508B2 (en) * 2002-08-22 2006-03-28 Bodymedia, Inc. Apparatus for detecting human physiological and contextual information
US20110213263A1 (en) * 2010-02-26 2011-09-01 Sony Ericsson Mobile Communications Ab Method for determining a heartbeat rate
US8594353B2 (en) * 2010-09-22 2013-11-26 Gn Resound A/S Hearing aid with occlusion suppression and subsonic energy control
ITMI20132171A1 (it) * 2013-12-20 2015-06-21 Davide Macagnano Rilevatore indossabile per il rilevamento di parametri legati ad una attività motoria
DE102014211501A1 (de) * 2014-03-19 2015-09-24 Takata AG Sicherheitsgurtanordnungen und Verfahren zum Bestimmen einer Information bezüglich der Herz- und/oder Atemaktivität eines Benutzers eines Sicherheitsgurtes
JP2015211227A (ja) * 2014-04-23 2015-11-24 京セラ株式会社 再生装置及び再生方法
US9635458B2 (en) * 2014-07-24 2017-04-25 Goertek, Inc. Heart rate detection method used in earphone and earphone capable of detecting heart rate
RU2017124900A (ru) * 2014-12-12 2019-01-14 Конинклейке Филипс Н.В. Система для мониторинга, способ мониторинга и компьютерная программа для мониторинга
US11000231B2 (en) * 2015-03-03 2021-05-11 Valencell, Inc. Optical adapters for wearable monitoring devices
WO2017013655A1 (en) * 2015-07-22 2017-01-26 Headsense Medical Ltd. System and method for measuring icp
US20190365263A1 (en) * 2017-01-18 2019-12-05 Mc10, Inc. Digital stethoscope using mechano-acoustic sensor suite

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007532156A (ja) * 2004-04-08 2007-11-15 マシモ コーポレーション 呼吸速度、心拍速度、及び無呼吸に関する非侵襲性モニタリング
US20110125063A1 (en) * 2004-09-22 2011-05-26 Tadmor Shalon Systems and Methods for Monitoring and Modifying Behavior
US20100125218A1 (en) * 2008-11-17 2010-05-20 Sony Ericsson Mobile Communications Ab Apparatus, method, and computer program for detecting a physiological measurement from a physiological sound signal
US20110295127A1 (en) * 2010-05-27 2011-12-01 Sandler Richard H Vibro-Acoustic Detection of Cardiac Conditions
JP2014505535A (ja) * 2011-01-05 2014-03-06 コーニンクレッカ フィリップス エヌ ヴェ 外耳道の封鎖の封鎖性能の推定
WO2014021335A1 (ja) * 2012-07-30 2014-02-06 株式会社三菱ケミカルホールディングス 検体情報検出ユニット、検体情報処理装置、電動歯ブラシ装置、電動シェーバー装置、検体情報検出装置、老齢化度評価方法、及び老齢化度評価装置
JP2017536867A (ja) * 2014-10-14 2017-12-14 フセイン・アルシル・ネイヤーHUSSAIN, Arsil, Nayyar 身体的特徴に関するデータを取り込んで出力するためのシステム、装置、および方法
WO2016083807A1 (en) * 2014-11-25 2016-06-02 Inova Design Solutions Ltd Portable physiology monitor

Also Published As

Publication number Publication date
WO2019160939A3 (en) 2019-10-10
KR20200120660A (ko) 2020-10-21
CN111867475B (zh) 2023-06-23
US20190247010A1 (en) 2019-08-15
CN111867475A (zh) 2020-10-30
EP3752066A2 (en) 2020-12-23
WO2019160939A2 (en) 2019-08-22
CA3090916A1 (en) 2019-08-22

Similar Documents

Publication Publication Date Title
CN111867475B (zh) 次声生物传感器系统和方法
US10231664B2 (en) Method and apparatus to predict, report, and prevent episodes of emotional and physical responses to physiological and environmental conditions
US20240236547A1 (en) Method and system for collecting and processing bioelectrical and audio signals
US20200086133A1 (en) Validation, compliance, and/or intervention with ear device
US10685577B2 (en) Systems and methods for delivering sensory input during a dream state
CN101467875B (zh) 耳戴式生理反馈装置
US10874356B2 (en) Wireless EEG headphones for cognitive tracking and neurofeedback
US20140285326A1 (en) Combination speaker and light source responsive to state(s) of an organism based on sensor data
US20080214903A1 (en) Methods and Systems for Physiological and Psycho-Physiological Monitoring and Uses Thereof
US20140327515A1 (en) Combination speaker and light source responsive to state(s) of an organism based on sensor data
US20220061767A1 (en) Biometric, physiological or environmental monitoring using a closed chamber
US20150264459A1 (en) Combination speaker and light source responsive to state(s) of an environment based on sensor data
US20230107691A1 (en) Closed Loop System Using In-ear Infrasonic Hemodynography and Method Therefor
WO2023162645A1 (ja) 情報処理装置、情報処理方法、プログラム、および情報処理システム
US20220338810A1 (en) Ear-wearable device and operation thereof
US20230277130A1 (en) In-ear microphones for ar/vr applications and devices
US20230240611A1 (en) In-ear sensors and methods of use thereof for ar/vr applications and devices
CN118574565A (zh) 用于ar/vr应用的入耳式传声器和设备
CN118574567A (zh) 用于ar/vr应用的入耳式运动传感器和设备
TW202332408A (zh) 用於擴增實境/虛擬實境應用程式和裝置之入耳式運動感測器
TW202337387A (zh) 用於擴增實境/虛擬實境應用程式和裝置之入耳式感測器及其使用之方法
CN118541080A (zh) 用于ar/vr应用的入耳式温度传感器和设备
CN118575487A (zh) 用于ar/vr应用和设备的入耳式传感器及其使用方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230516

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231205