JP2021507775A - 動き感知のための装置、システムおよび方法 - Google Patents

動き感知のための装置、システムおよび方法 Download PDF

Info

Publication number
JP2021507775A
JP2021507775A JP2020534898A JP2020534898A JP2021507775A JP 2021507775 A JP2021507775 A JP 2021507775A JP 2020534898 A JP2020534898 A JP 2020534898A JP 2020534898 A JP2020534898 A JP 2020534898A JP 2021507775 A JP2021507775 A JP 2021507775A
Authority
JP
Japan
Prior art keywords
signal
processor
user
sleep
audio device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020534898A
Other languages
English (en)
Other versions
JP7464522B2 (ja
Inventor
ショルディス,レドモンド
マクマホン,スティーヴン
レン,マイケル
Original Assignee
レスメッド センサー テクノロジーズ リミテッド
レスメッド センサー テクノロジーズ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by レスメッド センサー テクノロジーズ リミテッド, レスメッド センサー テクノロジーズ リミテッド filed Critical レスメッド センサー テクノロジーズ リミテッド
Publication of JP2021507775A publication Critical patent/JP2021507775A/ja
Application granted granted Critical
Publication of JP7464522B2 publication Critical patent/JP7464522B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438Sensor means for detecting
    • G08B21/0469Presence detectors to detect unsafe condition, e.g. infrared sensor, microphone
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • A61B5/4818Sleep apnoea
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7228Signal modulation applied to the input signal sent to patient or subject; demodulation to recover the physiological signal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/749Voice-controlled interfaces
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/0423Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting deviation from an expected pattern of behaviour or schedule
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/22Status alarms responsive to presence or absence of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B27/00Alarm systems in which the alarm condition is signalled from a central station to a plurality of substations
    • G08B27/005Alarm systems in which the alarm condition is signalled from a central station to a plurality of substations with transmission via computer network
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G08B5/222Personal calling arrangements or devices, i.e. paging systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0048Detecting, measuring or recording by applying mechanical forces or stimuli
    • A61B5/0053Detecting, measuring or recording by applying mechanical forces or stimuli by applying pressure, e.g. compression, indentation, palpation, grasping, gauging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/02Measuring pulse or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0083Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus especially for waking up

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Physiology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Psychiatry (AREA)
  • Cardiology (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)

Abstract

方法およびデバイスは、対話型オーディオデバイスなどに対してアクティブ音声生成により生理学的な動きの検出(例えば、ジェスチャー、呼吸、心臓および/または全身の動き)を提供する。プロセッサは、前記対話型オーディオデバイスへ接続されたマイクロフォンを介して、感知された可聴の言語通信を評価し得る。プロセッサは、プロセッサへ接続されたスピーカを介して音声信号をユーザの近隣に生成することを制御し得る。プロセッサは、反射された音声信号の感知をプロセッサへ接続されたマイクロフォンを介して制御し得る。この反射された音声信号は、ユーザや近隣からの生成された音声信号の反射である。プロセッサは、反射された音声を例えば復調技術によって処理して、生理学的な動きの信号を導出し得る。プロセッサは、前記感知された可聴の言語通信に応答して、前記導出された生理学的な動きの信号の評価に基づいた出力を生成させ得る。【選択図】図1

Description

1 関連出願への相互参照
本出願は、米国仮特許出願第62/610,013号(出願日:2017年12月22日)の利益を主張する。本明細書中、その内容の全体を引用することにより本明細書の一部とする。
2 技術の背景
2.1 技術の分野
本技術は、オーディオ装備を用いた生体の生物学的な動き(bio-motion)の検出に関する。より詳細には、本技術は、オーディオ装備を用いた音響感知を利用して、生理学的な動き(movement)(例えば、呼吸の動作、心臓動作および/または他の周期性の低い生体の身体動作)などの生理学的な特性を検出することに関する。
2.2 関連技術の説明
例えば睡眠時において人の呼吸および身体(手足を含む)の動きを監視又はモニターすることは、多数の状況において有用であり得る。例えば、このようなモニターは、睡眠時呼吸障害の状態(例えば、睡眠時無呼吸)のモニターおよび/または診断において有用であり得る。従来、アクティブ無線測位または関連する用途への導入の障壁としては、特別なハードウェア回路やアンテナが必要になる点がある。
スマートフォンおよび他のポータブルで目立たない処理デバイスまたは電子通信デバイスは、陸上通信線の利用が不可能な発展途上国においても、日常生活において普遍的なものになっている。例えば、多くの家庭において、音の放出および記録が可能なオーディオデバイスが用いられている(例えば、スマートスピーカ、アクティブサウンドバー、スマートデバイス、スマートTVおよび他のデバイス)。このようなデバイスは、バーチャルアシスタントを用いて音声コマンドをサポートし得る。バーチャルアシスタントは、受信した言語(verbal)コマンドを処理し、オーディオ出力と共に応答する。
生物学的な動き(すなわち、生理学的な動き(physiological movement))のモニターを効率的かつ有効な態様で行う方法が、所望されている。このようなシステムおよび方法の実現は、相当な技術的チャレンジを伴う。
3 技術の簡単な説明
本技術は、例えば対象が睡眠中のときの対象の動きを検出するシステム、方法および装置に関する。このような動き検出(例えば、例えば呼吸の動作、対象の動作)に基づいて、睡眠関連特性、呼吸特性、心臓の特性、睡眠状態などが検出され得る。より詳細には、プロセッサにより作動可能なオーディオ機器(例えば、対話型オーディオデバイス)または他の処理デバイス(例えば、スマートフォン、タブレット、スマートスピーカ)に関連する用途において、動き検出のために、処理デバイスセンサ(例えば、一体型のかつ/または外部から接続可能なスピーカ(単数または複数)およびマイクロフォン(単数または複数))のオーディオ機能が適用される。本明細書中、「デバイス」という用語は広範な意味を持つものとして用いられ、集中型または分散型のシステムを含み得る。このシステムは、1つ以上のスピーカと、1つ以上のマイクロフォンと、1つ以上のプロセッサとを含み得る。しかし、いくつかのバージョンにおいて、これは、例えばコンポーネントと本明細書中に記載の感知方法/検出方法の機能のうち任意の1つ以上とをユニットとして実質的に提供するための一体型デバイスであってもよい。例えば、処理デバイスならびにその方法および感知機能を有するコンポーネントを、例えば、ハンドヘルドシステム(例えば、感知構成型スマートフォン)または他のそのようなポータブルシステムなどの一体型ハウジング内に、一体型にすることができる。
本技術のいくつかのバージョンは、プロセッサにより読取可能な媒体を含み得る。この媒体上には、プロセッサにより実行可能な命令が保存される。これらの命令がプロセッサによって実行されると、プロセッサは、ユーザの生理学的な動きの検出などにより生理学的パラメータを検出する。生理学的な動きは、呼吸動作、心臓動作、手足動作、ジェスチャー動作および全身動作のうち任意の1つ以上を含み得る。生理学的パラメータは、検出された生理学的な動きから導出される1つ以上の特性も含み得る(例えば、呼吸振幅、相対的呼吸振幅、呼吸数(respiration rate)、呼吸数の変動性、心臓の振幅、相対的心臓の振幅、心拍数、心拍数の変動性)、ならびに他の生理学的パラメータから導出され得る他の特性(例えば、(a)存在状態(存在・不存在)、(b)睡眠状態(例えば、覚醒または睡眠)、(c)睡眠ステージ(例えば、N−REM1(ノンレムの浅い睡眠サブステージ1)、N−REM2(ノンレムの浅い睡眠サブステージ2)、N−REM3(ノンレム熟睡(徐波睡眠(SWS)とも呼ばれる))、REM睡眠など)、または、(d)疲労および/または(e)眠気といった他の睡眠関連パラメータ)。プロセッサにより実行可能な命令は、対話型オーディオデバイスへ接続されたスピーカを介してユーザを含み得る近傍への音声信号の生成を制御する命令を含み得る。プロセッサにより実行可能な命令は、対話型オーディオ処理デバイスへ接続されたマイクロフォンを介した、ユーザから反射された音声信号の感知を制御する命令を含み得る。プロセッサにより実行可能な命令は、感知された音声信号を処理する命令を含み得る。プロセッサにより実行可能な命令は、対話型オーディオデバイスへ接続されたマイクロフォンを介して感知された可聴の言語(verbal)通信の評価を行うようにとの旨の命令を含み得る。プロセッサにより実行可能な命令は、生理学的な動きの信号を音信号および反射音信号を用いて導出する命令を含み得る。プロセッサにより実行可能な命令は、感知された可聴な言語通信に応答して、導出された生理学的な動きの信号の評価に基づいた出力を生成させる命令を含み得る。
本技術のいくつかのバージョンは、プロセッサにより読取可能な媒体を含む。この媒体上には、プロセッサにより実行可能な命令が保存される。これらの命令が対話型オーディオデバイスのプロセッサによって実行されると、プロセッサは、ユーザの生理学的な動きを検出する。プロセッサにより実行可能な命令は、対話型オーディオデバイスへ接続されたスピーカを介して対話型オーディオデバイスの近傍の音声信号の生成を制御する命令を含み得る。プロセッサにより実行可能な命令は、対話型オーディオデバイスへ接続されたマイクロフォンを介した、近傍からの反射された音声信号の感知を制御する命令を含み得る。プロセッサにより実行可能な命令は、感知された反射音信号の少なくとも一部および音声信号の少なくとも一部を示す信号を用いて生理学的な動きの信号を導出する命令を含み得る。プロセッサにより実行可能な命令は、導出された生理学的な動きの信号の少なくとも一部の評価に基づいた出力を生成する命令を含み得る。
いくつかのバージョンにおいて、生成された音声信号のうち少なくとも一部(例えば、感知用途に用いられる一部)は、実質的に非可聴音域内にあり得る。生成された音声信号の少なくとも一部は、低周波超音波音響信号であり得る。音声信号の一部を示す信号は、内部生成したオシレータ信号またはダイレクトパス測定信号で含み得る。生理学的な動きの信号を導出する命令は、生理学的な動きの信号を(a)生成された音声信号の少なくとも一部および感知された反射音信号の少なくとも一部と共にまたは(b)感知された反射音信号の一部および生成された音声信号の少なくとも一部と関連付けられ得る関連信号を用いて導出するように構成され得る。任意選択的に、関連信号は、内部生成したオシレータ信号またはダイレクトパス測定信号であり得る。生理学的な動きの信号を導出する命令は、オシレータ信号を感知された反射音信号の一部で乗算するように、構成され得る。導出された生理学的な動きの信号は、呼吸動き、全身動きまたは心臓動きのうち1つ以上あるいはこのような動きのうちいずれか1つ以上の検出を含み得る。媒体は、対話型オーディオデバイスへ接続されたマイクロフォンを介して感知された可聴の言語(verbal)通信の評価を行うようにとの旨のプロセッサにより実行可能な命令をさらに含み得る。出力を生成する命令は、感知された可聴な言語通信に応答して出力を生成させるように構成され得る。生理学的な動きの信号の導出のために前記プロセッサにより実行可能な命令は、感知された反射音信号の一部の復調を音声信号の少なくとも一部を用いて行うことを含む。復調は、音声信号の一部と、感知された反射音信号の一部とを乗算することを含み得る。
音声信号の生成を制御するプロセッサにより実行可能な命令は、デュアルトーン周波数変調の連続波信号を生成し得る。デュアルトーン周波数変調の連続波信号は、反復波形において第2の鋸歯状(sawtooth)周波数変化と重複された第1の鋸歯状周波数変化を含み得る。この媒体は、超広帯域(UWB)音声信号を可聴のホワイトノイズとして生成するプロセッサにより実行可能な命令を含み得る。プロセッサにより読取可能な媒体は、UWB音声信号を用いてユーザの動きを検出する命令を含み得る。媒体は、低周波超音波エコーの距離測定を較正するためにセットアッププロセスにおいてスピーカからプロービング音響シーケンスを生成させるプロセッサにより実行可能な命令をさらに含み得る。媒体は、マイクロフォンと対話型オーディオデバイスの別のマイクロフォンとの間の距離の推定のためにセットアッププロセスにおいてスピーカを含む1つ以上のスピーカから時間同期された較正(calibration)音響信号を生成させるプロセッサにより実行可能な命令を含み得る。媒体は、検出される領域をさらに局所化するためにビーム形成プロセスを作動させるプロセッサにより実行可能な命令を含み得る。導出された生理学的な動きの信号の評価に基づいて生成された出力は、モニターされたユーザ睡眠情報を含み得る。
いくつかのバージョンにおいて、導出された生理学的な動きの信号の部分の評価は、1つ以上の生理学的パラメータを検出することを含み得る。1つ以上の生理学的パラメータは、呼吸数(breathing rate)、呼吸の相対的振幅、心臓の振幅、相対的な心臓の振幅、心拍数および心拍数の変動性のうちいずれか1つ以上を含み得る。モニターされたユーザ睡眠情報は、睡眠スコア、睡眠ステージおよび睡眠ステージにおける時間のうちいずれかを含み得る。生成された出力は、対話型のクエリおよび応答の提示(presenation)を含み得る。生成された対話型のクエリおよび応答の提示は、スピーカを介して実行され得る。生成された対話型のクエリおよび応答の提示は、モニターされたユーザ睡眠情報の向上のためのアドバイスを含み得る。導出された生理学的な動きの信号の部分の評価に基づいて生成された出力は、ネットワーク上のサーバへのアクセスおよび/またはネットワークリソースの検索の実行にさらに基づき得る。検索は、過去のユーザデータまたは記録されたユーザデータ(historic user data)に基づき得る。導出された生理学的な動きの信号の少なくとも一部の評価に基づいて生成された出力は、自動化された機器またはシステムの制御のための制御信号を含み得る。媒体は、制御信号を自動化された機器またはシステムへネットワークを介して送信するプロセッサ制御命令をさらに含み得る。ネットワークは、インターネットであり得る。
任意選択的に、媒体は、対話型オーディオデバイスの設定の変更を導出された生理学的な動きの信号の少なくとも一部の評価に基づいて行うための制御信号を生成させるプロセッサ制御命令をさらに含み得る。対話型オーディオデバイスの設定の変更のための制御信号は、対話型オーディオデバイスからのユーザ距離、ユーザの状態またはユーザの位置の検出に基づいた音量変更を含み得る。プロセッサにより実行可能な命令は、複数のユーザの睡眠特性のモニターのために異なる音響感知範囲の動き特性を評価するように、構成され得る。音信号の生成を制御する命令は、異なるユーザを異なる周波数で感知するための異なる感知周波数を持つ同時感知信号を生成するように制御し得る。音信号の生成を制御する命令は、異なるユーザを異なる時間において感知するためのインタリーブ型音響感知信号の生成を制御し得る。媒体は、導出された生理学的な動きの信号の少なくとも一部に基づいてユーザの存在または不在を検出するプロセッサにより実行可能な命令をさらに含み得る。
いくつかのバージョンにおいて、媒体は、導出された生理学的な動きの信号の少なくとも一部に基づいてユーザのバイオメトリック認識を行う旨のプロセッサにより実行可能な命令をさらに含み得る。媒体は、ネットワークを介した通信の生成を(a)導出された生理学的な動きの信号の少なくとも一部の分析から決定されたバイオメトリック評価および/または(b)導出された生理学的な動きの信号の少なくとも一部の分析から決定された存在検出に基づいて生成させるプロセッサにより実行可能な命令をさらに含み得る。媒体は、プロセッサにより実行可能な命令をさらに含み得る。これらの命令は、ユーザの動きの存在を音響的に検出すること、ユーザに可聴的に呼び掛けること、ユーザを可聴的に認証することおよびユーザに権限付与することまたはユーザについてのアラームメッセージを通信することを対話型オーディオデバイスに行わせるように構成される。ユーザを可聴的に認証するプロセッサにより実行可能な命令は、マイクロフォンによって感知されたユーザの言葉の音波と、事前記録された言葉の音波とを比較するように構成され得る。任意選択的に、プロセッサにより実行可能な命令は、動きに基づいたバイオメトリック感知を用いてユーザを認証するように構成され得る。
いくつかのバージョンにおいて、媒体は、導出された生理学的な動きの信号の少なくとも一部に基づいて動きジェスチャーを検出することを対話型オーディオデバイスに行わせる旨のプロセッサにより実行可能な命令を含み得る。媒体は、検出された動きジェスチャーに基づいて制御信号を生成させる旨、通知を送信する旨または(a)自動化された機器および/または(b)対話型オーディオデバイスの動作への変更を制御する旨のプロセッサにより実行可能な命令を含み得る。対話型オーディオデバイスの動作への変更を制御するための制御信号により、対話型オーディオデバイスの対話型音声アシスタント動作を開始させるためにマイクロフォン感知を起動させることが実行され得、これにより、起動していない対話型音声アシスタントプロセスが連動され得る。対話型音声アシスタント動作を開始させることは、マイクロフォン感知による言語キーワードの検出にさらに基づき得る。この媒体は、対話型オーディオデバイスに導出された生理学的な動きの信号の少なくとも一部に基づいてユーザの呼吸動きを検出させる旨およびユーザが自身の呼吸を調節するきっかけになるような出力キューを生成させる旨のプロセッサにより実行可能な命令を含み得る。
いくつかのバージョンにおいて、媒体は、別の処理デバイスによって制御される別の対話型オーディオデバイスからの通信を対話型オーディオデバイスのマイクロフォンによって感知された非可聴の音波を介して対話型オーディオデバイスに受信させる旨のプロセッサにより実行可能な命令を含み得る。対話型オーディオデバイスの近傍における音信号の生成を制御する命令により、音信号の少なくとも一部を通信に基づいて生成するためのパラメータが調節され得る。調節されたパラメータにより、対話型オーディオデバイスと別の対話型オーディオデバイスとの間の干渉に低減される。導出された生理学的な動きの信号の少なくとも一部の評価は、睡眠開始または覚醒開始の検出をさらに含み得る。評価に基づいた出力は、サービス制御信号を含み得る。サービス制御信号は、照明制御、機器制御、音量調節、サーモスタット制御および窓被覆材制御のうち1つ以上を含み得る。媒体は、フィードバックを収集するようユーザを促す旨およびこれに応答して導出された生理学的な動きの信号の一部およびフィードバックのうち少なくとも1つに基づいてアドバイスを生成させるプロセッサにより実行可能な命令をさらに含み得る。媒体は、環境データを決定するプロセッサにより実行可能な命令を含み得る。アドバイスは、決定された環境データにさらに基づき得る。媒体は、環境データを決定するプロセッサにより実行可能な命令と、決定された環境データおよび導出された生理学的な動きの信号の少なくとも一部に基づいて環境制御システムのために制御信号を生成させるプロセッサにより実行可能な命令とを含み得る。媒体は、睡眠向上サービスを提供するプロセッサにより実行可能な命令を含み得る。睡眠向上サービスは、以下のうちいずれかを含み得る。すなわち、(a)検出された睡眠状態および/または収集されたユーザフィードバックに応答してアドバイスを生成させること、および(b)睡眠環境状態の設定および/または睡眠に関連するアドバイスメッセージのユーザへの提供のために環境用機器の制御のための制御信号を生成することである。
いくつかのバージョンにおいて、媒体は、導出された生理学的な動きの信号の少なくとも一部に基づいてジェスチャーを検出する旨および対話型オーディオデバイスの対話型音声アシスタント動作の開始のためにマイクロフォン感知を開始させる旨のプロセッサにより実行可能な命令を含み得る。媒体は、導出された生理学的な動きの信号の少なくとも一部に基づいて昼寝セッションを開始およびモニターするプロセッサにより実行可能な命令を含み得る。媒体は、ユーザの動きを近傍を通じて追跡するために生成された音信号のうち少なくとも一部のパラメータを変動させることにより検出範囲を変動させるプロセッサにより実行可能な命令を含み得る。媒体は、導出された生理学的な動きの信号の少なくとも一部を用いて権限付与されていない動きを検出する旨のプロセッサにより実行可能な命令と、ユーザまたは第三者への通知のためにアラームまたは通信を生成させる旨のプロセッサにより実行可能な命令とを含み得る。この通信により、スマートフォンまたはスマートウォッチ上にアラームが提供され得る。
本技術のいくつかのバージョンは、サーバを含み得る。サーバは、本明細書中に記載のような任意のプロセッサにより読取可能な媒体へのアクセスを有し得る。サーバは、プロセッサにより読取可能な媒体のプロセッサにより実行可能な命令をネットワークを介して対話型オーディオデバイスへダウンロードするリクエストを受信するように、構成され得る。
本技術のいくつかのバージョンは、対話型オーディオデバイスを含み得る。対話型オーディオデバイスは、1つ以上のプロセッサを含み得る。対話型オーディオデバイスは、1つ以上のプロセッサへ接続されたスピーカを含み得る。対話型オーディオデバイスは、1つ以上のプロセッサへ接続されたマイクロフォンを含み得る。対話型オーディオデバイスは、本明細書中に記載の任意のプロセッサにより読取可能な媒体を含み得、かつ/または、1つ以上のプロセッサは、本明細書中に記載のサーバ(単数または複数)のいずれかによりプロセッサにより実行可能な命令へアクセスするように構成され得る。任意選択的に、対話型オーディオデバイスは、ポータブルおよび/またはハンドヘルドデバイスであり得る。対話型オーディオデバイスは、携帯電話、スマートウォッチ、タブレットコンピュータまたはスマートスピーカを含み得る。
本技術のいくつかのバージョンは、本明細書中に記載のプロセッサにより読取可能な媒体(単数または複数)のうちいずれかへのアクセスを有するサーバの方法を含み得る。本方法は、プロセッサにより読取可能な媒体のプロセッサにより実行可能な命令をネットワークを介して対話型オーディオデバイスへダウンロードするリクエストをサーバにおいて受信することを含み得る。本方法は、リクエストに応答してプロセッサにより実行可能な命令を対話型オーディオデバイスへ送信することを含み得る。
本技術のいくつかのバージョンは、対話型オーディオデバイスのプロセッサの方法を含み得る。本方法は、本明細書中に記載のプロセッサにより読取可能な任意の媒体へ、プロセッサを用いてアクセスすることを含み得る。本方法は、プロセッサにより読取可能な媒体のプロセッサにより実行可能な命令をプロセッサにおいて実行することを含み得る。
本技術のいくつかのバージョンは、ユーザの生理学的な動きの検出のための対話型オーディオデバイスの方法を含み得る。方法は、対話型オーディオデバイスへ接続されたスピーカを介して対話型オーディオデバイスの近傍の音声信号の生成することを含み得る。方法は、対話型オーディオデバイスへ接続されたマイクロフォンを介して近傍からの反射された音声信号の感知を制御する命令を含み得る。本方法は、反射音信号の少なくとも一部および音声信号の少なくとも一部を示す信号を用いた生理学的な動きの信号をプロセッサ内において導出することを含み得る。方法は、導出された生理学的な動きの信号の少なくとも一部の評価に基づいた出力をプロセッサから生成することを含み得る。
いくつかのバージョンにおいて、生成された音声信号のうち少なくとも一部(例えば、感知用途に用いられる一部)は、実質的に非可聴音のレンジ内にあり得る。生成された音声信号の一部は、低周波超音波音響信号であり得る。音声信号の一部を示す信号は、内部生成したオシレータ信号またはダイレクトパス測定信号で含み得る。方法は、(a)生成された音声信号の少なくとも一部および感知された反射音信号の一部を用いてまたは(b)感知された反射音信号の一部および生成された音声信号の少なくとも一部と関連付けられ得る関連信号を用いて生理学的な動きの信号の導出することを含み得る。任意選択的に、関連信号は、内部生成したオシレータ信号またはダイレクトパス測定信号であり得る。方法は、オシレータ信号を感知された反射音信号の一部で乗算することにより生理学的な動きの信号の導出することを含み得る。本方法は、感知された可聴の言語通信の評価を対話型オーディオデバイスへ接続されたマイクロフォンを介してプロセッサにおいて行うことを含み得る。出力を生成させることは、感知された可聴の言語通信に応答して行われ得る。方法は、感知された反射音信号の一部を音信号の少なくとも一部により復調することにより生理学的な動きの信号を導出することを含み得る。復調は、音声信号の一部を示す信号と、感知された反射音信号の一部とを乗算することを含み得る。音声信号の生成は、デュアルトーン周波数変調連続波信号を生成し得る。デュアルトーン周波数変調連続波信号は、反復波形において第2の鋸歯状周波数変化と重複された第1の鋸歯状周波数変化を含み得る。本方法は、超広帯域(UWB)音声信号を可聴のホワイトノイズとして生成することを含み得、ユーザの動きがこのUWB音声信号を用いて検出され得る。本方法は、セットアッププロセスにおいてプロービング音響シーケンスをスピーカから生成させて低周波超音波エコーの距離測定を較正することを含み得る。
いくつかのバージョンにおいて、方法は、セットアッププロセスにおいて時間同期された較正音響信号をスピーカを含む1つ以上のスピーカから生成させて、マイクロフォンと対話型オーディオデバイスの別のマイクロフォンとの間の距離を推定することを含み得る。本方法は、ビーム形成プロセスを作動させて、検出された領域をさらに局所化させることを含み得る。任意選択的に、導出された生理学的な動きの信号の少なくとも一部の評価に基づいて生成された出力は、モニターされたユーザ睡眠情報を含み得る。導出された生理学的な動きの信号の少なくとも一部の評価は、1つ以上の生理学的パラメータを検出することを含み得る。1つ以上の生理学的パラメータは、呼吸数、呼吸の相対的振幅、心拍数、心臓振幅、相対的心臓振幅および心拍数変動性のうちいずれか1つ以上を含み得る。モニターされたユーザ睡眠情報は、睡眠スコア、睡眠ステージおよび睡眠ステージにおける時間のうちいずれかを含み得る。生成された出力は、対話型のクエリ応答提示を含み得る。生成された対話型のクエリ応答提示は、スピーカを介して実行され得る。生成された対話型のクエリおよび応答提示は、モニターされたユーザ睡眠情報の向上のためのアドバイスを含み得る。
いくつかのバージョンにおいて、導出された生理学的な動きの信号の少なくとも一部の評価に基づいて生成された出力は、ネットワーク上のサーバへのアクセスおよび/またはネットワークリソースの検索の実行にさらに基づき得る。検索は、記録されたユーザデータに基づき得る。導出された生理学的な動きの信号の評価の少なくとも一部に基づいて生成された出力は、自動化された機器またはシステムの制御のための制御信号を含み得る。方法は、ネットワークを介して制御信号を自動化された機器またはシステムへ送信することをさらに含み得る。ネットワークは、インターネットであり得る。本方法は、対話型オーディオデバイスの設定の変更を導出された生理学的な動きの信号の少なくとも一部の評価に基づいて行うための制御信号をプロセッサ内において生成させることをさらに含み得る。対話型オーディオデバイスの設定の変更のための制御信号は、対話型オーディオデバイスからのユーザ距離、ユーザの状態またはユーザの位置の検出に基づいた音量変更を含み得る。本方法は、異なる音響感知範囲の動き特性の評価をプロセッサ内において行って複数のユーザの睡眠特性をモニターすることをさらに含み得る。
本方法は、異なるユーザを異なる周波数で感知するための異なる感知周波数において同時音響感知信号の生成を制御することをさらに含み得る。本方法は、異なるユーザを異なる時間において感知するためのインタリーブ型音響感知信号の生成を制御することを含み得る。本方法は、導出された生理学的な動きの信号の少なくとも一部に基づいてユーザの存在または不在を検出することを含み得る。本方法は、導出された生理学的な動きの信号の少なくとも一部に基づいてユーザのバイオメトリック認識をプロセッサにより行うことを含み得る。本方法は、(a)導出された生理学的な動きの信号の少なくとも一部の分析から決定されたバイオメトリック評価および/または(b)導出された生理学的な動きの信号の少なくとも一部の分析から決定された存在検出に基づいてネットワークを介した通信をプロセッサにより生成させることを含み得る。本方法は、ユーザの動きの存在を音響的に検出すること、ユーザに可聴的に呼び掛けること、ユーザを可聴的に認証すること、およびユーザに権限付与することまたはユーザについてのアラームメッセージを通信することを対話型オーディオデバイスを用いて行うことを含み得る。任意選択的に、ユーザを可聴的に認証することは、マイクロフォンによって感知されたユーザの言葉の音波と、事前記録された言葉の音波とを比較することを含み得る。本方法は、動きに基づいたバイオメトリック感知によりユーザを認証することを含み得る。
いくつかのバージョンにおいて、方法は、導出された生理学的な動きの信号の少なくとも一部に基づいて動きジェスチャーを対話型オーディオデバイスにより検出することを含み得る。本方法は、通知を送信することまたは(a)自動化された機器および/または(b)対話型オーディオデバイスの動作への変更を制御することのための制御信号を検出された動きジェスチャーに基づいて対話型オーディオデバイスのプロセッサ内において生成させることを含み得る。対話型オーディオデバイスの動作への変更を制御するための制御信号は、対話型オーディオデバイスの対話型音声アシスタント動作を開始させるためにマイクロフォン感知を起動させることを含み得、これにより、起動していない対話型音声アシスタントプロセスが連動され得る。本方法は、マイクロフォン感知による言語キーワードの検出に基づいて対話型音声アシスタント動作を開始させることを含み得る。本方法は、導出された生理学的な動きの信号の少なくとも一部に基づいてユーザの呼吸動きを検出することおよびユーザの呼吸の調節のきっかけになるような出力キューを生成させることを対話型オーディオデバイスにより行うことを含み得る。本方法は、別の処理デバイスによって制御される別の対話型オーディオデバイスからの通信を対話型オーディオデバイスのマイクロフォンによって感知された非可聴の音波を介して対話型オーディオデバイスにより受信することを含み得る。本方法は、音信号の少なくとも一部を対話型オーディオデバイスの近傍において通信に基づいて生成するためのパラメータを調節することを含み得る。調節のためのパラメータにより、対話型オーディオデバイスとその他の対話型オーディオデバイスとの間の干渉が低減され得る。導出された生理学的な動きの信号の少なくとも一部の評価は、睡眠開始または覚醒開始を検出することをさらに含み得る。評価に基づいた出力は、サービス制御信号を含み得る。サービス制御信号は、照明制御、機器制御、音量調節、サーモスタット制御および窓被覆材制御のうち1つ以上を含み得る。
本方法は、フィードバックを収集するようユーザを促すことと、応答して導出された生理学的な動きの信号およびフィードバックのうち少なくとも1つに基づいてアドバイスを生成させることとを含み得る。本方法は、環境データを決定することを含み得る。アドバイスは、決定された環境データにさらに基づき得る。本方法は、環境データを決定することと、決定された環境データおよび導出された生理学的な動きの信号の少なくとも一部に基づいて環境制御システムのための制御信号を生成させることとを含み得る。本方法は、睡眠向上サービスの提供を制御することをさらに含み得る。睡眠向上サービスは、以下のうちいずれかを含み得る。すなわち、(a)検出された睡眠状態および/または収集されたユーザフィードバックに応答してアドバイスを生成させること、および(b)睡眠環境状態の設定および/または睡眠に関連するアドバイスメッセージのユーザへの提供のために環境用機器の制御のための制御信号を生成することである。本方法は、導出された生理学的な動きの信号に基づいてジェスチャーを検出することと、対話型オーディオデバイスの対話型音声アシスタント動作の開始のためにマイクロフォン感知を開始させることとを含み得る。本方法は、導出された生理学的な動きの信号の少なくとも一部に基づいて昼寝セッションを開始およびモニターすることを含み得る。本方法は、ユーザの動きを近傍を通じて追跡するために生成された音信号のうち少なくとも一部のパラメータを変動させることにより検出範囲を変動させることを含み得る。本方法は、権限付与されていない動きの検出を導出された生理学的な動きの信号の少なくとも一部を用いて行うことと、第三者ユーザまたは第三者への通知のためにアラームまたは通信を生成させることとを含み得る。通信により、スマートフォンまたはスマートウォッチ上のアラームが提供される。
本明細書中に記載される方法、システム、デバイスおよび装置により、プロセッサにおける機能(例えば、汎用または特定目的用コンピュータ、携帯用コンピュータ処理装置(例えば、携帯電話、スマートウォッチ、タブレットコンピュータ、スマートスピーカ、スマートテレビなど)、呼吸モニタおよび/またはマイクロフォンおよびスピーカを利用するその他の処理装置のプロセッサの機能)の向上が可能になり得る。さらに、記載の方法、システム、デバイスおよび装置により、自動化されたスマートオーディオデバイスの技術分野における向上が可能になり得る。
もちろん、上記態様の一部は、本技術の下位態様を形成し得る。また、下位態様および/または態様のうち多様な1つを多様に組み合わせることができ、本技術のさらなる態様または下位態様も構成し得る。
本技術の他の特徴は、以下の詳細な説明、要約、図面および特許請求の範囲中に含まれる情報に鑑みれば明らかになる。
4 図面の簡単な説明
本技術を、添付図面中に非限定的に一例として例示する。図面中、類似の参照符号は、以下の類似の要素を含む。
例示的な音声により有効とされるオーディオデバイスを示す(例えば、本明細書中に記載の信号生成および処理技術を用いた低周波超音波生体動き感知)。 デバイスの近傍からオーディオ情報を受信する例示的な処理デバイスと、デバイスの例示的プロセスの模式図とを示す。 本技術のいくつかの形態に従って構成され得るような処理デバイス(例えば、スマートスピーカデバイス)の模式図である。 例えば周波数変調連続波感知(FMCW)のための単一トーンチャープの周波数特性を示す。 例えば周波数変調連続波感知(FMCW)のためのデュアルトーンチャープの周波数特性を示す。 デュアルトーンFMCWのための例示的な復調を示す。この復調は、本技術の感知システムのために具現され得る。 音声により有効とされるオーディオデバイスの例示的な動作を示す(例えば、本明細書中に記載の信号生成および処理技術を用いた低周波超音波生体動き感知)。 例えば、本明細書中に記載の処理のための例示的なオーディオ処理モジュールまたはブロックを示す。 音声導出された動き特性の処理によって生成された例示的出力(例えば、睡眠ステージデータ)を示す。 例えばFMCWシステムのための三角単一トーンの多様な信号特性を示す。 例えばFMCWシステムのための三角単一トーンの多様な信号特性を示す。 例えばFMCWシステムのための三角単一トーンの多様な信号特性を示す。 例えばFMCWシステムのための三角デュアルトーンの多様な信号特性を示す。 例えばFMCWシステムのための三角デュアルトーンの多様な信号特性を示す。 例えばFMCWシステムのための三角デュアルトーンの多様な信号特性を示す。
5 本技術の実施例の詳細な説明
本技術についてさらに詳細に説明する前に、本技術は、本明細書中に記載される異なり得る特定の実施例に限定されるのではないことが理解されるべきである。本開示中に用いられる用語は、本明細書中に記載される特定の実施例を説明する目的のためのものであり、限定的なものではないことも理解されるべきである。
以下の記載は、共通の特性または特徴を共有し得る本技術の多様な形態に関連して提供される。任意の一形態の1つ以上の特徴は、別の形態または他の形態の1つ以上の特徴と組み合わせることが可能であることが理解されるべきである。加えて、これらの形態のうちのいずれかにおける任意の単一の特徴または特徴の組み合わせは、さらなる例示的な形態を構成し得る。
5.1 オーディオ機器によるスクリーニング、モニターおよび検出
本技術は、例えば対象が睡眠中のときの対象の動き(例えば、全身動作、呼吸の動きおよび/または心臓に関連する胸部動き)を検出するためのオーディオシステム、方法および装置に関する。より詳細には、対話型オーディオデバイス(例えば、スマートスピーカ)と連動する処理アプリケーション。いくつかのバージョンにおいて、オーディオデバイスは、スマートフォン、タブレット、モバイルデバイス、携帯電話、スマートテレビジョン、ラップトップコンピュータなどであり得、これは、デバイスセンサ(例えば、スピーカおよびマイクロフォン)を用いてこのような動きを検出する。
以下、本技術の具現に適した例示的なシステムの特に最小限的で目立たないバージョンについて、図1〜図3を参照して説明する。対話型オーディオデバイスは、1つ以上のプロセッサ(例えば、マイクロコントローラ)を有する処理デバイス100として具現され得る。これらのプロセッサは、対象110の動きの検出のためのアプリケーション200と共に構成されたスマートスピーカであり得る。処理デバイス100は、対象110の近くのベッドサイドテーブル上に配置してもよいし、あるいは室内の他の場所に配置してもよい。あるいは、処理デバイス100は、例えばスマートフォン、タブレットコンピュータ、ラップトップコンピュータ、スマートテレビジョンまたは他の電子デバイスであってもよい。処理デバイス100のプロセッサ(単数または複数)は、特に、アプリケーション200の機能を実行するように構成され得る(例えば、概してオープンのまたは無制限の媒体(例えばデバイスの近傍の室内の媒体)としての空気を通じて典型的にオーディオ信号を生成および送信させること)。本処理デバイスは、例えば変換器(例えば、マイクロフォン)による感知による送信信号のリフレクションを受信し得る。処理デバイスは、感知された信号を処理して(例えば、送信された信号との復調によって)、身体動作(例えば、全身動作、心臓動作および呼吸動作)を決定し得る。処理デバイス100は、典型的には、他のコンポーネントの中でも、スピーカおよびマイクロフォンを含むであろう。スピーカは、反射された信号を受信するために、生成されたオーディオ信号およびマイクロフォンを送信するために実装され得る。感知および処理のために生成されたオーディオ信号は、国際特許出願PCT/EP2017/073613(出願日:2017年9月19日)に記載の技術のいずれかを用いて具現され得る。本明細書中、同文献全体を引用することにより、本明細書の一部をなすものとする。図1〜図3に示すバージョンにおいては、一体化された感知装置を備えた多様な処理デバイスを示す(例えば、ハウジングに感知装置全てまたはコンポーネント(例えば、マイクロフォンおよびスピーカ)が含まれる場合)、いくつかのバージョンにおいて、感知装置は、別個または個々に収容されたコンポーネントであり得、有線および/または無線接続(単数または複数)を介して接続または機能する。
本明細書中、感知装置について主に音響感知(例えば、低周波超音波感知)に関連して記載しているが、これらの方法およびデバイスは、他の感知技術を用いて具現され得ることが理解される。例えば、代替例として、処理デバイスは、感知装置として機能するようにRFセンサの無線周波(RF)トランシーバと共に実装され得、これにより、生成された信号および反射信号はRF信号となる。このようなRF感知デバイスは、処理デバイスと一体化され得るかまたは処理デバイスへ接続され得、以下に記載の技術およびセンサコンポーネントのいずれかを用いて具現され得る。すなわち、国際特許出願第PCT/US2013/051250(タイトル:「Range Gated Radio Frequency Physiology Sensor」、出願日:2013年7月19日)、国際特許出願第PCT/EP2017/070773(タイトル:「Digital Radio Frequency Motion Detection Sensor」、出願日:2017年8月16日)、および国際特許出願第PCT/EP2016/069413(タイトル:「Digital Range Gated Radio Frequency Sensor」、出願日:2017年8月16日)である。同様に、別のバージョンにおいて、感知信号送信およびそのリフレクションの感知のためのこのような感知装置は、赤外線放射生成器ならびに赤外線放射線検出器(例えば、IRエミッタおよびIR検出器)で具現され得る。動き検出および特性化のためのこのような信号処理も、同様に具現され得る。
これらの異なる感知技術のうち2つ以上の組み合わせを用いれば、各技術の利点を組み合わせることにより、感知結果の向上が可能になる。例えば、記載の音響感知技術は、人の日常生活のノイズの多い環境において、充分使用に耐えることができる。しかし、聴覚が敏感なユーザの場合、本技術を夜間に使用している際はノイズが大幅に低くなり感知信号が聞こえやすくなるため、問題になることがある。同様に、IR感知を用いれば夜間において良好なS/N信号が得られるが、日中の光(および熱)により使用が問題になり得る。この場合、音響感知の日中の使用による補完により、IR感知の夜間利用が可能になり得る。
任意選択的に、処理デバイスの音声ベースの感知方法は、他の種類のデバイス(例えば、ベッドサイドデバイス(例えば、呼吸治療デバイス(例えば、持続的気道陽圧(例えば、「CPAP」)デバイスまたは高流量治療デバイス))(治療デバイスが処理デバイス100として機能するか、または別途の処理デバイス100と連携して作動する、図5に図示の呼吸治療デバイス5000))中においてまたはそのようなデバイスにより、具現され得る。このようなデバイスの例を挙げると、圧力デバイスまたは送風機(例えば、ボリュート中のモータおよびインペラ)、圧力デバイスまたは送風機の1つ以上のセンサおよび中央制御装置について、国際特許公開WO/2015/061848(出願番号PCT/AU2014/050315)(出願日:2014年10月28日)および国際特許公開WO/2016/145483(出願番号PCT/AU2016/050117)(出願日:2016年3月14日)に記載のデバイスが検討され得る。本明細書中、同文献全体を引用することにより、本明細書の一部をなすものとする。このような呼吸治療デバイス5000は、任意選択の加湿器4000を含み得、患者インターフェース3000への提供を患者回路4170(例えば、導管)を介して提供し得る。いくつかの場合において、呼吸治療デバイス5000は、(本出願全体に記載のプロセスの外部音声関連音響条件と対照的な)患者回路4170内および患者回路4170を通じた内部音声関連条件を感知する個々のセンサ(例えば、マイクロフォン)を有し得る。
処理デバイス100は、対象の呼吸および/または他の動き関連特性のモニターの効率的かつ有効な方法が得られるように、適合され得る。睡眠時において使用される場合、処理デバイス100およびその関連方法が、例えば、ユーザの呼吸の検出と、睡眠段階、睡眠状態、状態、呼吸および/または他の呼吸特性間の移行の特定とのために用いられ得る。覚醒時に用いられる場合、処理デバイス100およびその関連方法は、人または対象呼吸(吸気、呼気、休止、および導出された速度または数)の存在有無などの動きおよび/または心弾動図(ballistocardiogram)波形およびその後の導出された心拍数の検出に用いられ得る。このような動きまたは動き特性は、本明細書中に記載のような多様な機能をより詳細に制御するために用いられ得る。
処理デバイス100は、集積チップ、メモリおよび/または他の制御命令、データまたは情報記憶媒体を含み得る。例えば、本明細書中に記載のアセスメント/信号処理方法を包含するプログラムされた命令は、特定用途向け一体型チップ(ASIC)を形成するデバイスまたは装置のメモリ中の集積チップ上にコーディングされ得る。このような命令は、追加的にまたは代替的に適切なデータ記憶媒体を用いてソフトウェアまたはファームウェアとしてロードしてもよい。任意選択的に、このような処理命令は、例えばネットワークを介したサーバ(例えば、インターネット)から処理デバイスへダウンロードされ得、これにより、これらの命令が実行されると、処理デバイスはスクリーニングデバイスまたはモニターデバイスとして機能する。
よって、処理デバイス100は、図3に示すような複数のコンポーネントを含み得る。処理デバイス100を挙げると、他のコンポーネントの中でも、マイクロフォン(単数または複数)または音声センサ302、プロセッサ(単数または複数)304、任意選択のディスプレイインターフェース306任意選択のユーザ制御/入力インターフェース308、スピーカ(単数または複数)310、およびメモリ/データ格納部312(例えば、本明細書中に記載の処理方法/モジュールの処理命令を用いたもの)がある。いくつかの場合において、マイクロフォンおよび/またはスピーカは、デバイスのプロセッサ(単数または複数)とのユーザインターフェースとして機能し得、例えば、マイクロフォンによって感知されたオーディオおよび/または言語コマンドに対して処理デバイスがスピーカを介して応答した際、処理デバイスの動作を制御し得る。この点について、処理デバイス100は、例えば自然言語処理を用いた音声アシスタントとして機能し得る。
処理デバイス100のコンポーネントの1つ以上は、処理デバイス100と一体化させてもよいし、あるいは動作可能に接続させてもよい。例えば、マイクロフォン(単数または複数)または音センサ302は、処理デバイス100と一体化させてもよいし、あるいは例えば有線リンクまたは無線リンク(例えば、ブルートゥース、Wi−Fiなど)を通じて処理デバイス100と結合させてもよい。そのため、処理デバイス100は、データ通信インターフェース314を含み得る。
メモリ/データ記憶装置312は、プロセッサ304の制御のための複数のプロセッサ制御命令を含み得る。例えば、メモリ/データ記憶装置312は、本明細書中に記載の処理方法/モジュール処理命令によってアプリケーション200を行わせるためのプロセッサ制御命令を含み得る。
本技術の例は、1つ以上のアルゴリズムまたはプロセスを用いるように構成され得る。これらのアルゴリズムまたはプロセスは、処理デバイス100の使用時にユーザが睡眠中であるときに動き、呼吸および任意選択的に睡眠特性を検出するためにアプリケーション(単数または複数)200によって具現化され得る。例えば、アプリケーション200は、いくつかのサブプロセスまたはモジュールによって特徴付けられ得る。図2に示すように、アプリケーション200は、オーディオ信号生成および送信サブプロセス202と、動きおよび生物物理特性検出サブプロセス204と、例えば対象の不在/存在の検出、バイオメトリック同定、睡眠特性解析、呼吸または心臓関連の特性解析などのための動き特性解析サブプロセス206と、例えば情報提示または本明細書中により詳細に記載のような多様なデバイスの制御のための結果出力サブプロセス208とを含み得る。
例えば、処理206における任意選択的な睡眠ステージングが、例えば睡眠段階処理モジュール内において具現され得る。しかし、このような処理モジュール/ブロックのうち任意の1つ以上が、任意選択的に追加され得る(例えば、睡眠採点またはステージング、対象認識処理、動きモニターおよび/または予測処理、機器制御ロジック処理、または他の出力処理)。場合によっては、信号後処理の機能は、以下の特許または特許出願のうちいずれかに記載の装置、システムおよび方法の成分、デバイスおよび/または方法のいずれかを用いて行われ得る。本明細書中、以下の各文献の開示内容全体を引用することにより、本明細書の一部を成すものとする。すなわち、国際特許出願第PCT/US2007/070196(出願日:2007年6月1日、タイトル:「Apparatus, System, and Method for Monitoring Physiological Signs」)、国際特許出願第PCT/US2007/083155(出願日:2007年10月31日、タイトル:「System and Method for Monitoring Cardio−Respiratory Parameters」)、国際特許出願第PCT/US2009/058020(出願日:2009年9月23日、タイトル:「Contactless and Minimal−Contact Monitoring of Quality of Life Parameters for Assessment and Intervention」)、国際出願第PCT/US2010/023177(出願日:2010年2月4日、タイトル:「Apparatus, System, and Method for Chronic Disease Monitoring」)、国際特許出願第PCT/AU2013/000564(出願日:2013年3月30日、タイトル:「Method and Apparatus for Monitoring Cardio−Pulmonary Health」)、国際特許出願第PCT/AU2015/050273(出願日:2015年5月25日、タイトル:「Methods and Apparatus for Monitoring Chronic Disease」)、国際特許出願第PCT/AU2014/059311(出願日:2014年10月6日、タイトル:「Fatigue Monitoring and Management System」)、国際特許出願第PCT/EP2017/070773(出願日:2017年8月16日、タイトル:「Digital Radio Frequency Motion Detection Sensor」)、国際特許出願第PCT/AU2013/060652(出願日:2013年9月19日、タイトル:「System and Method for Determining Sleep Stage」)、国際特許出願第PCT/EP2016/058789(出願日:2016年4月20日、タイトル:「Detection and Identification of a Human from Characteristic Signals」)、国際特許出願第PCT/EP2016/080267(出願日:2016年12月8日、タイトル:「Periodic Limb Movement Recognition with Sensors」)、国際特許出願第PCT/EP2016/069496(出願日:2016年4月17日、タイトル:「Screener for Sleep Disordered Breathing」)、国際特許出願第PCT/EP2016/058806(出願日:2016年4月20日、タイトル:「Gesture Recognition with Sensors」)、国際特許出願第PCT/EP2016/069413(出願日:2016年8月16日、タイトル:「Digital Range Gated Radio Frequency Sensor」)、国際特許出願第PCT/EP2016/070169(出願日:2016年8月26日、タイトル:「Systems and Methods for Monitoring and Management of Chronic Disease」)、国際特許出願第PCT/US2014/045814(出願日:2014年7月8日、タイトル:「Methods and Systems for Sleep Management」)、米国特許出願第15/079,339(出願日:2016年3月24日、タイトル:「Detection of Periodic Breathing」)である。このように、いくつかの例において、検出された動きの処理(例えば、呼吸の動き)は、以下のうち任意の1つ以上を決定するための基準として機能し得る。すなわち、(a)睡眠を示す睡眠状態、(b)覚醒を示す睡眠状態、(c)深い睡眠を示す睡眠段階、(d)軽い睡眠を示す睡眠段階、および(e)REM睡眠を示す睡眠段階である。この点について、本開示の音声関連感知技術は、動き感知のための異なるメカニズム/プロセス(例えば、スピーカおよびマイクロフォンを用いたものおよび音声信号の処理)を提供するものの、これらの引用された参考文献のいくつかに記載のレーダーまたはRF感知技術と比較すると、呼吸信号(例えば、本明細書中に記載の音声感知/処理方法を用いて得られる呼吸数)の後、睡眠状態/段階情報の抽出のための処理呼吸または他の動き信号の原理が、これらの引用された参考文献の決定方法によって実行され得る。例えば、呼吸数および動きおよび活動カウントが動きに基づいて一旦RFまたはソナー(SONAR)によって決定された後は、睡眠段階は共通分析になる。さらなる例示として、感知波長は、RFパルスCWによる実施とソナー FMCWによる実施との間において異なり得る。そのため、例えば範囲(異なる感知距離)にわたって動きを検出することにより、速度が異なって決定され得る。FMCWの場合、動き検出は、複数の範囲において行われ得る。よって、1つ以上の移動標的の追跡を(2人であれあるいは実際には1人の異なる部分であれ、ソナーセンサに対する当該人物の角度に応じて)行うことができる。
典型的には、スピーカからのオーディオ信号は、本明細書中に記載の1つ以上のトーンを用いて、オーディオ信号などを感知するために生成されユーザへ送信され得る。トーンにより、1つ以上の特定の周波数における媒体(例えば、空気)の圧力変化が分かる。本記載の目的のため、生成されたトーン(またはオーディオ信号または音声信号)は、(例えば、スピーカによって)可聴圧力波が生成され得るため、「音声」、「音響」または「オーディオ」と呼ばれ得る。しかし、本明細書中、このような圧力改変例およびトーン(単数または複数)は、「音声」、「音響」または「オーディオ」という用語のうちいずれかによる特性化に関わらず、可聴または非可聴のものとして理解されるべきである。よって、生成されたオーディオ信号は可聴または非可聴であり得、人間母集団に対する可聴度の周波数閾値は、年齢によって変化する。ほとんどの人は音声(例えば、18kHzを超える範囲において)音声を識別することができないため、この信号は実質的に非可聴であり得る。典型的な「オーディオ周波数」の標準レンジは、約20Hz〜20,000Hz(20kHz)である。高周波数聴覚の閾値は、年齢と共に低下する傾向があり、中年の人の場合、周波数が15〜17kHzを超える音声は聞こえないことが多く、10代の人の場合、18kHzが聞こえることがある。会話における最重要の周波数は、ほぼ250〜6,000Hzである。典型的な消費者向けスマートフォンのスピーカおよびマイクロフォン信号応答は、多くの場合に19〜20kHzを超えたときにロールオフするように設計され、23kHz以上を超えたときにロールオフするように設計されるものもある(特に、48kHzを超えるサンプリングレート(例えば、96kHz)をサポートするデバイスの場合)。そのため、ほとんどの人間に対しては、17/18〜24kHzの範囲内の信号を用いつつ非可聴のままであることが可能である。18kHzは聞こえるが19kHzは聞こえないより若年者に対しては、19kHz〜例えば21kHzの帯域が用いられ得る。いくつかの家庭用ペットの場合、より高い周波数も聞こえることがある(例えば、犬の場合は60kHzまで、猫の場合は79kHzまで)点に留意されたい。本技術の感知オーディオ信号の適切な範囲は、低超音波周波数範囲内にあり得る(例えば、15〜24kHz、18〜24kHz、19〜24kHz、15〜20kHz、18〜20kHzまたは19〜20kHz)。
PCT/EP2017/073613に記載のような例えば低周波超音波感知信号を用いたオーディオ感知の配置構成および方法のうちいずれかは、本明細書中に記載の処理デバイスによって具現され得る。しかし、場合によっては、デュアルトーンFMCW(デュアルランプ技術とも呼ばれる)は、本明細書中に記載のように具現され得る。
例えば、1つの「トーン」を有する三角FMCW波形(すなわち、周波数がスイープアップおよびダウンされるもの)の生成は、処理デバイスがそのスピーカ(単数または複数)を用いて行うことができる。波形は、図4Aに示す周波数対時間特性を有する。アップスイープまたはダウンスイープのみの処理あるいは両方の処理を距離検出のために評価することができる。1つのトーンについて位相が連続する三角形状が大変望ましい理由として、位相不連続部に起因して生成する再生音声中の任意の可聴のアーチファクトが最小化または除去される点がある。これの別形である傾斜が有る場合、ある周波数における特定の振幅音声の再生からサンプル空間中の類似の振幅におけるずっと低い(またはずっと高い)周波数へジャンプするようスピーカ(単数または複数)が要求された際に、極めて不快な可聴のブンブン音の原因になり得る。すなわち、スピーカにおける機械的変化に起因してクリック音が生成し得、チャープ(チーチーいう音)の頻繁な反復により、ブンブン音(多数の近密に配置されたクリック音)がユーザに聞こえる。
あるいは、本技術のいくつかのバージョンにおいて、ランプ波形(例えば、アップスイープのみまたはダウンスイープのみからなるもの)を有する特殊なデュアル「トーン」と共に音響感知信号をFMCWとして具現することにより、1つのランプ(周波数のランプアップおよびダウンの終了からの周波数の急激な変化)から次のランプ(周波数ランプアップおよびダウン)を可聴のアーチファクト無しに行う。このようなデュアル「トーン」周波数変調波形の周波数特性を時間と比較した結果を図4Bに示す。これにより、システムにおけるデータ処理を究極に簡潔にすることができ、三角波形の各点における高い振幅転移の可能性も排除される。急激な転移が繰り返された場合、システムの低レベルDSP/CODEC/ファームウェア)の奇妙な挙動がトリガされる場合がある。
図4Aおよび図4Bは、FMCW単一トーン(図4A)具現と、デュアルトーン(図4B)実行との間の周波数領域の比較を示す。不可聴を保証するために、単一トーン(図4A)は、ダウンスイープ(生成周波数の経時的低下)を優先的に含み得る。ダウンスイープを省略してもよいが、その場合、可聴性が一定的に生成し得る。デュアルトーン(トーンペア)(図4B)を用いれば、時間領域の表現が非可聴となるような形状にされているため、このようなダウンスイープの必要性の回避を支援することができる。図4Bは、第1のトーン4001および任意選択の第2のトーン4002が重複している様子を示す。同図において、受信されたエコー(すなわち、リフレクション信号)は図示していない。よって、トーンにより、反復波形において第2の鋸歯状周波数変化と重複された第1の鋸歯状周波数変化が形成される。これらのトーンは、感知期間において反復されるように連続する。
よって、低周波超音波感知システムをFMCW型アプローチで具現する際、音響感知信号の生成が可能な異なる方法が存在する。その際、周波数領域の波形形状(例えば、三角(対称または非対称)、ランプ(傾斜)、正弦)、期間(「チャープ」(チーチーいう音)の持続期間)、および帯域幅(「チャープ」により網羅される周波数(例えば、19〜21kHz))の差が用いられ得る。FMCW構成において、2つ以上の同時トーンを用いることも可能である。
サンプル数の選択により、可能な出力復調サンプリングレート(例えば、サンプリングレート48kHzにおいて512サンプルの場合、93.75Hz(48,000/512)に等しく、4096サンプル持続期間の掃引時間は、11.72Hz(48,000/4096)に等しい)。三角波形が1500サンプルアップタイムおよび1500サンプルダウンタイムと共に用いられる場合、出力サンプリングレートは16Hz(48,000/3000)になる。この種のシステムの場合、信号を例えば基準テンプレートで乗算することにより、同期を行うことができる。
出力サンプリングレートの選択について、実験的試験により、以下のことが判明している。すなわち、大まかに8〜16Hzの領域が好ましい。なぜならば、このような領域により、1/fノイズ(空気の動き、強いフェーディングの可能性および/または室内モードに起因する低周波効果)が広範に回避され、より高い復調サンプリングレートにおいてみられる残響領域が回避され(すなわち、次の「チャープ」中の次の類似成分前に、感知波形「チャープ」の任意の1つの周波数におけるエネルギー減衰のための時間を確保した)。換言すると、ビン(bin)を広げ過ぎた場合、気流および温度の変化(例えば、ドアの開きおよび室内における熱の出入り)が有る場合、今見ている任意のブロックが呼吸のようにみえる不要なベース線(baseline)のドリフトを含み得ることを意味する。実際には、これは、空気の動きと共に(レンジビンにわたる)帯にわたって波がみられることを意味する。卓上型または台座型ファンあるいは空調または他のHVACシステムからのより局所的な効果と別個のものである。実際、ブロックが過度に幅広にされた場合、システムは、CWシステム「のようにみえる」ようになる。一方、システムが高すぎるリフレッシュレートにおいて作動した(すなわち、傾斜が短すぎる)場合、リバーブが生成し得る。
図4Aに示すように、三角FMCW波形が1つの「トーン」を有する(すなわち、周波数が上下する)場合、システムは、例えばアップスイープのみまたはダウンスイープのみを処理し得るか、または、実際は双方を距離検出のために処理してもよい。1つのトーンについて位相が連続する三角形状が大変望ましい理由として、位相不連続部に起因して生成する再生音声中の任意の可聴のアーチファクトが最小化または除去される点がある。これの別形である傾斜が有る場合、ある周波数における特定の振幅音声の再生からサンプル空間中の類似の振幅におけるずっと低い(またはずっと高い)周波数へジャンプするようスピーカ(単数または複数)が要求された際に、極めて不快な可聴のブンブン音の原因になり得る。すなわち、スピーカにおける機械的変化に起因してクリック音が生成し得、チャープの頻繁な反復により、ブンブン音(多数の近密に配置されたクリック音)がユーザに聞こえる。
そのため、本技術のいくつかのバージョンにおいて、ランプ波形(ramp waveform)(例えば、アップスイープのみまたはダウンスイープのみからなるもの)を有する特殊なデュアル「トーン」により音響感知信号をFMCWとして具現することにより、1つのランプ(周波数のランプアップおよびダウンの終了からの周波数の急激な変化)から次のランプ(周波数ランプアップおよびダウン)を可聴のアーチファクト無しに行う。このようなデュアル「トーン」周波数変調波形は、周波数特性を時間に相対して示し、少なくとも2つの変化する周波数ランプが1つの期間において重複し、これらの周波数ランプはそれぞれ、ランピング持続期間といったある期間における任意の瞬間において、相互に異なる周波数(単数または複数)を有し得る。このことを、1点鎖線対実線に関連して図4Bに図示する。これにより、システムにおけるデータ処理を究極に簡潔にすることができ、三角波形の各点における高い振幅転移の可能性も排除される。急激な転移が繰り返された場合、システムの低レベルDSP/CODEC/ファームウェア)の奇妙な挙動がトリガされる場合がある。
このようなデュアルトーン信号を具現する際の重要な考慮事項として、スピーカ/システムがシャープな遷移が起きずに済みかつゼロポイントを有するように、信号形状が作成(形成)されるべき点がある。これにより、信号を非可聴にするためのフィルタリングの必要性を低減させることができる。例えば、信号を非可聴の感知信号としつつ、ハイパスまたはバンドパスフィルタリングを回避することができる。波形中にゼロを存在させることにより、このような信号の(例えば復調のための)送信および受信の同期が単純化されるため、信号処理が容易になる。デュアルトーンの結果、1つよりも多くのトーンが用いられるため、フェーディングロバスト性の要素が得られる。また、フェーディングを用いられる周波数および位相または周波数と共に変化させることができる(例えば、デュアルトーンシステムにおけるFMCWトーン間に100Hzオフセットを用いることができる)。
図4AのFMCW単一トーンおよび図4BのFMCWデュアルトーンの性能は、図8および図9を参照して考察され得る。図8A、図8Bおよび図8Cは、図7AのFMCW単一トーンの例の信号特性を示す。図9A、図9Bおよび図9Cは、図7BのFMCWデュアルトーンの例の信号特性を示す。
図8Aは、送信された(Tx)信号8001および受信された(Rx)リフレクション8001−R(エコー)が音響感知システムにおいて動作する三角単一トーンFMCWとして動作する様子を示す。図8Bは、時間領域波形を示す。図8Cは、信号のスペクトル内容を示す。明らかなように、より低周波数(FMCW信号の帯域幅に関連するピーク領域の外部)においても、内容が存在する。そのため、このようなより低周波数が可聴の周波数範囲内に入り得るため、望ましくない性能特性に繋がる。
図9Aは、信号グラフ9002中のデュアルトーンランプFMCW信号(dual tone ramp FMCW signal)を示す。信号グラフ9002は双方のトーンを示し、信号グラフ9002−Rは、これら2つのトーン/マルチトーンの受信されたエコーを示す。図9Bは、デュアルトーンの余弦波類似の関数の形状を(ゼロ交差に繋がる)ゼロ点と共に示す。図9Cは、より低周波数におけるずっと小さなピークおよびより出力振幅を示す。図9Cのスロープ領域SRを図8Cのスロープ領域SRと比較した場合、より低い周波数における/より低い周波数に対するデュアルトーンランプFMCWの出力の急激の低下(dB)を示す。高周波数(実質的に非可聴であり、感知のために用いられる)からより低い周波数(可聴であり、典型的には感知には用いられない)周波数へのより急激なロールオフは、ユーザにとってそれほど邪魔にならないため、望ましい音響感知特性である。(FMCW信号の帯域幅に関連するピーク領域外の)より低い周波数における出力は、図8Cに示す単一トーンFMCW三角形態の場合よりも40dB低くすることができる。図9Cに示すように、図9Cの上側の平滑ピーク領域PRを図8Cの多エッジピーク領域PRと比較すると、デュアルトーンランプFMCW信号は、より良好な音響感知特性を有し得、スピーカに対する要求が少ない。
このような複数のトーンFMCWまたはデュアルトーンFMCWシステム(例えば、リナックスベースの単一ボードコンピュータ上において実行するもの)により、4m以上の感知範囲内の複数の人を特定することが可能な感知を得ることができる。例えば処理デバイスから1.5メートルにおいて心拍数を検出することができ、呼吸数(単数または複数)を約4メートル以上まで検出することもできる。例示的なシステムは、2つのトーンを18,000Hzおよび18,011.72Hzにおいて用いることができ、これらのトーンは、例えば19,172Hzおよび19183.72Hzそれぞれまでランプ(ramp;傾斜)し得る。
この1,172Hzのランプ(ramp)について、例えばサイズ4096ポイントのFFTを、ビン幅48,000Hz/4096=11.72でもって用いることが考えられ得る。音速が340m/sであるので、次の点に留意されたい。すなわち、340ms/s / 11.72 / 2(発出および戻り)=14.5m(100個のビン当たり)または14.5cm(各ビン当たり)。各「ビン」は、例えば、(ビン毎に1人までの人を検出することができる(しかし、実際には、人はこれよりも大きく離れている)。同期プロセスの一環として、例えば(信号を基準テンプレートによって乗算する)より計算コストの高い相関動作を回避するために、信号は二乗され得る。用いられるFFTサイズから独立して、最大サイズの分解能は、音速/(帯域幅*2)=340/(1172*2)=14.5cmである。しかし、感知された反射信号と、感知されたダイレクトパス信号との交差相関を含む同期プロセスを任意選択的に設けてもよい。同期プロセスは、基準テンプレートを感知された反射音信号の少なくとも一部で乗算することを任意選択的に含み得る。
このような複数のトーンFMCWまたはデュアルトーンFMCWシステム(例えば、リナックスベースの単一ボードコンピュータ上において実行するもの)により、4m以上の感知範囲内の複数の人を特定することが可能な感知を得ることができる。例えば処理デバイスから1.5メートルにおいて心拍数を検出することができ、呼吸数(単数または複数)を約4メートル以上までで検出することもできる。例示的なシステムは、2つのトーンを18,000Hzおよび18,011.72Hzにおいて用いることができ、これらのトーンは、例えば19,172Hzおよび19183.72Hzそれぞれまでランプ(傾斜)し得る。
この1,172Hzのランプについて、例えばサイズ4096ポイントのFFTをビン幅48,000Hz/4096=11.72と共に用いることが考えられ得る。音速が340m/sであるので、次の点に留意されたい。すなわち、340ms/s / 11.72 / 2(発出および戻り)=14.5m(100個のビン当たり)または14.5cm(各ビン当たり)。各「ビン」は、例えば、(ビン毎に)1人までの人を検出することができる(しかし、実際には、人はこれよりも大きく離れている)。同期プロセスの一環として、例えば(信号を基準テンプレートによって乗算する)より計算コストの高い相関動作を回避するために、信号は二乗され得る。用いられるFFTサイズから独立して、最大サイズの分解能は、音速/(帯域幅*2)=340/(1172*2)=14.5cmである。
図5は、信号を信号で乗算(2乗)することによるデュアルトーンFMCWランプの「自己混合」復調("self-mixing" demodulation)の一例を示す。任意選択的に、復調においては、受信されたエコー信号を生成された送信信号(例えば、オシレータからの信号を示す信号)で乗算して、スピーカまたは処理デバイス100の範囲内の距離または動きを反映する信号を生成することができる。この処理により、「中間」周波数(IF)信号とも呼ばれる「ビート周波数」信号が得られる。FMCWにより、例えばローカルオシレータによってまたは本明細書中により詳細に記載のように信号自身によって受信Rx信号が復調され、ローパスフィルタリングされるとき、そのままではベースバンドとみなされない異常な「中間」信号が生成され得る。IF信号を例えば高速フーリエ変換処理(FFT)の適用によって処理すると、この信号はベースバンド(BB)となり得る。
図5に示すように、復調は、受信(反射音信号)Rx信号のみに行われる。これが数学的に可能な理由として、Rx信号は、送信(Tx)信号を示す信号の大きなパーセンテージを内部に含む(例えば、生成された音声は、部分的にスピーカからマイクロフォンへのダイレクトパスを移動し得、反射音と共に感知され得る)点がある。デバイスは、受信信号Rxをそれ自体に乗算することができる(例えば2乗により(復調は乗算操作としてみなすことができるため))。その後、フィルタリングプロセス(例えば、ローパス)が行われ得る。
図5において自己混合(self-mixing)を図示しているが、動き信号を反射信号および感知信号(すなわち、Txまたは音声信号)を用いて導出するために、いくつかの異なるアプローチを実行することが可能である。1つのこのようなバージョンにおいて、ローカルオシレータLO(これは、音声信号も生成し得る)により、Tx信号のコピーを復調のために有効に生成することができる。実際に生成されたTx信号は、遅延または歪みに起因して、オシレータからの内部信号と若干異なり得る。その後、ローカルオシレータLO(Tx)*Rxからの信号により復調を行うことができ、その後、フィルタリング(例えば、ローパス)も行われ得る。
別のバージョンにおいて、2つのローカルオシレータを実装して、2つのLO信号を生成させることができる。例えば、LO信号の正弦および余弦コピーを具現して、受信信号の直角位相復調を得ることができる。典型的には、オシレータから信号(正弦または余弦)が1つだけ送信される。正確なTx信号は、遅延または歪みに起因して、ローカルオシレータLOからの信号と若干異なる。このバージョンにおいて、(a)RX*LO(Sin)および(b)RX*LO(Cos)において復調を行うことができ、その後、各場合においてフィルタリング(例えば、ローパス)を行って、I復調成分およびQ復調成分双方を生成することができる。
[感知。音響感知と、システムによってプレーバックされる他のオーディオ(音楽、発話、いびきなど)との混合(共存)]
本技術のいくつかのバージョンは、処理デバイス100のスピーカおよび/またはマイクロフォンを、本明細書中に記載の超音波感知に加えて他の目的のために用いているときに、実施され得る。さらなるプロセスは、このような同時的な機能提供が可能なように実施され得る。例えば、同時的なオーディオコンテンツ生成および超音波感知のために、送信ビットストリーム(音響感知信号)と、上記したようにスピーカによって再生されている他の任意のオーディオコンテンツ(可聴)とをデジタル的に混合することができる。このような可聴オーディオコンテンツおよび超音波処理の実行のために、いくつかのアプローチを用いることができる。1つのアプローチの場合、その他のオーディオコンテンツ(これは、例えば多数のチャンネルサラウンド音声システムにおけるようなモノチャンネル、ステレオチャンネルまたはより多数のチャンネルであり得る)に前処理を行って、感知波形と重複するスペクトル内容全てを除去することが必要になる。例えば、1つの音楽シークエンスにおいて、例えば18〜20kHzの感知信号と重複する18kHzを超える成分が含まれ得る。この場合、18kHz近辺の音楽成分に対してローパスフィルタリング除去を行うことができる。第2の選択肢として、重複感知(ダイレクトパスおよびエコー)時に当該音楽に対して適応的フィルタリングを行って、短期間における周波数成分を除去し、フィルタリングされていない音楽をそのままにしておく選択肢がある。このアプローチは、当該音楽の忠実度を保持するように設計される。第3の選択肢として、音源に対して何の変更も行わないという選択肢もある。
特定のチャンネル上の音源(例えば、Dolby Pro Logic、デジタル、Atmos、DTSなどまたは実際には仮想化スペシャライザー機能)に対して意図的に遅延が付加されている場合、このような任意の帯域内信号も相応に処理し、感知波形を遅延させないかまたはエコー処理時に遅延を可能にする)点に留意されたい。
[感知。音声アシスタントとの共存]
超音波感知波形(例えば、三角FMCW)の特定の実現は、可聴帯域内にスペクトル内容を有するため、音声認識サービス(例えば、Google Home)を行っている特定の音声アシスタントに対して意図しないまたは不要な影響を持ち得る点に留意されたい。デュアルランプトーンペアを使用することまたは感知波形にプレフィルタリング(三角チャープ中のハイパスまたはバンドパスフィルタリング)を行うことまたは音声認識信号処理を超音波感知信号成分に対するロバスト性を持つよう適合させることにより、このようなクロストークの可能性を回避することができる。
次のようなFMCWランプ信号yを考える。
このランプは、期間T(time period T)にわたる周波数f_1から周波数f_2である。これは、期間Tにおいて切り換えられるため、サブ調波を有する。
これについての分析によれば、より低い周波数において出現するため可聴である帯域外高調波があることが分かる。
以下のような特定のデュアルランプペアy(dual ramp pair y)を考える。
よって、サブ調波がキャンセル(上記において減算)され、信号が保持される。1/Tは、極めて特異的である。つまり、(1/T)またはさらには−(1/T)を用いることにより、期間Tにおける切り換え効果がキャンセルアウトされる。よって、得られる信号が非可聴となる。これは数学的に単純に行われるため、デバイス(例えば、スマート携帯電話デバイス)に対する計算負荷が無いため、有利である。
デュアルトーンはDCレベル(「0」)において切り替わるため、例えばクリック音(すなわち、ラウドスピーカが大きく動く事態を回避するようなオンおよびオフ)を回避するために、波形チャープ中においてオフにできる自然なポイント(信号の開始時および終了時)がある。「0」により、残響軽減および/または特定の送信器の同定(すなわち、チャープのオン/オフ時間のオーバーレイ)のために、各チャープ間または実際にはいくつかのチャープのグループ間に静寂期間を設けることも可能になる。
サブ調波が無いことも、室内において2つのデバイスが同時に作動する場合の干渉源の可能性が無くなるため、有利である。よって、2つの異なるデバイスは、(周波数が)重複していないトーンペアまたは実際に周波数が重複しているトーンペア(かつ重複していない静寂期間の付加に起因する時間は重複していないトーンペア)を用いることができる。後者の場合、ラウドスピーカ/マイクロフォンの組み合わせにおいては利用可能な非可聴の帯域幅が限られている(すなわち、感度が19または20kHzへ大きくロールオフする)点において、有利であり得る。
相対的に非可聴の三角FMCW信号をデュアルトーンランプと比較した場合も、後者はサブ調波レベルがずっと低い(現実世界のスマートデバイス上のノイズフロアに近い(例えば、量子レベルに近い))。
デュアルトーンランプを(三角形ではなく)上または下にランプ(傾斜)させかつ帯域外成分が無いようにできるので、三角傾斜の場合に生成し得るランプ間のにじみの問題が無くなる。
標準的なランプオーディオ信号を非可聴にするには、得られる波形の位相および振幅の歪みの可能性がある広範なフィルタリングが不可欠である。
[感知。性能最適化のための較正/室内マッピング]
処理デバイスは、セットアッププロセスと共に構成され得る。デバイスの最初のセットアップ(または動作時の周期的なセットアップ)時において、デバイスは、室内環境、室内の人の存在および/または数などのマッピングを行うために、音響プロービングシークエンスを送り出し得る。後でデバイスを動かす場合または感知された信号の質低下が検出された場合、このプロセスを繰り返すことができる。本システムは、スピーカ(単数または複数)およびマイク(単数または複数)の能力の確認と、イコライゼーションパラメータの推定とのための音響トレーニングシークエンスも放出し得る。すなわち、実世界の変換器の場合、システムによって用いられる超音波周波数ならびに温度およびオン特性において一定の非線形性があり得る(例えば、ラウドスピーカが安定するには、数分かかる場合がある)。
[感知。局所化のためのビーム形成]
専用のビーム形成を具現するか、既存のビーム形成機能を利用することができる。すなわち、センサアレイに対して送受信される信号の方向選択性または空間選択性が可能になるように信号処理が用いられる。これは典型的には「ファーフィールド」問題であり、(「ニアフィールド」である医療用画像化と対照的に)波面が低周波数超音波に対して比較的平坦になる。純然たるCWシステムの場合、音波はスピーカから移動して、最大領域および最小領域に到達する。しかし、複数のトランスデューサが利用可能である場合、この放射パターンを有利に制御すること(ビーム形成として知られるアプローチ)が可能である。受信側においては、複数のマイクロフォンも用いられ得る。これにより、音響感知を任意の方向において優先的に操作し(例えば、多数のスピーカがある場合に出射された音声および/または受信された音波の操作をすること)、ある領域を掃引することが可能である。ユーザがベッドにいる場合、対象に向けられるか、または、例えばベッドに2人の人がいる場合に、複数の対象へ方向付けられるように感知を操作することができる。ビーム操作は、送信側または受信側において具現され得る。低コストの超音波変換器(マイクロフォンまたはスピーカ)は指向性が極めて高い(例えば、小型の変換器の場合、波長は変換器のサイズに類似する)ため、そのような変換器の操作が可能な領域が制限され得る。
[感知。復調およびダウンコンバージョン]
図5に戻ると、感知された信号の復調は、例えば、図7に示す乗算器(ミキサー)モジュール7440で、あるいは、図5の復調器により行われて、ベースバンド信号が生成される。このベースバンド信号をさらに処理して、感知フィールド中の「存在」(すなわち、受信されるエコーの(人の特性動きに関連する)変化に関連する復調信号の外乱)が有るかを検出する。受信された「ダイレクトパス」(スピーカからマイクロフォンへの高クロストークが有る場合(例えば、固体介在対空中介在の伝送および/またはスピーカからマイクへの短距離)信号)、受信されたエコー信号に加えて、得られた合計の乗算を復調のために行うことができる。そうではない場合、受信されたエコーを、(音響的ではなく)電子的な形態で抽出された元の送信信号の一部と乗算(混合)することができる。この特定の例において、本システムにおいて、復調の際に受信信号と送信信号との乗算を行わない(他の実施形態においては行われ得る)。その代わりに、本システムは、(減衰された送信信号および受信エコー(単数または複数)を含む)受信信号同士を以下のように乗算することができる。
送信 = ATX(Cos (P) - Cos (Q) )
受信 = A (Cos (P) - Cos (Q) ) + B (Cos (R) - Cos (S) )
セルフミキサー= [A (Cos (P) - Cos (Q) ) + B (Cos (R) - Cos (S) )] x [A (Cos (P) - Cos (Q) ) + B (Cos (R) - Cos (S) )]、
すなわち、受信x受信である。
ローパスフィルタリング後の(復調された)セルフミキサー成分は、次のように表すことができる。
式単純化後のセルフミキサー出力(復調されたもの)は、次のように表すことができる。
、ここで、AAおよびBBは、DC成分である。
反射信号情報を含む復調された成分は(静的であり得、動きに関連し得る)、次のように表すことができる。
このことによる利点は、全タイミング情報が受信側に含まれているため、送信と受信との間の同期が不要であり、計算が高速かつ単純である(アレイの二乗)ことである。
IおよびQ(同相および直角位相)の復調後、空気擾乱に関連する低周波成分、多経路リフレクション(多経路関連のフェーディングを含む)および他の低速で動く(一般的には非生理学的)情報を分離する方法を選択する。いくつかの場合において、この処理は、クラッタ除去と呼ばれ得る。DCレベル(平均)を減算するかまたは他の何らかのトレンド除去(例えば、線形トレンド除去)を重複または非重複のブロックに基づいて行う。DC成分および極低周波成分(VLF)の除去のために、ハイパスフィルタを適用してもよい。「除去された」情報を処理して、このようなDCおよびVLFデータ(例えば、強い気流または多経路による有意な影響が有るか)の強度を推定する。次に、フィルタリングされた復調信号は、スペクトル分析ステージへ送られ得る。他方の選択肢として、ハイパスフィルタを用いずにフィルタリングされていない信号を直接スペクトル分析処理ブロックへ送り、DCおよびVLFの推定をこのステージにおいて行う選択肢がある。
[例示的なシステムアーキテクチャ]
図6は、低周波超音波生体動き感知を用いた音声により可能となる睡眠改善システムの例示的なシステムアーキテクチャを示す。本システムは、本明細書中に記載の感知技術(例えば、マルチトーンFMCW音響感知)を用いて具現され得る。ユーザは、ユーザの睡眠をモニターするために事前に起動された音声起動型スピーカに話しかけることができる。例えば、言語命令(verbal instruction)は、スマートスピーカにクエリを生成させることができる。この言語命令は、マイクロフォンによって受信される。マイクロフォン信号のクエリをプロセッサによって評価することにより、クエリの内容または命令を決定し、決定された睡眠スコア、呼吸(SDB)イベントまたは睡眠統計の可聴のレポートを決定する。このレポートに基づいて、システムの処理により、睡眠改善についての可聴のアドバイス(例えば、睡眠を支援する治療デバイスの提案)も生成することができる。例えば、「私の昨晩の睡眠はどうだった?」などのクエリをマイクロフォンが受信するのに応答して、図8に示す睡眠関連データ(例えば、睡眠スコア、睡眠ステージにおける時間)のユーザへの言語の要約および可聴の説明を処理デバイス100のスピーカ(単数または複数)を介して行うことができる。これに応答して、処理デバイス100は、出力(例えば、音/オーディオ)を処理デバイスによって検出されたデータ(例えば、ソナー感知からのもの)と共に自身のスピーカを介して生成させ得る。例えば、これに応答して、処理デバイスは、次の説明の音声レポートを生成させ得る。すなわち、「あなたの合計睡眠時間は6時間であり、睡眠途中での覚醒は2回だけでした。そのうち、深い睡眠は4時間であり、浅い睡眠は2時間でした。無呼吸および呼吸低下カウントについては、2個のイベントがみられました」である。
本技術の低周波超音波感知によって有効となる、スピーカにより有効とされた処理デバイス100の近傍における動き検出のためのシステム処理は、図7に示す例示的なモジュールに関連して考察することができる。処理デバイス7102は、スピーカ(単数または複数)7310と、任意選択的にマイクロフォン(単数または複数)7302と、1つ以上のプログラマブルプロセッサを備えたマイクロコントローラ7401とを含む。これらのモジュールは、マイクロコントローラのメモリ中にプログラムすることができる。この点について、オーディオサンプルまたはオーディオコンテンツは、7410における任意選択のアップサンプリング処理モジュールによりアップサンプリングされ得、あたかも任意選択のオーディオコンテンツが(感知信号と同時に)スピーカによって生成されるかのように、加算器モジュール7420へ提供され得る。この点について、加算器モジュール7420は、オーディオコンテンツと、FMCW信号(例えば、所望の低超音波周波数範囲内のデュアルトーンFMCW信号)を生成するFMCWプロセスモジュール74430からの所望の周波数範囲内のFMCW信号とを任意選択的に組み合わせる。次に、加算されたFMCW信号は、例えばスピーカ7310からの出力のためのコンバータモジュールによって処理され得る。このFMCW信号は、乗算器モジュール7440などの復調器へも付加される。乗算器モジュール7440などの復調器において、FMCW信号は、マイクロフォン7302において観察された受信エコー信号と処理(例えば、混合/乗算)される。このような混合の前に、受信されたエコー信号に対して本明細書中に既述のような適応的フィルタリングを行うことにより、対象周波数スペクトル外の不要な周波数を除去することができる。オーディオ出力処理モジュール(単数または複数)7444は、フィルタリングされた出力をダウンサンプリングすることおよび/または信号を変換してオーディオ信号を生成することを任意選択的に行い得る。次に、乗算器モジュール7440からの復調信号出力を、例えば後処理モジュール7450によりさらに処理することができる。例えば、この出力を周波数処理(例えば、FFT)およびデジタル信号処理により処理することにより、(a)呼吸動作または動き、(b)心臓動作または動き、および(c)全身動作または動き(例えば、全身動作または全身の動き)を分離させるように、検出された原生理学的な動きの信号検出されたまたは他の場合の個々の動きを周波数範囲により向上させることができる。次に、上記したような多様な情報出力(例えば、睡眠、睡眠ステージ、動き、呼吸イベント)を検出するように信号の多様な動きを特性付けするための7460における特性処理により、生理学的な動きの信号(単数または複数)を記録するかまたは他の態様で例えばデジタル処理することができる。
全身の動きまたは全身動作の検出に関連して、このような動きは、腕の動き、頭部の動き、胴の動き、手足の動き、および/または全身の動きなどのうちいずれかを含み得る。動き検出のための送信信号および反射信号からのこのような検出の方法は、ソナー音声型動き検出に適用することができ、例えば国際特許出願PCT/EP2016/058806および/またはPCT/EP2016/080267に記載のように考察および適用することができる。本明細書中、同文献全体を引用することにより、本明細書の一部をなすものとする。その特性上、このようなRFまたはソナー技術は、全ての身体の動き(または少なくともその大部分)を一度に確認することができ、「ビーム」が方向付けられる場所に依存し得る。例えば、この技術は、頭部および胸部または全身などを主に照射する。脚の動きが例えば周期的である場合、脚の動きは動きの頻度に基づいてある動きとして主に区別することができ得、別の自動利得制御(AGC)操作を行うことにより任意選択的に区別することができる。呼吸検出は、全身の動きが少ないときに最も有効であり、特性周波数および呼吸波形の信号形状を分離させる(経時的に評価される通常のCOPDまたはCHF変化率および吸気/呼気比、SDBイベント、より長期のSDB変調など)。
動きがベッド内の人と関連付けられた場合、最大の振幅信号が全身の動き(例えば、寝返り)と関連付けられ得る。手または脚の動きは、より高速であり得る(例えば、I/Q信号からの速度)が、相対的振幅はより低い。よって、動き信号分析によるこのような動きの異なるコンポーネントおよび/またはコンポーネント配列は、例えば全身の動きおよび加速、腕の動き速度と共に開始した後に停止したかについての特定において考慮され得る。この特定は、異なる動きジェスチャーを重点的に標的とし得る。
[感知。他のオーディオデジタル信号処理(DSP)との共存]
処理デバイス100のスピーカにより生成された音響信号によって用いられる感知周波数(単数または複数)および波形形状(単数または複数)のために、デバイスまたは関連付けられたハードウェアまたはソフトウェアにおける既存のエコー除去を全て抑制(例えば、ディスエーブル)することができる。振幅が相対的に小さいことが多い反射された「エコー」信号の外乱(意図されない信号の処理)の最小化のために、自動利得制御(AGC)およびノイズ抑制もディスエーブルすることができる。
その結果得られた受信信号(例えば、スピーカにおいて受信されもの)に対してデジタル的にバンドパスフィルタを行って、個々の意図される送信感知波形を、異なる周波数における他の信号(例えば、発話、バックグラウンドノイズ、同一場所に設置されたかまたは共同設置されたデバイス内において実行される異なる感知信号)から選別する。
[感知。マルチモード/ハイブリッド感知]
連続波(CW)システムは、「なんでも」(すなわち、室内の一般的動き)を高速検出により検出することができるが、高精度の距離ゲーティングには不十分であり、フェーディングも比較的不十分である。改善策として、フェーディング防止のためのマルチトーンCWがある。動きの局所化のため、距離ゲーティングを利用することが可能である。そのため、FMCW、UWBまたは他のいくつかの変調スキーム(例えば、FSKまたはPSK)を利用することが望ましい。FMCWの場合、CWのような強いヌル(nulls)が無く、距離ゲーティングを支援し、室内のモード蓄積に耐える。
換言すると、デュアルまたはマルチトーンの連続波(CW)などの波形を用いて、広い室内などの領域内の全ての動きを感知することができる。多経路リフレクションおよび/または残響に起因して生成された定常波または進行波に起因するヌルを最小限にするように、複数のトーンが選択される。このアプローチの利点として、任意の動きを検出することができ、空間を満たすより大きな信号の使用が可能な点がある。よって、高感度の動き検出器として作動することができ、侵入者検出器として機能することができる。候補の動きが検出された場合、システムは、可能性のある候補となる生理学的な信号(例えば、ユーザの室内への歩行、典型的な活動シークエンス)を検索した後、呼吸、心拍数、および例えばジェスチャーなどの特性の動きを検索する。本システムは、範囲情報を直接提供しないCW型システムから、周波数変調連続波(FMCW)または超広帯域(UWB)信号などの、特定の範囲において検出が可能で、動きの追跡を行い得るシステムへ切り替わり得る。
UWBシステムは、スピーカおよびマイクの周波数応答に応じて可聴または非可聴になり得る。すなわち、これらのコンポーネントがより高周波数をサポートすることができる場合、広帯域信号は、ヒトの聴覚範囲外であり得る。より典型的な消費者スピーカの場合、UWB音声が可聴になる可能性がより高くなり、フィルタリングされたホワイトノイズなどの音声(例えば、ピンクノイズまたはヒトの耳にとって「不快」な音声ではない何らかの変形例)に近くなるように形成され得る。これは、睡眠時において例えばホワイトノイズ生成器を模倣することにより、受容可能になり得る。他の場合、UWBが、ユーザがセキュリティ適用のために自宅から離れる際の距離ベースの感知提供のための別の選択肢となる。
いくつかのバージョンにおいて、感知は、複数の感知装置を用いて(例えば、任意の2種類以上の感知装置(例えば、音響感知装置、RF感知装置、およびIR感知装置のうちいずれか2つ以上)を用いて)行われ得る。例えば、処理デバイスは、RF感知および音響感知(例えば、FMCW)により動きを検出し得る。処理デバイスは、IR感知および音響感知(例えば、FMCW)を用いて動きを検出し得る。処理デバイスは、IR感知およびRF感知により動きを検出し得る。処理デバイスは、IR感知、RF感知および音響感知(例えば、FMCW)を用いて動きを検出し得る。
[感知。生理学的な信号]
DCおよびVLF(例えば、気流)の分離後、呼吸信号、心拍数信号、および全身動き信号が分離される。これらは、FFTウィンドウ内のビンの検索およびウィンドウ上の追跡および/または指定距離における時間領域信号の直接ピーク/トラフ(trough)またはゼロ交差分析(例えば、復調信号の複雑なFFT分析を用いて抽出された指定距離範囲の「時間領域」信号)を介して推定され得る。その結果、一定範囲のユーザの動きの選択が可能になる。これは、FFTとして「2D」(二次元)処理とも呼ばれる。
[スマートスピーカを用いたバイオメトリック感知]
家庭環境において、いわゆる「スマート」デバイス(例えば、「スマートスピーカ」)は急速に普及しており、新規の生理学的な感知サービスについての機会が提供されている。
スマートスピーカまたは同様なデバイスは典型的には、例えば図6に示すようなホームオートメーション(例えば、スマート自動器具、スマート照明、スマートサーモスタット、または器具への給電のためのスマート電源スイッチ)およびネットワーク(例えば、インターネット)のための他の接続されたホームデバイスへのおよび当該ホームデバイスからの無線手段(例えば、Bluetooth、Wi−Fi、ZigBee、mesh、ピアツーピアネットワーキング)を介した通信を含む。音響信号を単に出力するように設計された標準的スピーカと異なり、スマートスピーカは通常は、処理を行う電子装置以外にも、1つ以上のスピーカと、1つ以上のマイクロフォンとを含む。マイクロフォン(単数または複数)、スピーカおよびプロセッサ(単数または複数)は、パーソナライズド音声制御を可能にするために、インテリジェントアシスタント(人工知能(AI)システム)とインターフェースをとるように具現され得る。いくつかの例として、Google Home、Apple HomePod、Amazon Echoがあり、「OK、グーグル」、「ヘイ、シリ(Siri)」、「アレクサ(Alexa)」の決まり文句を用いた音声アクティベーションが用いられる。これらのデバイスおよび接続されたセンサは、モノのインターネット(IoT)の一部としてみなされ得る。
上記した超音波検出技術を(可聴の音響信号または非可聴の音響信号を用いて)スマートスピーカにおいて採用する場合、(スマートスピーカシステムの設計時において推定および/または特定のデバイスの実際の性能に基づいて更新された)その能力に基づいて、特定の最適化が必要になる。広範に言うと、スピーカ(単数または複数)およびマイクロフォン(単数または複数)双方によってサポートされる最大周波数により、利用可能な最高周波数の非可聴感知信号が最終的に規定される。これは、特定のデバイス製作公差に基づいて若干変化し得る。
例えば、第1のデバイス(例えば、Google Homeデバイス)内のスピーカは、第2のデバイス(例えば、Samsung Galaxy S5スマートフォン)内のスピーカと異なる特性を有し得る。第1のデバイススピーカの感度は24kHzまでであり得、類似の周波数に対してほとんど平坦なマイクロフォン応答を有する。しかし、第2のデバイスのスピーカは、より低い周波数においてロールオフし得、感度のピークおよびトラフは18kHzを超え得る。Amazon Alexa デバイスのスピーカの場合、例えば20kHzにおいてロールオフし得る。例示的なGoogleデバイスの場合、戻ってくる位相反転波に対してパッシブリフレックススピーカ設計を用い得、これらの波を側方に送り得るため、その音響特性が変化する(例えば、「10kHz」スピーカは実際には25kHzスピーカに変化する)。
いくつかのデバイスは、マイクロフォンアレイ(例えば、平坦プレート上の複数のマイクロフォン)を有し得て、利得および平均化関数を具現し得るが、マイクロフォン要素間が分離される(例えば、動的配列ダイバース配列)。このような処理は数値的に(すなわち、デジタル信号処理を用いたデジタルドメインにおいて)行うことができる。
このようなシステムについて管理が必要な1つの差違の可能性として、スピーカ(単数または複数)およびマイクロフォン(単数または複数)の方向が関連する。例えば、特定の具体例において、スピーカが前方を向き得、ユーザに対して同様の方向を向き得る。しかし、マイクロフォン(単数または複数)は、室内または天井に対して20〜30度の角度で方向付けられる場合がある。
よって、距離音響感知のために音声ピックアップを最適化するには、アプリケーションの構成を、室内のトポロジーを学習することおよび可能性の有るリフレクション経路を可能にすることのためにスピーカを介してプロービングシークエンスを生成させるような構成にすればよい。よって、セットアッププロセスにより、(例えば、複数の人または動き源がスマートスピーカから異なる距離にある場合に複数の人または動きのソース(source;源)の同時モニターを支援するために)低周波超音波エコーの距離測定を較正するためのシークエンスを生成させることができる。信号処理の観点からみると、残響フロア(反射音響波のエネルギーが散逸するのにかかる時間の長さ)は、異なる感知信号によって異なり、CW(連続波)の場合に2〜3倍であり、FMCWの場合に約5倍(すなわち、リバーブ低減)である(すなわち、FMCWの場合、周波数の範囲、持続期間、および反復シークエンスの形状に応じてリバーブフェーディングが未だにあり得る)。
マイクロフォンを分離した場合、困難に繋がり得る。例えば、共通ハウジング内のマイクロフォンアレイがスマートスピーカ上において利用可能である場合、マイクロフォンの例示的な分離距離は、71mmであり得る。波長が20mmである場合、これは、1つのマイクロフォンがトラフ内にあり得る一方、他方のマイクロフォンがピーク領域内にあることを示す(例えば、ユーザが固定スピーカの方へ移動すると、SNRマイクロフォン間のSNRが変化する)。望ましい構造として、2個のマイクロフォンを、領域内の特定のオーディオ感知波長関連間隔19〜20mmと共に構成することができる。事前構成されたシステムにおいてこのような距離が不明である場合、較正プロセスを例えばセットアッププロセスの一部として行って、この距離を検出することができる。例えば、セットアッププロセスは、時間同期された較正音声を1つ以上のスピーカを介して生成させて、各スピーカから各マイクロフォンへの飛行時間を計算または推定することができ、マイクロフォン間の差をこれらの計算に基づいて推定することができる。よって、スマートフォンからの距離を2個以上のマイクロフォンにより感知する際、マイクロフォン間の距離を考慮に入れることができる。
アクティブサウンドバー(すなわち、マイクロフォンを含む)などの他のデバイス、およびモバイルスマートデバイスも、本明細書中に記載の感知動作で実施され得る。
少なくとも1つのスピーカおよび少なくとも1つのマイクロフォン(またはこれらの機能を行うように構成することが可能な変換器)を設けることにより、バイオメトリック感知を能動低周波超音波およびそのエコー処理を用いてこれらのデバイスに対して行うことが可能になる。上記したように、例えばほとんどのユーザの可聴域のすぐ外(例えば、18kHzを超えて)かつ既知のまたは決定されたシステム能力内にある音響信号を再生(伝送)することにより、これを具現することができる(例えば、サンプリングレートが48kHzである場合に24kHzを下回り得るが、通常は25または30kHzを下回る)。これと対照的に、医療用超音波は通常はずっと高い周波数(例えば、1〜18MHz)において動作し、これらの動作のために特殊な機器を必要とする。記載の超音波測定技術により、ほとんどの家庭において既に利用可能になっているスマートスピーカシステム(スマートフォンを含む)を用いるだけで、いかなる高価な機器の購入の必要なく簡便な非接触測定が可能になる。
[異なる感知デバイス/アプリケーションの共存]
符号化されたまたは符号化されていない超音波信号は、デバイスおよびシステムが同定および他のデータ交換目的を具現することを可能にするよう、異なるデバイスによって生成され得ることが分かる。例えば、携帯電話アプリケーションは、近くにある他の感知により有効とされるデバイス/システム(例えば、スマートスピーカ)に対して自身を同定する(またはその逆)ために、このような信号を通信目的のために生成させるように構成され得る。これらの種類の信号は、同定のために短距離無線周波通信の代わりに用いられ得る(例えば、ブルートゥースが利用できないかまたはディスエーブルされている場合)。本システムのデバイスは、感知できる近傍における他の処理デバイスの存在を(例えば、別の処理デバイスからの非可聴の音響的に生成された通信信号を介して)を自動的に決定することができ、生成された感知信号のパラメータが非干渉感知モードにおいて(例えば、異なる周波数帯および/または時間的に非重複の周波数帯の利用により)動作することができるように、これらのパラメータを調節することができる。
[低周波超音波(ソナー)感知]
多くの場所において、ヒトの聴力閾値のちょうど上の低周波超音波範囲の音声を放出および記録することが可能なオーディオデバイスが含まれる(例えば、インフォテインメントシステム)。このようなデバイスおよびシステムは、低周波超音波技術を用いて近傍の人の生理学的な感知を行うように適合され得る。このような感知は、標準的オーディオシステムの元々の意図される機能へ影響を与えること無く行うことが可能である。一例において、このような感知機能は、ソフトウェア更新を介して具現することができる(すなわち、物品コストの増加を招くこと無くさらなる有用な機能を提供することができる)。いくつかの場合において、新規のデバイスまたはシステム内の変換器のうち1つ以上を、低周波超音波感知のためのオーディオ周波数範囲を支援するように指定することができ、さらなる試験を製造時に行って、この仕様を満たしているかを確認する。
このような(可聴または非可聴の)音響感知技術は、広範な多様な目的のために利用することができる(例えば、プロアクティブ健康管理、医療デバイス、およびセキュリティ機能)。
約25kHzまで動作する低周波超音波システムは、モバイルスマートデバイスまたはスマートスピーカデバイス上において実現することができる。その結果、音声エネルギーが電子デバイス上の1つ以上の変換器により1つ以上の対象者へ送られ、変換器は、25kHz未満の周波数を含む一定範囲の周波数を介して音声エネルギーを生成させるように構成される。スピーカは、スマートフォン、スマートスピーカ、サウンドバー、ポータブルTV画面、または低周波超音波感知および処理の支援が可能な変換器を含む他の多数のデバイスおよび構成内に収容され得る。コンピュータがスピーカシステムを制御するように具現された場合、スマートスピーカシステムが有効に生成される。
可聴の音声(例えば、呼吸、咳、睡眠時のいびき、息切れ、喘鳴、発話、鼻すすり、くしゃみの音声)を、(動き感知のために検出される反射された感知信号からこれらの音声を分離するために)近傍の感知されたオーディオ信号から抽出および分類することができる。これらの音声のうちいくつか(例えば、咳)に起因して、感知信号(特に極めて低い音声圧力レベルにおける動作時において)がマスクされる場合があるが、これは望ましくない。しかし、このような音声も検出可能であり得るため、このような音を他の環境音声(例えば、クラクションを鳴らす音、モータノイズ、街路の音、風、ドアをバタンと閉める音)から分離することができる。呼吸音は典型的には、静寂な環境においては信号の質が良くなり、アクティブ感知アプローチ(例えば、ソナーまたはレーダー(RFのものを含む)(主に胴体の動きおよび手足の動きを検出する)、またはカメラ/赤外線システム)を用いて実行された場合、吸気/呼気時間(およびよって呼吸数)の良好な第2の推定が可能になる。換言すると、本システムは、この場合も音声の特性についての情報を抽出することができ、極めて音が大きい場合、関連信号の質が受容可能な閾値を下回った際、システムが感知された信号の小部分をスキップすることができる。
ソナーシステムにおいて、吸気または呼気に起因する空気の動きは、(感知信号が残響を経験できるくらいに充分に長く継続した場合に感知環境内の音響モードセットアップの外乱に起因して)得られる移動波面を追跡する方法によって検出することも可能である。可聴のシグネチャから直接いびきを検出することは、比較的に大きな音のプロセスであるため、この検出はより容易である。この検出は、例えば、平均最大デシベルレベルを用いていびきを軽度(40〜50db)、中程度(50〜60db)または重度(>60db)に分類することにより、行われる。
よって、いくつかの場合において、処理デバイス100は、呼吸検出のための動き検出(例えば、ソナー)技術を用い得る。しかし、いくつかの場合において、マイクロフォンにおける可聴の呼吸信号の音響分析を呼吸検出のために処理デバイス100によって具現することができる。
[RF(レーダー)感知]
いくつかのシステムは、セキュリティのための簡単な内部の動き検出のための単一のパルスドップラーレーダーモジュールを含み得る。これらは、(アップデートされたソフトウェアにより)向上させることもできるし、あるいは、動き検出を近傍の特定の領域に局所化することが可能な(特に各シート/座席上の人を検出および区別することが可能な)モジュールと交換してもよい。センサの向上が、技術(例えば、超広帯域(UWB)感知信号または周波数変調連続波(FMCW)感知信号または他の符号化スキーム(例えば、OFDM、PSK、FSK)を含む)をその生成された感知信号内において用いることにより、行われ得る。これらは、高精度のレンジング能力(1cm以下)を有するセンサにより具現され得る。このようなセンサは、規定領域内において感知を行い得る(例えば、特定のシートに方向付けられた感知方向を有するように近傍において構成され得るアンテナ設計を介して設定される)。いくつかの場合において、複数のアンテナが、特定の感知領域に対して実装され得、異なるアンテナと関連付けられた距離感知差を設定するためのビーム形成技術と共に用いられ得る。複数のセンサが、人(またはペット)が内部に存在し得る複数の領域(例えば、各シートに対するセンサ)を網羅する領域内において用いられ得る。
[マルチモードデータ処理]
ソナー、RFまたは赤外線感知(すなわち、IR送波および受波のための赤外線エミッタおよび検出器)を用いた場合、処理デバイス100は、近傍の機器により(例えば占有度推定のために)生成されたさらなるデータまたは信号を受信することができ、これにより、生体動き感知をこのような機器からのデータに基づいて行うことが可能になる。例えば、人が所与のシート上またはベッド内に座っているかを検出するシート/ベッド荷重センサにより、特定のシートまたはベッドと関連付けられ得る感知について生体動き感知を開始するタイミングを決定するための情報を生体動き処理デバイス100へ提供することができる。赤外線システムは、例えばヒトの眼の動きを追跡することが可能なカメラシステムを例えば眠気検出のために任意選択的に備え得る。
処理デバイスは、生体動き特性の検出のための関連レンジ/距離の評価のための距離情報を備えて構成され得る。例えば、処理デバイス100は、近傍の内部(例えば、部屋のもの)の距離マッピング(マップ)を有し得る。このようなマップは、設計ステージにおいて初期感知構成を指定するために初期に設けられ得る。任意選択的に、処理デバイスの制御下にある感知システムは、1つ以上の人によって用いられている場合にマップを動的に更新(または検出)し得る。初期構成は、例えばシートの位置および最も可能性の高いシート構成をキャプチャ/検出し得る。すなわち、シートが可動型である場合、センサは、システムに現在の設定を報告して、感知パラメータを更新することができる(例えば、座っている人の位置は、(シートが後方または前方にスライドした場合あるいは折り畳まれた場合に)感知ラウドスピーカに対して移動し得る)。
[バイオメトリック特徴の検出。呼吸、心臓、動きおよび距離]
[センサ信号の処理]
システムは、特定の処理デバイス100を含み、例えば任意選択的に復調が処理デバイスによって行われない場合において、復調信号をセンサから(例えば、ソナー、RF/レーダー、または赤外線から)受信し得る。次に、処理デバイス100は、対象コンポーネント(例えば、直流信号DCおよび超低周波数VLF(例えば、気流)、呼吸、心拍数、および全身動き信号)の分離により、この信号を処理し得る。これらの推定/検出は、高速フーリエ変換(FFT)ウィンドウにおけるビンの検索と、ウィンドウを介したおよび/または指定距離における時間領域信号の直接ピーク/トラフまたはゼロ交差分析を介した追跡(例えば、復調信号の複雑なFFT分析を用いて抽出された指定距離レンジに対する「時間領域」信号)とにより、行うことができる。これは、例えば国際特許出願PCT/EP2017/073613に記載のようなFFTのFFTが行われるため、「2D」(二次元)処理とも呼ばれる。
ソナー感知の場合、有意な他の情報をオーディオ帯域中に発見することができ、マイクロフォンによってピックアップすることができる。このような情報は、インフォテインメント音声(音楽、ラジオ、TV、映画)、電話呼び出し音またはテレビ電話呼び出し音(ヒトの発話を含む)、周囲ノイズ、ならびに他の内部音声および外部音声(例えば、モータ、交通往来または車両ノイズ)であり得る。これらのオーディオ成分の大部分は、干渉物とみなされ得、バイオメトリックパラメータ推定から抑制され得る(例えば、フィルタリングされ得る)。
レーダー感知の場合、他のRF源からの信号成分が抑制され得る。
赤外線感知の場合(例えば、視標追跡に加えて生理学的な感知を行う場合)、温度変化および太陽位置に起因して干渉が発生し得、これを考慮に入れることができる。よって、温度センサ(例えば、サーモスタット温度センサからのもの)および時間の評価を感知信号の処理において行うことができる。
使用される感知技術の詳細(RF、IR、ソナー)に関係無く、受信された時間領域反射信号に対してさらなる処理を行うことができる(例えば、バンドパスフィルタによるバンドパスフィルタリングによる処理、エンベロープ検出器による評価、およびその後のピーク/トラフ検出器による処理)。エンベロープ検出は、ヒルベルト変換または呼吸データの二乗と、ローパスフィルタを介した二乗データの送信と、得られた信号の平方根の計算とにより、行うことができる。いくつかの例において、呼吸データは、ピークおよびトラフ検出(またはあるいはゼロ交差)プロセスを通じて正規化および送信することができる。検出プロセスにより、吸気部位および呼気部位を分離することができ、いくつかの場合において、ユーザの吸気部位および呼気部位を検出するように検出プロセスを較正することができる。
呼吸活動は典型的には、(例えば規則正しい深い呼吸からの)0.1〜0.7Hz(6呼吸/分〜(典型的には成人の場合の速い呼吸数である)42呼吸/分)の範囲内である。心臓活動は、より高周波数において信号に反映され、通過帯域範囲が0.7〜4Hz(毎分48回鼓動〜毎分240回鼓動)であるバンドパスフィルタによるフィルタリングにより、この活動へのアクセスが可能になる。全身の動きに起因する活動は典型的には、4Hz〜10Hzの範囲である。これらのレンジには重複があり得る点に留意されたい。強い(明確な)呼吸トレースは、強い高調波に繋がり得、呼吸倍音を心臓信号と混同することを防ぐために追跡が必要である。変換器からの距離が長くなるほど(例えば、数メートル)、比較的小さい心臓の機械的信号の検出が極めて困難になり得、このような心拍数の推定は、スマートスピーカから1メートル以内において(例えば椅子/カウチ上においてまたはベッド内において)静かに横臥している設定により適している。
不在/存在が「存在」として決定された後、呼吸の推定、心臓の推定、および動き/活動信号(ならびに、その相対的位置および速度(移動している場合、例えば、近傍の内外において移動している場合))の推定が、センサのフィールド内の1人以上の人について行われる。レンジング情報を提供するシステムは、複数の人が類似の安静時呼吸数を有する場合(これは、若いカップルにおいては頻繁にあり得る)も、複数の人のバイオメトリックデータを分離することができることが分かる。
これらのパラメータに基づいて、多様な統計測定(例えば、平均、中央値、第3モーメントおよび第4モーメント、ログ、平方根)、波形状(形態学的処理)を準備した後、特性化システムへ供給することができる(例えば、簡単な分類またはロジスティック回帰機能、または神経ネットワークまたは人工知能システムを用いたより複雑な機械学習システム)ことが可能である。この処理の目的は、収集されたバイオメトリックデータからさらなる識見を得ることである。
[睡眠ステージング分析]
不在/存在/覚醒/(NREM)睡眠ステージ1/睡眠ステージ2/睡眠ステージ3(徐波睡眠SWS/深い)/REMは、睡眠サイクルを示す根幹をなす睡眠アーキテクチャに関連するシークエンスを有するため、これを非シークエンス問題としてではなくシークエンス問題としてみなすと有用であり得る(すなわち、人が一定期間において1つの状態に留まる典型的な睡眠サイクルを反映すること)。睡眠シークエンスは、例えば夜間を通じた観察(「睡眠」)についての明確な順序を示す。
いくつかのシステムにおいて、夜の始まりになるにつれてより深い(より突出した)熟睡(SWS)になりかつ夜の終わりになるにつれてより深いREM睡眠になるという「正常な」睡眠パターンについての知識も利用することができる。この事前知識は、正常な睡眠者のための分類システムを重み付けすること(例えば、これらの状態の事前確率を経時的に調節すること)のために利用可能であるが、母集団の規範値からのこれらの仮定は、正常ではない睡眠者または日中に昼寝をとる習慣になっている睡眠者または睡眠衛生が悪い(悪い睡眠習慣(例えば、「就寝」および「起床」時間が大きく変化すること))者には当てはまらない場合がある点に留意されたい。
従来から、睡眠段階は、文献[Rechtschaffen & Kalesガイドライン(Rechtschaffen and Kales, 1968)(a manual of standardized terminology, techniques and scoring system for sleep stages of human subjects. 米国公衆衛生局、合衆国政府印刷局、ワシントンD.C.1968)]に遡り30秒の「エポック」において検討されてきた。脳波図EEGを見た際、紙速度が10mm/sになるから(1ページは30秒に等しい)アルファおよびスピンドルを視認する際に理想的な30秒インタバルであることを該文献において記載している。もちろん、睡眠および覚醒(ならびに不在/存在)の実際の生理学的なプロセスは、30秒のブロックに均等に分割されないため、より長い時間またはより短い時間を選択することができる。ここで概要を述べたシステムは、1秒(1ヘルツ)の睡眠ステージ出力を優先的に用いるが、より長いデータブロックを重複した態様で用いて、(根幹をなす処理ブロックのサイズに関連する関連遅延と共に)1秒(1ヘルツ)毎に最新情報を送達させる。この1秒の出力は、睡眠サイクルにおける微細な変化/転移をより明確に示すために用いられる。
[睡眠特徴の手作業生成対自動生成]
感知された信号(距離対時間(動き)の情報を示す信号)は、多様な特徴(例えば、睡眠特徴)の計算のために用いられる。その後、これらの特徴を用いて、ユーザの生理学的な状態についての情報を導出することができる。
特徴の生成のために、複数のアプローチが実行され得る。例えば、人間の専門家は、自身の経験に基づいて呼吸データおよび他の生理学的なデータならびにその分布を検討し、特定の変化の生理学的な根拠を理解し、トライアンドエラーを行うことにより、処理された信号または未処理の信号から特徴を手作業により(manually)生成することができる。あるいは、人間による一定の監督により機械に「学習」させることができ(「機械学習」分野における核となるコンセプト)、ラベル付けされたデータが期待される結果と共に供給され、これは人間による一定の支援が提供されるかまたは完全自動の態様で行われる。自動の場合、ラベル付けされたデータを一部提供する場合もあれば、全く提供しない場合もある。
ディープラーニングは、以下の広範なカテゴリにおいて広範に検討することができる。つまり、ディープニューラルネット(DNN)、畳み込み(comvolutional)ニューラルネット(CNN)、リカレントニューラルネット(RNN)および他の種類。DNNにおいて、ディープビリーフネットワーク(DBN)、多層パーセプトロン(MLP)および積層オートエンコーダ(SAE)を考えることができる。
ディープビリーフネットワーク(DBN)は、(例えば入力データから特徴を自動生成させるために)生成能力を所有する。この目的のための別のアプローチとして、ファジーC平均クラスタリング(FCM)がある。ファジーC平均クラスタリング(FCM)は、教師なし学習の一形態であり、事前処理されたデータの固有の構造の発見を支援する。
感知された動きデータへのデジタル信号処理技術の適用により、手作りの特徴を形成することができる。理想的な場合の呼吸信号は、吸気および呼気が行われると共に記述されるように、(深いかまたは浅い)2つの振幅および一定の周波数(一定の呼吸数)の完全な正弦波形状になる。実世界においては、呼吸信号は正弦波形状からほど遠い場合がある(特に、音響または無線周波を用いた感知アプローチを介して胴体領域から検出された場合)。例えば、吸気が呼気よりも急激かつ高速になる場合があり、呼吸が一瞬止まった場合、波形上にノッチが発生し得る。吸気振幅および呼気振幅と、呼吸周波数とは、変動し得る。いくつかの抽出方法の場合、ピークおよびトラフの検出の後に、これら2つのうちより高品質のものを検出すること(例えば、ローカルピークの検出およびトラフの廃棄)に焦点を当てている。この方法は、吸気時間および呼気時間ならびに体積(例えば、時間領域信号と計算された基準のベース線(reference baseline)との積分により計算されたもの)双方を推定するためにはピーク時間およびトラフ時間双方が必要であるが、呼吸数推定には充分であり得る。
これらの特徴のうちいずれか(例えば、呼吸および/または心拍の数または振幅)の推定の支援のために、多様な方法を用いることが可能である。
例えば、ピークおよびトラフの候補信号の抽出には、呼吸波形をノイズから回復させることが必要であり(多様な帯域外および帯域内ノイズがあり得、通常はより低い周波数ノイズが優勢になり、その結果より低い呼吸数の高精度検出が複雑になり得る(例えば、4〜8呼吸/分(これは、自発呼吸においては稀であるが、ユーザが自身の呼吸をよりゆっくりとするよう要求された場合に発生し得る))。時間領域検出方法は、ローパスフィルタリング後に最大および最小検出を行うことと、(複数の呼吸のブロックにわたって調節することにより、深い呼吸および浅い呼吸の検出を可能にする)適応的な閾値を用いることとを含む。任意選択的に、信号に対して、ローパスフィルタリングおよび微分(例えば、導関数)が行われ得る。次に、最大変化率に関連する微分された信号のピークを検出して、呼吸イベントの指示を得ることができる。このような方法において、一定のノイズを含む正弦波状としてモデル化される呼吸波形の基準点が抽出される。LPFにより、より高い周波数ノイズが除去される。次に、微分が行われ、ピークが検出される。実際、これにより、(元々の信号のピークおよびトラフではなく)元々の信号の最大の変化率のポイントが発見される。なぜならば、呼吸波形が最も明確になるのは(例えば幅広ピークにおいてではなく)最大の変化率においてであるからである(例えば、呼吸停止が短時間行われた場合)。よりロバストな方法の可能性として、(固定のベース線(baseline)または適応的なベース線の周囲において)ゼロ交差を検出する方法がある。ならならば、この境界の交差は、信号振幅の局所的変化に直接影響を受けないからである。
呼吸信号は、(センサ(単数または複数)からの胸部の距離および角度に応じて)時間領域信号中において容易に視認することが可能である一方、心臓の動きは、呼吸と比較したときに極めて小さな信号であることが多い。より高次の呼吸高調波が(例えば波形に関連して)有る場合、心臓信号抽出が複雑になり得て、この呼吸高調波を拒否するかまたは検出および排除する必要がある。
周波数領域方法を、例えば呼吸データへ適用してもよい。これらの方法は、重複可能なデータのブロック(例えば、例えば1秒だけ繰り返しシフトされるデータストリームのデータの30個のブロック)または重複していないもの(例えば、データストリームが30秒のチャンク中において重複していないとみなされる)を用いて(スペクトル漏洩と戦うためにウィンドウ化され得る)FFT帯内の検出されたピークを用いることを含み得る。Welchの方法またはパラメータモデル(自己回帰)を用いた出力スペクトル密度PSDを用いてもよく、その後ピーク検索が行われる。呼吸信号の正弦波が弱くなると、スペクトルピークが大きくなる(より広がる)傾向になり、形状に急激なピーク、急激なトラフまたはノッチが発生した場合に高調波を含み得る。別の方法として、(信号とシフトされたバージョンのものとの間の類似性を記述する)自己相関を用いる方法がある。この方法における前提として、根幹をなす呼吸波形が一定期間にわたって比較的安定しており、呼吸数の推定のために、自己相関における周期的な局所的極大値の追跡およびフィルタリングを最も可能性の高い候補としての(例えば、ノイズと無関係の)極大値により行うことができる。自己相関は、時間領域内においてまたは周波数領域内のFFTによって行うことができる。時間周波数アプローチ(例えば、ウェーブレット)も有用であり、強力なノイズ除去を行うことが可能であり、同様にピーク検出が対象時間スケールにおいて(すなわち目標の呼吸数の範囲内において)最終的に行われる正弦波形状の適切なウェーブレットが選択される(例えば、シムレット、ドブシー)。
カルマンフィルタ(再帰的アルゴリズム)を時間領域信号へ適用して、システム状態を推定することができる。このアプローチを用いると、先行ステップの使用のみに基づいて将来の未知のシステム状態を予測する方法が得られる。フィルタリングに加えて、信号分離も可能になる(例えば、大きな動き、呼吸および心臓の動きのもの)。
[(例えば、ノイズの多い環境における生理学的な動きの検出のための)ノイズ汚染の観察)]
対象者が呼吸を停止した場合(例えば、無呼吸)または極めて浅い呼吸を示す場合(例えば、呼吸低下))、呼吸のピークおよびトラフの検出の際には、例えば、対象者が大きな動きを行った場合(例えば、ベッド内を転がった場合または駆動時に移動した場合)は、潜在的な交絡(confounding)の影響の可能性を認識する必要がある。位置追跡が可能な感知方法を用いると、これらの影響を分離する有用な手段が得られる。例えば、寝転がりは、高周波数の動きおよび空間中の位置変化の双方としてみなされ得る。そのため、後続の呼吸の振幅はより高くなるかまたはより低くなり得るが、「健康な」呼吸は保持される。換言すると、検出された振幅の変化は、人の呼吸の変化に起因するのではなく、(ダウンコンバージョン後等の)抽出された受信呼吸信号強度の変化に起因し得る。そのため、新規な較正アプローチが可能になり、検出された距離を用いて、信号の強度と、呼吸の深さ(およびよって大体の1回換気量)とを関連付けることができることが理解される。このような動きまたは変位がみられない場合、(例えば閉塞イベント時の胸部および腹部上の矛盾的な動きに起因した)指定された持続期間の範囲の減少、停止または変化は、呼吸の異常(例えば、無呼吸−低呼吸イベント)として特定され得る。
実際的なロバストな心臓呼吸性推定システムが基づき得るのは、パラメータの局所化のための複数の方法だけであることが理解される。信号の質が高い場合、周波数(または時間の周波数)の推定において、局所的な呼吸の変動性の推定として可能性の高い呼吸数が局所化され得、その後、微細なピークおよびトラフ時間が抽出され、吸気体積および呼気体積(睡眠段階についての有用な特徴)の推定のためにレンジの較正が行われる。このような信号の質の計量は、経時的に変化することが期待される。測定された呼吸数に変動がある場合、異なる時間スケールにわたって処理を行うことができる(例えば、30秒、60秒、90秒、120秒、150秒にわたる平均値の算出または中央値のフィルタリング)。
ソナーの場合、例えば(例えば、RF感知システムのためのさらなる情報を提供するためにソナーを使用するためまたはその逆のために)呼吸数の推定のために他のさらなる感知信号が具現される場合、生の受信波形のエンベロープ(例えば、音響FMCW信号のエンベロープ)を主要なものとしてまたは二次的入力として処理することができる。これは、人の呼気の空気中の実際の外乱の検出の特性に基づく。これは、(例えば開いた窓、近隣の空調ユニット、近隣のヒータからの)他の強い気流がキャビン、室内または近傍に無いことを示すため、このような気流がある場合、気流による測定への影響を廃棄するか、または、そのような影響を環境内の気流の変化の検出に用いることができる。
低周波の動きがある領域を横切る際(すなわち、ある領域をわたって流れる摂動の際)、大きな空気の流れを検出できる傾向がある。残響が多い波形を感知した場合(例えば、1つの周波数のエネルギーが室内および関連付けられた室内モードにおいて蓄積することが可能な場合)、これはより明確になる。
一般的母集団(すなわち、正常な健康状態のユーザ、多様な健康状態のユーザ(例えば、睡眠無呼吸などの呼吸状態、COPD、心臓の問題)を含むもの)において機能する睡眠段階システムを考える場合、呼吸数および心拍数のベース線を大きく変化させることが可能であることが理解される。例えば、年齢、性別およびボディマスインンデックス(BMI)の差について考えてみる。女性の場合、類似の年齢およびBMIの男性よりも呼吸数のベース線が若干高くなり得る(しかし、4〜16歳の児童についての最近の調査によれば、統計的な差違はみられない)。BMIが高い者の場合、類似の年齢の他社の平均よりも呼吸が速くなる傾向がある。子供の場合、正常な呼吸数は、成人よりもずっと高い。
そのため、いくつかのバージョンにおいて、センサの型に関わらず例えば処理デバイス100と共に用いられるシステムは、ハイブリッドな構成(implementation)で構成され得る(例えば、初期信号処理およびいくつかの手作りの特徴(hand crafted features)を形成した後、ディープビリーフネットワーク(DBN)を適用する場合)。(ハイブリッドな構成には、人間の「手作り」によるデジタル信号処理(DSP)により導出された特徴と、機械学習された特徴とを組み合わせた混合物が必要になる)初期の監督下のトレーニングは、睡眠調査室または自宅PSGから世界中の複数の場所からのエキスパートスコア睡眠ポリグラフ(PSG)の夜間データセットを用いて行われ、スコア付けは、少なくとも1つのスコアラーにより指定のスコア付け方法を用いて行われる。さらなる監督無しのトレーニングが、感知方法を選択することのうち1つ以上により収集されたデータセットから行われる。その結果、睡眠調査室外の新規のより多様なデータを反映するようにシステムを発展させることが可能になる。
手作りの特徴(すなわち、人間の技術者またはデータサイエンティストが設計、選択および生成したもの)について、呼吸信号が関連信号品質レベルと共に抽出され、特定の対象の特徴は、異なる時間スケールにわたる呼吸数の変動性と、吸気時間および呼気時間の変動値とである。覚醒および睡眠についての個人的な呼吸数のベース線の推定値が形成される。例えば、覚醒時における呼吸数の変動性の短期間の変化はムードおよびムードの変化に関連し得る一方、睡眠時におけるこれらの変化は睡眠ステージの変化に関連することことが知られている。例えば、呼吸数の変動性は、REM睡眠時に増加する。呼吸数そのものにおけるより長期の変化は、精神状態の変化に関連し得る(例えば、メンタルヘルスのインジケータの提供)。これらの影響は、特により長い時間スケールにわたった比較および母集団規範値との比較時において、ユーザの睡眠時により重大な意味を持ち得る。
測定された呼吸数の変動性を、ユーザの状態(睡眠/覚醒)または睡眠ステージ(REM、N1、次にN2、次にSWS睡眠の最低値)を示すものとして用いることができる。例えば、正常な健康な人における一定期間(例えば15分間)にわたる正規化された呼吸数の変動性をみる場合、覚醒時において変動性が最大になることを確認することができる。この変動性は、全ての睡眠状態において低下し、REM睡眠において2番目に高くなる(が覚醒時よりは低くなり)、その後N1およびN2の順にさらに低下し、SWS睡眠において最低になる。余談であるが、呼吸に起因する空気圧力は、REM睡眠において増加する。このような増加は、検出された音響信号に影響を持ち得、静寂な環境またはより静寂な時間において検出され得る余分な特徴となり得る。
このような正規化された呼吸数の数値は、健康な人の場合に異なる位置(仰向け、うつぶせ、横向き)間において有意に変化すべきではない。しかし、正しい1回換気量に対する較正を行うことが望ましい可能性があることが理解されるべきである。例えば、ある人の睡眠時の平均の呼吸数は例えば13.2呼吸/分(BR/MIN)であり得る一方、別の人の平均は17.5BR/MINであり得るため、システムは、夜通し正規化され得る。どちらの速度も、睡眠ステージにおいて類似の変動性を示す。速度差は、睡眠状態の分類において考慮され得る変化をマスクするだけである。本システムは、他の目的(例えば、そのものにおける経時的比較または実際には類似の人口統計中のものとの比較)のために平均速度(または全般的速度グラフ)を検討し得る。閉塞性睡眠時無呼吸(OSA)の人の場合、呼吸の変動性は仰臥位置(仰向けに寝ること)において増加するため、ユーザの呼吸の健康を示すものとして有用である可能性があることが期待される。
混合型無呼吸または中枢性無呼吸が混ざった対象者の場合、覚醒時において呼吸の変動性が((有用なバイオマーカーである)正常な対象者よりも)大きくなる傾向がある。閉塞性無呼吸の対象者も、覚醒時において正常値に対して変化を有するが、その場合の変化はそれほど明確ではない(が、多くの場合において存在している)。
人の特定の睡眠パターン(例えば、呼吸の変動性)は、システムによって経時的に学習され得るため、教師なし学習を行うことが可能なシステムが当該分野において展開されれば、大変望ましい。
これらのパターンは、呼吸が部分的または完全に停止する(かまたは気道閉鎖発生時において胸部および腹部に矛盾的な動きが発生する)ため、夜間において(すなわち、睡眠セッション時において)変化し得、睡眠時に発生する無呼吸による影響を受け得る。この問題に対処する1つの方法として、睡眠ステージを計算する場合、検出された無呼吸(および呼吸数の関連付けられた変動)の期間を抑制する方法があることが分かる。すなわち、当該時点における睡眠ステージの分類を試行する代わりに、無呼吸およびミクロ覚醒の可能性にフラグ付けすることができる。周期性呼吸パターン(例えば、チェーンストークス呼吸(CSR))の場合、強い変動パターンが出現する。これらは、睡眠前処理ステージ時にも検出され得る。CSRは任意の睡眠ステージにおいて発生し得るものの、ノンレム睡眠においては休止がより規則的になり、REM睡眠においてはより不規則になる(CSRの対象者の睡眠段階の精緻化のためにシステムが利用することが可能な情報)。
同様に、呼吸波形のモーホロジー(morphology)に関連する高調波を全て抑制する処理ステップにより、心臓信号を抽出することができる。特定のパターン(例えば、閉塞、混合または中枢性無呼吸)が、関連する任意の回復呼吸および息切れ関連の動きと共に検出される。心臓信号から、生理学的に妥当な心拍数数値に基づいて心拍間の「心拍数の変動性」(HRV)信号を推定する。スペクトルHRV計量の計算が可能である(例えば、平均の呼吸の周波数のログ出力、LF/HF(低周波/高周波)比、正規化HFのログ)。
心拍間の時間(HRV波形)のHFスペクトルは、範囲0.15〜0.4Hzの累乗であり、2.5〜7秒の副交感神経の活動または迷走神経の活動(呼吸洞性不整脈(RSA))のリズムに関連し、「呼吸バンド」とも呼ばれる。
LFバンドは0.04〜0.15Hzであり、安静時の圧受容器活動を反映すると考えられている(いくつかの調査によれば、心臓交感神経の支配と関係があり得ることが示唆されている)。
VLF(極低周波)HRV出力は、0.0033〜0.04Hz(300〜25秒)であり、数値低下は、不整脈および心的外傷後ストレス障害(PTSD)に関連する。
HRVパラメータは、時間領域の方法を用いて抽出することもできる(例えば、SDNN(より長期の変動性を得るための正常な心拍間のインターバルの標準偏差)およびRMSSD(短期変動性を得るための連続的心拍間隔差の根二乗平均))。RMSSDは、心房細動などにみられるような不規則に不規則な心拍間の挙動のスクリーニングに用いることも可能である。
HRVについて、計算されるようなLF/HF比のシフトは、検出可能なノンレム睡眠特性であり、REM睡眠時の「交感神経性」HF優位(これは、交感神経/副交感神経間のバランスに関連し得る)へシフトする。
より一般的には、典型的にはREM睡眠におけるHRVの増加が多い。
呼吸数および心拍数信号のより長期の平均または中央値は、特に何らかの介入(例えば、投薬、治療、病気の(肉体的または精神的な)治癒、健康レベルの変化、睡眠習慣の経時的変化)がある場合、経時的分析を行う際に特定の人にとって重要である。人と人を直接比較する場合、(極めて類似のグルーピングに対してではない限り)若干有用性が低くなる。よって、呼吸の変動性の特徴および心臓の変動性の特徴について、これらの特徴を正規化(例えば、計量に適した平均除去、中央値除去など)すると、母集団にわたる一般化の改善に繋がり得るため、有用である。
抽出された特徴のさらなる分析において、ディープビリーフネットワーク(DBN)を利用することができる。このようなネットワークは、制限ボルツマンマシン(RBM)、オートエンコーダおよび/またはパーセプトロンの構築ブロックにより構成される。DBNは、これらの抽出された特徴からの学習の際に特に有用である。DBNは、監督無しに利用可能であり、その後、ラベル付けされたデータ(すなわち、人間の専門家の入力によって確認されたデータ)により訓練される。
人間により手作りされた「例による学習(learning by example)」により抽出された例示的な特徴は、DBN上へ送ることができ、以下を含み得る。すなわち、無呼吸の種類および位置、異なる時間スケールにわたる呼吸数およびその変動性、呼吸、吸気時間および呼気時間、吸気および呼気の深さ、異なる時間スケールにわたる心拍数およびその変動性、心弾動図心拍形状/モーホロジーの動きおよび活動種類(例えば、全身の動き)、PLM/RLS、信号の質(測定値の経時的完全性)、ユーザ情報(例えば、年齢、身長、体重、性別、健康状態、職業))。他の統計パラメータも、計算することが可能である(例えば、信号の歪度、尖度、エントロピー)。DBNは、そのもののいくつかの特徴を決定する(これらの特徴を「学習する」)。DBNが何を表現しているのかを正確に理解することが困難であり得るが、人間よりも上手くジョブを行うことが多い。問題点として、悪い局所的最適条件において終了し得る点がある。特徴を「学習」した後、システムは、一定のラベル付けデータを用いてこれらを微調整することができる(例えば、人間の専門家によるデータ入力により、特徴のスコア付けが可能になる(1人の専門家または数人の専門家によるコンセンサスによる))。
DBNは、入力パラメータからの新規特徴を直接学習することもできる(例えば、呼吸波形からのもの、活動レベル、心臓波形、ローオーディオサンプル(ソナーの場合)、I/Q生体動きデータ(ソナーまたはレーダーの場合)、強度レベルおよび色レベル(例えば、赤外線カメラデータからのもの)。
手作りの特徴のみを利用する機械学習アプローチは、「浅い学習(shallow learning)」アプローチであり、性能レベルにおいてプラトー(plateau;停滞状態)に到達する傾向がある。これと対照的に、「ディープラーニング」アプローチの場合、データサイズの増加と共に向上し続けることができる。上記したアプローチにおいて、(DBNの場合において)ディープラーニングを用いて、古典的な機械学習のために新規な特徴を生成する。(例えば、新規な特徴の取得、特徴の性能による特徴選択の選別(winnowing)、ICA(独立コンポーネント分析)またはPCA(主要コンポーネント分析)(すなわち、次元縮退)によるホワイトニングを行い、デシジョンツリーに基づいたアプローチ(例えば、ランダムフォレストまたはサポートベクトルマシン(SVM))を用いて分類する。)
ここで用いられるようなフルディープラーニングアプローチの場合、このような特徴選択ステップが回避されるため、人間の母集団においてみられる膨大な多様性の範囲をシステムにおいて使用しない点において、有利性があるとみることができる。その後、新規特徴が、ラベル付けされていないデータから学習され得る。
これらのマルチモード信号のための1つのアプローチとして、ディープビリーフネットワークを各信号について訓練した後、連結データについて訓練する。その根拠として、特定のデータストリームは、一定期間にわたって単に有効ではない場合があることがある(例えば、心臓信号の質が利用可能な閾値を下回っているが、質の高い呼吸、動きおよびオーディオの特徴信号が利用可能であり、その場合、心臓データから学習または導出された特徴は、当該期間について無意味になる)。
分類のため、シークエンスに基づいたアプローチ(例えば、隠れマルコフモデル(HMM))を適用することができる。このようなHMMは、睡眠ステージの分離、(病院睡眠調査室PSGシステムを介して提供され得るような)出力睡眠グラフの段階型「睡眠アーキテクチャ」へのマッピング、異常な睡眠ステージ切り換えのために、出力においても任意選択的に利用することができる。しかし、睡眠が漸次的な生理学的なプロセスであると認識する場合、システムを少数の睡眠ステージに強制しないことを好む場合があり、システムが漸次的変化を獲得すること(すなわち、「介在型」睡眠状態をより多く有すること)が可能になる。
隠れ層(hidden layer)の無い、より単純な状態機械アプローチが可能であるが、各々が固有の人間の生理学的な特性および挙動を有する睡眠者の大きな母集団を一般化する問題が最終的に発生し得る。他のアプローチが、条件付きランダムフィールド(Conditional Random Fields;CRF)またはその変形としてある(例えば、隠れ状態(Hidden State)CRF、潜在的ダイナミック(Latent Dynamic)CRF、または条件的ニューラルフィールド(CNF)または潜在的ダイナミック(Latent Dynamic)CNF)。長期短期メモリ(LSTM)は、特に(正常な健康な睡眠者においてより典型的な)シークエンスパターン認識への適用時において高い弁別能力を有し得る点に留意されたい。
準教師付き学習には、回帰神経回路網(recurrent neural network;RNN)を用いることができ、ラベル付けされていないデータ中の構造を発見する際に有効であり得る。RNNは、標準的な神経回路網構造であり、入力、隠れ層および出力を備える。これは、シークエンス入力/出力を有する(すなわち、次の入力は、先行出力に依存する(すなわち、隠れユニットは、グラフアンローリングおよびパラメータ共有技術を用いて情報を伝達させる回帰接続を有する))。LSTM RNNは、自然言語処理アプリケーションにおいて周知である(勾配爆発問題および勾配消失問題に対処するためにLSTMを用いる)。
睡眠開始の検出において、発話認識サービスが実行されているとき、ユーザによる声コマンドを「覚醒」の第2の決定要素として用いることができる(これは、無意味な寝言と混同されるべきではない)。個人用のスマートデバイスが用いられる場合(ユーザによってロック解除され、入力、加速度計の動き、ジャイロスコープが用いられる場合)、これも、他の睡眠/覚醒感知サービス拡張のための覚醒決定要素として用いることができる。
[睡眠アーキテクチャおよび睡眠スコアおよび他の動き特性]
低周波超音波システムおよび技術を用いた上記感知動作は、人の存在/不在、人の動きおよび複数のバイオメトリック特性の検出のために具現され得る。多様なパラメータを推定することができる(例えば、呼吸数、呼吸の相対的振幅(例えば、浅い、深い)、心拍数および心拍数変動性、動きの強度および持続期間、および活動係数)。次に、これらのパラメータのうち1つ以上を用いて、対象が覚醒しているかまたは睡眠中であるかを決定し、睡眠中である場合には睡眠ステージ(浅いN1またはN2睡眠、深い睡眠またはREM睡眠)を決定し、次に来る可能性のある睡眠ステージを予測することができる。このような特性解析の方法は、例えば下記に記載の動き信号の処理および/または生成のための技術に従って実施することができる。すなわち、国際特許出願PCT/US2014/045814(出願日:2014年7月8日、国際特許出願PCT/EP2017/073613(出願日:2017年9月19日)および国際特許出願PCT/EP2016/080267(出願日:2016年12月8日)ならびに本明細書中に上記した特許出願のいずれかである。
システムにより可能になるものとして、睡眠完全自動のシームレス検出と、2人以上の人の睡眠を1個のデバイスから検出することができる能力とがある。2人以上の人の睡眠の検出方法については、例えば、スマートスピーカまたは処理デバイスからの異なる範囲内に異なる対象がいる状態において、動きの評価をデバイスの個別の感知範囲に従って行う。例えば、例えばPCT/EP2017/073613に記載のように、音響感知波形を処理して、処理デバイスからの異なる範囲を検出することができる。次に、スマートスピーカの処理は、異なる範囲の動き特性の評価を異なる時間ダイナミックレンジモニタースキームにおいて行うように構成され得(PCT/EP2017/070773に記載)、これは、異なる範囲における感知が可能なように検出範囲を自動的に周期的に変化させることによって行われる。任意選択的に、感知波形について、本明細書中に記載のような複数の範囲における同時感知を可能にするような符号化スキームを利用することができる。
睡眠開始の高精度検出を利用すれば、自宅スピーカがホームオートメーション/モノのインターネット(IoT)プラットフォームへインターフェースされている場合は特に、例えば1つ以上のサービス制御信号(単数または複数)の生成により、一定範囲のサービスが可能になる。例えば、ユーザが寝入った場合、自宅の照明を調光または色変更する(例えば、白色から赤色にする)ことができ、カーテンまたはブラインドを自動閉鎖させることができ、サーモスタット設定を調節して睡眠環境の温度を管理することができ、音楽再生の音量を下げて、時間と共にオフにすることができる。ユーザの全身動きを検出することが可能な検出器の能力は、自動化された機器の制御の基盤として機能し得る。例えば、ユーザが夜間に覚醒して歩き回った場合、この動きを(生成された音響生成および感知処理によって)スマートスピーカにより検出することができ、その後、スマートスピーカは、その特定の動きの感知に基づいて、自動化照明の設定の変更を制御することができる。例えば、これにより、レストルーム/トイレへの経路を可能にしつつ睡眠を過度に妨害しない位に、ほの明るい通路用照明を点灯させるように制御することができる(例えば、ベッド下側周囲のLED)。この点について、機器制御応答により、デバイスをオンおよびオフに設定することができるし、あるいは、機器において段階的レベル変化(例えば、強光照明対弱光照明)を提供することができる。デバイスは、異なる動きまたは睡眠に関連する検出に応答する所望のシステム制御挙動をユーザが事前選択することができるように、構成可能なセットアッププロセスを有し得る。
本システムは、人の睡眠セッション全体を自動的にキャプチャすることができ、ここで、就寝時間、就寝時刻、実際の睡眠時間、覚醒、最終覚醒などの各ステージがキャプチャされる。睡眠フラグメンテーション、および睡眠効率を、当該人物について推定することができる。記載のソナーセンサはPCT/US2014/045814に記載のRFセンサと若干異なるものの、動きの決定および/または睡眠関連パラメータの測定の後、睡眠スコアの推定を上記したような方法により行うことが可能である。健康な人の場合、典型的な睡眠スコア入力パラメータには、次が含まれる。すなわち、合計睡眠時間、深い睡眠(熟睡)時間、REM睡眠時間、浅い睡眠時間、中途覚醒(WASO)時間、および睡眠開始(入眠)(睡眠までにかかる時間)。睡眠スコアは、人の年齢および性別を任意選択的に用いて、正規化スコア対その母集団基準(規範値)を提供することができる。この計算において、履歴パラメータ値も利用することができる。
[マスキング音]
スマートスピーカを用い、自身のスピーカ(単数または複数)を介してマスキング音を生成させることができる。例えば、スマートスピーカには、従来からのマスキング音であるホワイトノイズを生成させ得る。このようなマスキング音は、他の不快感の原因になり得る環境ノイズを被覆し得るため、マスキング音と共に睡眠をとることを好む人が存在する。例えば感知されるノイズと比較して位相が反転した音を生成させることにより、他のマスキング音を音キャンセリングノイズとすることができる。沈静用のマスキングノイズにより、システムを用いて、成人または乳児の睡眠支援および呼吸のモニターを支援することができる。場合によっては、例えばシステムが超広帯域(UWB)スキームの利用により低超音波音響感知を生じる場合、マスキングノイズそのものを感知音響信号にすることができる。
[睡眠開始サービス]
プロセッサまたはマイクロコントローラは、例えば音響感知による典型的な過去の睡眠ステージまたは記録された睡眠ステージ(historic sleep stage)の決定および/または睡眠ステージのサイクルのタイミングに基づいて、次の睡ステージまたは現在の睡眠ステージの予測される長さを予測するように構成され得る。このような予測により、機器(例えば、音声源および照明光源)の変更を制御することが可能になる(すなわち、スマートスピーカまたは処理デバイスは、例えば無線制御信号により機器を制御することができ)、(上記したように)機器を調節することができる。例えば、スマートスピーカは、「常時オン」(日中および夜間)である連続感知と共に構成され得る。よって、例えば人が存在しているとき、(完全な睡眠セッションにしろ昼寝にしろ)人が睡眠中であるとき、覚醒しているとき、不在のときの期間を自動的に特定することが可能になる。スマートスピーカは、ユーザが寝入り始めたときおよびユーザが覚醒し始めたときを特定し得る。このような検出により、システムは、デバイスの近くにおいて何者から寝入ったことを検出し、この検出に応答して、(スピーカ(単数または複数)、TVなどのオーディオコンテンツの)再生音量を低減させ得る。その後、当該人物がより深い睡眠のフェーズになったことをデバイスが検出した場合、5〜10分後に音量およびTVなどをオフにすることができる)。このような検出は、自動調光、自動化強盗アラームのセット、暖房/空調設定の調節、関連付けられたスマートデバイス(単数または複数)(例えば、スマートフォン)上の「入室御遠慮ください」の機能の起動などのための制御決定としても機能することができる。
この処理により睡眠が検出されると、スマートスピーカまたは処理デバイス100は、音声アシスタントのプロンプトをディスエーブルすることができ、これにより、人を偶然に覚醒させてしまう事態の回避を支援することができる。このようなプロンプトは、事前規定された目覚ましウィンドウ(例えば、事前選択された睡眠ステージから人を起こして「スマートアラーム」として機能し、睡眠慣性をできるだけ最小限にするためにプロンプトを許可すること)までディスエーブルされ得る。
処理デバイスは、感知空間中において検出された人の数に応じて、このような制御決定を行い得る。例えば、ベッド内に人が2人おり、そのうち1人は睡眠中であり他方は覚醒しているとデバイスが検出すると、システムは、例えば音声アシスタントの音量を(音声アシスタントの使用を可能にしつつ)可能な最小音量まで低下させるように、音量設定を制御し得る。その結果、覚醒している人はデバイスを聞くことができ、かつ、デバイスに起因して睡眠中の人が目を覚ます危険性を最小にすることができる。逆に、少なくとも1人の覚醒中に人が検出されかつ少なくとも1つ人の睡眠中の人が検出されたときに媒体中のコンテンツが再生されている場合(例えば、音楽または映画)、デバイスは、この覚醒している人のために、媒体音量を下げることをしないかまたは当該媒体の音量を少しだけ下げ得る。次に、残りの人(単数または複数)も寝入ったことをデバイスが検出した場合、このデバイスは、媒体コンテンツをさらに低下およびオフにし得る。
場合によっては、処理デバイスは、処理デバイスの室内のユーザ(単数または複数)の位置および/または存在の検出に基づいて、音量レベル(可聴のオーディオコンテンツの音量)の調節を制御し得る。例えば、ユーザの存在の検出が無い場合、音量を下げても良いし、あるいは上げてもよい。デバイスは、例えば、デバイスからの距離の増加と共に音量を高くしかつ/またはデバイスからの距離の低減と共に音量を低くすることにより、検出された位置(例えば、処理デバイスまたは特定の場所(例えば、ベッド)からの距離)に基づいてまたはこの検出された位置の関数として、音量調節も制御し得る。さらなる例として、ユーザがベッドにいることを処理デバイスが検出した場合は音量を下げることができ、あるいはユーザがベッドから離れていることが検出された場合は音量を上げてもよい。
[覚醒開始サービス]
システムは、いくつかの覚醒シナリオについてサービスを提供することができる。例えば、ユーザが夜間に覚醒した場合、そのユーザは、例えば瞑想プログラムを個人用フィードバックと共に用いて、ユーザが再び眠ることを手伝う音声アシスタンスを受けることができる。音声アシスタンスの代わりにまたは音声アシスタンスに加えて、システムは、他のパラメータおよび接続された機器設定の変更を制御することにより、当該人物が再度眠りに落ちることを促すことができる。これの例を挙げると、例えば、温度設定の変更、照明設定、例えばTV、表示パネル上への画像投影またはプロジェクターによる投影画像生成、例えば接続された/スマート寝台加振器によるベッド振動の起動の制御がある。例えば、乳児の睡眠の場合、(例えば深い睡眠ステージから浅い睡眠ステージへの変化および身体の動きの増加を検出することにより)その乳児が覚醒しそうになっていることまたは覚醒していることを音響動き感知デバイスが検出した後、ロッキングクレードルを起動させることができる。任意選択的に、オーディオコンテンツを再生(例えば、子供向けの曲または音楽のスマートデバイスのスピーカ上での再生)してもよいし、あるいは、自動化された形態の読み聞かせを再生してもよい。これにより、睡眠時間または親が乳児への付き添いを遅延させることが可能な時間の増加が支援され得、落ち着きのない乳児または幼児の親に大いに必要な休憩がもたらされる。
ユーザがアラーム時間ウィンドウを設定した場合、処理デバイスは、ユーザの目覚ましのために適した睡眠ステージ(通常は浅い睡眠ステージ)を探すために、ユーザの睡眠ステージをモニターすることができる。このようなステージが無い場合、処理デバイスは、微弱光および音を積極的に導入して、ユーザを別のステージ(例えば、深い睡眠ステージまたはREM睡眠ステージ)から浅い睡眠および次に覚醒状態へと誘導することもできる。このようなスマートアラーム処理デバイスは、さらに接続されたホームオートメーション機器機能を制御するようにも構成され得る。例えば、ユーザの覚醒が検出された場合、処理デバイスは、機器らと通信して、例えば、自動化されたカーテン/ブラインドを開けて覚醒状態を高めること、自動化トースターオーブンが朝食を温めるようにすること、自動化コーヒーマシンにコーヒーを入れ始めさせることなどが可能である。
バイオメトリック感知を用いて昼寝プログラムを構成することも可能である。これにより、午後3時半頃にアポイントメントがあるためその頃には頭がさえている必要があることを知りながら昼寝をすることが可能になる(すなわち、光および音の刺激を用いて、昼寝途中に熟眠からすぐ目を覚まさないようにするか、もしくは深い睡眠に全く入らないようにして、目を覚ましたときに朦朧とした状態にならない)。
[睡眠向上サービス]
ユーザの最近の傾向および年齢、性別およびライフスタイルなどが似た人の母集団基準に基づいてユーザの睡眠挙動(睡眠衛生)を向上させるために、アドバイスをユーザへ送達させることができる。
記載のシステムにより、ユーザからのフィードバックの収集がさらに可能になる。フィードバックは、ユーザの現在の感じ方、ユーザの昨晩の眠りの具合、提供されたアドバイス、医薬品またはエクササイズの利用は有益であったかなどに関連し得る。任意のこのようなフィードバックを、入力デバイスを介して収集することができる。一例において、これは、スマートフォンのキーボードであり得る。スマートスピーカが個人用オーディオアシスタントアプリケーション機能を含む場合、ユーザからのフィードバックの誘導および処理を音声を介して行うことが可能である(例えば、ユーザの状態についての質問の回答、ユーザの感じ方についての質問、ユーザへの個人用フィードバックの提供(例えば、ユーザの眠気および疲労状態についてのデータの提供))。よって、システム(例えば、処理デバイス)は、自然言語処理のためのソフトウェアモジュールと共に構成され得る。このソフトウェアモジュールは、会話型インターフェースとして、例えば音響的に感知された動き信号の評価に基づき得る情報を処理デバイスから得るためのシステムとの会話誘導型シーケンス(例えば、可聴の言語コマンド/クエリ)を提供する。例示的な自然言語処理モジュールまたは会話型インターフェースは、Google Cloudプラットフォーム、DialogFlow Enterprise development suiteにより具現され得る。
一例として、多室または多床の建物内に1組または複数の処理デバイス100がある場合について検討する。音響ベースの感知を用いた処理デバイス100がキッチンに配置され得、1つが寝室内に配置され得る。朝食の準備時において、人は、「OKグーグル、私の睡眠はどうだった」と言語的に訊くことにより、自身の睡眠情報についてクエリを生成することができる。これに応答して、処理デバイスは、別の処理デバイス100(すなわち、寝室中のもの)の音響ベースの動き感知アプリケーションによって検出され得る前夜の睡眠セッション(および前夜からの傾向)から睡眠パラメータを検索し得る。処理デバイスへのこのようなクエリは、例えばFitbit、Garmin watch、ResMedS+および(例えばクエリされた睡眠に関連するデータを含む)他の任意のウェブサイトまたはネットワーク型サーバからの記録セッションデータの取り出しにも同様に適用され得る。
そのため、人は、自身の睡眠についてのアドバイスをいつどのような形態で受け取るかについて、選択することができる。この点について、睡眠管理システムは、睡眠アドバイスナゲットを対話型にオーディオコンテンツを通じて送達または提示することができる。オーディオコンテンツは、質問および応答の言語的な問い合わせを介して処理デバイス100のマイクロフォン(単数または複数)およびスピーカ(単数または複数)を用いて提示される。睡眠管理システム(例えば、PCT/US2014/045814に記載の睡眠管理システム)からのアドバイスは、処理デバイス100を介して送達され得、睡眠習慣の変化、ライフスタイル変化または実際の新製品推奨に関連し得る。
例えば、処理デバイス100のスピーカおよびマイクロフォンを用いた例示的なクエリ/回答問い合わせセッションにより、以下の出力が生成され得る。すなわち、「こんにちは、レドモンド。あなたの最近の睡眠細分解析、あなたの購入履歴および日中の不快指数に関するあなたについてのレポートによれば、マットレスを新調すると恩恵が得られる可能性があります。プレミアムな新規の内部コイルスプリング付きマットレスが、特別販売価格の割引価格で販売されています。メモリフォームのオプションはお好みではなかったようなので、こちらをお勧めしています。ご注文されますか?」。このような内容の収集および生成は、インターネットの1つ以上の検索および記録されたユーザデータと、処理デバイスによって行われた睡眠状態検出とに基づいて行われ得る。
そのため、システムにより、例えば音響的に行われる睡眠検出および対話型の言語通信(ユーザと処理デバイス100の音声アシスタントアプリケーションとの間の会話)に基づいたフィードバックおよびさらなる動作が可能になる。このようなフィードバックおよび動作は、処理デバイスアクセス環境データ(例えば、音データ、温度データ、光データ)に基づき得るため、検索または他の場合に環境関連システムおよびセンサによる検出が可能になり得、環境システムの動作の制御のための制御信号の生成が含まれ得る。このようなプラットフォームの生成された出力により、例えば睡眠状態に対処するための関連製品を人々に提案および販売することも可能になる。例えば、自然言語を用いたプラットフォーム上においてシステムを展開させることにより、システムとの有向会話が可能になる。次に、(睡眠関連メッセージの送信のみではなく)処理デバイス100との対話により、個人向けの睡眠アドバイスを提示することができる。例えば、ユーザが処理デバイスに対し「オッケーグーグル、僕/私の昨晩の睡眠はどうだった?」と聞くと、「こんにちはレドモンド。こちらは、ResMed睡眠スコアアプリケーションです。あなたの昨晩のスコアは38でした。うーん、低いみたいだね。」、「何があったのかな?」、「そこで、睡眠環境およびあなたの呼吸パターンにいくつか問題があることを発見しました。詳細を知りたいですか?」、「もちろん!」、「寝室の温度が華氏77度(25℃)でした。これは暑すぎます。今晩、ベッドに入られる1時間前に空調を作動させることが可能です。そうしてよろしいですか?」、「うん、お願い。」、「呼吸について教えてくれる?」、「昨晩、あなたは大きないびきをかいていたことが検出されています。夢をみているREM睡眠のときに、呼吸にギャップがみられました。これについてご説明しましょうか?」、「うん、お願い。どういう意味があるのかな?」、「昨晩のあなたのいびきは大きかったです。呼吸パターンが何回か妨害されていました。これが低スコアの原因です。日中に疲労感を感じることが多いですか?」、「うん。疲労感を感じるよ。」、「医師に電話をかけて、この症状について相談しますか?あなたの健康プランの場合、相談の最初の10分間は無料です。」となる。
このような対話のため、例えばネットワーク上のサポートサーバの処理と共に機能する処理デバイス100は、柔軟性および取扱範囲の向上のために人工知能(AI)プロセスを含み得る。このような向上は、例えば以下の情報の組み合わせによって可能になる。例えば、検出された日中の活動(例えば、検出されたエクササイズまたは階段情報からの情報(例えば、記録されたユーザデータ)ならびに例えばウェラブルGPS、加速度計、心拍数センサおよび(動き感知などを通じてこのような情報も検出することが同様に可能な)他の活動モニタからの心拍数ならびに個人向けサービス(例えば、検出データの組み合わせに基づいた睡眠関連アドバイスおよび製品オファー)の送達のための検出された睡眠情報である。
[バイオメトリック認識サービス(セキュリティ感知も参照)]
人認識と、上記に概要を述べたような生活環境中の機器の制御と、クラウドサービスとのデータ交換とのために、バイオメトリック特徴を用いることができる。例えば、生理学的な動きの信号(単数または複数)から導出された動き関連特性の分析により、バイオメトリック認識を具現することができる。このような動きベースのバイオメトリック方法は、PCT/EP2016/058789に記載のものであり得る。よって、同文献中に記載のようなバイオメトリック同定は、本明細書中に記載の音響ベースの感知方法から導出された動き信号に基づき得る。
超音波感知を用いた人認識の実行により、処理デバイス100は、バックグラウンドノイズと音響感知信号とを識別し、デバイスの近くの人の存在の確認のために用いられる。そのため、いくつかのバージョンにおいて、処理デバイス100は、ビーム形成プロセスを作動させるように構成され得る。ここで、異なるチャンネル(異なるスピーカ信号)に適した遅延が学習されることにより、音響信号受信のタイミングを、検出した際の近傍およびスピーカ位置に関連する差に合わせて調節することができる。よって、システムは、検出領域を(例えば詳細なレンジ検出および対象物追跡のために)さらに局所化するためのビーム形成を用いることができる。対象の存在が感知した際の近傍において検出されたとき、このようなプロセスをセットアップ手順または調節手順として実行することができる。
上記したように、低周波超音波により、高度なセキュリティ感知プラットフォームを得ることができ、例えば、処理デバイス100が検出範囲内に対象の不在/存在を検出した場合および/またはそのような不在/存在を検出するまでに、バイオメトリック信号処理に基づいて人を検出および特定する。
場合によっては、処理デバイス100は、さらに自身の感知信号を適合させて、少なくとも2つのモードを提供することができる。1つのモードは、モニターされた領域へ人が進入したときを検出することを意図する一般モニターモードを含み得、異なる検出スキーム(例えば、UWB、CW、FMCWなど)を存在検出のために用いることができる。モニター領域内において人の存在が検出された後、システムは、拡張レンジングおよび任意選択的に心臓感知、呼吸感知モードなど(例えば、デュアルトーンFMCWまたは(A)FHRG)へ切り替わり得る。次に、例えば人の「シグネチャ」パラメータが、処理デバイス(例えば、記録データ)または処理デバイスと協働する別のデバイス(例えば、ネットワーク型サーバ)からアクセス可能である場合、検出されたパラメータ(例えば、心臓パラメータ、呼吸パラメータ、全身動きパラメータなど)を用いて、人を特定することができる。あるいは、このようなシグネチャが記録データに関連して認識されない場合、処理デバイス(または協働サーバ)は、別の人が感知する近傍に進入したと決定し得る。
よって、システムは、デバイス周囲の領域を感知することにより、未知のまたは認識されていない生体動き信号あるいは認識されていないジェスチャーを検出することができる。このような検出に基づいて、システム(例えば、処理デバイス)は、不要な可能性のある存在についての警告または他のメッセージを起動または通信し得る。1つの実際的例において、スマートフォンから警告が送られる。音響感知方法および同定方法を介して、認定されたオーナー以外の何者かが電話機を使用または使用を試行していると電話機が検出した場合、当該スマートフォンは、自身が忘れられた/放置されていると決定し得る。
別の例において、Google Homeスマートスピーカまたは他のスマートスピーカまたは処理デバイスは、アパートメント、部屋または家屋のモニターを音響感知を用いて行うことができ、極めて知的な侵入者アラームとして機能することができる。例えば、処理デバイスは、例えば動きが不在である期間の後、アパートメント内において動きを検出し得る。これに応答して、処理デバイスは、1つ以上の自動化された機器を制御し得る。例えば、この検出に基づいて処理デバイスによって生成または開始された制御信号により、二次照明が点灯され得る。この処理により、例えば当該人物に対して名前を言うように可聴的に質問することにより問い合わせをスピーカを介して開始することもでき、あるいは、可聴的にようこそを提供することも可能になる。その後、当該人物は、「レドモンドだよ」と言う。処理デバイスは、特定の既知の人に関連した言語シグネチャの特定を試行すること(例えば、この可聴の応答と、事前記録された可聴の応答との比較(例えば、音波分析))により、この応答の評価をマイクロフォンを介して行い得る。このスピーチが認識された場合、処理デバイスは、呼び掛け/応答問い合わせを終了し得る。応答が無い場合または処理デバイスが言語シグネチャを認識しない場合、処理デバイスは、例えば自身の通信インターフェースを介して他のサービスと通信し得る。例えば、処理デバイスは、ネットワークまたはインターネットを介して、(例えば、メール、テキストメッセージ、記録された音声メッセージなどの生成の電話機による制御により)侵入があった旨を別の人またはオーナーに通知することができる。換言すると、処理デバイスは、任意選択的に1つ以上のさらなるシステム処理デバイスまたはサーバと共に、次を実行する。すなわち、音響的検出、可聴の呼び掛け、可聴の認証、および権限付与あるいはアラームまたは警告メッセージの通信である。さらに、任意選択的に、例えば音声認識の代わりにまたは音声認識に加えて、処理デバイスは、例えば呼吸数および心拍数の検出により、上記したような動きベースのバイオメトリック認証を行うことができ、これにより、処理デバイスの近傍の人の認証または2次認証の手段を提供する。
処理デバイスは、例えば当該人物の言語シグネチャが認識された場合にさらなるプロセスを行うように構成され得る。その場合、例えば、処理デバイスは、さらなる会話型問い合わせに例えば照明点灯後に連動し得る。処理デバイスは、当該人物に対し、今までどこにいたのかと質問し得る。例えば、外出前に、当該人物(レドモンド)は、ジムに行くつもりだと処理デバイスに向かって言っておくようなこともできるし、あるいは自身の携帯電話またはエクササイズデバイス上の追跡サービスを連動させ、これにより、追跡位置を(例えばGPSを介して)処理デバイスと共有するようにしておくこともできる。処理デバイスが人の存在音響検出し(そして任意選択的にユーザ/レドモンドを認識した場合)、処理デバイスは、次のような会話を開始し得る。すなわち、「レドモンド、ジムはどうどうでしたか。個人記録は更新できましたか?」である。処理デバイスは、無線デバイスの到着を検出し、データダウンロードを開始することもできる。例えば、処理デバイスは、無線で有効とされる動き/ヘルストラッカー(例えば、Bluetooth Fitbit)を検出し得、歩数、心拍数または他の活動パラメータをダウンロードし得る。このようなデータは、特定人物の認証/認識の信頼性の証明としても機能し得る。次に、処理デバイスによって生成されたさらなる会話は、ダウンロードされたデータに基づき得る(例えば、スピーカを介した可聴の応答の提供)。他のパラメータ(例えば、カメラベースの顔認識または身体認識)を、マルチモーダル同定において(例えば処理デバイスによって制御され得るカメラ機器を備えた)デバイスによって開始することもできる。
非侵入者アラーム構成の場合または当該人物が既に特定されている場合、室内において検出された動きを、照明変更制御の根幹として機能させることが可能である。例えば暗闇が検出された場合(暗闇は、時間/タイムレコーダーによってまたは処理デバイスへ接続された光センサによって判定され得る)、処理デバイスは、ホームオートメーションまたは処理デバイス100自身の光源を介して照明をオンにするかまたは照度を増加させるための制御信号を生成させ得る。
CW音響感知モードは、室内の通風(気流)を検出し、例えば処理デバイスによるリマインダの生成の根幹として機能することができる。このようなリマインダは、例えば、窓を開けっ放しにして外出したかまたはファンが作動している可能性があるなどの旨の、スピーカを通じた人への可聴の会話型メッセージなどを有する。場合によっては、このような通風の存在または不在の検出に基づいた処理デバイスの制御信号により、自動化ファン機器を起動または起動解除することができる。
[範囲検出]
処理デバイス100のスピーカ(例えば、本明細書中に記載の音響感知方法を用いたもの)からの1人以上の人の距離を検出することにより、スピーカを通じたオーディオを介してまたは他のホームオートメーションサービス(例えば、機器)を通じて異なるサービスの送達が可能になる。例えば、処理デバイスは、例えば音声アシスタントアプリケーションについて処理デバイスのスピーカ(単数または複数)の音量レベルを、スピーカからの検出された距離に基づいた適切なレベルに設定することができる(例えば、距離が大きい場合はより音量を大きくし、距離が小さい場合は音量を小さくする)。そのため、検出されたユーザ距離に基づいて、音量を自動的に変更することができる。
いくつかのバージョンにおいて、他の検出が、距離検出の向上としても機能することができる。例えば、レンジ情報は、他のセンサ(例えば、赤外線コンポーネント(例えば、IR近接センサ))から導出され得る。距離検出を組み合わせることにより、レンジ(または実際には速度)の推定の精度の増加が可能になる。
近接場マイクロフォンおよび遠方場マイクロフォンからのデータを用いれば、(双方の種類のマイクロフォンが同一ハードウェア上に設けられている場合は特に)ソナーエコーの局所化の向上も可能になる。
[ジェスチャー制御]
処理デバイスは、ジェスチャー認識を本明細書中に記載の音響感知方法に基づいてかつ生理学的な動きの信号の処理を用いて行うようにも構成可能である。例えば、処理デバイスは、特徴的ジェスチャー(例えば、PCT/EP2016/058806に記載のような動き信号からの特定の手の動き、腕の動きまたは足の動き)を認識するように構成され得る(例えば、生理学的な動きの信号の導出を本明細書中の音響感知方法によって行う場合)。そのため、処理デバイスによる制御が可能な処理デバイスの機能および/または自動化機器の機能の調節を、検出されたジェスチャー(例えば、スピーカの音量を大きくするための時計回りの円形状動き、音量を下げるための反時計回りの動き、任意選択的にデバイス(例えば、処理デバイス100または本明細書中に記載の任意の機器)をオフにするための反時計回りの動き)に従って行うことができる。ジェスチャーは、処理デバイスの制御のために用いられ得る(例えば、処理デバイスに通信を開始させる際(例えば、処理デバイスを用いて通知を送る際(例えば、音声通話または非常電話、テキストメッセージ、eメールなど)))。
[呼吸管理サービスおよびフィードバックサービス]
処理デバイス100は、例えばストレスおよび血圧の低減のための日中用アプリケーションと共に実装され得る。この日中用アプリケーションは、瞑想用出力(例えば、深呼吸エクササイズ)を音響的に導出された動き信号に基づいて生成させる。例えば、呼吸動き信号の処理/評価を処理デバイス100によって行って、タイミングキューを生成させることができる。これらのタイミングキューにより、カスタマイズされたマインドフルネス呼吸エクササイズ(例えば、8呼吸/分未満の速度における「腹式呼吸」)をコントローラ出力からスピーカ(単数または複数)および/または関連機器(例えば、照明制御)を介して提供することを支援することができる。システムによる呼吸のエントレイメントの利用により、例えばデバイスがユーザへの可聴型および/または視覚型フィードバックを制御する場合において、検出された呼吸曲線と、システムから送達される呼吸刺激/キューへとを関連付けることにより、ターゲット値を達成することが可能になる。
呼吸キューは可聴の刺激であり得、システムは、ターゲットの呼吸ケーデンスで音楽を事前フィルタリングした後、感知信号をオーバーレイしてから再生を行う。システムは、ユーザの検出された呼吸数および/または心拍数に近いテンポの種類の音楽を選択することもできる。
不安またはストレスがあるときのユーザの呼吸パターンは浅くかつ速くなり得、その場合、腹筋ではなく上胸部および頚筋が呼吸に用いられる。個人用の呼吸コーチングのいくつかの利点として、薬物介入無しの健康増進によりストレスホルモンを低減させることができ、自律神経系(副交感神経および交感神経)の「バランス」をとり、脳アルファ波の生成を増加させ、横隔膜および腹筋の機能を向上させる(特に、呼吸状態に問題のある者の場合)。
処理デバイスから提供される例示的リラクゼーションゲームにおいて、ユーザにゆっくり深く呼吸するように依頼し、音響動き感知を通じた処理デバイスによる呼吸動きの検出に基づいて、処理デバイスによって制御されるディスプレイ機器上に形状が提示され得る。ボールまたはバルーンを制御して、本明細書中に記載の音響感知方法によって自動感知されるようなユーザの胸部の動きと同期した態様で表示上においてボールまたはバルーンを膨張および収縮させる。ユーザがターゲット(例えば、安定した呼吸を3分間ほとんど動き無しに行うこと)に到達した場合、処理デバイスは表示を変更する。例えば、バルーンを浮上させることにより完了を示すことができ、処理デバイスは、ユーザが「勝った」旨をスピーカを介して通知し得る。心臓信号も処理デバイスによって検出された場合、呼吸と心拍数との間の一貫性の増加を用いて、ゲームにおいて数ポイントをさらに付与することができる。形状の代わりに、呼吸と同期して強度が変化する光または強いリズム成分を含む音を用いてもよく、リラクゼーションゲームに「勝った」場合のご褒美は、光の色または音楽シーケンスの変化であり得る。
本システムの他の使用例として、(光またはディスプレイデバイスを介して)ペース調整された照度および/またはユーザの呼吸数の増加およびユーザの吸気/呼気時間の変調のための特殊なオーディオシーケンスのうち1つ以上を用いた覚醒呼吸エクササイズがあり、低周波超音波バイオメトリック検出からのバイオフィードバックが任意選択的に用いられる。
[プライバシー向上]
多くのバーチャルアシスタントは、スピーチ認識サービス(例えば、「オッケー、グーグル」、「アレクサ」、「ヘイ、シリ」キーワード/フレーズなどを求めて連続的に聞くこと)のために、常に聞いている状態になっている(マイクロフォン(単数または複数)が常時オンになっている)。この点について、これは通常はアクティブである。キーワード/キーフレーズに続く発言は全て、インターネットへ送信され得る。人々の中には、自分たちの会話がこのように常時モニターされることを不快だと感じる人もいる。上記した動き検出の1つの利点として、ユーザが処理デバイスを使用する準備ができるまで、処理デバイスがマイクロフォンを起動解除することが可能な点がある。この点について、処理デバイスの音声アシスト動作は、通常時は起動しないように構成され得る。例えば、処理デバイスは、(例えば特定の動きまたは動きジェスチャーの検出を用いた)音響動き検出方法を適用して、(マイクロフォンを用いた典型的な音声キーワード認識ではなく)マイクロフォンモニターを開始することができる。これにより、ユーザの会話を常時モニターする必要がなくなり、ユーザのプライバシーが向上する。このような動き検出は、処理デバイスに密接に隣接して行うことが可能であるものの、処理デバイスを取り囲む近傍においても検出され得る。このような方法において、標準的な動きジェスチャーまたはユーザのカスタマイズされた動きジェスチャー(例えば、セットアッププロセスにおいて学習されたもの)を用いて、処理デバイスをトリガしてスピーカを起動させることができる。これにより、処理デバイスとの自然言語セッションが開始され得る(例えば、スピーカを介した処理デバイスからの言語応答のトリガ)。しかし、任意選択的に、処理デバイスは、起動後にマイクロフォンにより可聴のキーワードを検出するためにさらに待機してもよい。次に、言語キーワードは、処理デバイス100との自然言語会話セッションの開始のためのトリガとして機能し得る。
このような処理デバイスの起動またはセッション開始のための方法は、従来の方法よりも好ましい場合がある。ユーザが静止した状態で話している場合、処理デバイスのアシスタントアプリケーションは、動きが検出されるまでは、言語キーワードを聞き取らない。このような機能は、室内に誰もいない場合は処理デバイスはスピーチ(または室内の他のノイズ)を聞き取らないことを意味し得る。しかし、例えばユーザが退出しようとしている(「今から部屋から出るので、部屋のモニターをお願いします」)場合、このようなアクティブ聞き取りモードを選択的にオンにして、より継続的に作動させることができる。
別のプライバシー的利点として、寝室/リビングルーム内における記録用カメラの必要性無しに、詳細な睡眠追跡または日中の不在/存在、呼吸および/または心拍数追跡が可能である点がある。
[他の用途]
本技術の他の用途を挙げると、スピーカおよびマイクロフォンが既に利用可能であるかまたは容易にレトロフィットが可能である場合がある。例えば、昇降機(エレベータ)内の占有センサ(緊急時通信に用いられる)および既存のスピーカおよびマイクロフォンを用いて、空間中の呼吸信号または他の動きの信号(単数または複数)を感知することができる。
FMCWを用いたレンジにおける感知またはCWを用いた大面積感知のために、パブリックアドレス(PA)システムを用いることも可能である。多数のこのようなシステムにおいて、正しい作動を保証するために、20kHzまたは類似のトーンが既に用いられており、(例えば、鉄道駅、図書館、ショップなどにおける用途のために)超音波バイオメトリック感知を含むようなアップグレードが可能である。
[パワーナップ(Power nap)]
システムの処理デバイス100は、スマートナップ(smart nap)をアシストする昼寝(nap)機能を備えるようにプログラムすることができ、この機能は、人がベッドに横臥しているとき、カウチ上にいるとき、または処理デバイスの任意の領域/近傍に関係なく提供される。例えば、ユーザは、デバイスに対して「僕/私は今から昼寝をするよと」声をかけることができる。次に、対話型オーディオデバイスは、当該ユーザが眠りに落ちることを可聴的に支援することができ、その後、睡眠および/または時間のモニターにより、予測される利用可能な時間、現在の睡眠不足の推定、時刻およびユーザリクエストに基づいて適切な昼寝の継続時間に誘導する。例えば、昼寝の継続時間は、ターゲット継続時間(例えば、20分間、30分間、60分間または90分間(フル睡眠サイクル))に最適化され得る。60分間の昼寝は、深い睡眠を最適化するためのものであり、終了時において任意の睡眠慣性からの回復のための一定の時間が許容される一方、20分間および30分間のターゲット時間は、まだ浅い睡眠段階にあるときにユーザを覚醒させるかまたは深い睡眠に入る1〜2分間よりも前にユーザを覚醒させるように最適化される。昼寝時間に加えて、睡眠(昼寝)前の覚醒時間も記録される。
ユーザの最近の睡眠が通常通りである場合、20〜25分間の昼寝の方が、90分間のフル睡眠サイクルよりも好適であり得る。なぜならば、長時間になると、その日の夜の睡眠に影響が出る可能性があるからである。
[多ユーザの近傍感知]
いくつかのバージョンにおいて、処理デバイスは、1つ以上のスピーカ(単数または複数)および1つ以上のマイクロフォン(単数または複数)により2人(以上)を同時にモニターするように、構成され得る。例えば、処理デバイスは、異なるユーザを異なる周波数にて感知するための異なる感知周波数において複数の感知信号を生成し得る。いくつかの場合において、処理デバイスは、異なる時期に異なるユーザを感知するために、インタリーブされた感知信号の生成(例えば、異なる時期における異なる感知信号)を制御し得る。いくつかの場合において、処理デバイスは、(例えば並列感知において)異なる距離を異なる時期に感知するための距離ゲーティングを順次調節し得る。
いくつかの場合において、信号の質の最大化を支援することが可能な条件がいくつか存在する。例えば、処理デバイス(例えば、RFセンサ、またはソナーで有効とされるスマートフォン)を寝台脇ロッカー上に配置することができる。この場合、第1の人の身体により感知信号の大部分が遮断され得る「シャドーイング」効果が生じ得る(その場合、距離ゲーティングにおいて恩恵が得られる(ベッド内の1人のみの感知)。ソナーにおいて、処理デバイスは、2人(以上の)人を検出するために、2個(以上の)異なる感知信号またはさらには単一のFMCW(三角形、デュアルランプまたは他の)感知信号を生成させ得る。FMCWの範囲の分離性により、(室内に1個だけスピーカ/マイクが存在するかのように)1つの感知信号だけで充分になる。理想的には、2人を同時にモニターするには、ユーザが処理デバイスを高い位置に配置することにより、大部分の音響エネルギーが双方のユーザに到達するように(例えば、第1のユーザおよびユーザのシート/デュベコンフォーターにより感知信号が大きく遮断されないように)する。同一デバイス上に2つのマイクロフォンが有る場合も、(例えば、1つの上においてピークに近く、他方上においてヌルに近くなるため(特に、より小さな振幅の受信信号がより遠距離からの対象者から来る場合))有意な構造的/破壊的干渉が有る際に有利であり得る。
ソナー/スマートフォンを第2の人に近づけた場合、より有利であり得(かつ恐らくはより高品質の信号を達成することができる)。第2の人は、自身のスマートフォン/処理デバイスを利用することができ、第1の人は、自身のスマートフォン/処理デバイスを利用する。感知信号の生成は、相互干渉を回避するように(すなわち、時間および/または周波数の重複を回避するように)行われ得る。これらのデバイスは、(送信前に聞くことおよび/またはユーザからの送信時に受信された信号を処理することにより)環境を自動的に感知し得、これにより、近傍の他のデバイスからの既存の感知信号との干渉しないように感知信号変調/技術を選択的に選択することができる。
いくつかの場合において、送信および受信感度の音声圧力レベルは、2つのスマートフォンが全く同じ送信感知信号を有する場合に干渉を生じさせないようなものである。なぜならば、空気の減衰および音響吸収表面(織物、カーペット、ベッドカバー)の混合物による影響に起因して、第2の源が干渉の閾値を下回り得るからである。各処理デバイスが各ユーザによって用いられる場合、デバイスは、それぞれの出力を自動的に低減するように任意選択的に構成され得、これにより、モニターされている対象者のバイオメトリック信号を例えば必要な最低出力により充分に検出することが可能になる。このようなプロセスにより、他のデバイスとの干渉を回避しつつ、それぞれが動きを検出することが可能になる。
[ノイズ/干渉の回避]
場合によっては、処理デバイスがコンテンツ音(例えば、音楽、スピーチ)をスピーカ上において再生しているとき、処理デバイスは、この音のコンテンツにローパスを施すことにより、(例えば)18kHzを超えるコンテンツを全て除去することができる。次に、処理デバイスは、低周波超音波信号を感知のためにオーバーレイし得る。すなわち、システムは、感知能力の妨害になり得る「音楽」の成分を除去する(かまたは有意に減衰させる)。しかし、場合によっては、このようなフィルタリングは省略してもよい。このようなフィルタリングを行うと、高品質Hi−Fiの場合に音コンテンツが曇る(高音に影響が出る)場合がある(あるいはユーザが(現実の音ではなく)自分の感じ方がそうなったと感じてしまう原因になり得る)。処理デバイスは、音楽/音コンテンツへのローパスフィルタリングを行わない(または(別個かつ近傍のスピーカ上における再生の場合に)実際に音楽/音コンテンツへのローパスフィルタリング能力を備えない)ように、構成され得る。そのため、感知信号中に不要な成分が含まれ得る。これを軽減するための1つの方法として、リアルタイムおよび最近の(時間内)「帯域内」干渉に対してフィードバックを具現することにより、感知信号を適合させる方法がある。不十分であり得る(かまたは極めて高速で(低遅延で)機能する必要のあり得る)処理リソースに応じて、処理デバイスは、2個の感知信号を同時に送信し得る(FMCW信号の場合、2つの同一場所に配置された三角ランプまたは実際には2組のデュアルランプなどであり得る)。次に、処理デバイスは、投票プロセスを含み得る。この投票プロセスにおいて、得られた生体動き信号を評価して、信号中の検出された動きに基づいて、(信号の品質の点において)より良い信号を選択する。このようなプロセスは、感知処理(使用時間)全体にわたって動的に継続し得る。
5.2 他の注意事項
本特許文書の開示の一部は、著作権保護が与えられる内容を含む。著作権所有者は、何者かが本特許文書または本特許開示をファックスにより再生しても、特許庁の特許ファイルまたは記録に記載されるものであれば目的のものであれば異論は無いが、その他の目的については全ての著作権を保持する。
他に文脈から明確に分かる場合および一定の範囲の値が提供されていない限り、下限の単位の1/10、当該範囲の上限と下限の間、および記載の範囲の他の任意の記載の値または介入値(intervening value)に対する各介入値は本技術に包含されることが理解される。介入範囲中に独立的に含まれるこれらの介入範囲の上限および下限が記載の範囲における制限を特に超えた場合も、本技術に包含される。記載の範囲がこれらの制限のうち1つまたは双方を含む場合、これらの記載の制限のいずれかまたは双方を超える範囲も、本技術に包含される。
さらに、本明細書中に値(単数または複数)が本技術の一部として実行される場合、他に明記無き限り、このような値が近似され得、実際的な技術的具現例が許容または要求する範囲まで任意の適切な有効桁までこのような値を用いることが可能であると理解される。
他に明記しない限り、本明細書中の全ての技術用語および科学用語は、本技術が属する分野の当業者が一般的に理解するような意味と同じ意味を持つ。本明細書中に記載の方法および材料に類似するかまたは等しい任意の方法および材料を本技術の実践または試験において用いることが可能であるが、限られた数の例示的な方法および材料が本明細書中に記載される。
特定の材料が構成要素の構築に好適に用いられるものとして記載されているが、特性が類似する明白な代替的材料が代替物として用いられる。さらに、それとは反対に記載無き限り、本明細書中に記載される任意および全ての構成要素は、製造可能なものとして理解されるため、集合的にまたは別個に製造され得る。
本明細書中及び添付の特許請求の範囲において用いられるように、単数形である「a」、「an」および「the」は、文脈から明らかにそうでないことが示されない限り、その複数の均等物を含む点に留意されたい。
本明細書中に記載される公開文献は全て、これらの公開文献の対象である方法および/または材料の開示および記載を引用することにより、本明細書の一部をなすものとする。本明細書中に記載の公開文献は、本出願の出願日前のその開示内容のみのために提供するものである。本明細書中のいずれの内容も、本技術が先行特許のためにこのような公開文献に先行していないと認めるものと解釈されるべきではない。さらに、記載の公開文献の日付は、実際の公開文献の日付と異なる場合があり、個別に確認が必要であり得る。
「comprises」および「comprising」という用語は、要素、構成要素またはステップを非排他的な意味合いで指すものとして解釈されるべきであり、記載の要素、構成要素またはステップが明記されていない他の要素、構成要素またはステップと共に存在、利用または結合され得ることを示す。
詳細な説明において用いられる見出しは、読者の便宜のためのものであり、本開示または特許請求の範囲全体において見受けられる内容を制限するために用いられるべきではない。これらの見出しは、特許請求の範囲または特許請求の範囲の制限の範囲の解釈において用いられるべきではない。
本明細書中の技術について、特定の実施例を参照して述べてきたが、これらの実施例は本技術の原理および用途を例示したものに過ぎないことが理解されるべきである。いくつかの場合において、用語および記号は、本技術の実施に不要な特定の詳細を示し得る。例えば、「第1の」および「第2の」(など)という用語が用いられるが、他に明記無き限り、これらの用語は任意の順序を示すことを意図しておらず、別個の要素を区別するために用いられる。さらに、本方法におけるプロセスステップについての記載または例示を順序付けて述べる場合があるが、このような順序は不要である。当業者であれば、このような順序が変更可能でありかつ/またはその態様を同時にまたはさらに同期的に行うことが可能であることを認識する。
よって、本技術の意図および範囲から逸脱することなく、例示的な実施例において多数の変更例が可能であり、また、他の配置構成が考案され得ることが理解されるべきである。

Claims (116)

  1. プロセッサにより実行可能な命令が保存されたプロセッサにより読取可能な媒体であって、前記プロセッサにより実行可能な命令は、対話型オーディオデバイスのプロセッサによって実行されると、前記プロセッサにユーザの生理学的な動きを検出させ、前記プロセッサにより実行可能な命令は、
    前記対話型オーディオデバイスへ接続されたスピーカを介して前記対話型オーディオデバイスの近傍への音声信号の生成を制御する命令と、
    前記対話型オーディオデバイスへ接続されたマイクロフォンを介して前記近傍からの反射された音声信号の感知を制御する命令と、
    前記感知された反射音信号の少なくとも一部および前記音声信号の少なくとも一部を示す信号を用いて生理学的な動きの信号を導出する命令と、
    前記導出された生理学的な動きの信号の少なくとも一部の評価に基づいた出力を生成する命令と
    を含む、プロセッサにより読取可能な媒体。
  2. 前記生成された音声信号の少なくとも一部は、実質的に非可聴音のレンジ内にある、請求項1に記載のプロセッサにより読取可能な媒体。
  3. 前記生成された音声信号の一部は、低周波超音波音響信号である、請求項2に記載のプロセッサにより読取可能な媒体。
  4. 前記音声信号の一部を示す信号は、内部生成したオシレータ信号またはダイレクトパス測定信号を含む、請求項1〜3のいずれか一項に記載のプロセッサにより読取可能な媒体。
  5. 前記導出された生理学的な動きの信号は、呼吸の動き、全身の動きまたは心臓の動きのうち1つ以上を含む、請求項1〜4のいずれか一項に記載のプロセッサにより読取可能な媒体。
  6. 前記生理学的な動きの信号を導出する命令は、オシレータ信号を前記感知された反射音信号の一部で乗算するように構成される、請求項1〜5のいずれか一項に記載のプロセッサにより読取可能な媒体。
  7. 前記対話型オーディオデバイスへ接続された前記マイクロフォンを介して感知された前記可聴の言語通信の評価を行うようにとの旨のプロセッサにより実行可能な命令をさらに含み、前記出力を生成する前記命令は、前記感知された可聴の言語通信に応答して前記出力を生成するように構成される、請求項1〜6のいずれか一項に記載のプロセッサにより読取可能な媒体。
  8. 前記生理学的な動きの信号の導出のために前記プロセッサにより実行可能な命令は、前記感知された反射音信号の一部の復調を前記音声信号の少なくとも一部を用いて行うことを含む、請求項1〜7のいずれか一項に記載のプロセッサにより読取可能な媒体。
  9. 前記復調は、前記音声信号の一部と、前記感知された反射音信号の一部との乗算を含む、請求項8に記載のプロセッサにより読取可能な媒体。
  10. 前記音信号の生成を制御する前記プロセッサにより実行可能な命令により、デュアルトーン周波数変調された連続波信号が生成される、請求項1〜9のいずれか一項に記載のプロセッサにより読取可能な媒体。
  11. 前記デュアルトーン周波数変調連続波信号は、反復波形において第2の鋸歯状周波数変化と重複された第1の鋸歯状周波数変化を含む、請求項1〜10のいずれか一項に記載のプロセッサにより読取可能な媒体。
  12. 超広帯域(UWB)音声信号を可聴ホワイトノイズとして生成するプロセッサにより実行可能な命令をさらに含み、前記プロセッサにより読取可能な媒体は、前記UWB音声信号を用いてユーザの動きを検出する命令を含む、請求項1〜11のいずれか一項に記載のプロセッサにより読取可能な媒体。
  13. 低周波超音波エコーの距離測定の較正のためにセットアッププロセスにおいて前記スピーカからプロービング音響シーケンスを生成させるプロセッサにより実行可能な命令をさらに含む、請求項1〜12のいずれか一項に記載のプロセッサにより読取可能な媒体。
  14. 前記マイクロフォンと前記対話型オーディオデバイスの別のマイクロフォンとの間の距離の推定のためにセットアッププロセスにおいて前記スピーカを含む1つ以上のスピーカから時間同期された較正音響信号を生成させるプロセッサにより実行可能な命令、をさらに含む、請求項1〜13のいずれか一項に記載のプロセッサにより読取可能な媒体。
  15. 検出される領域をさらに局所化するためにビーム形成プロセスを作動させるプロセッサにより実行可能な命令をさらに含む、請求項1〜14のいずれか一項に記載のプロセッサにより読取可能な媒体。
  16. 前記導出された生理学的な動きの信号の前記部分の評価に基づいて前記生成された出力は、モニターされたユーザ睡眠情報を含む、請求項1〜15のいずれか一項に記載のプロセッサにより読取可能な媒体。
  17. 前記導出された生理学的な動きの信号の前記部分の評価は、1つ以上の生理学的パラメータを検出することを含む、請求項1〜16のいずれか一項に記載のプロセッサにより読取可能な媒体。
  18. 前記1つ以上の生理学的パラメータは、呼吸数、呼吸の相対的振幅、心拍数、心臓の振幅、相対的心臓の振幅および心拍数の変動性のうちいずれか1つ以上を含む、請求項17に記載のプロセッサにより読取可能な媒体。
  19. 前記モニターされたユーザ睡眠情報は、睡眠スコア、睡眠ステージおよび睡眠ステージにおける時間のうちいずれかを含む、請求項16〜18のいずれか一項に記載のプロセッサにより読取可能な媒体。
  20. 前記生成された出力は、対話型のクエリ応答提示を含む、請求項1〜19のいずれか一項に記載のプロセッサにより読取可能な媒体。
  21. 前記生成された対話型のクエリ応答提示は、スピーカを介して実行される、請求項20に記載のいずれか一項に記載のプロセッサにより読取可能な媒体。
  22. 前記生成された対話型のクエリ応答提示は、モニターされたユーザ睡眠情報の向上のためのアドバイスを含む、請求項21に記載のプロセッサにより読取可能な媒体。
  23. 前記導出された生理学的な動きの信号の前記部分の評価に基づいて前記生成された出力は、ネットワーク上のサーバへのアクセスおよび/またはネットワークリソースの検索の実行にさらに基づく、請求項1〜22のいずれか一項に記載のプロセッサにより読取可能な媒体。
  24. 前記検索は、記録されたユーザデータに基づく、請求項23に記載のプロセッサにより読取可能な媒体。
  25. 前記導出された生理学的な動きの信号の前記部分の評価に基づいて前記生成された出力は、自動化された機器またはシステムの制御のための制御信号を含む、請求項1〜24のいずれか一項に記載のプロセッサにより読取可能な媒体。
  26. 前記制御信号を前記自動化された機器またはシステムへネットワークを介して送信するプロセッサ制御命令をさらに含む、請求項25に記載のプロセッサにより読取可能な媒体。
  27. 前記対話型オーディオデバイスの設定の変更を前記導出された生理学的な動きの信号の少なくとも一部の評価に基づいて行うための制御信号を生成させるプロセッサ制御命令をさらに含む、請求項1〜26のいずれか一項に記載のプロセッサにより読取可能な媒体。
  28. 前記対話型オーディオデバイスの設定を変更するための前記制御信号は、前記対話型オーディオデバイスからのユーザ距離、ユーザの状態またはユーザの位置の検出に基づいた音量変更を含む、請求項27に記載のプロセッサにより読取可能な媒体。
  29. 前記プロセッサにより実行可能な命令は、複数のユーザの睡眠特性のモニターのために異なる音響感知範囲の動き特性を評価するように構成される、請求項1〜28のいずれか一項に記載のプロセッサにより読取可能な媒体。
  30. 前記音信号の生成を制御する命令により、異なるユーザを異なる周波数で感知するための異なる感知周波数において同時感知信号を生成することが制御される、請求項29に記載のプロセッサにより読取可能な媒体。
  31. 前記音信号の生成を制御する命令により、異なるユーザを異なる時間において感知するためのインタリーブ型音響感知信号の生成が制御される、請求項30に記載のプロセッサにより読取可能な媒体。
  32. 前記導出された生理学的な動きの信号の少なくとも一部に基づいてユーザの存在または不在を検出するプロセッサにより実行可能な命令をさらに含む、請求項1〜32のいずれか一項に記載のプロセッサにより読取可能な媒体。
  33. 前記導出された生理学的な動きの信号の少なくとも一部に基づいてユーザのバイオメトリック認識を行う旨のプロセッサにより実行可能な命令をさらに含む、請求項1〜32のいずれか一項に記載のプロセッサにより読取可能な媒体。
  34. (a)前記導出された生理学的な動きの信号の分析から決定されたバイオメトリック評価および/または(b)前記導出された生理学的な動きの信号の少なくとも一部の分析から決定された存在検出に基づいたネットワークを介した通信を生成させるプロセッサにより実行可能な命令をさらに含む、請求項1〜33のいずれか一項に記載のプロセッサにより読取可能な媒体。
  35. ユーザの動きの存在を音響的に検出すること、前記ユーザに可聴的に呼び掛けること、前記ユーザを可聴的に認証すること、および前記ユーザに権限付与することまたは前記ユーザについてのアラームメッセージを通信することを前記対話型オーディオデバイスに行わせるように構成されたプロセッサにより実行可能な命令、をさらに含む、請求項1〜34のいずれか一項に記載のプロセッサにより読取可能な媒体。
  36. 前記ユーザを可聴的に認証するプロセッサにより実行可能な命令は、前記マイクロフォンによって感知された前記ユーザの言葉の音波と、事前記録された言葉の音波とを比較するように構成される、請求項35に記載のプロセッサにより読取可能な媒体。
  37. プロセッサにより実行可能な命令は、動きに基づいたバイオメトリック感知を用いて前記ユーザを認証するように構成される、請求項35〜36のいずれか一項に記載のプロセッサにより読取可能な媒体。
  38. 前記対話型オーディオデバイスに前記導出された生理学的な動きの信号の少なくとも一部に基づいて動きジェスチャーを検出させるプロセッサにより実行可能な命令と、
    前記検出された動きジェスチャーに基づいて制御信号を生成させる旨、通知を送信する旨、または、(a)自動化された機器および/または(b)前記対話型オーディオデバイスの動作への変更を制御する旨のプロセッサにより実行可能な命令と
    をさらに含む、請求項1〜37のいずれか一項に記載のプロセッサにより読取可能な媒体。
  39. 前記対話型オーディオデバイスの動作への変更を制御するための前記制御信号は、前記対話型オーディオデバイスの対話型音声アシスタント動作を開始させるためにマイクロフォン感知を起動させることを含み、これにより、起動していない対話型音声アシスタントプロセスが連動される、請求項38に記載のプロセッサにより読取可能な媒体。
  40. 前記対話型音声アシスタント動作の開始は、前記マイクロフォン感知による言語キーワードの検出にさらに基づく、請求項39に記載のプロセッサにより読取可能な媒体。
  41. 前記対話型オーディオデバイスに前記導出された生理学的な動きの信号の少なくとも一部に基づいてユーザの呼吸動きを検出させるプロセッサにより実行可能な命令、および前記ユーザが自身の呼吸を調節するきっかけになるような出力キューを生成させるプロセッサにより実行可能な命令をさらに含む、請求項1〜40のいずれか一項に記載のプロセッサにより読取可能な媒体。
  42. 別の処理デバイスによって制御される別の対話型オーディオデバイスからの通信を前記対話型オーディオデバイスの前記マイクロフォンによって感知された非可聴音波を介して前記対話型オーディオデバイスに受信させるためのプロセッサにより実行可能な命令をさらに含む、請求項1〜41のいずれか一項に記載のプロセッサにより読取可能な媒体。
  43. 前記対話型オーディオデバイスの近傍において前記音信号の生成を制御する命令により、前記音信号の少なくとも一部を前記通信に基づいて生成するためのパラメータが調節される、請求項42に記載のプロセッサにより読取可能な媒体。
  44. 前記調節されたパラメータにより、前記対話型オーディオデバイスと前記別の対話型オーディオデバイスとの間の干渉が低減される、請求項43に記載のプロセッサにより読取可能な媒体。
  45. 前記導出された生理学的な動きの信号の前記部分の評価は、睡眠開始または覚醒開始の検出をさらに含み、前記評価に基づいた前記出力は、サービス制御信号を含む、請求項1〜44のいずれか一項に記載のプロセッサにより読取可能な媒体。
  46. 前記サービス制御信号は、照明制御、機器制御、音量調節、サーモスタット制御および窓被覆材制御のうち1つ以上を含む、請求項45に記載のプロセッサにより読取可能な媒体。
  47. フィードバックを収集するようユーザを促す旨およびこれに応答して前記導出された生理学的な動きの信号の一部および前記フィードバックのうち少なくとも1つに基づいてアドバイスを生成させるプロセッサにより実行可能な命令をさらに含む、請求項1〜46のいずれか一項に記載のプロセッサにより読取可能な媒体。
  48. 環境データを決定するプロセッサにより実行可能な命令をさらに含み、前記アドバイスは、前記決定された環境データにさらに基づく、請求項47に記載のプロセッサにより読取可能な媒体。
  49. 環境データを決定するプロセッサにより実行可能な命令と、前記決定された環境データおよび前記導出された生理学的な動きの信号の少なくとも一部に基づいて環境制御システムのために制御信号を生成させるプロセッサにより実行可能な命令とをさらに含む、請求項48に記載のプロセッサにより読取可能な媒体。
  50. 睡眠向上サービスを提供するプロセッサにより実行可能な命令をさらに含み、前記睡眠向上サービスは、(a)検出された睡眠状態および/または収集されたユーザフィードバックに応答してアドバイスを生成させることおよび(b)睡眠環境状態の設定および/または睡眠に関連するアドバイスメッセージの前記ユーザへの提供のために環境用機器の制御のための制御信号を生成すること、のうちいずれかを含む、請求項1〜49のいずれか一項に記載のプロセッサにより読取可能な媒体。
  51. 前記導出された生理学的な動きの信号の少なくとも一部に基づいてジェスチャーを検出する旨および前記対話型オーディオデバイスの対話型音声アシスタント動作の開始のためにマイクロフォン感知を開始させる旨のプロセッサにより実行可能な命令をさらに含む、請求項1〜50のいずれか一項に記載のプロセッサにより読取可能な媒体。
  52. 前記導出された生理学的な動きの信号の少なくとも一部に基づいて昼寝セッションを開始およびモニターするプロセッサにより実行可能な命令をさらに含む、請求項1〜51のいずれか一項に記載のプロセッサにより読取可能な媒体。
  53. ユーザの動きを前記近傍を通じて追跡するために前記生成された音信号のうち少なくとも一部のパラメータを変動させることにより検出範囲を変動させるプロセッサにより実行可能な命令をさらに含む、請求項1〜52のいずれか一項に記載のプロセッサにより読取可能な媒体。
  54. 前記導出された生理学的な動きの信号の少なくとも一部を用いて権限付与されていない動きを検出するプロセッサにより実行可能な命令と、前記ユーザまたは第三者への通知のためにアラームまたは通信を生成させるプロセッサにより実行可能な命令とをさらに含む、請求項1〜53のいずれか一項に記載のプロセッサにより読取可能な媒体。
  55. 前記通信により、スマートフォンまたはスマートウォッチ上のアラームが提供される、請求項54に記載のプロセッサにより読取可能な媒体。
  56. 請求項1〜55のいずれか一項に記載の前記プロセッサにより読取可能な媒体へのアクセスを有するサーバであって、前記サーバは、前記プロセッサにより読取可能な媒体の前記プロセッサにより実行可能な命令をネットワークを介して対話型オーディオデバイスへダウンロードする命令を受信するように構成される、サーバ。
  57. 対話型オーディオデバイスであって、1つ以上のプロセッサと、前記1つ以上のプロセッサへ接続されたスピーカと、前記1つ以上のプロセッサへ接続されたマイクロフォンと、請求項1〜55のいずれか一項に記載のプロセッサにより読取可能な媒体とを含むか、または前記1つ以上のプロセッサは、請求項56に記載のサーバを用いて前記プロセッサにより実行可能な命令にアクセスするように構成される、電子処理デバイス。
  58. 前記対話型オーディオデバイスは、ポータブルデバイスである、請求項57に記載の対話型オーディオデバイス。
  59. 前記対話型オーディオデバイスは、携帯電話、スマートウォッチ、タブレットコンピュータまたはスマートスピーカを含む、請求項57〜58のいずれか一項に記載の対話型オーディオデバイス。
  60. 請求項1〜55のいずれか一項に記載の前記プロセッサにより読取可能な媒体へアクセスを有するサーバの方法であって、前記方法は、前記プロセッサにより読取可能な媒体の前記プロセッサにより実行可能な命令をネットワークを介して対話型オーディオデバイスへダウンロードするリクエストを前記サーバにおいて受信することと、前記リクエストに応答して前記プロセッサにより実行可能な命令を前記対話型オーディオデバイスへ送信することとを含む、方法。
  61. 対話型オーディオデバイスのプロセッサの方法であって、
    請求項1〜55のいずれか一項に記載の前記プロセッサにより読取可能な媒体にプロセッサからアクセスすることと、
    前記プロセッサにより読取可能な媒体の前記プロセッサにより実行可能な命令を前記プロセッサにおいて実行することと
    を含む、方法。
  62. 対話型オーディオデバイスのユーザの生理学的な動きを検出する方法であって、
    前記対話型オーディオデバイスへ接続されたスピーカを介して前記対話型オーディオデバイスの近傍への音声信号の生成することと、
    対話型オーディオデバイスへ接続されたマイクロフォンを介して前記近傍からの反射された音声信号を感知することと、
    プロセッサにおいて、前記感知された反射音信号の少なくとも一部および前記音声信号の少なくとも一部を示す信号を用いて生理学的な動きの信号を導出することと、
    前記導出された生理学的な動きの信号の少なくとも一部の評価に基づいた出力をプロセッサから生成することと
    を含む、方法。
  63. 前記生成された音声信号の少なくとも一部は、実質的に非可聴音のレンジ内にある、請求項62に記載の方法。
  64. 前記生成された音声信号の一部は、低周波超音波音響信号である、請求項63に記載の方法。
  65. 前記音声信号の一部を示す信号は、内部生成したオシレータ信号またはダイレクトパス測定信号を含む、請求項62〜64のいずれか一項に記載の方法。
  66. 前記導出された生理学的な動きの信号は、呼吸動き、全身動きまたは心臓動きのうち1つ以上を含む、請求項62〜65のいずれか一項に記載の方法。
  67. オシレータ信号を前記感知された反射音信号の一部で乗算することにより前記生理学的な動きの信号を導出することを含む、請求項62〜66のいずれか一項に記載の方法。
  68. 感知された可聴の言語通信の評価を前記対話型オーディオデバイスへ接続された前記マイクロフォンを介してプロセッサにおいて行うことをさらに含み、前記出力を生成させることは、前記感知された可聴の言語通信に応答して行われる、請求項62〜67のいずれか一項に記載の方法。
  69. 前記生理学的な動きの信号を導出することは、前記感知された反射音信号の一部を前記音声信号の少なくとも一部を用いて復調することを含む、請求項62〜68のいずれか一項に記載の方法。
  70. 前記復調は、前記音声信号の一部と、前記感知された反射音信号の一部との乗算を含む、請求項69に記載の方法。
  71. 前記音声信号の生成は、デュアルトーン周波数変調連続波信号を生成する、請求項62〜70のいずれか一項に記載の方法。
  72. 前記デュアルトーン周波数変調連続波信号は、反復波形において第2の鋸歯状周波数変化と重複された第1の鋸歯状周波数変化を含む、請求項62〜71のいずれか一項に記載の方法。
  73. 超広帯域(UWB)音声信号を可聴ホワイトノイズとして生成することをさらに含み、ユーザの動きが前記UWB音声信号を用いて検出される、請求項62〜72のいずれか一項に記載の方法。
  74. セットアッププロセスにおいてプロービング音響シーケンスを前記スピーカから生成させて低周波超音波エコーの距離測定を較正することをさらに含む、請求項62〜73のいずれか一項に記載の方法。
  75. セットアッププロセスにおいて時間同期された較正音響信号を前記スピーカを含む1つ以上のスピーカから生成させて、前記マイクロフォンと前記対話型オーディオデバイスの別のマイクロフォンとの間の距離を推定することをさらに含む、請求項62〜74のいずれか一項に記載の方法。
  76. ビーム形成プロセスを作動させて、検出された領域をさらに局所化させることをさらに含む、請求項62〜75のいずれか一項に記載の方法。
  77. 前記導出された生理学的な動きの信号の前記部分の評価に基づいて前記生成された出力は、モニターされたユーザ睡眠情報を含む、請求項62〜76のいずれか一項に記載の方法。
  78. 前記導出された生理学的な動きの信号の前記部分の評価は、1つ以上の生理学的パラメータを検出することを含む、請求項62〜77のいずれか一項に記載の方法。
  79. 前記1つ以上の生理学的パラメータは、呼吸数、呼吸の相対的振幅、心拍数、相対的心臓振幅、心臓振幅および心拍数変動性のうちいずれか1つ以上を含む、請求項78に記載の方法。
  80. 前記モニターされたユーザ睡眠情報は、睡眠スコア、睡眠ステージおよび睡眠ステージにおける時間のうちいずれかを含む、請求項77〜79のいずれか一項に記載の方法。
  81. 前記生成された出力は、対話型のクエリ応答提示を含む、請求項62〜80のいずれか一項に記載の方法。
  82. 前記生成された対話型のクエリ応答提示は、スピーカを介して実行される、請求項81に記載の方法。
  83. 前記生成された対話型のクエリ応答提示は、モニターされたユーザ睡眠情報の向上のためのアドバイスを含む、請求項82に記載の方法。
  84. 前記導出された生理学的な動きの信号の前記部分の評価に基づいて前記生成された出力は、ネットワーク上のサーバへのアクセスおよび/またはネットワークリソースの検索の実行にさらに基づく、請求項62〜83のいずれか一項に記載の方法。
  85. 前記検索は、記録されたユーザデータに基づく、請求項84に記載の方法。
  86. 前記導出された生理学的な動きの信号の前記部分の評価に基づいて前記生成された出力は、自動化された機器またはシステムの制御のための制御信号を含む、請求項62〜85のいずれか一項に記載の方法。
  87. 前記制御信号を前記自動化された機器または前記システムへネットワークを介して送信することをさらに含む、請求項86に記載の方法。
  88. 前記対話型オーディオデバイスの設定の変更を前記導出された生理学的な動きの信号の少なくとも一部の評価に基づいて行うための制御信号を前記プロセッサ内において生成させることをさらに含む、請求項62〜87のいずれか一項に記載の方法。
  89. 前記対話型オーディオデバイスの設定を変更するための前記制御信号は、前記対話型オーディオデバイスからのユーザ距離、ユーザの状態またはユーザの位置の検出に基づいた音量変更を含む、請求項88に記載の方法。
  90. 異なる音響感知範囲の動き特性の評価を前記プロセッサ内において行って複数のユーザの睡眠特性をモニターすることをさらに含む、請求項62〜89のいずれか一項に記載の方法。
  91. 異なるユーザを異なる周波数で感知するための異なる感知周波数において同時音響感知信号の生成を制御することをさらに含む、請求項90に記載の方法。
  92. 異なるユーザを異なる時間において感知するためのインタリーブ型音響感知信号の生成を制御することをさらに含む、請求項91に記載の方法。
  93. 前記導出された生理学的な動きの信号の少なくとも一部に基づいてユーザの存在または不在を検出することをさらに含む、請求項62〜92のいずれか一項に記載の方法。
  94. 前記導出された生理学的な動きの信号の少なくとも一部に基づいてユーザのバイオメトリック認識を前記プロセッサにより行うことをさらに含む、請求項62〜93のいずれか一項に記載の方法。
  95. (a)前記導出された生理学的な動きの信号の分析から決定されたバイオメトリック評価および/または(b)前記導出された生理学的な動きの信号の少なくとも一部の分析から決定された存在検出に基づいてネットワークを介した通信を前記プロセッサによって生成させることをさらに含む、請求項62〜94のいずれか一項に記載の方法。
  96. ユーザの動きの存在を音響的に検出すること、前記ユーザに可聴的に呼び掛けること、前記ユーザを可聴的に認証すること、および前記ユーザに権限付与すること、または前記ユーザについてのアラームメッセージを通信することを前記対話型オーディオデバイスによって行うことをさらに含む、請求項62〜95のいずれか一項に記載の方法。
  97. 前記ユーザを可聴的に認証することは、前記マイクロフォンによって感知された前記ユーザの言葉の音波と、事前記録された言葉の音波とを比較することを含む、請求項96に記載の方法。
  98. 動きに基づいたバイオメトリック感知により前記ユーザを認証することをさらに含む、請求項96〜97のいずれか一項に記載の方法。
  99. 前記導出された生理学的な動きの信号の少なくとも一部に基づいて動きジェスチャーを前記対話型オーディオデバイスにより検出することと、
    通知を送信するためまたは(a)自動化された機器および/または(b)前記対話型オーディオデバイスの動作への変更を制御するための制御信号を前記対話型オーディオデバイスのプロセッサ内において前記検出された動きジェスチャーに基づいて生成させることと
    をさらに含む、請求項62〜98のいずれか一項に記載の方法。
  100. 前記対話型オーディオデバイスの動作への変更を制御するための前記制御信号は、前記対話型オーディオデバイスの対話型音声アシスタント動作を開始させるためにマイクロフォン感知を起動させることを含み、これにより、起動していない対話型音声アシスタントプロセスが連動される、請求項99に記載の方法。
  101. 前記対話型音声アシスタント動作を開始することは、前記マイクロフォン感知による言語キーワードの検出にさらに基づく、請求項100に記載の方法。
  102. 前記導出された生理学的な動きの信号の少なくとも一部に基づいてユーザの呼吸動きを検出することと、前記ユーザの呼吸の調節のきっかけになる出力キューを生成させることとを前記対話型オーディオデバイスによって行うことをさらに含む、請求項62〜101のいずれか一項に記載の方法。
  103. 別の処理デバイスによって制御される別の対話型オーディオデバイスからの通信を前記対話型オーディオデバイスの前記マイクロフォンによって感知された非可聴音波を介して前記対話型オーディオデバイスにより受信することをさらに含む、請求項62〜102のいずれか一項に記載の方法。
  104. 前記音信号の少なくとも一部を前記対話型オーディオデバイスの近隣において前記通信に基づいて生成するためのパラメータを調節することをさらに含む、請求項103に記載の方法。
  105. 前記調節のためのパラメータにより、前記対話型オーディオデバイスと、その他の対話型オーディオデバイスとの間の干渉が低減される、請求項104に記載の方法。
  106. 前記導出された生理学的な動きの信号の前記部分の評価は、睡眠開始または覚醒開始を検出することをさらに含み、前記評価に基づいた前記出力は、サービス制御信号を含む、請求項62〜105のいずれか一項に記載の方法。
  107. 前記サービス制御信号は、照明制御、機器制御、音量調節、サーモスタット制御および窓被覆材制御のうち1つ以上を含む、請求項106に記載の方法。
  108. フィードバックを収集するようユーザを促すことと、これに応答して、前記導出された生理学的な動きの信号の一部および前記フィードバックのうち少なくとも1つに基づいてアドバイスを生成させることと、をさらに含む、請求項62〜107のいずれか一項に記載の方法。
  109. 環境データを決定することをさらに含み、前記アドバイスは、前記決定された環境データにさらに基づく、請求項108に記載の方法。
  110. 環境データを決定することと、前記決定された環境データおよび前記導出された生理学的な動きの信号の少なくとも一部に基づいて環境制御システムのための制御信号を生成させることとをさらに含む、請求項108に記載の方法。
  111. 睡眠向上サービスの提供を制御することをさらに含み、前記睡眠向上サービスは、(a)検出された睡眠状態および/または収集されたユーザフィードバックに応答してアドバイスを生成させることと、(b)睡眠環境状態の設定および/または睡眠に関連するアドバイスメッセージの前記ユーザへの提供のために環境用機器の制御のための制御信号を生成することとのうちいずれかを含む、請求項62〜110のいずれか一項に記載の方法。
  112. 前記導出された生理学的な動きの信号に基づいてジェスチャーを検出することと、前記対話型オーディオデバイスの対話型音声アシスタント動作の開始のためにマイクロフォン感知を開始させることとをさらに含む、請求項62〜111のいずれか一項に記載の方法。
  113. 前記導出された生理学的な動きの信号の少なくとも一部に基づいて昼寝セッションを開始およびモニターすることをさらに含む、請求項62〜112のいずれか一項に記載の方法。
  114. ユーザの動きを前記近隣を通じて追跡するために前記生成された音信号のうち少なくとも一部のパラメータを変動させることにより検出範囲を変動させることをさらに含む、請求項62〜113のいずれか一項に記載の方法。
  115. 権限付与されていない動きの検出を前記導出された生理学的な動きの信号の少なくとも一部を用いて行うことと、第三者前記ユーザまたは第三者への通知のためにアラームまたは通信を生成させることをさらに含む、請求項62〜114のいずれか一項に記載の方法。
  116. 前記通信により、スマートフォンまたはスマートウォッチ上のアラームが提供される、請求項115に記載の方法。
JP2020534898A 2017-12-22 2018-12-21 動き感知のための装置、システムおよび方法 Active JP7464522B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762610013P 2017-12-22 2017-12-22
US62/610,013 2017-12-22
PCT/EP2018/086764 WO2019122413A1 (en) 2017-12-22 2018-12-21 Apparatus, system, and method for motion sensing

Publications (2)

Publication Number Publication Date
JP2021507775A true JP2021507775A (ja) 2021-02-25
JP7464522B2 JP7464522B2 (ja) 2024-04-09

Family

ID=65011990

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020534898A Active JP7464522B2 (ja) 2017-12-22 2018-12-21 動き感知のための装置、システムおよび方法

Country Status (6)

Country Link
US (2) US11615688B2 (ja)
EP (2) EP4349250A2 (ja)
JP (1) JP7464522B2 (ja)
KR (1) KR20200103749A (ja)
CN (2) CN116898406A (ja)
WO (1) WO2019122413A1 (ja)

Families Citing this family (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11004567B2 (en) 2017-08-15 2021-05-11 Koko Home, Inc. System and method for processing wireless backscattered signal using artificial intelligence processing for activities of daily life
EP3727134B8 (en) * 2017-12-22 2023-03-08 ResMed Sensor Technologies Limited Processor readable medium and corresponding method for health and medical sensing
WO2019122414A1 (en) 2017-12-22 2019-06-27 Resmed Sensor Technologies Limited Apparatus, system, and method for physiological sensing in vehicles
KR102533993B1 (ko) * 2018-02-02 2023-05-19 삼성전자주식회사 복수의 생체 신호에 기반하여 건강 정보를 생성하는 전자 장치 및 이의 동작 방법
EP4155782B1 (en) * 2018-06-05 2024-04-03 Google LLC Systems and methods of ultrasonic sensing in smart devices
US20200019690A1 (en) * 2018-07-12 2020-01-16 Electronics And Telecommunications Research Institute Biometric authentication system and biometric authentication method using frequency response characteristics of biometric signal
WO2020136592A1 (ja) * 2018-12-28 2020-07-02 南紀之 情報処理装置、情報処理方法、情報処理プログラム、および情報処理システム
JP7405769B2 (ja) * 2018-12-28 2023-12-26 南 紀之 情報処理装置、情報処理方法、情報処理プログラム、および情報処理システム
US10810850B2 (en) * 2019-02-19 2020-10-20 Koko Home, Inc. System and method for state identity of a user and initiating feedback using multiple sources
US11971503B2 (en) 2019-02-19 2024-04-30 Koko Home, Inc. System and method for determining user activities using multiple sources
EP3939847A1 (en) * 2019-05-17 2022-01-19 Kabushiki Kaisha Tokai Rika Denki Seisakusho Control device and presentation system
US11134900B2 (en) * 2019-07-23 2021-10-05 KMZ Holdings LLC System and method for diagnostic analysis of human body systems, organs, and cells
JP7419719B2 (ja) * 2019-09-24 2024-01-23 カシオ計算機株式会社 睡眠ステージ推定装置、睡眠ステージ推定方法及びプログラム
US11719804B2 (en) 2019-09-30 2023-08-08 Koko Home, Inc. System and method for determining user activities using artificial intelligence processing
RU196533U1 (ru) * 2019-11-28 2020-03-03 Общество С Ограниченной Ответственностью "Яндекс" Умная колонка с медианной фильтрацией значений tof-сенсора
WO2021118570A1 (en) 2019-12-12 2021-06-17 Google Llc Radar-based monitoring of a fall by a person
CN115428091A (zh) 2020-01-31 2022-12-02 瑞思迈传感器技术有限公司 用于减少失眠相关症状的系统和方法
AU2021215064A1 (en) 2020-01-31 2022-08-25 Resmed Sensor Technologies Limited Systems and methods for requesting consent for data
US20230099622A1 (en) 2020-01-31 2023-03-30 Resmed Sensor Technologies Limited Sleep status detection for apnea-hypopnea index calculation
KR102223294B1 (ko) * 2020-02-20 2021-03-05 한국과학기술원 복수 사용자의 움직임 추적을 통한 인공지능 스피커와의 대화 상호작용 흐름 관리 기술
CN115605959A (zh) 2020-02-26 2023-01-13 瑞思迈传感器技术有限公司(Ie) 用于水肿检测的方法和装置
EP4111468A1 (en) 2020-02-27 2023-01-04 ResMed Sensor Technologies Limited Systems and methods for predicting alertness
CN115605133A (zh) 2020-03-05 2023-01-13 瑞思迈传感器技术有限公司(Ie) 用于增加个体睡意的系统和方法
WO2021176426A1 (en) 2020-03-06 2021-09-10 Resmed Sensor Technologies Limited Systems and methods for detecting an intentional leak characteristic curve for a respiratory therapy system
US11809151B1 (en) 2020-03-27 2023-11-07 Amazon Technologies, Inc. Activity-based device recommendations
JP2023519950A (ja) 2020-03-28 2023-05-15 レズメド センサー テクノロジーズ リミテッド 統合センサを備えたユーザインターフェース
US20230218845A1 (en) 2020-03-31 2023-07-13 Resmed Sensor Technologies Limited Systems and methods for determining movement of a conduit
US20230240595A1 (en) 2020-03-31 2023-08-03 Resmed Sensor Technologies Limited Systems and methods for detecting rem behavior disorder
AU2021248711A1 (en) 2020-03-31 2022-11-03 Resmed Sensor Technologies Limited System and method for mapping an airway obstruction
US20210307683A1 (en) * 2020-04-01 2021-10-07 UDP Labs, Inc. Systems and Methods for Remote Patient Screening and Triage
US11184738B1 (en) 2020-04-10 2021-11-23 Koko Home, Inc. System and method for processing using multi core processors, signals, and AI processors from multiple sources to create a spatial heat map of selected region
CN115701935A (zh) 2020-04-20 2023-02-14 瑞思迈亚洲私人有限公司 用于分析睡眠相关参数的系统和方法
US20230162756A1 (en) * 2020-04-21 2023-05-25 Soter Technologies, Llc Systems and methods for improved accuracy of bullying or altercation detection or identification of excessive machine noise
EP4142598A1 (en) 2020-04-30 2023-03-08 ResMed Sensor Technologies Limited Systems and methods for analyzing physical features of an individual
EP4142582A1 (en) 2020-04-30 2023-03-08 ResMed Sensor Technologies Limited Alertness service
JP2024512835A (ja) 2020-04-30 2024-03-21 レズメド センサー テクノロジーズ リミテッド ユーザの睡眠段階を促進するためのシステムおよび方法
WO2021234037A1 (en) 2020-05-19 2021-11-25 Resmed Sensor Technologies Limited Methods and apparatus for detection and monitoring of health parameters
EP4162499A1 (en) 2020-06-05 2023-04-12 ResMed Sensor Technologies Limited Systems and methods for identifying a user interface
AU2021289172A1 (en) 2020-06-08 2023-01-19 Resmed Sensor Technologies Limited Systems and methods for categorizing and/or characterizing a user interface
EP4171356A1 (en) 2020-06-26 2023-05-03 ResMed Sensor Technologies Limited Systems and methods for communicating an indication of a sleep-related event to a user
EP4171358A1 (en) 2020-06-30 2023-05-03 ResMed Sensor Technologies Limited Systems and methods for generating custom messages to encourage a behavioral response
EP4189697A1 (en) 2020-07-30 2023-06-07 ResMed, Inc. Systems and methods for determining a health condition on a device local to a respiratory system user
EP4188192A1 (en) 2020-07-31 2023-06-07 ResMed Sensor Technologies Limited Systems and methods for determining movement during respiratory therapy
US11808839B2 (en) 2020-08-11 2023-11-07 Google Llc Initializing sleep tracking on a contactless health tracking device
US11754676B2 (en) * 2020-08-11 2023-09-12 Google Llc Precision sleep tracking using a contactless sleep tracking device
US11832961B2 (en) 2020-08-11 2023-12-05 Google Llc Contactless sleep detection and disturbance attribution
US11406281B2 (en) 2020-08-11 2022-08-09 Google Llc Contactless cough detection and attribution
US20220054039A1 (en) * 2020-08-20 2022-02-24 Samsung Electronics Co., Ltd. Breathing measurement and management using an electronic device
WO2022046072A1 (en) * 2020-08-28 2022-03-03 Google Llc Contactless device for respiratory health monitoring
US11441805B2 (en) * 2020-08-28 2022-09-13 Google Llc Thermostat control using touch sensor gesture based input
US11360252B2 (en) 2020-08-28 2022-06-14 Google Llc Partially-reflective cover for a smart home device
CN116348038A (zh) 2020-08-31 2023-06-27 瑞思迈传感器技术有限公司 用于症状发生前疾病检测的系统和方法
WO2022047172A1 (en) 2020-08-31 2022-03-03 ResMed Pty Ltd Systems and methods for determining a recommended therapy for a user
WO2022058964A1 (en) 2020-09-18 2022-03-24 ResMed Pty Ltd Systems and methods for monitoring comorbidities
CN112152728B (zh) * 2020-09-18 2021-07-27 西北农林科技大学 一种面向行为感知的便捷超声多路收发硬件系统
JP2023544515A (ja) 2020-09-18 2023-10-24 レズメド センサー テクノロジーズ リミテッド 呼吸治療システムのユーザを支援するためのシステム及び方法
EP4214544A1 (en) * 2020-09-21 2023-07-26 Google LLC Smart home device using a single radar transmission mode for activity recognition of active users and vital sign monitoring of inactive users
CN113197552B (zh) * 2020-09-22 2023-05-12 配家互联网科技(深圳)有限公司 一种基于大数据的睡眠质量监测系统
US20230377114A1 (en) 2020-09-25 2023-11-23 Resmed Sensor Technologies Limited Systems and methods for diagnosing operational issues in a respiratory system
US11881219B2 (en) * 2020-09-28 2024-01-23 Hill-Rom Services, Inc. Voice control in a healthcare facility
US20230404793A1 (en) 2020-10-09 2023-12-21 Resmed Sensor Technologies Limited Automatic oral appliance adjustment
WO2022091034A1 (en) 2020-10-30 2022-05-05 Resmed Sensor Technologies Limited Systems and methods for determining a length and/or a diameter of a conduit
WO2022107075A1 (en) 2020-11-20 2022-05-27 Resmed Sensor Technologies Limited Systems and methods for monitoring a comfort level of an individual
WO2022115040A1 (en) * 2020-11-27 2022-06-02 Resmed Inc. Systems and methods for generating image data associated with a sleep-related event
CN116801793A (zh) 2020-11-27 2023-09-22 瑞思迈私人有限公司 用于在呼吸治疗期间识别用户身体位置的系统和方法
US11256878B1 (en) * 2020-12-04 2022-02-22 Zaps Labs, Inc. Directed sound transmission systems and methods
CN116888684A (zh) 2020-12-18 2023-10-13 瑞思迈传感器技术有限公司 群组睡眠表现评估
WO2022137183A1 (en) 2020-12-23 2022-06-30 Resmed Sensor Technologies Limited Systems and methods for detecting rainout in a respiratory therapy system
WO2022137065A1 (en) 2020-12-23 2022-06-30 Resmed Sensor Technologies Limited Systems and methods for detecting occlusions in headgear conduits during respiratory therapy
AU2022210719A1 (en) * 2021-01-25 2023-08-17 Med-El Elektromedizinische Geraete Gmbh Optimized acoustic chirp based on in-vivo bm-delays in human
CN117119955A (zh) 2021-01-29 2023-11-24 瑞思迈传感器技术有限公司 用于估计主观舒适度水平的系统和方法
DE102021201310A1 (de) * 2021-02-11 2022-08-11 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Bereitstellen einer Alarmanlagenfunktion in einem mobilen Gerät und mobiles Gerät, insbesondere Mobiltelefon oder Tabletcomputer
US20220268925A1 (en) * 2021-02-23 2022-08-25 Google Llc Presence detection using ultrasonics and audible sound
WO2022208368A1 (en) 2021-03-31 2022-10-06 Resmed Sensor Technologies Limited Systems and methods for managing blood pressure conditions of a user of a respiratory therapy system
CN113091257B (zh) * 2021-04-06 2023-05-16 青岛海尔空调器有限总公司 空调的控制方法、装置、设备和存储介质
EP4322839A1 (en) 2021-04-16 2024-02-21 ResMed Sensor Technologies Limited Systems and methods for characterizing a user interface or a vent using acoustic data associated with the vent
EP4329848A1 (en) 2021-04-29 2024-03-06 ResMed Sensor Technologies Limited Systems and methods for modifying pressure settings of a respiratory therapy system
WO2022249013A1 (en) 2021-05-24 2022-12-01 Resmed Sensor Technologies Limited Systems and methods for determining a sleep stage of an individual
WO2023275812A1 (en) 2021-06-30 2023-01-05 Resmed Sensor Technologies Limited Systems and methods for characterizing a conduit in a respiratory therapy system
WO2023012033A1 (en) 2021-08-05 2023-02-09 Signify Holding B.V. Apparatus for controlling radiofrequency sensing
WO2023031802A1 (en) 2021-08-30 2023-03-09 Resmed Sensor Technologies Limited Intelligent respiratory entrainment
WO2023031737A1 (en) 2021-08-30 2023-03-09 Resmed Sensor Technologies Limited Biofeedback cognitive behavioral therapy for insomnia
CN113707146A (zh) * 2021-08-31 2021-11-26 北京达佳互联信息技术有限公司 信息交互方法和信息交互装置
NO347534B1 (en) * 2021-11-05 2023-12-11 Elliptic Laboratories Asa Person or object detection
WO2023084366A1 (en) 2021-11-10 2023-05-19 Resmed Sensor Technologies Limited Enhanced wearable sensing
WO2023126840A1 (en) 2021-12-30 2023-07-06 Resmed Sensor Technologies Limited Systems and methods for monitoring the use of a respiratory therapy system by an individual with diabetes
NO20220132A1 (en) 2022-01-26 2023-07-27 Elliptic Laboratories As Improved presence detection
CN114913671A (zh) * 2022-03-28 2022-08-16 山东浪潮科学研究院有限公司 一种基于边缘计算的老人看护方法及系统
WO2023187686A1 (en) 2022-03-30 2023-10-05 ResMed Pty Ltd Systems and methods for determining a positional sleep disordered breathing status
NO347269B1 (en) * 2022-03-31 2023-08-21 Elliptic Laboratories Asa Dynamic sampling rate
WO2023192481A1 (en) 2022-03-31 2023-10-05 Resmed Inc. Methods and systems for an overall health score
WO2023194167A1 (en) * 2022-04-04 2023-10-12 Signify Holding B.V. System for performing a sound-based sensing of a subject in a sensing area
WO2024020231A1 (en) 2022-07-22 2024-01-25 Resmed Digital Health Inc. Systems and methods for selectively adjusting the sleeping position of a user
WO2024020106A1 (en) 2022-07-22 2024-01-25 ResMed Pty Ltd Systems and methods for determining sleep scores based on images
WO2024023743A1 (en) 2022-07-28 2024-02-01 Resmed Sensor Technologies Limited Systems for detecting a leak in a respiratory therapy system
WO2024039569A1 (en) 2022-08-17 2024-02-22 Resmed Digital Health Inc. Systems and methods for determining a risk factor for a condition
WO2024039742A1 (en) 2022-08-19 2024-02-22 Resmed Digital Health Inc. Systems and methods for presenting dynamic avatars
WO2024039890A1 (en) 2022-08-19 2024-02-22 Resmed Digital Health Inc. Systems and methods for determining a user interface type
WO2024039752A1 (en) 2022-08-19 2024-02-22 Resmed Digital Health Inc. Systems and methods for determining matches based on sleep information
WO2024039751A1 (en) 2022-08-19 2024-02-22 Resmed Digital Health Inc. Systems and methods for providing a sleep therapy community
WO2024039774A1 (en) 2022-08-19 2024-02-22 Resmed Digital Health Inc. Systems and methods for collaborative sleep therapy usage
WO2024049704A1 (en) 2022-08-30 2024-03-07 Resmed Digital Health Inc. Systems and methods for pulmonary function testing on respiratory therapy devices
US11955817B1 (en) 2022-09-21 2024-04-09 Reach Power, Inc. System and method for wireless power transmission and/or field detection
WO2024069436A1 (en) 2022-09-27 2024-04-04 Resmed Sensor Technologies Limited Systems and methods for analyzing sounds made by an individual during a sleep session
WO2024069500A1 (en) 2022-09-29 2024-04-04 Resmed Sensor Technologies Limited Systems and methods for cardiogenic oscillation detection

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012239748A (ja) * 2011-05-23 2012-12-10 Toyota Central R&D Labs Inc 弾性波検出装置、個人認証装置、音声出力装置、弾性波検出プログラム、及び個人認証プログラム
JP2014138661A (ja) * 2013-01-21 2014-07-31 Toshiba Corp 医用画像表示装置及びプログラム
WO2016021235A1 (ja) * 2014-08-07 2016-02-11 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および、情報処理方法
WO2016093927A2 (en) * 2014-12-08 2016-06-16 University Of Washington Systems and methods of identifying motion of a subject
JP2016532481A (ja) * 2013-07-08 2016-10-20 レスメッド センサー テクノロジーズ リミテッド 睡眠管理の方法及びシステム
WO2016170011A1 (en) * 2015-04-20 2016-10-27 Resmed Sensor Technologies Limited Gesture recognition with sensors
JP2016193020A (ja) * 2015-03-31 2016-11-17 セコム株式会社 超音波センサ
WO2017098609A1 (ja) * 2015-12-09 2017-06-15 富士通株式会社 センサシステム、センサ情報処理装置、センサ情報処理プログラム、及び、ベッド

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE39539E1 (en) 1996-08-19 2007-04-03 Torch William C System and method for monitoring eye movement
US6661345B1 (en) 1999-10-22 2003-12-09 The Johns Hopkins University Alertness monitoring system
JP3980868B2 (ja) 2001-11-02 2007-09-26 パイオニア株式会社 車両自動誘導システム、車両自動誘導システムにおける制御装置、車両自動誘導方法および自動誘導処理プログラム。
US7020508B2 (en) * 2002-08-22 2006-03-28 Bodymedia, Inc. Apparatus for detecting human physiological and contextual information
US6996394B2 (en) * 2002-08-30 2006-02-07 Qualcomm Incorporated Server processing in providing messages for a wireless device connecting to a server
DE10259522A1 (de) 2002-12-19 2004-07-01 Robert Bosch Gmbh Radargestützte Sensierung von Lage und/oder Bewegung des Körpers oder im Körper von Lebewesen
CN1784700A (zh) 2003-05-08 2006-06-07 皇家飞利浦电子股份有限公司 发送遇险信号的系统、能够发送遇险信号的人体区域网络、用于发信号通知遇险情况的方法以及配置有发送遇险信号的系统的交通工具
US9779751B2 (en) * 2005-12-28 2017-10-03 Breath Research, Inc. Respiratory biofeedback devices, systems, and methods
EP2020919B1 (en) 2006-06-01 2019-07-31 ResMed Sensor Technologies Limited Apparatus, system, and method for monitoring physiological signs
WO2008091621A1 (en) 2007-01-23 2008-07-31 Alan Goodrich An unobitrusive system and method for monitoring the physiological condition of a target user of a vehicle
IL186768A0 (en) * 2007-10-18 2008-02-09 Shaked Rahamim Infant apnea detector and system
DE102008038022B4 (de) 2008-08-16 2018-05-24 Daimler Ag Weckeinrichtung
US8525679B2 (en) * 2009-09-18 2013-09-03 Hill-Rom Services, Inc. Sensor control for apparatuses for supporting and monitoring a person
WO2011140993A1 (zh) 2010-05-12 2011-11-17 北京星河易达科技有限公司 基于综合状态检测的智能交通安全系统及其决策方法
CN103108588B (zh) 2010-09-22 2015-08-12 皇家飞利浦电子股份有限公司 用于监控对象呼吸活动的方法和装置
WO2012063308A1 (ja) 2010-11-08 2012-05-18 トヨタ自動車株式会社 睡眠状態推定装置
EP2648618B1 (en) * 2010-12-10 2021-07-14 Joyson Safety Systems Acquisition LLC System for monitoring a vehicle driver
US9737261B2 (en) * 2012-04-13 2017-08-22 Adidas Ag Wearable athletic activity monitoring systems
US20130345921A1 (en) 2012-06-22 2013-12-26 Masimo Corporation Physiological monitoring of moving vehicle operators
US9430938B2 (en) 2013-03-04 2016-08-30 Hello Inc. Monitoring device with selectable wireless communication
US20140276165A1 (en) * 2013-03-14 2014-09-18 Covidien Lp Systems and methods for identifying patient talking during measurement of a physiological parameter
US9751534B2 (en) 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
US9993166B1 (en) 2013-06-21 2018-06-12 Fitbit, Inc. Monitoring device using radar and measuring motion with a non-contact device
US10004451B1 (en) * 2013-06-21 2018-06-26 Fitbit, Inc. User monitoring system
US10009581B2 (en) 2015-01-02 2018-06-26 Fitbit, Inc. Room monitoring device
US8874301B1 (en) 2013-07-09 2014-10-28 Ford Global Technologies, Llc Autonomous vehicle with driver presence and physiological monitoring
EP3047481A4 (en) * 2013-09-20 2017-03-01 Amazon Technologies Inc. Local and remote speech processing
US9936916B2 (en) * 2013-10-09 2018-04-10 Nedim T. SAHIN Systems, environment and methods for identification and analysis of recurring transitory physiological states and events using a portable data collection device
EP3062859B1 (en) 2013-10-30 2022-07-06 ResMed Pty Ltd Control for pressure of a patient interface
US9645786B2 (en) 2014-01-06 2017-05-09 Avnera Corporation Gesture-controlled tabletop speaker system
RS20140182A1 (en) 2014-04-14 2015-10-30 Novelic D.O.O. RADAR SENSOR FOR DRIVER DETECTION DETECTION OPERATING IN MILLIMETER FREQUENCY AND OPERATION METHOD
US9717427B2 (en) * 2014-05-30 2017-08-01 Microsoft Technology Licensing, Llc Motion based estimation of biometric signals
WO2015192980A1 (de) 2014-06-20 2015-12-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, verfahren und computerprogramm zur detektion eines sekundenschlafs
CN204306833U (zh) 2014-11-03 2015-05-06 沈阳正道安全科技股份有限公司 一种车载红外疲劳检测装置
FR3028741B1 (fr) 2014-11-25 2019-06-14 Psa Automobiles Sa. Dispositif de mesure du rythme cardiaque du conducteur d’un vehicule
JP6757532B2 (ja) 2014-12-05 2020-09-23 東京都公立大学法人 睡眠段階判定装置、睡眠段階判定方法、睡眠段階判定プログラム
US9489817B2 (en) 2015-01-29 2016-11-08 Vigo Technologies, Inc. Infrared sensing of eye and eyelid movements to detect drowsiness
US10229754B2 (en) * 2015-03-09 2019-03-12 Koninklijke Philips N.V. Wearable device obtaining audio data for diagnosis
CN107427655B (zh) 2015-03-13 2020-11-24 瑞思迈私人有限公司 呼吸治疗装置及方法
EP3304114A1 (en) 2015-05-27 2018-04-11 Koninklijke Philips N.V. Motion detection with multi element radio frequency antennas
CN106406925A (zh) 2015-08-03 2017-02-15 阿里巴巴集团控股有限公司 用于支持在线升级的设备和方法
CN108135534B (zh) 2015-08-26 2022-04-05 瑞思迈传感器技术有限公司 监测和管理慢性疾病的系统与方法
JP6599723B2 (ja) 2015-10-01 2019-10-30 ヘルスセンシング株式会社 生体情報取得装置及び信号処理方法
KR20180091022A (ko) 2015-12-10 2018-08-14 조지아 테크 리서치 코오포레이션 위상 동기 루프를 기반으로 한 노이즈-억제 기능이 있는 멀티-캐리어 비접촉 신호 검출
DE102015122245A1 (de) 2015-12-18 2017-06-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Kraftfahrzeugs mit einerZustandsüberwachungseinrichtung, Fahrerassistenzsystem und Kraftfahrzeug
US10171971B2 (en) * 2015-12-21 2019-01-01 Skullcandy, Inc. Electrical systems and related methods for providing smart mobile electronic device features to a user of a wearable device
US10386482B2 (en) 2016-01-25 2019-08-20 Board Of Regents, The University Of Texas System Device-free tracking system that accurately tracks hand movement
WO2017167731A1 (en) 2016-03-28 2017-10-05 Robert Bosch Gmbh Sonar-based contactless vital and environmental monitoring system and method
CN109952058B (zh) 2016-09-19 2023-01-24 瑞思迈传感器技术有限公司 用于从音频和多模态信号中检测生理运动的装置、系统及方法
US10166438B2 (en) * 2017-04-11 2019-01-01 Motorola Mobility Llc Apparatus, method, and program product for tracking physical activity
GB2567826B (en) 2017-10-24 2023-04-26 Cambridge Cognition Ltd System and method for assessing physiological state
CN108113706B (zh) 2017-12-19 2021-01-05 清华大学无锡应用技术研究院 一种基于音频信号的心率监测方法、装置及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012239748A (ja) * 2011-05-23 2012-12-10 Toyota Central R&D Labs Inc 弾性波検出装置、個人認証装置、音声出力装置、弾性波検出プログラム、及び個人認証プログラム
JP2014138661A (ja) * 2013-01-21 2014-07-31 Toshiba Corp 医用画像表示装置及びプログラム
JP2016532481A (ja) * 2013-07-08 2016-10-20 レスメッド センサー テクノロジーズ リミテッド 睡眠管理の方法及びシステム
WO2016021235A1 (ja) * 2014-08-07 2016-02-11 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および、情報処理方法
WO2016093927A2 (en) * 2014-12-08 2016-06-16 University Of Washington Systems and methods of identifying motion of a subject
JP2016193020A (ja) * 2015-03-31 2016-11-17 セコム株式会社 超音波センサ
WO2016170011A1 (en) * 2015-04-20 2016-10-27 Resmed Sensor Technologies Limited Gesture recognition with sensors
WO2017098609A1 (ja) * 2015-12-09 2017-06-15 富士通株式会社 センサシステム、センサ情報処理装置、センサ情報処理プログラム、及び、ベッド

Also Published As

Publication number Publication date
US20210150873A1 (en) 2021-05-20
EP3727135B1 (en) 2024-02-28
EP3727135A1 (en) 2020-10-28
CN116898406A (zh) 2023-10-20
US11615688B2 (en) 2023-03-28
EP4349250A2 (en) 2024-04-10
KR20200103749A (ko) 2020-09-02
JP7464522B2 (ja) 2024-04-09
US20240005768A1 (en) 2024-01-04
CN111629658A (zh) 2020-09-04
CN111629658B (zh) 2023-09-15
WO2019122413A1 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
JP7464522B2 (ja) 動き感知のための装置、システムおよび方法
JP7202385B2 (ja) 健康および医療的感知のための装置、システムおよび方法
KR102649497B1 (ko) 차량에서의 생리학적 감지를 위한 장치, 시스템, 및 방법
JP7273909B2 (ja) 特性信号から人間の検出及び識別
US20220007965A1 (en) Methods and apparatus for detection of disordered breathing
US20230173221A1 (en) Systems and methods for promoting a sleep stage of a user
US20230190140A1 (en) Methods and apparatus for detection and monitoring of health parameters
JP2023539060A (ja) 非接触型睡眠検出および障害帰属

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221122

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230222

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230810

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240328

R150 Certificate of patent or registration of utility model

Ref document number: 7464522

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150