CN116035528A - 用于从音频和多模态信号中检测生理运动的装置、系统及方法 - Google Patents
用于从音频和多模态信号中检测生理运动的装置、系统及方法 Download PDFInfo
- Publication number
- CN116035528A CN116035528A CN202310021127.0A CN202310021127A CN116035528A CN 116035528 A CN116035528 A CN 116035528A CN 202310021127 A CN202310021127 A CN 202310021127A CN 116035528 A CN116035528 A CN 116035528A
- Authority
- CN
- China
- Prior art keywords
- processor
- signal
- readable medium
- instructions
- sound signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 207
- 238000000034 method Methods 0.000 title claims abstract description 188
- 230000005236 sound signal Effects 0.000 claims abstract description 155
- 230000029058 respiratory gaseous exchange Effects 0.000 claims abstract description 85
- 230000007958 sleep Effects 0.000 claims abstract description 42
- 238000011156 evaluation Methods 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 147
- 230000000241 respiratory effect Effects 0.000 claims description 72
- 238000001514 detection method Methods 0.000 claims description 52
- 238000001914 filtration Methods 0.000 claims description 25
- 230000004044 response Effects 0.000 claims description 25
- 230000003044 adaptive effect Effects 0.000 claims description 17
- 230000008667 sleep stage Effects 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 10
- 239000000872 buffer Substances 0.000 claims description 10
- 230000003993 interaction Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 208000037656 Respiratory Sounds Diseases 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 6
- 206010062519 Poor quality sleep Diseases 0.000 claims description 4
- 230000002123 temporal effect Effects 0.000 claims description 4
- 238000003825 pressing Methods 0.000 claims description 3
- 230000036385 rapid eye movement (rem) sleep Effects 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 46
- 238000012544 monitoring process Methods 0.000 abstract description 18
- 208000017667 Chronic Disease Diseases 0.000 abstract description 6
- 230000000694 effects Effects 0.000 description 42
- 238000005516 engineering process Methods 0.000 description 35
- 238000004458 analytical method Methods 0.000 description 30
- 230000008859 change Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 16
- 238000005070 sampling Methods 0.000 description 14
- 230000000747 cardiac effect Effects 0.000 description 12
- 238000013500 data storage Methods 0.000 description 12
- 230000002829 reductive effect Effects 0.000 description 12
- 230000001360 synchronised effect Effects 0.000 description 12
- 238000013459 approach Methods 0.000 description 10
- 230000001276 controlling effect Effects 0.000 description 10
- 230000000873 masking effect Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 9
- 230000015654 memory Effects 0.000 description 9
- 230000003595 spectral effect Effects 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 8
- 239000000463 material Substances 0.000 description 8
- 238000002156 mixing Methods 0.000 description 8
- 230000000737 periodic effect Effects 0.000 description 8
- 230000036387 respiratory rate Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000012805 post-processing Methods 0.000 description 7
- 238000003672 processing method Methods 0.000 description 7
- 239000000523 sample Substances 0.000 description 7
- 230000007423 decrease Effects 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 6
- 238000012935 Averaging Methods 0.000 description 5
- 241000282412 Homo Species 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 238000011084 recovery Methods 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 206010021079 Hypopnoea Diseases 0.000 description 4
- 206010041235 Snoring Diseases 0.000 description 4
- 206010047924 Wheezing Diseases 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 4
- 208000008784 apnea Diseases 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000012806 monitoring device Methods 0.000 description 4
- 230000010363 phase shift Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 241000282472 Canis lupus familiaris Species 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 3
- 208000005793 Restless legs syndrome Diseases 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000002955 isolation Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000000414 obstructive effect Effects 0.000 description 3
- 230000010355 oscillation Effects 0.000 description 3
- 201000002859 sleep apnea Diseases 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 206010007559 Cardiac failure congestive Diseases 0.000 description 2
- 206010011224 Cough Diseases 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 2
- 206010019280 Heart failures Diseases 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 230000035559 beat frequency Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002612 cardiopulmonary effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000002592 echocardiography Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 238000001093 holography Methods 0.000 description 2
- 230000001976 improved effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000000116 mitigating effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013442 quality metrics Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000036391 respiratory frequency Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 208000019116 sleep disease Diseases 0.000 description 2
- 208000020685 sleep-wake disease Diseases 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 208000003417 Central Sleep Apnea Diseases 0.000 description 1
- 208000006545 Chronic Obstructive Pulmonary Disease Diseases 0.000 description 1
- 108091026890 Coding region Proteins 0.000 description 1
- 241001669679 Eleotris Species 0.000 description 1
- 241000238558 Eucarida Species 0.000 description 1
- 235000008694 Humulus lupulus Nutrition 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 208000010340 Sleep Deprivation Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 208000006673 asthma Diseases 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 238000009610 ballistocardiography Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000035565 breathing frequency Effects 0.000 description 1
- 206010006514 bruxism Diseases 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 230000001808 coupling effect Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005713 exacerbation Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000000227 grinding Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008518 non respiratory effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000003534 oscillatory effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 229920000729 poly(L-lysine) polymer Polymers 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 208000023504 respiratory system disease Diseases 0.000 description 1
- 238000002644 respiratory therapy Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003860 sleep quality Effects 0.000 description 1
- 206010041232 sneezing Diseases 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0816—Measuring devices for examining respiratory frequency
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7228—Signal modulation applied to the input signal sent to patient or subject; demodulation to recover the physiological signal
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0204—Acoustic sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4812—Detecting sleep stages or cycles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4818—Sleep apnoea
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/22—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only
- H04R1/222—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only for microphones
Abstract
方法和设备提供利用主动声音生成检测生理运动。在一些版本中,处理器可以检测呼吸和/或大幅度身体运动。处理器可以控制通过耦合到处理器的扬声器产生包括用户的附近的声音信号。处理器可以控制通过耦合到处理器的麦克风感测反射的声音信号。该反射的声音信号是来自用户的声音信号的反射。处理器可以处理反射的声音,诸如通过解调技术。处理器可以从处理的反射声音信号中检测呼吸。声音信号可以产生为时隙帧中的一系列音调对,或者产生为具有变化频率的相位连续重复波形(例如三角形或斜坡锯齿形)。检测的运动信息的评估可以确定睡眠状态或评分、疲劳指示、对象识别、慢性疾病监测/预测和其他输出参数。
Description
1.1分案申请声明
本申请是国际申请日为2017年09月19日、国际申请号为PCT/EP2017/073613的PCT国际申请,于2019年05月08日进入中国国家阶段的、发明名称为“用于从音频和多模态信号中检测生理运动的装置、系统及方法”、申请号为2017800692184的中国发明专利申请的分案申请。
1.2相关申请的交叉引用
本申请要求2016年9月19日提交的美国临时专利申请第62/396,616号的权益,该申请以引用的方式整体并入本文。
2背景技术
2.1技术领域
本技术涉及检测与活体对象相关的生物运动。更具体地,本技术涉及使用声学感测来检测生理运动,诸如呼吸运动、心脏运动和/或活体对象的其他较小周期性身体运动。
2.2相关技术描述
监测人的呼吸和身体(包括肢体)运动(例如在睡眠期间),在许多方面可以是有用的。例如,此类监测可用于监测和/或诊断睡眠障碍呼吸状况,诸如睡眠呼吸暂停。传统上,有源无线电定位或测距应用的进入障碍是需要专用硬件电路和天线。
智能手机和其他便携式电子通信设备在日常生活中无处不在,即使在固定电话不可用的发展中国家也是如此。期望具有一种用于监测生物运动(即生理运动)的方法,其以高效、有效的方式,并且不需要专门设备。此类系统和方法的实现将解决相当大的技术挑战。
3发明内容
本技术涉及用于例如当对象处于睡眠状态时检测对象的运动的系统、方法和装置。基于此类运动检测,包括例如呼吸运动,可以检测对象的运动、睡眠相关特性、睡眠状态和/或呼吸暂停事件。更具体地,与诸如智能手机、平板电脑等移动设备相关联的运动应用程序使用移动设备传感器,诸如集成的和/或可外部连接的扬声器和麦克风来检测呼吸和运动。
本技术的一些版本可以包括处理器可读介质,具有存储在其上的处理器可执行指令,当由处理器执行时,处理器可执行指令使处理器检测用户的生理运动。处理器可执行指令可以包含以下指令:用于控制通过耦合到电子处理设备的扬声器产生包括用户的附近的声音信号。处理器可执行指令可以包含以下指令:用于控制通过耦合到电子处理设备的麦克风感测从用户反射的声音信号。处理器可执行指令可以包含用于处理感测的声音信号的指令。处理器可执行指令可以包含用于从处理的声音信号中检测呼吸信号的指令。
在一些版本中,声音信号可能处于听不见的声音范围内。声音信号可以包括形成脉冲的音调对。声音信号可以包括帧序列。序列的每个帧可以包含一系列音调对,其中每个音调对与帧内的相应时隙相关联。音调对可以包括第一频率和第二频率。第一频率和第二频率可以不同。第一频率和第二频率可以彼此正交。帧中的一系列音调对可以包含第一音调对和第二音调对,其中第一音调对的频率可以与第二音调对的频率不同。帧的时隙的音调对可以在时隙的开始和结束处具有零幅度,并且可以在开始和结束之间具有往返峰值幅度的斜坡幅度。
在一些版本中,帧的时间宽度可以变化。时间宽度可以是帧的时隙的宽度。时间宽度可以是帧的宽度。时隙的帧的一系列音调对可以相对于帧的不同时隙形成不同频率的模式。不同频率的模式可以在多个帧中重复。对于多个时隙帧中的不同时隙帧,不同频率的模式可以变化。
在一些版本中,用于控制产生声音信号的指令可以包括音调对帧调制器。用于控制感测从用户反射的声音信号的指令可以包括帧缓冲器。用于处理从用户反射的感测声音信号的指令可以包括解调器,以产生包含呼吸信号的一个或多个基带运动信号。解调器可以产生多个基带运动信号,其中多个基带运动信号可以包括正交基带运动信号。
在一些版本中,处理器可读介质可以包括处理器可执行指令以处理多个基带运动信号。处理多个基带运动信号的处理器可执行指令可以包括中频处理模块和优化处理模块,以由多个基带运动信号产生组合的基带运动信号。组合的基带运动信号可以包括呼吸信号。在一些版本中,用于检测呼吸信号的指令可以包含由组合的基带运动信号确定呼吸速率。在声音信号的一些版本中,帧的相应时隙的持续时间可以等于1除以音调对的频率之间的差。
在本技术的一些版本中,声音信号可以包括具有变化频率的重复波形。重复波形可以是相位连续的。具有变化频率的重复波形可以包括斜坡锯齿、三角形和正弦波形中的一种。处理器可读介质还可包括处理器可执行指令,处理器可执行指令包括以下指令:用于改变重复波形的形式的一个或多个参数。一个或多个参数可以包括以下中的任何一个或多个:(a)重复波形的重复部分中的峰值位置,(b)重复波形的重复部分的斜坡的斜率,以及(c)重复波形的重复部分的频率范围。在一些版本中,重复波形的重复部分可以是线性函数或改变重复部分频率的曲线函数。在一些版本中,具有变化频率的重复波形可以包括对称三角波形。在一些版本中,用于控制产生声音信号的指令包括用于循环声音数据的指令,该声音数据表示重复波形的波形。用于控制感测从用户反射的声音信号的指令可以包括以下指令:用于存储从麦克风采样的声音数据。用于控制处理感测的声音信号的指令可以包括以下指令:用于将产生的声音信号与感测的声音信号相关联以检查同步。
在一些版本中,用于处理感测的声音信号的指令可以包括降频转换器以产生包含呼吸信号的数据。降频转换器可以将表示产生的声音信号的信号与感测的声音信号混合。降频转换器可以对输出进行滤波,该输出是表示产生的声音信号的信号与感测的声音信号的混合的输出。降频转换器可以对经滤波的输出进行加窗,该输出是表示产生的声音信号的信号与感测的声音信号的混合的输出。降频转换器可以产生经加窗的经滤波的输出的频域变换矩阵,该输出是表示产生的声音信号的信号与感测的声音信号的混合的输出。用于检测呼吸信号的处理器可执行指令可以从由降频转换器产生的数据矩阵的多个信道中提取幅度和相位信息。用于检测呼吸信号的处理器可执行指令还可包括由数据矩阵计算多个特征的处理器可执行指令。多个特征可以包括以下中的任何一个或多个:(a)带内平方除以全频带度量,(b)带内度量,(c)峰度度量,以及(d)频域分析度量。用于检测呼吸信号的处理器可执行指令可以基于多个特征生成呼吸速率。
在一些版本中,处理器可执行指令还可以包括以下指令:用于通过评估电子处理设备的一个或多个特性来校准基于声音的身体运动检测。处理器可执行指令还可以包括以下指令:用于基于评估生成声音信号。用于校准基于声音的检测的指令可以确定至少一个硬件、环境或用户特定特性。处理器可执行指令还可以包括用于操作宠物设置模式的指令,其中可以基于用户输入选择用于产生声音信号的频率并且用于产生一个或多个测试声音信号。
在一些版本中,处理器可执行指令还可以包括以下指令:用于基于检测到的与电子处理设备的用户交互来中断产生声音信号。检测到的用户交互可以包括以下中的任何一个或多个:利用加速度计检测电子处理设备的运动、检测按下按键、检测触摸屏幕、检测来电。处理器可执行指令还可以包括以下指令:用于基于检测到不存在与电子处理设备的用户交互来发起产生声音信号。
在一些版本中,处理器可执行指令还可以包括以下指令:用于基于对用户反射的感测声音信号的处理来检测大幅度身体运动。在一些版本中,处理器可执行指令还可以包括以下指令:用于处理通过麦克风感测的音频信号以评估环境声音、语音和呼吸声中的任何一种或多种以检测用户运动。在一些版本中,处理器可执行指令还可以包括以下指令:用于处理呼吸信号以确定以下中的任何一个或多个:(a)指示睡眠的睡眠状态;(b)指示清醒的睡眠状态;(c)指示深度睡眠的睡眠阶段;(d)指示轻度睡眠的睡眠阶段;(e)指示REM睡眠的睡眠阶段。
在一些版本中,处理器可执行指令还可以包括以下指令:用于操作设置模式以检测电子处理设备附近的声音频率并选择与检测的声音频率不同的声音信号的频率范围。在一些版本中,用于操作设置模式的指令可以选择与检测的声音频率不重叠的频率范围。
在本技术的一些版本中,服务器可以访问本文描述的任何处理器可读介质。服务器可以被配置为接收用于通过网络将处理器可读介质的处理器可执行指令下载到电子处理设备的请求。
在本技术的一些版本中,移动电子设备或电子处理设备可以包括一个或多个处理器;耦合到一个或多个处理器的扬声器;耦合到一个或多个处理器的麦克风;以及本文描述的任何处理器可读介质的处理器可读介质。
本技术的一些版本涉及服务器的方法,该服务器可访问本文描述的任何处理器可读介质。该方法可以包括在服务器处接收用于通过网络将处理器可读介质的处理器可执行指令下载到电子处理设备的请求。该方法还可以包括响应于该请求将处理器可执行指令发送到电子处理设备。
本技术的一些版本涉及使用移动电子设备检测身体运动的处理器的方法。该方法可以包括利用处理器访问本文描述的任何处理器可读介质。该方法可以包括在处理器中执行处理器可读介质的任何处理器可执行指令。
本技术的一些版本涉及使用移动电子设备检测身体运动的处理器的方法。该方法可以包括控制通过耦合到移动电子设备的扬声器产生附近的声音信号,该附近包括用户。该方法可以包括控制通过耦合到移动电子设备的麦克风感测从用户反射的声音信号。该方法可以包括处理感测的反射声音信号。该方法可以包括从处理的反射声音信号中检测呼吸信号。
本技术的一些版本涉及使用移动电子设备检测运动和呼吸的方法。该方法可以包括通过移动电子设备上的扬声器向用户发送声音信号。该方法可以包括通过移动电子设备上的麦克风感测反射的声音信号,该反射的声音信号从用户反射。该方法可以包括从反射的声音信号中检测呼吸和运动信号。声音信号可以是听不见的或可听见的声音信号。在一些版本中,在发送之前,该方法可以涉及使用FMCW调制方案、FHRG调制方案、AFHRG调制方案、CW调制方案、UWB调制方案或ACW调制方案中的一种来调制声音信号。可选地,声音信号可以是调制的低频超声声音信号。该信号可以包括作为帧发送的多个频率对。在一些版本中,在感测到反射的声音信号时,该方法可以包括解调反射的声音信号。解调可以包括对反射声音信号执行滤波操作;以及将滤波的反射声音信号与发送的声音信号的定时同步。在一些版本中,生成声音信号可以包括执行校准功能以评估移动电子设备的一个或多个特性;并基于校准功能生成声音信号。校准功能可以被配置为确定至少一个硬件、环境或用户特定特性。滤波器操作可以包括高通滤波器操作。
本技术的一些版本涉及检测运动和呼吸的方法。该方法可以包括产生指向用户的声音信号。该方法可以包括感测从用户反射的声音信号。该方法可以包括从感测的反射声音信号中检测呼吸和运动信号。在一些版本中,可以在床边设备处执行产生、发送、感测和检测。可选地,床边设备可以是治疗设备,诸如CPAP设备。
本文描述的方法、系统、设备和装置能够提供处理器(诸如通用或专用计算机的处理器、便携式计算机处理设备(例如移动电话、平板计算机等)、呼吸监测器和/或其他利用麦克风和扬声器的呼吸装置)中的功能改进。此外,所描述的方法、系统、设备和装置能够提供自动化管理、监测和/或预防和/或评估呼吸状况和睡眠状况(包括例如睡眠呼吸暂停)的技术领域中的改进。
当然,各方面的部分可以形成本技术的子方面。另外,子方面和/或方面中的各个方面可以以任何方式进行组合,并且还构成本技术的其它方面或子方面。
通过考虑以下详述的说明书、摘要、附图和权利要求书中所含的信息,本技术的其它特征将变得显而易见。
4附图说明
本技术在附图的图形中通过实例而非限制的方式示出,其中相同的参考标号表示类似的元件,包括:
图1示出了用于从睡眠者接收音频信息的示例处理设备,其可以适合于实现本技术的过程;
图2是根据本技术实例的系统的示意图。
图2A示出了用于实现本技术的各方面的系统的高级架构框图。
图3是根据本技术的一些形式配置的移动设备的概念图。
图4示出了示例性FHRG声纳帧。
图5示出了AFHRG收发器帧的实例。
图6A、6B和6C示出了脉冲AFHRG帧的实例。
图7是(A)FHRG架构的概念图。
图8示出了各向同性全向天线与定向天线的实例。
图9示出了正弦滤波器响应的实例。
图10示出了正弦滤波器的衰减特性的实例。
图11是示出基带呼吸信号的实例的曲线图。
图12示出了与训练音调帧的初始同步的实例。
图13示出了具有中频的AFHRG帧的实例。
图14示出了AToF帧的实例。
图15A、15B和15C示出了FMCW斜坡序列的可听见版本的实例的信号特性。
图16A、16B和16C示出了FMCW正弦曲线的实例的信号特性。
图17示出了三角波形式的示例声音信号(例如听不到的声音)的信号特性。
图18A和18B示出了对来自听不到的三角形(其由图17的智能设备的扬声器发出)的检测到的呼吸波形进行解调,其具有图18A中所示的上斜坡处理以及图18B中所示的下斜坡处理。
图19示出了FMCW处理流操作器/模块的示例性方法,包括“2D”(二维)信号处理。
图20示出了下转换操作器/模块的示例性方法,其是图19的FMCW处理流程的一部分。
图21示出了2D分析操作器/模块的示例性方法,其可以是图19的FMCW处理流程的一部分。
图22示出了用于通过缺席/存在操作者/模块执行缺席/存在检测的方法。
图23A示出了曲线图上的若干信号,示出了在人“移出”和进入设备100的各种感测范围的情况下,在“2D”数据段中随时间的各种检测范围的感测操作。
图23B是图23A的信号图的一部分,示出了来自图23A的区域BB。
图23C是图23A的信号图的一部分,示出了来自图23A的区域CC。
5具体实施方式
在更进一步详细描述本技术之前,应当理解的是本技术并不限于本文所描述的特定实例,本文描述的特定实例可改变。还应当理解的是本公开内容中使用的术语仅是为了描述本文所描述的特定实例的目的,并不意图进行限制。
提供与可共享共同特性和/或特征的各种实例有关的以下描述。应该理解的是任何一个示例形式的一个或更多个特征可以与另一形式的一个或多个特征组合。另外,本文描述的任一形式的任何单个特征或多个特征的组合可以组成进一步的示例形式。
5.1筛选、监测及诊断
本技术涉及用于检测对象的运动的系统、方法和装置,包括例如呼吸运动和/或心脏相关的胸部运动,诸如当对象睡着时。基于此类呼吸和/或其他运动检测,可以检测对象的睡眠状态和呼吸暂停事件。更具体地,与诸如智能手机、平板电脑等移动设备相关联的移动应用程序使用移动设备传感器(诸如扬声器和麦克风)来检测此类运动。
现在参考图1至图3描述适合于实现本技术的示例系统。如图2中最佳示出的。移动设备100或移动电子设备配置有用于检测对象110的运动的应用程序200,可以放置在对象110附近的床边桌上。移动设备100可以是例如具有一个或多个处理器的智能手机或平板电脑。处理器可以被配置为除了其他之外执行应用程序200的功能,包括使得生成音频信号并将其发送通常通过空气(诸如在设备的房间附近),空气作为通常开放或不受限制的介质,通过用例如换能器(诸如麦克风)感测被发送信号的反射来接收发送信号的反射,以及处理感测到的信号以确定身体运动和呼吸参数。除了其他部件之外,移动设备100可以包含扬声器和麦克风。扬声器可用于发送所生成的音频信号并且麦克风可以接收反射的信号。可选地,移动设备的基于声音的感测方法可以在其他类型的设备中实现,或者由其他类型的设备实现,诸如床边设备(例如呼吸治疗设备(诸如持续气道正压通气(例如“CPAP”)设备)或高流动治疗设备)。此类设备的实例包括压力设备或鼓风机(例如蜗壳中的马达和叶轮)、一个或多个传感器以及压力设备或鼓风机的中央控制器,可以参考2014年10月28日提交的国际专利公开号WO/2015/061848(申请号PCT/AU2014/050315)和2016年3月14日提交的国际专利公开号WO/2016/145483(申请号PCT/AU2016/050117)中描述的设备来考虑,其以引用的方式整体并入本文。
图2A示出了用于实现本技术的各方面的系统的高级架构框图。可以例如在移动设备100中实现该系统。信号生成部件210可以被配置为生成用于向对象发送的音频信号。如本文所述,信号可以是可听见的或听不见的。例如,如本文中更详细讨论的,在一些版本中,声音信号可以在低频超声波范围内产生,诸如约十七(17)千赫兹(KHz)至二十三(23)KHz,或者在约十八(18)KHz至二十二(2)KHz的范围内。此类频率范围在本文中通常被认为是听不见的声音范围。生成的信号可以通过发送器212发送。根据本发明,发送器212可以是移动电话扬声器。一旦发送了所生成的信号,接收器214就可以感测声波,包括从对象反射的那些波,接收器214可以是移动电话麦克风。
如216处所示,可以发生信号恢复和模拟-数字信号转换阶段。可以解调恢复的信号以检索表示呼吸参数的信号,如218处所示,诸如在解调处理模块中。还可以处理信号的音频分量,如220处所示,诸如在音频处理模块中。此类处理可以包括例如无源音频分析以提取呼吸或其他运动(包括不同类型的活动,诸如在床上翻滚、PLM(周期性腿部运动)、RLS(不安腿部综合征)等)打鼾、喘气和喘息的声音。音频部件处理还可以提取干扰源的声音,诸如讲话、电视、其他媒体回放以及其他周围/环境音频/噪声源。在218处的解调阶段的输出可以在222处进行带内处理,诸如通过带内处理模块,以及在224处进行带外处理,诸如通过带外处理模块。例如,222处的带内处理可以指向含有呼吸和心脏信号的信号频带的那部分。224处的带外处理可以指向含有其他部件的信号的那些部分,诸如大幅度或精细运动(例如翻滚、踢、做手势、在房间周围运动等)。然后,222处的带内处理以及224处的带外处理的输出可以被提供给230处的信号后处理,诸如在一个或多个信号后处理模块中。230处的信号后处理可以包括例如232处的呼吸/心脏信号处理(诸如在呼吸/心脏信号处理模块中)、234处的信号质量处理(诸如在信号质量处理模块中)、236处的大幅度运动处理(诸如在身体运动处理模块中)、以及238处的缺席/存在处理(诸如在缺席/存在处理模块中)。
虽然未在图2A中示出,但是230处的信号后处理的输出可以经历第二后处理阶段,其提供睡眠状态、睡眠评分、疲劳指示、对象识别、慢性疾病监测和/或预测、睡眠障碍呼吸事件检测和其他输出参数,诸如来自对所产生的运动信号的任何运动特性的评估(例如呼吸相关的运动(或其不存在)、心脏相关运动、唤醒相关的运动、周期性腿运动等)。在图2A的实例中,示出了241处的可选睡眠分段处理,诸如在睡眠分段处理模块中。然而,可选地添加任何一个或多个这样的处理模块/块(例如睡眠评分或分段、疲劳指示处理、对象识别处理、慢性疾病监测和/或预测处理、睡眠障碍呼吸事件检测处理或其他输出处理等)。在一些情况下,可以使用以下任一专利或专利申请中描述的装置、系统和方法的任何部件、设备和/或方法来执行230或第二后处理阶段处的信号后处理的功能,其中每项专利或专利申请以引用的方式整体并入本文:2007年6月1日提交的名称为“用于监测生理学标志的装置、系统和方法”的国际专利申请号PCT/US2007/070196;2007年10月31日提交的名称为“用于监测心肺呼吸参数的系统和方法”的国际专利申请号PCT/US2007/083155;2009年9月23日提交的名称为“无接触和最小接触监测生活质量参数用于评估和干预”的国际专利申请号PCT/US2009/058020;2010年2月4日提交的名称为“用于慢性疾病监测的装置、系统和方法”的国际申请号PCT/US2010/023177;2013年3月30日提交的名称为“用于监测心肺健康的方法和装置”的国际专利申请号PCT/AU2013/000564;2015年5月25日提交的名称为“用于监测慢性疾病的方法和装置”的国际专利申请号PCT/AU2015/050273、2014年10月6日提交的名称为“疲劳监测和管理系统”的国际专利申请号PCT/AU2014/059311、2013年9月19日提交的名称为“确定睡眠阶段的系统和方法”的国际专利申请号PCT/AU2013/060652;2016年4月20日提交的名称为“由特性信号检测和识别人类”的国际专利申请号PCT/EP2016/058789;2016年8月17日提交的名称为“用于睡眠障碍呼吸的筛选器”的PCT/EP2016/069496;2016年8月16日提交的名称为“数字范围门控射频传感器”的国际专利申请号PCT/EP2016/069413;2016年8月26日提交的名称为“用于监测和管理慢性疾病的系统和方法”的国际专利申请号PCT/EP2016/070169以及2016年3月24日提交的名称为“周期性呼吸的检测”的美国专利申请号15/079,339。因此,在一些实例中,检测到的运动的处理(包括例如呼吸运动)可以用作确定以下中的任何一个或多个的基础:(a)指示睡眠的睡眠状态;(b)指示清醒的睡眠状态;(c)指示深度睡眠的睡眠阶段;(d)指示轻度睡眠的睡眠阶段;(e)指示REM睡眠的睡眠阶段。在这方面,虽然本发明的声音相关感测技术提供用于运动感测的不同机制/过程,诸如使用扬声器和麦克风以及声音信号的处理,但是与这些并入的参考文献中所描述的雷达或RF感测技术相比,一旦呼吸信号,诸如利用本说明书中描述的声音感测/处理方法获得呼吸速率,可以通过这些并入的参考文献的确定方法实现处理呼吸或其他运动信号以提取睡眠状态/阶段信息的原理。
5.1.1移动设备100
移动设备100可以适于提供监测对象的呼吸和/或其他运动相关特性的高效且有效的方法。当在睡眠期间使用时,移动设备100及其相关方法可用于检测用户的呼吸并识别睡眠阶段、睡眠状态、状态之间的转换、睡眠呼吸紊乱和/或其他呼吸状况。当在清醒期间使用时,移动设备100及其相关方法可用于检测诸如对象呼吸(吸气、呼气、暂停和导出速率)和/或心冲击描记图波形以及随后的导出心率的运动。这些参数可用于控制游戏(由此引导用户降低其用于放松目的的呼吸率),或评估诸如患有慢性疾病(诸如COPD、哮喘、充血性心力衰竭(CHF)等)的对象的呼吸状况。其中对象的基线呼吸参数在恶化/失代偿事件发生之前的时间内发生变化。还可以处理呼吸波形以检测暂时停止呼吸(诸如中枢性呼吸暂停、或在阻塞性呼吸暂停期间看到的阻塞性气道的小胸部运动)或呼吸减少(浅呼吸和/或呼吸速率降低,诸如与呼吸不足相关)。
移动设备100可以包括集成芯片、存储器和/或其他控制指令、数据或信息存储介质。例如,包含本文描述的评估/信号处理方法的编程指令可以在设备或装置的存储器中的集成芯片上编码,以形成专用集成芯片(ASIC)。此类指令也可以或可替代地使用适当的数据存储介质作为软件或固件加载。可选地,可以诸如通过网络(例如因特网)从服务器下载此类处理指令到移动设备,使得当执行指令时,处理设备用作筛选或监测设备。
因此,移动设备100可以包括如图3所示的多个部件。除了其他之外,移动设备100可以包括麦克风或声音传感器302、处理器304、显示器接口306、用户控制/输入接口308、扬声器310和存储器/数据存储器312等部件,诸如使用本文描述的处理方法/模块的处理指令。
移动设备100的一个或多个部件可以与移动设备100集成或可操作地耦合。例如,麦克风或声音传感器302可以与移动设备100集成或者与移动设备100耦合,诸如通过有线或无线链接(例如蓝牙、Wi-Fi等)。
存储器/数据存储器312可以包含用于控制处理器304的多个处理器控制指令。例如,存储器/数据存储器312可以包含处理器控制指令,该处理器控制指令用于使应用程序200由本文描述的处理方法/模块的处理指令执行。
5.1.2运动及呼吸检测过程
本技术的实例可以被配置为使用可由应用程序200实现的一个或多个算法或过程,以在用户睡着时使用移动设备100检测运动、呼吸和可选的睡眠特性。例如,应用程序200可以由若干子过程或模块表征。如图2中所示,应用程序200可以包括音频信号生成及发送子过程202、运动及生物身体特性检测子过程204、睡眠质量表征子过程206、以及结果输出子过程208。
5.1.2.1生成和发送音频信号
根据本技术的一些方面,可以生成音频信号并向用户发送,诸如使用本文描述的一个或多个音调。音调提供在特定频率下介质(例如空气)中的压力变化。出于本说明书的目的,所生成的音调(或音频信号或声音信号)可以被称为“声音”、“声学”或“音频”,因为它们可以以类似于可听见的压力波的方式生成(例如通过扬声器)。然而,此类压力变化和音调在本文中应当理解为可听见或听不见,尽管它们通过任何术语“声音”、“声学”或“音频”来表征。因此,生成的音频信号可以是听得见或听不见,其中跨人群的可听度的频率阈值随年龄而变化。典型的“音频频率”标准范围约为20Hz至20,000Hz(20kHz)。高频听力的阈值趋向于随着年龄而降低,中年人通常不能听到频率高于15-17kHz的声音,而青少年可能听到18kHz的声音。语音的最重要频率大约在250-6,000Hz范围内。典型消费类智能手机的扬声器和麦克风信号响应在很多情况下设计为高于19-20kHz,有些延伸到23kHz以上及更高(尤其是设备支持大于48kHz的采样率,诸如96kHz))。因此,对于大多数人来说,可以使用17/18至24kHz范围内的信号并保持听不见。对于可以听到18kHz而非19kHz的年轻人,可以使用19kHz至21kHz的频段。值得注意的是,一些家庭宠物可能能够听到更高的频率(例如,狗能听到高达60kHz而猫能听到高达79kHz)。
音频信号可以包括例如正弦波形、锯齿啁啾、三角形啁啾等。作为背景,本文使用的术语“啁啾”是短期非平稳信号,其可以例如具有锯齿形或三角形,具有线性或非线性轮廓。可以使用几种类型的信号处理方法来产生和感测音频信号,包括例如连续波(CW)零差、脉冲CW零差、频率调制CW(FMCW)、跳频范围选通(FHRG)、自适应FHRG(AFHRG)、超宽带(UWB)、正交频分复用(OFDM)、自适应CW、频移键控(FSK)、相移键控(PSK)、二进制相移键控(BSPK)、正交相移键控(QPSK)、以及称为正交幅度调制(QAM)的广义QPSK等。
根据本技术的一些方面,可以提供校准功能或校准模块,用于评估移动设备的特性。如果校准功能表明硬件、环境或用户设置需要可听见的频率,则编码可以覆盖在用户可接受的扩频信号上,同时仍然允许主动检测感测区域中的任何生物运动信号。例如,可能在诸如音乐、电视、流媒体源或其他信号(例如,可以可选地与检测到的呼吸信号同步的令人愉悦的重复声音(诸如海浪撞击在海岸上,可能用来帮助睡眠))的可听见的声音中“隐藏”可听见或听不见的感测信号。这类似于音频隐写术,其中使用诸如相位编码(其中相位的元素被调整以表示编码数据)的技术,将必须在感知上不可分辨的消息隐藏在音频信号中。
5.1.2.2运动和生物物理信号处理
5.1.2.2.1技术挑战
为了获得良好的运动信号与环境相关噪声比,应当考虑几个室内声学问题。这些问题可能包括例如混响、床上用品和/或其他房间声学问题。此外,还应考虑特定的监测设备特性,诸如移动设备或其他监测设备的方向性。
5.1.2.2.1.1混响
当声能被限制在具有反射墙的空间(诸如房间)时,可以产生混响。通常,当首次生成声音时,听者首先听到来自声源本身的直接声音。之后,用户可能听到由声音从房间墙壁、天花板和地板反弹引起的离散回声。随着时间的推移,个体反射可能变得无法区分,并且听众会听到随时间衰减的连续混响。
墙壁反射通常在目标频率处吸收非常少的能量。因此,空气使声音衰减,而不是墙壁使声音衰减。典型衰减可能<1%。在音频频率的典型房间中需要大约400ms才能达到60dB的声音衰减。衰减随频率增加。例如,在18kHz时,典型的房间混响时间减少到250ms。
若干种副作用与混响有关。例如,混响导致房间模式。由于混响能量存储机制,向房间输入声能导致谐振或优选模态频率(nλ=L)的驻波。对于理想的三维空间,尺寸为Lx、Ly和Lz,主模式由下式给出
这些驻波导致特定共振频率的响度在房间的不同位置处不同。这可能导致接收声音信号的感测部件(例如声音传感器)处的信号电平变化和相关的衰减。这类似于诸如Wi-Fi的电磁波(例如RF)的多径干扰/衰减;然而,房间混响和相关伪影(诸如衰减)对于音频来说更严重。
房间模式可能会给声纳系统带来设计问题。此类问题可包括例如衰减、1/f噪声和大幅度运动信号。大幅度运动通常指的是大的生理运动,诸如床上翻滚(或者进入或离开床的用户,其分别与事件之前或之后的缺席相关)。在一种实现中,运动可以被认为是二元矢量(运动或没有运动),相关的活动指数指的是运动的持续时间和强度(例如PLM、RLS或磨牙症是非大幅度运动的运动活动的一个实例,因为它涉及肢体或颚的磨削,而不是在床上改变位置时全身运动)。由声音传感器302(例如麦克风)接收的信号可能经历信号强度的衰减和/或来自用户的反射信号的衰减。这种衰减可能是由于混响引起的驻波所导致的,并且可能导致信号幅度变化问题。由于室内气流扰乱房间模式并导致噪声基底增加并因此在呼吸频率下产生信噪比减少,可能发生在呼吸频率下的1/f噪声(功率谱密度与信号频率成反比的信号)。来自房间内任何运动的大幅度运动信号是由于房间模式能量的扰动,并且可能产生合成的感测/接收信号强度和相位变化。然而,虽然这是个问题,但可以看出,通过刻意设置房间模式,可以执行有用的大幅度(大)运动和更微妙的活动检测,并且对房间内的一个主要运动源(例如卧室里的一个人)的情况进行实际呼吸分析。
术语声纳在本文中用于包括声音信号、声学、声波、超声波和低频超声波,用于测距和运动检测。此类信号的范围可以从DC至50kHz或更高。一些处理技术(诸如FMCW生理信号提取)也可适用于实际的短距离(例如高达约3米——诸如用于监测生活空间或卧室)RF(电磁)雷达传感器,诸如那些在5.8GHz、10.5GHz、24GHz等操作的。
5.1.2.2.1.2床上用品
床上用品(例如羽绒被、被子、毯子等)的使用可严重使房间内的声音衰减。在一些方面,羽绒被可以在声音信号行进并从睡觉的人返回时使其衰减两次。羽绒被表面也反射声音信号。如果在羽绒被表面看到呼吸,则可以使用羽绒被反射信号来监测呼吸。
5.1.2.2.1.3手机特性
对于类似声纳的应用中的声学感测,扬声器和麦克风在智能手机上的放置并不总是最佳的。典型的智能手机扬声器到麦克风的方向性很差。通常,智能手机音频设计用于人类语音,而不是专门用于类似声纳的声学感测应用。此外,扬声器和麦克风的放置因智能手机型号而异。例如,一些智能手机的手机背面有扬声器,手机侧面有麦克风。结果,在麦克风不首先被反射重定向的情况下,麦克风不能容易地“看到”扬声器信号。此外,扬声器和麦克风的方向性随频率而增加。
室内模式可以增强智能手机麦克风和扬声器的全向性。混响和相关的房间模式在特定频率在整个房间内产生驻波节点。当运动扰乱所有房间模式节点时,可以在这些节点处看到房间中的任何运动。当智能手机麦克风位于节点或波腹时,即使麦克风和扬声器是定向的,由于声音路径是全向的,因此获得全向特性。
5.1.2.2.2克服技术挑战
根据本发明的方面,可以应用特定的调制和解调技术来减少或消除所识别的及其他技术挑战的影响。
5.1.2.2.2.1跳频范围选通(FHRG)和自适应跳频范围选通(AFHRG)
跳频范围选通信号是一种调制解调技术,它利用占据指定频率范围的一系列离散音调/频率。音调序列中的每个音调、音调对或多音调脉冲被发送特定持续时间,由范围要求定义。对这种音调脉冲或音调对的特定持续时间的改变导致检测范围的改变。一系列音调对或音调产生音调帧或时隙帧。每个时隙可以被认为是音调时隙。因此,帧可以包括多个时隙,其中每个时隙可以含有音调或音调对。通常,为了促进改进的不可听性,每个音调对的持续时间可以等于帧的时隙的持续时间。但是,这不是必需的。在一些情况下,帧的时隙可以具有相等或不相等的宽度(持续时间)。因此,帧的音调对可以在帧内具有相等或不相等的持续时间。声音调制可以在音调之间含有保护频带(静默期),然后在帧之间,以便允许更好地分离所感测/接收的音调,从而可以实现范围选通。FHRG可用于可用的音频。FHRG可以应用具有频率抖动和/或定时抖动的跳频。定时抖动意味着帧和/或内部时隙定时可以变化(例如,时隙的时间段变化,或者帧的开始时间或时隙中的时隙的开始时间可以变化),诸如以减少房间模式建立的风险,以及降低环境中其他声纳感测之间干扰的风险。例如,在四时隙帧的情况下,虽然帧宽度可以保持恒定,但是时间抖动可以允许帧中的至少一个较小的时隙宽度(例如,较短持续时间的音调对)和至少一个较大的时隙宽度(例如,较长持续时间的音调对),而其他时隙宽度可以不变)。这可以在帧的每个时隙检测到的特定范围内提供轻微变化。频率抖动可以允许多个“传感器”(例如,房间中的两个或更多个感测系统)共存于共同的附近。例如,通过采用频率抖动,时隙(音调或音调对)的频率正在移动,使得在正常操作中在“传感器”之间发生干扰在统计上不显著。时间和频率抖动都可以降低房间/环境中非声纳源干扰的风险。同步解调需要精确理解序列之间的对齐,例如,通过使用特殊训练序列/脉冲,然后使用模式检测/匹配滤波器来对齐帧并恢复实际偏移。
图4示出了示例性FHRG声纳帧。如图所示,可以在每个帧中发送8个单独的脉冲声纳(类似于雷达系统)信号。每个脉冲可以含有2个正交脉冲频率,并且每个脉冲可以是16ms长。结果,可以在每个128ms收发器帧中发送16个单独的频率。然后重复块(帧)。它可以利用OFDM的正交频率来优化受限带宽中的频率使用并增强信噪比。正交狄拉克梳状频率还允许帧定时抖动和音调频率抖动以帮助降低噪声。音调对使得到的脉冲成形,这种形状有助于不可听见性。
自适应跳频范围选通(AFHRG)系统在切换到另一个音调(总共四个音调)之前使用定义长度(例如,16或8ms)的音调保持随时间改变音调频率序列的频率。因此,产生音调块,然后块(帧)以31.25Hz重复。对于AFHRG系统,音调模式在每帧上变化。这些模式可以不断变化。因此,帧的频率模式可以不同于一系列帧中的其他帧的频率模式。因此,不同频率的模式可以改变。帧也可以在帧内具有不同的频率,诸如在时隙内,或者相对于不同时隙的差异。此外,通过调整每个帧在固定频带内的频率,每个帧可以适于减轻衰减。图5示出了用于AFHRG系统的单个32ms收发器帧的实例。如图5所示,可以在每个帧中发送四个单独的零差脉冲声纳信号。每个信号的飞行时间为8ms。在8ms的飞行时间,包括两个方向在内的范围是2.7米,有效实际帧为1.35m,脉冲重复频率为31.25Hz。此外,每个脉冲可以包括两个脉冲频率(例如基本上同时的音调),如图5中所示,在单个32ms收发器帧中产生8个单独的脉冲零差信号。
AFHRG可以配置为使用狄拉克梳状频率和正交脉冲对来优化可用带宽。每个“对”可以位于帧内的时隙中。因此,多个帧可以含有以重复或非重复模式的许多“对”。单独的频率对可以用于每个时隙,并且可以使用线性或Costas码跳频。可以基于期望的范围检测来确定时隙。例如,如图5所示,对于1.3m检测范围,tts=8ms。频率对可以生成为:{A Sin(ω1t)–A Sin(ω2t)},其中通过在固定频带内调整每个帧的频率,每个帧可以适于一旦维持频率对等式的要求就减轻衰减。因此,自适应用于使来自检测范围中存在的任何对象的可用SNR(信噪比)最大化。
可以选择每个频率对以优化期望的带宽(例如1kHz带宽(18kHz至19kHz)),以提供频率之间的最大隔离,以提供脉冲之间的最大隔离,和/或最小化脉冲间瞬变。这些优化可以针对n个频率实现,每个频率具有频率间隔df和时隙宽度tts,使得:
df=fn–fn-1=BW/n
且
对于8ms时隙持续时间和1kHz带宽(比如fn=18,125Hz和fn-1=18,000Hz),频率分离df变为:
df=125Hz=1kHz/8
且
通过利用三角恒等式实现零交叉:使得每个时隙包含频率为的正弦脉冲幅度。因此,帧的时隙或每个时隙的持续时间可以等于一除以音调对的频率之间的差。因此,在帧中,时隙持续时间可以与时隙的音调对的音调的频率的频率差成反比。
图6A、6B和6C示出了用于示例AFHRG系统的5×32ms脉冲帧的实例。图6A中的曲线图602在x轴时间和y轴幅度上示出了5×32ms脉冲帧。曲线图602是五个32ms帧的时域表示,其中每个帧含有四(4)个时隙——总共5×4=20个音调对。音调对位于时隙606-S1、606-S2、606-S3、606-S4中的每一个中。它的包络是变化的,这例证了“现实世界”扬声器和麦克风组合,其在较高频率下可能稍微不那么敏感。可以在图6B的图表604中更详细地考虑形成图6A中所示的帧的时隙。曲线图604示出了来自图6A的单个32ms帧的频域表示。它示出了四个时隙606-S1、606-S2、606-S3、606-S4,其中每个时隙含有两个音调608T1、608T2(音调对)。曲线图604具有频率的x轴、任意的y轴。在一个实例中,帧的音调对的音调是在18000Hz至18875Hz范围内的每个不同的声音音调(例如不同的频率)。可以实现其他频率范围,诸如对于听不见的声音,如本文中更详细讨论的。在帧中顺序地(串行地)生成帧的多个音调对的每个音调对。在帧的共同时隙中基本上同时产生音调对的音调。图6A和图6B的时隙的音调对可视为参考图6C中的曲线图610。曲线图610是帧中单个音调对(例如音调608T1、608T2)的时域视图的图示,示出了它们在帧的时隙中并发生成。曲线图610具有时间的x轴、幅度的y轴。在该实例中,音调的幅度在时隙的时间段内上升和下降。在曲线图610的实例中,音调幅度斜坡开始于时隙开始时间为零幅度并且斜降到结束时时隙为零幅度。此类在时隙的开始和结束同时到达零幅度音调可以改善具有相同结束和开始时隙幅度特性的相邻时隙的音调对之间的不可听见性。
现在将参考图7中所示的处理模块的方法来描述用于处理音频信号的FHRG或AFHRG(本文均称为“(A)FHRG”)架构的方面。如图7中所示,反射信号可以被感测,通过高通滤波器702的模块滤波,并输入到Rx帧缓冲器704。缓冲的Rx帧可以由IQ(同相和正交)解调器706处理。根据本发明的一些方面,n的每一个(其中n可以是例如4、8或16)频率可以被解调为基带作为I和Q分量,其中基带表示对应于用音频反射(例如发送/产生和接收/感测的音频信号或音调对)检测的感测距离中的变化的运动信息(呼吸/身体运动等)。中频(IF)级708是处理模块,其从多个信号输出单个I和Q分量,单个I和Q分量在710处的模块“IQ优化”中经历优化以产生单个组合输出。
710处的多IQ输入信息可以被优化并浓缩为算法输入级的单个IQ基带信号输出。可以基于候选IQ对的选择来导出单个IQ输出(实际上是来自I和Q分量的组合信号),该候选IQ对的选择基于具有最高信号质量的一个,诸如基于最清晰的呼吸速率。例如,可以从基带信号(候选信号或组合信号)中检测呼吸速率,如国际申请WO2015006364中所描述,该申请以引用的方式整体并入本文。单个IQ输出也可以是输入信号的平均值,或者实际上是导出的呼吸率的平均值或中值。因此,710处的这样的模块可以包括求和和/或平均过程。
AFHRG架构允许可选地添加IF级。存在两种可能的IF级方法——(i)比较早期的(例如4ms(0.5m范围))与后期的(例如4ms(0.5m范围))信号,以及(ii)比较第一音调的相位与音调对中的第二音调的相位。因为级比较飞行时间(ToF)时间内感测到的声音信号中的电平或相位变化,所以它可以用于消除共模信号伪影(诸如运动和1/f噪声问题)。相位折叠恢复模块712在710处接收优化级的I和Q分量输出,并且在处理之后,输出IQ基带输出。可能期望使解调信号中的折叠最小化,因为这显著地使呼吸“带内”检测复杂化。可以使用I/Q组合技术(诸如反正切解调)、使用实时中心跟踪估计或更多标准降维方法(诸如主分量分析)来使折叠最小化。如果胸部的运动跨越约9mm的半波长(诸如在20℃的温度下CW频率为18kHz,声速为约343m/s且波长为约19mm),则会发生折叠。动态中心频率策略可用于自动校正折叠——例如以降低此行为的严重性或发生概率。在这种情况下,如果检测到倍频或异常锯齿状的呼吸模式(形态),则系统可以将中心频率移动到新频率以将I/Q信道推回到平衡状态并且不会出现折叠情况。无论何时运动,通常都需要重新处理。音频频率的变化被设计成不可听见(除非使用掩蔽音)。如果运动是λ/4,我们可以在一个信道上看到它。如果运动大于λ/2,那么我们很可能在两个信道上看到它。
在FHRG实现中,714处的帧/音调对帧调制器由处理器控制(使用帧等的隐式多频操作)。在诸如AFHRG或AToF的自适应实现中,该系统还包括用于FHRG实现中不存在的衰减检测和显式频移操作的模块。衰减检测器718的模块提供反馈机制以调整系统的参数(包括频移、调制类型、帧参数(诸如音调的数量)、时间和频率的间隔等),以在变化的信道条件中最佳地检测包括呼吸的运动。可以从感测到的声音信号中的幅度调制(通过包络检测提取)变化,和/或通过特定音调对中的变化,直接检测衰减。衰减检测器还可以从后续基带信号处理接收辅助信息,尽管这可能增加一些处理延迟;这可以用于将实际提取的呼吸信号质量/形态与当前信道条件相关联,以提供更好的适应性以最大化有用信号。衰减检测器还可以处理I/Q对(预基带呼吸/心率分析)。通过使用非衰减Tx(发送)波形的配置,还可以优化/最佳地利用扬声器的有限发送信号功率,以最大化由声音传感器/接收器Rx(接收)接收的有用信息,以及解调/进一步处理到基带。在一些情况下,如果发现系统在较长时间段内更稳定(例如为了避免类似于呼吸率的在时间规模上的衰减中的多径变化,其可能在期望的解调呼吸率带中引起“噪声”/伪影),则系统可以为Tx选择稍微次优的(就短期SNR而言)频率组。
当然,如果使用一个或多个单独的音调代替音调对,则可以利用类似的架构来实现自适应CW(ACW)系统。
5.1.2.2.2.2FHRG调制模块及解调模块详细信息
5.1.2.2.2.2.1FHRG声纳等式
由智能手机扬声器生成的发送声压信号由目标反射,并返回以在智能手机麦克风处感测到。图8示出了各向同性全向天线802与定向天线804的实例。对于全向源,声压(P(x))水平将随距离x减小,如下:
智能手机扬声器的频率为18kHz,因此:
其中γ是扬声器增益,其值介于0和2之间,通常>1。
目标(例如床上的用户)具有特定的横截面和反射系数。来自目标的反射也是方向性的:
其中α是反射器衰减,其值介于0和1之间,通常<0.1
β是反射器增益,其值介于0和2之间,通常>1
σ是声纳横截面。
结果,声压P0的发送信号在距离d处反射时将返回到具有以下衰减水平的智能手机:
然后,智能手机麦克风将看到反射的声压信号的一部分。百分比将取决于麦克风有效面积Ae:
以这种方式,发送的声压信号的一小部分被目标反射并返回以在智能手机麦克风处被感测。
5.1.2.2.2.2.2FHRG运动信号
距离收发器距离为d的FHRG系统范围内的人将反射主动声纳发送信号并产生接收信号。
由于调制解调器信号,对于任何频率fnm,智能手机产生的声音(压力波)是:
对于任何单个频率,到达目标的距离为d的信号如下:
到达智能手机麦克风的反射信号是:
如果目标距离以大约d的正弦变化移动,那么
d(x,t,wb,Ab)=d0+AbSin(2πfbt+θ)
其中:
呼吸频率:wb=2πfb
呼吸幅度:Ab
呼吸阶段:θ
标称目标距离:d0
因为最大呼吸位移Ab与目标距离d相比较小,所以可以忽略其对接收信号幅度的影响。结果,智能手机麦克风呼吸信号变为:
因为理想化的呼吸运动信号(可能类似于心脏运动信号,虽然以不同的频率和位移)可以被认为是正弦函数的正弦函数,但对于相同的位移峰值,它将具有对峰值幅度最大和最小灵敏度的区域。
为了正确地恢复该信号,有益的是,利用正交相位接收器或类似信号,从而减轻灵敏度零点。
然后,I和Q基带信号可以用作相量I+jQ,以:
1.恢复呼吸信号的RMS和相位
2.恢复运动的方向(相量方向)
3.通过检测相量何时改变方向来恢复折叠信息
5.1.2.2.2.2.3FHRG解调器混频器(图7中的705和706处的模块)
FHRG软调制解调器(softmodem)(用于声学传感(声纳)检测的前端——基于软件的调制器/解调器)通过扬声器发送调制的声音信号,并通过麦克风感测来自目标的回声反射信号。图7中示出了软调制解调器架构的实例。将感测到的反射处理为接收信号的软调制解调器接收器被设计为执行多种任务,这些任务包括:
·在音频频率下高通滤波接收的信号
·与调制音频的帧定时同步
·利用正交相位同步解调器将信号解调到基带
·如果存在,则解调IF(中频)分量
·低通滤波(例如Sinc滤波)产生的同相和正交基带信号
·由不同频率下的多个I、Q信号重新产生I和Q基带信号。
软调制解调器(例如图7中的705和706处的模块)利用本地振荡器(在706处的模块中示为“Asin(ω1t)”),其频率与接收信号的频率同步,以恢复相位信息。705处的模块(帧解调器)选择并分离每个音调对,用于每对的后续IQ解调——即定义用于音调对的IQ解调的每个(ωt)。将讨论同相(I)信号恢复。正交分量(Q)是相同的,但利用本地振荡器(在706处的模块中显示为“ACos(ω1t)”)具有90度相位变化。
给定在麦克风处感测到的压力信号被准确地重新产生为等效数字信号并且输入高通滤波器(例如滤波器702)是理想的,由智能手机软调制解调器接收的音频信号是:
其中:
距离d由目标运动调制:d=d0+AbSin(2πfbt+θ)
其中静态杂波反射/干扰信号表示为:
正确同步时,对于任何接收信号,同相解调器输出信号为:
该解调操作遵循三角恒等式:
当本地振荡器和接收信号具有相同的角频率w1时,这将减少到:
经过低通滤波(如图7中的LPF所示)去除2w1t产生:
以这种方式,当正确同步时,对于任何接收信号,低通滤波同步相位解调器输出信号为:
5.1.2.2.2.4FHRG解调器Sinc滤波器
智能手机软调制解调器在706处利用过采样和平均Sinc滤波器作为解调器模块的“LPF”,以去除不需要的分量并将解调的信号抽取到基带采样率。
所接收的帧包含在相同的音调突发中一起发送的两个音调对(例如,其中两个或更多个音调对同时被播放),并且还包括在随后的音调突发时间中发送的音调跳。当解调返回信号时,例如f(ij),必须去除不需要的解调信号。这些包括:
·以频率间隔的基带信号:|fij-fnm|
·由于采样过程在|2fnm-fs|和|fnm-fs|两个处的混叠分量
·解调后的音频分量:2fnm
·fnm处的音频载波,其可能由于非线性而通过解调器。
为此,可以使用低通滤波器LPF(诸如Sinc滤波器)。Sinc滤波器对于目的而言几乎是理想的,因为它具有在设计的所有不需要的解调分量处都为零的滤波器响应。这种长度为L的移动平均滤波器的传递函数是:
图9示出了Sinc滤波器响应的实例,而图10示出了由于在8ms周期内对384个样本求平均而导致的125Hz Sinc滤波器的最坏情况衰减特性。
5.1.2.2.2.2.5解调器基带信号
智能手机软调制解调器发送调制音调帧。该帧包含多个音调对(例如具有四个音调的两个音调对),它们在相同的音调突发中一起发送,并且还包含在随后的音调突发时间中发送的音调跳。
首先,我们将讨论音调对的解调。因为音调对是同时发送、反射和接收的,所以它们唯一的解调相位差是由音调对频率差引起的。
在“飞行时间”之前:
没有返回反射信号,因此两个音调对分量的解调器输出由于近端串扰和静态反射而是DC电平。
在“飞行时间”时间之后,该DC电平接收来自移动目标分量的贡献。解调器输出现在接收如下:
a)对于每个音频对频率的同相(I)解调器信号输出,我们得到:
b)对于每个音频对频率的正交(Q)解调器信号输出,我们得到:
解调的音调突发接收信号中的这些采样中的每一个的总和∑导致频率的“Sinc”滤波。该滤波器被设计成对期望的接收音调突发求平均以增强信噪比,并且在每fnm-f11间隔的不需要的解调音调突发频率处在传递函数中产生零,以便拒绝所有这些频率。
该总和发生在全音调突发周期期间,但是由于运动引起的分量仅发生在飞行时间段之后直到音调对突发周期结束,即:
作为飞行时间的结果,在信号恢复中引入了另一信号衰减因子。衰减系数是:
这是幅度线性减小到最大范围D。
当帧包含n个连续音调对时,音频信号的解调和随后以帧速率平均产生具有以下采样率的基带信号:
每秒采样一次,提供2n个不同的I和Q基带解调信号。
5.1.2.2.2.2.6解调器Imn和Qmn
这种解调和平均操作的结果是将音调对音频频率解调为四个独立的基带信号样本,即I11、I12、Q11、Q22,采样率为每秒采样:
每帧重复该采样过程以产生多个基带信号。在给出的实例中,它产生2×4×I和2×4×Q基带信号,由于三角恒等式,每个信号都有自己的相位特性:
在图11中描绘了在1m处具有移动目标的第一音调对的相位变化的实例。
AFHRG架构提供了由音调对的时间、频率和包络幅度特性促成的紧密定时同步,诸如利用帧同步模块703。音频Tx和Rx帧可以是异步的。在初始化时,可能期望移动设备保持完美的Tx-Rx同步。根据本发明的一些方面,并且如图12中所示,可以利用训练音调帧来实现初始同步,训练音调帧可以包含标称帧音调,如1202处所示。Rx信号可以由IQ解调器706进行IQ解调,如以上关于图7所示。然后可以计算包络(例如,通过取绝对值,然后进行低通滤波,或使用希尔伯特(Hilbert)变换),如1204处所示,并且使用电平阈值检测提取定时,如1206处所示。A Sin(ω1t)-A Sin(ω2t)脉冲的形状有助于自相关,并且可以被配置为提高精度和准确度。然后,Rx循环缓冲器索引可以设置用于正确的同步定时,如1208处所示。在本发明的一些方面,可以不使用训练音调帧;相反,可以激活Rx,然后在短时间之后再激活TX,并且可以使用阈值来检测短记录静默时段之后的TX帧的开始。可以选择阈值以对背景噪声具有鲁棒性,并且可以使用Tx信号上升时间的先验知识来创建与真实Tx开始的偏移,并从而校正在所述上升时间期间发生的阈值检测。当考虑信号的估计包络时,可以使用可基于相对信号电平调整的检测算法来执行峰值和“谷值”(其中谷值在零线附近,这是由于采用绝对值)基准点检测。可选地,可以仅处理峰值,因为波谷更可能含有由于反射引起的噪声。
在某些情况下,设备(诸如移动设备)可能由于其他活动或处理导致音频样本的抖动或丢失而失去同步。因此,可能需要重新同步策略,诸如使用帧同步模块703。根据本发明的一些方面,可以实施周期性训练序列的引入以定期确认同步是良好的/真实的。替代方法(其可以也可选地使用此类周期性训练序列,但不使用这种方法)是迭代地沿着Rx信号的片段对已知的Tx帧序列(通常是单个帧)进行交叉相关,直至检测到高于阈值的最大相关性。可以选择阈值以对Rx信号中的预期噪声和多径干扰具有鲁棒性。然后,该最大相关的索引可以用作估计同步校正因子的索引。注意,解调信号中的去同步可以表现为基线中的小的或重大的步骤(通常是后者)。与在一些真实大运动信号中看到的近步响应不同,去同步片段不保持有用的生理信息,并且从输出基带信号中移除(这可能导致丢失若干秒的信号)。
因此,同步通常利用发送信号的先验知识,通过诸如包络检测的技术执行初始对齐,然后利用接收信号Rx与已知发送信号Tx之间的互相关来选择正确的突发。理想情况下,应定期执行同步检查丢失,并可选地包括数据完整性测试。
这种完整性测试的实例,对于正在执行新同步的情况,可以执行检查以将新同步与一个或多个先前同步的定时进行比较。可以预期,样本中的候选同步时间之间的时间差将等于可接受的定时容限内的整数帧。如果不是这种情况,则可能已发生同步丢失。在这种情况下,系统可以启动重新初始化(例如,利用新的训练序列(在本地时间段内是唯一的),在Tx中引入定义的时段“静音(silence)”,或者一些其他标记)。在此类情况下,自潜在的去同步事件以来感测到的数据可能被标记为可疑的并且可能被丢弃。
可以在设备上连续地执行这种去同步检查,并建立有用的趋势信息。例如,如果检测到并校正了常规去同步,则系统可以调整音频缓冲器长度以最小化或停止这种不期望的行为,或者对处理或存储器负载进行改变,诸如将一些处理推迟到睡眠会话结束并缓冲用于这种处理的数据而不是实时或接近实时地执行复杂算法。可以看出,这种重新同步方法对于各种Tx类型(FHRG、AFHRG、FMCW等)是有效且有用的——尤其是当使用诸如智能设备的复杂处理器时。如所描述的,可以在参考帧的包络和Rx序列的估计包络之间执行相关,但是,也可以在参考帧和Rx序列之间直接执行相关。这种相关可以在时域中或在频域中执行(例如,作为交叉谱密度或交叉相干测量)。还存在Tx信号在一段时间内停止生成/播放的情况(当预期播放时或由于用户交互,诸如在智能设备上选择另一个应用程序或接收呼叫时),并且暂停重新同步,直到Rx看到高于最小电平阈值的信号。如果设备的主处理器和音频编解码器没有完全同步,也可能会随着时间的推移发生去同步。对于怀疑的较长持续时间的去同步,可以使用生成和播放训练序列的机制,
注意,去同步可以产生看起来像信号中的DC偏移和/或阶跃响应的信号,并且在去同步事件之后平均(平均)电平或趋势可以改变。此外,由于诸如环境中的巨大噪声(例如短暂的脉冲或持续时间)之类的外部因素,也可能发生去同步;例如,巨响、敲击含有麦克风的设备或附近桌子、非常大声打鼾、咳嗽、打喷嚏、喊叫等可能导致Tx信号被淹没(噪声源具有与Tx类似的频率内容,但是幅度更高),和/或Rx将被淹没(进入饱和、硬或软削波、或可能激活自动增益控制(AGC))。
图13示出了具有中频的32ms帧的实例。根据本发明的一些方面,IF级可被配置为将早期4ms(0.5m范围)信号与后期4ms信号进行比较。根据本发明的其他方面,IF级可以被配置为将第一音调的相位与第二音调的相位进行比较。因为IF级比较飞行时间内接收信号中的电平或相位变化,所以可以减少或消除诸如运动和1/f噪声的共模信号伪影。
房间混响可以在共振频率下产生房间模式。一旦保持帧频分离,AFHRG架构允许基频的移位。脉冲对频率可以移位到不产生房间模式的频率。在其他实施例中,可以跳跃帧脉冲对频率以减少模式能量的积累。在其他实施例中,可以在整个频率特定混响时间内使用长的非重复伪随机序列来使帧脉冲对频率跳跃,以防止零差接收器看到反射。帧频率可以被抖动以减轻来自模式的干扰,或者可以使用正弦帧移位。
使用AFHRG系统提供了许多优点。例如,此类系统允许可适应的发送频率以减轻房间模式。该系统使用具有重复脉冲机制和不同频率的主动发送来改善SNR,这与脉冲连续波雷达系统所需的典型“静默期(quiet period)”不同。在这方面,频率与帧中的先前音调对不同的后续音调对实现“静默期”。随后的频率允许当随后的音调对在运行中(传播)时从较早的不同频率音调对中确定反射声音的传播。时隙为第一顺序提供范围选通。此外,该架构使用双频脉冲来进一步改善SNR。包含中频相位提供了定义的和/或可编程的范围选通。该架构旨在允许使用Costas或伪随机跳频码来减缓采样周期,以减轻房间混响。此外,正交狄拉克梳状频率还允许帧定时抖动和音调频率抖动,以进一步帮助降低噪声。
应当注意,AFHRG中也可以选择更宽或更窄的带宽。例如,如果特定手机能够以高达21kHz的良好信号强度进行发送和接收,并且使用该系统的对象可以听到高达18kHz的频率,则系统可以选择使用19-21kHz的2kHz带宽。还可以看出,这些音调对可以隐藏在其他发送的(或检测到的环境)音频内容中,并且适应其他音频内容的变化以保持对用户的掩蔽。可以通过发送可听的(例如,从例如约250Hz向上)或听不见的音调对来实现掩蔽。在系统工作在例如约18kHz以上的情况下,任何生成的音乐源可以低于约18kHz进行低通滤波;相反,在不能直接处理音频源的情况下,系统跟踪音频内容,并注入预测数量的音调对,并且适于使SNR最大化并使可听性最小化。实际上,现有音频内容的元素为音调对提供掩蔽——其中音调对适于最大化掩蔽效果;听觉掩蔽是减少或消除音调对的感知之处。
当生成或播放声学信号(例如音乐)以使用(A)FHRG、FMCW、UWB等(具有或不具有掩蔽)时的另一种方法是直接调制载波。在这种情况下,通过调整信号内容(具体地,通过改变信号的幅度),将感测信号直接编码在播放信号中。后续处理包含通过混合然后低通滤波来解调输入(接收)信号与输出(生成/发送)信号以获得基带信号。载波信号中的相位变化与传感器附近的运动(诸如呼吸)成比例。需要注意的是,如果音乐由于潜在的差拍而在呼吸频率处自然地改变幅度或频率,则这会增加解调信号上的噪声。此外,在回放的相当期中,可能需要注入额外信号(诸如调幅噪声)以便在此期间继续检测呼吸,或者系统可以在此类静默回放期中简单地忽略基带信号(即,以避免需要产生“填充(filler)”调制信号。还可以看出,代替(或除了)幅度调制音频信号(诸如音乐信号),可以用定义的相位片段对信号进行相位编码,然后解调接收的信号,并跟踪在编码间隔期间接收信号的相位变化,以便恢复基带信号。
5.1.2.2.2.3自适应飞行时间
根据本发明的一些方面,自适应飞行时间(AToF)架构可用于减轻室内声学问题。AToF架构类似于AFHRG。与AFHRG一样,AToF使用正常静默期通过重复脉冲来增强SNR。例如,可以在每个帧中发送四个单独的零差脉冲声纳信号。每个信号可以有8ms的飞行时间。在8ms的飞行时间,包括两个方向在内的范围是2.7米,有效实际帧为1.35m,脉冲重复频率为31.25Hz。另外,每个脉冲可以包括两个脉冲频率,如图14中所示,在单个32ms收发器帧中产生8个单独的脉冲零差信号。与AFHRG架构不同,AToF使用持续1ms而不是8ms的脉冲。
与AFHRG一样,AToF可以使用狄拉克梳状特征和正交脉冲对来帮助成形脉冲。AToF可以为每个时隙使用单独的频率对,并且可以使用线性或Costas码跳频。可以通过所需的范围检测来确定时隙。频率对可以生成为{A Sin(ω1t)-A Sin(ω2t)},其中通过在固定频带内调整其频率,可以调整每个帧,以便一旦满足频率对等式的要求就减轻衰减。
总之,频率对的一些优点(相对于不同频率的多个单独音调)包括:
·S/N(对SNR的影响):由于带宽利用率的提高而增加了信噪比(允许缩放脉冲边缘)
·瞬态减轻:提供接近理想的零交叉转换,其减轻发送器和接收器的跳频瞬变,并允许真正的伪随机跳频功能。这导致听不见的系统。
·促进同步恢复:成形脉冲的独特频率和幅度轮廓改善了同步检测和准确性(即,形状清晰)
·脉冲和帧定时灵活性:允许任何时隙时间持续,以促进“可变检测范围”特征
·促进抖动:启用频率抖动和时隙抖动两者以减轻噪声
·紧凑带宽:自然产生非常紧凑的带宽,即使没有滤波也是听不见的(滤波器会引入相位失真)
·多音调(MultiTone):允许在同一时隙中使用多个音调来增强S/N并减轻衰减。
5.1.2.2.2.4调频连续波(FMCW)
在本发明的又一方面,可以使用调频连续波(FMCW)架构来减轻上述一些技术挑战。FMCW信号通常用于提供定位(即,距离和速度),因为FMCW启用范围估计并从而提供距离选通。日常生活中可听到的锯齿啁啾的实例就像是鸟儿的唧唧声,而三角形啁啾听起来例如像警察警报器。FMCW可以用在RF传感器中,并且还可以用于声学传感器,诸如在典型智能设备(诸如智能手机或平板电脑)上实现的,使用内置或外置扬声器和麦克风。
应当注意,可以使用可听见的引导音(例如,在记录开始时或者当智能设备移动时播放)来传达听不见的声音的相对“响度”。在具有一个或多个麦克风的智能设备上,选择轮廓以使软件或硬件CODEC中的任何额外处理最小化(并且理想地使其成为不必要),诸如禁用回声消除、降噪、自动增益控制等。对于一些手机,摄像机麦克风或主麦克风被配置为处于“语音识别”模式,可以提供良好的结果,或者选择“未处理的”麦克风馈送,诸如可以用于虚拟现实应用或音乐混合的麦克风馈送。取决于手机,诸如在一些安卓操作系统(AndroidOS)修订版中可用的“语音识别”模式可以禁用麦克风上的效果和预处理(这是期望的)。
FMCW允许在空间范围内进行跟踪,从而确定呼吸人员在何处(如果他们已移动),以及在传感器范围内使两个或更多人呼吸分开(即,可恢复来自不同范围的每个对象的呼吸波形)。
FMCW可以具有啁啾,诸如斜坡锯齿、三角形或正弦曲线形状。因此,与(A)FHRG型系统的脉冲不同,FMCW系统可以生成具有变化频率的重复声音波形(例如,听不见的)。重要的是在可能的情况下匹配信号的零交叉处的频率变化——即,以避免所生成的信号中的跳跃不连续性,其可能引起可能听见的和/或不必要地对扬声器施加压力的不期望的谐波。斜坡锯齿可以像图15B中所示的斜坡的形式一样斜升(从较低频率到较高频率)。当重复时,通过重复从低到高,斜坡向上形成从低到高等波形(斜坡锯齿)的向上锯。然而,这种斜坡可以替代地斜降(从较高频率到较低频率)。当重复时,通过重复从较高到较低,斜坡向下形成较高到较低等波形(倒置斜坡锯齿)的向下锯。此外,尽管这种斜坡可以使用如图所示的线性函数近似线性,但在一些版本中,频率的上升可以形成曲线(增加或减少),例如在波形频率变化的低和高(或高和低)之间的多项式函数。
在一些版本中,FMCW系统可以被配置为改变重复波形的形式的一个或多个参数。例如,系统可以改变(a)波形的重复部分中的频率峰值的位置中的任何一个或多个(例如,在重复部分中更早或更晚的峰值)。这种变化的参数可以是波形的斜坡的频率变化的斜率中的变化(例如,向上倾斜和/或向下倾斜)。这种变化的参数可以是波形的重复部分的频率范围中的变化。
此处概述了使用FMCW三角波形在智能设备上实现这种不可听信号的特定方法。
对于FMCW系统,理论范围分辨率定义为:V/(2*BW),其中V是速度(诸如声音),BW是带宽。因此,对于V=340m/s(在室温下)和18-20kHz啁啾FMCW系统,可以实现85mm范围的分离目标分辨率。然后可以以更精细的分辨率(类似于CW系统)检测一个或多个移动目标中的每一个(诸如对象的呼吸运动),假设(在该实例的情况下)每个对象在传感器领域中分开至少85mm。
根据扬声器和/或麦克风的频率的相对灵敏度,系统可以可选地在发送信号TxFMCW波形使使用强调,以便每个频率被校正为具有相同幅度(或者对发送信号啁啾的其他修改以便纠正系统中的非线性)。例如,如果扬声器响应随着频率的增加而减小,则啁啾的19kHz分量以比18kHz分量更高的幅度产生,使得实际Tx信号在整个频率范围内具有相同的幅度。避免失真当然是重要的,并且系统可以检查接收信号以获得调整后的发送信号,以便确定不发生失真(诸如削波、不需要的谐波、锯齿波形等)——即调整Tx信号在尽可能大的幅度下尽可能接近线性,以使SNR最大化。所部署的系统可缩小波形和/或减小音量以满足目标SNR以提取呼吸参数(在最大化SNR和硬驱动扬声器之间存在折衷)——同时保持尽可能线性的信号。
基于信道条件,啁啾也可以由系统调整——例如通过调整所使用的带宽,啁啾对强干扰源是鲁棒的。
5.1.2.2.2.5FMCW啁啾类型和不可听见性
FMCW在可听频率下具有1/10ms=100Hz(及相关谐波)的周期,除非执行进一步的数字信号处理步骤,否则其可清晰地听到嗡嗡声。人耳具有令人难以置信的辨别非常低幅度信号的能力(特别是在诸如卧室的安静环境中),即使高通滤波将分量移降至-40dB(可能需要将不需要的分量滤波到-90dB以下)。例如,可以不再强调啁啾的开始和结束(例如用汉明(Hamming)、汉宁(Hanning)、布莱克曼(Blackman)等窗口来瞄准啁啾),然后在后续处理中重新强调以便校正。
也可以隔离啁啾——例如,每100-200ms仅重复一次以在啁啾之间引入一个比持续时间长得多的静默期;其附带益处可以是使与混响相关的驻波的检测最小化。这种方法的缺点是使用较少的可用发送能量而不是连续重复啁啾信号。权衡是减少听见的咔哒声和减少连续输出信号确实在较不费力地驱动设备(例如,诸如电话扬声器的智能设备)扬声器和放大器方面具有一些益处;例如,如果在很长一段时间内以最大幅度驱动,则线圈扬声器可能受到瞬变的影响。
图15示出了FMCW斜坡序列的可听版本的实例。图15(a)在示出幅度与时间关系的曲线图中示出了标准啁啾。图15(b)示出了该标准可听啁啾的频谱图,而图15(c)示出了标准音频啁啾的频谱。
如上所述,FMCW音调也可以使用正弦轮廓而非斜坡。图16示出了应用高通滤波的FMCW正弦轮廓的实例。图16A示出了信号幅度与时间的关系。图16B示出了信号的频谱。图16C示出了信号的频谱图。以下实例使用18kHz的起始频率和20kHz的结束频率。生成具有正弦轮廓的512个样本的“啁啾”。中频为19,687.5Hz,偏差为+/-1,000Hz。这些啁啾的序列具有跨越啁啾边界的连续相位,这有助于使序列听不见。高通滤波器可以可选地应用于所得到的序列;然而,应当注意的是,这种操作可能引起相位不连续,这反过来使信号更容易被听见,而不是如期望的更少被听见。移位的接收信号的FFT乘以发送序列的FFT的共轭。提取并展开相位角。找到最合适的直线。
如上所述,如果必须对正弦信号进行滤波以使其听不见,则这不是理想的,因为它会使相位信息失真。这可能是由于扫描之间的相位不连续。因此,可以使用听不见的FMCW序列,该FMCW序列使用三角波形。
可以产生作为相位连续波形的三角波形信号,使得产生波形的扬声器不产生咔嗒声。尽管在扫描中是连续的,但是每次扫描开始时可能存在相位差。可以修改等式以确保下一次扫描开始时的相位以2π的倍数开始,允许以相位连续方式循环波形的单个部分。
类似的方法可以应用于斜坡啁啾信号,尽管从20kHz到18kHz的频率跳变不连续性(假设啁啾为18kHz到20kHz)会对商用智能设备中的放大器和扬声器造成压力。由于增加了下扫描,三角波形提供的信息比斜坡更多,而三角波形的频率更“平缓”变化对电话硬件的危害要小于斜坡的不连续跳跃。
可以在信号生成模块中实现的用于生成该相位连续三角波形的示例等式如下。可以由以下闭合表达式计算对于上下扫描和时间索引n的三角形啁啾的相位:
其中
fs是采样率
f1、f2分别是低频和高频
为了在下一次扫描开始时将相位的sin带回零,我们提供:
例如,假设N和f2是固定的。因此,我们选择m使f1尽可能接近18kHz:
对于N=1024且f2=20kHz,m=406,然后f1=18,062.5kHz
该三角波形的解调可以被认为是单独地解调三角形上下扫描,或者通过同时处理上下扫描,或者实际上通过处理多个三角形扫描的帧来解调。注意,仅处理上扫描的情况等同于处理斜坡的单个帧(锯齿)。
通过使用上和/或下扫描,诸如在呼吸感测中,吸气可以与呼吸的呼气部分分开(即,如果发生吸气或呼气,则在某个时间点知道)。在图17中示出三角信号的实例,并且在图18A和图18B中示出检测到的呼吸波形的解调。如图17中所示,智能设备麦克风已经记录了由同一智能设备的扬声器发出的听不见的三角形。在图18A中,曲线图示出了相对于信号的上扫描的三角形信号的反射的解调结果,示出了在50.7cm处提取的呼吸波形。图18B是示出相对于信号的下扫描的三角形信号的反射的解调结果的曲线图,示出了在50.7cm处提取的呼吸波形。如这些图中所示,图18B的恢复信号由于相位差而相对于相应的上扫描的解调的展开信号出现倒置颠倒。
也可以考虑不对称的“三角形”斜坡来代替对称的三角形斜坡,其中上扫描的持续时间比下扫描的时间要长(反之亦然)。在这种情况下,较短的持续时间是(a)为了保持不可听见性,这可能会受到仅仅上扫描斜坡的瞬态折衷,以及(b)在信号中提供参考点。解调是在较长的上扫描时进行的(因为它将用于具有静默期的锯齿波形(但是“静默期”是较短的持续时间下扫描);这可能允许减少处理负荷(如果需要),同时最大化所使用的Tx信号,并保持听不见的相位连续Tx信号。
5.1.2.2.2.6FMCW解调
图19中示出了声纳FMCW处理方法的示例流程。这示出了在1902处提供前端发送信号生成的块或模块、在1904处的信号接收、在1906处的同步、在1908处的下转换、在1910处的“2D”分析,包括:生成表示活动、运动、存在/不存在和呼吸的估计中的任何一个或多个的信号或数据。根据这些数据/信号,可以提供在1912处的唤醒和/或睡眠分段。
可以将发送的啁啾与接收的信号相关联,特别是用于在1906处检查模块中的同步。作为示例,得到的窄脉冲可用于确定由于相关操作之后的尖峰引起的精细细节。信号频谱的宽度和相关函数的宽度之间通常存在相互关系;例如,与FMCW模板相关的相对宽的FMCW信号产生窄的相关峰值。另外,将标准啁啾与接收器处的响应相关联,提供回声脉冲响应的估计。
在FMCW中,系统有效地考虑整个频率范围内所有响应的集合,作为“最强”的大幅度响应(例如,当啁啾中的某些频率可能遇到严重衰减时,其他频率可能提供良好响应,因此系统考虑集合)。
诸如在移动设备中的一个或多个处理器的示例性方法,用于恢复作为FMCW系统的基带信号(例如大幅度运动或呼吸)如下。根据本发明的一些方面,可以发送啁啾序列,诸如在1902处使用FMCW发送生成模块来操作一个或多个扬声器。啁啾序列可以是例如听不见的三角声学信号。输入的接收信号(诸如由接收模块在1904处用一个或多个麦克风操作的接收信号)可以使用例如上述峰值相关与发送信号同步。可以例如在1906处利用同步模块执行对(例如若干啁啾的)啁啾或块的连续重新同步检查。然后可以执行混合操作,诸如通过乘法或求和,用于解调,诸如在1908处用下转换模块,其中接收信号的一个或多个扫描可以乘以发送信号的一个或多个扫描。这产生了发送和接收频率之和与差的频率。
在1902处使用发送模块从电话发送的信号的一个实例是相位连续的三角形啁啾(以确保听不见性)并且被设计为根据在计算设备(例如移动设备)上运行的模块由处理器控制的扬声器实现循环声音数据。示例性三角形啁啾使用48kHz的1500个样本进行上下扫描。这给出了31.25ms的上扫描时间(对于下扫描可能是相同的),如果连续使用上下扫描,则提供32Hz的基带采样率(与音频采样率相反),或者如果它们是平均的(或仅使用交替扫描),则提供16Hz的基带采样率。
在使用多于一次扫描的情况下(例如4次扫描),可以通过每次迭代移动一次扫描(即,引入重叠)以块为基础重复计算。在这种情况下,可以可选地通过使用诸如滤波、最大值保持或其他方法(诸如希尔伯特(Hilbert)变换)的方法提取相关的包络来估计相关的峰值;也可以去除异常值——例如,通过去除落在相对峰值位置的平均值之外的一个标准偏差的那些异常值。当提取接收波形的每次扫描时,可以使用相对峰值位置的模式(去除异常值)来确定起始索引。
相关度量有时可能低于其他,其原因可能是由于间歇性的不需要的信号处理影响了发送的波形(导致啁啾减小或“下降(dipping)”),或者房间环境中确实发出巨大的声音导致信号“被淹没”一小段时间。
在1906处,通过检查相对于模板(该模板以直至最大360度的度增量在相位中移位)的相关性,可以执行更精细的相位电平同步(尽管具有更大的计算复杂度)。这估计了相位电平偏移。
除非非常精确地控制系统的定时(即,知道系统中的延迟降直样本水平),否则需要同步步骤以确保解调正确工作,并且不产生噪声或错误输出。
如前所述,1908处的模块中的下变换处理可以产生用于分析的基带信号。通过同步发送和接收数据,现在可以执行下转换。该模块利用各种子模块或过程处理同步的发送和接收信号(产生的声音和反射声音),以提取“差拍(beat)”信号。该音频处理的一个实例如图20中所示;在此,可以生成I和Q发送信号,其中使用细粒度同步方法确定的相位偏移用于混合。可以在2002处重复“嵌套循环(nested loop)”用于例如2004处在模块或处理中混合:外部循环迭代在存储器中保持的当前接收波形中的每次扫描并且由2006处的访问过程应用于在2004处混合(每个上下啁啾被认为是单独的扫描);然后内部循环首先迭代I信道,然后是Q信道。
该系统的另一个实例(图20中未示出)可选地缓冲多个接收的扫描,计算中值,并提供含有多个扫描的缓冲器的运动中值数字。然后从当前扫描中减去该中值,以便提供另一种消除信号的方法。
对于每次扫描(向上或向下),提取接收波形的相关部分(使用同步样本索引作为参考),以便在2004处与相移的发送啁啾混合。使用发送的和生成的接收部分,波形在2004处被混合(即相乘)在一起。例如,可以看出,对于向下扫描,可以将接收的向下扫描与TX向下扫描混合,将翻转的接收的下扫描与TX上扫描混合,或将翻转的接收的下扫描与翻转的TX下扫描混合。
混合操作的输出(例如,接收的波形乘以参考对齐的波形(例如参考啁啾))可以被低通滤波以去除更高的和频,诸如在2008处的滤波处理或模块中。作为示例,实现可以使用18-20-18kHz的三角形啁啾,采样率为48kHz;对于这样的频带,混合操作中较高的和频实际上是欠采样的,并且产生大约11-12kHz的混叠分量(对于Fs=48kHz,总和为约36kHz)。低通滤波器可以被配置为确保如果在特定系统实现中发生该乱真分量,则将其移除。剩余信号的分量取决于目标是静态的还是移动的。假设在给定距离处的振荡目标(例如呼吸信号),该信号将含有“差拍”信号和多普勒分量。差拍信号是由于来自目标的时间延迟反射引起的发送和接收扫描的频率位置的差异。多普勒是运动目标引起的频移。理想情况下,应通过仅从接收信号到达的点到发送扫描结束时选择扫描部分来计算此差拍。然而,对于诸如人的复杂目标而言,这在实践中很难做到。因此,可以使用整个扫描。根据本发明的一些方面,更先进的系统可以利用自适应算法,该自适应算法使用以下事实:一旦清楚地识别了对象位置,就采取扫描的适当部分,进一步提高系统精度。
在一些情况下,混合信号可以可选地使均值(平均值)诸如在2010处的去趋势处理中去除(平均去趋势)和/或被高通滤波(诸如在2012处的HPF处理中),以去除最终会在基带中出现的不需要的分量。其他去趋势操作可以应用于混合信号,诸如线性去趋势、中值去趋势等。在2008处应用的滤波水平可以取决于发送信号的质量、回波的强度、环境中的干扰源的数量、静态/多径反射等等。对于更高质量的条件,可以应用更少的滤波,因为接收信号的低频包络可以含有呼吸和其他运动信息(以及最终解调的基带信号)。对于低质量、更具挑战性的条件,混合信号中的噪声可能是显著的,并且期望更多滤波。可以将实际信号质量(例如呼吸信号质量)的指示作为反馈信号/数据反馈给这些滤波处理/模块,以在2008处的该滤波模块阶段选择适当的滤波级别。
在1908处下降转换之后,使用复数FFT矩阵的1910处的二维(2D)分析,以提取呼吸、存在/缺席、大幅度运动和活动。因此,下转换器可以产生频域变换矩阵。对于这种类型的过程,混合(和滤波)信号的块被加窗(例如,在2014处使用汉宁(Hanning)窗口模块。然后在2016处执行傅里叶变换(诸如快速傅里叶变换或FFT)以估计和产生“2D”矩阵2018。每一行是扫描的FFT,每列是一个FFT窗口。正是这些FFT窗口转换为范围,因此被称为“范围窗口”。然后,由2D分析模块处理矩阵,诸如基于I信道或Q信道信息的每个矩阵的一组正交矩阵。
参考图21中所示的模块示出了这种处理的实例。作为1910处的2D分析的一部分,可以对这些数据执行身体(包括肢体)运动和活动检测。处理模块的运动和活动估计在2102处从频域中的复合(I+jQ)混合信号的分析中提取关于对象的运动和活动的信息。它可以被配置为基于身体(例如滚动或肢体运动)运动与呼吸期间的胸部位移不相关并且远大于胸部位移而进行操作。独立于(或依赖于)该运动处理,针对每个范围窗口计算多个信号质量值。针对I和Q信道两者的幅度和展开相位计算这些信号质量值。
2102处的处理产生“活动估计”信号和运动信号(例如身体运动标记)。由2102处的活动/运动处理产生的“身体运动标记”(BMF)是指示是否已发生运动的二进制标记(以1Hz输出),而在2104处与计数器处理模块一起产生的“活动计数”是对于每个历元0到30之间的活动的度量(以1/30秒输出)。换言之,“活动计数”变量在30秒块的定义周期内捕获身体运动的量(严重性)和持续时间(每30秒更新一次),而“运动”标记是简单的是/否发生每秒更新的运动。用于生成活动计数的原始“活动估计”是基于混合啁啾信号在非运动期间彼此相关并且在运动时段期间不相关而估计的度量。由于混合扫描是复频域表示,因此可以在分析之前获取信号的模数或绝对值。在一系列混合上扫描上计算皮尔逊(Pearson)相关性,这些扫描在目标范围区间内间隔4个啁啾。对于以1500kHz的1500个样本发送波形,该间距对应于125ms。啁啾的间距决定了被检查的速度分布,可以根据需要进行调整。该相关输出被反转,例如通过从1减去,因此相关性的减少与度量的增加有关。计算每秒的最大值,然后通过短3抽头FIR(有限脉冲响应)boxcar均值滤波器。对于某些设备,使用该方法计算的对运动的响应本质上可以是非线性的。在这种情况下,可以通过自然日志功能重新映射度量。然后通过减去在前N秒观察到的最小值(对应于最大观察到的相关性)来对信号进行去趋势化,并将其传递到具有单个权重和偏差项的逻辑回归模型中。这产生1Hz原始活动估计信号。通过将阈值应用于原始活动估计信号来生成二进制运动标记。通过将高于阈值的1Hz原始活动估计与非线性映射表进行比较来生成活动计数,其中每秒的值从0到2.5中选择。然后将其在30秒的时间段内求和并限制在30的值以生成每个历元的活动计数。
因此,已经创建了一秒(1Hz)运动标记,以及活动强度估计,以及相关的活动计数到最大值30(30秒历元内的活动总和),其与2012处的活动/运动模块及2104处的活动计数器相关。
1910处的2D处理的另一方面是对象距传感器的距离的计算(或者在传感器的范围内的两个或更多个对象的情况下的几个距离)。这可以利用范围窗口选择算法来实现,该算法处理所得到的二维(2D)矩阵2018以在目标窗口处产生1D矩阵(或矩阵)。尽管未在图21中示出,但是用于这种选择过程的模块的输出可以向处理模块通知2D分析,包括例如2016处的任何提取处理,2108处的计算处理以及2110处的呼吸决定处理。在这方面,在所产生的拍频处展开相位将返回目标的期望振荡运动(假设没有发生相位展开问题)。可以执行可选的相位展开错误检测(和潜在的校正)以减轻由于总运动导致的展开信号中的可能的跳跃不连续性。然而,这些“误差”实际上可以产生有用的信息,即它们可以用于检测信号中的运动(通常是较大的运动,例如大幅度动作)。如果相位展开的输入信号仅是非常低的幅度噪声,则可以可选地在该“低于阈值”信号的持续时间内设置标记,因为展开可能是无效的。
可以通过各种方法在2D展开的相位矩阵中检测运动的开始时间和结束时间以及位置(即范围);例如,这可以使用2D包络提取和归一化,然后进行阈值处理来实现。归一化的时间尺度被配置为足够大以排除由于类似呼吸的运动引起的相位变化(例如,对于被定义为5bpm的最小呼吸速率,>>k*12秒)。此类运动的检测可以用作窗口选择过程的输入触发器;例如,窗口选择算法可以在运动时段期间“锁定”到先前范围窗口,并且保持该窗口,直到接下来在该窗口中或附近检测到有效呼吸信号。这可以减少在对象安静地呼吸,在床上移动然后安静地躺着的情况下的计算开销;他们仍然在相同范围窗口内被看到。因此,检测到的运动的开始和/或结束位置可用于限制用于窗口选择的搜索范围。这也可以应用于多个对象监测用例(例如,同时监测床上的两个对象,一个对象的运动可能使另一个对象的呼吸信号模糊,但是这样的锁定窗口选择可以帮助恢复两个对象的有效范围窗口(和呼吸信号提取)——即使在一个对象的大运动期间。
该方法产生由相位展开的振荡产生的信号。复合输出产生解调的基带IQ信号,其含有活人或动物的身体运动(包括呼吸)数据以用于后续处理。对于三角形Tx波形的实例,系统可以单独地处理线性上扫描和下扫描,并且将其视为单独的IQ对(例如,以增加SNR,和/或将吸气与呼气呼吸分开)。在一些实现中,可选地,可以处理来自每个(上扫描和下扫描)的拍频,以便使多普勒信号中可能的耦合效应平均,或者为了产生更好的范围估计。
基带SNR度量可以配置为比较0.125-0.5Hz的呼吸噪声频带(相当于7.5次呼吸/分钟至30次呼吸/分钟——尽管根据使用情况,这可能会扩大到约5-40次呼吸/分钟——即,主要呼吸信号内容)到4-8Hz的运动噪声频带(即,主要含有除呼吸之外的运动的频带),其中基带信号以16Hz或更高的频率被采样。可以通过高通滤波去除低于0.083Hz(相当于5次呼吸/分钟)的基带内容。心率信息可以含有在约0.17-3.3Hz(相当于每分钟25次心跳至每分钟200次心跳)的频带中。
在声纳FMCW处理期间,可选地,可以采用差拍估计之间的差异以便排除(移除)静态信号分量,即,通过减去相邻估计。
该方法中的范围窗口选择算法可以被配置为跟踪与传感器范围内的一个或多个对象的位置相对应的范围窗口。根据用户提供的定位数据,这可能需要部分或完全搜索可能的范围窗口。例如,如果用户注意到他们相对于设备睡眠(或坐着)的距离,则可以缩小搜索范围。通常,所考虑的数据的块或历元可能是30秒长并且不重叠(即,每个历元一个范围窗口)。其他实现可以使用更长的历元长度,并且采用重叠(即,每个历元多个范围区间估计)。
当使用有效呼吸速率的检测(或呼吸速率超过限定阈值的概率)时,这限制了最小可能的窗口长度,因为至少一个呼吸循环应当能够含有在历元中(例如,非常每分钟5次呼吸的极缓慢呼吸速率意味着每12秒呼吸一次。在呼吸速率的上限,45-50次呼吸/分钟是典型的限制。因此,当使用历元的谱估计(例如,去除均值,可选地加窗,然后执行FFT)时,提取期望呼吸带(例如5-45次呼吸/分钟)中相关的峰值,并将频带中的功率与全信号功率进行比较。将跨越频带的最大峰值(或最大峰值-平均比率)的相对功率与阈值进行比较,以确定是否存在候选呼吸频率。在某些情况下,可以找到几个具有相似呼吸频率的候选窗口。这些可能由于房间内的反射而发生,在多个范围产生明显的呼吸(这也可能与FFT旁瓣有关)。
三角波形的处理可以帮助减轻范围内的这种不确定性(例如,由于多普勒耦合),但是如果反射在一段时间内含有比直接路径更好的信号,则系统可以选择使用它。在用户具有被子/羽绒被,并且房间含有柔软家具(包括例如床和窗帘)的情况下,非直接反射不太可能产生比直接分量更高的信噪比。由于主要信号可能是来自羽绒被表面的反射,因此在考虑实际估计范围时,这可能看起来比人的胸部稍微靠近。
可以看出,可以使用先前历元的估计范围窗口的知识来通知后续的范围窗口搜索,以努力减少处理时间。对于不需要接近实时(历元接历元(epoch by epoch))分析的系统,可以考虑更长的时间尺度。
1.1信号质量
可以通过作为FFT2D度量的一部分计算的各种信号质量度量,如图21的2108处的模块的计算器处理中所示,来确定呼吸的信号质量(即,呼吸的检测和相关质量),其可以通过如前所述的图20的2008处的滤波来考虑。这些度量也可以在2110处的呼吸决策处理中考虑。可选地,图21中的2D分析处理可以包括用于确定缺席/存在或睡眠分期的处理或模块,它们基于输出和描述的一些中间值。
关于2108处的计算器处理,可以确定诸如用于呼吸估计的各种度量。在该实例中,图21中指示了四个度量:
1.“I2F”——带内(I)平方除以全频段
2.“Ibm——带内(I)唯一度量
3.“Kurt”——基于协方差的峰度的度量
4.“Fda”——频域分析
1.“I2F”
可以如下计算I2F度量(类似的方法适用于可以在BandPwrQ中调用的Q(正交)信道):
其中“inBandPwrI”是总功率,例如,从约0.1Hz到0.6Hz(例如,在已经选择的目标呼吸带内),并且“fullBandPwrI”是该范围之外的总功率。该度量基于宽带假设,即全带和带内功率子集相似,并使用全带功率来估计带内噪声。
2.“Ibm”
下一个度量与I2F没有相同的假设,并且提供了对带内信号和噪声的改进估计。它通过在带内找到峰值功率然后计算其周围的功率(例如通过在峰值的每一侧取三个FFT窗口)来实现这一点。然后,它将该信号功率乘以峰值本身除以下一个峰值(对于宽正弦类型信号的情况)。在呼吸含有强谐波的情况下,可以重新评估窗口的选择,使得谐波不与噪声分量混淆。然后,噪声估计是信号子带之外但仍在呼吸带内的所有内容:
3.峰度(“KURT”)
峰度提供了分布的“尾部”度量。这可以提供将呼吸与其他非呼吸信号分离的手段。例如,信号质量输出可以是在距峰值协方差的指定距离内去除DC(使用IIR HPF)信号的协方差的峰度的倒数。在信号质量差的情况下,该度量标准设置为“无效”。
4.“Fda”
可以执行“Fda”(频域分析);可以使用64秒重叠数据窗口计算这样的统计数据,步长为1秒。使用回顾性数据,计算为因果关系。该过程可以检测特定呼吸速率窗口内的呼吸速率。例如,可以如国际申请WO2015006364中所述检测呼吸速率,该申请以引用的方式整体并入本文。例如,可以在速率窗口内检测呼吸速率,该速率窗口相当于每分钟6至40次呼吸(bpm),对应于0.1-0.67Hz。该频带对应于真实的人体呼吸率。因此,“带内”指的是0.1-0.67Hz的频率范围。每64秒窗口可含有1024个(在16Hz下64秒)数据点。因此,该算法为每个(I和Q)数据窗口计算512点(N/2)FFT。这些FFT的结果用于计算带内频谱峰值(其随后可用于确定呼吸率),如下所述。带内频率范围用于计算每个64秒窗口的呼吸率,如下所述。
其他类型的“Fda”分析如下所示。
对于典型的心率,也可以考虑替代频带(例如,其中HR为每分钟45次心跳至每分钟180次心跳对应于0.75-3Hz)。
还可以确定光谱峰值比。识别最大带内和带外峰值,并用于计算谱峰值比率。这可以理解为最大带内峰值与最大带外峰值的比率。
还可以确定带内方差。带内方差量化了频带中的功率。在某些情况下,这也可以用于随后的存在/缺席检测。
通过实施品质因数来识别目标频带中的频谱峰值,该品质因数组合每个窗口处的光谱功率水平,以及与相邻峰的距离和窗口的频率。具有上述品质因数的最高值的窗口。
作为1910处的2D分析的一部分,计算在2108处已经概述的计算器处理的四个度量,以便识别移动设备的感测附近范围内的一个或多个活人,并跟踪他们是否移动到不同的范围(距传感器的距离)或确实离开感测空间(去卫生间)或返回感测空间。这提供了对缺席/存在检测的输入,以及在感测范围内是否存在干扰。然后可以进一步评估这些值,诸如在2110处的呼吸决策处理模块的过程中,以产生用系统监测的一个或多个对象的最终呼吸估计。
1.2缺席/存在评估
如图19中所示,1910处的2D分析还可以提供用于缺席/存在估计的处理以及这种估计的输出指示。检测人的身体运动及其呼吸参数可用于评估一系列信号,以确定对象是否不存在或存在于传感器范围内。根据信号质量检测,可以在30秒或更短时间内触发“缺席”(并且明显区别于呼吸暂停)。在某些版本中,可以看到缺席/存在检测包括特征提取的方法和随后的缺席检测。图22中示出了这种过程的示例流程图,其可以在1910处使用先前描述的过程的一些计算的特征/度量/信号,但是可以如本文所述计算其他过程。在决定人类存在(Prs)和人类缺席(Abs)时可以考虑各种类型的特征,包括例如以下中的一个或多个:
1.非零活动计数
2.当前2D信号(呼吸与范围)和之前窗口之间的皮尔逊相关系数——仅限于呼吸和感测范围
3.当前呼吸窗口的I/Q Ibm质量度量的最大值
4.在60秒窗口内I/Q呼吸率信道的最大方差
5.在500秒窗口内I/Q呼吸率信道的最大方差
从当前缓冲器中提取特征,并通过在缓冲器长度(例如经过60秒)上取百分位数进行预处理。然后将这些特征组合成逻辑回归模型,该模型输出当前历元发生的缺席概率。为了限制误报,例如可以在短窗口(几个历元)上平均以产生最终概率估计。对于被认为与身体运动(人或动物的运动)相关的运动时段,优先确定存在。在图22所示的实例中,将活动计数、IBM、皮尔逊相关系数和缺席概率与合适的阈值进行比较,以评估人是否存在。在该实例中,任何一个肯定评估可能足以确定存在,而每个测试可以被评估为否定以确定缺席。
采用整体系统视图,诸如肢体运动、最后翻滚等运动将倾向于破坏呼吸信号,从而产生更高频率的分量(但在考虑“2D”处理时可以是可分离的)。图23A、23B和23C提供了2D数据段(上面板)的实例,其中两个子部分(图23B和图23C)示出了由具有麦克风和扬声器的计算设备在声学范围内感测的人类活动。图表的每个痕迹或信号表示与具有本文所述应用程序及模块的移动设备不同距离(范围)的声学感测。在附图中,可以使呼吸信号在几个距离处可视化并且在几个范围(距离)内随时间运动。对于该实例,一个人在距离移动设备约0.3m处呼吸,其躯干面向移动设备。在区域BB和图23B中,人下床(大幅度身体运动)离开感测区域的附近(例如,离开房间去卫生间)。不久之后,关于区域CC和图23C,该人返回到感测区域或房间的附近,例如回到床上(大幅度身体运动)但稍微远离移动设备,现在他们背对着移动设备(约0.5m处),他们的呼吸模式是可见的。在解释该附图的最简单的层面上,没有任何呼吸痕迹或大幅度运动表明从房间缺席一段时间。
这种运动检测可以用作睡眠/唤醒处理的输入,诸如在图19的1912处的处理模块中,其中可以估计睡眠状态和/或可以生成唤醒或睡眠指示符。大运动也更可能是范围窗口选择的改变的前兆(例如,用户刚刚改变了位置)。另一方面,在从可识别的呼吸参数(诸如呼吸暂停或呼吸不足)检测到的SDB事件的情况下,呼吸可能减少或停止一段时间。
如果需要速度信号(其可能取决于最终用例),则可以应用处理FMCW啁啾信号的替代方法。使用替代方法,接收的信号可以作为延迟啁啾到达,并且可以执行FFT操作。然后可以将信号乘以其共轭以消除信号并保持其相移。然后可以使用多元线性回归确定到斜率的最佳拟合直线。
在图形上,当以弧度相对于频率绘制相位角时,该方法产生FMCW斜率。斜坡发现操作需要对异常值具有鲁棒性。对于18kHz至20kHz序列的10ms FMCW啁啾,有效范围为1.8m,距离分辨率为7mm。重叠FFT运算用于估计恢复的基带信号上的点。
在将FMCW信号直接作为一维信号处理的又一种方法中,可以将梳状滤波器应用于同步信号(例如,4个啁啾的块)。这是为了消除从Tx到Rx(直接扬声器到麦克风部件)和静态反射(杂波)的直接路径。然后可以对滤波后的信号执行FFT,然后进行加窗操作。然后可以执行第二FFT,接着是最大比率组合。
该处理的目的是检测旁瓣的振荡,并且输出速度而不是位移。一个优点是它直接估计1D信号(没有复杂的窗口选择步骤)并且可以可选地用于估计传感器领域中单个运动源(例如一个人)的情况下的可能范围窗口。
还可以看出,此类FMCW算法处理技术也可以应用于2D复合矩阵,诸如由利用各种类型的FMCW啁啾(例如锯齿波形、三角形等)的雷达传感器输出。
5.1.3附加系统注意事项——扬声器和/或麦克风
根据本发明的一些方面,扬声器和麦克风可以位于相同的设备上(例如在智能手机、平板电脑、笔记本电脑等上)或者在具有共同的或以其他方式同步的时钟信号的不同设备上。此外,如果两个或更多个部件可以通过音频信道或通过诸如因特网的其他装置传送同步信息,则可以不需要同步时钟信号。在一些解决方案中,发送器和接收器可以使用相同的时钟,然后不需要特殊的同步技术。实现同步的替代方法包括利用Costas环或PLL(锁相环)——即可以“锁定”到发送信号的方法——诸如载波信号。
考虑到音频路径中的任何缓冲,理解对发送和接收的样本的同步的累积影响,以便最小化潜在的不需要的低频伪影分量,这可能是重要的。在一些情况下,可能需要将麦克风和/或扬声器放置在床上用品附近或内部——例如通过使用设备中的电话耳机/麦克风插头(诸如用于进行免提通话)。一个实例是设备通常与苹果(Apple)和安卓(Android)手机捆绑在一起。在校准/设置过程中,系统应当能够选择合适的麦克风(如果手机上有多个麦克风)、扬声器、振幅和频率设置,以适应系统/环境设置。
5.1.3.1.1系统对部件变化和环境的校准/适应
期望实现一种技术,以使系统参数最佳地适应于使用中的特定电话(或其他移动设备)、环境(例如卧室)和系统的用户。这意味着系统随着时间的推移而学习,因为该装置可以是便携式的(例如移动到另一个生活空间、卧室、旅馆、医院、护理院等),适应感测领域中的一个或多个生活对象,并且兼容各种设备。这意味着音频信道的均衡。
系统可以通过学习(或实际上是默认预编程)设备或模型特定特性以及信道特性来自动校准信道条件。设备和模型的特定特性包括扬声器和麦克风的基线噪声特性,以及机械部件在预期频率或频率下稳定振动的能力,以及幅度响应(即目标波形的实际发送音量,以及接收麦克风的信号响应)。例如,在FMCW啁啾的情况下,接收的直接路径啁啾的幅度可以用于估计系统的灵敏度,并且如果需要自动调节信号幅度和/或电话音量以实现期望的系统灵敏度(可能与扬声器和麦克风组合的性能有关,包括扬声器/传感器在给定电话音量下发出的声压级(SPL))。这允许系统可以支持多种智能设备,诸如安卓(Android)手机的庞大且不同的生态系统。这也可用于检查用户是否已调整电话主音量,以及是否需要自动重新调整,或者系统需要调整到新的操作条件。不同的操作系统(OS)修订版也可能产生不同的特性,包括音频缓冲器长度、音频路径等待时间以及Tx和/或Rx流中偶然丢失/抖动的可能性。
捕获系统的关键方面,包括ADC和DAC量化级别(可用位)、信噪比、TX和RX的同时或同步时钟、以及房间的温度和湿度(如果可用)。例如,可以检测到设备具有48kHz的最佳采样率,并且如果提供44.1kHz的采样则执行次优的重采样;在这种情况下,首选采样率将设置为48kHz。由系统的动态范围形成估计,并选择适当的信号组成。
其他特性包括发送和接收部件之间的间隔(角度和距离)(例如发送器和接收器之间的距离)、以及任何有源自动增益控制(AGC)和/或有源回声消除的配置/参数。设备(尤其是使用多个有源麦克风的电话)可以实现信号处理措施,该信号处理措施由于信号的连续发送而混淆,导致需要校正的接收信号中的不希望的振荡(或者实际上调整设备的配置以便尽可能禁用不希望的AGC或回声消除)。
该系统能够用各种材料的反射系数与频率(例如18kHz的反射系数)进行预编程。如果我们更详细地考虑回声消除情况,对于CW(单音),信号是连续的;因此,除非完美声学隔离(智能手机上不太可能),TX信号比RX强得多,并且系统可能会受到手机中内置回声消除器的负面影响。由于AGC系统或基本回声消除器的活动,CW系统可能经历强幅度调制。作为特定手机(三星(Samsung)S4运行操作系统“Lollipop”)上的CW系统的实例,原始信号可以含有返回信号的幅度调制(AM)。解决该问题的一种策略是在原始样本上执行非常高频率的AGC以平滑与呼吸运动无关的AM分量。
诸如FMCW“啁啾”之类的不同类型的信号可能以适合的方式击败在设备中实现的回声消除器;实际上,(A)FHRG或UWB方法对于指向语音的声学回声消除器也可以是鲁棒性的。在FMCW情况下,啁啾是一种短期非静止信号,可以在一个时间点访问房间的瞬间信息和房间内的运动并继续前进;回声消除器以滞后的方式追踪它,但仍然可以看到返回的信号。但是,这种行为与第三方回声消除器的确切实现有关;一般而言,期望(在可能的情况下)在生理感测Tx/Rx使用的持续时间内禁用任何软件或硬件(例如在CODEC中)回声消除。
另一种方法是使用连续宽带UWB(超宽带)信号。在特定频率下没有良好响应的情况下,这种UWB方法具有高弹性。宽带信号可以被限制在听不见的频段,或者作为嘶嘶声在可听频带内传播;这种信号可以处于不会干扰人或动物的低振幅,并且可选地通过窗口进一步“成形”以使听起来悦耳。
创建听不见的UWB序列的一种方法是采用可听见的探测序列,诸如最大长度序列(MLS——一种伪随机二进制序列)并调制不可听见的频带。它也可以保持在可听见的频率,例如,在可以被诸如音乐等现有声音掩蔽的情况下。由于需要重复最大长度序列的事实,所产生的声音不是纯粹的光谱平坦白噪声;事实上,它可以产生类似于商用音响机器产生的声音——同时减慢一个或多个人的呼吸率检测。脉冲可以在时间上窄或在自相关函数中窄。像MLS这样的“神奇”序列在时间和频率上都是周期性的;MLS尤其具有出色的自相关特性。通过估计房间的脉冲响应,可以对门进行测距。有必要挑选子样本运动以恢复房间中的对象的呼吸信号。这可以使用群延迟提取方法来完成;一个实例是使用重心(第一时刻)作为滤波脉冲响应的代理(即,片段的群延迟对应于脉冲响应的重心)。
可以自动创建信道模型(例如,在智能设备或硬件上首次使用“应用程序(app)”)或由用户手动提示(启动),并定期或连续监测信道条件,并适当地进行调整。
可以使用相关或自适应滤波器(如回声消除器)来询问房间。有帮助的是,无法取消的位主要是由于房间内的运动。在估计房间参数之后,可以使用特征滤波器(通过优化目标函数导出)来变换原始信号,然后通过房间的脉冲响应来变换原始信号。对于伪白噪声的情况,可以使目标掩蔽信号成形为环境噪声的频率特性并改善睡眠体验,同时还记录生物运动数据。例如,环境的自动频率评估可以揭示在特定频率下的不期望的驻波,并调整发送的频率以避免此类驻波(即,共振频率——空气介质/压力节点中的最大和最小运动的点和反节点)。
相比之下,颤振回声可以影响500Hz以上的声音,具有来自平行墙(具有硬表面)、干墙和玻璃等的明显反射。因此,可以应用有源噪声消除以减少或消除在环境中看到的不想要的反射/效果。就设备的定向而言,系统设置将提醒用户朝向电话的最佳位置(即,以便最大化SNR)。这可能需要将电话的扬声器指向特定距离范围内的胸部。校准还可以检测并纠正可能改变系统声学特性的制造商或第三方电话盖的存在。如果电话上的麦克风似乎受到损害,则可能要求用户清洁麦克风开口(例如,电话可能在麦克风开口中拾取棉绒、灰尘或其他材料,该棉绒、灰尘或其他材料可被清洁)。
根据本发明的一些方面,可以应用连续波(CW)方法。与使用飞行时间的距离选通系统不同,诸如FMCW、UWB或A(FHRG)、CW使用单个连续的正弦音调。未调制的CW可以在对象移动时使用多普勒效应(即,返回频率偏离发送频率),但可能无法评估距离。例如,CW可以用于床上单个人的情况,附近没有其他运动源,并且在这种情况下可以给出高信噪比(SNR)。FHRG中概述的解调方案可用于单音(无帧本身)的特殊情况,以便恢复基带信号。
另一种方法是自适应CW。这不是特定范围门控(尽管实际上可以具有有限的范围,诸如由于它受到Tx功率和房间混响的限制而检测床中最近的人),并且可以利用房间模式。自适应CW保持在听不见的范围内使用连续发送的音频音调,但是在发送/接收装置的能力范围内。通过逐步扫描不可听频率,算法迭代地搜索频率以获得最佳可用呼吸信号——频率内容和时域形态(呼吸形状)。Tx信号中仅10Hz的间隔可能导致完全不同形状的解调呼吸波形,清除的形态最适合于呼吸暂停(中枢性和阻塞性)和呼吸不足分析。
全息术涉及波前重建。全息摄影需要高度稳定的音频振荡器,其中相干源是扬声器,并且利用房间由于混响而存储能量的事实(即,选择CW信号以具体地具有强驻波,而不是先前讨论的其他方法试图移出模式,或者实际上根本不使用跳频和/或自适应频率选择来创建驻波。
对于具有两个或更多个扬声器的系统的情况,可以在特定方向上调节或操纵“波束(beam)”(例如,以最佳地检测床中的单个人)。
当我们进一步考虑图7时,如果数据被存储在高通滤波器702之后(例如,在17k Hz下具有3dB点的HPF)以用于稍后的离线分析(相对于读取和丢弃原始音频数据的在线处理系统),高通滤波可以充当隐私过滤器,因为阻带中被阻止(去除/过滤掉)的数据含有主要语音信息。
5.1.3.1.2适应多种协作或非协作设备和干扰
系统可以包含多个麦克风,或者需要与系统邻近系统协作(例如,放置在双人床两侧的运行应用程序的两部电话以独立地监测两个人)。换言之,在一个环境中需要管理多个收发器——使用信道或其他手段,诸如无线信号或通过互联网发送的数据,以允许共存。具体而言,这意味着波形可以与所选频带相适应,以使干扰最小化,无论是调整编码序列还是在单个正弦波的最简单情况下,在约18kHz下检测正弦波并选择在约19kHz下发送。因此,该设备可以包括设置模式,该设置模式可以在启动时被激活以利用附近的声音的信号分析(例如,由麦克风接收的声音的频率分析)来检查设备的环境或附近的声音信号,并且作为对分析的响应,选择不同的频率范围进行操作,诸如来自接收的声音频率的非重叠频率组。以这种方式,多个设备可以在共同附近利用本文描述的声音生成和调制技术进行操作,其中每个设备在不同的频率范围内生成声音信号。在一些情况下,不同的频率范围可能仍在本文所述的低超声频率范围内。
由于单个设备上的FMCW可以检测多个人,因此FMCW不太可能一次在附近一个以上的设备上运行(对比例如CW);然而,如果为了最大化可用SNR而在附近运行多于一个FMCW发送,则频带可以自动(或通过用户干预)适于在频率上不重叠(例如,18-19kHz和19.1-20.1kHz等)或在时间上不重叠(啁啾占据与彼此相同的频带,但具有非重叠的静默期,具有保护带以允许其他设备的反射消散)。
当使用具有音调对的(A)FHRG时,可以看出这些可以是频率和/或时间抖动。频率抖动意味着帧之间的频率变化,时间抖动意味着改变了飞行时间(基于改变脉冲持续时间)。一种或两种抖动方法的此类方法可以包括降低生成房间模式的概率和/或允许两个声纳系统在彼此的“听觉”距离内共存。
还可以看到FHRG系统可以通过定义音调/帧的伪随机序列来释放——假设转换是这样的,即声音谐波不会被引入到所产生的发送信号中(或者应用适当的梳状滤波来移除/衰减不需要的子谐波)。
在不同硬件上生成TX和RX信号的情况下,可能无法使用公共时钟;因此;需要合作。在两个或更多个设备处于彼此的“听觉”距离内的情况下,最佳地采用协作信号选择以避免干扰。这可以允许发送信号适于从床上衣服最佳返回。
5.1.3.1.3适应用户首选项
简单的音频扫描测试可以允许用户选择他们不能再听到的最低频率(例如17.56kHz、19.3KHz、21.2kHz等等);这(具有小的保护带偏移)可以用作生成信号的起始频率。还可以包括宠物设置过程以检查狗、猫、宠物鼠或类似物是否对样本声音作出反应;如果他们作出反应,可能最好使用具有调制信息的低振幅(对人类)可听的声音信号。可以实现“宠物设置模式”以检查(例如)狗是否响应特定声音,并且他们用户可以记录该事实,使得系统检查不同的声音以便找到不会引起不适的信号。类似地,在注意到用户的不适的情况下,系统可以配置为备用信号类型/频带。包括有源信号TX的白噪声特征在宠物/儿童不能容忍特定波形和/或需要平静掩蔽噪声(“白噪声”/嘶嘶声)的情况下非常有用。因此,模式可以循环通过一个或多个测试声音信号并提示用户关于测试的声音信号(可能对人类听不见)是否有问题的输入,并且基于输入选择使用频率。
5.1.3.1.4当用户与设备交互时自动暂停Tx播放
由于系统可能正在播放高幅度的不可听信号,所以如果用户正在与设备交互,则期望在诸如智能设备的移动设备中将其静音(Tx暂停)。具体地,如果在用户的耳边(例如,拨打或接听电话),则必须将设备静音。当然,一旦信号取消静音,系统就需要重新同步。该系统还可能导致电池耗尽,因此可以使用以下方法。如果系统正在运行,则只有在设备充电时才应优先运行;因此,如果智能设备未连接到有线或无线充电器,则系统可以被设计为暂停(或不启动)。在设备使用时暂停Tx(和处理)方面,可以从用户与手机的一次或多次交互中获取输入——按下按键、触摸屏幕、移动手机(通过内置加速度计(如果存在的话)和/或陀螺仪、和/或红外接近传感器检测到)、或者用GPS或辅助GPS检测到的位置变化、或来电。在通知(例如文本或其他消息)的情况下,在设备未处于“静音”模式的情况下,系统可以临时暂停Tx以预期用户拿起设备一段时间。
在启动时,系统可以在激活Tx之前等待一段时间,以便检查电话是否已经放置在表面上,并且用户不再与其进行交互。如果采用诸如FMCW的距离估计方法,则系统可以降低Tx功率水平或者如果在非常靠近设备的情况下检测到呼吸运动则暂停(静音)Tx,基于最小可能的声输出功率应当是用于满足所需的SNR水平。另外,在用户实际与设备交互时静音之前,或者在用户从设备附近撤回他们的手将音量平滑地增加到操作级别之前,可以使用在用户伸手获取设备时从解调的基带信号恢复的手势来主动平滑地减小Tx音量。
5.1.3.1.5数据融合
对于收集(接收)具有有源发送分量的音频信号的系统,还期望处理全带信号以便拒绝或利用其他模式。例如,这可以用于检测语音、背景噪声或可能淹没TX信号的其他模式。对于呼吸分析,非常期望与提取的呼吸音频波形特性进行数据融合;呼吸声的直接检测可以与解调信号组合。此外,可以提取具有诸如咳嗽、喘息、打鼾等音频分量的危险睡眠或呼吸状况的方面——特别是对于卧室内的应用(通常是安静的环境)。呼吸声可以来自口腔或鼻子,包括打鼾、喘息、喘气、吹口哨等等。
完整的音频信号还可以用于估计运动(诸如像用户在床上翻滚的大幅度运动),并且与其他背景非生理学生成的噪声区分开。可以组合声纳估计的运动(来自处理的基带信号)和全频带无源音频信号分析,通常由于范围选通(范围检测)在FMWC、(A)FHRG ToF等中通过非范围特定的无源声学分析的优势,声纳运动(以及来自该运动的估计活动)优先。检测到的噪声的持续时间和强度还可以提供对不需要的去同步的洞察——诸如当风扇靠近放置时,或者加热或冷却系统过于嘈杂时。在声纳基带信号分析中,声学风扇噪声也可被视为增加的1/f信号。在可以在噪声基底上检测到实际用户声音但声纳Rx信号质量非常差的情况下,系统可以回退到生理声音被映射到活动的处理模式,并且直接驱动精度降低的睡眠/唤醒检测器,纯粹基于这些活动指数。系统还可以就最佳风扇布置向用户反馈,和/或使其操作频率适应于干扰减少的频带。可以检测其他噪声源,诸如荧光灯管/灯泡和LED镇流器,并且系统适应于更优选的声纳操作频率。因此,设备还可以通过传统声音处理方法(除了本文所述的解调处理技术之外)处理经由麦克风接收的音频信号,以评估环境声音、语音和呼吸声中的任何一个或多个,以检测用户运动和相关特性。
语音检测还可以用作隐私功能,以便主动丢弃可能含有私人信息的任何临时数据。可以执行处理以排除潜在的混杂因素——滴答模拟时钟、电视、平板电脑上的流媒体、风扇、空调装置、强制加热系统、交通/街道噪声等等。因此,可以从可听频谱中提取生物运动信息,并将其与从解调方案中提取的数据组合以提高整体准确度。
根据本发明的一些方面,诸如智能手机的设备上的光传感器可以向系统提供单独的输入,表明该人是试图睡觉,还是正在看电视、阅读、使用平板电脑等。使用电话上的温度传感器和/或可用的湿度感测(或基于位置的天气数据)可用于增强发送信号的信道估计/传播。与电话本身的交互可以提供关于用户警觉水平和/或疲劳状态的附加信息。
通过内部运动传感器了解感测设备的运动,诸如MEMS加速度计可用于在手机运动时禁用声学感测过程。传感器数据与加速度计数据的融合可用于增强运动检测。
注意,虽然本文描述的系统和方法被描述为由移动设备实现,但是在本发明的其他方面,系统和方法可以由固定设备实现。例如,本文描述的系统和方法可以由床边消费者监测设备或医疗设备实现,诸如用于治疗睡眠呼吸紊乱或其他呼吸病症的流发生器(例如CPAP机器)。
5.1.3.1.6心脏信息
如前所述,除了呼吸信息之外,可以根据产生的运动相关信号对其他周期性信息(诸如心脏信息检测或心率)实现先前描述的各种技术版本的声音生成和反射分析。在图21的实例中,心脏决策处理可以是可选地添加的模块。可以在基于FFT的2D处理阶段期间应用基于心冲击描图的心脏峰值检测(正如执行呼吸检测)但是查看更高的频带。
可替代地,小波(作为FFT的替代或补充)——诸如处理I然后Q信号中的每一个的离散小波变换——或者使用离散复小波变换同时处理可以用于2D处理阶段以分离出大幅度运动、呼吸和心脏信号。
诸如基于小波的方法(例如离散的连续小波变换——DCWT——使用例如Daubechies小波)的时频处理可以执行去趋势(detrending),以及直接的身体运动、呼吸和心脏信号提取。心脏活动反映在较高频率的信号中,并且可以通过使用带通滤波器进行滤波来访问该活动,该带通滤波器的通带范围为0.7至4Hz(每分钟48次心跳至每分钟240次心跳)。由大幅度运动引起的活动通常在4Hz至10Hz的范围内。应当注意,在这些范围内可能存在重叠。强(干净)呼吸迹线可以产生强谐波,并且需要跟踪这些以避免混淆。例如,本技术的一些版本中的信号分析可以包括国际专利申请公开号WO2014/047310中描述的任何方法,该申请以引用的方式整体并入本文,包括例如呼吸信号的小波去噪方法。
5.1.3.1.7系统实例
通常,本申请的技术版本可以由配置有监测相关方法的一个或多个处理器实现,例如本文更详细描述的模块的算法或方法。因此,该技术可以用集成芯片、一个或多个存储器和/或其他控制指令、数据或信息存储介质来实现。例如,包含本文描述的任何方法的编程指令可以在合适设备的存储器中的集成芯片上编码。这些指令也可以或替代地使用适当的数据存储介质作为软件或固件加载。因此,该技术可以包括处理器可读介质或计算机可读数据存储介质,其上存储有处理器可执行指令,当由一个或多个处理器执行时,使得处理器执行本文所描述的任何方法或方法的方面。在一些情况下,服务器或其他联网计算装置可以包括或以其他方式被配置为访问此类处理器可读数据存储介质。服务器可以被配置为接收用于通过网络将处理器可读数据存储介质的处理器可执行指令下载到处理设备的请求。因此,该技术可以涉及服务器访问处理器可读数据存储介质的方法。服务器接收下载处理器可读数据存储介质的处理器可执行指令的请求,诸如用于通过网络将指令下载到诸如计算设备或便携式计算设备(例如智能电话)的处理设备。然后,服务器可以响应于该请求将计算机可读数据存储介质的处理器可执行指令发送到设备。然后,设备可以执行处理器可执行指令,诸如,如果处理器可执行指令存储在设备的另一个处理器可读数据存储介质上。
5.1.3.1.8其他便携式或电子处理设备
如前所述,本文描述的声音感测方法可以由电子处理设备的一个或多个处理器或计算设备(诸如智能电话、膝上型电脑、便携式/移动设备、运动电话、平板电脑等)来实现。这些设备通常可以被理解为便携式或运动式。然而,也可以用本文描述的技术实现其他类似的电子处理设备。
例如,许多家庭和车辆含有能够发出并记录声音的电子处理设备,诸如在恰好高于人类听觉阈值的低频超声波范围内——例如智能扬声器、有源条形音箱、智能设备、支持语音和其他虚拟助手的其他设备。智能扬声器或类似设备通常包括通过有线或无线装置(诸如蓝牙、Wi-Fi、Zig Bee、网状网、对等网络等)的通信部件,诸如用于与其他家庭设备的通信,诸如用于家庭自动化和/或诸如因特网的网络。与被设计为简单地发出声学信号的标准扬声器不同,智能扬声器通常包括一个或多个处理器以及一个或多个扬声器、以及一个或多个麦克风(麦克风)。麦克风可以用于与智能助理(人工智能(AI)系统)交互,以便提供个性化的语音控制。一些实例是谷歌Home(Google Home)、苹果HomePod(Apple HomePod)、亚马逊Echo(Amazon Echo)、使用“好的,谷歌(OK Google)”、“嗨Siri(Hey Siri)”、“Alexa”短语进行语音激活。这些设备可以是便携式的,并且通常可以用于特定位置。他们连接的传感器可以被认为是物联网(IoT)的一部分。也可以使用其他设备,诸如有源条形音箱(即,包括麦克风)、智能电视机(其通常可以是固定设备)和移动智能设备。
此类设备和系统可以适于使用本文所述的低频超声技术执行生理感测。
对于具有多个换能器的设备,可以实现波束形成——即,采用信号处理来提供发送到传感器阵列(例如扬声器)或从传感器阵列接收的信号的方向或空间选择性。这通常是“远场”问题,其中波前对于低频超声是相对平坦的(与医学成像相反,其是“近场”)。对于纯CW系统,音频波从扬声器传出,导致最大和最小区域。但是,如果有多个传感器可供使用,则可以控制这种对我们有利的辐射模式——称为波束形成的方法。在接收侧,也可以使用多个麦克风。这允许声学感测优选地在一个方向上转向(例如,引导发出的声音和/或接收的声波),并扫过一个区域。对于在床上的用户的情况,可以将感测引导向对象——或者朝向多个对象(这种情况下在床上例如有两个人)。
作为另外的实例,本文描述的技术可以在可穿戴设备中实现,诸如非侵入式设备(例如智能手表)或甚至侵入式设备(例如植入芯片或可植入设备)。这些便携式设备也可以配置有本技术。
5.2其它说明
本专利文件的公开的一部分包含受版权保护的材料。因为它出现在专利局的专利文件或记录中,所以版权所有者不反对任何人对本专利文件或专利公开的副本进行复制,但在其它方面却保留所有的版权权利。
除非上下文中明确说明并且提供数值范围的情况下,否则应当理解,在该范围的上限与下限之间的每个中间值,到下限单位的十分之一,以及在该范围内的任何其它该值或中间值均广泛地包含在本技术内。这些中间范围的上限和下限可独立地包括在中间范围内,也包括在本技术范围内,但受制于该范围内的任何明确排除的界限。在该范围包括该界限中的一个或两个时,排出那些所包括的限制的界限中的一个或两个的范围也包括在本技术内。
此外,在本技术该的一个值或多个值作为本技术的部分的一部分进行实施的情况下,应理解的是,此类值可以是近似的,除非另外说明,并且此类值可以实用的技术实施可允许或需要其的程度用于任何适当的有效数位。
除非另有定义,本文所使用的所有技术和科技术语具有与本技术所属领域的普通技术人员通常所理解的相同的含义。尽管任何与本发明所描述的方法和材料相似或等同的方法和材料也可用于本技术的实践或测试中,但本文描述了有限数量的实例性方法和材料。
当特定材料被鉴定用于配置部件时,具有类似特性的明显替代材料作为其替代物。另外,除非相反规定,否则本文所述的任何和全部部件均被理解为能够被制造且因而可以一起或分开制造。
必须注意的是,除非上下文另有明确规定,否则如本文和在所附权利要求书中所使用,单数形式“一个”、“一种”和“该”包括其复数等效物。
本文提及的全部出版物均通过引用并入,以公开并且描述作为那些出版物的主题的方法和/或材料。本文所讨论的出版物仅提供用于先于本申请的申请日的公开内容。本文均不能被解释为凭借在先发明承认本技术无权早于此类出版物。另外,所提供的出版日期可能不同于实际出版日期,出版日期可能需要进行独立地确认。
术语“包括”和“包含”应被解释为以非排他性的方式指代元件、部件或步骤,指示所引用的元件、部件或步骤可以存在或被使用或与未明确引用的其它元件、部件或步骤组合。
详细描述中使用的主标题仅为了便于读者参考而包括在内,而不应用于限制见于整个公开或权利要求书中的发明主题。主题标题不应用来解释权利要求书的范围或权利要求书限制。
尽管本文所述技术已经参照特定的实例进行了描述,但应当理解的是,这些例子仅仅说明了该技术的原理和应用。在某些情况下,术语和符号可能意味着实践该技术所不需要的具体细节。例如,尽管术语“第一”和“第二”可以使用,除非另有规定,它们不意在指示任何顺序,但可以用来区分不同的元素。此外,尽管方法中的过程步骤可以按顺序描述或说明,但不需要排序。本领域的技术人员将认识到,这种顺序可以被修改和/或其方面可以同时或甚至同步地进行。
因此,应当理解的是,可以对说明性实例进行许多修改,并且可以在不脱离技术的精神和范围的情况下设计其他布置。
Claims (57)
1.一种处理器可读介质,具有存储在其上的处理器可执行指令,当由处理器执行时,所述处理器可执行指令使所述处理器检测用户的生理运动,所述处理器可执行指令包含:
用于控制通过耦合到电子处理设备的扬声器产生包括用户的附近的声音信号的指令;
用于控制通过耦合到所述电子处理设备的麦克风感测从所述用户反射的声音信号的指令;
用于处理所感测的声音信号的指令;和
用于从所处理的声音信号中检测呼吸信号的指令,
其中,所述声音信号包含连续波(CW)信号。
2.根据权利要求1所述的处理器可读介质,其中,所述声音信号处于听不见的声音范围内。
3.根据权利要求1所述的处理器可读介质,其中,用于控制产生的指令包含用于在产生之前使用连续波CW调制方案调制所述声音信号的指令。
4.根据权利要求1至3中任一项所述的处理器可读介质,其中,用于控制产生的指令包含用于在产生之前使用自适应连续波CW调制方案调制所述声音信号的指令。
5.根据权利要求1至3中任一项所述的处理器可读介质,其中,所述处理器可读介质包含用于控制自适应连续波方案的指令。
6.根据权利要求5所述的处理器可读介质,其中,所述用于控制自适应连续波方案的指令包含用于控制扫描不可听频率以迭代地搜索呼吸信号的频率的指令。
7.根据权利要求6所述的处理器可读介质,其中,所述扫描考虑频率内容和时域形态地搜索最佳可用呼吸信号。
8.根据权利要求1至3中任一项所述的处理器可读介质,其中,所述处理器可执行指令包含用于通过连续波零差技术产生和感测音频的信号处理指令。
9.根据权利要求1至3中任一项所述的处理器可读介质,其中,所述处理器可执行指令包含用于对所感测的信号样本执行高频自动增益控制以平滑与呼吸运动无关的幅度调制的指令。
10.根据权利要求1至3中任一项所述的处理器可读介质,其中,用于处理从所述用户反射的所感测的声音信号的指令包含解调器,以产生包含所述呼吸信号的一个或多个基带运动信号。
11.根据权利要求10所述的处理器可读介质,其中,所述解调器产生多个基带运动信号,所述多个基带运动信号包含正交基带运动信号。
12.根据权利要求11所述的处理器可读介质,还包含用于处理所述多个基带运动信号的指令,处理所述多个基带运动信号的所述指令包含中频处理模块和优化处理模块,以从所述多个基带运动信号产生组合的基带运动信号,所述组合的基带运动信号包含呼吸信号。
13.如权利要求12所述的处理器可读介质,其中,用于检测所述呼吸信号的指令包含根据所述组合的基带运动信号确定呼吸速率。
14.根据权利要求1至3中任一项所述的处理器可读介质,其中,用于控制感测从所述用户反射的声音信号的指令包含存储从所述麦克风采样的声音数据。
15.根据权利要求1至3中任一项所述的处理器可读介质,其中,所述处理器可执行指令还包含:
用于通过评估所述电子处理设备的一个或多个特征来校准基于声音的身体运动检测的指令;和
用于基于所述评估生成所述声音信号的指令。
16.根据权利要求15所述的处理器可读介质,其中,用于校准基于声音的检测的指令确定至少一个硬件、环境或用户特定的特性。
17.根据权利要求1至3中任一项所述的处理器可读介质,其中,所述处理器可执行指令还包含:
用于操作宠物设置模式的指令,其中基于用户输入选择产生所述声音信号的频率并产生一个或多个测试声音信号。
18.根据权利要求1至3中任一项所述的处理器可读介质,其中,所述处理器可执行指令还包含以下指令:
用于基于检测到的与所述电子处理设备的用户交互来停止产生所述声音信号,所述检测到的用户交互包含以下中的任何一个或多个:检测所述电子处理设备与加速度计的运动、检测按下按键、检测触摸屏幕、检测来电。
19.根据权利要求1至3中任一项所述的处理器可读介质,其中,所述处理器可执行指令还包含以下指令:
用于基于检测到不存在用户与所述电子处理设备的交互来开始产生所述声音信号。
20.根据权利要求1至3中任一项所述的处理器可读介质,其中,所述处理器可执行指令还包含以下指令:
用于基于从所述用户反射的所感测的声音信号的处理来检测大幅度身体运动。
21.根据权利要求1至3中任一项所述的处理器可读介质,其中,所述处理器可执行指令还包含以下指令:
用于处理通过所述麦克风感测的音频信号以评估环境声音、语音和呼吸声中的任何一个或多个以检测用户运动。
22.根据权利要求1至3中任一项所述的处理器可读介质,其中,所述处理器可执行指令还包含以下指令:
用于处理呼吸信号以确定以下中的任何一个或多个:(a)指示睡眠的睡眠状态;(b)指示清醒的睡眠状态;(c)指示深度睡眠的睡眠阶段;(d)指示轻度睡眠的睡眠阶段;(e)指示REM睡眠的睡眠阶段。
23.根据权利要求1至3中任一项所述的处理器可读介质,其中,所述处理器可执行指令还包含以下指令:
用于操作设置模式以检测所述电子处理设备附近的声音频率并选择与检测到的声音频率不同的声音信号的频率范围。
24.根据权利要求23所述的处理器可读介质,其中,用于操作所述设置模式的指令选择与所述检测到的声音频率不重叠的频率范围。
25.一种服务器,能够访问根据权利要求1至3中任一项所述的处理器可读介质,其中,所述服务器被配置为接收用于通过网络将所述处理器可读介质的所述处理器可执行指令下载到电子处理设备的请求。
26.一种移动电子设备,包含:一个或多个处理器;耦合到所述一个或多个处理器的扬声器;麦克风,耦合到所述一个或多个处理器;以及根据权利要求1至3中任一项所述的处理器可读介质。
27.一种服务器的方法,其能够访问权利要求1至24中任一项所述的处理器可读介质,所述方法包含:在所述服务器处接收用于通过网络将所述处理器可读介质的所述处理器可执行指令下载到电子处理设备的请求;并且响应于所述请求将处理器可执行指令发送到所述电子处理设备。
28.一种用于使用移动电子设备检测身体运动的处理器的方法,包含:
用处理器访问权利要求1至3中任一项的所述处理器可读介质,
在所述处理器中执行所述处理器可读介质的所述处理器可执行指令。
29.一种用于使用移动电子设备检测身体运动的处理器的方法,包含:
控制通过耦合到所述移动电子设备的扬声器产生包括用户的附近的声音信号;
控制通过耦合到所述移动电子设备的麦克风感测从所述用户反射的声音信号;
处理所感测的反射声音信号;和
从经处理的反射声音信号中检测运动信号,
其中,所述声音信号包含连续波(CW)信号。
30.一种使用移动电子设备检测运动和呼吸的方法,包含:
通过所述移动电子设备上的扬声器向用户发送声音信号;
通过所述移动电子设备上的麦克风感测从所述用户反射的声音信号;和
从所述反射的声音信号中检测呼吸和运动信号,
其中,所述声音信号包含连续波(CW)信号。
31.根据权利要求30所述的方法,其中,所述声音信号是听不见的声音信号。
32.根据权利要求30所述的方法,在发送之前,使用连续波(CW)调制方案和自适应连续波(ACW)调制方案中的一者调制所述声音信号。
33.根据权利要求30所述的方法,还包含:
在感测所述反射的声音信号时,解调所述反射的声音信号,其中解调包含:
对所述反射的声音信号执行滤波操作;和
使经滤波的所述反射的声音信号与发送的声音信号的定时同步。
34.根据权利要求30至33中任一项所述的方法,其中,产生所述声音信号包含:
执行校准功能以评估所述移动电子设备的一个或多个特性;和
基于所述校准功能生成声音信号。
35.根据权利要求34所述的方法,其中,所述校准功能被配置为确定至少一个硬件、环境或用户特定特征。
36.一种处理器可读介质,具有存储在其上的处理器可执行指令,当由处理器执行时,所述处理器可执行指令使所述处理器检测用户的生理运动,所述处理器可执行指令包含:
用于控制通过耦合到电子处理设备的扬声器产生包括用户的附近的声音信号的指令;
用于控制通过耦合到所述电子处理设备的麦克风感测从所述用户反射的声音信号的指令;
用于处理所感测的声音信号的指令;和
用于从所处理的声音信号中检测呼吸信号的指令,
其中,所述声音信号包含形成脉冲的音调对。
37.根据权利要求36所述的处理器可读介质,其中,所述声音信号处于听不见的声音范围内。
38.根据权利要求36至37中任一项所述的处理器可读介质,其中,所述声音信号包含帧序列,每个帧包含一系列音调对,每个音调对与所述帧内的相应时隙相关联。
39.根据权利要求38所述的处理器可读介质,其中,音调对包含第一频率和第二频率,其中所述第一频率与所述第二频率不同。
40.根据权利要求39所述的处理器可读介质,其中,所述第一频率和所述第二频率彼此正交。
41.根据权利要求38所述的处理器可读介质,其中,帧中的所述一系列音调对包含第一音调对和第二音调对,其中所述第一音调对的频率与所述第二音调对的频率不同。
42.根据权利要求38所述的处理器可读介质,其中,所述帧的时隙的音调对在所述时隙的开始和结束处具有零幅度,并且在所述开始和结束之间具有往返峰值幅度的斜坡幅度。
43.根据权利要求38所述的处理器可读介质,其中,所述帧的时间宽度变化。
44.根据权利要求43所述的处理器可读介质,其中,所述时间宽度是所述帧的时隙的宽度。
45.根据权利要求43所述的处理器可读介质,其中,所述时间宽度是所述帧的宽度。
46.根据权利要求36到37中任一项所述的处理器可读介质,其中,所述时隙帧的一系列音调对相对于所述帧的不同时隙形成不同频率的模式。
47.根据权利要求46所述的处理器可读介质,其中,所述不同频率的模式在多个帧中重复。
48.根据权利要求46所述的处理器可读介质,其中,对于多个时隙帧中的不同时隙帧,所述不同频率的模式改变。
49.根据权利要求36至37中任一项所述的处理器可读介质,其中,用于控制产生所述声音信号的指令包含音调对帧调制器。
50.根据权利要求36至37中任一项所述的处理器可读介质,其中,用于控制感测从所述用户反射的声音信号的指令包含帧缓冲器。
51.根据权利要求38所述的处理器可读介质,其中,所述帧的相应时隙的持续时间等于1除以音调对的频率之间的差。
52.一种使用移动电子设备检测运动和呼吸的方法,包含:
通过所述移动电子设备上的扬声器向用户发送声音信号;
通过所述移动电子设备上的麦克风感测从所述用户反射的声音信号;
从所述反射的声音信号中检测呼吸和运动信号;和
在发送之前,使用FHRG调制方案、AFHRG调制方案、UWB调制方案或ACW调制方案中的一者来调制所述声音信号。
53.根据权利要求52所述的方法,其中,所述声音信号是调制的低频超声声音信号。
54.根据权利要求52至53中任一项所述的方法,还包含,在感测所述反射的声音信号时,解调所述反射的声音信号。
55.一种处理器可读介质,具有存储在其上的处理器可执行指令,当由处理器执行时,所述处理器可执行指令使所述处理器检测用户的生理运动,所述处理器可执行指令包含:
用于控制通过耦合到电子处理设备的扬声器产生包括用户的附近的声音信号的指令;
用于控制通过耦合到所述电子处理设备的麦克风感测从所述用户反射的声音信号的指令;
用于处理所感测的声音信号的指令;和
用于从所处理的声音信号中检测呼吸信号的指令,
用于在产生之前使用FHRG调制方案、AFHRG调制方案、UWB调制方案或ACW调制方案中的一者来调制所述声音信号的指令。
56.根据权利要求55所述的处理器可读介质,其中,所述声音信号是调制的低频超声声音信号。
57.根据权利要求55至56中任一项所述的处理器可读介质,其中,所述用于处理所感测的声音信号的指令包含用于解调所述反射的声音信号的指令。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662396616P | 2016-09-19 | 2016-09-19 | |
US62/396,616 | 2016-09-19 | ||
PCT/EP2017/073613 WO2018050913A1 (en) | 2016-09-19 | 2017-09-19 | Apparatus, system, and method for detecting physiological movement from audio and multimodal signals |
CN201780069218.4A CN109952058B (zh) | 2016-09-19 | 2017-09-19 | 用于从音频和多模态信号中检测生理运动的装置、系统及方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780069218.4A Division CN109952058B (zh) | 2016-09-19 | 2017-09-19 | 用于从音频和多模态信号中检测生理运动的装置、系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116035528A true CN116035528A (zh) | 2023-05-02 |
Family
ID=60037551
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780069218.4A Active CN109952058B (zh) | 2016-09-19 | 2017-09-19 | 用于从音频和多模态信号中检测生理运动的装置、系统及方法 |
CN202310021127.0A Pending CN116035528A (zh) | 2016-09-19 | 2017-09-19 | 用于从音频和多模态信号中检测生理运动的装置、系统及方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780069218.4A Active CN109952058B (zh) | 2016-09-19 | 2017-09-19 | 用于从音频和多模态信号中检测生理运动的装置、系统及方法 |
Country Status (6)
Country | Link |
---|---|
US (2) | US20210275056A1 (zh) |
EP (2) | EP3515290B1 (zh) |
JP (2) | JP7110183B2 (zh) |
KR (2) | KR102417095B1 (zh) |
CN (2) | CN109952058B (zh) |
WO (1) | WO2018050913A1 (zh) |
Families Citing this family (131)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL250253B (en) | 2017-01-24 | 2021-10-31 | Arbe Robotics Ltd | A method for separating targets and echoes from noise, in radar signals |
IL255982A (en) | 2017-11-29 | 2018-01-31 | Arbe Robotics Ltd | Detection, mitigation and prevention of mutual interference between fixed water radars in vehicles |
WO2019122414A1 (en) | 2017-12-22 | 2019-06-27 | Resmed Sensor Technologies Limited | Apparatus, system, and method for physiological sensing in vehicles |
WO2019122413A1 (en) | 2017-12-22 | 2019-06-27 | Resmed Sensor Technologies Limited | Apparatus, system, and method for motion sensing |
WO2019145923A2 (en) * | 2018-01-29 | 2019-08-01 | Wilfred Edwin Booij | Ad hoc positioning of mobile devices using near ultrasound signals |
CN108469611B (zh) * | 2018-03-29 | 2021-08-10 | 电子科技大学 | 基于身份识别的fmcw雷达测距系统基带信号处理方法 |
IL259190A (en) | 2018-05-07 | 2018-06-28 | Arbe Robotics Ltd | System and method for frequency hopping MIMO FMCW imaging radar |
EP3796836A4 (en) * | 2018-05-23 | 2022-02-23 | University of Washington | RESPIRATORY FAILURE DETECTION SYSTEMS AND RELATED METHODS |
EP3798685B1 (en) * | 2018-06-05 | 2021-11-10 | Google LLC | Systems and methods of ultrasonic sensing in smart devices |
IL260695A (en) | 2018-07-19 | 2019-01-31 | Arbe Robotics Ltd | Method and device for eliminating waiting times in a radar system |
IL260694A (en) | 2018-07-19 | 2019-01-31 | Arbe Robotics Ltd | Method and device for two-stage signal processing in a radar system |
IL260696A (en) | 2018-07-19 | 2019-01-31 | Arbe Robotics Ltd | Method and device for structured self-testing of radio frequencies in a radar system |
WO2020072116A2 (en) * | 2018-07-20 | 2020-04-09 | Nuance Communications, Inc. | System and method for acoustic detection of emergency sirens |
IL261636A (en) | 2018-09-05 | 2018-10-31 | Arbe Robotics Ltd | Deflected MIMO antenna array for vehicle imaging radars |
US20220007965A1 (en) | 2018-11-19 | 2022-01-13 | Resmed Sensor Technologies Limited | Methods and apparatus for detection of disordered breathing |
JP7317448B2 (ja) * | 2018-12-18 | 2023-07-31 | 三星電子株式会社 | 生体情報検出装置 |
EP3923784A4 (en) * | 2019-02-12 | 2022-12-14 | UDP Labs, Inc. | SYSTEMS AND METHODS FOR GENERATION OF SYNTHETIC CARDIO-RESPIRATORY SIGNALS |
US11585913B2 (en) * | 2019-03-07 | 2023-02-21 | Logistics And Supply Chain Multi Tech R&D Centre Limited | Ultra-wideband-based system and method for detecting properties associated with a movable object in an environment |
US20220196832A1 (en) * | 2019-04-16 | 2022-06-23 | University Of Washington | Systems and methods for contactless motion tracking |
US11134900B2 (en) * | 2019-07-23 | 2021-10-05 | KMZ Holdings LLC | System and method for diagnostic analysis of human body systems, organs, and cells |
EP3769689A1 (en) * | 2019-07-26 | 2021-01-27 | Tata Consultancy Services Limited | Method and system for non-contact bio-signal detection using ultrasound signals |
WO2021041987A1 (en) | 2019-08-30 | 2021-03-04 | Resmed Corp. | Systems and methods for adjusting user position using multi-compartment bladders |
EP4027879A1 (en) | 2019-09-13 | 2022-07-20 | ResMed Sensor Technologies Limited | Systems and methods for detecting movement |
CN114727763A (zh) | 2019-09-13 | 2022-07-08 | 瑞思迈传感器技术有限公司 | 用于连续护理的系统和方法 |
US20220406420A1 (en) | 2019-09-30 | 2022-12-22 | Resmed Sensor Technologies Limited | Systems and methods for predicting adoption of a therapy |
US20220339383A1 (en) * | 2019-09-30 | 2022-10-27 | ResMed Pty Ltd | Acoustic analysis of a respiratory therapy system |
WO2021064557A1 (en) | 2019-09-30 | 2021-04-08 | Resmed Sensor Technologies Limited | Systems and methods for adjusting electronic devices |
KR102459135B1 (ko) * | 2019-09-30 | 2022-10-26 | 주식회사 원키 | 음파 통신을 활용한 차량 개폐 시스템에서 Chirp 신호를 이용해 음파 도달 시간을 보다 정확히 측정하고 거리를 측위하는 방법 |
US11690563B2 (en) | 2019-10-28 | 2023-07-04 | Arizona Board Of Regents On Behalf Of Arizona State University | Methods and systems for remote sleep monitoring |
EP4051351A1 (en) | 2019-10-31 | 2022-09-07 | ResMed Sensor Technologies Limited | Systems and methods for injecting substances into a respiratory system |
EP4051352B1 (en) | 2019-10-31 | 2023-08-30 | ResMed Sensor Technologies Limited | Systems for smart humidification |
EP4051093A1 (en) | 2019-10-31 | 2022-09-07 | ResMed Pty Ltd | Systems and methods for active noise cancellation |
US11577036B2 (en) | 2019-10-31 | 2023-02-14 | Resmed Sensor Technologies Limited | Systems and methods for insomnia screening and management |
EP4052067A4 (en) * | 2019-11-01 | 2022-12-21 | Arizona Board of Regents on behalf of Arizona State University | REMOTE RECOVERY OF ACOUSTIC SIGNALS FROM PASSIVE SOURCES |
CN111182415B (zh) * | 2019-11-14 | 2021-06-25 | 广东小天才科技有限公司 | 一种音箱控制方法及智能音箱、存储介质 |
CN112882016B (zh) * | 2019-11-29 | 2023-09-26 | 南京理工大学 | 基于改进的稳健自适应波束形成的多人生命体征检测方法 |
US11550049B2 (en) * | 2019-11-29 | 2023-01-10 | Tata Consultancy Services Limited | Method and system for unobtrusive liveliness detection and monitoring using DFR in an IOT network |
EP4065057B1 (en) | 2019-11-30 | 2023-12-27 | ResMed Sensor Technologies Limited | Systems and methods for adjusting user position using multi-compartment bladders |
IL271269A (en) | 2019-12-09 | 2021-06-30 | Arbe Robotics Ltd | Radom for a planar antenna for car radar |
US11875659B2 (en) | 2019-12-12 | 2024-01-16 | Google Llc | Privacy-preserving radar-based fall monitoring |
WO2021118602A1 (en) * | 2019-12-13 | 2021-06-17 | Google Llc | Heart beat measurements using a mobile device |
WO2021130681A1 (en) | 2019-12-26 | 2021-07-01 | Resmed Sensor Technologies Limited | Systems and methods for generating reminders to use respiratory therapy systems |
EP4084673A1 (en) | 2019-12-31 | 2022-11-09 | ResMed Sensor Technologies Limited | Systems and methods for determining a sleep time |
CN111616716B (zh) * | 2020-01-09 | 2023-10-20 | 成都维客昕微电子有限公司 | 一种基于多波长光源联合的步频测量装置及方法 |
WO2021152484A1 (en) | 2020-01-31 | 2021-08-05 | Resmed Sensor Technologies Limited | Systems and methods for requesting consent for data |
JP2023513887A (ja) | 2020-01-31 | 2023-04-04 | レズメド センサー テクノロジーズ リミテッド | 不眠症関連症状を軽減するためのシステムおよび方法 |
CN115334959A (zh) | 2020-01-31 | 2022-11-11 | 瑞思迈传感器技术有限公司 | 用于呼吸暂停-低通气指数计算的睡眠状态检测 |
JP2023513889A (ja) | 2020-01-31 | 2023-04-04 | レズメド センサー テクノロジーズ リミテッド | 口漏れを検出するためのシステムおよび方法 |
US20220026569A1 (en) * | 2020-02-24 | 2022-01-27 | Jens Nicolai Plesner | Smartphone-, tablet- or laptop-based motion detection system using Doppler Effect and audio processing |
EP4111462A2 (en) | 2020-02-26 | 2023-01-04 | ResMed Sensor Technologies Limited | Method and apparatus for edema detection |
WO2021171266A1 (en) | 2020-02-27 | 2021-09-02 | Resmed Sensor Technologies Limited | Systems and methods for predicting alertness |
CN115605133A (zh) | 2020-03-05 | 2023-01-13 | 瑞思迈传感器技术有限公司(Ie) | 用于增加个体睡意的系统和方法 |
US11793425B1 (en) * | 2020-03-05 | 2023-10-24 | Amazon Technologies, Inc. | Phase disambiguation for radar-based breathing measurements |
US11724051B2 (en) | 2020-03-06 | 2023-08-15 | Resmed Sensor Technologies Limited | Systems and methods for detecting an intentional leak characteristic curve for a respiratory therapy system |
EP4126150A1 (en) | 2020-03-28 | 2023-02-08 | ResMed Sensor Technologies Limited | User interface with integrated sensor |
WO2021198941A1 (en) | 2020-03-31 | 2021-10-07 | Resmed Sensor Technologies Limited | System and method for mapping an airway obstruction |
US20230240595A1 (en) | 2020-03-31 | 2023-08-03 | Resmed Sensor Technologies Limited | Systems and methods for detecting rem behavior disorder |
EP4125560A1 (en) | 2020-03-31 | 2023-02-08 | ResMed Sensor Technologies Limited | Systems and methods for determining movement of a conduit |
KR20230053547A (ko) | 2020-04-20 | 2023-04-21 | 레즈메드 아시아 피티이. 엘티디. | 수면-관련 파라미터 분석을 위한 시스템 및 방법 |
JP2023525692A (ja) | 2020-04-30 | 2023-06-19 | レズメド センサー テクノロジーズ リミテッド | 覚醒サービス |
AU2021265344A1 (en) | 2020-04-30 | 2022-12-08 | Resmed Sensor Technologies Limited | Systems and methods for promoting a sleep stage of a user |
US20230172486A1 (en) | 2020-04-30 | 2023-06-08 | Resmed Sensor Technologies Limited | Systems and methods for analyzing physical features of an individual |
WO2021234037A1 (en) | 2020-05-19 | 2021-11-25 | Resmed Sensor Technologies Limited | Methods and apparatus for detection and monitoring of health parameters |
JP2023527717A (ja) | 2020-05-28 | 2023-06-30 | レズメド センサー テクノロジーズ リミテッド | ユーザ活動を監視するためのシステムおよび方法 |
KR20230019452A (ko) | 2020-05-29 | 2023-02-08 | 레스메드 센서 테크놀로지스 리미티드 | 마스크 누출을 예측하기 위한 시스템 및 방법 |
WO2021243293A1 (en) | 2020-05-29 | 2021-12-02 | Resmed Sensor Technologies Limited | Systems and methods for locating user interface leak |
US20210369232A1 (en) * | 2020-05-29 | 2021-12-02 | University Of Pittsburgh-Of The Commonwealth System Of Higher Education | Systems and methods for evaluating respiratory function using a smartphone |
US11878118B2 (en) | 2020-06-05 | 2024-01-23 | Resmed Sensor Technologies Limited | Systems and methods for identifying a user interface |
WO2021250573A1 (en) | 2020-06-08 | 2021-12-16 | Resmed Sensor Technologies Limited | Acoustic detection of water level in humidifier |
MX2022015537A (es) | 2020-06-08 | 2023-04-27 | Resmed Sensor Tech Ltd | Sistemas y metodos para categorizar y/o caracterizar una interfaz de usuario. |
WO2021260656A1 (en) | 2020-06-26 | 2021-12-30 | Resmed Sensor Technologies Limited | Systems and methods for communicating an indication of a sleep-related event to a user |
EP4171358A1 (en) | 2020-06-30 | 2023-05-03 | ResMed Sensor Technologies Limited | Systems and methods for generating custom messages to encourage a behavioral response |
US20230270350A1 (en) | 2020-07-30 | 2023-08-31 | Resmed Inc | Systems and methods for determining a health condition on a device local to a respiratory system user |
CN116249481A (zh) | 2020-07-31 | 2023-06-09 | 瑞思迈传感器技术有限公司 | 用于确定呼吸治疗期间的运动的系统和方法 |
US11754676B2 (en) | 2020-08-11 | 2023-09-12 | Google Llc | Precision sleep tracking using a contactless sleep tracking device |
US11808839B2 (en) | 2020-08-11 | 2023-11-07 | Google Llc | Initializing sleep tracking on a contactless health tracking device |
US11832961B2 (en) | 2020-08-11 | 2023-12-05 | Google Llc | Contactless sleep detection and disturbance attribution |
US11406281B2 (en) | 2020-08-11 | 2022-08-09 | Google Llc | Contactless cough detection and attribution |
CN114098794A (zh) * | 2020-08-28 | 2022-03-01 | 华为技术有限公司 | 人体健康状况的检测方法及装置 |
CN116114026A (zh) | 2020-08-31 | 2023-05-12 | 瑞思迈私人有限公司 | 用于确定用于用户的建议的治疗的系统和方法 |
AU2021331633A1 (en) | 2020-08-31 | 2023-03-09 | Resmed Sensor Technologies Limited | Systems and methods for pre-symptomatic disease detection |
AU2021334396A1 (en) | 2020-08-31 | 2023-03-30 | ResMed Pty Ltd | Systems and methods for determining a mask recommendation |
CN116456901A (zh) | 2020-09-18 | 2023-07-18 | 瑞思迈传感器技术有限公司 | 用于帮助呼吸治疗系统用户的系统和方法 |
JP2023544119A (ja) | 2020-09-18 | 2023-10-20 | レズメド センサー テクノロジーズ リミテッド | 併存疾患を監視するシステム及び方法 |
WO2022067077A1 (en) * | 2020-09-24 | 2022-03-31 | University Of Washington | Beamforming systems and methods for detecting heart beats |
WO2022064449A2 (en) | 2020-09-25 | 2022-03-31 | Resmed Sensor Technologies Limited | Systems and methods for diagnosing operational issues in a respiratory system |
US20230405250A1 (en) | 2020-09-29 | 2023-12-21 | Resmed Sensor Technologies Limited | Systems and methods for determining usage of a respiratory therapy system |
US20230377738A1 (en) | 2020-10-09 | 2023-11-23 | Resmed Sensor Technologies Limited | Automatic user interface identification |
CN116600751A (zh) | 2020-10-09 | 2023-08-15 | 瑞思迈传感器技术有限公司 | 自动口腔矫治器调整 |
CN112466274B (zh) * | 2020-10-29 | 2024-02-27 | 中科上声(苏州)电子有限公司 | 一种电动汽车的车内主动发声方法及系统 |
EP4237793A1 (en) | 2020-10-30 | 2023-09-06 | ResMed Sensor Technologies Limited | Systems and methods for determining a length and/or a diameter of a conduit |
JP2023547497A (ja) | 2020-10-30 | 2023-11-10 | レズメド センサー テクノロジーズ リミテッド | 治療中の睡眠性能スコアリング |
CN112558031A (zh) * | 2020-11-17 | 2021-03-26 | 北京木牛领航科技有限公司 | 一种生命运动及体征监测方法、系统及存储介质 |
US20230420124A1 (en) | 2020-11-20 | 2023-12-28 | Resmed Sensor Technologies Limited | Systems and methods for monitoring a comfort level of an individual |
JP2023551012A (ja) | 2020-11-27 | 2023-12-06 | レズメド ピーティーワイ リミテッド | 呼吸治療中にユーザの体位を識別するためのシステムおよび方法 |
WO2022115701A1 (en) | 2020-11-30 | 2022-06-02 | Matrixcare, Inc. | Method and system for detecting mood |
EP4256372A1 (en) * | 2020-12-01 | 2023-10-11 | Shure Acquisition Holdings, Inc. | Acoustic distance ranging system |
US20240062872A1 (en) | 2020-12-18 | 2024-02-22 | Resmed Sensor Technologies Limited | Cohort sleep performance evaluation |
US20240066249A1 (en) | 2020-12-23 | 2024-02-29 | Resmed Sensor Technologies Limited | Systems and methods for detecting occlusions in headgear conduits during respiratory therapy |
US20240033459A1 (en) | 2020-12-23 | 2024-02-01 | Resmed Sensor Technologies Limited | Systems and methods for detecting rainout in a respiratory therapy system |
JP2024505098A (ja) | 2021-01-29 | 2024-02-02 | レズメド センサー テクノロジーズ リミテッド | 主観的快適度レベルを推定するためのシステムおよび方法 |
US20240075225A1 (en) | 2021-01-29 | 2024-03-07 | Resmed Sensor Technologies Limited | Systems and methods for leak detection in a respiratory therapy system |
EP4298638A1 (en) | 2021-02-26 | 2024-01-03 | ResMed Inc. | System and method for continuous adjustment of personalized mask shape |
WO2022185025A1 (en) * | 2021-03-01 | 2022-09-09 | Snorelab Limited | Motion tracking using pure tones |
WO2022208368A1 (en) | 2021-03-31 | 2022-10-06 | Resmed Sensor Technologies Limited | Systems and methods for managing blood pressure conditions of a user of a respiratory therapy system |
WO2022219481A1 (en) | 2021-04-16 | 2022-10-20 | Resmed Sensor Technologies Limited | Systems and methods for characterizing a user interface or a vent using acoustic data associated with the vent |
EP4329848A1 (en) | 2021-04-29 | 2024-03-06 | ResMed Sensor Technologies Limited | Systems and methods for modifying pressure settings of a respiratory therapy system |
EP4088651A1 (en) | 2021-05-12 | 2022-11-16 | Ectosense NV | Method for detecting sleep disordering events |
CN113368365A (zh) * | 2021-05-21 | 2021-09-10 | 苏州声动医疗科技有限公司 | 脑功能监测的声音振动调控设备、方法、头枕及头戴设备 |
EP4346556A1 (en) | 2021-05-24 | 2024-04-10 | ResMed Sensor Technologies Limited | Systems and methods for determining a sleep stage of an individual |
WO2023275812A1 (en) | 2021-06-30 | 2023-01-05 | Resmed Sensor Technologies Limited | Systems and methods for characterizing a conduit in a respiratory therapy system |
US11489599B1 (en) * | 2021-07-01 | 2022-11-01 | Rohde & Schwarz Gmbh & Co. Kg | Wideband frequency response characterization with a narrowband source or receiver |
WO2023031737A1 (en) | 2021-08-30 | 2023-03-09 | Resmed Sensor Technologies Limited | Biofeedback cognitive behavioral therapy for insomnia |
WO2023031802A1 (en) | 2021-08-30 | 2023-03-09 | Resmed Sensor Technologies Limited | Intelligent respiratory entrainment |
WO2023084366A1 (en) | 2021-11-10 | 2023-05-19 | Resmed Sensor Technologies Limited | Enhanced wearable sensing |
CN114159024B (zh) * | 2021-11-17 | 2023-10-31 | 青岛海信日立空调系统有限公司 | 一种睡眠分期方法及装置 |
WO2023126840A1 (en) | 2021-12-30 | 2023-07-06 | Resmed Sensor Technologies Limited | Systems and methods for monitoring the use of a respiratory therapy system by an individual with diabetes |
WO2023187686A1 (en) | 2022-03-30 | 2023-10-05 | ResMed Pty Ltd | Systems and methods for determining a positional sleep disordered breathing status |
WO2023192481A1 (en) | 2022-03-31 | 2023-10-05 | Resmed Inc. | Methods and systems for an overall health score |
WO2024020231A1 (en) | 2022-07-22 | 2024-01-25 | Resmed Digital Health Inc. | Systems and methods for selectively adjusting the sleeping position of a user |
WO2024020106A1 (en) | 2022-07-22 | 2024-01-25 | ResMed Pty Ltd | Systems and methods for determining sleep scores based on images |
WO2024023743A1 (en) | 2022-07-28 | 2024-02-01 | Resmed Sensor Technologies Limited | Systems for detecting a leak in a respiratory therapy system |
WO2024039569A1 (en) | 2022-08-17 | 2024-02-22 | Resmed Digital Health Inc. | Systems and methods for determining a risk factor for a condition |
WO2024039752A1 (en) | 2022-08-19 | 2024-02-22 | Resmed Digital Health Inc. | Systems and methods for determining matches based on sleep information |
WO2024039774A1 (en) | 2022-08-19 | 2024-02-22 | Resmed Digital Health Inc. | Systems and methods for collaborative sleep therapy usage |
WO2024039751A1 (en) | 2022-08-19 | 2024-02-22 | Resmed Digital Health Inc. | Systems and methods for providing a sleep therapy community |
WO2024039890A1 (en) | 2022-08-19 | 2024-02-22 | Resmed Digital Health Inc. | Systems and methods for determining a user interface type |
WO2024039742A1 (en) | 2022-08-19 | 2024-02-22 | Resmed Digital Health Inc. | Systems and methods for presenting dynamic avatars |
WO2024049704A1 (en) | 2022-08-30 | 2024-03-07 | Resmed Digital Health Inc. | Systems and methods for pulmonary function testing on respiratory therapy devices |
WO2024069436A1 (en) | 2022-09-27 | 2024-04-04 | Resmed Sensor Technologies Limited | Systems and methods for analyzing sounds made by an individual during a sleep session |
WO2024069500A1 (en) | 2022-09-29 | 2024-04-04 | Resmed Sensor Technologies Limited | Systems and methods for cardiogenic oscillation detection |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03162837A (ja) * | 1989-11-22 | 1991-07-12 | Yokogawa Medical Syst Ltd | 医用超音波装置 |
EP0525858A2 (en) * | 1991-07-17 | 1993-02-03 | Koninklijke Philips Electronics N.V. | Method and device for determining variations in the position of a movable object by means of ultrasound |
JP3367462B2 (ja) * | 1999-04-20 | 2003-01-14 | 日本電気株式会社 | アクティブソーナー及びその目標検出方法 |
JP3680635B2 (ja) * | 1999-06-08 | 2005-08-10 | 富士電機システムズ株式会社 | 超音波センサ、超音波センシング装置および超音波流量計 |
WO2003016940A2 (en) * | 2001-08-14 | 2003-02-27 | Scientific Generics Limited | Tag tracking |
US6932769B2 (en) * | 2003-05-28 | 2005-08-23 | Delphi Technologies, Inc. | Ultrasonic occupant detection and classification system |
US20090048500A1 (en) * | 2005-04-20 | 2009-02-19 | Respimetrix, Inc. | Method for using a non-invasive cardiac and respiratory monitoring system |
JP2008000222A (ja) * | 2006-06-20 | 2008-01-10 | Sanei:Kk | 安眠支援システム、安眠支援プログラムおよびその記録媒体 |
US8100832B2 (en) * | 2007-04-27 | 2012-01-24 | Hitachi Aloka Medical, Ltd. | Ultrasound diagnostic apparatus |
CN100488453C (zh) * | 2007-05-10 | 2009-05-20 | 浙江大学 | 基于射频识别的非接触式生物特征识别系统 |
US7773205B2 (en) * | 2007-06-06 | 2010-08-10 | California Institute Of Technology | High-resolution three-dimensional imaging radar |
JP5260897B2 (ja) * | 2007-06-22 | 2013-08-14 | 日立アロカメディカル株式会社 | 超音波診断装置 |
CN102046076A (zh) * | 2008-04-03 | 2011-05-04 | Kai医药公司 | 非接触式生理运动传感器及其使用方法 |
JP4609527B2 (ja) * | 2008-06-03 | 2011-01-12 | 株式会社デンソー | 自動車用情報提供システム |
TWI503101B (zh) * | 2008-12-15 | 2015-10-11 | Proteus Digital Health Inc | 與身體有關的接收器及其方法 |
US20100208631A1 (en) * | 2009-02-17 | 2010-08-19 | The Regents Of The University Of California | Inaudible methods, apparatus and systems for jointly transmitting and processing, analog-digital information |
US9101299B2 (en) * | 2009-07-23 | 2015-08-11 | Dean Robert Gary Anderson As Trustee Of The D/L Anderson Family Trust | Hearing aids configured for directional acoustic fitting |
CN101621279B (zh) * | 2009-08-12 | 2012-07-18 | 中兴通讯股份有限公司 | 数字下变频、滤波抽取的方法和装置 |
JP5744745B2 (ja) * | 2010-06-04 | 2015-07-08 | パナソニック株式会社 | 聴覚測定装置及びその方法 |
JP5612984B2 (ja) * | 2010-09-28 | 2014-10-22 | 日立アロカメディカル株式会社 | 超音波診断装置 |
US8653818B2 (en) * | 2011-04-08 | 2014-02-18 | Siemens Aktiengesellschaft | Parallel transmission RF pulse design with local SAR constraints |
WO2012142031A1 (en) * | 2011-04-12 | 2012-10-18 | Brigham And Women's Hospital, Inc. | System and method for motion tracking using unique ultrasound echo signatures |
CN102650526B (zh) * | 2012-04-25 | 2014-10-29 | 北京航空航天大学 | 一种基于相位比较调频连续波光纤陀螺的开环检测电路 |
JP6404819B2 (ja) | 2012-09-19 | 2018-10-17 | レスメッド センサー テクノロジーズ リミテッド | 睡眠段階を決定するシステム及び方法 |
CN102988051B (zh) * | 2012-12-13 | 2014-07-02 | 中国人民解放军第四军医大学 | 用于计算机操作者健康的监测装置 |
JP2016517313A (ja) * | 2013-03-14 | 2016-06-16 | ミルザ, エム., ズバイルMIRZA, M., Zubair | インターネットを利用した疾病モニタリングシステム(idms) |
EP4133997A1 (en) | 2013-07-08 | 2023-02-15 | ResMed Sensor Technologies Limited | A method carried out by a processor and system for sleep management |
EP4101489A1 (en) | 2013-10-30 | 2022-12-14 | ResMed Pty Ltd | Control for pressure of a patient interface |
JP6600837B2 (ja) * | 2014-08-20 | 2019-11-06 | 株式会社北電子 | 睡眠情報表示制御プログラム |
US10638972B2 (en) * | 2014-12-08 | 2020-05-05 | University Of Washington | Systems and methods of identifying motion of a subject |
CN104644143A (zh) * | 2015-03-09 | 2015-05-27 | 耿希华 | 一种非接触式生命体征监护系统 |
NZ734910A (en) | 2015-03-13 | 2022-04-29 | ResMed Pty Ltd | Respiratory therapy apparatus and method |
US9936508B2 (en) * | 2015-03-13 | 2018-04-03 | Qualcomm Incorporated | Mechanisms for association request signaling between IoE devices |
-
2017
- 2017-09-19 WO PCT/EP2017/073613 patent/WO2018050913A1/en unknown
- 2017-09-19 EP EP17780641.1A patent/EP3515290B1/en active Active
- 2017-09-19 US US16/332,629 patent/US20210275056A1/en active Pending
- 2017-09-19 KR KR1020197009613A patent/KR102417095B1/ko active IP Right Grant
- 2017-09-19 CN CN201780069218.4A patent/CN109952058B/zh active Active
- 2017-09-19 EP EP22189425.6A patent/EP4140398A1/en active Pending
- 2017-09-19 JP JP2019515446A patent/JP7110183B2/ja active Active
- 2017-09-19 CN CN202310021127.0A patent/CN116035528A/zh active Pending
- 2017-09-19 KR KR1020227022495A patent/KR102647218B1/ko active IP Right Grant
-
2022
- 2022-07-20 JP JP2022115208A patent/JP2022160477A/ja active Pending
- 2022-07-22 US US17/871,280 patent/US20220361768A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP7110183B2 (ja) | 2022-08-01 |
JP2022160477A (ja) | 2022-10-19 |
EP3515290A1 (en) | 2019-07-31 |
KR102647218B1 (ko) | 2024-03-12 |
EP4140398A1 (en) | 2023-03-01 |
KR102417095B1 (ko) | 2022-07-04 |
WO2018050913A1 (en) | 2018-03-22 |
CN109952058B (zh) | 2023-01-24 |
JP2020500322A (ja) | 2020-01-09 |
CN109952058A (zh) | 2019-06-28 |
KR20220098815A (ko) | 2022-07-12 |
EP3515290B1 (en) | 2023-06-21 |
KR20190046947A (ko) | 2019-05-07 |
US20210275056A1 (en) | 2021-09-09 |
US20220361768A1 (en) | 2022-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109952058B (zh) | 用于从音频和多模态信号中检测生理运动的装置、系统及方法 | |
JP7202385B2 (ja) | 健康および医療的感知のための装置、システムおよび方法 | |
US20240005768A1 (en) | Apparatus, system, and method for motion sensing | |
Wang et al. | Contactless infant monitoring using white noise | |
WO2020104465A2 (en) | Methods and apparatus for detection of disordered breathing | |
Santagati et al. | A software-defined ultrasonic networking framework for wearable devices | |
US11627405B2 (en) | Loudspeaker with transmitter | |
US11402499B1 (en) | Processing audio signals for presence detection | |
KR20110008333A (ko) | 음성 활동 감지(vad) 장치 및 잡음 억제 시스템을 함께 이용하기 위한 방법 | |
Wan et al. | RespTracker: Multi-user room-scale respiration tracking with commercial acoustic devices | |
Xie et al. | Noncontact respiration detection leveraging music and broadcast signals | |
KR102658390B1 (ko) | 건강 및 의료 감지를 위한 장치, 시스템, 및 방법 | |
KR20240053667A (ko) | 건강 및 의료 감지를 위한 장치, 시스템, 및 방법 | |
Patel | Robust breathing monitoring with acoustic sensing on smartphones in motion environments | |
CN117795573A (zh) | 用于控制射频感测的装置 | |
TW200304119A (en) | Voice activity detection (VAD) devices and methods for use with noise suppression systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |