CN111655135B - 用于车辆中的生理感测的设备、系统和方法 - Google Patents

用于车辆中的生理感测的设备、系统和方法 Download PDF

Info

Publication number
CN111655135B
CN111655135B CN201880087490.XA CN201880087490A CN111655135B CN 111655135 B CN111655135 B CN 111655135B CN 201880087490 A CN201880087490 A CN 201880087490A CN 111655135 B CN111655135 B CN 111655135B
Authority
CN
China
Prior art keywords
signal
vehicle
processor
electronic device
sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880087490.XA
Other languages
English (en)
Other versions
CN111655135A (zh
Inventor
雷德蒙·肖尔代斯
史蒂芬·麦克马洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Resmed Sensor Technologies Ltd
Original Assignee
Resmed Sensor Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Resmed Sensor Technologies Ltd filed Critical Resmed Sensor Technologies Ltd
Publication of CN111655135A publication Critical patent/CN111655135A/zh
Application granted granted Critical
Publication of CN111655135B publication Critical patent/CN111655135B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816Measuring devices for examining respiratory frequency
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1102Ballistocardiography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • A61B5/4809Sleep detection, i.e. determining whether a subject is asleep or not
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M21/02Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis for inducing sleep or relaxation, e.g. by direct nerve stimulation, hypnosis, analgesia
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60HARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00814Control systems or circuits characterised by their output, for controlling particular components of the heating, cooling or ventilating installation
    • B60H1/00821Control systems or circuits characterised by their output, for controlling particular components of the heating, cooling or ventilating installation the components being ventilating, air admitting or air distributing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0055Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements
    • G05D1/0061Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20Workers
    • A61B2503/22Motor vehicles operators, e.g. drivers, pilots, captains
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893Cars
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0083Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus especially for waking up
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/33Controlling, regulating or measuring
    • A61M2205/3375Acoustical, e.g. ultrasonic, measuring means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00Measuring parameters of the user
    • A61M2230/63Motion, e.g. physical activity
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872Driver physiology
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881Seat occupation; Driver or passenger presence
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • B60W2050/0004In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005Processor details or data handling, e.g. memory registers or chip architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052Filtering, filters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0057Frequency analysis, spectral techniques or transforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54Audio sensitive means, e.g. ultrasound
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/18Steering angle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle for navigation systems

Abstract

方法和设备通过诸如车辆处理装置的电子装置,诸如利用声音、射频和/或红外生成来提供诸如姿势、呼吸、心脏和/或总运动的生理移动检测。车辆中的电子装置可以例如是音频娱乐系统、车辆导航系统以及半自主或自主车辆操作控制系统中的任一者。装置的一个或多个处理器可以通过控制在容纳电子装置的车辆的车厢中产生感测信号来检测生理移动。处理器控制利用传感器感测来自车厢的反射信号。处理器利用感测信号和反射信号导出生理移动信号,并且基于对所导出的生理移动信号的评估来生成输出。该输出可以控制操作或向娱乐系统、导航系统和车辆操作控制系统中的任一者提供输入。

Description

用于车辆中的生理感测的设备、系统和方法
1相关申请的交叉引用
本申请要求2017年12月22日提交的美国临时专利申请第62/609,998号的权益,其全部内容通过引用并入本文。
2技术背景
2.1技术领域
本技术涉及用车载设备检测与活体对象相关联的生物运动。更具体地,本技术涉及用于车辆的感测系统,以检测生理特点,诸如生理移动,诸如呼吸运动和心脏运动,和/或检测活体对象的其他较不呈周期性的身体移动。
2.2相关技术的描述
例如在睡眠之前或睡眠期间监测人的呼吸和身体(包括肢体)移动在许多方面可能有用。例如,这种监测可用于检测嗜睡。传统上,有效无线电定位或测距实施的进入障碍是需要专门的硬件电路和天线。
智能手机和其他便携式且不显眼的处理或电子通信装置在日常生活中普遍存在,甚至在没有陆线的发展中国家也是如此。例如,许多车辆含有能够利用一个或多个扬声器发出声音的音频装置,诸如用于娱乐目的。一些这样的系统被配置用于电子通信。许多这样的系统包括,诸如当该系统无线耦合到另一通信装置(例如,智能扬声器)时,用于感测声音的麦克风,以用作诸如用于电话呼叫的免提系统的一部分。这样的车辆装置可以使用虚拟助理来支持语音命令,该虚拟助理处理所接收到的口头命令并以音频输出进行响应。
期望具有用于以有效的车载方式监测生物运动(即,生理移动)的方法。这种系统和方法的实现将解决相当大的技术挑战。
3发明内容
本技术涉及用于例如在对象清醒或睡着时检测对象的移动的系统、方法和设备。基于这样的移动检测,包括例如呼吸移动,可以检测对象的移动、睡眠相关特点、呼吸特点、心脏特点、睡眠状态等。更具体地,涉及与电子装置相关联的应用,该电子装置包括例如启用处理器的装置,诸如车辆音频装置、车载娱乐(ICE)装置、车载信息娱乐(IVI)装置或其他处理装置,诸如智能电话、平板计算机、智能扬声器,导航(GPS)装置或其他手持式处理装置等。从所提供的示例中清楚的是,表述“装置”的范围以及在此使用的“系统”的含义不必限于单个硬件。这些术语中的任一者可以包含单个装置,以及一个或多个不同的装置。这些装置中的一些或全部可以集成在一件装置中,或者彼此分开且远离地定位。“装置”或“系统”能够传输和/或感测反射信号,诸如利用集成的和/或外部可连接的一个或多个传输器和/或传感器(即扬声器、麦克风、红外传感器、射频传输器/接收器等)来检测生理移动。
本技术的一些版本可以包括处理器可读介质,该处理器可读介质上存储有处理器可执行指令,这些处理器可执行指令在由处理器执行时致使该处理器确定生理参数,诸如用户的生理移动。生理移动可以包括呼吸移动、心脏移动、肢体移动(例如,手臂或腿)、手势移动和全身移动中的任一者或多者。除了作为从至少所检测到的反射信号导出的参数的生理移动之外,生理参数可以进一步包括可以进一步从所导出的生理移动导出的一个或多个特点(例如,从呼吸移动信号导出的呼吸幅度、相对呼吸幅度、呼吸速率、呼吸速率可变性;从心脏移动信号导出的相对心脏振幅、心脏振幅、心率、心率可变性;等),以及其他特点(例如,(a)存在状态(存在或不存在);(b)睡眠状态,诸如,清醒或睡着;(c)睡眠阶段,诸如N-REM 1(非REM浅睡眠子阶段1)、N-REM 2(非REM浅睡眠子阶段2)、N-REM 3(非REM深睡眠(也称为慢波睡眠)(SWS)))、REM睡眠等;或其他睡眠相关参数,诸如(d)疲劳和/或(e)嗜睡;等)。该处理装置可以与车辆(例如,其车厢)集成或以其他方式便携地或适于插入到车辆缆线中。该处理器可执行指令可以包含用于控制诸如经由耦合到车辆音频装置或其他传感器的扬声器在可以包括用户的车载附近区域或车厢附近区域产生感测信号或声音信号的指令。虽然大部分所描述的示例可应用于车辆车厢室的内部,但是类似的感测原理和考虑可应用于车辆外部的紧邻附近区域。该处理器可执行指令可以包含诸如经由耦合到车辆音频处理装置的麦克风或其他传感器来控制从车辆的车厢附近区域的用户反射的反射信号或声音信号的感测的指令。处理器可执行指令可以包含用于处理所感测到的声音信号或反射信号的指令。处理器可执行指令可以包含用于经由耦合到车辆式音频装置的麦克风评估所感测到的可听口头通信的指令。处理器可执行指令可以包含用感测信号或声音信号以及反射信号或反射声音信号导出生理移动信号的指令。处理器可执行指令可以包含用于诸如响应于所感测到的可听口头通信而基于对所导出的生理移动信号的评估来生成输出的指令。
本技术的一些版本可以包括处理器可读介质,该处理器可读介质具有存储在其上的处理器可执行指令,当处理器可执行指令由电子装置的处理器执行时,使得处理器处理在车辆的车厢附近区域所感测到的数据,以检测用户的生理移动。该处理器可执行指令可以包括用于控制在车辆(诸如容纳该电子装置的车辆)的车厢附近区域产生感测信号的指令。该处理器可执行指令可以包括用传感器控制感测来自该车辆的车厢附近区域的反射信号的指令。处理器可执行指令可以包括用所感测到的反射信号的至少一部分和表示感测信号的一部分的信号来导出生理移动信号的指令。处理器可执行指令可以包括用于基于对所导出的生理移动信号的至少一部分的评估来生成输出的处理器可执行指令。
在一些版本中,感测信号可以是由与电子装置耦合的射频发射器生成的射频感测信号、由与电子装置耦合的扬声器生成的声学感测信号,以及由与电子装置耦合的红外发射器生成的红外感测信号中的任一者或多者。表示感测信号的部分的信号可以包括内部生成的振荡器信号或直接路径测得的声音信号。用于导出生理移动信号导出器的指令可以被配置为利用(a)感测信号和反射信号;或(b)利用反射信号和与感测信号相关联的关联信号,任选地,其中关联信号是内部生成的振荡器信号或直接路径测得的信号导出生理移动信号。
用于导出生理移动信号的指令可以被配置为将振荡器信号与所感测到的反射信号的部分相乘。所导出的生理移动信号可以包括用户在车厢附近区域内的呼吸运动、总运动或心脏运动中的一者或多者。对所导出的生理移动信号的评估可以包括确定呼吸速率、呼吸幅度、相对呼吸幅度、心率、心脏幅度和相对心脏幅度中的任一者或多者。该处理器可执行指令可以包括用于基于来自一个或多个车辆传感器的信号来感测车辆特点并且基于所感测到的车辆特点来生成输出的指令。该处理器可执行指令可以包括用于基于来自一个或多个车辆传感器的信号来感测车辆特点并且基于所感测到的车辆特点来调节所产生的感测信号的至少一部分的指令。
在一些版本中,所感测到的车辆特点可包括车辆速度、门打开状态、车窗打开状态、发动机转数、车辆位置、座椅占用、安全带紧固状态、座椅位置、方向盘抓握状态、方向盘角度、空调系统状态、风扇设置、制动设置、油门踏板设置、车厢灯、车厢噪声和/或车厢温度中的任一者或多者。处理器可读介质可以包括进一步包含处理器可执行指令,该处理器可执行指令用于经由耦合到电子装置的麦克风评估所感测到的可听口头通信;并且其中基于对所导出的生理移动信号的评估的所生成的输出进一步基于所感测到的可听口头通信。该电子装置可以包含音频娱乐系统,其中该感测信号可以与音频娱乐内容信号组合,并且其中该组合的感测信号和音频娱乐内容信号可以由该音频娱乐系统的一个或多个扬声器产生。所产生的感测信号的至少一部分可以是基本上不可听的声音范围中的声音信号。该声音信号可以是低频超声声学信号。声音信号可以是双音调频率解调连续波信号。双音调频率解调连续波信号可以包含与重复波形中的第二锯齿波频率变化重叠的第一锯齿波频率变化。
音频娱乐系统可以包括多个扬声器,并且其中电子装置可以被配置为导出不同的生理移动信号,每个导出的生理移动信号与多个扬声器中的不同扬声器相关联。用于控制产生感测信号的指令可以针对多个扬声器中的每个不同扬声器产生不同感测频率范围中的感测信号。用于控制感测来自车辆的车厢附近区域的反射信号的指令可以通过使用多个麦克风来控制对反射信号的感测。介质可进一步包括处理器可执行指令,该处理器可执行指令用以控制电子装置用扬声器产生声音呈现以鼓励或促进用户在车厢附近区域睡觉。该声音呈现可以包括呼吸夹带锻炼。
该电子装置可以包含车辆导航系统。该电子装置的处理器可执行指令可以被配置为用于基于来自对所推导出的生理移动信号的评估的输出来设置与该车辆导航系统一起提供的导航路线的参数。该电子装置可以包含半自主或自主车辆操作控制系统。该电子装置的处理器可执行指令可以被配置为基于来自对所导出的生理移动信号的评估的输出来控制以下各项中的任何一项或多项:车辆的移动、车厢附近区域的光线条件的调节、电致变色玻璃的调节透明度、车厢附近区域的座椅移动、制动参数的调节、加速度参数的调节、悬架设置的调节、车窗覆盖范围的调节、声学屏障的调节、车辆的制动、车辆通风的接合和/或车辆车厢冷却/加热系统的接合。对所导出的生理移动信号的评估可以包括对嗜睡、疲劳状态、睡眠阶段和睡眠阶段中的时间中的任一者或多者的检测和/或对睡眠评分的计算。对所导出的生理移动信号的该部分的评估可以包括检测睡眠评分、睡眠阶段以及睡眠阶段中的时间中的任一者。由电子装置对所导出的生理移动信号的部分的估计可以包括睡眠服务。
在一些版本中,电子装置对所导出的生理移动信号的该部分的评估可以包括健康筛查服务。任选地,健康筛查服务可以包括呼吸健康检测、睡眠呼吸障碍检测和心脏健康检测中的任一者或多者。对所导出的生理移动信号的该部分的评估包含检测姿势。电子装置对所导出的生理移动信号的该部分的评估可以包括检测呼吸健康相关参数、睡眠呼吸紊乱相关参数和/或心脏健康相关参数中的一者或多者。
在一些版本中,处理器可读介质可以包括用于生成超宽带(UWB)声音感测信号作为可听白噪声的处理器可执行指令。该处理器可读介质可以包括用于检测具有UWB声音信号的用户运动的处理器可执行指令。该介质可以进一步包括处理器可执行指令,用于在设置过程中生成探测信号以绘制车厢附近区域内的距离。该介质可以进一步包括用于基于所导出的生理移动信号的该部分来检测用户在车厢附近区域的存在或不存在的处理器可执行指令。该介质可以进一步包括处理器可执行指令,该处理器可执行指令用于基于所导出的生理移动信号的该部分对车厢附近区域中的用户进行生物测定识别。任选地,该输出可以包括生成的警报。该介质可以进一步包括用于基于生物测定识别来控制启用和禁用该车辆的车辆操作控制系统的处理器可执行指令。该介质可以包括处理器可执行指令以基于所导出的生理移动信号的该部分对车厢附近区域中的用户进行生物测定识别。该输出可以基于生物测定识别并且可以包括以下各项中的至少一项:(a)生成警报;以及(b)控制启用和禁用车辆的车辆操作控制系统。介质可以进一步包括包含处理器可执行指令,用于对由耦合到电子装置的麦克风所感测到的声音信号进行滤波。该滤波器可以被配置为用于减轻或衰减车辆声音。这些车辆声音可以包括以下各项中的一项或多项:马达噪声、风噪声、汽车喇叭、关门,以及信息娱乐声音。
在一些版本中,电子装置对所导出的生理移动信号的该部分的评估可以包括对所导出的生理移动信号的分类,其中该分类评估通过深度信念网络从所导出的生理移动信号的该部分确定的特征。该电子装置对所导出的生理移动信号的评估可以包括确定独自待在车厢附近区域的儿童,并且其中该输出包含所生成的警告。该输出可以进一步包括控制信号,以基于对独自待在车厢附近区域的儿童的确定来激活车辆操作控制系统。任选地,车辆操作控制系统可以包括车辆环境控制系统,并且控制信号可以启动由车辆环境控制系统提供的车厢附近区域的通风和/或温度条件。由电子装置对所导出的生理移动信号的部分的评估可以包括确定独自待在车厢附近区域的儿童,其中输出可以包括:(a)所生成的警告,或(b)车辆操作控制系统启动车厢附近区域的通风和/或温度条件。
在一些版本中,该介质可以进一步包括处理器可执行指令以基于所导出的生理移动信号将数据记录在区块链数据系统中。该介质可以进一步包括用于通过聊天机器人程序生成作为交互式语言过程的输出的处理器可执行指令。该电子装置可以包含手持式处理装置。该电子装置可以包括车辆或车辆处理装置的一个或多个集成部件。在一些版本中,(a)传感器和(b)被配置为产生感测信号的部件中的一者或两者可以是车辆的集成部件。
本技术的一些版本可以包括能够访问如本文所述的处理器可读介质的服务器。服务器可以被配置为接收通过网络将处理器可读介质的处理器可执行指令下载到电子装置或车辆式处理装置的请求。
本技术的一些版本可以包括电子装置。该电子装置可以包含一个或多个处理器,该一个或多个处理器被安排成耦合到在车辆的车厢附近区域操作的传感器;以及(a)如本文中所描述的任何处理器可读介质,或(b)被配置为访问本文中所描述的任何服务器的处理器可执行指令的处理器可读介质。该传感器可以包含(a)扬声器和麦克风、(b)红外发射器和检测器,或(c)射频收发器中的至少一者。该电子装置可以包括音频娱乐系统、车辆导航系统,以及半自主或自主车辆操作控制系统中的任一者或多者。该电子装置可以包括车辆或车辆处理装置的一个或多个集成部件。该电子装置可以进一步包含车辆。该电子装置可以包括至少一个便携式部件。该便携式部件可以包括智能电话、智能手表或智能珠宝。
本技术的一些版本可以包括服务器访问本文中所描述的任何处理器可读介质或访问本文中所描述的电子装置的方法。该方法可以包括在服务器处接收用于通过网络将处理器可读介质的处理器可执行指令下载到电子装置的请求;以及响应于请求将处理器可执行指令传输到电子装置。
本技术的一些版本可以包括电子装置的处理器的方法。方法可以包括用处理器存取本文中所描述的处理器可读介质中的任一者。该方法可以包括在处理器中执行处理器可读介质的处理器可执行指令。
本技术的一些版本可以包括电子装置的一个或多个处理器检测用户在车辆的车厢附近区域的生理移动的方法。该方法可以包括控制在车辆的车厢附近区域产生感测信号。该方法可以包括用传感器控制来自车辆的车厢附近区域的反射信号的感测。该方法可以包括利用所感测到的反射信号的至少一部分和表示感测信号的一部分的信号来导出生理移动信号。该方法可以包括基于对所导出的生理移动信号的至少一部分的评估来从处理器生成输出。
在该方法的一些版本中,感测信号可以是由与电子装置耦合的射频发射器生成的射频感测信号,由与电子装置耦合的扬声器生成的声学感测信号,以及由与电子装置耦合的红外发射器生成的红外感测信号中的任一者或多者。表示声音信号的部分的信号可以包括内部生成的振荡器信号或直接路径测得的信号。该方法可以包括(a)利用感测信号和所感测到的反射信号导出生理移动信号;或(b)与所感测到的反射信号和与感测信号相关联的关联信号,任选地,其中关联信号是内部生成的振荡器信号或直接路径测得的信号。该方法可以包括将振荡器信号与所感测到的反射声音信号的部分相乘来导出生理移动信号。该导出的生理移动信号可以包括该车厢附近区域内的用户的呼吸运动、心脏运动,或总运动中的一者或多者。对所导出的生理移动信号的该部分的评估可以包括确定呼吸速率、相对呼吸幅度、呼吸幅度、心率、相对心脏幅度和心脏幅度中的任一者或多者。该方法可以包括基于来自一个或多个车辆传感器的信号来感测车辆特点并且基于所感测到的车辆特点来生成输出。该方法可以包括基于来自一个或多个车辆传感器的信号来感测车辆特点,并且基于所感测到的车辆特点来调节所产生的感测信号的至少一部分。所感测到的车辆特点可以包括车辆速度、门打开状态、车窗打开状态、发动机转数、车辆位置、座椅占用、座椅安全带紧固状态、座椅位置、方向盘抓握状态、方向盘角度、空调系统状态、风扇设置、制动设置、油门踏板设置、车厢灯光、车厢噪声和/或车厢温度中的任一者或多者。
该方法可以包括经由耦合到电子装置的麦克风进一步评估所感测到的可听口头通信;并且其中基于对所导出的生理移动信号的部分的评估而生成的输出进一步基于所感测到的可听口头通信。该电子装置可以包括音频娱乐系统,并且该方法可以包括将感测信号与音频娱乐内容信号组合,并且通过音频娱乐系统的一个或多个扬声器产生组合的感测信号和音频娱乐内容信号。所产生的感测信号的至少一部分可以是基本上不可听的声音范围中的声音信号。该声音信号可以是低频超声声学信号。声音信号可以是双音调频率解调连续波信号。双音调频率解调连续波信号包含与重复波形中的第二锯齿波频率变化重叠的第一锯齿波频率变化。该电子装置可以包括音频娱乐系统,该音频娱乐系统可以包括多个扬声器,并且其中该电子装置导出不同的生理移动信号,每个所导出的生理移动信号与多个扬声器中的不同扬声器相关联。
在一些版本中,产生感测信号的控制为多个扬声器中的每个不同扬声器产生不同感测频率范围中的感测信号。该控制感测来自车辆的车厢附近区域的反射信号可以包括通过使用多个麦克风来控制反射信号的感测。该方法可包括控制电子装置以通过扬声器生成声音呈现以阻止或促进用户在车厢附近区域睡眠。该声音呈现可以包括呼吸夹带锻炼。该电子装置可以包括车辆导航系统。该电子装置可以基于来自对所导出的生理移动信号的该部分的评估的输出来设置与该车辆导航系统一起提供的导航路线的参数。
该电子装置可以包括半自主或自主车辆操作控制系统。该电子装置可以基于对所导出的生理移动信号的评估的输出来控制以下各项中的任何一项或多项:车辆的运动、车厢附近区域的光线条件的调节、电致变色玻璃透明度的调节、车厢附近区域的座椅的移动、制动参数的调节、加速度参数的调节、悬架设置的调节、车窗覆盖范围的调节、声学屏障的调节、车辆的制动、车辆通风的接合和/或车辆车厢冷却/加热系统的接合。对所导出的生理移动信号的该部分的评估可以包括检测嗜睡、疲劳状态、睡眠阶段以及睡眠阶段中的时间和/或睡眠评分的计算中的任一者或多者。对所导出的生理移动信号的该部分的评估可以包括检测睡眠评分、睡眠阶段以及睡眠阶段中的时间中的任一者。由电子装置对所导出的生理移动信号的部分的估计可以包括睡眠服务。由电子装置对所导出的生理移动信号的部分的评估可以包括健康筛查服务,并且任选地,其中健康筛查服务检测呼吸健康、睡眠呼吸障碍和心脏健康中的任一者或多者。对所导出的生理移动信号的该部分的评估可以检测姿势。电子装置对所导出的生理移动信号的该部分的评估可以包括检测呼吸健康相关参数、睡眠障碍呼吸相关参数和心脏健康相关参数中的任一者或多者。
所生成的感测信号可以包括作为可听白噪声产生的超宽带(UWB)声音感测信号。该方法可以进一步包括生成超宽带(UWB)声音感测信号作为可听白噪声;利用UWB声音信号检测用户运动。该方法可以包括在设置过程中生成探测信号以映射车厢附近区域内的距离。该方法可以进一步包括基于所导出的生理移动信号来检测用户在车厢附近区域的存在和不存在。该方法可以进一步包括基于所导出的生理移动信号对车厢附近区域中的用户进行生物测定识别。任选地,该输出可以包括生成的警报。该方法可以进一步包括基于该生物测定识别来控制启用和禁用该车辆的车辆操作控制系统。该输出可以基于生物测定识别并且可以包括以下各项中的至少一项(即,或两者):(a)生成警报,以及(b)控制启用和禁用车辆的车辆操作控制系统。该方法可以进一步包括对由耦合到电子装置的麦克风所感测到的声音信号进行滤波,该滤波可以被配置为减轻或衰减车辆声音。任选地,车辆声音可以包括以下中的一者或多者:马达噪声、风噪声、汽车喇叭声、关门声和信息娱乐声。
电子装置对所导出的生理移动信号的评估可以包括对所导出的生理移动信号进行分类,其中分类对通过深度信念网络从所导出的生理移动信号确定的特征进行评估。通过该电子装置对所导出的生理移动信号的评估可以包括确定独自待在车厢附近区域儿童的存在,并且其中该输出包含所生成的警告。该输出可以包括控制信号以基于确定独自待在车厢附近区域的儿童的存在来激活车辆操作控制系统。由电子装置对所导出的生理移动信号的部分的评估可以包括确定独自待在车厢附近区域的儿童的存在,并且输出可以包含:(a)生成的警告,或(b)车辆操作控制系统启动由车辆环境控制系统提供的车厢附近区域的通风和/或温度条件。任选地,车辆操作控制系统可以包括车辆环境控制系统,并且控制信号可以启动由车辆环境控制系统提供的车厢附近区域的通风和/或温度条件。该方法可以进一步包括在区块链数据系统中基于所导出的生理移动信号来记录数据。该方法可以进一步包括通过聊天机器人程序生成作为交互式语言过程的输出。该电子装置可以包括或者是手持式处理装置。该电子装置可以包括车辆或车辆处理装置的一个或多个集成部件。(a)传感器和(b)被配置为产生感测信号的部件中的一个或两个可以是车辆的集成部件。
本文中所描述的方法、系统、装置和设备可以在处理器中提供,诸如车载音频和/或处理装置的处理器、通用或专用计算机、便携式计算机处理装置(例如,移动电话、平板计算机、智能扬声器、智能电视机等)、使用诸如麦克风和扬声器的运动传感器的呼吸监测器和/或其他处理装置的改善的功能。此外,所描述的方法、系统、装置和设备可以在自动车辆式音频设备的技术领域中提供改善。
当然,这些方面的部分可以形成本技术的子方面。此外,各个子方面和/或各个方面可以以各种方式组合,并且还构成本技术的附加方面或子方面。
通过考虑包含在以下具体实施方式、摘要、附图说明和权利要求书中的信息,本技术的其他特征将变得清楚明白。
4附图说明
在附图中以实例而非限制的方式示出了本技术,在附图中相同的附图标记表示相似的元件,包括:
图1示出了示例性的,诸如使用具有本文的信号生成和处理技术的低频超声生物运动感测的车载运动感测装置。
图2示出了用于从车载附近区域接收音频信息的示例性处理装置以及该装置的示例性处理的示意图。
图3是诸如智能音频装置等处理装置的示意图,可以根据本技术的某些形式来配置该处理装置。
图4A展示了单音线性调频脉冲的频率特点,诸如用于频率解调连续波感测(FMCW)。
图4B展示了双音调线性调频脉冲的频率特点,诸如用于频率解调连续波感测(FMCW)。
图5示出了可实施用于本发明技术的车辆处理装置中的感测系统的双音调FMCW的示例性解调。
图6示出了支持语音的音频装置或车辆式处理装置的示例性操作,诸如使用具有本文中所描述的信号生成和处理技术的低频超声生物运动感测的音频装置。
图7示出了诸如用于处理本文中所描述的车辆式处理装置的处理的示例性音频处理模块或块。
图8示出了用于车载运动感测的示例性处理流程,诸如用于基于例如图1所示的感测装置的运动特点来生成各种输出(例如,睡眠数据、疲劳/警觉数据、医学数据、通知数据)。
图8A、图8B和图8C示出了本技术的诸如用于FMCW系统的三角形单音调的各种信号特点。
图9示出了用于诸如支持SONAR生理感测装置的车辆式处理装置的车载声学感测设备的示例性处理流程。
图9A、图9B和图9C示出了本技术的诸如用于FMCW系统的三角形单音调的各种信号特点。
图10示出了用于对生理参数进行车载感测以实现车载健康评估处理系统和/或车载睡眠服务系统的过程的示例性处理流程。
图11示出了用于具有生理参数的感测以实施车载小睡/睡眠服务系统的处理的示例性处理流程。
5具体实施方式
在更详细地描述本技术之前,应当理解,本技术不限于本文中所描述的可以变化的特定实例。还应当理解,本公开中使用的术语是为了描述所讨论的具体实例的目的,而不旨在是限制性的。
关于可共享共同特点或特征的本技术的各种形式提供以下描述。应理解,任一示例性形式的一个或多个特征可与另一形式的一个或多个特征组合。此外,本文任何形式的任何单一特征或特征组合可构成另一示例性形式。
5.1筛查、监测和用车载设备检测
本技术涉及用于检测对象移动的生理感测系统、方法和设备,该对象移动包括例如诸如当对象处于车辆环境中时的全身移动、呼吸移动和/或心脏相关胸部运动。更具体地,该技术涉及与车载运动感测装置相关联的处理应用,诸如用于汽车娱乐系统。在一些版本中,感测装置可以是使用诸如扬声器和麦克风的装置传感器来检测这种车载运动的智能电话、引导系统、车载音频系统、平板计算机、移动装置、移动电话、智能电视机、膝上型计算机等。诸如电子装置系统可以包括便携式部件,诸如智能电话、智能手表和/或智能珠宝。
现在将参照图1至图3来描述适于实施本技术的示例性系统的特别极简的或非突出的版本。车辆式音频装置可以被实施为具有一个或多个处理器(诸如微控制器)的处理装置100,该处理器可以是配置有用于检测对象110的移动的应用200的智能扬声器。它可以被放置在车辆111内或者以其他方式与对象110附近区域的车辆111的车厢的部件(例如,音频系统、仪表板、门、座椅等)集成。任选地,处理装置100可为(例如)智能电话、平板计算机、膝上型计算机、智能扬声器、智能电视机或其他电子装置。其中处理装置100的处理器可以被配置为执行应用200的功能,包括致使典型地通过车辆的通常有限的附近区域中的空气来生成和发送诸如声学信号或音频信号的感测信号112。处理装置可以通过用例如换能器(诸如麦克风)感测所传输的信号来接收所传输的信号的反射114。处理装置,诸如通过利用所发送的信号进行解调可以处理所感测到的信号,以确定身体移动,诸如全身身体移动、四肢移动、心脏移动和呼吸移动。除了其他部件之外,处理装置100将可以包含扬声器和麦克风。扬声器可以被实施为传输所生成的音频信号并且麦克风接收所反射的信号。可以利用在2017年9月19日提交的国际专利申请PCT/EP 2017/073613中描述的任何技术来实施所生成的用于感测和处理的音频信号,国际专利申请的全部公开内容通过引用并入本文。
虽然在本文一般地描述了关于声学感测(例如,近场、低频超声学感测等)的感测设备,但是应当理解,这些方法和装置可以使用其他感测技术来实施。例如,作为替代方案,处理装置可以用用作感测设备的RF传感器的射频收发器来实施,使得所生成的信号和所反射的信号是RF信号。可以用以下中描述的任何技术和传感器部件来实施可以与处理装置集成或耦合的这种RF传感装置:2013年7月19日提交的标题为“范围门控射频生理传感器”的国际专利申请第PCT/US 2013/051250号;2017年8月16日提交的标题为“数字射频运动检测传感器”的国际专利申请第PCT/EP 2017/070773号;和2017年8月16日提交的标题为“数字范围门控射频传感器”的国际专利申请第PCT/EP 2016/069413号。类似地,在替代版本中,可以用红外辐射发生器和红外辐射检测器(例如,IR传输器和IR检测器)来实施这种用于传输感测信号并感测其反射的感测设备。可类似地实施如本文的用于运动检测和表征的此类信号的处理。
使用这些不同感测技术中的两者或多者的组合,可以通过组合相应技术的优点来增强感测结果。例如,所讨论的声学感测技术在例如城市驾驶或更高的发动机转数/车辆速度的噪声环境中是相当可接受的。然而,具有非常灵敏的听觉的用户可能发现使用这种技术是有问题的,例如在乡村驾驶期间或在较低的发动机转数/车辆速度下,当噪声低得多并且感测信号更容易听到时。类似地,虽然IR感测在夜晚期间提供良好的S/N信号,但是其在白天的光(和热)中使用可能是有问题的。在这种情况下可以在夜晚使用IR感测,通过在白天使用声学感测来补充。
任选地,可以用感测设备来实施处理装置的感测方法,该感测设备在其他类型的装置中实施或由其他类型的装置实施,诸如旅行/便携式睡眠治疗装置(例如,旅行/便携式呼吸治疗装置,诸如持续气道正压(例如,“CPAP”)装置或高流量治疗装置)(未示出),其中治疗装置用作处理装置100或与单独的处理装置100一起工作。参考在2014年10月28日申请的国际专利公开第WO/2015/061848号(申请号PCT/AU 2014/050315),和在2016年3月14日申请的国际专利公开第WO/2016/145483号(申请号PCT/AU 2016/050117)中描述的装置,可以考虑这种装置(包括压力装置或鼓风机(例如,蜗壳中的电机和叶轮)、压力装置或鼓风机的一个或多个传感器和中央控制器)的实例,其全部公开内容通过引用并入本文。这种呼吸治疗装置可以包括任选的加湿器4000并且经由患者回路(例如,导管)向患者界面提供治疗。在一些情况下,呼吸治疗装置可以具有独自的传感器,诸如麦克风,用于感测患者回路内和通过患者回路的内部声音相关的状况,而不是用于感测贯穿本申请描述的过程的外部声音相关的声学状况。
处理装置100可以适于提供监测对象的呼吸和/或其他移动相关特点的有效且有效的方法。当在车辆内使用,诸如在睡眠期间使用时,处理装置100及其相关联的方法可用于检测(例如)用户的呼吸并识别睡眠阶段、睡眠状态、状态之间的转变、呼吸和/或其他呼吸特点。当在唤醒期间使用时,处理装置100及其相关方法可用于检测运动,诸如人或对象呼吸(吸气、呼气、停止和导出速率)、嗜睡、和/或疲劳、心冲击描记图波形的存在或不存在和/或随后导出的心率等。这样的移动或移动特点可以用于控制如在本文更详细描述的各种功能。
处理装置100可以包括集成芯片、存储器和/或其他控制指令、数据或信息存储介质。例如,可以在装置或设备的存储器中的集成芯片上编码包含本文中所描述的评估/信号处理方法的编程指令,以形成专用集成芯片(ASIC)。这样的指令还可以或任选地使用适当的数据存储介质作为软件或固件被加载。任选地,这样的处理指令可以诸如通过网络(例如因特网)从服务器下载到处理装置,使得当指令被执行时,处理装置用作筛查或监测装置。
因此,处理装置100可以包括如图3所示的多个部件。3.处理装置100可以包括感测设备309(诸如用于声学感测的麦克风或声音传感器302和扬声器310)、处理器304、任选的显示界面306、任选的用户控制/输入界面308和存储器/数据存储312(诸如具有本文描述的处理方法/模块的处理指令)以及其他部件。在一些情况下,麦克风和/或扬声器可以使用装置额处理器被用作用户界面,诸如当处理装置例如经由扬声器对麦克风所感测到的音频和/或口头命令进行响应时,控制处理装置的操作。就这点而言,处理装置100可用作诸如使用自然语言处理的语音助理。
处理装置100的一个或多个部件可以与处理装置100集成或可操作地耦合。例如,感测设备309(例如,麦克风、声音传感器302和扬声器310)可以与处理装置100集成在一起,或者诸如通过有线或无线链路(例如,蓝牙、Wi-Fi等)与处理装置100耦合在一起。因此,处理装置100可以包括数据通信界面314。
存储器/数据存储装置312可以包含用于控制处理器304的多个处理器控制指令。例如,存储器/数据存储312可以包含处理器控制指令,用于使得应用200由本文中所描述的处理方法/模块的处理指令来执行。
本技术的实例可被配置为使用可由应用200实施的一个或多个算法或过程来在用户使用处理装置100睡着时检测运动、呼吸和任选的睡眠特点。例如,应用200可以由若干子进程或模块来表征。如图2所示,应用200可以包括音频信号生成和传输子过程202、运动和生物物理特点检测子过程204、诸如用于对象不存在/存在检测、生物测定识别、疲劳、嗜睡、睡眠表征、呼吸或心脏相关表征等的运动表征化子过程206,以及诸如用于呈现信息或控制如本文更详细描述的各种装置的结果输出子过程208。
例如,可以实施诸如在睡眠分段处理模块中的处理206处的任选睡眠分段。然而,可任选地添加这些处理模块/块中的任一者或多者(例如,睡眠评分或分段、对象识别处理、疲劳识别、嗜睡识别、存在缺席识别、人的生物测定鉴别(生物测定识别)、运动监测和/或预测处理、电器控制处理,或其他输出处理等)。在一些情况下,可使用以下专利或专利申请中的任一者中所描述的设备、系统和方法的部件、装置和/或方法中的任一者来执行信号后处理206的功能,其中每一者的全部公开内容以引用的方式并入本文中:在一些情况下,可以使用以下任何专利或专利申请中描述的装置、系统和方法的任何部件、装置和/或方法来执行信号后处理的功能,其中每个专利或专利申请的全部公开内容通过引用并入本文:2007年6月1日提交的名称为“用于监测生理体征的装置、系统和方法”的国际专利申请第PCT/US2007/070196号;2007年10月31日提交的标题为“用于监测心肺参数的系统和方法”的国际专利申请第PCT/US 2007/083155号;2009年9月23日提交的标题为“用于评估和干预的生活质量参数的非接触和最小接触监测”的“国际专利申请第PCT/US 2009/058020号;2010年2月4日提交的标题为“用于慢性疾病监测的装置、系统和方法”的国际申请第PCT/US 2010/023177号;2013年3月30日提交的标题为“用于监测心肺健康的方法和装置”的国际专利申请第PCT/AU 2013/000564号;2015年5月25日提交的标题为“用于监测慢性疾病的方法和装置”的国际专利申请第PCT/AU 2015/050273号;2014年10月6日提交的标题为“疲劳监测和管理系统”的国际专利申请第PCT/AU 2014/059311号;2017年8月16日提交的标题为“数字射频运动检测传感器”的国际专利申请第PCT/EP2017/070773号;2013年9月19日提交的标题为“用于确定睡眠阶段的系统和方法”的国际专利申请第PCT/AU 2013/060652号;2016年4月20日提交的标题为“根据特征信号检测和识别人”的国际专利申请第PCT/EP 2016/058789号;2016年12月8日提交的标题为“利用传感器的周期性肢体移动识别”的国际专利申请第PCT/EP2016/080267号;2016年8月17日提交的标题为“睡眠呼吸障碍筛查器”的国际专利申请第PCT/EP2016/069496号;2016年4月20日提交的标题为“利用传感器的手势识别”的国际专利申请第PCT/EP2016/058806号;2016年8月16日提交的标题为“数字范围门控射频传感器”的国际专利申请第PCT/EP 2016/069413号;2016年8月26日提交的标题为“用于监测和管理慢性疾病的系统和方法”的国际专利申请第PCT/EP2016/070169号;2014年7月8日提交的标题为“用于睡眠管理的方法和系统”的国际专利申请第PCT/US 2014/045814号;2016年3月24日提交的标题为“周期性呼吸的检测”的美国专利申请第15/079,339号。因此,在一些实例中,对所检测到的移动(包括例如呼吸移动)的处理可以用作用于确定(a)指示睡眠的睡眠状态中的任一者或多者的基础;(b)指示清醒的睡眠状态;(c)指示深睡眠的睡眠阶段;(d)指示浅睡眠(例如N1或N2单纯浅睡眠)的睡眠阶段;以及(e)指示REM睡眠的睡眠阶段。就这点而言,虽然本公开的声音和/或红外相关感测技术提供了用于运动感测的不同机制/过程,诸如使用扬声器和麦克风以及声音信号的处理,但是当与这些并入的参考文献中描述的雷达或RF感测技术相比时,一旦利用本说明书中描述的声音感测/处理方法获得了呼吸信号,诸如呼吸速率,则可以通过这些并入的参考文献的确定方法来实施处理呼吸或其他生理移动信号以提取睡眠状态/阶段信息的原理。例如,一旦由RF或SONAR根据运动确定呼吸率、移动和激活计数,则睡眠分段是常见的分析。作为附加实例,RF脉冲CW和SONARFMCW实施方式之间的感测波长可以不同。因此,可以诸如通过检测跨范围的移动(以不同的感测距离开始)而不同地确定速度。对于FMCW,可以在多个范围进行移动检测。因此,可以跟踪一个或多个移动目标(不管它是两个人,还是实际上是人的不同部分,这取决于它们相对于SONAR传感器的角度。
典型地,来自扬声器(诸如车载音频娱乐/导航或车辆控制系统)的音频信号可以被生成并向用户传输以用于在车辆内感测,诸如使用本文中所描述的一个或多个音调的音频信号。音调以一个或多个特定频率提供车辆(例如,空气)中的压力变化。出于本描述的目的,所生成的音调(或音频信号或声音信号)可以被称为“声音”、“声学”或“音频”,因为它们可以以与可听压力波(例如,通过扬声器)类似的方式产生。然而,这样的压力变化和音调在本文应当被理解为是可听的或不可听的,尽管它们由术语“声音”、“声学”或“音频”中的任一者表征。因此,所生成的音频信号可以是可听的或不可听的,其中人群中的可听频率阈值随年龄而变化。信号可以是基本上不可听的,使得大多数人无法辨别声音(例如,在高于18kHz的频率范围内)。典型的“音频”标准范围是大约20Hz到20,000Hz(20kHz)。高频听阈随年龄增加而降低,中年人不可听15-17kHz以上的声音,而青少年不可听18kHz以上的声音。语音的最重要的频率大约在250-6,000Hz的范围内。典型的消费者智能电话或车载音频设备的扬声器和麦克风信号响应可以被设计为在许多情况下在19-20kHz以上滚降,其中一些延伸到23kHz以上和更高(特别是在装置支持大于48kHz,诸如96kHz的采样速率的情况下)。因此,对于大多数人,可以使用17/18到24kHz范围内的信号并且保持不可听。对于能听到18kHz而听不到19kHz的年轻人,可以使用19kHz到21kHz的频带。注意,一些家庭宠物可能能够听到更高的频率(例如,狗达到60kHz、猫达到79kHz)。本技术的感测音频信号的适当范围可以在低超声频率范围内,诸如15至24kHz、18至24kHz、19至24kHz、15至20kHz、18至20kHz或19至20kHz。
可以由本文的处理装置来实现如PCT/EP 2017/073613中的诸如使用低频超声学感测信号的音频感测的任何安排和方法。然而,在一些情况下,可以如本文所述实现双音FMCW(也称为双斜坡技术)。
例如,具有一个“音调”(即,频率上扫和下扫)的三角形FMCW波形可以由处理装置使用其扬声器生成,其中波形具有图4A中所示的频率与时间特点,并且其中可以评估上扫或仅下扫或甚至两者的处理以用于距离检测。对于一个音调的相位连续的三角形形式是高度期望的,因为它最小化或消除了由相位不连续性产生的播放声音中的任何可听假象。这种情况的斜坡变化可能引起非常不愉快的和可听的嗡嗡声,因为要求扬声器在样本空间内从播放某一频率的某一幅度的声音跳转到播放相似幅度的低得多(或高得多)的频率;扬声器中的机械变化可以引起咔嗒声,并且线性调频声的频繁重复意味着用户听到蜂鸣声(许多紧密间隔的咔嗒声)。
任选地,在本技术的一些版本中,作为FMCW的感测信号(例如,声学的)可以利用具有斜坡波形(例如,仅由上扫或下扫组成)的特殊双“音调”来实施,使得从一个斜坡(频率斜升和斜降)的结束到下一个(频率斜升和斜降)存在频率的急剧变化,而没有可听的假象。这种双“音调”调频波形示出了其相对于时间的频率特点,其中至少两个变化的频率跳动在一段时间内重叠,并且在该周期的任何时刻,诸如对于斜坡的持续时间,这些频率跳动中的每一者都可以具有相对于其他频率不同的频率,这在图4B中关于虚线和实线示出。这可最终简化系统中的数据处理,且还移除三角波形的每一点处的潜在高振幅转变。急剧的和重复的转变有时会在系统的低级DSP/CODEC/固件中触发奇怪的行为。
图4A和图4B示出了FMCW单音调(图4A)和双音调(图4B)实施方式的频域比较。单音调(图4A)可以优选地包括下扫(产生的频率随时间减少)以确保不可听性。然而,下扫可能被省略,但可能导致一些可听性。双音调(音调对)图4B可以帮助避免这种下扫的需要,因为时域表示的形状是不可听的。图4B示出了第一音调4001和任选的第二音调4002的重叠。图没有示出接收到的回波(即,反射信号)。因此,音调在重复波形中形成与第二锯齿波频率变化重叠的第一锯齿波频率变化。它们是连续的,使得它们可以在感测周期期间重复。
因此,当利用FMCW类型的方法实施低频超声传感系统时,存在可以产生声传感信号的不同方式。这可能涉及频域中的波形形状(例如,三角形(对称或不对称)、斜坡、正弦曲线等)、周期(时间上的“线性调频”的持续时间)和带宽(由“线性调频”覆盖的频率,例如,19-21kHz)的差异。还可以在FMCW配置中使用两个或多个同时的音调。
采样数的选择定义了可能的输出解调采样率(例如,在48kHz采样率下的512个采样等于93.75Hz(48,000/512),而4096个采样持续时间的扫描时间等于11.72Hz(48,000/4096)。如果使用具有1500个样本正常运行时间和1500个样本停机时间的三角波形,则输出采样率为16Hz(48,000/3000)。对于这种类型的系统,例如可以通过将信号乘以参考模板来执行同步。
关于输出采样率的选择,经验测试已经示出在大约8至16Hz的区域中操作是优选的,因为它广泛地避免1/f噪声(由于空气移动、潜在地强衰落和/或房间模式引起的低频效应)以及停留在以较高解调采样率看到的混响区域之外(即,我们已经允许时间用于感测波形“线性调频”的任何一个频率中的能量在下一个“线性调频”中的下一个类似分量之前衰落)。以另一种方式呈现,如果你让仓太宽,则气流和温度的变化(例如,开门并且热量进入或离开房间)意味着你正在查看的任何块可能含有不想要的可能看起来像呼吸的基线漂移。实际上,这意味着当空气移动时,可以看到波浪在频带上运动(穿过距离仓)。这与桌式或脚柱式风扇,或空调或其他HVAC系统的更局部化效果不同。实际上,如果使块太宽,则系统开始“看起来像”CW系统。另一方面,如果在过高的刷新率(即,太短的斜坡)下操作系统,可以得到混响。
对于如图4A所示的具有一个“音调”(即,频率上扫和下扫)的三角形FMCW波形,系统可以处理例如仅上扫或仅下扫,或者实际上可以处理两者以用于距离检测。对于一个音调的相位连续的三角形形式是高度期望的,因为它最小化或消除了由相位不连续性产生的播放声音中的任何可听假象。这种情况的斜坡变化可能引起非常不愉快的和可听的嗡嗡声,因为要求扬声器在样本空间内从播放某一频率的某一幅度的声音跳转到播放相似幅度的低得多(或高得多)的频率;扬声器中的机械变化可以引起咔嗒声,并且线性调频声的频繁重复意味着用户听到蜂鸣声(许多紧密间隔的咔嗒声)。
实施这种双音调信号的一个重要考虑是,产生(成形)所得形状,使得扬声器/系统不需要进行急剧的转变,并且它具有零点。这可以降低对使信号不可听而进行的滤波的需求。例如,可以避免高通或带通滤波,同时仍然允许信号作为不可听的感测信号进行操作。波形中零的存在简化了信号处理,因为零简化了这种信号的传输和接收的同步(例如,用于解调)。双音调的结果是,当使用一个以上的音调时,它提供了衰落鲁棒性的要素,并且衰落可以随所使用的频率以及相位或频率而变化(例如,在双音调系统中,可以在FMCW音之间使用100Hz的偏移)。
可参照图8和图9来考虑图4A的FMCW单音调和图4B的FMCW双音调的性能。图8A、图8B和图8C示出了图7A的FMCW单音调实例的信号特点。图9A、图9B和图9C示出了图7B的FMCW双音调实例的信号特点。
图8A示出了作为在声学感测系统中操作的三角单音调FMCW操作的所传输的(Tx)信号8001和所接收到的(Rx)反射8001-R(回波)。图8B示出时域波形。图8C示出了信号的频谱内容。显然,在较低频率(在与FMCW信号的带宽相关的峰值区域之外)处仍然存在内容。这样的较低频率因此可以在可听频率范围内,从而导致不期望的性能特点。
图9A描绘了信号图9002中的双音调斜波FMCW信号。信号图9002表示两个音调,并且信号图9002-R表示两个音调/多音调的接收回波。图9B示出了具有零点(作为结果的过零点)的双音调的余弦状函数形状。图9C示出了在较低频率下更平滑得多的峰值和更低的功率幅度。当与图8C的斜率区域SR相比时,图9C的斜率区域SR示出了在/到较低频率中双音调斜坡FMCW的功率(dB)的急剧下降。从高(基本上不可听的、用于感测)频范围到较低(可听的、通常不用于感测)频率的更急剧的滚降是期望的声学感测属性,因为它对于用户来说较不突兀。在较低频率(在与FMCW信号的带宽相关的峰值区域之外)的功率可以比在图8C中所示的单音调FMCW三角形式的情况下的功率小40dB。如图9C所示,当与图8C的多边峰区域PR相比时,图9C的上平滑峰区域PR指示双音调斜坡FMCW信号可以具有更好的声学感测属性并且对扬声器的要求更低。
这样的多音调FMCW或双音调FMCW系统(例如在基于Linux的单板计算机上运行)可以提供感测,使得可以在4m或更大的感测范围内识别多个人。它还可以检测例如在距离处理装置1.5米的心率,以及在外至大约4米或更大的呼吸率。示例性系统可以使用18,000Hz和18,011.72Hz的两个音调,这两个音调可以分别斜升到例如19,172Hz和19183.72Hz。
对于该1,172Hz的斜坡,我们可以考虑使用例如大小为4096点的FFT,其中仓宽度为48,000Hz/4096=11.72。针对音速为340m/s,我们注意到:340ms/s/11.72/2(用于输出和返回)=100个仓上14.5m或者每个仓14.5cm。例如,每个“仓”可以检测多达一个人(每个仓)(但是实际上人之间的间隔将大于这个值)。作为同步过程的一部分,信号可以被平方,例如,以避免在计算上更昂贵的相关操作,其中信号被乘以参考模板。与所使用的FFT大小无关,最大范围分辨率是声速/(带宽*2)=340/(1172*2)=14.5cm。然而,可以任选地提供同步过程,该同步过程包括将所感测到的反射信号与所感测到的直接路径信号互相关。同步处理可以任选地包括将参考模板与所感测到的反射声音信号的至少一部分相乘。
图5示出了通过将信号乘以其自身来“自混合”解调双音调FMCW斜坡的实例(以平方为单位)。任选地,可以通过将所接收到的回波信号与表示所产生的传输信号的信号(例如,来自振荡器的信号)相乘来执行解调,以生成反映扬声器或处理装置100的范围内的距离或运动的信号。处理产生“差拍频率”信号,该信号有时被称为“中间”频率(IF)信号。如本文更详细描述的,当诸如通过本地振荡器或通过其自身解调所接收到的Rx信号并将其低通滤波时,其利用FMCW可能产生还不被认为是基带的不寻常的“中间”信号。可以诸如通过应用快速傅立叶变换处理(FFT)来处理IF信号以变为基带(BB)。
如图5所示,仅利用接收(反射声音信号)Rx信号进行解调。这在数学上是可能的,因为Rx信号包含表示其中的传输(Tx)信号(例如,所产生的声音,其可以部分地沿着从扬声器到麦克风的直接路径传播,并且与反射声音一起被感测)的信号的大百分比。装置可以将所接收到的信号Rx自身相乘(诸如仅对其进行平方,因为解调可以被认为是乘法操作)。这之后可以是滤波过程(例如,低通滤波)。
尽管图5示出了自混合,但是可以实施若干不同的方法来利用反射信号和感测信号(即Tx或声音信号)导出运动信号。在一个这样的版本中,本地振荡器LO(其也可以产生声音信号)可以有效地产生用于经解调的Tx信号的副本。由于延迟或失真,实际产生的Tx信号可能与来自振荡器的内部信号略有不同。然后,可以通过来自本地振荡器LO(Tx)*Rx的信号的乘法来进行解调,该乘法之后还可以进行滤波(例如,低通滤波)。
在另一种版本中,可实施两个本地振荡器以生成两个L0信号。例如,LO信号的正弦和余弦副本可被实施以提供所接收到的信号的正交解调。通常,仅传输来自振荡器的一个信号(正弦或余弦)。由于延迟或失真,确切的Tx信号将与来自本地振荡器LO的信号稍微不同。在该版本中,可以进行解调(a)RX*LO(Sin)和(b)RX*LO(Cos),在每种情况下都可以跟随滤波(例如,低通)以产生I和Q解调分量。
系统的声音感测与其他音频回放的感测-混合(共存)(音乐、语音、打鼾等)
除了本文中所描述的超声学感测之外,当处理装置100可以将其扬声器和/或麦克风用于其他目的时,可以实施本技术的一些版本。可以实施另外的过程以允许这种同时起作用。例如,传输比特流(声学感测信号)可以与由扬声器播放的任何其他音频内容(可听的)数字混合,如前面提到的用于同时产生音频内容和超声学感测。可以使用几种方法来执行这种可听音频内容和超声处理。一种方法需要对其他音频内容(其可以是单声道、立体声或更多通道-诸如在多通道环绕声系统中)进行预处理以去除将与感测波形重叠的任何频谱内容。例如,音乐序列可以含有将与例如18到20kHz感测信号重叠的超过18kHz的分量。在这种情况下,可以低通滤出将近18kHz的音乐分量。第二种选择是自适应地对音乐滤波,以便在重叠感测期间的短时间段内去除频率分量(直接路径和回波),否则允许未滤波的音乐;该方法被设计为保持音乐的保真度。第三种选择可以简单地对音乐源不做任何改变。
应当注意,在延迟被故意添加到某些通道(例如,Dolby Pro Logic、Digital、Atmos、DTS等,或者实际上虚拟化的空间形成器功能)上的音频源的情况下,也相应地处理任何这样的带内信号,并且当处理回波时,将不延迟感测波形或者将允许延迟感测波形)。
感知-与语音助理共存
应当注意,超声学感测波形的某些实现(例如,三角FMCW波形)可能对正在执行语音识别服务的某些语音助理(诸如,Google Home)具有不期望的和不想要的影响,因为它们具有可听频带内的频谱内容。通过使用双斜坡音调对,或预滤波(高通或带通滤波三角线性调频)感测波形,或使语音识别信号处理适应于对超声学感测信号分量鲁棒,可以避免这样的潜在串扰。
如下考虑FMCW斜坡信号y:
y=[A Cos(2pi(f1+f2t)t+phi]0 T
这个在时间周期T中从频率f_1倾斜到频率f_2,当在时间周期T切换时,这具有次谐波。
对这一现象的分析表明,它具有出现在较低频率的频带外谐波,因此可以被听到。
现在考虑特定的双斜坡对y,如下所示:
y=[A Cos(2pi(f1+f2t)t+phi]0 T-[A Cos(2pi(f1+(1/T)+f2t)t+phi]0 T
因此,消除了次谐波(在上文中减去),并且保留了信号。1/T是非常特异性的;通过使用(1/T),或实际上是-(1/T),在时间周期T的切换的效果被抵消。因此,所得到的信号是不可听的。它在数学上简单的同时做到这一点,这是一个优点,因为它在装置(例如,智能移动电话装置)上计算不繁琐。
因为双音调开关处于DC电平(“0”),所以在波形线性调频(信号的开始和结束)中存在关闭的自然点,以便避免咔嗒声(即,以避免扬声器进行大跳跃的方式来打开和关闭)。“0”还允许我们在每个线性调频脉冲之间,或者实际上在线性调频脉冲组之间引入安静周期,以便减轻回响和/或识别特定的传输器(即,重叠线性调频脉冲开/关时间序列)。
当考虑同时在房间中操作的两个装置时,子谐波的缺乏也是一个优点,因为它去除了可能的干扰源。因此,两个不同的装置可以使用非重叠(以频率为单位)的音调对,或者实际上以频率为单位重叠(但是由于非重叠静默时段的添加而及时重叠)的音调对。在扬声器/麦克风组合具有有限的可用不可听的带宽的情况下,后者可能是一个优点(即,它们的灵敏度在19或20kHz以上严重滚降)。
即使将相对不可听的三角FMCW信号与双音调斜坡进行比较,后者也具有非常小的子谐波电平(接近真实世界智能装置上的噪声基底-例如,接近量化电平)。
因为双音调斜坡可以斜升或斜降(而不是三角形)并且没有带外分量,所以不存在利用三角形斜坡可能发生的斜坡间泄漏问题。
在没有大量滤波的情况下,不能使标准斜坡音频信号不可听,这可能使所得到的波形的相位和幅度失真。
感测-校准/车辆映射以优化性能
处理装置可以配置有设置过程。当装置首次建立时(或在操作期间周期性地建立时),其可以发出声学探测序列以映射车辆环境、车辆中的人的存在和/或数量等。如果装置随后被移动,或者检测到感测信号的质量已经降低,则可以重复该过程。该系统还可以传输声学训练序列,以便检查扬声器和麦克风的性能,并且评估均衡参数;真实世界的换能器可能在系统所使用的超声频率以及温度和开启特点方面具有一些非线性(例如,由于扬声器可能花费数分钟来解决)。
感测-用于定位的波束形成
可以实施专用波束形成或利用现有的波束形成功能,即,其中采用信号处理来提供发送到传感器阵列或从传感器阵列接收的信号的方向或空间选择性。这通常是“远场”问题,其中波前对于低频超声相对平坦(与“近场”医学成像相反)。对于纯CW系统,将音频波从扬声器传播出去,导致最大和最小区域。然而,如果可以获得多个换能器,则可以有利地控制辐射图-称为波束形成的方法。在接收侧,也可以使用多个麦克风。这允许在方向上优先地操纵声学感测(例如,在存在多个扬声器的情况下操纵所传输的声音和/或所接收到的声波)并且扫过区域。对于使用者在斜躺座椅或(旅行床)中的情况,感测可以朝向对象转向,或者朝向多个对象转向,其中例如在相邻斜躺座椅(旅行床)中有两个人。可以在传输或接收时实施波束转向。由于低成本超声换能器(麦克风或扬声器)可以是相当定向的(例如,针对小换能器,波长与换能器的尺寸在此相当),这可以限制它们可以被转向的区域。
感测-解调和下变频
回到图5,诸如利用图7所示的乘法器(混频器)模块7440或根据图5的解调器解调所感测到的信号,以产生基带信号,可以进一步处理该基带信号以检测在感测场中是否存在与人的有特点的运动相关的、与接收的回波的变化相关的解调信号中的干扰。在除了接收到的回波信号之外还存在强的接收到的“直接路径”(从扬声器到麦克风的高串扰,例如,通过固体传输对通过空气传输和/或从扬声器到麦克风的短距离)信号的情况下,可以执行所得和的乘法以进行解调。否则,所接收到的回波可以与以电子形式而非声音形式提取的原始传输信号的一部分相乘(混合)。在特定实例中,系统不将所接收到的信号乘以传输信号来对其进行解调(尽管它可以是其他实施例)。相反,系统可以如下将接收信号(其包含传输信号的衰减版本以及接收回波)与其自身相乘:
传输=ATX(Cos(P)-Cos(Q))
接收=A(Cos(P)-Cos(Q))+B(Cos(R)-Cos(S))
自混频器=[A(Cos(P)-Cos(Q))+B(Cos(R)-Cos(S))]x[A(Cos(P)-Cos(Q))+B(Cos(R)-Cos(S))]即,接收x接收
低通滤波后的自混频分量(已解调):
方程简化后的自混频器输出(经解调的):
,
其中AA和BB是DC分量。
含有反射信号信息的解调分量(可以是静态的,也可以是移动相关的):-AB Cos(Q-R) AB Cos(Q-S) AB Cos(P-R) -AB Cos(P-S)
其优点是:传输和接收之间不需要同步,因为所有定时信息只包含在接收中,并且它在计算上是快速和简单的(方形阵列)。
在I、Q(同相和正交)解调之后,存在如何分离与空气湍流、多路径反射(包括与其相关的衰落)和其他缓慢运动(通常非生理)信息相关的低频分量的选择。在一些情况下,这种处理可以称为杂波去除。可以减去DC电平(均值),或者在重叠或非重叠块的基础上执行一些其他减损(诸如线性趋势去除);高通滤波器也可用于去除DC和极低频分量(VLF)。可以处理“去除的”信息以评估这种DC和VLF数据的强度-诸如是否存在强气流或显著的多路径效应。然后经滤波的解调信号可以被传递到频谱分析阶段。另一种选择是不使用高通滤波器并将未滤波的信号直接传递到频谱分析处理块,并在本阶段执行DC和VLF评估。
不同感测装置/应用的共存
可以看出,编码的或未编码的超声信号可以由不同的装置生成,以允许装置和系统实施识别和其他数据交换目的。例如,移动电话应用可以被配置为生成用于通信目的的这样的信号,以便将其自身标识到其附近区域的另一个启用所感测到的装置/系统,诸如车辆的智能信息娱乐系统,反之亦然。这些类型的信号可以用于代替短距离射频通信(例如,在蓝牙不可用或被禁用的情况下)以进行识别。然后,系统的装置可以自动地确定其他处理装置在感测附近区域的存在(例如,经由来自另一处理装置的不可听的声学生成的通信信号),并且调节所生成的感测信号的参数,使得它们可以在非干扰感测模式下操作(例如,通过使用不同的频带和/或在时间上不重叠)。
示例性系统架构
在图6中,在车辆111中示出了使用低频超声生物运动感测的支持语音的睡眠改善系统的示例性系统架构。可以利用本文中所描述的感测技术(例如,多音调FMCW声学感测技术)来实施系统。用户可以与诸如先前被激活以监测用户睡眠的车辆处理装置100的语音激活系统交谈。例如,口头指令可以查询该系统以监测该车辆并且产生所确定的嗜睡、睡眠评分、呼吸(SDB)事件、健康状况或其他运动相关统计的可听报告。基于该报告,系统的处理还可以为其他装置产生可听警告、意见或其他控制信号。
关于图7所示的示例性模块,可以考虑用于检测启用了本技术的低频超声所感测到的启用了扬声器的处理装置100附近区域的运动的系统处理。处理装置7102包括扬声器7310和,任选地,麦克风7302以及具有一个或多个可编程处理器的微控制器7401。这些模块可以被编程到微控制器(诸如车载音频设备系统)的存储器中。就这点而言,在7410,音频样本或音频内容可以由任选的上采样处理模块进行上采样,并且可以被提供给求和器模块7420,诸如如果任选的音频内容与感测信号同时由一个或多个扬声器产生。就这点而言,加法器模块7420任选地从产生FMCW信号(例如期望低超声频率范围内的双音调FMCW信号)的FMCW处理模块74430将音频内容与期望频率范围内的FMCW信号组合。求和的FMCW信号然后可以诸如由转换器模块处理,用于由扬声器7310输出。FMCW信号还被施加到解调器,诸如乘法器模块7440,其中FMCW信号与在麦克风7302处观察到的所接收到的回波信号一起被处理(例如,混合/相乘)。在这样的混合之前,所接收到的回波信号可以被滤波,诸如自适应地滤波,如在此先前提到的,以去除所关注的频谱之外的不想要的频率,诸如与机动车辆的操作相关联的频率(例如,马达振动或风音)。音频输出处理模块7444可以任选地对滤波后的输出进行下采样和/或对信号进行转换以产生音频信号。从乘法器模块7440输出的经解调的信号然后可诸如由后处理模块7450进一步处理。例如,可以通过频率处理(例如,FFT)和数字信号处理对其进行处理,以通过频率范围来改善所检测到的原始运动信号或以其他方式分离运动,从而隔离(a)呼吸运动或移动,(b)心脏运动或移动,以及(c)总运动或移动,诸如全身运动或全身移动。然后,可以通过7460处的特征处理记录或以其他方式,例如数字化地处理生理移动信号,以表征信号的各种运动,从而检测如先前所提及的各种信息输出(睡眠、嗜睡、疲劳、睡眠阶段、运动、呼吸事件等)。
关于总移动或全身运动的检测,这种移动可以包括手臂移动、头部移动、躯干移动、肢体移动和/或全身移动等中的任何移动。可以考虑并应用从传输和反射信号进行这种检测以进行运动检测的方法,该方法可以应用于SONAR声音类型的运动检测,例如,如在国际专利申请第PCT/EP2016/058806和/或PCT/EP2016/080267中所描述的,其全部公开内容通过引用并入本文。根据它的性质,这样的RF或SONAR技术可以一次看到所有的身体移动,或者至少看到身体运动的大部分移动,并且该技术可以取决于“波束”被精确地引导到哪里。腿部移动,诸如当它是周期性的时,可以主要被区分为基于移动频率的运动,并且任选地通过执行不同的自动增益控制(AGC)操作。当身体总移动较少时,呼吸检测是最有效的,以隔离呼吸波形的特征频率和信号形状(正常、COPD或CHF随着时间和吸气/呼气比率改变为速率、SDB事件、长期SDB解调等)。
当运动与床上的人相关联时,最大振幅信号可与全身移动(诸如滚动)相关联。手或腿的移动可以较快(例如,来自I/Q信号的常速)但相对幅度较低。因此,在识别中可以考虑通过分析运动信号的这种移动的不同分量和/或分量序列,诸如其是否以总运动和加速度开始,臂移动的速度然后停止等。此识别可更针对不同运动姿势动作。
用于车载使用的低频超声(SONAR)感测
许多地方含有能够传输和记录恰好高于人的听觉阈值的低频超声范围内的声音的音频装置,例如,车辆信息娱乐系统。这样的装置和系统可以适于使用低频超声技术执行车辆乘客的生理感测。可以在不影响标准音频系统的原始预期功能的情况下执行这种感测。在一个实例中,可以通过软件更新(即,允许添加附加的有用功能而不增加商品成本)来实施这种感测功能。在一些情况下,可以指定新装置或系统中的一者或多者换能器来支持用于低频超声所感测到的音频频率范围,在制造时进行额外的测试以确保它们符合本说明书。
这种声学(可听的或不可听的)感测技术可用于多种目的,包括主动健康管理、医学装置和安全功能。
可以在运动智能装置或智能扬声器装置上实现运行高达约25kHz的低频超声系统。这使用电子装置上的一个或多个换能器向一个或多个对象传输声能,其中换能器被配置为在包括小于25kHz的频率的频率范围上生成声能。扬声器可以包含在智能电话、智能扬声器、条形音箱、便携式电视机屏幕、或包含能够支持低频超声学感测和处理的换能器的许多其他装置和配置中。许多现代车辆包括可以控制许多汽车仪表和功能的车载处理器/计算机。如果这样的计算机被实施为控制汽车的扬声器系统或汽车内的其他扬声器,则其有效地创建智能扬声器系统。虽然本说明书的各方面在某些情况下将车辆识别为汽车,但是应理解,对汽车的感测(例如,超声探测)原理和考虑可应用于其他类型的车辆中的生物测定感测,诸如卡车、公共汽车、火车、飞机、船等。
可以从车辆内的所感测到的音频信号中提取并分类可听声音,诸如呼吸声音、咳嗽声音、睡着时打鼾声音、气喘声音、喘息声音、语音声音、嗅闻声音、打鼾声音,以便允许将这些声音与将被检测以用于运动感测的反射感测信号隔离。这些声音中的一些(例如,咳嗽)可以掩蔽感测信号(特别是如果其以非常低的声压级操作),这是不期望的。然而,这样的声音仍然可以是可检测的,使得它们可以与其他环境声音(例如,汽车喇叭鸣笛、电机噪声、街道声音、风、砰的一声或关门等)分离。呼吸音在安静环境中通常具有更好的信号质量,并且当采用主动感测方法诸如SONAR或RADAR(包括RF方法)(其主要检测躯干和肢体移动)或相机/红外系统时,可以提供吸气/呼气时间(以及因此呼吸率)的良好的第二估计值。换句话说,系统仍然可以提取关于声音特点的信息,即使是非常大声的声音,这意味着当相关联的信号质量下降到可接受的阈值以下时,我们需要跳过感测信号的小部分。
在SONAR系统中,由吸气或呼气引起的空气移动也可以通过跟踪所得到的行波阵面的方法来检测(由于在感测环境中建立的声学模式的干扰-如果感测信号持续足够长以经历混响)。直接从可听信号检测打鼾更容易,因为其是例如通过使用移动平均滤波最大分贝水平(即,信号的滤波区段的最大值)来将打鼾分类为轻度(40-50dB)、中度(>50-60dR)或重度(>60dB)的相对大声的过程。(参见Nimrod Maimon,Patrick J.Hanly“打鼾强度与阻塞性睡眠呼吸暂停的严重程度是否相关?”J Clin Sleep Med.2010Oct 15;6(5):475-478.)
因此,在一些情况下,处理装置100可以使用用于检测呼吸的运动检测(例如,声纳)技术。然而,在一些情况下,可以由用于呼吸检测的处理装置100来实施麦克风处的可听呼吸信号的声学分析。
RF(RADAR)感测
一些现有的汽车警报系统可以包括用于简单的内部移动检测的单脉冲多普勒雷达模块,特别是在软顶车辆(可转换的)和/或运动汽车中。这些可以被增强(利用更新的软件)或用能够将运动检测定位到车辆的特定区域的模块来替换,特别是能够检测和区分每个座椅/就座区域上的人。可以用诸如超宽带(UWB)感测信号或调频连续波(FMCW)感测信号的技术来增强传感器,或者在其生成的感测信号中包括诸如OFDM、PSK、FSK等其他编码方案。这些可以用具有精确测距能力(1cm或更小)的传感器来实施。这样的传感器可以在限定的区域中进行感测(例如,经由可以被配置为在车辆内具有特定座椅定向的感测方向的天线设计来设置)。在一些情况下,可以针对特定感测区域实施多个天线,并且多个天线可以与波束形成技术一起使用以设置与不同天线相关联的距离感测差异。在车辆中可以使用多个传感器来提供人(或宠物)可能处于的多个区域的覆盖(例如,用于每个座椅的传感器)。
多模式数据处理
当使用SONAR、RF或红外检测器时,处理装置100可以接收由车辆的设备(例如,用于估计占有率)生成的附加数据或信号,使得生物运动感测可以基于来自这样的设备的数据。例如,检测是坐在给定座位上的人的座位负载传感器可以向生物运动处理装置100提供信息,以相对于可能与特定座位相关联的感测来确定何时启动生物运动感测。类似地,安全带传感器可以检测人是否已经夹住安全带,或者是否安装了儿童座椅,以便为用户相关的生物运动感测提供用户存在的指示。红外系统可以任选地例如与能够跟踪人眼移动的相机系统结合,诸如用于嗜睡检测。还可以实施其他汽车或车辆传感器,以向处理装置提供关于车辆特点的数据,用于辅助感测或生成输出。例如,来自速度计的车辆速度和/或来自转速计的发动机转速(RPM)可以向处理装置100提供用于滤波感测信号的信息,诸如以去除与车辆相关的噪声(例如,发动机噪声或风噪声等)。
处理装置可以配置有用于评估用于检测生物运动特点的相关范围/距离的距离信息。例如,处理装置100可以具有诸如小汽车的车辆内部的距离映射(地图)。可以在设计阶段初始提供这样的映射,例如被提供用于指定初始感测配置。任选地,在处理装置的控制下,感测系统可以动态地更新(或检测)一个或多个人使用时的车辆(例如车厢)的地图。初始配置可以例如捕获/检测座椅的位置,以及最可能的座椅配置(诸如在标准5座汽车、小型货车、休闲车等中);在座椅可移动的情况下,传感器可以向系统报告当前设置以更新感测参数(例如,当座椅向后或向前滑动或折叠时,坐着的人的位置可以相对于汽车中的感测扬声器移动等)。
为了监控运输卡车的内部、例如设备或包装的货盘、架子等的位置,处理装置可以包括具有传感器的自动重新配置过程,以便拒绝静态对象进行分析,并且在人可能隐藏的任何自由空间中提供感测。为了监测救护车或其他病人运输车辆的内部,考虑到担架的可移动性质和位置,处理装置可以包括自动重新配置。还可以监测房车或拖车的内部。
生物测定特征检测-呼吸、心脏、移动和距离
处理传感器信号
例如任选地如果处理装置没有执行解调,那么特别包括处理装置100的系统可以从传感器(诸如从SONAR、RF/RADAR或红外线)接收解调信号。然后,处理装置100可以通过分离感兴趣的分量来处理信号,感兴趣的分量诸如是直流信号DC和极低频VLF(例如,气流)、呼吸、心率和生理移动信号。可以通过在快速傅里叶变换(FFT)车窗口中的仓搜索和跨越车窗口的跟踪来评估/检测以上这些,和/或经由对特定范围(例如,针对使用解调信号的复FFT分析提取的特定距离范围的“时域”信号)的时域信号的直接峰/谷或过零点分析来评估/检测以上这些。由于FFT是由例如国际专利申请PCT/EP 2017/073613中描述的FFT来执行的,所以这有时被称为“2D”(二维)处理。
对于SONAR感测,可以在音频带中找到重要的其他信息并由麦克风拾取。这样的信息可以是信息娱乐声音(音乐、无线电、电视机、电影、电话或视频呼叫(包括人类语音、在运动或停止时的车辆噪声、环境噪声和其他内部和外部声音)。这些音频分量中的大部分可以被认为是干扰,并且可以从生物测定参数评估中被抑制(例如,被滤波)。
对于雷达感测,可以抑制来自其他RF源的信号分量,其他RF源诸如是其他车辆(例如,用于人的内部生物测定检测的、用于自适应巡航控制、防撞、自主驾驶等的测距功能)。
对于红外感测(诸如当除了眼睛跟踪之外还执行生理感测时),温度变化和太阳位置可能引起干扰并且可能被考虑在内。因此,可以在处理感测信号时评估诸如来自车辆温度传感器的温度传感器和时间。
与所使用的精确感测技术(RF、IR、SONAR)无关,(例如,通过使用带通滤波器的带通滤波、通过包络检测器评估),然后通过峰值/波谷检测器)对所接收到的时域解调的反射信号可进行进一步处理。可以用Hilbert变换或通过对呼吸数据进行平方、通过低通滤波器发送平方后的数据,并计算得到的信号的平方根来执行包络检测。在一些实例中,呼吸数据可以被归一化并通过峰谷检测(或任选地,过零点)过程发送。检测过程可以分离吸气和呼气部分,并且在一些情况下,可以被校准以检测用户的吸气和呼气部分。
呼吸激活通常在0.1至0.7Hz的范围内(每分钟6次呼吸-诸如从起搏的深呼吸到每分钟42次呼吸-成人中的非典型快速呼吸速率。心脏激活反映在较高频率的信号中,并且可以通过用具有从0.7Hz到4Hz范围(每分钟48次搏动到每分钟240次搏动)的通带的带通滤波器进行滤波来访问这种激活。由于总运动而导致的激活通常在4Hz至10Hz的范围内。应当注意,在这些范围内可以存在重叠。强(干净)呼吸轨迹可以引起强谐波,并且需要跟踪这些以避免将呼吸谐波与心脏信号混淆。在距离换能器较长的距离(例如,几米)处,检测相对小的心脏机械信号可能是非常具有挑战性的,并且这样的心率评估更适合于用户安静地躺在智能扬声器的仪表内的设置,诸如在椅子/长椅上或在床上。
一旦确定了不存在/存在为“存在”,则针对传感器领域中的一者或多者人执行呼吸、心脏和运动/激活信号(以及它们的相对位置和速度,如果移动的话,诸如进入和离开车辆)的评估。可以看出,产生测距信息的系统能够分离多个人的生物测定数据,即使多个人具有相似的休息呼吸速率(这在年轻夫妇中并不罕见)。
基于这些参数,可以准备各种统计测量(例如,平均值、中值、第3矩和第4矩、对数、平方根等)、波形(形态处理),然后提供给表征系统,诸如简单分类或逻辑回归函数,或使用神经网络或人工智能系统的更复杂的机器学习系统。处理的目的是从所收集的生物测定数据获得进一步的了解。
这些见解的实例可大致表征为安全性相关、消费者健康相关和医学性质。
睡眠分段分析
由于不存在/存在/觉醒/(NREM)睡眠阶段1/睡眠阶段2/睡眠阶段3(慢波睡眠SWS/深度)/REM具有与代表睡眠周期的基础睡眠架构相关的序列,因此将其视为有序而非无序问题(即,反映人在一个状态保持一段时间的典型睡眠周期)是有帮助的。睡眠的顺序在例如整个夜晚(“睡眠”)赋予观察明确的顺序。
一些系统还可以利用“正常”睡眠模式的知识,该睡眠模式在接近夜晚开始时具有更(更普遍)深睡眠(SWS),并且在接近夜晚结束时具有更多的REM睡眠。的该先验知识可以被用于加权(例如,随着时间调节这些状态的先验概率)用于正常睡眠者的分类系统;然而,应当注意,来自人口常规值的这些假设可能对于非正常睡眠者或在白天定期睡眠或睡眠卫生差(不良睡眠习惯,诸如广泛变化的“上床”和“起床”时间)的那些睡眠者不适用。
传统上,已经在追溯到Rechschaffern&Kales指南(Rechschaffern和Kales,1968)(用于人类受试者的睡眠阶段的标准化术语、技术和评分系统手册,美国公共卫生服务公司,美国政府打印办公室,华盛顿特区1968年)的30秒“时期”中考虑到睡眠阶段,当看脑电图EEG时,发现30秒间隔理想地用于以10mm/s的纸速观察阿尔法和纺锤(一页相当于三十秒)。当然,睡眠和清醒(以及不存在/存在)的实际生理过程将不均匀地分成30秒的块,因此可以选择更长或更短的时间。本文概述的系统优先使用1秒(1赫兹)睡眠阶段输出,尽管它以重叠方式使用较长数据块来每1秒(1赫兹)递送更新(具有与底层处理块大小相关联的相关延迟)。使用此1秒输出以更好地显示睡眠循环中的微小变化/转变。
睡眠特征-手动和自动生成的
所感测到的信号(表示距离对时间(运动)信息的信号)用于计算各种特征,诸如睡眠特征。这些特征然后可用于导出关于用户的生理状态的信息。
对于特征生成,可以实施多种方法。例如,人类专家可以基于其经验,通过查看呼吸和其他生理数据及其分布,理解特定变化的生理基础以及反复试验,从处理或未处理的信号手动产生特征。或者,机器可通过某种人类监督(“机器学习”领域的核心概念)来“学习”特征,其中提供具有预期结果的经标记数据且提供某种人类帮助,或以全自动方式来“学习”特征,其中可提供一些或不提供经标记数据。
可以在以下广泛的类别中广泛地考虑深度学习:深度神经网络(DNN)、卷积神经网络(CNN)、递归神经网络(RNN)和其他类型。在DNN内,可以考虑深度信念网络(DBN)、多层感知器(MLP)以及堆叠式自动编码器(SAE)。
深度置信网络(DBN)拥有生成能力,例如从输入数据自动生成特征。用于此目的的另一种方法是有助于在预处理数据中找到固有结构的无监督学习的形式的模糊C-均值聚类(FCM)。
可以通过将数字信号处理技术应用于所感测到的移动数据来形成手工特征。在理想情况下的呼吸信号是完美的正弦曲线,具有两个振幅(深或浅)和恒定频率(恒定呼吸速率),描述为你吸入然后呼出。在现实世界中,它可能远离正弦曲线-尤其是如经由基于声学或射频的感测方法从躯干区域所检测到的。例如,吸气可能比呼气更深并且更快,并且如果保持呼气一会儿,则可能在波形上出现凹口。吸气和呼气幅度以及呼吸频率可以变化。一些提取方法集中在检测峰和谷,然后检测两者的较好质量(即检测局部峰和丢弃谷)。如果需要峰值时间和谷值时间两者以便评估吸气时间和呼气时间两者以及体积(例如,通过时域信号相对于计算的参考基线的积分来计算),则这不理想,但是对于呼吸速率评估可能足够好。
可以使用各种方法来帮助评估任何这些特征,诸如呼吸和/或心率或幅度。
例如,峰值和谷值候选信号提取需要从噪声中恢复呼吸波形状,并且可能存在各种带外和带内噪声,通常具有较低频率噪声的优势,这可能使较低呼吸速率的准确检测复杂化(例如,每分钟4-8次呼吸,虽然对于自主呼吸是不寻常的,但是如果要求用户将他们的呼吸引导到较慢的速率,则可能出现这种情况)。时域检测方法包括使用自适应阈值在低通滤波之后的最大和最小检测(其在多个呼吸的块上调节以允许连续地检测深浅呼吸)。任选地,信号可以被低通滤波和微分(例如,导数函数)。然后,可以检测与最大变化率相关的微分信号中的峰值,以提供呼吸事件的指示。这种方法提取呼吸波形的基准点,呼吸波形被建模为在其上具有一些噪声的正弦曲线。LPF去除高频噪声。然后进行区分并检测峰。实际上,这找到了原始信号的最大变化率的点,而不是原始信号的峰和谷,因为呼吸波形在最大变化率时通常是最清楚的,而不是比方说宽的峰(例如,如果呼吸保持持续短时间)。一种可能更稳健的方法是检测过零点(在固定的或自适应的基线附近区域),因为边界的交叉不直接受信号幅度的局部变化的影响。
虽然呼吸信号在时域信号中可以是容易可见的(取决于胸部离(一个或多个)传感器的距离和角度),但是与呼吸相比,心脏运动通常是非常小的信号。较高次的呼吸谐波(例如,与波形相关的同频信号)可以使心脏信号提取复杂化,并且需要被拒绝,或者被检测和排除。
也可以将频域方法应用于例如呼吸数据。这些方法可以包括使用FFT(其可以被加车窗以对抗频谱泄漏)的频带中的所检测到的峰值,该FFT使用可以重叠(例如,被重复移位例如一秒的数据流的30s的数据块)或非重叠(例如,数据流被认为在三十秒块中是非重叠的)的数据块。也可以使用利用Welch方法的功率谱密度PSD,或者参数模型(自回归),随后进行峰值搜索。当呼吸信号变得不太成正弦曲线时,谱峰将趋于更宽(更分散),并且如果形状具有尖锐的峰、尖锐的谷或凹口,则可以包括谐波。另一种方法是使用自相关(描述信号与自身的移位版本的相似性)来评估呼吸速率,其中假设基础呼吸波形在一段时间内相对稳定,并且自相关中的周期性局部最大值可以由最可能的候选(例如,与噪声无关)来跟踪和滤波,以便评估呼吸速率。可以在时域中进行自相关,或者在频域中通过FFT进行自相关。时间频率方法,诸如小波也是有用的,其中选择具有正弦形状的合适的小波(例如Symlet、Debauchies等),其可以执行强的去噪;再次,最终在感兴趣的时间尺度(即,在目标呼吸速率范围内)执行峰值检测。
将时域信号应用于卡尔曼滤波(递归算法)来评估系统状态;该方法提供了仅基于使用先前步骤来预测系统的未来未知状态的方法。除了滤波之外,它还可以提供诸如大运动、呼吸和心脏移动的信号分离。
车载式感测(噪声污染观察(例如,用于车载感测,但也适用于在其他噪声环境中检测生理移动)
呼吸峰和谷的任何检测需要注意潜在的混杂效应,诸如如果对象停止呼吸(例如,呼吸暂停)或表现出非常浅的呼吸(例如,呼吸不足)则对象进行大的移动(例如,在床上滚动或在驾驶的同时移动)。使用能够跟踪位置的感测提供了分离这些效果的有用手段。例如,可以将滚动看作高频移动以及空间位置的变化。因此,后续呼吸的幅度可以更高或更低,但仍然是“健康”呼吸。换句话说,所检测的幅度变化可能是由于所提取的接收呼吸信号(在下变频等之后)强度的变化,而不是人的呼吸的变化。因此,可以看出这可以允许新颖的校准方法,其中所检测到的距离可以用于将信号强度与呼吸深度相关联(并且因此近似潮气量。在没有观察到这种移动或移位的情况下,可以将指定持续时间范围的减小、停止或改变(例如,由于阻塞性事件期间胸部和腹部上的反常移动而导致的疾病)识别为异常呼吸(例如,呼吸暂停/呼吸不足事件)。
可以看出,实用的、鲁棒的心肺评估系统可以依靠多种方法来定位参数。对于良好的信号质量情况,频率(或时间频率)评估可以定位可能的呼吸速率、局部呼吸可变性的评估,然后提取微小的峰和谷时间,并且用范围进行校准,以便评估吸气和呼气体积(用于睡眠分段的有用特征)。期望这种信号质量度量随时间变化。如果在测量的呼吸速率中存在变化,则可以在不同的时间尺度上进行处理,例如,在30、60、90、120、150秒等上求平均或中值滤波。
在SONAR情况下,原始接收波形的包络(例如,声学FMCW信号的包络)可以被处理为主输入,或者被处理为副输入,诸如当实施其他附加感测信号时,用于呼吸率评估(诸如用于使用SONAR来提供用于RF感测系统的额外信息,反之亦然)。这基于检测人的呼气的空气中的实际扰动的特点。这意味着在车厢、房间或车辆(例如,来自开放的车窗、附近的空调单元、附近的加热器等)没有其他强空气流;如果存在,则可以丢弃它们对测量值的影响,或者使用它们来检测环境中气流的变化。
大的气流将倾向于作为穿过距离单元的低频移动(即,穿过距离流动的扰动)是可检测的。这对于感测具有更多混响(例如,允许一个频率的能量在房间中积累,以及相关联的房间模式)的波形来说是更明显的。
当考虑跨一般群体(即,包括具有正常健康状况的用户、具有各种健康状况的用户,包括诸如睡眠呼吸暂停、COPD、心脏问题等呼吸状况)工作的睡眠分段系统时,可以看到,呼吸率和心率的基线可以广泛地变化。以年龄、性别、体重指数(BMI)为例。对于类似的年龄和BMI,女性可能具有比男性稍高的基线呼吸率(尽管最近在4-16岁的儿童中的研究没有显示统计学差异)。具有较高BMI的那些将倾向于比类似年龄的某人的平均值呼吸更快。儿童正常呼吸频率比成人高很多。
因此,在一些版本中,可以在应用深度信念网络(DBN)之前,利用混合实施方式来制造诸如具有与传感器类型无关的处理装置100的系统,诸如其中形成初始信号处理和一些手工特征。(混合实施方式涉及结合机器学习的特征的人类“手工制作的”、数字信号处理(DSP)导出的特征的混合。)使用来自睡眠实验室或家庭PSG的专家评分多导睡眠图(PSG)过夜数据集、来自世界各地的多个站点来执行初始监督训练,并且使用指定的评分方法由至少一个评分器来评分。从利用一个或多个选择感测方法收集的数据集执行进一步的无监督训练。这使得系统能够在睡眠实验室之外反映新的和更加多样的数据。
在手工制作的特征方面(即,人类工程师/数据科学家已经设计、选择或创建了它们),提取具有相关联的信号质量水平的呼吸信号,其中感兴趣的特定特征是呼吸速率在不同时间尺度上的可变性,以及吸气和呼气时间的变化。形成用于清醒和睡眠的个性化基线呼吸率的评估。例如,已知在清醒时呼吸率可变性的短期变化可以与情绪和情绪变化相关,而在睡眠时这些变化与睡眠阶段的变化相关。例如,呼吸率可变性在REM睡眠中增加。呼吸率自身的长期变化可以与精神状况的变化相关,诸如提供精神健康的指标。当用户睡着时,特别是当在更长的时间标度上分析时,并且与群体标准值相比,这些影响可能更深刻。
可以使用测量的呼吸率的可变性作为用户的状态(睡眠/清醒)或睡眠阶段(REM、N1,然后是N2,然后在SWS睡眠中最低)的指示。例如,当在正常健康人中在诸如15分钟的时间段内查看标准化的呼吸率变化时,当他们清醒时可以看到最大的变化;这种可变性在所有睡眠状态中下降,在REM睡眠中次之(但仍然小于苏醒时),然后在N1中进一步减小,再在N2中进一步减小,然后在SWS睡眠中最低。总之,在REM睡眠中由于呼吸引起的空气压力可以增加,这可以对所检测到的声学信号具有影响-在安静的环境中或在安静的时间可以检测潜在的额外特征。
对于健康人,这种归一化的呼吸频率值不应当在不同的位置(仰卧、俯卧、侧卧等)之间显著变化。然而,应当注意,可能需要对正确潮气量进行校准。例如,系统可以整夜归一化,因为一个人的平均呼吸率可以是例如在睡着时每分钟13.2次呼吸(BR/MIN),而另一个人的平均值可以是17.5BR/MIN。这两个速率显示每个睡眠阶段相似的可变性。速率的差异仅仅掩蔽可能被考虑用于对睡眠状态进行分类的改变。系统可以考虑平均速率(或总速率图)以用于其他目的,诸如随时间推移与自身进行比较,或者实际上与类似人口统计中的某个人进行比较。对于患有阻塞性睡眠呼吸暂停(OSA)的人而言,预期呼吸可变性将在仰卧位置(背卧)增加-用户的呼吸健康的潜在有用指示。
具有混合型呼吸暂停或中枢性呼吸暂停的对象在清醒期间倾向于显示出比正常对象更大的呼吸可变性(有用的生物标志物),在清醒期间也具有相对于正常的变化,这不是显而易见的(但在许多情况下仍然存在)。
系统可以随时间学习个人特定的睡眠模式(例如,呼吸可变性);因此,非常期望一种一旦部署就位,就能够执行无监督学习的系统。
这些模式可以过夜(即,在睡眠期期间)变化并且可以受到在睡眠期期间发生的呼吸暂停的影响,如呼吸的部分或完全停止(或当存在阻塞的气道时胸部和腹部的反常移动)。可以看出,如果计算睡眠阶段,处理问题的一种方式是通过抑制具有所检测到的呼吸暂停的周期(和呼吸速率中的相关联的振荡)。可以简单地标记呼吸暂停和潜在的微唤醒,而不是试图在时间点对睡眠阶段进行分类。周期性呼吸模式(诸如潮式呼吸(CSR))具有强振荡模式;这些也可以在睡眠预处理阶段期间被检测。尽管CSR可以发生在任何睡眠阶段,但在非REM睡眠中暂停倾向于更有规律,而在REM睡眠中更有规律(系统可以使用信息来改善具有CSR的对象的睡眠分段)。
类似地,可以用抑制与呼吸波形形态相关的任何谐波的处理步骤来提取心脏信号。检测诸如阻塞性、混合性或中枢性呼吸暂停的特定模式,以及任何相关的恢复呼吸和与通气相关的移动。根据心脏信号,基于生理上可能的心率值来评估搏动间“心率可变性”(HRV)信号。可以计算频谱HRV量度,诸如平均呼吸频率的对数功率,LF/HF(低频与高频)比、归一化的HF的对数等。
逐次搏动时间(HRV波形)的HF谱是0.15-0.4Hz范围内的功率,与2.5至7秒的副交感神经或迷走神经激活(呼吸性窦性心律失常-或RSA)的节律有关,并且有时被称为“呼吸带”。
LF频带为0.04-0.15Hz,认为其反映静止时的压力感受器活性(并且一些研究建议可能与心脏交感神经支配具有关系)。
极低频(VLF)HRV功率在0.0033-0.04Hz之间(300至25秒),且降低的值与心律失常和创伤后应激障碍(PTSD)有关。
也可以使用时域方法,诸如SDNN(正常心跳间隔间的标准偏差-以捕获长期可变性)和RMSSD(连续心跳间隔差的均方根-以捕获短期可变性)提取HRV参数。RMSSD还可以用于筛查不规则不规律的逐次搏动行为,诸如在心房纤颤中所见的。
就HRV而言,所计算的LF/HF比的变化是非REM睡眠的可检测特征,在REM睡眠期间向“交感”HF优势变化(其可能与交感神经到副交感神经平衡有关)。
更通常地,REM睡眠中HRV典型地增加。
当随着时间分析时,呼吸速率和心率信号的长期平均值或中值对特定的人是重要的,尤其是如果存在一些干预,诸如药物治疗、病后痊愈(身体或精神)、健康水平的改变、睡眠习惯随着时间的改变。它们在人与人之间的直接比较方面有点不是很有用(除非使用非常相似的分组策略)。因此,对于呼吸和心脏可变性特征,将这些归一化(例如,根据度量归一化、去均值、去除中值等)以使得能够在群体中更好地进行概括是有用的。
进一步分析所提取的特征可以利用深度信念网络(DBN)。这种网络由受限波尔兹曼机(RBM)、自动编码器和/或感知器的构建块组成。DBN对于从这些提取的特征中学习是特别有用的。可以在没有监督的情况下使用DBN,然后用标记的数据(即,通过人类专家输入确认的数据)进行训练。
可以传递到DBN上的所提取的特征可以包括:呼吸暂停类型和位置、呼吸率及其在不同时间标度上的可变性、呼吸、吸气和呼气时间、吸气和呼气的深度。心率及其在不同时间标度上的可变性、心冲击描记图搏动形状/形态移动以及激活类型诸如总移动、PLM/RLS、信号质量(随时间测量的完整性)、用户信息诸如年龄、身高、体重、性别、健康状况、职业等。还可以计算诸如信号的偏度、峰度、熵等其他统计参数。DBN将自己确定几个特征(对其进行“学习”)。有时可能难以理解它们所代表的是什么,但它们常常比人做得更好。挑战是它们有时可能在差的局部最优值处结束。一旦他们已经“学习”了特征,系统就可以用一些标记的数据(例如,由人类专家输入的数据)来调节它们,可以对特征(一个专家或多个专家的共识)进行评分。
DBN还可以从输入参数直接学习新的特征,该输入参数包括呼吸波形、激活水平、心脏波形、原始音频样本(在SONAR情况下)、I/Q生物激活数据(在SONAR或RADAR情况下)、强度和颜色水平(例如,来自红外相机的数据)等。
单纯使用手工特征的机器学习方法是“浅学习”方法,其在性能水平上趋于稳定。相反,随着数据大小的增加,“深度学习”该方法可以继续改善。上述方法使用深度学习(在这种情况下为DBN)来创建用于经典机器学习的新特征(例如,取新特征、通过特征性能来优胜特征选择、用ICA(独立分量分析)或PCA(主分量分析)来白化(即,维度缩减),以及使用基于决策树的方法(诸如随机森林或支持向量机(SVM))来分类。
如本文所使用的,完全深度学习方法避免了这样的特征选择步骤,这可以被看作是一个优点,因为这意味着系统不使用在人群中看到的庞大种类的景象。然后可以从未标记的数据中学习新特征。
用于这些多模式信号的一种方法是首先在每个信号上,然后在链接的数据上训练深度信念网络。其基本原理是,某些数据流可能简单地在时间段内无效(例如,心脏信号质量低于可用阈值,但是存在可用的良好质量的呼吸、移动和音频特征信号,在这种情况下,来自心脏数据的任何学习或导出的特征对于该时间段将是无意义的)。
对于分类,可以应用基于序列的方法,诸如隐藏马尔可夫模型(HMM)。这样的HMM仍然可以任选地用于输出,以便分离睡眠阶段,以便将输出睡眠图映射到分级的“睡眠架构”,这可以通过医院睡眠实验室PSG系统来提供,并且使异常睡眠阶段切换最小化。然而,如果我们认识到睡眠是渐进的生理过程,我们可能更喜欢不强迫系统进入少量的睡眠阶段,并且允许系统捕获渐进的变化(即,在睡眠状态“之间”具有更多的时间)。
不具有隐藏层的更简单的状态机方法是可能的,但是最终可能具有在大量睡眠者中泛化的问题,每个睡眠者具有其自己独特的人体生理特点和行为。其他方法如条件随机场(CRF)或变体诸如隐藏状态CRF、潜在动态CRF或条件神经场(CNF)或潜在动态CNF。应当注意,长短期记忆(LSTM),特别是当应用于序列模式识别时(在正常健康睡眠者中是更典型的)可以具有良好的辨别能力。
半监督学习可以使用循环神经网络(RNN)来执行,其可以有效地在未标记数据中找到结构。RNN是具有输入/隐藏层和输出的标准的神经网络结构。它使用图展开和参数共享技术对输入/输出排序(即,下一输入取决于前一输出-即,隐藏单元具有传递信息的循环连接)。对于自然语言处理应用,LSTMRNN是公知的(利用LSTM来克服爆炸和消失梯度问题)。
在检测睡眠开始方面,如果语音识别服务正在运行,用户的语音命令可以用作“唤醒”(不要与无意识的睡眠交谈混淆)的第二决定因素。如果使用(由用户解锁的)个人智能装置,则通过UI输入、加速度计、陀螺仪等的移动,这也可以用作唤醒的决定因素以增强其他睡眠/唤醒感测服务。
汽车感测(与自行式车辆或机器相关):
低频超声波感测也可用于汽车/车辆设置中(例如,在汽车、卡车和其他运输类型中)。车载娱乐(ICE)或车载信息娱乐(IVI)是提供音频或视频娱乐的汽车硬件和软件的集合。相关联扬声器、麦克风和处理电子器件的可用性可用于声纳感测。
有几种不同类型的应用。
例如,该技术可以被实施用于安全应用,诸如检测车辆的占用,诸如对于意外留在车辆中的儿童或婴儿、在卡车后面的偷乘者、卡车中小睡的驾驶员、或已经闯入车辆的入侵者。因此,当用户离开车辆时,如果通过车辆内的运动感测检测到人,诸如在利用门传感器感测到门关闭并且利用电动机操作传感器感测到车辆关闭时,处理装置可以生成警报。处理装置100的感测技术还可以被配置为在传统入侵者警报情况下在未经授权的时间检测车辆中的人并且生成警报。
处理装置的技术还可实施为在车辆停止或运动时监测呼吸、心脏信号和运动以检查健康状态、监测疲劳、警觉或睡眠状态(睡眠或清醒)和/或睡眠阶段(浅睡眠、深睡眠、REM、阶段1至3等)。
对于具有诸如车道偏离、座椅传感器和/或眼睛跟踪的系统的车辆,该技术可以提供关于驾驶员的注意力水平的额外信息。例如,处理装置可以通过评估所感测到的运动(例如,呼吸、心脏和/或全身运动)来检测嗜睡,并且在检测到嗜睡时生成警报。
对于半自主车辆,处理装置100可评估来自其他传感器的信号/数据,其他传感器例如方向盘压力或用户握力(例如,非接触,应变仪,触摸传感器或力传感器)和方向盘角度(例如,非接触,光学传感器),以确保这样驾驶员的警觉性水平和健康状况使得如果驾驶系统遇到将另外得益于人类介入的异常或危险情况(例如,需要做出伦理决定),则人保持注意干预。
对于不需要用户(驾驶员)干预的完全自主的车辆,如上,处理装置100可用于监测用户睡眠并提供定制的睡眠程序以允许乘坐者可以安睡或小睡,使得用户可在他们的目的地醒来、警觉和精神焕发。任选地,处理装置可以监测用户的健康状况,并且在检测到用户/乘客的危险状况(例如,心脏或呼吸衰竭)的情况下,处理装置可以生成与警报的通信(例如,到医学目的地)和/或改变车辆到医学目的地(例如,最近的医院)的导航路线,并且利用自主控制系统来设置/控制车辆的移动以驾驶到医学目的地。任选地,响应于这样的检测,半自主或自主控制系统可以控制车辆进入安全停车并产生识别车辆位置的通信(例如,自动语音移动电话呼叫)以紧急医学支持并识别紧急情况的本质。
技术可以实施如下:1/在具有扬声器/MICS和可以升级(例如,通过更新系统的软件)的车辆控制系统的现有车辆中,2/在新的车辆信息娱乐设计中,可以安装附加/车体组件系统以实现感测和相关联的服务,以及3/在任何车辆中,可以激活诸如智能电话或智能扬声器的便携式系统并且用于感测和用户界面。
支持现有的常规车队-安全和保护
例如,可以在汽车中使用现有立体声系统(例如,其中包括单独的高音扬声器(被设计为再现高频的扬声器))来实现感测能力,尽管简单的单锥全范围扬声器也可以是有效的)来检测不存在和存在。优选地,将在汽车行驶时操作这种感测能力,但也可以在车辆停车时以非常低的功率水平来使用这种感测能力,以出于安全原因检测人或动物的呼吸(例如,如果儿童或婴儿或实际上宠物意外地离开汽车,则检测并发出警报)。这种系统的优点是不需要改变现有的汽车硬件。例如,感测能力可以实施为升级到头单元/放大器的软件(尤其是在头单元支持应用的情况下)。由此,能够以较低的成本升级现有的车队。在许多这样的情况下,这样的系统包括具有噪声消除特征的一个或多个麦克风,并且具有足够的质量以用作本文的传感器。在这点上,它们具有能够感测本文中所描述的音频信号(例如,低超声频率)的频率响应。
加装套件/智能电话
车体组件蓝牙汽车配件(有线连接到汽车扬声器或独立地)也可以升级以包括在本文中所描述的感测技术。
此外,如果在汽车中使用智能电话,则智能电话可以作为包括提供用于车载感测的配置的应用的处理装置来操作。
扬声器和用于感测的麦克风位置
诸如在期望手移动与方向盘、换挡和腿部移动相关的情况下,仔细选择扬声器和麦克风位置对于实施驾驶员的准确感测是有益的。在A柱和门卡或门板(在多扬声器系统中实际上相当普遍)附近区域使用仪表板位置可以提供良好的胸部视野。结果,典型地,乘客将具有比驾驶员更少的“运动”。
如果可获得比麦克风多的扬声器,则处理装置100可以操作不同的个体扬声器以监测不同的个体,同时利用公共麦克风进行感测。例如,处理装置可以为不同的扬声器生成不同感测频率范围的感测信号。如果可能,可以在汽车的前部和后部配置独自的麦克风以提供一些空间分离。理想地,扬声器和麦克风组合可以被实施用于每个座椅位置(即,用于每个人),作为汽车娱乐系统中的整体的一部分。
存在各种不同的感测场景(其可以受益于不同的感测波形/方案),诸如检测汽车中的一个或多个特定人(例如,针对每个座椅的个体感测)的场景与检测汽车中的任何东西的场景与检测较大空间(例如,大型卡车、集装箱等)中的任何事物(其作为用于安全/安全目的占用检测器可能更有用)的场景。
一个挑战涉及噪声水平与发动机噪声的差异(内燃发动机)、混合动力车辆和电动力车辆。可能存在发动机/马达噪音、安装件传递、车身传递以及由此产生的内部噪音。除了动力系引起的噪声之外,在轮胎噪声等级(以及磨损水平)、车体的咔嗒声、车厢的尺寸和形状(例如,死区和回声)、风引起的噪声和道路引起的噪声方面存在差异。由于噪音和车厢结构,汽车是难以精密地听声音系统的地方。反射、驻波、共振、不平坦的内表面、共振频率和用于适当扬声器放置的不足够空间可影响声音质量。
在扬声器的方向性方面,感测可能受到扬声器指向人的位置(例如,如果被放置在门卡中)或它是否需要多路径检测(例如,从挡风玻璃反射的仪表板扬声器、在后包裹架中面向上的后扬声器)的影响。
在汽车中存在明显混响的范围(因为它可以被粗略地认为基本上是外壳),但是可能存在这样的优点,即用户通常处于相对静止的位置。
汽车通常首先被设计为运输工具,然后被设计为收听环境(可能是后来的设计步骤之一)。这可以随着信息娱乐系统的改善而随时间变化。
射线跟踪是在>4kHz处对汽车声学进行建模的主要手段。这适用于新的汽车设计,但对于其中系统试图快速建模/映射汽车内部(例如,利用可听或不可听的探测序列)的改装系统可能不可行。家具、座椅类型、仪表板反射、车窗向下(部分或完全)的差异的变化影响了从一个车辆到下一个车辆的声音差异。SUV和其他类型的汽车(例如,蓬式汽车/软顶汽车/篷式汽车)之间可能存在显著的差异。
最直接的车辆配置具有指向前座(其是汽车制造商使用的常见设置)的高音扬声器(扬声器)。在这种情况下,从说话者到座椅的中点可能存在指定距离,并且系统可以对坐在座椅上的人的深度进行建模。对于扬声器安装在门的上方(高音扬声器的典型位置)或仪表板或A柱的侧面上的情况,该系统可以检测人的侧面和前方。因此,系统可以使频率范围和调制方案适合于可能的距离。系统还可以选择对于混响噪声鲁棒的方案(即,其不允许在任何一个频率的感测能量在车厢中积累)。一个这样的实例是采用双斜坡FMCW的方案。这种感测可以由系统在每个余弦状序列之间开启和关闭,并且系统还可以调节每个序列之间的斜坡频率(利用“零”点来避免扬声器的可听咔嗒声)。由于车厢内噪声的可变性质,这种频率调节系统在汽车设置中是合乎需要的。例如,具有运动排气系统和显著的感应噪声的基于内燃机的跑车与电动汽车非常不同,尽管电动力系可能在较高频率下具有鸣音。
在安装高级音频系统或车体组件系统的情况下,高音扬声器可以被额定为超过30kHz,这提供了宽的工作频带(假设放大器部件使用足够的采样速率来避免混叠)。根据高音扬声器制造商,可以获得21-30kHz的上限。系统可以根据特定部件的制造差异使用稍高或稍低的频率。可以通过设置过程来检测这种频率的可用性(即,确定所安装的零件的能力)。
麦克风通常放置在车顶内衬中用于主动音频消除或免提电话使用。这些装置处于检测来自前方乘客的反射信号的有用位置。所提出的音频消除系统通常具有安装在车门上方中途的扬声器和多个麦克风(例如,车辆中至少4mics)。这种类型的配置适用于生物测定检测和生物测定鉴别/识别。麦克风频率响应将最终限制最高可用频率(例如,具有能达到25kHz的高音扬声器以20kHz滚降的麦克风最终将系统限制为20kHz)。可以通过设置过程来检测这种频率的可用性(即,确定所安装的零件的能力)。
在没有独立的高音扬声器的情况下,可以实施其他配置,其中在门中向下存在较大的仍然可以产生18kHz以上的锥形扬声器。这意味着应当使用较低的频率范围。
可以仅有一个麦克风放置在驾驶员附近。在这种情况下,系统仍然可以起作用,因为可以使用不同的频带和/或编码方案(例如,共用、重用频率范围,但是在时间上分开)。因此,四个乘客可以利用四个扬声器,其中每个扬声器监测一个人。这可以用理想的四个麦克风来实施。然而,其可以用一个麦克风来实施,其中处理装置在FMCW系统中针对不同的乘客选择不同的范围仓(即,使用声音到达相应乘客的躯干的估计时间)。
供暖、空调和车窗
处理装置100可以配置有车辆感测系统,使得其可以诸如通过访问来自车窗传感器的信号来检测车窗是否打开或关闭。在一些版本中,处理装置可以被配置为与车辆的CANBUS系统(在可用的情况下)通信以接收来自车辆的任何传感器的信号。例如,为了自动调节(或查询)电动车窗的(当前位置),可以由与适当的门模块(例如,乘客门模块)通信的车辆网络上的处理装置生成消息。这些实施方式中的一些是车辆制造商系统特定的(即,非OBD协议的一部分),并且可以使用来自现有位置传感器的数据。
例如,处理装置也可以从车辆控制系统读取鼓风机系统上的空调/风扇设置的不同参数(例如,检测哪些通风口/风门片打开(气流方向)、风扇速度等),并且用作对感测信号进行调节(例如,改变其幅度和/或波形)的基础,以便于利用感测信号进行合适的生理参数信号质量恢复。这种调节可以包括自适应地将用于感测的频带改变为受到较少干扰的频带,和/或将感测波形改变为具有更多或更少的混响。汽车传感器还可以获得其他参数,诸如检测汽车/车门是否打开或关闭,或方向盘的手动移动等。
自主车辆-睡眠、疲劳和警觉感测
自主驾驶的人工智能系统正在兴起。取决于自主车辆的自主水平,期望可以是在移动或停止时促进睡眠,或者在睡眠之前检测疲劳/嗜睡以进行干预。
在完全自主的车辆中,可能不包括方向盘、踏板和其他控制装置。这在旅行/通勤期间将车厢空间重新用作睡觉区域或工作区域(或者甚至用于锻炼)方面提供了新的机会。
车辆中的人可以使用例如低频超声学感测在清醒和睡眠时监测他们的生命体征。
当它们睡着时,处理装置100可以检查它们的呼吸波形以筛查睡眠呼吸暂停,并且检查呼吸和心率的病征。处理装置100然后可以呈现睡眠评分以及疲劳评分。该系统提供管理失眠和其他睡眠状况的机会。
可以提供呼吸夹带锻炼以帮助在这种自主车辆中引起睡眠。车辆的整个环境可以自动调节,以促进良好的睡眠质量。例如,用作信息娱乐系统的处理装置100可以被配置为产生主动噪声消除以降低车辆噪声。在一些情况下,处理装置可以控制车辆内的光线。例如,它可以对车窗透明度进行受控调节以在唤醒时间减少光线或增强光线,诸如用可控玻璃或电致变色玻璃来变暗或变亮。它可以控制用于光线调节的车窗上的自动百叶车窗和/或其他装置以将声学处理或隔音板(例如,共鸣箱、吸声车窗盖)设置在适当的位置以在车辆中形成安静的环境。
当它们接近目的地时,系统的处理装置可以考虑例如来自系统的GPS传感器的GPS车辆位置、睡眠或行进时间,和/或检测到的用户的睡眠状态可以控制这些装置来增加光线和声电平以便轻轻唤醒用户。
作为“自动出租车”或拼车辆中的乘客,处理装置可以包括放松和睡眠程序,以利用由处理装置控制和产生的声音和/或可视化来诱导。任选地,该处理装置还可以被配置为用于评估睡眠期间的呼吸,以便对该移动执行睡眠呼吸暂停测试(例如,对唤醒进行计数、呼吸暂停、呼吸不足)并且在苏醒时向用户报告它们。
值得注意的是,还可以在包括在当前提供道路和铁路上的运输的标准驾驶员操作的公共汽车和列车内的系统(例如,娱乐系统)中实施以上应用/操作。这些车辆通常由乘客使用长达几天和/或过夜旅行。也可以在飞机的娱乐系统中实施这些操作。
在半自主车辆中,作为人机接口的一部分,检测清醒(而不是睡眠或睡前)对于确保驾驶员能够对任何未预料到的道路情况做出反应是重要的。例如,取决于自主车辆的自主水平,这种车辆的处理装置可能要求用户能够干预,即,他们必须是警觉的并且“出现”。这种系统可以被集成以与其他车辆倦睡辅助装置,诸如座椅中的传感器、执行眼睛跟踪的相机等通信。该系统可以实施语音助理来与驾驶员交谈以基于响应来判断他们的当前警觉水平,并且如果他们可能进入微睡眠则采取行动。例如,这样的汽车可以增加声音作为警告和/或将汽车拉离道路并停止以允许驾驶员睡眠或醒来。因此,处理装置100的诸如睡眠或唤醒检测操作的运动检测能力可以用作对车辆控制操作的输入,以便控制对车辆操作(例如,车辆的移动、减速、停止、翻车,和/或改变目的地或向位置提供导航目的地以基于唤醒或睡眠的检测来帮助驾驶员(例如,咖啡店或饭店))。
在一些情况下,基于这样的检测,系统可以控制操作以阻止睡眠。例如,它可以生成声音,诸如分散注意力的声音。这种声音可以在人入睡之前提供很短的时间的帮助,但是可能足以允许他们在某些安全的地方驾驶以便停车来点咖啡或小睡,或者激活完全自主的返回家导航和/或自主驾驶功能。在示例中,分散注意力的声音可以包括以默认车厢铃声或其他车辆错误声音开始。这样的声音然后可以包括要唤醒的口头命令。操作可以包括通过机械摇动装置的控制来摇动驱动轮(诸如,利用(一个或多个)集成振动器)或者甚至汽车座椅靠背(例如,利用(一个或多个)集成振动器)。
用户在车辆内和车辆之间个性化
存在从汽车所有权到“作为服务的移动性”商业模式的转变。这意味着用户不再需要拥有汽车。更持久的汽车也促进这种服务(即,从内燃机移至电动机)以及都市/城市生活,以及汽车和乘坐共享服务的改善。它也可以由城市当局的要求促进以减少拥挤和增加空气质量。
这样的车辆的处理装置可以被配置为允许利用用户可定制的参数对车辆进行瞬时个性化。这允许跨许多车辆个性化用户体验-无论其是在定期重新拥有的汽车中、汽车共享服务中、还是在乘车共享/公共服务车辆中。这样的参数可以包括定制的和个性化的睡眠/小睡配置,这在存在独自的人类驾驶员或自主车辆的情况下是特别相关的。
例如,车辆的处理装置100可以监测用户在具有挑战性的汽车环境中的睡眠-包括例如噪声、运动、风扇/气流。为了促进睡眠,处理装置可以被配置为选择并优化导航路线、调节悬架设定及/或自动车辆控制风格(例如,诸如通过调节加速及/或制动而随意驾驶而非积极驾驶)以增强用户的睡眠。服从于用户的指令或其当前操作模式,车辆的处理装置100甚至可以选择到目的地的较长路线以允许有足够的时间用于小睡(以便用户获得睡眠周期的部分或全部,以便醒来时精神焕发/最小化睡眠惯性),和/或用于舒适性(选择具有更好的路面、更少的预测制动/加速或转弯事件等的路线)。
处理装置100可以控制光线调节和车窗覆盖调节,使得车辆改变内部照明(强度和色调两者)。车辆的处理装置100然后可以播放音乐和/或应用主动噪声消除或掩蔽声音(例如,白噪声),使得环境针对放松和睡眠而被优化。对于具有可调节座椅或床的车辆,在松弛阶段,处理装置100可基于控制座椅中的马达和致动器来控制按摩。然后,处理装置100可以在睡眠或小睡时间期间让非安全关键通知静音。对于较长的旅程,系统可以提供以下程序中的任一者或多者:放松、睡眠、苏醒、工作程序。处理装置100可控制开关以工作、放松、睡眠、清醒、工作程序以适合(或更对准于)用户的生理节奏。例如,处理装置可以提供小睡(或延迟所请求的小睡)以对应于用户在长途中的下午“小憩”。
在移动或静止车辆中预睡眠
对于易于晕动病的人,在眼睛闭合时使用深呼吸(具有由处理装置100提供的任选的音频提示或同步音乐以引导用户实现深呼吸)的具有初始放松阶段的小睡或睡眠时间可以帮助减少任何这样的疾病。该车辆悬架可以由处理装置控制以执行更多的校正动作以便减少晕动病的感觉,并且如果在该路线上预期有许多拐角和颠簸或坡度变化,则可以将睡眠位置(例如,路边、可控调节的座椅)朝向该车辆的前方移动。
处理装置100可以通过监测用户的呼吸率来开始引导呼吸锻炼,以估计初始基线呼吸率、基线吸气时间与呼气时间的比率以及呼吸深度(例如,浅吸气和呼气)。然后,它可以为人提供可听或可视(但是如果用户放松并打算睡觉,则可听是优选的)的提示,以适于全部通过鼻孔(即,嘴闭上)和嘴在四秒的计数内吸气,然后在四秒的计数内呼气。如果用户可以维持这10次或更多次呼吸,则可以允许他们有短暂的恢复时间,然后引导他们进行较慢的呼吸(针对吸气从4秒移动到6秒到8秒,同样地针对呼气从4秒移动到6秒到8秒),以便确定怎样才是舒适的、可实现的和可持续的(基于监测实际呼吸波形)。该锻炼的指导时间为5至15分钟。就车辆中的定位而言,这取决于呼吸程序是用于放松还是睡眠以及座椅/床的调节。
任选地,处理装置可以生成控制信号以控制包括马达/致动器的座椅,使得座椅用作按摩座椅。
这可以延伸到腹部(膈膜)呼吸锻炼。如果人在相对直立的座椅上,则可以要求他们将一只手放在他们的胸部上,而将另一只手放在他们的下腹部上。他们被促使经由鼻孔深呼吸,使得他们的下手移动,而不是上手移动(尽可能快地运动)。可以由处理装置100使用其感测操作来执行手势识别感测以确认下臂正在移动超过上臂。可执行心率和检测以确认锻炼具有所需效果(降低心率,且将心率可变性增加到其个人基线“放松”范围内)。
当使用者睡着时,可通过处理装置控制座椅以调节座椅以提供合适的支撑。
对于较长的旅行,系统可以调节导航参数以向睡眠/小睡程序添加舒适休息,以将用户带到具有休息室和/或步行区域的安全地点。这可以与电池或燃料再充电或电池交换事件相协调。
睡眠呼吸障碍(SDB)筛查
在公共服务或共乘车辆中的处理装置部署非接触感测的情况下,装置的语音助理可以询问乘客/用户(即,单个或多个占用),他们是否希望选择参加生理监测。如果他们选择这样做,则在唤醒时,系统可以自动地监测他们的心脏和呼吸参数。如果他们以一个或多个睡眠周期睡眠,则系统可以监测他们的睡眠阶段,以及检查呼吸暂停或呼吸不足事件。可以在任何车辆,诸如在有驾驶员的非自主汽车中、在作为汽车共享服务或出租车服务的一部分的自主汽车中,或在具有泊位/睡眠区域(卡车、火车、飞机等)的车辆中实施这种系统。
用于警觉性的系统
警觉性的非接触感测可以用于增加车辆中的安全系统,其中可以请求用户做出安全决定-诸如超越自主车辆,或者作为车道偏离检测或倦睡检测系统的一部分。可以使用国际专利申请号PCT/AU2014/059311中描述的任何方法进行这种嗜睡或疲劳检测。
安全应用
非法移民可能是海关和移民以及监狱当局、警察和货运经营者的问题。
可以看出,由车辆处理装置100进行的非接触感测可以被配置为检测被监测空间中呼吸信号的存在(诸如当车辆被停放时)并且警告驾驶员和/或中央监测服务。该系统可以被配置为检测影响感测信号的掩蔽和/或干扰信号,使得可以对感测信号进行改变以避免干扰。因此,系统的处理装置可以正确地检测呼吸信号,或者在检测到干扰的情况下报告感测故障。该系统可以得益于通过检测唯一的生物签名来执行人的生物测定鉴别的多径模式行为的事实。这样的签名可以受车厢影响(例如,该系统可以选择在感测空间中引起混响的感测信号-类似于检测游泳池表面的波纹)。
保护车辆
车辆中的生命体征监测可以用于确认对车辆的侵入,并且与其他侵入传感器(例如,车门接触开关和车辆警报系统)一起工作。
保护车辆中无人看管的人(儿童或婴儿)或宠物
如前,通过检测最近空出或打算空出的车辆中的呼吸和心率,如果儿童或婴儿或宠物在无人看管时意外留在车辆中,则可以由处理装置生成警报。该车辆处理装置然后可以生成一个或多个车辆控制信号以自动地使车辆停止(以防止盗窃)或接合诸如通风、冷却或加热的系统,以便保护乘客直到帮助到达。
经由虚拟帮助代理向用户自动反馈
与简单的脚本化或基于树的问题/回答方法不同,处理装置可以利用完全个性化的虚拟代理应用来实现,以便使用用于意见递送的深度学习方法来处理多模态信号(包括自然语言处理-诸如用于语音识别)。
出现的一个问题是所保存的数据的安全性,特别是关于保存用户的数据以及系统与用户的任何交互,诸如与共享的车辆系统的交互。如果至少一些这种数据能够经由区块链代替经典数据库来实现,诸如向用户递送意见(其可以包括医学意见),则这可以被解决。区块链基于与膀胱造影术一致的分布式网络工作,以使数字事件(诸如递送意见和通知该意见的数据)不可变并且非常能抵御黑客。例如,这可以确保完全不同的物联网(IoT)传感器之间的完整性,特别是实施与信任和共享责任的互操作性。它可以允许分散的健康交换以减少所需系统的管理。可以向用户保证例如与医生的交互的私密性。
在用于研究目的的匿名数据共享方面,区块链可以用预定义的用户访问来标识管理特征,预定义的用户访问可以允许对医学(和/或受保护的健康信息)和加密数据的不可变存储的访问。
可以看出,几种类型的区块链可以提供这些益处-包括公共、共识和私有区块链。
根据密码学的原则,诸如工作证明和标价证明,公共区块链被定义为可用于每个人。共识和私有区块链意味着用户访问是受限的,但是保持区块链提供的真实性的部分保证中的一些或大部分,具有一些或很少的分散。一致(基本上是混合)区块链可以允许一组健康和保健公司以及某些医学提供者合作以提供医学意见服务、连接IoT和其他感测装置、基于人工智能(AI)和机器学习(ML)的意见引擎,以及用户和医生之间的智能合同(同一区块链上的支付)以提供有针对性的护理。
打盹
系统的处理装置100可以被编程为不管人躺在床上还是车辆的座椅上均具有小睡功能以辅助智能小睡。例如,用户可以告诉装置“我正在小睡”。交互式音频装置然后可以可听地帮助用户入睡,并且然后通过监测睡眠和/或时间,基于预期的可用时间、当前睡眠不足估计、一天中的时间和用户请求来指导人到适当的小睡持续时间。例如,可以优化目标持续时间,诸如20分钟、30分钟、60分钟或90分钟(完全睡眠循环)。60分钟的小睡是为了优化深睡眠,并允许一些时间在结束时从任何睡眠惯性恢复,而20和30分钟的目标时间被优化以在用户仍处于浅睡眠时或在处于深睡眠超过一分钟或两分钟之前唤醒用户。除了小睡时间之外,还记录睡前清醒的时间(小睡)。
如果使用者在前一天正常睡眠,20-25分钟的小睡可以优于90分钟的完全睡眠周期,因为更长的时间可以影响那个夜晚的睡眠。
在具有或用作该系统的处理装置100的自主车辆中,用户可以告诉该装置要求白天小睡(比方说在午餐时间)。车辆可以到达接上他们,通过在持续时间内安静地驾驶或找到安全的停车地点来使他们暂停下来小睡。这可以在人进食之前或之后,优选午餐后小睡以允许消化时间(但可能需要一些时间,诸如10-20分钟来减少任何可能的酸回流)。
示例性车辆处理应用
参照图8,可以考虑处理装置100的示例性控制处理方法。在802处,处理装置可以诸如利用先前描述的运动感测方法来感测或检测车辆车厢中的存在。在804处,可以确定车辆乘客的数量。在806处,对于所确定的车辆乘客,处理装置806可以尝试诸如使用从如前所述的运动感测技术导出的生物测定特点来识别每个乘客。在810,处理装置可以访问来自其他车辆传感器(例如,车门关闭状态传感器、安全带状态传感器、检测到的无线钥匙/钥匙链等)的数据或信号。基于传感器和/或运动感测,在812处,处理装置确定车辆处于或已经处于锁定状态,以便预期没有乘客。在814处,处理装置基于所感测到的生理信号(例如,在可归因于儿童或婴儿的范围内的正常呼吸和/或心脏信号)来检测仅有儿童和/或婴儿占用车辆。可替代地,在816处,检测到占用者但未被识别,使得处理装置可以确定未授权的存在(入侵者或偷乘者)。基于在816处或814处的确定,处理装置生成输出以便触发警报(例如,警报或通信)。在820处,处理装置还可以基于先前的确定生成,诸如到车辆控制系统的一个或多个控制信号的输出,以在有入侵者或偷乘者的情况下禁用车辆。任选地,在820处,如果检测到儿童/婴儿遗留下来,则所生成的到车辆控制系统的输出可以是用于激活车辆环境控制(例如,通风和/或温度控制)的控制信号。
在822处,处理装置诸如通过键FOB检测和/或生物测定鉴别来确定车辆正被授权人员使用/占用。在824处,诸如通过先前描述的方法进行深度学习心肺分析。处理装置然后可以在824处如前所述操作睡眠分析/检测处理,在828处操作疲劳/警觉检测处理和/或在830处操作医学筛查/服务处理,诸如使用本文中所描述的运动感测技术。在832处,处理装置可以任选地基于826、828和830处的检测过程,诸如通过使用例如与处理装置耦合的扬声器和麦克风使用户与音频/视觉交互式通信(例如AI过程和/或Chatbot)接合生成输出。另外,在834处,处理装置可以基于826、828和830处的交互式通信和/或过程任选地生成输出,诸如用于设置或请求车辆控制系统的操作(例如,车辆的移动、车厢附近区域的光线条件的调节、电致变色玻璃透明度的调节、车厢附近区域的座椅的移动、制动参数的调节、加速度参数的调节、悬挂设置的调节、车窗覆盖的调节、声学屏障的调节、车辆的固定、车辆通风的接合和/或车厢冷却/加热系统的接合)的一个或多个控制信号。另外,在834处和/或832处处,可以生成输出以传送包括在826、828、830和832处进行的检测的性质的数据。任选地,在836处,可以诸如以安全方式记录关于检测到的条件的数据。例如,可在836处通过区块链过程来存储数据。
图9示出了可以由本技术的车辆处理装置实施的附加示例性处理,诸如用于基于音频的感测。任选地在902处,车辆处理装置,诸如在车辆的外壳(例如,仪表板)中的音频娱乐系统,可以接收具有用于由处理装置的一个或多个处理器执行的控制指令的处理应用的下载。在902处,处理装置可以检查系统的扬声器/麦克风的能力,以便确认生成和接收低频超声学感测信号的能力。在904处,可以由处理装置运行设置处理以确定用于声学感测的参数。这可以任选地涉及生成和感测各种声学感测信号。例如,在906处,可以生成如前所述的音频探测序列以映射车辆的内部区域(车厢)。任选地在908处,可以基于特定车辆和感测系统的已知感测特点(地图)来访问预先配置的值。
在910处,在这些处理之后,处理装置可以,诸如通过检测车辆车厢内的一个或多个人来控制感测信号的生成和接收。这种感测可以基于对运动的检测和/或对检测到的运动的分析来检测生理特点(例如,心脏运动和/或呼吸运动)。这种检测可以用于识别由人占用的车厢的特定位置。在确认这种检测时,处理装置可以激活一个或多个过程。例如,在912处,处理装置可以诸如使用麦克风来检测环境中的环境车辆噪声或其他声音(例如,音乐语音等)。这样的声音可以用作如前所述的用于滤波或调节感测信号的信息。在914处,处理装置可以诸如通过访问车辆控制系统传感器或车辆传感器来确定气候控制系统设置。这种信息还可以用作如前所述的用于滤波或调节感测信号的信息,或者帮助评估生理移动信号以用于其表征。在916处,处理装置可以访问其他车辆传感器信息,诸如确定方向盘角度、加速器/制动踏板设置、安全带状态等。这种信息还可以用作如前所述的用于滤波或调节感测信号的信息,或者帮助评估生理移动信号以用于其表征。在918处,可以访问其他传感器,诸如底盘电平、节流阀、悬架、传动系、马达传感器。这种信息还可以用作如前所述的用于滤波或调节感测信号的信息,或者帮助评估生理移动信号以用于其表征。在920处,处理装置可以,诸如根据先前描述的任何细节(例如,利用声学声音生成SONAR)执行生理感测以及利用这种感测检测到的运动的表征。
图10示出了可由本技术的车辆处理装置实施的额外实例性过程,诸如用于半自主或自主车辆中的感测。在1002处,车辆处理装置检测用户进入车辆。在1004处,诸如响应于处理装置的交互式查询(例如,自然语言处理),提示用户选择监测或筛查服务。在1006处,当用户仍然清醒时,处理装置可以通过本文中所描述的过程开始感测以检测清醒的生理特点。这种过程可任选地包括睡眠诱导呈现,诸如伴随呼吸夹带。在1008处,处理装置可以执行睡眠分析(例如,阶段检测)并且以其他方式检测睡眠。在1008处,处理装置可以如先前所描述地控制小睡过程(例如,打盹)。在1010、1012和1014处,车辆处理装置可以任选地执行健康筛查。例如,在任选的睡眠呼吸紊乱检测过程1014中,可以经由如前所述的运动和/或声音感测来检测SDB的事件。任选地,在呼吸筛查检测过程1012中,可以监测呼吸,诸如用于经由如前所述的运动和/或声音感测来检测慢性疾病状况(例如,心力衰竭恶化)。任选地,在心脏筛查检测过程1010中,可以监测心脏信息,诸如用于通过如前所述的运动和/或声音感测来检测慢性病状况(例如,心力衰竭恶化)或其他心脏相关事件。
在1016处,处理装置可以基于任何筛查过程的检测来生成输出。如在此更详细地描述的,这样的输出可以是一个或多个车辆相关控制信号和/或指示这些过程中的任一个的检测的数据。在1018处,可以诸如利用区块链记录过程来保护检测的数据。在1020处,任选的支付服务可以安排货币转账,诸如与筛查费用有关,其可以基于记录在区块链数据中的结果和/或交易。在1022处,处理装置可以将这样的结果与医学保健提供者或紧急健康服务进行通信。任选地,在1024处,处理装置可以与诸如诊所或医院的医学机构通信以获得服务。
图11示出了用于睡眠或小睡服务的示例性过程,其可以提供引导的放松呼吸锻炼,并且任选地使用座椅中的马达/伺服机构/致动器来充当提示或触觉反馈。在1102处,诸如通过车辆处理装置的语音命令识别和/或存在检测来激活个性化睡眠服务。在1104处,处理装置可以检测负载配置并且任选地执行生物测定鉴别。在1106处,确定车辆和传感器能力,诸如用于满足基于生物测定鉴别而访问的预先存在的用户参数。在1108处,可以发起小睡/睡眠计划,以确定睡眠时间参数的期望长度。在1110处,导航系统可以基于睡眠参数以及例如地形信息、距离信息、睡眠和行进时间信息、天气信息和交通信息来计算目的地和路线。可以任选地由用户提供这样的目的地。任选地,可以由自主车辆操作控制系统来控制经由所计算的路线到达这样的目的地。在1112和1114处,诸如利用车辆环境控制系统来控制车厢环境。如前所述,这种控制可以包括温度、空气、湿度和光线调节。在1116处,诸如通过所生成的音频、触觉(例如,座椅调节)和视觉输出,例如通过夹带呼吸进行睡眠诱导或放松诱导呈现。在1118处,处理装置经由车辆操作控制系统可调节座椅特点以将座椅移动到用户舒适的位置和构型。在1120处,处理装置可以,诸如利用噪声消除和噪声掩蔽生成(例如,白噪声)进一步适配车辆中的光线和声音。在1122处,由处理装置跟踪用户的睡眠,诸如通过感测如本文所述的运动以确定睡眠、睡眠时间、睡眠评分、睡眠阶段等。在1124处,处理装置(诸如在预定时间、睡眠阶段和目的地)可生成输出以唤醒用户,诸如通过控制声音的产生、车辆中的座椅运动和/或光线调节。
5.2其他评论
本专利文献的公开内容的一部分包含受版权保护的材料。版权所有者不反对任何人对本专利文献或专利公开的传真复制,因为它出现在专利局专利文件或记录中,但保留所有版权。
除非上下文另外明确规定且在提供值的范围的情况下,应理解,在所述范围的上限与下限之间的每个中间值(到下限的单位的十分之一)和在所述范围内的任何其他陈述值或中间值涵盖于技术内。这些中间范围的上限和下限(其可以独立地包括在中间范围中)也涵盖在该技术内,服从于所陈述的范围内的任何具体排除的限制。其中所陈述的范围包括极限中的一者或两者,排除那些所包括的极限中的一者或两者的范围也包括在技术中。
此外,在本文陈述一个或多个值被实施为本技术的一部分的情况下,应当理解,除非另有说明,否则这些值可以是近似的,并且这些值可以被利用到任何适当的有效数字,以达到实际技术实施可以允许或要求它的程度。
除非另外定义,否则本文使用的所有技术和科学术语具有与本技术所属领域的普通技术人员通常理解的相同的含义。尽管与本文所述的那些类似或等同的任何方法和材料也可用于本技术的实践或测试,但本文描述了有限数目的示例性方法和材料。
当特定材料被确定为用于构造部件时,具有类似特点的明显替代材料可用作替代物。此外,除非相反地指定,否则本文中所描述的任何和所有组件应理解为能够被制造,并且因此可以一起或独自制造。
必须注意,如本文和所附权利要求中所使用的,单数形式“一”、“一个”和“该”包括它们的复数等同物,除非上下文另外清楚地指出。
本文提及的所有出版物通过引用整体并入本文以公开和描述作为那些出版物的主题的方法和/或材料。提供本文讨论的出版物仅仅是为了它们在本申请的申请日之前的公开内容。本文不应被解释为承认本技术无权由于在先发明而早于此类公开。此外,所提供的出版日期可能与实际出版日期不同,这可能需要独立确认。
术语“包含(comprises)”和“包括(comprising)”应当被解释为以非排它性的方式提及要素、组分或步骤,表明所提及的要素、组分或步骤可以存在,或利用,或与未明确提及的其他要素、组分或步骤组合。
包括在具体实施方式中使用的主题标题仅仅是为了便于读者参考,而不应用于限制在整个公开或权利要求书中找到的主题。主题标题不应用于解释权利要求或权利要求限制的范围。
尽管已参考特定实例描述了本文中的技术,但应理解,这些实例仅说明技术的原理和应用。在一些情况下,术语和符号可能暗示实践所述技术不需要的特定细节。例如,尽管可以使用术语“第一”和“第二”,除非另有说明,它们不旨在表示任何顺序,而是可以用于区分不同的元件。此外,尽管可以按顺序描述或示出方法中的过程步骤,但是这种顺序不是必需的。本领域技术人员将认识到,可以修改这样的顺序和/或可以同时或甚至同步地进行其方面。
因此,应当理解,在不脱离本技术的精神和范围的情况下,可以对说明性实例进行许多修改,并且可以设计其他安排。

Claims (86)

1.一种处理器可读介质,其上存储有处理器可执行指令,当所述处理器可执行指令由电子装置的处理器执行时,致使所述处理器处理在车辆的车厢附近区域所感测到的数据,以检测用户的生理移动,所述处理器可执行指令包含:
用于控制在车辆的所述车厢附近区域产生感测信号的指令;
用于控制利用传感器感测来自所述车辆的所述车厢附近区域的反射信号的指令;
用于利用所述所感测到的反射信号的至少一部分和表示所述感测信号的至少一部分的信号来导出所导出的生理移动信号的指令,以及
用于基于对所述所导出的生理移动信号的至少一部分的评估来生成所生成的输出的指令,所述评估包含(a)检测睡眠阶段和睡眠阶段中的时间,(b)检测嗜睡,(c)检测疲劳状态,和/或(d)睡眠评分的计算,
其中,所述所生成的输出包含对所述车辆的系统的一个或多个操作参数的调节,以促进所述用户的被监测睡眠,其中对所述操作参数的所述调节设置到导航系统的目的地的路线变化,以允许足够的睡眠时间用于所述被监测睡眠和/或根据路面状况或预测的制动、加速或转弯事件中的任一者来改善路线舒适性,并且,还设置自动车辆控制风格来加速及/或制动以增强用户的睡眠。
2.根据权利要求1所述的处理器可读介质,其中所述感测信号是由与所述电子装置耦合的射频发射器生成的射频感测信号、由与所述电子装置耦合的扬声器生成的声学感测信号,以及由与所述电子装置耦合的红外发射器生成的红外感测信号中的任一者或多者。
3.根据权利要求1所述的处理器可读介质,其中表示所述感测信号的所述部分的所述信号包含内部生成的振荡器信号或直接路径测得的声音信号。
4.根据权利要求1所述的处理器可读介质,其中用于导出所述所导出的生理移动信号的所述指令被配置为用于将振荡器信号与所述所感测到的反射信号的所述部分相乘。
5.根据权利要求1所述的处理器可读介质,其中所述所导出的生理移动信号包含所述车厢附近区域内的用户的呼吸运动、总运动,或心脏运动中的一者或多者。
6.根据权利要求1至5中任一项所述的处理器可读介质,其中对所导出的生理移动信号的评估包含确定呼吸速率、呼吸幅度、相对呼吸幅度、心率、心脏幅度和相对心脏幅度中的任一者或多者。
7.根据权利要求1至5中任一项所述的处理器可读介质,其中所述处理器可执行指令包含用于基于来自一个或多个车辆传感器的信号来感测车辆特点并基于所述所感测到的车辆特点来生成所述所生成的输出的指令。
8.根据权利要求1至5中任一项所述的处理器可读介质,其中所述处理器可执行指令包含用于基于来自一个或多个车辆传感器的信号来感测车辆特点,并且基于所述所感测到的车辆特点来调节所述所产生的感测信号的至少一部分的指令。
9.根据权利要求7所述的处理器可读介质,其中所述所感测到的车辆特点包含车辆速度、门打开状态、车窗打开状态、发动机转数、车辆位置、座椅占用、座椅安全带紧固状态、座椅位置、方向盘抓握状态、方向盘角度、空调系统状态、风扇设置、制动设置、油门踏板设置、车厢灯光、车厢噪声和/或车厢温度中的任一者或多者。
10.根据权利要求1至5中任一项所述的处理器可读介质,进一步包含处理器可执行指令,所述处理器可执行指令用于经由耦合到所述电子装置的麦克风评估所感测到的可听口头通信;并且其中基于对所述所导出的生理移动信号的评估的所述所生成的输出进一步基于所述所感测到的可听口头通信。
11.根据权利要求1至5中任一项所述的处理器可读介质,其中所述所产生的感测信号的至少一部分是处于基本上不可听的声音范围中的声音信号。
12.根据权利要求11所述的处理器可读介质,其中所述声音信号是低频超声声学信号。
13.根据权利要求12所述的处理器可读介质,其中所述声音信号是双音调频率解调连续波信号。
14.根据权利要求13所述的处理器可读介质,其中所述双音调频率解调连续波信号包含与重复波形中的第二锯齿波频率变化至少部分重叠的第一锯齿波频率变化。
15.根据权利要求10所述的处理器可读介质,其中所述电子装置包含音频娱乐系统,所述音频娱乐系统包括多个扬声器,并且其中所述电子装置被配置为导出不同的生理移动信号,每个所导出的生理移动信号与所述多个扬声器中的不同扬声器相关联。
16.根据权利要求15所述的处理器可读介质,其中所述用于控制产生感测信号的指令针对所述多个扬声器中的每个不同扬声器产生不同感测频率范围中的感测信号。
17.根据权利要求1至5中任一项所述的处理器可读介质,其中用于控制感测来自所述车辆的所述车厢附近区域的所述反射信号的所述指令通过使用多个麦克风来控制对所述反射信号的感测。
18.根据权利要求1至5中任一项所述的处理器可读介质,进一步包含处理器可执行指令,所述处理器可执行指令用于控制所述电子装置利用扬声器生成声音呈现,以阻止或促进所述用户在所述车厢附近区域睡眠。
19.根据权利要求18所述的处理器可读介质,其中所述声音呈现包含呼吸夹带锻炼。
20.根据权利要求1至5中任一项所述的处理器可读介质,其中所述电子装置包含车辆导航系统。
21.根据权利要求1至5中任一项所述的处理器可读介质,其中所述电子装置包含半自主或自主车辆操作控制系统。
22.根据权利要求21所述的处理器可读介质,其中所述电子装置的处理器可执行指令被配置为基于来自对所述所导出的生理移动信号的评估的所述所生成的输出来控制以下各项中的任何一项或多项:车辆的移动、车厢附近区域的光线条件的调节、电致变色玻璃的调节透明度、车厢附近区域的座椅移动、制动参数的调节、加速度参数的调节、悬架设置的调节、车窗覆盖范围的调节、声学屏障的调节、车辆的制动、车辆通风的接合和/或车辆车厢冷却/加热系统的接合。
23.根据权利要求1至5中任一项所述的处理器可读介质,其中对所述所导出的生理移动信号的所述部分的评估包含所述检测疲劳状态。
24.根据权利要求1至5中任一项所述的处理器可读介质,其中由所述电子装置对所述所导出的生理移动信号的所述部分的所述评估包含检测呼吸健康相关参数、睡眠呼吸紊乱相关参数和/或心脏健康相关参数中的一者或多者。
25.根据权利要求1至5中任一项所述的处理器可读介质,其中对所述所导出的生理移动信号的所述部分的评估包含检测姿势。
26.根据权利要求1至5中任一项所述的处理器可读介质,其中所述所产生的感测信号包含作为可听白噪声产生的超宽带(UWB)声音感测信号。
27.根据权利要求1至5中任一项所述的处理器可读介质,进一步包含处理器可执行指令,所述处理器可执行指令用于在设置过程中生成探测信号以绘制所述车厢附近区域内的距离。
28.根据权利要求1至5中任一项所述的处理器可读介质,进一步包含处理器可执行指令以基于所述所导出的生理移动信号的所述部分来检测用户在所述车厢附近区域的存在或不存在。
29.根据权利要求1至5中任一项所述的处理器可读介质,进一步包含处理器可执行指令,所述处理器可执行指令用于基于所述所导出的生理移动信号的所述部分来对所述车厢附近区域中的用户进行生物测定鉴别。
30.根据权利要求29所述的处理器可读介质,其中所述所生成的输出基于所述生物测定识别并且包含以下各项中的至少一项:(a)生成警报;以及(b)控制启用和禁用车辆的车辆操作控制系统。
31.根据权利要求1至5中任一项所述的处理器可读介质,进一步包含处理器可执行指令,所述处理器可执行指令用于对由耦合到所述电子装置的麦克所风感测到的声音信号进行滤波,所述滤波器被配置为减轻车辆声音。
32.根据权利要求31所述的处理器可读介质,其中所述车辆声音包括以下中的一者或多者:马达噪声、风噪声、汽车喇叭声、关门声和信息娱乐声。
33.根据权利要求1至5中任一项所述的处理器可读介质,其中所述电子装置对所述导出的生理移动信号的所述部分的所述评估包含对所述所导出的生理移动信号的分类,其中所述分类通过深度信念网络对从所述所导出的生理移动信号确定的特征进行评估。
34.根据权利要求1至5中任一项所述的处理器可读介质,其中由所述电子装置对所述所导出的生理移动信号的所述部分的评估包含确定在所述车厢附近区域独自待着的儿童,并且其中所述所生成的输出包含:(a)所生成的警告,或(b)车辆操作控制系统启动车厢附近区域的通风和/或温度条件。
35.根据权利要求1至5中任一项所述的处理器可读介质,进一步包含用于在区块链数据系统中基于所述所导出的生理移动信号来记录数据的处理器可执行指令。
36.根据权利要求1至5中任一项所述的处理器可读介质,进一步包含用于通过聊天机器人程序生成作为交互式语言过程的所述所生成的输出的处理器可执行指令。
37.根据权利要求1至5中任一项所述的处理器可读介质,其中所述电子装置包含手持式处理装置。
38.根据权利要求1至5中任一项所述的处理器可读介质,其中所述电子装置包含车辆或车辆处理装置的一个或多个集成部件。
39.根据权利要求38所述的处理器可读介质,其中所述电子装置包含音频娱乐系统,其中所述感测信号的至少一部分与音频娱乐内容信号组合,并且其中所述组合的感测信号和音频娱乐内容信号由所述音频娱乐系统的一个或多个扬声器产生。
40.一种能够访问权利要求1至5中任一项所述的处理器可读介质的服务器,其中所述服务器被配置为接收通过网络将所述处理器可读介质的所述处理器可执行指令下载到电子装置或车辆处理装置的请求。
41.一种电子装置,包含:一个或多个处理器,所述一个或多个处理器被安排为耦合到在车辆的车厢附近区域操作的传感器;以及(a)根据权利要求1至5中任一项所述的处理器可读介质。
42.根据权利要求41所述的电子装置,其中所述传感器包含以下中的至少一者:(a)扬声器和麦克风,(b)红外发射器和检测器,或(c)射频收发器。
43.根据权利要求41所述的电子装置,其中所述电子装置包含车辆或车辆处理装置的一个或多个集成部件。
44.根据权利要求43所述的电子装置,其中所述电子装置包含车辆音频娱乐系统、车辆导航系统,以及半自主或自主车辆操作控制系统中的任一者或多者。
45.根据权利要求41所述的电子装置,进一步包含至少一个便携式部件。
46.根据权利要求45所述的电子装置,其中所述至少一个便携式部件包含智能电话、智能手表或智能珠宝。
47.一种服务器访问根据权利要求1至5中任一项所述的处理器可读介质或根据权利要求42所述的电子装置的方法,所述方法包含在所述服务器处接收通过网络将所述处理器可读介质的所述处理器可执行指令下载到所述电子装置的请求;以及响应于所述请求,将所述处理器可执行指令传输到所述电子装置。
48.一种电子装置的处理器的方法,包含:
用所述处理器访问根据权利要求1至5中任一项所述的处理器可读介质,以及
在所述处理器中执行所述处理器可读介质的所述处理器可执行指令。
49.一种电子装置的一个或多个处理器检测用户在车辆的车厢附近区域的生理移动的方法,所述方法包含:
控制在所述车辆的所述车厢附近区域产生感测信号;
用传感器控制感测来自所述车辆的所述车厢附近区域的反射信号;
利用所述所感测到的反射信号的至少一部分和表示所述感测信号的至少一部分的信号导出所导出的生理移动信号;以及
基于对所述所导出的生理移动信号的至少一部分的评估来生成所生成的输出,所述评估包含(a)检测睡眠阶段和睡眠阶段中的时间,(b)检测嗜睡,(c)检测疲劳状态,和/或(d)睡眠评分的计算,
其中,所述所生成的输出包含对所述车辆的系统的一个或多个操作参数的调节,以促进所述用户的被监测睡眠,其中对所述操作参数的所述调节设置到导航系统的目的地的路线变化,以允许足够的睡眠时间用于所述被监测睡眠和/或根据路面状况或预测的制动、加速或转弯事件中的任一者来改善路线舒适性,并且,还设置自动车辆控制风格来加速及/或制动以增强用户的睡眠。
50.根据权利要求49所述的方法,其中所述感测信号是由与所述电子装置耦合的射频发射器生成的射频感测信号、由与所述电子装置耦合的扬声器生成的声学感测信号,以及由与所述电子装置耦合的红外发射器生成的红外感测信号中的任一者或多者。
51.根据权利要求49至50中任一项所述的方法,其中表示所述感测信号的所述部分的所述信号包含内部生成的振荡器信号或直接路径测得的信号。
52.根据权利要求49至50中任一项所述的方法,其中导出所述所导出的生理移动信号包含将振荡器信号与所述所感测到的反射信号的所述部分相乘。
53.根据权利要求49至50中任一项所述的方法,其中所述所导出的生理移动信号包含所述车厢附近区域内的用户的呼吸运动、心脏运动或总运动中的一个或多个。
54.根据权利要求49至50中任一项所述的方法,其中对所述所导出的生理移动信号的所述部分的评估包含确定呼吸速率、相对呼吸幅度、呼吸幅度、心率、相对心脏幅度,以及心脏幅度中的任一者或多者。
55.根据权利要求49至50中任一项所述的方法,进一步包含基于来自一个或多个车辆传感器的信号感测车辆特点并且基于所述所感测到的车辆特点生成所述所生成的输出。
56.根据权利要求49至50中任一项所述的方法,进一步包含基于来自一个或多个车辆传感器的信号来感测车辆特点,并且基于所述所感测到的车辆特点来调节所述所产生的感测信号的至少一部分。
57.根据权利要求49至50中任一项所述的方法,其中所述所感测到的车辆特点包含车辆速度、门打开状态、车窗打开状态、发动机转数、车辆位置、座椅占用、座椅安全带紧固状态、座椅位置、方向盘抓握状态、方向盘角度、空调系统状态、风扇设置、制动设置、油门踏板设置、车厢灯光、车厢噪声和/或车厢温度中的任一者或多者。
58.根据权利要求49至50中任一项所述的方法,进一步经由耦合到所述电子装置的麦克风评估所感测到的可听口头通信;并且其中基于对所述所导出的生理移动信号的所述部分的评估而生成的所述输出进一步基于所述所感测到的可听口头通信。
59.根据权利要求49至50中任一项所述的方法,其中所述所产生的感测信号的至少一部分是处于基本上不可听的声音范围中的声音信号。
60.根据权利要求59所述的方法,其中所述声音信号是低频超声声学信号。
61.根据权利要求60所述的方法,其中所述声音信号是双音调频率解调连续波信号。
62.根据权利要求61所述的方法,其中所述双音调频率解调连续波信号包含与重复波形中的第二锯齿波频率变化至少部分重叠的第一锯齿波频率变化。
63.根据权利要求58所述的方法,其中所述电子装置包含音频娱乐系统,所述音频娱乐系统包含多个扬声器,并且其中所述电子装置导出不同的生理移动信号,每个所导出的生理移动信号与所述多个扬声器中的不同扬声器相关联。
64.根据权利要求63所述的方法,其中所述控制产生感测信号为所述多个扬声器中的每个不同扬声器产生不同感测频率范围内的感测信号。
65.根据权利要求49至50中任一项所述的方法,控制感测来自所述车辆的所述车厢附近区域的所述反射信号包含通过使用多个麦克风来控制对反射信号的感测。
66.根据权利要求49至50中任一项所述的方法,进一步包含控制所述电子装置以通过扬声器生成声音呈现来阻止或促进所述用户在所述车厢附近区域睡眠。
67.根据权利要求66所述的方法,其中所述声音呈现包含呼吸夹带锻炼。
68.根据权利要求49至50中任一项所述的方法,其中所述电子装置包含车辆导航系统。
69.根据权利要求49至50中任一项所述的方法,其中所述电子装置包含半自主或自主车辆操作控制系统。
70.根据权利要求69所述的方法,其中所述电子装置基于对所述所导出的生理移动信号的评估的所述所生成的输出来控制以下各项中的任何一项或多项:车辆的运动、车厢附近区域的光线条件的调节、电致变色玻璃透明度的调节、车厢附近区域的座椅的移动、制动参数的调节、加速度参数的调节、悬架设置的调节、车窗覆盖范围的调节、声学屏障的调节、车辆的制动、车辆通风的接合和/或车辆车厢冷却/加热系统的接合。
71.根据权利要求49至50中任一项所述的方法,其中对所述所导出的生理移动信号的所述部分的评估进一步包含所述检测疲劳状态。
72.根据权利要求49至50中任一项所述的方法,其中对所述所导出的生理移动信号的所述部分的评估检测到姿势。
73.根据权利要求49至50中任一项所述的方法,其中所述所产生的感测信号包含生成为可听白噪声的超宽带(UWB)声音感测信号。
74.根据权利要求49至50中任一项所述的方法,进一步在设置过程中生成探测信号以绘制所述车厢附近区域内的距离。
75.根据权利要求49至50中任一项所述的方法,进一步包含基于所述所导出的生理移动信号来检测用户在所述车厢附近区域的存在和不存在。
76.根据权利要求49至50中任一项所述的方法,进一步包含基于所述所导出的生理移动信号对所述车厢附近区域中的用户进行生物测定识别。
77.根据权利要求76所述的方法,其中所述所生成的输出基于所述生物测定识别并且包含以下各项中的至少一项:(a)生成警报,以及(b)控制启用和禁用所述车辆的车辆操作控制系统。
78.根据权利要求49至50中任一项所述的方法,进一步包含对由耦合至所述电子装置的麦克风所感测到的声音信号进行滤波,所述滤波被配置为减轻车辆声音。
79.根据权利要求78所述的方法,其中所述车辆声音包括以下中的一者或多者:马达噪声、风噪声、汽车喇叭声、关门声和信息娱乐声。
80.根据权利要求49至50中任一项所述的方法,其中所述电子装置对所述导出的生理移动信号的所述部分的所述评估包含对所述所导出的生理移动信号进行分类,其中所述分类通过深度信念网络对从所述所导出的生理移动信号确定的特征进行评估。
81.根据权利要求49至50中任一项所述的方法,其中由所述电子装置对所述所导出的生理移动信号的所述部分的所述评估包含确定在所述车厢附近区域独自待着的儿童的存在,并且其中所述输出包含:(a)所生成的警告,或(b)所述车辆操作控制系统启动由车辆环境控制系统提供的所述车厢附近区域的通风和/或温度条件。
82.根据权利要求49至50中任一项所述的方法,进一步包含在区块链数据系统中记录基于所述所导出的生理移动信号的数据。
83.根据权利要求49至50中任一项所述的方法,进一步包含通过聊天机器人程序生成作为交互式语言过程的输出。
84.根据权利要求49至50中任一项所述的方法,其中所述电子装置包含手持式处理装置。
85.根据权利要求49至50中任一项所述的方法,其中所述电子装置包含车辆或车辆处理装置的一个或多个集成部件。
86.根据权利要求85所述的方法,其中所述电子装置包含音频娱乐系统,其中所述感测信号的至少一部分与音频娱乐内容信号组合,并且其中所述组合的感测信号和音频娱乐内容信号是由所述音频娱乐系统的一个或多个扬声器所产生的。
CN201880087490.XA 2017-12-22 2018-12-21 用于车辆中的生理感测的设备、系统和方法 Active CN111655135B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762609998P 2017-12-22 2017-12-22
US62/609,998 2017-12-22
PCT/EP2018/086765 WO2019122414A1 (en) 2017-12-22 2018-12-21 Apparatus, system, and method for physiological sensing in vehicles

Publications (2)

Publication Number Publication Date
CN111655135A CN111655135A (zh) 2020-09-11
CN111655135B true CN111655135B (zh) 2024-01-12

Family

ID=65010762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880087490.XA Active CN111655135B (zh) 2017-12-22 2018-12-21 用于车辆中的生理感测的设备、系统和方法

Country Status (6)

Country Link
US (2) US11707197B2 (zh)
EP (1) EP3727145B1 (zh)
JP (1) JP2021508521A (zh)
KR (1) KR102649497B1 (zh)
CN (1) CN111655135B (zh)
WO (1) WO2019122414A1 (zh)

Families Citing this family (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014052329A1 (en) * 2012-09-25 2014-04-03 Scoot Networks, Inc. Systems and methods for regulating vehicle access
US20200406860A1 (en) * 2015-07-17 2020-12-31 Chao-Lun Mai Method, apparatus, and system for vehicle wireless monitoring
JP7093918B2 (ja) * 2017-08-02 2022-07-01 カレシス エルティーディー 自動車乗員のバイタルサインの非接触の検知および監視システム
JP6939534B2 (ja) * 2017-12-26 2021-09-22 トヨタ自動車株式会社 配車管理装置
KR102116604B1 (ko) * 2018-01-26 2020-05-28 한양대학교 산학협력단 레이더를 이용한 제스처 인식 장치 및 방법
JP2019137314A (ja) * 2018-02-14 2019-08-22 株式会社デンソー 温度調整装置
US11468503B2 (en) 2018-04-16 2022-10-11 Bird Rides, Inc. On-demand rental of electric vehicles
WO2020031586A1 (ja) * 2018-08-10 2020-02-13 古野電気株式会社 船舶操縦支援システム、船舶制御装置、船舶制御方法、及びプログラム
US11896396B2 (en) * 2018-08-24 2024-02-13 Ts Tech Co., Ltd. Sensor-equipped seat
EP3897356B1 (en) * 2018-12-20 2024-05-01 Koninklijke Philips N.V. System and computer program product for providing sleep positional therapy and paced breathing
JP7143812B2 (ja) * 2019-05-14 2022-09-29 トヨタ自動車株式会社 車両
US20210023331A1 (en) * 2019-07-22 2021-01-28 Regents Of The University Of Minnesota Computer architecture for identifying sleep stages
US11308733B2 (en) * 2019-08-05 2022-04-19 Bose Corporation Gesture detection using ultrasonic clicks
JP2021032729A (ja) * 2019-08-26 2021-03-01 株式会社Subaru 車両
JP7417384B2 (ja) * 2019-08-29 2024-01-18 株式会社Subaru 情報処理装置、情報処理方法、プログラム、情報処理システム
US11529918B2 (en) * 2019-09-02 2022-12-20 Toyota Motor North America, Inc. Adjustment of environment of transports
EP4027879A1 (en) 2019-09-13 2022-07-20 ResMed Sensor Technologies Limited Systems and methods for detecting movement
JP7294092B2 (ja) * 2019-11-28 2023-06-20 トヨタ自動車株式会社 情報処理装置、情報処理方法、及び、システム
WO2021137777A1 (en) * 2019-12-31 2021-07-08 Kasap Sevil Sinem A smart seat belt with a heart rate sensor and a safe vehicle construct
WO2021152549A1 (en) 2020-01-31 2021-08-05 Resmed Sensor Technologies Limited Systems and methods for reducing insomnia-related symptoms
CN115334959A (zh) 2020-01-31 2022-11-11 瑞思迈传感器技术有限公司 用于呼吸暂停-低通气指数计算的睡眠状态检测
AU2021215064A1 (en) 2020-01-31 2022-08-25 Resmed Sensor Technologies Limited Systems and methods for requesting consent for data
US11862306B1 (en) 2020-02-07 2024-01-02 Cvs Pharmacy, Inc. Customer health activity based system for secure communication and presentation of health information
WO2021171226A2 (en) 2020-02-26 2021-09-02 Resmed Sensor Technologies Limited Method and apparatus for edema detection
JP2023515635A (ja) 2020-02-27 2023-04-13 レズメド センサー テクノロジーズ リミテッド 覚醒度を予測するシステムおよび方法
CN115605133A (zh) 2020-03-05 2023-01-13 瑞思迈传感器技术有限公司(Ie) 用于增加个体睡意的系统和方法
EP4114486B1 (en) 2020-03-06 2024-04-24 ResMed Sensor Technologies Limited Systems and methods for detecting an intentional leak characteristic curve for a respiratory therapy system
US11724666B2 (en) * 2020-03-18 2023-08-15 Honda Motor Co., Ltd. System and method for remotely monitoring vehicle access
CN111444820B (zh) * 2020-03-24 2021-06-04 清华大学 一种基于成像雷达的手势识别方法
JP2023519950A (ja) 2020-03-28 2023-05-15 レズメド センサー テクノロジーズ リミテッド 統合センサを備えたユーザインターフェース
EP4125572A1 (en) 2020-03-31 2023-02-08 ResMed Sensor Technologies Limited System and method for mapping an airway obstruction
EP4125560A1 (en) 2020-03-31 2023-02-08 ResMed Sensor Technologies Limited Systems and methods for determining movement of a conduit
WO2021198934A1 (en) 2020-03-31 2021-10-07 Resmed Sensor Technologies Limited Systems and methods for detecting rem behavior disorder
CN115701935A (zh) 2020-04-20 2023-02-14 瑞思迈亚洲私人有限公司 用于分析睡眠相关参数的系统和方法
AU2021265344A1 (en) 2020-04-30 2022-12-08 Resmed Sensor Technologies Limited Systems and methods for promoting a sleep stage of a user
EP4142582A1 (en) 2020-04-30 2023-03-08 ResMed Sensor Technologies Limited Alertness service
US20230172486A1 (en) 2020-04-30 2023-06-08 Resmed Sensor Technologies Limited Systems and methods for analyzing physical features of an individual
JP2023525585A (ja) 2020-05-14 2023-06-16 パーセプティブ オートマタ インコーポレイテッド 交通挙動予測のための旋回認識機械学習
US20230190140A1 (en) 2020-05-19 2023-06-22 Resmed Sensor Technologies Limited Methods and apparatus for detection and monitoring of health parameters
WO2021245637A1 (en) 2020-06-05 2021-12-09 Resmed Sensor Technologies Limited Systems and methods for identifying a user interface
BR112022025094A2 (pt) 2020-06-08 2023-02-07 Resmed Sensor Tech Ltd Sistemas e métodos para categorizar e/ou distinguir uma interface de usuário
JP2023532071A (ja) 2020-06-26 2023-07-26 レズメド センサー テクノロジーズ リミテッド 睡眠関連イベントの表示をユーザに伝えるシステム及び方法
US20230245780A1 (en) 2020-06-30 2023-08-03 Resmed Sensor Technologies Limited Systems and methods for multi-component health scoring
CN116325013A (zh) 2020-07-30 2023-06-23 瑞思迈公司 用于确定呼吸系统用户本地的装置上的健康状况的系统和方法
US20240042149A1 (en) 2020-07-31 2024-02-08 Resmed Sensor Technologies Limited Systems and methods for determining movement during respiratory therapy
CN116097352A (zh) * 2020-08-07 2023-05-09 亚德诺半导体国际无限责任公司 厢内存在检测
CN111956196A (zh) * 2020-08-21 2020-11-20 无锡威孚高科技集团股份有限公司 一种车内生命体征检测系统
JP2023540010A (ja) 2020-08-31 2023-09-21 レズメド センサー テクノロジーズ リミテッド 未病検出システム及び方法
WO2022047172A1 (en) 2020-08-31 2022-03-03 ResMed Pty Ltd Systems and methods for determining a recommended therapy for a user
CN114194207B (zh) * 2020-09-17 2024-03-15 华为技术有限公司 一种自动驾驶方法、ads及自动驾驶车辆
WO2022058964A1 (en) 2020-09-18 2022-03-24 ResMed Pty Ltd Systems and methods for monitoring comorbidities
CN116456901A (zh) 2020-09-18 2023-07-18 瑞思迈传感器技术有限公司 用于帮助呼吸治疗系统用户的系统和方法
US20220087540A1 (en) * 2020-09-21 2022-03-24 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for remote vital sign monitoring in a vehicle
CN112137601B (zh) * 2020-09-23 2024-03-15 中国第一汽车股份有限公司 信号处理方法、装置、车辆及存储介质
EP4218021A2 (en) 2020-09-25 2023-08-02 ResMed Sensor Technologies Limited Systems and methods for diagnosing operational issues in a respiratory system
JP2023545124A (ja) 2020-10-09 2023-10-26 レズメド センサー テクノロジーズ リミテッド 口腔矯正治療器の自動調整
CN114424927A (zh) * 2020-10-29 2022-05-03 华为技术有限公司 睡眠监测方法、装置、电子设备及计算机可读存储介质
EP4237793A1 (en) 2020-10-30 2023-09-06 ResMed Sensor Technologies Limited Systems and methods for determining a length and/or a diameter of a conduit
DE102020214556A1 (de) 2020-11-19 2022-05-19 Volkswagen Aktiengesellschaft Kommunikationssystem für ein Fahrzeug zum Vorgehen bei einer Schlafstörung eines Insassen
US11897334B2 (en) 2020-11-19 2024-02-13 Ford Global Technologies, Llc Vehicle having pet bowl communication
US11950582B2 (en) 2020-11-19 2024-04-09 Ford Global Technologies, Llc Pet bowl having integrated sensing
WO2022107075A1 (en) 2020-11-20 2022-05-27 Resmed Sensor Technologies Limited Systems and methods for monitoring a comfort level of an individual
JP2023551784A (ja) * 2020-11-27 2023-12-13 クアルコム,インコーポレイテッド 車両環境における無線周波数センシング
CN116801793A (zh) 2020-11-27 2023-09-22 瑞思迈私人有限公司 用于在呼吸治疗期间识别用户身体位置的系统和方法
WO2022130296A1 (en) 2020-12-18 2022-06-23 Resmed Sensor Technologies Limited Cohort sleep performance evaluation
US20240033459A1 (en) 2020-12-23 2024-02-01 Resmed Sensor Technologies Limited Systems and methods for detecting rainout in a respiratory therapy system
WO2022137065A1 (en) 2020-12-23 2022-06-30 Resmed Sensor Technologies Limited Systems and methods for detecting occlusions in headgear conduits during respiratory therapy
US11897331B2 (en) * 2021-01-14 2024-02-13 Baidu Usa Llc In-vehicle acoustic monitoring system for driver and passenger
US11904794B2 (en) 2021-01-28 2024-02-20 Ford Global Technologies, Llc Pet restraint system for a vehicle
CN117119955A (zh) 2021-01-29 2023-11-24 瑞思迈传感器技术有限公司 用于估计主观舒适度水平的系统和方法
US20220244729A1 (en) * 2021-02-02 2022-08-04 Yu-Sian Jiang Baby transport and method for operating the same
IT202100002447A1 (it) * 2021-02-04 2022-08-04 Olsa Spa Sistema di illuminazione ambientale con riscontro aptico per automobili.
JP2022155398A (ja) * 2021-03-30 2022-10-13 株式会社Subaru 乗員状態検出システム
JP2022155394A (ja) * 2021-03-30 2022-10-13 株式会社Subaru 運転支援システム
JP2022155393A (ja) * 2021-03-30 2022-10-13 株式会社Subaru 運転支援システム
WO2022208368A1 (en) 2021-03-31 2022-10-06 Resmed Sensor Technologies Limited Systems and methods for managing blood pressure conditions of a user of a respiratory therapy system
DE102021203397A1 (de) 2021-04-06 2022-10-06 Volkswagen Aktiengesellschaft Vorrichtung und Verfahren zur Verbesserung der Schlafqualität
US11763409B2 (en) * 2021-04-07 2023-09-19 International Business Machines Corporation Determine passenger drop-off location based on influencing factors
CN113100734B (zh) * 2021-04-15 2022-11-25 深圳前海微众银行股份有限公司 活体检测方法、设备、介质及计算机程序产品
US20220330848A1 (en) * 2021-04-16 2022-10-20 Bayerische Motoren Werke Aktiengesellschaft Method, Computer Program, and Device for Determining Vehicle Occupant Respiration
WO2022219481A1 (en) 2021-04-16 2022-10-20 Resmed Sensor Technologies Limited Systems and methods for characterizing a user interface or a vent using acoustic data associated with the vent
KR20220143309A (ko) * 2021-04-16 2022-10-25 현대자동차주식회사 차량 및 그 제어 방법
WO2022229910A1 (en) 2021-04-29 2022-11-03 Resmed Sensor Technologies Limited Systems and methods for modifying pressure settings of a respiratory therapy system
WO2022235666A1 (en) * 2021-05-03 2022-11-10 Mindset Medical, Inc. Server, systems and methods for automating safety actions using monitored parameters
US11951878B2 (en) * 2021-05-04 2024-04-09 Ford Global Technologies, Llc Vehicle having seat control based on monitored pet location
US11932156B2 (en) 2021-05-17 2024-03-19 Ford Global Technologies, Llc Vehicle having sliding console
EP4346556A1 (en) 2021-05-24 2024-04-10 ResMed Sensor Technologies Limited Systems and methods for determining a sleep stage of an individual
US11731763B2 (en) * 2021-06-03 2023-08-22 Honeywell International Inc. Methods and systems for identifying and addressing passenger issues in an aircraft
CN113449780B (zh) * 2021-06-15 2023-09-22 南京静态交通产业技术研究院 基于随机森林和lstm神经网络的路内泊位占有率预测方法
WO2023275812A1 (en) 2021-06-30 2023-01-05 Resmed Sensor Technologies Limited Systems and methods for characterizing a conduit in a respiratory therapy system
KR102514810B1 (ko) * 2021-07-19 2023-03-29 한국과학기술원 LoRa 네트워크에서 효율적 IoT 디바이스 운용을 위한 크로스 레이어 기반의 IoT 디바이스 전송 주기 제어 방법 및 시스템
WO2023031737A1 (en) 2021-08-30 2023-03-09 Resmed Sensor Technologies Limited Biofeedback cognitive behavioral therapy for insomnia
WO2023031802A1 (en) 2021-08-30 2023-03-09 Resmed Sensor Technologies Limited Intelligent respiratory entrainment
CN115973174A (zh) * 2021-09-26 2023-04-18 梅赛德斯-奔驰集团股份公司 用于车辆的车厢智能健康管理的方法和设备
CN113868337B (zh) * 2021-09-27 2022-04-22 哈尔滨华强电力自动化工程有限公司 应用区块链的双参数协同判断系统及方法
WO2023084366A1 (en) 2021-11-10 2023-05-19 Resmed Sensor Technologies Limited Enhanced wearable sensing
WO2023084433A1 (en) * 2021-11-10 2023-05-19 Vayyar Imaging Ltd. System and method for detecting presence of bodies in vehicles
EP4190628A1 (en) * 2021-12-01 2023-06-07 Volvo Car Corporation Thermal management system for a traction battery of an electric vehicle, electric vehicle, and method for operating a thermal management system
CN114088422A (zh) * 2021-12-15 2022-02-25 科大讯飞股份有限公司 车辆的故障诊断方法、装置和电子设备
TWI778901B (zh) * 2021-12-29 2022-09-21 南亞塑膠工業股份有限公司 經營輔助系統
WO2023126840A1 (en) 2021-12-30 2023-07-06 Resmed Sensor Technologies Limited Systems and methods for monitoring the use of a respiratory therapy system by an individual with diabetes
US20230292047A1 (en) * 2022-03-14 2023-09-14 Nxp Usa, Inc. Audio system sound tuning using ultrawideband radio sensing
WO2023187686A1 (en) 2022-03-30 2023-10-05 ResMed Pty Ltd Systems and methods for determining a positional sleep disordered breathing status
WO2023192481A1 (en) 2022-03-31 2023-10-05 Resmed Inc. Methods and systems for an overall health score
WO2024000037A1 (en) * 2022-06-30 2024-01-04 ResMed Pty Ltd Systems and methods for monitoring driving sessions
DE102022206992B3 (de) 2022-07-08 2023-08-31 Volkswagen Aktiengesellschaft Verfahren zum Ermitteln eines Vitalparameters eines Insassen eines Kraftfahrzeugs und Kraftfahrzeug
WO2024020231A1 (en) 2022-07-22 2024-01-25 Resmed Digital Health Inc. Systems and methods for selectively adjusting the sleeping position of a user
WO2024020106A1 (en) 2022-07-22 2024-01-25 ResMed Pty Ltd Systems and methods for determining sleep scores based on images
WO2024023743A1 (en) 2022-07-28 2024-02-01 Resmed Sensor Technologies Limited Systems for detecting a leak in a respiratory therapy system
WO2024039569A1 (en) 2022-08-17 2024-02-22 Resmed Digital Health Inc. Systems and methods for determining a risk factor for a condition
WO2024039751A1 (en) 2022-08-19 2024-02-22 Resmed Digital Health Inc. Systems and methods for providing a sleep therapy community
WO2024039774A1 (en) 2022-08-19 2024-02-22 Resmed Digital Health Inc. Systems and methods for collaborative sleep therapy usage
WO2024039742A1 (en) 2022-08-19 2024-02-22 Resmed Digital Health Inc. Systems and methods for presenting dynamic avatars
WO2024039752A1 (en) 2022-08-19 2024-02-22 Resmed Digital Health Inc. Systems and methods for determining matches based on sleep information
WO2024039890A1 (en) 2022-08-19 2024-02-22 Resmed Digital Health Inc. Systems and methods for determining a user interface type
WO2024049704A1 (en) 2022-08-30 2024-03-07 Resmed Digital Health Inc. Systems and methods for pulmonary function testing on respiratory therapy devices
WO2024069436A1 (en) 2022-09-27 2024-04-04 Resmed Sensor Technologies Limited Systems and methods for analyzing sounds made by an individual during a sleep session
WO2024069500A1 (en) 2022-09-29 2024-04-04 Resmed Sensor Technologies Limited Systems and methods for cardiogenic oscillation detection
DE102022126044A1 (de) * 2022-10-10 2024-04-25 HELLA GmbH & Co. KGaA Verfahren zum Betreib einer Steuereinrichtung, Steuereinrichtung und Fahrzeug
US11820384B1 (en) 2023-03-14 2023-11-21 Stat Capsule Inc. Method to diagnose real time pulseless condition of a driver operating a vehicle
CN117407718B (zh) * 2023-12-15 2024-03-26 杭州宇谷科技股份有限公司 一种换电预测模型的训练方法、应用方法和系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11226000A (ja) * 1998-02-11 1999-08-24 Hiroshi Yoshioka 音声制御製剤
WO2004058059A2 (en) * 2002-12-30 2004-07-15 Koninklijke Philips Electronics N.V. Audio reproduction apparatus, feedback system and method
JP2005032831A (ja) * 2003-07-08 2005-02-03 Advanced Lcd Technologies Development Center Co Ltd 結晶化方法、結晶化装置、薄膜トランジスタ及び表示装置
CN1788445A (zh) * 2003-06-04 2006-06-14 马科尼英国知识产权有限公司 通信系统
WO2007143535B1 (en) * 2006-06-01 2008-10-16 Biancamed Ltd Apparatus, system, and method for monitoring physiological signs
CN101320266A (zh) * 2007-06-04 2008-12-10 李珉和 利用生理信号控制车载电子设备
JP2010012018A (ja) * 2008-07-03 2010-01-21 Nissan Motor Co Ltd 人体状態判定装置及び人体状態判定方法
CN101689219A (zh) * 2006-11-01 2010-03-31 必安康医疗有限公司 用于监测心肺参数的系统和方法
CN105007318A (zh) * 2015-07-15 2015-10-28 江西师范大学 一种基于智能胎心仪设备的远程监测胎儿数据的方法
CN105592777A (zh) * 2013-07-08 2016-05-18 瑞思迈传感器技术有限公司 用于睡眠管理的方法和系统
WO2016093927A2 (en) * 2014-12-08 2016-06-16 University Of Washington Systems and methods of identifying motion of a subject
JP2017064338A (ja) * 2015-10-01 2017-04-06 ヘルスセンシング株式会社 睡眠状態測定装置及び方法、位相コヒーレンス算出装置並びに心拍波形抽出方法
CN107336711A (zh) * 2017-06-19 2017-11-10 北京汽车股份有限公司 车辆及其自动驾驶系统和方法

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE39539E1 (en) 1996-08-19 2007-04-03 Torch William C System and method for monitoring eye movement
US6661345B1 (en) 1999-10-22 2003-12-09 The Johns Hopkins University Alertness monitoring system
JP3980868B2 (ja) * 2001-11-02 2007-09-26 パイオニア株式会社 車両自動誘導システム、車両自動誘導システムにおける制御装置、車両自動誘導方法および自動誘導処理プログラム。
US7020508B2 (en) 2002-08-22 2006-03-28 Bodymedia, Inc. Apparatus for detecting human physiological and contextual information
US6996394B2 (en) 2002-08-30 2006-02-07 Qualcomm Incorporated Server processing in providing messages for a wireless device connecting to a server
DE10259522A1 (de) * 2002-12-19 2004-07-01 Robert Bosch Gmbh Radargestützte Sensierung von Lage und/oder Bewegung des Körpers oder im Körper von Lebewesen
CN1784700A (zh) * 2003-05-08 2006-06-07 皇家飞利浦电子股份有限公司 发送遇险信号的系统、能够发送遇险信号的人体区域网络、用于发信号通知遇险情况的方法以及配置有发送遇险信号的系统的交通工具
US7307575B2 (en) * 2004-09-14 2007-12-11 Bae Systems Information And Electronic Systems Integration Inc. Through-the-wall frequency stepped imaging system utilizing near field multiple antenna positions, clutter rejection and corrections for frequency dependent wall effects
US9779751B2 (en) 2005-12-28 2017-10-03 Breath Research, Inc. Respiratory biofeedback devices, systems, and methods
US20080077015A1 (en) 2006-05-17 2008-03-27 Olga Boric-Lubecke Determining presence and/or physiological motion of one or more subjects with multiple receiver Doppler radar systems
US8078334B2 (en) 2007-01-23 2011-12-13 Alan Goodrich Unobtrusive system and method for monitoring the physiological condition of a target user of a vehicle
DE102008038022B4 (de) 2008-08-16 2018-05-24 Daimler Ag Weckeinrichtung
JP5288251B2 (ja) * 2008-09-12 2013-09-11 株式会社デンソー 緊急車両認知支援装置
US8525680B2 (en) 2009-09-18 2013-09-03 Hill-Rom Services, Inc. Apparatuses for supporting and monitoring a condition of a person
WO2011140993A1 (zh) 2010-05-12 2011-11-17 北京星河易达科技有限公司 基于综合状态检测的智能交通安全系统及其决策方法
WO2012038877A1 (en) 2010-09-22 2012-03-29 Koninklijke Philips Electronics N.V. Method and apparatus for monitoring the respiration activity of a subject
JP5454703B2 (ja) 2010-11-08 2014-03-26 トヨタ自動車株式会社 睡眠状態推定装置
JP5997871B2 (ja) * 2010-12-10 2016-09-28 ティーケー ホールディングス インク.Tk Holdings Inc. 車両運転者監視システム
US20140276090A1 (en) * 2011-03-14 2014-09-18 American Vehcular Sciences Llc Driver health and fatigue monitoring system and method using optics
JP5734740B2 (ja) 2011-05-23 2015-06-17 株式会社豊田中央研究所 弾性波検出装置及び弾性波検出プログラム
JP2013195351A (ja) * 2012-03-22 2013-09-30 Denso Corp 車載機及び車両用乗員覚醒システム
US20130345921A1 (en) 2012-06-22 2013-12-26 Masimo Corporation Physiological monitoring of moving vehicle operators
JP6188332B2 (ja) 2013-01-21 2017-08-30 東芝メディカルシステムズ株式会社 医用画像表示装置及びプログラム
US9430938B2 (en) 2013-03-04 2016-08-30 Hello Inc. Monitoring device with selectable wireless communication
US20140276165A1 (en) 2013-03-14 2014-09-18 Covidien Lp Systems and methods for identifying patient talking during measurement of a physiological parameter
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
US9272689B2 (en) * 2013-04-06 2016-03-01 Honda Motor Co., Ltd. System and method for biometric identification in a vehicle
JP2014235078A (ja) * 2013-06-03 2014-12-15 株式会社ニコン 車両誘導装置
US10004451B1 (en) 2013-06-21 2018-06-26 Fitbit, Inc. User monitoring system
US9993166B1 (en) 2013-06-21 2018-06-12 Fitbit, Inc. Monitoring device using radar and measuring motion with a non-contact device
US10009581B2 (en) 2015-01-02 2018-06-26 Fitbit, Inc. Room monitoring device
US8874301B1 (en) 2013-07-09 2014-10-28 Ford Global Technologies, Llc Autonomous vehicle with driver presence and physiological monitoring
WO2015061848A1 (en) 2013-10-30 2015-05-07 Resmed Limited Control for pressure of a patient interface
KR101610443B1 (ko) 2013-12-20 2016-04-20 현대자동차주식회사 운전 보조 장치 및 운전 보조 방법
US9645786B2 (en) 2014-01-06 2017-05-09 Avnera Corporation Gesture-controlled tabletop speaker system
CN103818282B (zh) * 2014-02-19 2017-02-08 观致汽车有限公司 一种应用于车用座椅的振动装置
RS20140182A1 (en) 2014-04-14 2015-10-30 Novelic D.O.O. RADAR SENSOR FOR DRIVER DETECTION DETECTION OPERATING IN MILLIMETER FREQUENCY AND OPERATION METHOD
US9476729B2 (en) * 2014-05-29 2016-10-25 GM Global Technology Operations LLC Adaptive navigation and location-based services based on user behavior patterns
CN106687037B (zh) 2014-06-20 2019-11-19 弗劳恩霍夫应用研究促进协会 用于检测瞬时睡眠的设备、方法和计算机程序
JP6592440B2 (ja) 2014-08-07 2019-10-16 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および、情報処理方法
CN204306833U (zh) 2014-11-03 2015-05-06 沈阳正道安全科技股份有限公司 一种车载红外疲劳检测装置
FR3028741B1 (fr) 2014-11-25 2019-06-14 Psa Automobiles Sa. Dispositif de mesure du rythme cardiaque du conducteur d’un vehicule
JP6757532B2 (ja) 2014-12-05 2020-09-23 東京都公立大学法人 睡眠段階判定装置、睡眠段階判定方法、睡眠段階判定プログラム
US9469176B2 (en) * 2015-01-08 2016-10-18 Delphi Technologies, Inc. System and method to detect an unattended occupant in a vehicle and take safety countermeasures
US9489817B2 (en) 2015-01-29 2016-11-08 Vigo Technologies, Inc. Infrared sensing of eye and eyelid movements to detect drowsiness
US20180169361A1 (en) 2015-03-13 2018-06-21 Redmed Limited Respiratory therapy apparatus and method
JP6412458B2 (ja) 2015-03-31 2018-10-24 セコム株式会社 超音波センサ
US10859675B2 (en) 2015-04-20 2020-12-08 Resmed Sensor Technologies Limited Gesture recognition with sensors
EP3304114A1 (en) 2015-05-27 2018-04-11 Koninklijke Philips N.V. Motion detection with multi element radio frequency antennas
KR20170015113A (ko) 2015-07-30 2017-02-08 삼성전자주식회사 자율 주행 차량을 제어하는 장치 및 방법
CN106406925A (zh) 2015-08-03 2017-02-15 阿里巴巴集团控股有限公司 用于支持在线升级的设备和方法
JP6987042B2 (ja) 2015-08-26 2021-12-22 レスメッド センサー テクノロジーズ リミテッド 慢性疾患の監視および管理のためのシステムおよび方法
US9692874B2 (en) * 2015-09-30 2017-06-27 Apple Inc. Adjusting alarms based on sleep onset latency
US10137777B2 (en) * 2015-11-03 2018-11-27 GM Global Technology Operations LLC Systems and methods for vehicle system control based on physiological traits
US20170151959A1 (en) * 2015-11-27 2017-06-01 Bragi GmbH Autonomous vehicle with interactions with wearable devices
JP6703893B2 (ja) * 2015-12-01 2020-06-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 体調推定装置、及び、体調推定システム
JP6642588B2 (ja) 2015-12-09 2020-02-05 富士通株式会社 センサシステム、センサ情報処理装置、及び、センサ情報処理プログラム
US11202585B2 (en) 2015-12-10 2021-12-21 Georgia Tech Research Corporation Multi-carrier noncontact signal detection with noise suppression based on a phase-locked loop
DE102015122245A1 (de) 2015-12-18 2017-06-22 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben eines Kraftfahrzeugs mit einerZustandsüberwachungseinrichtung, Fahrerassistenzsystem und Kraftfahrzeug
JP6561852B2 (ja) * 2016-01-14 2019-08-21 株式会社Soken 心拍検出装置
US10386482B2 (en) 2016-01-25 2019-08-20 Board Of Regents, The University Of Texas System Device-free tracking system that accurately tracks hand movement
US10059287B2 (en) * 2016-02-17 2018-08-28 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for enhanced comfort prediction
US9500489B1 (en) * 2016-03-03 2016-11-22 Mitac International Corp. Method of adjusting a navigation route based on detected passenger sleep data and related system
CN107199888A (zh) * 2016-03-18 2017-09-26 松下知识产权经营株式会社 姿势输入系统和姿势输入方法
WO2017167731A1 (en) 2016-03-28 2017-10-05 Robert Bosch Gmbh Sonar-based contactless vital and environmental monitoring system and method
JP7110183B2 (ja) 2016-09-19 2022-08-01 レスメッド センサー テクノロジーズ リミテッド 音声信号およびマルチモード信号から生理学的動きを検出するための装置、システムおよび方法
US10166438B2 (en) 2017-04-11 2019-01-01 Motorola Mobility Llc Apparatus, method, and program product for tracking physical activity
GB2567826B (en) * 2017-10-24 2023-04-26 Cambridge Cognition Ltd System and method for assessing physiological state
CN108113706B (zh) 2017-12-19 2021-01-05 清华大学无锡应用技术研究院 一种基于音频信号的心率监测方法、装置及系统
JP7464522B2 (ja) 2017-12-22 2024-04-09 レスメッド センサー テクノロジーズ リミテッド 動き感知のための装置、システムおよび方法
US10991355B2 (en) * 2019-02-18 2021-04-27 Bose Corporation Dynamic sound masking based on monitoring biosignals and environmental noises

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11226000A (ja) * 1998-02-11 1999-08-24 Hiroshi Yoshioka 音声制御製剤
WO2004058059A2 (en) * 2002-12-30 2004-07-15 Koninklijke Philips Electronics N.V. Audio reproduction apparatus, feedback system and method
CN1788445A (zh) * 2003-06-04 2006-06-14 马科尼英国知识产权有限公司 通信系统
JP2005032831A (ja) * 2003-07-08 2005-02-03 Advanced Lcd Technologies Development Center Co Ltd 結晶化方法、結晶化装置、薄膜トランジスタ及び表示装置
WO2007143535B1 (en) * 2006-06-01 2008-10-16 Biancamed Ltd Apparatus, system, and method for monitoring physiological signs
CN101689219A (zh) * 2006-11-01 2010-03-31 必安康医疗有限公司 用于监测心肺参数的系统和方法
CN101320266A (zh) * 2007-06-04 2008-12-10 李珉和 利用生理信号控制车载电子设备
JP2010012018A (ja) * 2008-07-03 2010-01-21 Nissan Motor Co Ltd 人体状態判定装置及び人体状態判定方法
CN105592777A (zh) * 2013-07-08 2016-05-18 瑞思迈传感器技术有限公司 用于睡眠管理的方法和系统
WO2016093927A2 (en) * 2014-12-08 2016-06-16 University Of Washington Systems and methods of identifying motion of a subject
CN105007318A (zh) * 2015-07-15 2015-10-28 江西师范大学 一种基于智能胎心仪设备的远程监测胎儿数据的方法
JP2017064338A (ja) * 2015-10-01 2017-04-06 ヘルスセンシング株式会社 睡眠状態測定装置及び方法、位相コヒーレンス算出装置並びに心拍波形抽出方法
CN107336711A (zh) * 2017-06-19 2017-11-10 北京汽车股份有限公司 车辆及其自动驾驶系统和方法

Also Published As

Publication number Publication date
US20200383580A1 (en) 2020-12-10
US20240023816A1 (en) 2024-01-25
JP2021508521A (ja) 2021-03-11
EP3727145B1 (en) 2024-01-24
KR102649497B1 (ko) 2024-03-20
WO2019122414A1 (en) 2019-06-27
CN111655135A (zh) 2020-09-11
US11707197B2 (en) 2023-07-25
KR20200104881A (ko) 2020-09-04
EP3727145A1 (en) 2020-10-28

Similar Documents

Publication Publication Date Title
CN111655135B (zh) 用于车辆中的生理感测的设备、系统和方法
CN111629658B (zh) 用于运动感测的设备、系统和方法
CN111655125B (zh) 用于健康和医学感测的设备、系统和方法
US11383721B2 (en) System and method for responding to driver state
KR102658390B1 (ko) 건강 및 의료 감지를 위한 장치, 시스템, 및 방법
KR20240053667A (ko) 건강 및 의료 감지를 위한 장치, 시스템, 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant