CN114173657A - 使用增强现实最小化认知衰退的系统和方法 - Google Patents

使用增强现实最小化认知衰退的系统和方法 Download PDF

Info

Publication number
CN114173657A
CN114173657A CN202080053118.4A CN202080053118A CN114173657A CN 114173657 A CN114173657 A CN 114173657A CN 202080053118 A CN202080053118 A CN 202080053118A CN 114173657 A CN114173657 A CN 114173657A
Authority
CN
China
Prior art keywords
user
housing
augmented reality
coupled
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080053118.4A
Other languages
English (en)
Inventor
博蒂亚巴杜格·迪米特里·约瑟夫·佩雷拉
丽莎·马修斯
克莱尔·唐克
彼得·达索斯
科里·安东尼·斯宾克
弗朗西斯·埃里克·桑德斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Resmed Pty Ltd
Original Assignee
Resmed Pty Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Resmed Pty Ltd filed Critical Resmed Pty Ltd
Publication of CN114173657A publication Critical patent/CN114173657A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531Measuring skin impedance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103Detecting eye twinkling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064Evaluating the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6814Head
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7282Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/07Home care
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09Rehabilitation or training
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233Special features of optical sensors or probes classified in A61B5/00
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405Determining heart rate variability
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168Evaluating attention deficit, hyperactivity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/33Controlling, regulating or measuring
    • A61M2205/332Force measuring means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/33Controlling, regulating or measuring
    • A61M2205/3375Acoustical, e.g. ultrasonic, measuring means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/35Communication
    • A61M2205/3546Range
    • A61M2205/3553Range remote, e.g. between patient's home and doctor's office
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/35Communication
    • A61M2205/3576Communication with non implanted data transmission devices, e.g. using external transmitter or receiver
    • A61M2205/3592Communication with non implanted data transmission devices, e.g. using external transmitter or receiver using telemetric means, e.g. radio or optical transmission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/50General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502User interfaces, e.g. screens or keyboards
    • A61M2205/507Head Mounted Displays [HMD]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/80General characteristics of the apparatus voice-operated command
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2209/00Ancillary equipment
    • A61M2209/08Supports for equipment
    • A61M2209/088Supports for equipment on the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00Measuring parameters of the user
    • A61M2230/04Heartbeat characteristics, e.g. ECG, blood pressure modulation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00Measuring parameters of the user
    • A61M2230/04Heartbeat characteristics, e.g. ECG, blood pressure modulation
    • A61M2230/06Heartbeat rate only
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00Measuring parameters of the user
    • A61M2230/63Motion, e.g. physical activity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00Measuring parameters of the user
    • A61M2230/65Impedance, e.g. conductivity, capacity
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/177Augmented reality
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/09Beam shaping, e.g. changing the cross-sectional area, not otherwise provided for
    • G02B27/0938Using specific optical elements
    • G02B27/095Refractive optical elements
    • G02B27/0955Lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004Annotating, labelling

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Neurology (AREA)
  • Physiology (AREA)
  • Psychology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Anesthesiology (AREA)
  • Neurosurgery (AREA)
  • Automation & Control Theory (AREA)
  • Cardiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Hematology (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computer Graphics (AREA)

Abstract

根据本发明的示例性设备提供壳体、AR透镜、投影仪、存储器和控制系统。控制系统和存储器确定用户何时意识模糊。然后,控制系统通过指向AR透镜的投影仪投影再定向图形。在一些实现方式中,再定向图形在用户生活过程中向用户提供实时信息和提醒。示例性设备使得用户能够在再定向图形的帮助下保持更大的独立性和更正常的生活方式。

Description

使用增强现实最小化认知衰退的系统和方法
相关申请的交叉引用
本申请要求2019年5月31日提交的美国临时申请No.62/855,457的权益及优先权,该申请的全部内容以引用的方式并入本文。
技术领域
本发明涉及认知衰退,并且更具体地,涉及用于使用增强现实来最小化认知衰退的影响的系统和方法。
背景技术
老年人口增长更快,并且患有痴呆或其他认知衰退状态的人的数量增加。老龄化护理设施无法充分支持该人口涌入。因此,老年患者的家庭成员承担了与老龄化相关的许多责任和成本。此外,保健通常在全球范围内从医院转移到家庭,这增加了家庭成员的负担。
经历认知衰退的各个阶段的人可能遭受许多挑战,包括:不能记住或与亲人联系,不能完成必需日常生活(例如,服药或在导航回家),和/或不能前往新的地点。特别是阿尔茨海默病,尽管估计有5000万人患有痴呆症,目前仍没有有效的诊断或治疗,全球卫生保健费用估计约为一万亿美元。预计这些费用随着老年患者的涌入而增加。痴呆患者需要持续监测,因为没有常规产品为老年患者提供支持。在一些情况下,家庭成员不能充分地监测患有痴呆或认知衰退的老年患者,导致患者比在其他情况下更早地生活在老年护理设施中。这导致对其家庭和医疗保健系统的经济压力。
尚无常规产品能够有效地帮助老年患者的看护者承担照顾老年患者的广泛职责。用于老龄化影响的常规治疗和管理选择主要由药物溶液组成。然而,常规药物研究未能开发出针对认知衰退的关键症状的有效且可靠的解决方案,关键症状包括:(1)面部识别,(2)意识模糊/迷失,以及(3)忘记当前任务。常规产品不能以智能集成的方式提供足够的帮助并且在财务上是可行的。
发明内容
根据本发明的一些实现方式,提供了一种帮助用户克服定向障碍的系统。该系统包括壳体、AR透镜、投影仪、存储器和控制系统。该壳体被配置为联接到框架,框架可以佩戴在用户的头部上。AR透镜和投影仪联接到壳体。投影仪还被配置以发射电磁辐射,电磁辐射至少部分地从AR透镜反射,并且被引导朝向用户的眼球。电磁辐射作为增强现实再定向图形对用户是可见的。存储器存储机器可读指令。控制系统包括被配置以执行机器可读指令并执行一系列步骤的一个或多个处理器。这些步骤包括确定用户意识模糊指数。这些步骤然后用于使投影仪发射电磁辐射,使得当所确定的用户意识模糊指数满足预定阈值时增强现实再定向图形对用户是可见的。
根据本发明的一些实现方式,提供了一种帮助用户克服定向障碍的系统。该系统包括壳体、相机、AR透镜、投影仪、存储器和控制系统。壳体被配置为联接到框架,框架支撑校正透镜。当佩戴在用户头部上时,框架将校正透镜定位在用户的眼球附近。相机联接到壳体并产生图像数据。图像数据可再现为通常对应于用户视场的一个或多个图像。AR透镜联接到壳体,并且当壳体联接到框架时,AR透镜邻近校正透镜的外表面。投影仪还被配置为通过校正透镜发射电磁辐射,电磁辐射至少部分地从AR透镜反射,并且被引导朝向用户的眼球。电磁辐射作为增强现实再定向图形对用户是可见的。存储器存储机器可读指令。控制系统包括被配置以执行机器可读指令并执行一系列步骤的一个或多个处理器。步骤包括至少部分地基于所生成的图像数据来估计用户头部的运动分量。步骤然后用于至少部分地基于所估计的运动分量来生成用户意识模糊指数。步骤然后用于使投影仪发射电磁辐射,使得当所确定的用户意识模糊指数满足预定阈值时增强现实再定向图形对用户是可见的。
根据本发明的一些实现方式,提供了一种帮助用户克服定向障碍的系统。该系统包括壳体、相机、麦克风、AR透镜、投影仪、扬声器、存储器和控制系统。该壳体被配置为联接到框架,框架可以佩戴在用户的头部上。相机联接到壳体并产生图像数据。图像数据可再现为通常对应于用户视场的一个或多个图像。麦克风联接到壳体,并产生可再现为音频片段的声音数据。AR透镜和投影仪联接到壳体。投影仪还被配置以发射电磁辐射,电磁辐射至少部分地从AR透镜反射,并且被引导朝向用户的眼球。电磁辐射作为增强现实再定向图形对用户是可见的。扬声器联接到壳体并发出用户可听见的声音作为再定向音频片段。存储器存储机器可读指令。控制系统包括被配置以执行机器可读指令并执行一系列步骤的一个或多个处理器。这些步骤用于生成再定向方案,该方案包括增强现实再定向图形和再定向音频片段。这些步骤然后用于确定用户意识模糊指数。然后,当确定的用户意识模糊指数满足预定阈值时,步骤提供向用户呈现再定向方案。
根据本发明的一些实现方式,提供了一种帮助用户克服定向障碍的系统。该系统包括壳体、相机、AR透镜、投影仪、存储器和控制系统。该壳体被配置为联接到框架,框架可以佩戴在用户的头部上。相机联接到壳体并产生图像数据。图像数据可再现为通常对应于用户视场的一个或多个图像。AR透镜和投影仪联接到壳体。投影仪还被配置以发射电磁辐射,电磁辐射至少部分地从AR透镜反射,并且被引导朝向用户的眼球。存储器存储机器可读指令。控制系统包括被配置以执行机器可读指令并执行一系列步骤的一个或多个处理器。步骤用于确定用户意识模糊指数。步骤然后用于使投影仪发射电磁辐射,使得当确定的用户意识模糊指数满足预定阈值时,交互式增强现实游戏对用户是可见的。
鉴于参考附图进行的各种实施例和/或实现方式的详细描述,本发明的前述和附加方面和实现方式对于本领域的普通技术人员将是显而易见的,接下来提供对附图的简要描述。
附图说明
通过阅读以下详细描述并参考附图,本发明的前述和其他优点将变得显而易见。
图1是根据本发明的一些实现方式的能够帮助用户克服定向障碍的系统的图;
图2A是根据本发明的一些实现方式的能够帮助用户克服定向障碍的设备的透视图;
图2B是图2A的设备的分解图;
图3是根据本发明的一些实现方式的能够帮助用户克服定向障碍的集成设备的局部透视图;
图4是说明了根据本发明的一些实现方式的能够帮助用户克服定向障碍的系统的示图;
图5A是根据本发明的一些实现方式的示范性再定向图形的图示;
图5B是根据本发明的一些实现方式的示范性再定向图形的图示;
图5C是根据本发明的一些实现方式的示范性再定向图形的图示;
图6是根据本发明的一些实现方式的用于显示再定向图形的过程的流程图;
图7是根据本发明的一些实现方式的用于基于用户移动来显示再定向图形的过程的流程图;以及
图8是根据本发明的一些实现方式的用于生成和显示再定向方案的过程的流程图。
具体实施方式
本发明通过提供在意识模糊期间再定向用户的系统和方法来解决照顾老年患者和/或认知衰退的人的挑战。根据本发明的示例性设备提供壳体、AR透镜、投影仪、存储器和控制系统。控制系统和存储器确定用户何时意识模糊。然后,控制系统通过指向AR透镜的投影仪投影再定向图形。在一些实现方式中,重新定向图形在用户生活过程中向用户提供实时信息和提醒。在一些实现方式中,再定向图形包括诸如人的姓名以及当人被观看时他们与用户的关系的信息。在其他示例中,再定向图形包括被设计为鼓励用户中的特定情感的信息(例如,平静图像或使用户平静的熟悉面部)。
因此,本发明使得用户能够在一个或多个再定向图形和/或方案的帮助下保持更大的独立性和更正常的生活方式。本发明的示例性设备进一步提供用于检测焦虑和混乱,学习用户的例程,具有对保护系统的连续访问,提供警报,向外部人员通知用户需要帮助,以及跟踪用户的移动,以及本文进一步讨论的其他特征。
参考图1,能够帮助用户克服定向障碍的系统100包括:框架102、增强现实(AR)镜头104、投影仪106、校正镜头108、相机110、全球定位系统(GPS)传感器112、扬声器114、麦克风116、至少一个其他传感器118、电导传感器120、运动传感器122、心率传感器124、存储器126、控制系统128、壳体130或其任意组合。
框架102是设计成将系统100固定到用户的结构元件。在一些实现方式中,框架102是目镜框架(例如,眼镜框架)、表带/皮带、头套/绑带等,可以用于将一个或多个物体固定到用户的任何其他元件。在一些实现方式中,框架102联接至壳体130。壳体130通过连接元件机械地联接到框架102(例如,如关于图2B进一步讨论的)。在一些实现中,AR透镜104、投影仪106、校正透镜108、相机110、全球定位系统(GPS)传感器112、扬声器114、麦克风116、至少一个其他传感器118、电导传感器120、运动传感器122、心率传感器124、存储器126和控制系统128位于壳体130上和/或壳体中,或者以其他方式联接到壳体。在一些其他实现方式中,这些元件的任何组合直接和/或间接地位于框架102上和/或框架中或以其他方式联接至框架。在系统100的一些实现方式中,可以存在多于一个的以下传感器中的任一个:至少一个其他传感器118、电导传感器120、运动传感器122和心率传感器124。在一些实现方式中,壳体130被容易地可移除地联接到框架102上。在其他示例中,壳体130并非容易地可移除地联接(例如,永久地联接)到框架102,使得例如壳体130的移除需要框架102和/或壳体130的断裂。
AR透镜104是或包括棱镜。在一些实现方式中,AR透镜104被定位为将来自投影仪106的电磁辐射引导朝向校正透镜108。在一些实现方式中,AR透镜104通过校正透镜108远离用户透射电磁辐射;在其他示例中,AR透镜104将电磁辐射从离开校正透镜108并朝向用户(例如,朝向用户的眼球)。
校正透镜108联接到框架102,并被配置为定位在用户的眼睛/眼球的前面。在一些实现方式中,校正透镜108向用户提供视觉辅助;在其他示例中,校正透镜108是具有零光焦度的平透镜。
控制系统128可通信地联接到投影仪106、相机110、GPS传感器112、扬声器114、麦克风116、至少一个其他传感器118、电导传感器120、运动传感器122、心率传感器124、存储器或存储器设备126或其任何组合。控制系统128被配置为根据其各种特性来指示这些各种元件收集数据。控制系统128还可用于将收集的数据存储在存储器126中和/或将收集的数据发送到外部计算设备(例如,如关于图3和4进一步讨论的)。在一些实现方式中,至少一个其他传感器118是被配置为定位系统100(并且由此定位与系统100相关联的用户)的GPS传感器。在其他示例中,至少一个传感器118是深度传感器,该深度传感器被配置为测量在用户的视场中的物体距壳体130的距离。
控制系统128包括一个或多个处理器129。控制系统128通常用于控制系统100的各种部件和/或分析由系统100的部件获得和/或产生的数据。处理器128可以是通用或专用处理器或微处理器。虽然在图1中示出了一个处理器129,但是控制系统128可以包括任何合适数量的处理器(例如,一个处理器,两个处理器、五个处理器、十个处理器等),这些处理器可以在单个壳体中,或者彼此远离地定位。控制系统128可以联接到和/或定位在例如壳体130或框架102内。控制系统128可以是集中式的(在一个这样的壳体内)或分散式的(在物理上不同的两个或多个这样的壳体内)。在包括包含控制系统128的两个或更多个壳体的这种实施方式中,这种壳体可以彼此靠近地和/或远离地定位。
存储器126存储可由控制系统128的处理器129执行的机器可读指令。存储器126可以是任何合适的计算机可读存储设备或介质,例如随机或串行访问存储设备、硬盘驱动器、固态驱动器、闪存设备等。虽然图1中示出了一个存储器126,但是系统100可以包括任何合适数量的存储设备(例如,一个存储设备、两个存储设备、五个存储设备、十个存储设备等)。存储器126可以联接到框架102或壳体130和/或定位于框架或壳体内。与控制系统128类似,存储器126可以是集中式的(在一个这样的壳体内)或分散式的(在物理上不同的两个或多个这样的壳体内)。
在一些实现方式中,存储器126(图1)存储与用户相关联的用户简档。用户简档可以包括例如与用户相关联的人口统计信息、与用户相关联的生物统计信息、与用户相关联的医疗信息、自报告用户反馈、与用户相关联的睡眠参数(例如、从一个或多个较早睡眠会话记录的睡眠相关参数)或其任何组合。人口统计信息可以包括例如指示用户年龄、用户性别、用户种族、失眠家族史、用户就业状况、用户教育状况、用户社会经济状况或其任何组合的信息。医疗信息可以包括例如指示与用户相关联的一个或多个医疗状况、用户的药物使用、或两者。医疗信息数据可以进一步包括多睡眠潜伏期测试(MSLT)测试结果或分数和/或匹兹堡睡眠质量指数(PSQI)分数或值。自我报告的用户反馈可包括指示自我报告的主观睡眠评分(例如,差、平均、优秀)、用户的自我报告的主观压力水平、用户的自我报告的主观疲劳水平、用户的自我报告的主观健康状态、用户最近经历的生活事件或其任何组合的信息。
投影仪106被配置为响应于来自控制系统128的指令发射电磁辐射。投影仪106被配置为发射电磁辐射,电磁辐射作为图形呈现给用户,该图形可以是文本、图像、游戏或任何其他视觉显示。在一些实现方式中,投影仪106直接向用户的视网膜发送电磁辐射。在一些实现方式中,投影仪106是和/或包括被配置为发射可见光的低强度激光器。
相机110被配置为记录一个或多个图像和/或视频数据,包括例如一个或多个视频片段。在一些实现方式中,相机110被定位在框架102上以基本上与校正透镜108的光轴对齐。麦克风116被配置为记录音频数据。控制系统128用于启动和停止相机110和/或麦克风116的记录。扬声器114被配置为响应于来自控制系统128的指令而发射音频数据。在一些实现方式中,扬声器114和麦克风116一前一后地操作以为用户提供听觉接口。这种听觉接口可以经由麦克风116从用户接收音频,在控制系统128处处理音频数据,基于音频数据确定听觉响应,并且经由扬声器114提供听觉响应。
系统100进一步包括被配置为收集与系统100的用户相关联的数据的多个传感器。尽管图1中示出了特定的传感器,但是系统100中可以包括任何生物测定传感器(例如,其他传感器118)。具体地,系统100可以包括电导传感器120,其被配置为测量用户的皮肤电活动。
系统100还可以进一步包括被配置为测量系统100的运动的运动传感器122。当系统100安装在用户头部上时,运动传感器122产生与用户头部的运动相关的运动数据。例如,控制系统128基于来自运动传感器122的数据确定用户何时跌倒。在一些实现方式中,运动传感器122是加速计或陀螺仪。
系统100还可以包括心率传感器124,心率传感器被配置为测量用户的心率并产生心率数据。在一些实现方式中,心率数据指示(1)用户的心率,(2)用户的心率在吸气和呼气之间的可变性,或(3)心率和呼吸时心率的可变性两者。
因此,传感器(例如,其他传感器118、电导传感器120、运动传感器122和心率传感器124)提供数据,这些数据可被分析以提供患者生命(包括心率、呼吸和身体运动)、位置和/或压力水平的指示。在一些实现方式中,由传感器118、120、122和124收集的数据提供对用户意识模糊和/或恐慌的检测和/或监测。因此,系统100能够提供对用户的实时监视,并且在一些实现方式中,提供对意识模糊事件的预测。
在一些实现方式中,系统100是和/或包括手表、一副眼镜、智能电话,和/或被嵌入到用户的衣服中(例如、头带、帽子、衬衫、裤子、短裤等、或其任何组合)。因此,系统100能够收集用户数据并基于所收集的数据向投影仪106提供指令。这里进一步讨论向投影仪提供指令的附加系统示例和方法。
一般参考图2A和2B,能够帮助用户克服定向障碍的设备200包括壳体202、框架204、AR透镜206、投影仪208、一对校正透镜210和相机212。在一些实现中,设备200的元件对应于系统100的元件,并且如以上关于图1所描述的那样被提供。例如,壳体202与图1的壳体130相同或相似;框架204与图1的框架102相同或相似;AR透镜206与图1的AR透镜104相同或相似;投影仪208与图1的投影仪106相同或相似;校正透镜210与图1的校正透镜108相同或相似;并且相机212与图1的相机110相同或相似。
投影仪208是位于壳体202内部的低强度激光器。投影仪208能够以对设备200的用户可见的方式将从AR透镜206反射的光投影为例如一个或多个再定向图形。在一些实现方式中,AR透镜206通过校正透镜210将光投射到设备200的用户的眼睛中。在其他实现方式中,AR透镜206向外投射光远离用户,并且用户通过校正透镜210观看所投射的光。
校正透镜210可以向设备200的用户提供视觉帮助。在一些实现方式中,校正透镜是具有零屈光度的平透镜。在一些其他实现方式中,校正透镜210是具有非零屈光力的处方校正透镜。
参考图2B,设备200包括连接器元件214。连接器元件214可以包括被配置为可移除地联接壳体202和框架204的任何机械连接器。如图2B所示,连接器元件214是柔性夹持元件,其被配置为在其中接收框架204的一部分以将壳体202可移除地保持到框架204。在其他实现方式中,连接器元件214可以包括钩环紧固件、按扣、凸连接器和凹连接器、磁体、粘合剂元件、或任何其他机械连接器、或其任何组合。连接器元件214允许壳体202在不使用外部工具的情况下与框架204可拆卸地联接。在一些实现方式中,连接器元件214是可调节的,以便在其中接纳不同大小和/或样式的框架204。可以理解的是,壳体202(以及的元件)与用户的一副眼镜集成在一起,并且不需要专门制造的一副AR眼镜。
在一些实现方式中,投影仪208被配置为基于来自校正透镜210的壳体202的位置和/或壳体202沿着框架204的位置来校准电磁辐射。例如,投影仪208投射电磁辐射,并且相机212检测电磁辐射何时对系统的用户是可见的。投影仪208和相机212可以通信地联接到外部和/或内部计算设备,该计算设备基于保护电磁辐射的投影仪208与检测电磁辐射的相机212之间的时间来确定壳体202的位置。在一些实现方式中,设备200进一步包括深度传感器,该深度传感器被配置为测量深度传感器与校正透镜210之间的距离。深度传感器可以沿着壳体202的前边缘定位以面对校正透镜210。
参照图3,集成设备300包括麦克风302、投影仪304、扬声器306、心率传感器308、连接性元件310、GPS传感器312、加速度计314、皮肤电导传感器316、相机318、框架320和校正透镜322。在一些实现中,设备300的元件对应于系统100的元件,并且如以上关于图1所描述的那样被提供。例如,麦克风302与图1的麦克风116相同或相似;投影仪304与图1的投影仪106相同或相似;扬声器306与图1的扬声器114相同或相似;心率传感器308与图1的心率传感器124相同或相似;GPS传感器312与图1的GPS传感器112相同或相似;加速度计314与图1的运动传感器122相同或相似;相机318与图1的相机110相同或相似;框架320与图1的框架102相同或相似;并且校正透镜322与图1的校正透镜108相同或相似。
集成设备300的元件永久地集成到框架320中。因此,设备300是易于使用的统一设备,其不需要用户在操作设备300之前将单独的设备(例如,设备200)连接到单独的框架(例如,框架204)。
连接性元件310是任何无线连接通信模块。在一些实现方式中,连接性元件310经由Wi-Fi、蓝牙、射频或任何其他无线连接进行通信。在一些实现中,连接性元件310是用于有线通信的端口。在一些实现中,连接性元件310直接联接到麦克风302、投影仪304、扬声器306、心率传感器308、GPS传感器312、加速度计314、皮肤电导传感器316或其任何组合。连接性元件310能够将集成设备300的元件收集的数据直接和/或间接地发送到外部计算设备(未示出)。在一些实现中,连接性元件310进一步将指令从外部计算设备(未示出)传送到集成设备300的元件。
集成设备300包括存储器和控制系统,它们与上面结合图1描述的存储器126和控制系统128相同或相似。集成设备300的存储器和控制系统能够经由连接元件310将从麦克风302、心率传感器308、GPS传感器312、加速度计314、皮肤电导传感器316和相机318收集的数据发送到外部计算设备。在一些实现方式中,连接性元件310可以将指令从外部计算设备传输到麦克风302、心率传感器308、GPS传感器312、加速度计314、皮肤电导传感器316、相机318或其任何组合。
参考图4,能够帮助用户克服定向障碍的系统400包括再定向设备401和传感器408。再定向设备401与图1的系统100、图2A-2B的设备200、图3的设备300或其任何组合相同或相似。再定向设备401能够佩戴在用户402的头部上,并且将图形406投影到用户的视野404中。
因此,再定向设备401用某种类型的图形406影响用户402的视野404。在一些实现方式中,图形406是图像、文本、人的图片、路线、待做清单、提醒、警报。在一些实现方式中,响应于由再定向设备401收集的数据来提供AF图形406。例如,如果再定向设备401确定用户402意识模糊,则提供AR图形406以再定向用户402。如果再定向设备401确定用户402是焦虑的,则提供AR图形406以平静用户402。下面参考图5A-5C进一步讨论AR图形406的示例。
另外,系统400包括传感器408,其在再定向设备401的外部。在一些实现方式中,传感器408通信地联接到再定向设备401。传感器408从用户402收集生物计量数据,包括以下各项中的任一项:心率数据、运动数据、皮肤电活动或任何其他生物测定数据。虽然传感器408在图4中示出为位于用户的手臂上,但是传感器408可以位于用户402上的任何地方。在一些实现方式中,传感器408是智能电话、智能手表、可穿戴计算设备、健身带、被配置为收集用户402的生物计量数据的任何其他可穿戴物品、以及它们的任何组合。再定向设备401能够基于由传感器408提供的数据来确定图形406。
参考图5A,示出了用户视场500A中的示例性再定向图形(例如,图4的图形406)。用户的视场500A包括虚拟示出的路径502、真实的周围区域504(与虚拟示出的周围区域相对)、以及多个虚拟生成的箭头506。虚拟示出的路径502覆盖在视场500A内的可行走区域上。在一些实现方式中,虚拟示出的路径502被覆盖在可驱动区域上。虚拟示出的路径502进一步包括多个箭头506,其被设计为将用户指向特定方向。在一些实现方式中,箭头506和路径502将用户引导到由外部计算系统(或者例如图1的控制系统128)预定的路径中。例如,预定路径可以包括通过用户家里的室内导航或到选定位置的室外导航。
参考图5B,示出了用户视场500B中的示例性再定向图形(例如,图4的图形406)。用户的视野500B包括真实人物510和虚拟生成的识别标签512。虚拟生成的识别标签512覆盖在真实的人510上。例如,再定向系统或设备(例如,图4的设备401)可以被配置为识别用户已知的真实人物510何时进入用户的视场500B。再定向系统或设备可以被配置为用虚拟生成的识别标签512来标记真实的人510。在一些实现方式中,虚拟生成的识别标签512是围绕人的面部510的框或圆,或指向真实人510的面部的箭头。在一些实现方式中,虚拟生成的识别标签512包括关于真实人物510的信息,诸如姓名、年龄、职业、与用户的关系、其他相关特征及其任何组合。
参考图5C,示出了人的视场500C中的示例性再定向图形(例如,图4的图形406)。用户的视场500C包括虚拟生成的日期和时间520、虚拟生成的文本图形522和虚拟生成的平静图像524。在一些实现方式中,多个虚拟生成的图形(例如,日期和时间520、文本图形522和平静图像524)在视场中覆盖在真实的周围区域上。虚拟生成的文本图形522包括以下各项中的任一项:任务、关于当前任务的细节、提醒、购物清单、日历事件和药物提醒。虚拟生成的平静图像524包括例如以下各项中的任一项:用户已知的人的图片,由用户预先确定的所选图像。
虽然在图5A-5C中示出了可能的AR图形的特定方面,但是本发明预期示例性AR图形可以具有任何数量的附加特征。例如,AR图形可以是任何基于文本的信息、可视图像、视频片段或媒体剪辑。另外,图5A-5C展示AR图形可基于用户视场中的图像,或大体上对应于用户视场的图像。
在一些实现方式中,AR图形包括(i)指示用户的当前任务的基于文本的信息,(ii)指示用户在特定时间服用特定药物的提醒的基于文本的信息,(iii)增强现实方向,(iv)当前星期几、当前年份、当前日时、当前季节或其任何组合,(v)当前事件信息,(vi)用户先前查看的报纸的一部分的表示,(vii)用户先前查看的社交媒体新闻馈送信息,(viii)用户先前查看的网站的一部分的表示,(ix)通过姓名识别用户的视野中的人的信息,(x)与用户相关联的身份信息,身份信息包括用户的姓名、用户的家庭地址、用户的配偶的姓名或其任何组合。
参照图6,示出了根据本发明的一些实现方式的用于显示再定向图形的方法600。可以使用图1的系统100,图2A-2B的设备200和/或图3的集成设备300来执行方法600。
方法600开始于从感测单元602接收输入数据。例如,感测单元是系统100的元件之一(例如,相机110、全球定位系统(GPS)传感器112、扬声器114、麦克风116、传感器118、电导传感器120、运动传感器122和/或心率传感器124)。在一些实现方式中,感测单元是图4的传感器408。输入数据是用户的任何生物统计数据,如本领域已知的。在一些实现中,输入数据进一步包括音频或视觉数据(例如,分别由图1的相机110和麦克风116收集)。
然后,方法600提供基于所接收的输入数据来确定用户意识模糊指数604。在一些实现方式中,用户意识模糊指数是数值分数(例如,10、100或任何其他范围之外的分数)。在一些实现方式中,基于机器学习算法来确定用户意识模糊指数,该机器学习算法在类似于由感测单元提供的数据的输入数据上被训练。在一些实现中,用户意识模糊指数是指示以下任一情况的二进制值:(1)用户意识模糊或(2)用户未意识模糊。在一些实现方式中,方法600还提供用于确定用户关于什么意识模糊(例如,用户在行走时意识模糊,用户在与另一个人谈话时意识模糊,用户在打电话之后意识模糊)。
在一些实现中,用户意识模糊指数基于:(i)从相机接收的图像数据,(ii)从运动传感器接收的运动数据,(iii)从心率传感器接收的心率数据,(iv)从电导传感器接收的皮肤电导数据,或(v)(i)-(iv)的任何组合。
方法600然后提供用于确定用户意识模糊指数是否大于阈值606。在一些实现方式中,阈值是指示相关联用户的意识模糊、恐慌、焦虑或痛苦的升高水平的预定数值分数。
方法600然后提供基于用户意识模糊指数选择图形608。在一些实现方式中,图形基于用户意识模糊的严重性。在一些实现中,608进一步提供基于用户意识模糊和来自感测单元的输入数据(即,如在602中收集的,如上所述)来选择图形。在一些实现中,基于机器学习算法来选择图形,该机器学习算法分析输入数据并确定被预测为降低用户意识模糊指数的图形或图形类型。例如,如果用户在行走时感到意识模糊,则所选择的图形是地图或路径(例如,如图5A所示)。在一些实现方式中,所选择的图形是一系列图形(例如,如图5C所示)。在一些实现方式中,如果用户在与人交谈时意识模糊,则所选择的图形是识别标签(例如,如图5B所示)。
方法600然后提供在设备610处显示图形。在一些实现方式中,图形从投影仪投影到AR透镜和/或校正透镜上。在610的一些实现方式中,图形既显示在设备401处,如关于图4所讨论的,又显示在单独的外部设备处,例如移动电话。在一些实现方式中,图形被存储在单独的外部设备的存储器中。图形可以是任何图形,如以上参考图5A-5C所讨论的。
在一些实现方式中,610还在设备上的扬声器(例如,图1的扬声器114)处提供再定向音频消息。在一些实现方式中,再定向音频消息结合设备上显示的图形,并且响应于用户意识模糊指数超过阈值而被显示。再定向音频消息可以对应于所显示的图形;在一些实现方式中,再定向音频消息朗读包括在所显示的图形中的基于文本的信息。
因此,方法600提供对用户的恐慌和意识模糊的检测和预测。在一些实现方式中,方法600进一步向照顾者或家庭成员提供用户的意识模糊指数的通知。在一些实施方案中,方法600提供对用户的认知缺损状态(例如,与孤独症、PTSD、中风和脑损伤相关)的检测和预测。
图7是根据一个实施例的用于基于用户移动来显示再定向图形的方法700的流程图。在一些实现方式中,方法700在图1的系统100、图2A-2B的设备200、图3的设备300及其任何组合上执行。
方法700用于接收图像数据702。在一些实现方式中,图像数据由相机(例如,图1的相机110、图2A-2B的相机212或图3的相机318)接收。在一些实现方式中,由深度传感器提供附加数据,该深度传感器被配置为测量在用户的视场中的物体距壳体的距离。在一些实现中,也接收音频数据和/或运动数据(例如,分别从图1的麦克风116和运动传感器122)。
然后,方法700提供基于所接收的图像数据来估计用户的运动分量704。在一些实现方式中,通过处理所接收的图像数据以确定所接收的图像是构成急动帧还是构成适当的视场来确定运动分量。在一些实现方式中,704还基于所接收的音频数据和/或运动数据来估计运动分量。在一些实现方式中,704包括估计用户头部的角速度、确定用户头部的移动频率、确定头部的角加速度及其任何组合。
在一些实现方式中,704提供了基于所估计的运动分量来确定用户是否正在摇动其头部、环视、来回看、或其任何组合。
在一些实现方式中,704通过识别由相机捕获的至少两个图像中包含的对象来估计用户头部的运动分量。704进一步提供了计算一段时间内物体在至少两个图像之间的移动。在一些实现方式中,该时间段是预定的。
然后,方法700基于步骤704的估计运动分量来确定用户意识模糊指数706。在一些实现方式中,用户意识模糊指数是数值分数(例如,10、100或任何其他范围之外的分数)。在一些实现方式中,基于机器学习算法来确定用户意识模糊指数,该机器学习算法在类似于由感测单元提供的数据的输入数据上被训练。在一些实现中,用户意识模糊指数是指示以下任一情况的二进制值:(1)用户意识模糊或(2)用户未意识模糊。在一些实现方式中,用户意识模糊指数确定用户的状态,例如,用户是否已经跌倒。
方法700用于确定用户意识模糊指数是否大于阈值708。在一些实现方式中,阈值是指示相关联用户的意识模糊、恐慌、焦虑或痛苦的升高水平的预定数值分数。例如,如果在706确定用户已经跌倒,则在708确定用户意识模糊指数大于阈值。
方法700然后提供经由投影仪710发射AR图形。例如,通过图1的系统100、图2A-2B的设备200、图3的设备300或其任意组合来显示AR图形。AR图形可以是任何图形,如以上参考图5A-5C所讨论的。
图8是根据一个实施例的用于生成和显示再定向方案的方法800的流程图。在一些实现方式中,方法800在图1的系统100、图2A-2B的设备200和图3的设备300上执行。
方法800开始于接收对应于用户方向802的传感器数据。在一些实现方式中,传感器数据来自系统100的元件之一(例如,相机110、全球定位系统(GPS)传感器112、扬声器114、麦克风116、传感器118、电导传感器120、运动传感器122和/或心率传感器124)。在一些实现中,传感器数据来自图4的传感器408。传感器数据包括用户的任何生物计量数据或用户的任何物理定向数据(例如,位置、用户是直立坐着、行走还是跌倒),如本领域中已知的。
方法800然后提供用于基于所接收的传感器数据确定用户意识模糊指数的步骤804。在一些实现方式中,用户意识模糊指数是数值分数(例如,10、100或任何其他范围之外的分数)。在一些实现方式中,基于机器学习算法来确定用户意识模糊指数,该机器学习算法在类似于由感测单元提供的数据的输入数据上被训练。在一些实现方式中,用户意识模糊指数是指示以下任一情况的二进制值:(1)用户意识模糊和/或定向障碍或(2)用户未意识模糊或定向障碍。在一些实现方式中,方法600还提供用于确定用户关于什么意识模糊(例如,用户在行走时意识模糊,用户在与另一个人谈话时意识模糊,用户在打电话之后意识模糊)。
在一些实现中,804用于确定用户可能在预定时间量内定向障碍。例如,预定时间量是5秒、10秒、15秒、20秒、30秒、1分钟、5分钟或10分钟。
方法800然后提供用于基于所接收的传感器数据生成再定向方案804。在一些实现方式中,再定向方案是刺激用户大脑的大脑锻炼、用户完成的任务、待做清单、或用户完成的任何其他活动。
方法800用于确定用户意识模糊指数何时超过阈值806。在一些实现方式中,阈值是指示相关联用户的意识模糊、恐慌、焦虑或痛苦的升高水平的预定数值分数。在本发明的一些实现方式中,806和808可以以任何顺序执行。
方法800然后提供用于在显示器810处显示再定向方案。例如,通过图1的系统100、图2A-2B的设备200、图3的设备300或其任何组合来显示再定向方案。AR图形可以是任何图形,如以上参考图5A-5C所讨论的。
在一些实现方式中,再定向方案表示由用户执行的活动。例如,该活动由用户在向用户显示再定向方案的24小时内执行810。在一些实现方式中,活动包括:阅读报纸、吃食物、表演舞蹈、交谈、行走、浏览网站、编写电子邮件、写信、喂养宠物或其任何组合。
在一些实现方式中,投影仪发射用户可见的AR图形,并且扬声器播放再定向音频片段,如以上关于方法600的610进一步讨论的。
在一些实现方式中,再定向方案是交互式AR游戏。例如,执行方法800的控制系统用于检测响应于AR游戏的来自用户的输入。控制系统进一步被配置为修改用户可见的交互式增强现实游戏的一个或多个方面。
在一些实现方式中,方法800通过提供再定向方案以锻炼用户的大脑并保持用户参与来减缓用户的阿尔茨海默病的进展。在一些实现中,方法800通过向用户提供任务并检查用户是否已经完成任务来跟踪痴呆进展和诊断。在一些实现方式中,方法800通过生成用户已知的人的照片并且确定用户是否可以在照片中识别该人来跟踪痴呆进展和诊断。在其他示例中,方法800重复地向用户提供一个特定的再定向方案,并确定用户是否正在拒绝其完成任务的能力。
来自以下权利要求1-89中任一项的一项或多项的一个或多个要素或方面或步骤或其任何部分可以与来自其他权利要求1-89中任一项的一项或多项或其组合的一个或多个要素或方面或步骤或其任何部分组合,以形成本发明的一个或多个附加实施方式和/或权利要求。
虽然已经参考一个或多个特定实施方案或实现方式描述了本发明,但是本领域技术人员将认识到,在不脱离本发明的精神和范围的情况下,可以对其做出许多改变。这些实施方案和实现方式及其明显变化中的每一个都被认为属于在随后的权利要求中阐述的本发明的精神和范围。

Claims (89)

1.一种用于帮助用户克服定向障碍的方法,所述方法包括:
确定用户意识模糊指数;以及
响应于所确定的用户意识模糊指数满足预定阈值,使投影仪发射电磁辐射,使得所述电磁辐射至少部分地从AR透镜反射并被引导朝向所述用户的眼球,所述电磁辐射作为增强现实再定向图形对所述用户是可见的。
2.如权利要求1所述的方法,其中所述AR透镜联接到被配置为佩戴在所述用户的头部上的框架。
3.如权利要求2所述的方法,进一步包括经由相机生成图像数据,所述图像数据可再现为通常对应于所述用户的视场的一个或多个图像。
4.如权利要求3所述的方法,进一步包括至少部分地基于所生成的图像数据来估计所述用户的头部的运动分量。
5.如权利要求3或权利要求4所述的方法,其中所述相机的视场基本上与所述校正透镜的光轴对准。
6.如权利要求4或5所述的方法,其中所述估计所述用户的头部的运动分量包括估计所述头部的角速度、所述头部的运动频率、所述头部的角加速度、或其任何组合。
7.如权利要求4至6中任一项所述的方法,其中所述用户的头部的运动分量指示所述用户正在摇动其头部、环视、来回看、或其任何组合。
8.如权利要求4至7中任一项所述的方法,其中所述估计用户的头部的运动分量包括识别包含在所述一个或多个图像中的两个图像中的对象,以及计算以预定时间间隔生成的所述对象在所述两个图像之间的运动量。
9.如权利要求1至8中任一项所述的方法,其中所述增强现实再定向图形包括基于文本的信息。
10.如权利要求9所述的方法,其中所述基于文本的信息指示所述用户的当前任务。
11.如权利要求9或权利要求10所述的方法,其中所述基于文本的信息指示所述用户在特定时间服用特定药物的提醒。
12.如权利要求1至11中任一项所述的方法,其中所述增强现实再定位图形包括增强现实方向。
13.如权利要求1至12中任一项所述的方法,其中所述增强现实再定位图形包括当前星期几、当前年份、当前日时、当前季节、或其任何组合。
14.如权利要求1至13中任一项所述的方法,其中所述增强现实再定向图形包括当前事件信息。
15.如权利要求1至14中任一项所述的方法,其中所述增强现实再定向图形包括所述用户先前查看的报纸的一部分的表示。
16.如权利要求1至15中任一项所述的方法,其中所述增强现实再定向图形包括所述用户先前查看的社交媒体新闻馈送信息。
17.如权利要求1至16中任一项所述的方法,其中所述增强现实再定向图形包括所述用户先前查看的网站的一部分的表示。
18.如权利要求1至17中任一项所述的方法,其中所述增强现实再定向图形通过姓名来识别所述用户的视场中的人。
19.如权利要求1至18中任一项所述的方法,其中所述增强现实再定向图形包括与所述用户相关联的身份信息,所述身份信息包括所述用户的姓名、所述用户的家庭地址、用户配偶的姓名、或其任何组合。
20.如权利要求2至19中任一项所述的方法,进一步包括经由联接到所述框架的扬声器发出声音,所述声音作为再定向音频消息对所述用户是可听见的。
21.如权利要求2至20中任一项所述的方法,进一步包括经由联接到所述框架的心率传感器产生心率数据。
22.如权利要求21所述的方法,其中所述确定用户意识模糊指数至少部分地基于所产生的心率数据。
23.如权利要求2至22中任一项所述的方法,进一步包括经由联接到所述框架的皮肤电导传感器生成皮肤电导数据。
24.如权利要求23所述的方法,其中所述确定用户意识模糊指数至少部分地基于所生成的皮肤电导数据。
25.一种系统,其包括:
控制系统,其包括一个或多个处理器;以及
存储器,其上存储有机器可读指令;
其中,所述控制系统联接到所述存储器,并且当所述存储器中的所述机器可执行指令由所述控制系统的所述一个或多个处理器中的至少一个执行时,实施如权利要求1-24中任一项所述的方法。
26.一种帮助用户克服定向障碍的系统,所述系统包括被配置以实施如权利要求1-24中任一项所述的方法的控制系统。
27.一种包括指令的计算机程序产品,所述指令在由计算机执行时使所述计算机执行如权利要求1至24中任一项所述的方法。
28.如权利要求27所述的计算机程序产品,其中所述计算机程序产品是非瞬态计算机可读介质。
29.一种用于帮助用户克服定向障碍的系统,所述系统包括:
壳体,其被配置为联接到框架,所述框架被配置为佩戴在用户的头部上;
AR透镜,其联接到所述壳体;
投影仪,其联接到所述壳体并且被配置为发射电磁辐射,使得所述电磁辐射至少部分地从所述AR透镜反射并且被引导朝向所述用户的眼球,所述电磁辐射作为增强现实再定向图形对所述用户是可见的;
存储器,其存储机器可读指令;以及
控制系统,其包括被配置以执行所述机器可读指令的一个或多个处理器,以:
确定用户意识模糊指数;以及
使所述投影仪发射所述电磁辐射,使得当所确定的用户意识模糊指数满足预定阈值时,所述增强现实再定向图形对所述用户是可见的。
30.如权利要求29所述的系统,进一步包括联接到所述壳体并被配置以生成图像数据的相机。
31.如权利要求30所述的系统,其中所述控制系统进一步被配置为至少部分地基于所生成的图像数据来估计所述用户的头部的运动分量,并且其中所述确定用户意识模糊指数至少部分地基于所估计的运动分量。
32.如权利要求29至31中任一项所述的系统,进一步包括运动传感器,所述运动传感器联接到所述壳体并被配置以生成运动数据,所述运动数据指示所述用户的头部的运动。
33.如权利要求32所述的系统,其中所述确定用户意识模糊指数至少部分地基于所生成的运动数据。
34.如权利要求32所述的系统,其中所述确定用户意识模糊指数包括至少部分地基于所生成的运动数据来估计所述用户的头部的运动分量。
35.如权利要求34所述的系统,其中所述估计所述用户的头部的运动分量包括估计所述头部的角速度、所述头部的运动频率、所述头部的角加速度、或其任何组合。
36.如权利要求34所述的系统,其中所述用户的头部的运动分量指示所述用户正在摇动其头部、环视、来回看、或其任何组合。
37.如权利要求32到36中任一项所述的系统,其中所述确定用户意识模糊指数包括至少部分地基于所生成的运动数据来估计所述用户的步行运动。
38.如权利要求32至37中任一项所述的系统,其中所述运动传感器是陀螺仪或加速度计。
39.如权利要求29至38中任一项所述的系统,其中所述壳体在不使用工具的情况下从所述框架可移除。
40.如权利要求29至38中任一项所述的系统,其中所述壳体永久地联接到所述框架。
41.如权利要求29至40中任一项所述的系统,其中,所述控制系统进一步被配置为基于所述壳体沿所述框架的位置来校准所述投影仪。
42.如权利要求29至41中任一项所述的系统,其中所述增强现实再定向图形包括(i)指示所述用户的当前任务的基于文本的信息,(ii)指示所述用户在特定时间服用特定药物的提醒的基于文本的信息,(iii)增强现实方向,(iv)当前星期几、当前年份、当前日时、当前季节、或其任何组合,(v)当前事件信息,(vi)所述用户先前查看的报纸的一部分的表示,(vii)所述用户先前查看的社交媒体新闻馈送信息,(viii)所述用户先前查看的网站的一部分的表示,(ix)通过姓名识别所述用户的视野中的人的信息,(x)与所述用户相关联的身份信息,所述身份信息包括所述用户的姓名、所述用户的家庭地址、所述用户的配偶的姓名、或其任何组合,(xi)或(i)-(x)的任何组合。
43.如权利要求29所述的系统,进一步包括:
相机,其联接到所述壳体并被配置以生成图像数据;以及
运动传感器,其联接到所述壳体并且被配置为用于产生运动数据,
其中,所述控制系统进一步被配置为至少部分地基于所生成的图像数据并且至少部分地基于所生成的运动数据来估计所述用户的头部的运动分量。
44.如权利要求43所述的系统,其中所述确定用户意识模糊指数至少部分地基于所估计的运动分量。
45.如权利要求29至44中任一项所述的系统,进一步包括心率传感器,所述心率传感器联接到所述壳体并被配置以产生心率数据。
46.如权利要求45所述的系统,其中所述确定用户意识模糊指数至少部分地基于所产生的心率数据。
47.如权利要求45或权利要求46所述的系统,其中所述心率数据指示所述用户的心率、所述用户的心率在吸气与呼气之间的可变性、或两者。
48.如权利要求29至47中任一项所述的系统,进一步包括皮肤电导传感器,所述皮肤电导传感器联接到所述壳体并被配置以生成皮肤电导数据。
49.如权利要求48所述的系统,其中所述确定用户意识模糊指数至少部分地基于所生成的皮肤电导数据。
50.如权利要求29所述的系统,进一步包括:
相机,其联接到所述壳体并被配置为生成图像数据;
运动传感器,其联接到所述壳体并且被配置为用于产生运动数据;
心率传感器,其联接到所述壳体且被配置以产生心率数据;以及
皮肤电导传感器,其联接到所述壳体且被配置以产生皮肤电导数据,
其中所述确定用户意识模糊指数至少部分地基于:(i)所产生的图像数据,(ii)所产生的运动数据,(iii)所产生的心率数据,(iv)所产生的皮肤电导数据,或(v)(i)-(iv)的任何组合。
51.一种用于帮助用户克服定向障碍的系统,所述系统包括:
壳体,其配置为联接到框架,所述框架在其中支撑校正透镜,所述框架被配置为佩戴在用户的头部上,这样使得当所述框架被佩戴在所述用户的头部上时,所述框架将所述校正透镜定位成邻近所述用户的眼球;
相机,其联接到所述壳体且被配置以产生图像数据,所述图像数据可再现为大体上对应于所述用户的视场的一个或多个图像;
AR透镜,其联接到所述壳体,使得当所述壳体被联接到所述框架时所述AR透镜被定位成邻近所述校正透镜的外表面;
投影仪,其联接到所述壳体并且被配置为发射电磁辐射,使得所述电磁辐射至少部分地从所述AR透镜反射并且被引导穿过所述校正透镜并且朝向所述用户的眼球,所述电磁辐射作为增强现实再定向图形对所述用户是可见的;
存储器,其存储机器可读指令;以及
控制系统,其包括被配置以执行所述机器可读指令的一个或多个处理器,以:
至少部分地基于所产生的图像数据来估计所述用户的头部的运动分量;
至少部分地基于所估计的运动分量来确定用户意识模糊指数;以及
使所述投影仪发射所述电磁辐射,使得当所确定的用户意识模糊指数满足预定阈值时,所述增强现实再定向图形对所述用户是可见的。
52.如权利要求51所述的系统,其中所述壳体在不使用工具的情况下从所述框架可移除。
53.如权利要求51所述的系统,其中所述壳体永久地联接到所述框架。
54.如权利要求51至53中任一项所述的系统,其中所述相机的视场基本上与所述校正透镜的光轴对准。
55.如权利要求51至54中任一项所述的系统,其中所述估计所述用户的头部的运动分量包括估计所述头部的角速度、所述头部的运动频率、所述头部的角加速度、或其任何组合。
56.如权利要求51至55中任一项所述的系统,其中所述用户的头部的运动分量指示所述用户正在摇动其头部、环视、来回看、或其任何组合。
57.如权利要求51至56中任一项所述的系统,其中所述估计用户的头部的运动分量包括识别包含在所述一个或多个图像中的两个图像中的对象,以及计算以预定时间间隔生成的所述对象在所述两个图像之间的运动量。
58.如权利要求51至57中任一项所述的系统,进一步包括联接到所述壳体的深度传感器,所述深度传感器被配置以测量在所述用户的视场中的对象距所述壳体的距离。
59.如权利要求51至58中任一项所述的系统,其中所述增强现实再定向图形包括基于文本的信息。
60.如权利要求59所述的系统,其中所述基于文本的信息指示所述用户的当前任务。
61.如权利要求59所述的系统,其中所述基于文本的信息指示所述用户在特定时间服用特定药物的提醒。
62.如权利要求51至61中任一项所述的系统,其中所述增强现实再定位图形包括增强现实方向。
63.如权利要求51至62中任一项所述的系统,其中所述增强现实再定位图形包括当前星期几、当前年份、当前日时、当前季节、或其任何组合。
64.如权利要求51至63中任一项所述的系统,其中所述增强现实再定向图形包括当前事件信息。
65.如权利要求51至64中任一项所述的系统,其中所述增强现实再定向图形包括所述用户先前查看的报纸的一部分的表示。
66.如权利要求51至65中任一项所述的系统,其中所述增强现实再定向图形包括所述用户先前查看的社交媒体新闻馈送信息。
67.如权利要求51至66中任一项所述的系统,其中所述增强现实再定向图形包括所述用户先前查看的网站的一部分的表示。
68.如权利要求51至67中任一项所述的系统,其中所述增强现实再定向图形通过姓名来识别所述用户的视场中的人。
69.如权利要求51至68中任一项所述的系统,其中所述增强现实再定向图形包括与所述用户相关联的身份信息,所述身份信息包括所述用户的姓名、所述用户的家庭地址、用户配偶的姓名、或其任何组合。
70.如权利要求51至69中任一项所述的系统,进一步包括联接到所述壳体的扬声器,所述扬声器被配置以发出用户可听见的声音作为再定向音频消息。
71.如权利要求70所述的系统,其中所述控制系统进一步被配置为执行所述机器可读指令,以使所述扬声器发出声音,使得当所确定的用户意识模糊指数满足所述预定阈值时,所述再定向音频消息对所述用户是可听见的。
72.如权利要求70或71所述的系统,其中所述再定向音频消息对应于所述增强现实再定向图形。
73.如权利要求70至72中任一项所述的系统,其中所述再定向音频消息包括对包括在所述增强现实再定向图形中的基于文本的信息的读取。
74.如权利要求51至73中任一项所述的系统,其中,所述控制系统进一步被配置为基于所述壳体沿所述框架的位置来校准所述投影仪。
75.如权利要求51至74中任一项所述的系统,其中所述AR透镜是棱镜。
76.如权利要求51至74中任一项所述的系统,其中所述校正透镜是具有零焦度的平透镜。
77.一种用于帮助用户克服定向障碍的系统,所述系统包括:
壳体,其被配置为联接到框架,所述框架被配置为佩戴在用户的头部上;
相机,其联接到所述壳体且被配置以产生图像数据,所述图像数据可再现为大体上对应于所述用户的视场的一个或多个图像;
麦克风,其联接到所述壳体且被配置以产生可再现为一个或多个音频片段的声音数据;
AR透镜,其联接到所述壳体;
投影仪,其联接到所述壳体并且被配置为用于发射电磁辐射,使得所述电磁辐射至少部分地从所述AR透镜反射并且被引导朝向所述用户的眼球,所述电磁辐射作为增强现实再定向图形对所述用户是可见的;
扬声器,其联接到所述壳体并且被配置为用于发出所述用户可听见的声音作为再定向音频片段;
存储器,其存储机器可读指令;以及
控制系统,其包括被配置以执行所述机器可读指令的一个或多个处理器,以:
生成包括所述增强现实再定向图形和所述再定向音频片段的再定向方案;
确定用户意识模糊指数;以及
当所确定的用户意识模糊指数满足预定阈值时,向所述用户呈现再定向方案。
78.如权利要求77所述的系统,其中所述增强现实再定向图形基于通常对应于所述用户的视场的所述一个或多个图像。
79.如权利要求77或78所述的系统,其中所述再定向音频片段基于所述一个或多个音频片段。
80.如权利要求77至79中任一项所述的系统,其中所述再定向方案表示由所述用户执行的活动。
81.如权利要求80所述的系统,其中所述活动由所述用户在向所述用户呈现所述再定向方案之前不到24小时执行。
82.如权利要求80或81所述的系统,其中所述活动包括:阅读报纸、吃食物、表演舞蹈、交谈、行走、浏览网站、编写电子邮件、写信、喂养宠物、或其任何组合。
83.如权利要求77至82中任一项所述的系统,其中向所述用户呈现所述再定向方案包括:(i)使所述投影仪发射所述电磁辐射,使得所述增强现实再定向图形对所述用户是可见的;以及(ii)使所述扬声器播放所述再定向音频片段。
84.如权利要求77至83中任一项所述的系统,其中所述相机是视频相机,并且所述图像数据可再现为一个或多个视频片段。
85.一种用于帮助用户克服定向障碍的系统,所述系统包括:
壳体,其被配置为联接到框架,所述框架被配置为佩戴在用户的头部上;
相机,其联接到所述壳体并被配置以生成图像数据;
AR透镜,其联接到所述壳体;
投影仪,其联接到所述壳体并且被配置以发射电磁辐射,使得所述电磁辐射至少部分地从所述AR透镜反射并且被引导朝向所述用户的眼球;
存储器,其存储机器可读指令;以及
控制系统,其包括被配置以执行所述机器可读指令的一个或多个处理器,以:
确定用户意识模糊指数;以及
使所述投影仪发射电磁辐射,使得当所确定的用户意识模糊指数满足预定阈值时,交互式增强现实游戏对所述用户是可见的。
86.如权利要求85所述的系统,其中所述控制系统进一步被配置以执行所述机器可读指令,以(i)检测来自所述用户的与所述交互式增强现实游戏相关联的输入,以及(ii)响应于对所述输入的检测,修改所述用户可见的所述交互式增强现实游戏的一个或多个方面。
87.如权利要求85或权利要求86所述的系统,其中确定所述用户意识模糊指数满足所述预定阈值指示了所述用户当前定向障碍。
88.如权利要求85或权利要求86所述的系统,其中确定所述用户意识模糊指数满足所述预定阈值指示了所述用户有可能在预定时间量内定向障碍。
89.如权利要求88所述的系统,其中所述预定时间量约为五分钟。
CN202080053118.4A 2019-05-31 2020-05-28 使用增强现实最小化认知衰退的系统和方法 Pending CN114173657A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962855457P 2019-05-31 2019-05-31
US62/855,457 2019-05-31
PCT/IB2020/055081 WO2020240470A1 (en) 2019-05-31 2020-05-28 Systems and methods for minimizing cognitive decline using augmented reality

Publications (1)

Publication Number Publication Date
CN114173657A true CN114173657A (zh) 2022-03-11

Family

ID=73553609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080053118.4A Pending CN114173657A (zh) 2019-05-31 2020-05-28 使用增强现实最小化认知衰退的系统和方法

Country Status (7)

Country Link
US (1) US20220226600A1 (zh)
EP (1) EP3975845A4 (zh)
JP (1) JP2022535032A (zh)
KR (1) KR20220068198A (zh)
CN (1) CN114173657A (zh)
SG (1) SG11202113275SA (zh)
WO (1) WO2020240470A1 (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120134543A1 (en) * 2010-11-30 2012-05-31 Fedorovskaya Elena A Method of identifying motion sickness
US20180004286A1 (en) * 2016-06-30 2018-01-04 Sony Interactive Entertainment Inc. Augmenting Virtual Reality Content With Real World Content
CN108592937A (zh) * 2018-05-09 2018-09-28 何辉 一种用于户外探险的夜行路况标识系统
CN109690384A (zh) * 2016-04-08 2019-04-26 维扎瑞尔股份公司 用于基于视觉性能数据获得、分析和生成视觉性能数据和修改媒体的方法和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7733224B2 (en) * 2006-06-30 2010-06-08 Bao Tran Mesh network personal emergency response appliance
US9256711B2 (en) * 2011-07-05 2016-02-09 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for providing health information to employees via augmented reality display
US9030495B2 (en) * 2012-11-21 2015-05-12 Microsoft Technology Licensing, Llc Augmented reality help
WO2017004695A1 (en) * 2015-07-06 2017-01-12 Frank Jones Methods and devices for demountable head mounted displays

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120134543A1 (en) * 2010-11-30 2012-05-31 Fedorovskaya Elena A Method of identifying motion sickness
CN109690384A (zh) * 2016-04-08 2019-04-26 维扎瑞尔股份公司 用于基于视觉性能数据获得、分析和生成视觉性能数据和修改媒体的方法和系统
US20180004286A1 (en) * 2016-06-30 2018-01-04 Sony Interactive Entertainment Inc. Augmenting Virtual Reality Content With Real World Content
CN108592937A (zh) * 2018-05-09 2018-09-28 何辉 一种用于户外探险的夜行路况标识系统

Also Published As

Publication number Publication date
EP3975845A1 (en) 2022-04-06
WO2020240470A1 (en) 2020-12-03
US20220226600A1 (en) 2022-07-21
KR20220068198A (ko) 2022-05-25
SG11202113275SA (en) 2021-12-30
JP2022535032A (ja) 2022-08-04
EP3975845A4 (en) 2023-09-13

Similar Documents

Publication Publication Date Title
US10694981B2 (en) Wearable physiology monitor computer apparatus, systems, and related methods
US20200311609A1 (en) Adaptive model-based system to automatically quantify fall risk
US20200337631A1 (en) Systems, environment and methods for identification and analysis of recurring transitory physiological states and events using a portable data collection device
US10524667B2 (en) Respiration-based estimation of an aerobic activity parameter
US10064559B2 (en) Identification of the dominant nostril using thermal measurements
US10617342B2 (en) Systems, apparatus, and methods for using a wearable device to monitor operator alertness
CA2942852C (en) Wearable computing apparatus and method
US7502498B2 (en) Patient monitoring apparatus
US20180103913A1 (en) Calculating respiratory parameters from thermal measurements
US10080861B2 (en) Breathing biofeedback eyeglasses
WO2016164376A1 (en) Infant caregiver system, and infant data aggregation system, and aggregating observations related to infant data, and aggregating inferences related to infant data
KR101584090B1 (ko) 미러 디바이스, 웨어러블 디바이스 및 이를 이용한 운동 관리 시스템
JP2017511164A (ja) 注意レベル及び作業負荷の検知を伴うスマートウェアラブル装置及び方法
US20190038180A1 (en) Virtual coaching based on respiration signals
US10045699B2 (en) Determining a state of a user based on thermal measurements of the forehead
US10092232B2 (en) User state selection based on the shape of the exhale stream
WO2016172557A1 (en) Systems, environment and methods for identification and analysis of recurring transitory physiological states and events using a wearable data collection device
US20180092588A1 (en) Suggest activities according to the dominant nostril
JP2022548473A (ja) 患者監視のためのシステム及び方法
US10130299B2 (en) Neurofeedback eyeglasses
WO2017016941A1 (en) Wearable device, method and computer program product
Burns et al. Design and evaluation of a smartphone based wearable life-logging and social interaction system
US20220226600A1 (en) Systems and methods for minimizing cognitive decline using augmented reality
WO2023037348A1 (en) System and method for monitoring human-device interactions
Jeon et al. SleePS: Sleep position tracking system for screening sleep quality by wristbands

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination