JP2019529917A - 拡張現実の分光法 - Google Patents

拡張現実の分光法 Download PDF

Info

Publication number
JP2019529917A
JP2019529917A JP2019515527A JP2019515527A JP2019529917A JP 2019529917 A JP2019529917 A JP 2019529917A JP 2019515527 A JP2019515527 A JP 2019515527A JP 2019515527 A JP2019515527 A JP 2019515527A JP 2019529917 A JP2019529917 A JP 2019529917A
Authority
JP
Japan
Prior art keywords
light
user
electromagnetic radiation
controller
wavelength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019515527A
Other languages
English (en)
Other versions
JP7148501B2 (ja
JP2019529917A5 (ja
Inventor
ニコル エリザベス サメック,
ニコル エリザベス サメック,
ナスターシャ ユー. ロバイナ,
ナスターシャ ユー. ロバイナ,
エイドリアン ケーラー,
エイドリアン ケーラー,
マーク ベーレンロッド,
マーク ベーレンロッド,
エリック ベーレンロッド,
エリック ベーレンロッド,
クリストファー エム. ハリセス,
クリストファー エム. ハリセス,
タミー シェリー パワーズ,
タミー シェリー パワーズ,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2019529917A publication Critical patent/JP2019529917A/ja
Publication of JP2019529917A5 publication Critical patent/JP2019529917A5/ja
Priority to JP2022150938A priority Critical patent/JP2022192065A/ja
Application granted granted Critical
Publication of JP7148501B2 publication Critical patent/JP7148501B2/ja
Priority to JP2023112168A priority patent/JP2023143907A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121Determining geometric values, e.g. centre of rotation or angular range of movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14552Details of sensors specially adapted therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14555Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases specially adapted for the eye fundus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744Displaying an avatar, e.g. an animated cartoon character
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0248Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using a sighting port, e.g. camera or human eye
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0256Compact construction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0264Electrical interface; User interface
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/10Arrangements of light sources specially adapted for spectrometry or colorimetry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/10Arrangements of light sources specially adapted for spectrometry or colorimetry
    • G01J3/108Arrangements of light sources specially adapted for spectrometry or colorimetry for measurement in the infrared range
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/42Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/42Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
    • G01J3/427Dual wavelengths spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0075Arrangements of multiple light guides
    • G02B6/0076Stacked arrangements of multiple light guides of the same or different cross-sectional area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/13Digital output to plotter ; Cooperation and interconnection of the plotter with other functional units
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00216Electrical control of surgical instruments with eye tracking or head position tracking control
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/10Arrangements of light sources specially adapted for spectrometry or colorimetry
    • G01J2003/102Plural sources
    • G01J2003/106Plural sources the two sources being alternating or selectable, e.g. in two ranges or line:continuum
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • G01J2003/2826Multispectral imaging, e.g. filter imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/42Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
    • G01J2003/425Reflectance
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0123Head-up displays characterised by optical features comprising devices increasing the field of view
    • G02B2027/0125Field-of-view increase by wavefront division
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Geometry (AREA)
  • Medicinal Chemistry (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Food Science & Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Ophthalmology & Optometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)

Abstract

いくつかの実施形態では、システムは、ユーザの頭部に取り外し可能に結合可能な頭部搭載型フレームと、頭部搭載型フレームに結合され、少なくとも2つの異なる波長を伴う光を光源の照射視野内の標的オブジェクトに向かって放出するように構成される、1つ以上の光源と、頭部搭載型部材に結合され、標的オブジェクトに遭遇した後に反射された光を受光するように構成される、1つ以上の電磁放射検出器と、1つ以上の光源および検出器に動作可能に結合され、光源によって放出される光の性質に関連して検出器によって測定された光の性質によって判定されるように、標的オブジェクトの識別または性質を示す出力を判定および表示するように構成される、コントローラとを備える。

Description

(優先権主張)
本出願は、2016年9月22日に出願された米国仮出願第62/398,454号の優先権の利益を主張する。上記文献は、参照することによって本明細書に組み込まれる。
(参照による援用)
本発明は、参照することによって、以下の米国特許出願:米国特許出願第15/072,341号、米国特許出願第14/690,401号、米国特許出願第14/555,858号、米国出願第14/555,585号、米国特許出願第13/663,466号、米国特許出願第13/684,489号、米国特許出願第14/205,126号、米国特許出願第14/641,376号、米国特許出願第14/212,961号、米国仮特許出願第62/298,993号(米国特許出願第15/425,837号に対応する)、および米国特許出願第15/425,837号の各々の全体を組み込む。
(背景)
(発明の分野)
本開示は、ウェアラブル構成部分を使用した拡張現実のためのシステムおよび方法に関し、より具体的には、反射光の性質によって材料を識別するための拡張現実システムの構成に関する。
(関連技術の説明)
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える、もしくはそのように知覚され得る様式でユーザに提示される。仮想現実、すなわち、「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実または「AR」シナリオは、典型的には、依然として、ユーザが実世界を実質的に知覚および視認することを可能にしながら、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。
例えば、図1を参照すると、拡張現実場面(4)が、描写されており、AR技術のユーザには、人々、木々、背景における建物、コンクリートプラットフォーム(1120)を特徴とする、実世界公園状設定(6)が見える。これらのアイテムに加え、AR技術のユーザはまた、これらの仮想要素(2、1110)が実世界内に存在しないにもかかわらず、実世界プラットフォーム(1120)上に立っているロボット像(1110)と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ(2)とを「見ている」と知覚する。結論から述べると、ヒトの視知覚系は、非常に複雑であり、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進する、VRまたはAR技術の生産は、困難である。例えば、頭部装着型ARディスプレイ(またはヘルメット搭載型ディスプレイもしくはスマートグラス)は、典型的には、ユーザの頭部に少なくとも緩く装着され、したがって、ユーザの頭部が移動すると移動する。ユーザの頭部の運動が、ディスプレイシステムによって検出される場合、表示されているデータは、頭部姿勢の変化を考慮するように更新されることができる。好適なARシステムのある側面は、例えば、Magic Leap,Inc.(Fort Lauderdale,Florida)によって開発されたもの等の拡張および仮想現実システムに関する、以下の付加的開示とともに、参照することによってその全体として本明細書に組み込まれる、「System and method for augmented and virtual reality」と題された米国特許出願第14/205,126号、米国特許出願第14/641,376号、米国特許出願第14/555,585号、米国特許出願第14/212,961号、米国特許出願第14/690,401号、米国特許出願第13/663,466号、米国特許出願第13/684,489号、および米国出願第62/298,993号に開示されており、それぞれ、参照することによって全体として本明細書に組み込まれる。
本明細書に開示されるシステムおよび方法は、ARおよびVR技術に関連する種々の課題および開発に対処する。
(要約)
複合現実システムは、分光を実施するように構成される。複合現実(代替として、「MR」として省略される)は、典型的には、自然世界の中に統合され、それに応答する、仮想オブジェクトを伴う。例えば、MRシナリオでは、ARコンテンツは、実世界オブジェクトによってオクルードされ、および/または実世界内の他の(仮想または実)オブジェクトと相互作用するように知覚され得る。本開示全体を通して、AR、VR、またはMRの言及は、本発明に関する限定ではなく、本技法は、任意のコンテキストに適用されてもよい。
いくつかの実施形態は、ユーザの頭部に取り外し可能に結合可能な頭部搭載型部材から放出され、続いて、それによって受光され/それに反射され/そこで検出された光波長の関数として、物質(組織、組織内の細胞、または細胞/組織内の性質等)を識別するためのウェアラブルシステムを対象とする。本開示は、主に、種々の実施形態による分析のための対象として、組織または組織の性質を参照するが、本技術および技法ならびにコンポーネントは、そのように限定されない。いくつかの実施形態は、頭部搭載型部材に結合され、1つ以上の波長内の光をユーザ選択方向に放出する、電磁放射エミッタ等の1つ以上の光源を利用する。そのような実施形態は、連続的および受動的測定さえ可能にする。例えば、頭部搭載型システムを装着しているユーザは、所与のアクティビティを行い得るが、内向きに面したセンサは、アクティビティに干渉せずに、眼の性質を検出し得る。
例えば、ユーザは、ユーザの眼を内向きに見て、眼の血管内の血液濃度等の眼の組織の性質を識別または測定するように構成される、システムを装着し得る。内向きシステムの他の実施例では、単に、組織の性質だけではなく、眼内流体等の流体が、分析されてもよい。他の実施例では、システムは、外界に向かって外向きに見て、ユーザの四肢またはユーザから離れた周囲環境内のオブジェクト等、眼以外の組織または材料の性質を識別または測定する、センサを備え得る。
外向きに見るシステムでは、頭部搭載型部材に結合される眼追跡カメラは、ユーザが見ている指向性注視を判定することができ、プロセッサまたはコントローラは、頭部搭載型部材に結合される実世界捕捉システム(カメラまたは深度センサ等)から捕捉された画像を通して、その注視と実世界標的オブジェクトの観察を相関させてもよい。頭部搭載型システムに結合される光源は、例えば、電磁放射エミッタから、赤外線光等の光をユーザから離れるように放出し、いくつかの実施形態では、光を放出し、照射パターンを眼追跡カメラによって判定された注視方向と実質的に同一方向に作成し、それによって、標的オブジェクト上に放出する。
いくつかの実施形態では、実世界捕捉システムは、オブジェクトを捕捉する。例えば、垂直キャビティ面発光レーザ等の深度センサは、オブジェクトに衝突する飛行時間信号を収集することを通して、オブジェクトのアウトラインを判定してもよい。オブジェクトは、いったんそのような実世界捕捉システムによってその輪郭において識別されると、ハイライトされ、ラベル化のために利用可能となり得る。いくつかの実施形態では、所与の視野のカメラシステムは、ハイライトおよびラベル化のために利用可能なエリアを定義する。例えば、ユーザの注視と相関するカメラは、光源が実質的にその中で光を放出するであろう、5度視野、10度視野、または好ましくは最大30度中心視覚視野までの好適なインクリメントを包含してもよい。
いくつかの実施形態では、そのようなシステムはさらに、頭部搭載型部材に結合され、光源から放出され、標的オブジェクトから反射された、反射光を受光するように構成される、1つ以上の電磁放射検出器または光検出器と、1つ以上の電磁放射エミッタおよび1つ以上の電磁放射検出器に動作可能に結合され、1つ以上の電磁放射エミッタに、光のパルスを放出させる一方、また、1つ以上の電磁放射検出器に、特定のパルス放射の任意の受光された反射光の関数として、_Hlk5176086放出された_Hlk5176086光のパルスに関連する吸光のレベルを検出させるように構成される、コントローラとを備える。
いくつかの実施形態では、本システムはさらに、標的オブジェクトから検出器によって受光された反射光の波長を、特定の材料、組織タイプ、または下層組織の性質に合致させるためのプロセッサを備える。いくつかの実施形態では、放出された光および検出された光に対する偏光変化または散乱効果等の他の光特性も、判定されるが、本説明の目的のために、波長特性が、例示的光特性として使用される。例えば、いくつかの実施形態では、内向き電磁放射エミッタが、赤外線スペクトル内の光をユーザの網膜に放出し、反射された光を受光し、反射された光の波長を合致させ、組織のタイプまたは組織内の酸素飽和等の物理的性質を判定する。いくつかの実施形態では、本システムは、外向きに面した光源を備え、赤外線光を標的オブジェクト(ユーザまたは第三者の四肢等)に放出し、反射された光を受光し、反射された光波長を合致させ、観察される材料を判定する。例えば、そのような外向きに面したシステムは、健康な細胞間の癌性細胞の存在を検出してもよい。癌性または他の異常細胞は、健康な細胞と異なるように光反射および吸収するため、ある波長における光の反射は、異常の存在および量を示すことができる。
いくつかの実施形態では、コントローラは、捕捉された標的オブジェクトを実世界捕捉システムから受信し、識別された性質を示すラベルを標的オブジェクトに適用する。いくつかの実施形態では、ラベルは、頭部搭載型部材のディスプレイ内のテキストラベルまたはプロンプトである。いくつかの実施形態では、ラベルは、ユーザへのオーディオプロンプトである。いくつかの実施形態では、ラベルは、ユーザによる容易な比較分析のために、標的オブジェクトの近傍に重畳される、医学書において参照されるような類似組織の仮想画像である。
いくつかの実施形態では、頭部搭載型部材は、眼鏡フレームを備えてもよい。眼鏡フレームは、両眼眼鏡フレームであってもよい。1つ以上の放射エミッタは、発光ダイオード等の光源を備えてもよい。1つ以上の放射エミッタは、2つ以上の異なる波長において電磁放射を放出するように構成される、複数の光源を備えてもよい。複数の光源は、約660ナノメートルの第1の波長と、約940ナノメートルの第2の波長とにおいて電磁放射を放出するように構成されてもよい。1つ以上の放射エミッタは、連続して2つの異なる波長において電磁放射を放出するように構成されてもよい。1つ以上の放射エミッタは、同時に2つの異なる波長において電磁放射を放出するように構成されてもよい。1つ以上の電磁放射検出器は、フォトダイオード、光検出器、およびデジタルカメラセンサから成る群から選択される、デバイスを備えてもよい。1つ以上の電磁放射検出器は、標的オブジェクトに遭遇した後に反射された光を受光するように位置付けられ、配向されてもよい。1つ以上の電磁放射検出器は、観察される組織または材料に遭遇した後に反射された光を受光するように位置付けられ、配向されてもよい。すなわち、1つ以上の電磁放射検出器は、ユーザの眼に向かって内向きに面しているか、またはユーザの環境に向かって外向きに面しているかどうかにかかわらず、1つ以上の電磁放射エミッタと実質的に同一方向に配向される。
コントローラはさらに、1つ以上の電磁放射検出器が第1および第2の波長を別個に検出するように、複数の光源に、第1の波長をオンにし、次いで、第2の波長をオンにし、次いで、両波長をオフにする、巡回パターンを放出させるように構成されてもよい。コントローラは、複数の発光ダイオードに、約30回/秒の巡回パルスパターンにおいて、第1の波長をオンにし、次いで、第2の波長をオンにし、次いで、両波長をオフにする、巡回パターンを放出させるように構成されてもよい。
いくつかの実施形態では、コントローラは、第1の波長光測定と第2の波長光測定の比率を計算するように構成されてもよい。いくつかの実施形態では、本比率はさらに、少なくとも部分的に、ランベルト・ベールの法則に基づいて、ルックアップテーブルを介して、酸素飽和読取値に変換されてもよい。いくつかの実施形態では、比率は、頭部搭載型部材上の吸収データベースモジュール内に記憶される、またはローカルまたは遠隔処理モジュール上で頭部搭載型部材に結合される等の外部ルックアップテーブル内の材料識別子に変換される。例えば、特定の組織の吸収率または波長反射に関する吸収データベースモジュールは、保健医療プロバイダによってアクセス可能であり、遠隔処理モジュールを通してアクセスされる、「クラウド」記憶システム内に記憶されてもよい。いくつかの実施形態では、吸収データベースモジュールは、ある食品に関する吸収性質(波長率または波長反射等)を記憶し、頭部搭載型部材のローカル処理モジュール上に恒久的に記憶されてもよい。
このように、コントローラは、1つ以上の電磁放射エミッタおよび1つ以上の電磁放射検出器を動作させ、広範な使用の頭部搭載型分光器として機能させるように構成されてもよい。コントローラは、特定の組織の性質またはそれ以外の材料を示す波長性質を示す、コントローラの出力が、光学要素を通してユーザによって視認され得るように、頭部搭載型部材に結合され、ユーザによって視認可能である、光学要素に動作可能に結合されてもよい。1つ以上の電磁放射検出器は、複数のピクセルを備える、デジタル画像センサを備えてもよく、コントローラは、例えば、組織または組織内の細胞に遭遇した後に反射された光を受光する、ピクセルのサブセットを自動的に検出するように構成される。いくつかの実施形態では、そのようなピクセルのサブセットは、デジタル画像センサの視野内の標的オブジェクトを表す出力を生産するために使用される。例えば、出力は、組織の吸収レベルを示す、ディスプレイラベルであってもよい。いくつかの実施形態では、比較値が、出力として表示される。例えば、出力は、第1の分析時間からの血中酸素のパーセンテージ飽和と、第2の分析時間における酸素のパーセンテージ飽和とであってもよく、変化率が、2つの時間の間に記載される。これらの実施形態では、糖尿病性網膜症等の病気が、測定された性質の経時的変化を認識することによって検出されてもよい。
いくつかの実施形態では、コントローラは、少なくとも部分的に、ピクセルと関連付けられた信号間の反射された光輝度差に基づいて、ピクセルのサブセットを自動的に検出するように構成されてもよい。コントローラは、少なくとも部分的に、ピクセルと関連付けられた信号間の反射された吸光差に基づいて、ピクセルのサブセットを自動的に検出するように構成されてもよい。そのような実施形態では、そのようなサブセットは、隔離されたピクセルであり、付加的照射またはマッピン等のグさらなる分析のためにフラグされてもよい、または仮想画像は、そのようなピクセル上にオーバーレイされ、他の性質を表示する隔離されたピクセルとの視覚的コントラストを提供し、システムによって識別されるサブピクセルの異なる性質のユーザへの通知としての役割を果たしてもよい。
いくつかの実施形態では、システムデータ収集は、光パルスをパルス化および記録するために時間多重化されるだけではなく、1日に複数回、受動的に収集される。いくつかの実施形態では、GPSまたは他の類似マッピングシステムが、システムに結合され、ユーザの場所または時刻と収集されたある生理学的データを相関させる。例えば、ユーザは、1日を通して、ある場所またはアクティビティに対して生理学的応答を追跡してもよい。
本発明のこれらおよび多くの他の特徴ならびに利点が、以下の図および説明がさらに考慮されるとき、理解されるであろう。
図1は、ユーザへの拡張現実システム提示のある側面を図示する。 図2A−2Dは、ローカルおよび遠隔プロセスならびにデータコンポーネントに動作可能に結合される頭部搭載型コンポーネントを特徴とする、ウェアラブルコンピューティング用途のための種々の拡張現実システムのある側面を図示する。 図2A−2Dは、ローカルおよび遠隔プロセスならびにデータコンポーネントに動作可能に結合される頭部搭載型コンポーネントを特徴とする、ウェアラブルコンピューティング用途のための種々の拡張現実システムのある側面を図示する。 図2A−2Dは、ローカルおよび遠隔プロセスならびにデータコンポーネントに動作可能に結合される頭部搭載型コンポーネントを特徴とする、ウェアラブルコンピューティング用途のための種々の拡張現実システムのある側面を図示する。 図2A−2Dは、ローカルおよび遠隔プロセスならびにデータコンポーネントに動作可能に結合される頭部搭載型コンポーネントを特徴とする、ウェアラブルコンピューティング用途のための種々の拡張現実システムのある側面を図示する。 図3は、ウェアラブル拡張または仮想現実システムとある遠隔処理および/またはデータ記憶装置リソースとの間のコネクティビティパラダイムのある側面を図示する。 図4A−4Dは、パルスオキシメトリ構成および血中酸素化における光の散乱に関連する較正曲線の種々の側面を図示する。 図4A−4Dは、パルスオキシメトリ構成および血中酸素化における光の散乱に関連する較正曲線の種々の側面を図示する。 図4A−4Dは、パルスオキシメトリ構成および血中酸素化における光の散乱に関連する較正曲線の種々の側面を図示する。 図4A−4Dは、パルスオキシメトリ構成および血中酸素化における光の散乱に関連する較正曲線の種々の側面を図示する。 図5は、いくつかの実施形態による、AR/VR機能性を統合する、頭部搭載型分光システムを図示する。 図6は、いくつかの実施形態による、統合された分光モジュールを特徴とする、ウェアラブルAR/VRシステムの種々の側面を図示する。 図7A−7Bは、波長別の選択性質を示す、例示的光飽和曲線チャートである。 図7A−7Bは、波長別の選択性質を示す、例示的光飽和曲線チャートである。 図8は、いくつかの実施形態による、頭部搭載型分光システムを通して、材料または材料性質を識別するための方法を図示する。
(詳細な説明)
いくつかのARおよびVRシステムは、コントローラまたはマイクロコントローラ等の処理能力と、また、種々の構成の機能に給電するための電源とを備え、ARおよびVRシステム等のウェアラブルコンピューティングシステム内のコンポーネントの少なくともいくつかが、それらを動作させるユーザの身体に近接しているという事実から、これらのシステムコンポーネントのうちのいくつかを利用して、ユーザに関連するある生理学的監視タスクを行う機会がある。例えば、生理学的監視が、吸光を測定することによって行われてもよい。
従来の吸光測定技法(例えば、図4Aまたはグルコース検出におけるように人物の指に取付可能なパルスオキシメトリメータ)では、光は、制御および固定方向に放出され、制御および固定受信機において受光される。光は、周囲組織構造を通して、異なる波長においてパルス化される一方、また、組織構造の別の側で検出される(したがって、吸収および散乱等の光の性質を測定する)。そのようなシステムでは、検出された光の測定と比較して放出される光の測定は、推定される組織または組織の性質(例えば、パルスオキシメトリメータに関して推定される血中酸素飽和レベル)に比例する、またはそのように読み取られる、出力、もしくは単に、それ以外の材料または組織タイプを提供することができる。着目光と他の光の比を描写する、較正曲線はまた、図4Dに示されるように、そこに入射する光の関数として、下層組織の性質を予測することが可能である。
ラマン分光は、照射される分子によって解放される光子の非弾性散乱を測定する、別の技法である。具体的分子は、照射されると、波長の具体的偏移を提示し、それによって、サンプル内の分子を測定および定量化するために使用され得る、一意の散乱効果を提示するであろう。
図4Bは、酸素化(806)対脱酸素化(808)であるヘモグロビンの吸収スペクトルのチャートを図示し、そのようなプロット(806、808)に示されるように、約660nm等の電磁スペクトルの赤色光波長範囲内では、酸素化対脱酸素化ヘモグロビンに関する吸収に顕著な差異が存在する一方、赤外線波長範囲内の約940nmでは、反転された差異が存在する。そのような波長におけるパルス状放射およびパルスオキシメータを用いた検出は、特定のユーザに関する酸素飽和の判定においてそのような既知の吸収差を利用することが公知である。
パルスオキシメータ(802)は、典型的には、指(804)または耳たぶ等の組織構造を少なくとも部分的に封入するように構成されるが、図4Cに描写されるもの(812)等のあるデスクトップ式システムが、網膜脈管等の眼の脈管内の吸収差を観察するために提案されているが、同様に、他の組織の性質を検出するように構成されてもよい。
そのような構成(812)は、フローオキシメータまたは分光器システムと称され得、示されるように、カメラ(816)と、ズームレンズ(822)と、第1(818)および第2の(820)発光ダイオード(LED)と、1つ以上のビームスプリッタ(814)とを含む、コンポーネントを備えてもよい。高所ハイカー、運動選手、またはある心血管もしくは呼吸問題を伴う人等のあるユーザにとって、その日の動きおよびそのアクティビティの実施に伴って、その血中酸素飽和の情報を読み出すことが可能であることは、または介護者にとって、下層異常に関して組織をリアルタイムで分析することは、有益となるであろうが、大部分の構成は、組織構造の幾分不便な封入を伴う、可搬性またはウェアラブルではない、他の組織状態または材料を示す他の吸収性質を考慮しない、もしくはそのセンサの指向性の一部としてユーザが見ている注視を相関させない(言い換えると、分光による識別および分析のための標的オブジェクトの選択性が、欠けている)。
有利には、いくつかの実施形態では、ARまたはVRシステムの形態におけるウェアラブルコンピューティングの便宜性と、ユーザの視野内の付加的組織識別および性質をリアルタイムで判定するための結像手段を組み合わせる、ソリューションが、本明細書に提示される。
図2A−2Dを参照すると、いくつかの一般的構成部分オプションが、図示される。図2A−2Dの議論に従う、発明を実施するための形態の部分では、種々のシステム、サブシステム、およびコンポーネントが、外部情報源にアクセスし、それを作成する、ヒトVRおよび/またはARのための高品質かつ快適に知覚されるディスプレイシステムを提供する目的に対処するために提示される。
図2Aに示されるように、ARシステムユーザ(60)は、ユーザの眼の正面に位置付けられるディスプレイシステム(62)に結合されるフレーム(64)構造を特徴とする、頭部搭載型コンポーネント(58)を装着するように描写される。スピーカ(66)が、描写される構成においてフレーム(64)に結合され、ユーザの外耳道に隣接して位置付けられる(一実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ/成形可能音制御を提供する)。ディスプレイ(62)は、有線導線または無線コネクティビティ等によって、ローカル処理およびデータモジュール(70)に動作可能に結合(68)され、これは、フレーム(64)に固定して取り付けられる、図2Bの実施形態に示されるように、ヘルメットまたは帽子(80)に固定して取り付けられる、ヘッドホンに内蔵される、図2Cの実施形態に示されるように、リュック式構成においてユーザ(60)の胴体(82)に除去可能に取り付けられる、または図2Dの実施形態に示されるように、ベルト結合式構成においてユーザ(60)の臀部(84)に除去可能に取り付けられる等、種々の構成において搭載されてもよい。
ローカル処理およびデータモジュール(70)は、プロセッサまたはコントローラ(例えば、電力効率の良いプロセッサまたはコントローラ)ならびにフラッシュメモリ等のデジタルメモリを備えてもよく、両方とも、(a)電磁エミッタおよび検出器、画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロスコープ等、フレーム(64)に動作可能に結合され得る、センサから捕捉される、および/または(b)可能性として、処理または読出後、ディスプレイ(62)への通過のために、遠隔処理モジュール(72)および/または遠隔データリポジトリ(74)を使用して、入手および/または処理される、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。ローカル処理およびデータモジュール(70)は、有線または無線通信リンク等を介して、遠隔モジュール(72、74)が、相互に動作可能に結合され、ローカル処理およびデータモジュール(70)へのリソースとして利用可能であるように、これらの遠隔処理モジュール(72)および遠隔データリポジトリ(74)に動作可能に結合(76、78)されてもよい。
一実施形態では、遠隔処理モジュール(72)は、データ、放出または受光された光の性質、および/または画像情報を分析および処理するように構成される、1つ以上の比較的に高性能なプロセッサまたはコントローラを備えてもよい。一実施形態では、遠隔データリポジトリ(74)は、比較的に大規模なデジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。一実施形態では、全てのデータは、記憶され、全ての算出は、ローカル処理およびデータモジュールにおいて実施され、任意の遠隔モジュールからの完全に自律的な使用を可能にする。
ここで図3を参照すると、概略図は、例えば、ユーザの頭部(120)に結合される頭部搭載型コンポーネント(58)およびユーザのベルト(308)に結合されるローカル処理およびデータモジュール(70)内に常駐し得る、クラウドコンピューティングアセット(46)とローカル処理アセットとの間の協調を図示する。したがって、コンポーネント(70)はまた、図3に示されるように、「ベルトパック」(70)とも称され得る。一実施形態では、1つ以上のクラウドサーバシステム(110)等のクラウド(46)アセットは、有線または無線ネットワーキング等を介して、(無線は、概して、モバイル式のために好ましく、有線は、概して、所望され得る、ある高帯域幅または高データ量転送のために好ましい)、直接、前述のように、ユーザの頭部(120)およびベルト(308)に結合されるプロセッサおよびメモリ構成等のローカルコンピューティングアセットの一方または両方(40、42)に動作可能に結合(115)される。ユーザにローカルのこれらのコンピューティングアセットは同様に、図8を参照して以下に議論される有線結合(68)等、有線および/または無線コネクティビティ構成(44)を介して、相互に動作可能に結合されてもよい。
一実施形態では、ユーザの頭部(120)に搭載される低慣性および小型サブシステムを維持するために、ユーザとクラウド(46)との間の一次転送は、ベルト(308)に搭載されるサブシステムとクラウドとの間のリンクを介してもよく、頭部搭載型サブシステム(120)は、主に、例えば、パーソナルコンピューティング周辺コネクティビティ用途において現在採用されるような超広帯域(「UWB」)コネクティビティ等の無線コネクティビティを使用して、ベルトベースのサブシステム(308)にデータテザリングされる。
効率的ローカルおよび遠隔処理協調ならびに図2Aに示されるユーザインターフェースもしくはユーザディスプレイシステム(62)またはその変形例等のユーザのための適切なディスプレイデバイスを用いることで、ユーザの現在の実際または仮想場所に関する1つの世界の側面は、ユーザに転送または「パス」され、効率的方式で更新され得る。言い換えると、世界のマップが、例えば、ユーザのARシステム上に部分的に常駐し、かつクラウドリソース内に部分的に常駐し得る記憶場所において、持続的に更新され得る。マップ(「パス可能世界モデル」とも称される)は、ラスタ画像、3−Dおよび2−D点、パラメータ情報、ならびに実世界についての他の情報を備える、大型データベースであってもよい。ますます多くのARユーザが、その実環境についての情報を持続的に捕捉するにつれて(例えば、カメラ、センサ、IMU等を通して)、マップは、ますます正確かつ完全となる。
クラウドコンピューティングリソース上に常駐し、そこから配信され得る、1つの世界モデルが存在する、前述のような構成を用いることで、そのような世界は、リアルタイムビデオデータまたは同等物を回送しようと試みるために好ましい比較的に低帯域幅形態において、1人以上のユーザに「パス可能」となり得る。いくつかの実施形態では、像の近くに立っている人(すなわち、図1に示されるように)の拡張体験は、クラウドベースの世界モデルによって情報提供されてもよく、そのサブセットは、彼らおよびそのローカルディスプレイデバイスにパスされ、ビューを完成させてもよい。机上にあるパーソナルコンピュータのような単純なものであり得る、遠隔ディスプレイデバイスに向かって着座している人が、その情報の同一セクションをクラウドから効率的にダウンロードし、それをそのディスプレイ上にレンダリングさせることができる。実際、像の近くの公園内に実際に存在するある人物は、遠隔に位置する友人をその公園内での散歩に連れ出し、友人は、仮想および拡張現実を通して加わってもよい。システムは、通りの場所、木々の場所、像の場所を把握する必要があるであろうが、クラウド上のその情報を用いることで、加わる友人は、シナリオのクラウド側面からダウンロードし、次いで、実際に公園内に居る人物に対してローカルの拡張現実として散歩を開始することができる。
_Hlk51733913−D点が、環境から捕捉されてもよく、それらの画像または点を捕捉するカメラの姿勢(すなわち、世界に対するベクトルおよび/または原位置情報)が、これらの点または画像が、本姿勢情報と「タグ付けされる」、または関連付けられ得るように、判定されてもよい。_Hlk5173401_Hlk5173391次いで、第2のカメラによって捕捉された点が、第2のカメラの姿勢を判定するために利用されてもよい。言い換えると、第1のカメラからのタグ付けされた画像との比較に基づいて、第2のカメラを配向および/または位置特定することができる。次いで、本知識は、テクスチャを抽出する、マップを作成する、および実世界の仮想コピーを作成するために利用されてもよい(その時点で、周囲に位置合わせされる2つのカメラが存在するため)。_Hlk5173401
したがって、基礎レベルでは、いくつかの実施形態では、人装着型システムは、3−D点およびその点を生成した2−D画像の両方を捕捉するために利用されることができ、これらの点および画像は、クラウド記憶および処理リソースに送信されてもよい。それらはまた、内蔵姿勢情報とともにローカルでキャッシュされてもよく(すなわち、タグ付けされた画像をキャッシュする)、したがって、クラウドは、3−D点とともに、タグ付けされた2−D画像(すなわち、3−D姿勢とタグ付けされた)の準備完了状態にあり得る(すなわち、利用可能なキャッシュ内で)。ユーザが動的なもの(例えば、移動するオブジェクトまたは特徴を伴う場面)を観察している場合、また、運動に関する付加的情報をクラウドに送信してもよい(例えば、別の人物の顔を見ている場合、ユーザは、顔のテクスチャマップを撮影し、周囲世界がその他の点では基本的に静的であっても、それを最適化された周波数でプッシュすることができる)。前述のように、オブジェクト認識装置およびパス可能世界モデルに関するさらなる情報は、Magic Leap,Inc.(Fort Lauderdale,Florida)によって開発されたもの等の拡張および仮想現実システムに関連する、以下の付加的開示とともに、参照することによってその全体として組み込まれる、「System and method for augmented and virtual reality」と題された米国特許出願第14/205,126号、米国特許出願第14/641,376号、米国特許出願第14/555,585号、米国特許出願第14/212,961号、米国特許出願第14/690,401号、米国特許出願第13/663,466号、米国特許出願第13/684,489号、および米国特許出願第62/298,993号に見出され得、それぞれ、参照することによってその全体として本明細書に組み込まれる。
いくつかの実施形態では、そのようなパス可能世界情報の使用は、分光によるオブジェクトの識別およびラベル化が、次いで、ユーザ間でパスされることを可能にし得る。例えば、臨床設定では、本開示の特徴を実装するデバイスを動作させる第1の介護者は、患者上の癌性組織をマップおよび検出し、メタタグのような仮想ラベルを組織に割り当て、適用し得る。そのようなデバイスを装着している第2の介護者も同様に、次いで、独立して、光を放出する、光を受光する、吸収特徴を組織に合致させる、組織をラベル化することのうちの1つ以上に関わる必要なく、同一癌性組織細胞クラスタに目を向けることで、そのような細胞を識別する仮想ラベルの通知を受信し得る。
GPSおよび他の位置特定情報が、そのような処理への入力として利用されてもよい。ユーザの頭部、トーテム、手のジェスチャ、触知デバイス等の非常に正確な位置特定は、適切な仮想コンテンツをユーザに、またはパス可能仮想もしくは拡張コンテンツをパス可能世界内のユーザ間に表示することを促進することができることを理解されたい。
図5を参照すると、ウェアラブルコンピューティング構成の頭部搭載可能コンポーネント(58)の上部直交図が、図示され、例示的分光システムのために、種々の統合されたコンポーネントを特徴とする。本構成は、2つのディスプレイ要素(62−両眼用−眼毎に1つ)と、各カメラ(124)が関連付けられた視野(18、22)を有する、ユーザの周囲の世界を観察および検出するための2つの前方配向型カメラ(124)と、視野(20)を伴う、少なくとも1つの分光アレイ(126、図6により詳細に説明される)と、また、参照することによって前述で組み込まれる開示に説明されるように、視野(26)を伴う、前方配向型の比較的に高分解能の写真カメラ(156)と、1つ以上の慣性測定ユニット(102)と、関連付けられた視野(24)を伴う、深度センサ(154)とを特徴とする。ユーザの眼(12、13)に向かって面し、頭部搭載型コンポーネント(58)フレームに結合されるのは、眼追跡カメラ(828、830)と、内向きエミッタおよび受信機(832、834)とである。当業者は、内向きエミッタおよび受信機(832、834)が、分光アレイ(126)がその視野(20)内の外向きオブジェクトのために行う場合とほぼ同一方法において、照射パターン(824、826)において眼に向かって指向される光を放出および受光することを理解するであろう。これらのコンポーネントまたは全て未満のコンポーネントを包含する組み合わせは、ワイヤ導線等によって、バッテリ等の電源(846)に動作可能に結合(848)される、コントローラ(844)に動作可能に結合される。
いくつかの実施形態では、ディスプレイ要素(62)は、1つ以上の導波管(例えば、導波管スタック)を含み、これは、光学的に透過性であり、世界からの光を受光することによって、ユーザに世界が「見える」ことを可能にする。導波管はまた、ディスプレイ情報を含有する光を受光し、光をユーザの眼(12、13)に伝搬および出射し、それによって、画像をユーザに表示する。好ましくは、導波管から伝搬する光は、異なる深度平面に対応する特定の定義されたレベルの波面発散を提供する(例えば、オブジェクトの画像をユーザから特定の距離に形成する光は、本物である場合、そのオブジェクトからユーザに到達するであろう、光の波面発散に対応または実質的に合致する、波面発散を有する)。例えば、導波管は、屈折力を有してもよく、選択的に可変レベルの波面発散を伴う光を出力するように構成されてもよい。本波面発散は、眼(12、13)が遠近調節するためのキューを提供することを理解されたい。加えて、ディスプレイ要素(62)は、両眼分散を利用し、さらに、深度キュー、例えば、眼(12、13)の両眼離反運動のためのキューを提供する。有利には、遠近調節のためのキューおよび両眼離反運動のためのキューは、例えば、それらの両方がユーザから同一距離におけるオブジェクトに対応するように整合し得る。本遠近調節−両眼離反運動整合は、頭部搭載型部材(58)を利用するシステムの長期装着能力を促進する。
図5を継続して参照すると、好ましくは、各エミッタ(126、832、834)は、LED等によって、約660nmおよび約940nm等、2つ以上の波長において制御可能に電磁放射を放出するように構成され、好ましくは、照射野(824、826)は、標的オブジェクトまたは表面を照射するように配向される。いくつかの実施形態では、標的オブジェクトは、眼(12、13)等の内向きであり、照射パターン(824、826)は、固定される、または眼追跡カメラデータ点に応答して、眼の標的特有エリアに対して広幅化/狭幅化されてもよい。いくつかの実施形態では、標的オブジェクトは、外向きであり(例えば、ユーザから離れる)、分光器アレイ(126)の視野(20)内の照射パターンは、眼追跡カメラ(828、830)から判定された眼(12、13)の注視に準拠する。
いくつかの実施形態では、注視は、眼の中心窩から水晶体を通して延在する等、ユーザの眼から延在するベクトルと理解され得、エミッタ(832、834)は、赤外線光をユーザの眼上に出力してもよく、眼からの反射(例えば、角膜反射)が、監視されてもよい。眼の瞳孔中心(例えば、ディスプレイシステムは、例えば、赤外線結像を通して、瞳孔の重心を判定してもよい)と眼からの反射との間のベクトルは、眼の注視を判定するために使用されてもよい。いくつかの実施形態では、眼の位置を推定するとき、眼は、強膜および眼球を有するため、幾何学形状は、相互の上に層化された2つの円形として表されることができる。眼をポインティングするベクトルは、本情報に基づいて、判定または計算されてもよい。また、眼の断面が、円形であり、強膜が、特定の角度を通して揺動するため、眼の回転中心も、推定されてもよい。これは、単に、光線トレースではなく、既知の伝送される信号に対する受信された信号の自己相関のため、ベクトル距離をもたらし得る。出力は、プルキンエ画像1400として見られ得、これは、順に、眼の移動を追跡するために使用され得る。
当業者は、IMU(102)のうちの1つ以上によって判定された頭部姿勢情報等によって、視野(20)内の照射パターンを判定するための他の方法も理解するであろう。
いくつかの実施形態では、エミッタは、同時に、または連続して、制御されたパルス状放出周期を用いて、波長を放出するように構成されてもよい。1つ以上の検出器(126、828、830)は、フォトダイオード、光検出器、および/またはデジタルカメラセンサを備えてもよく、好ましくは、標的組織またはそれ以外の材料もしくはオブジェクトに遭遇した放射を受光するように位置付けられ、配向される。1つ以上の電磁放射検出器(126、828、830)は、複数のピクセルを備えるデジタル画像センサを備えてもよく、コントローラ(844)は、標的オブジェクトに遭遇した後、反射された光を受光するピクセルのサブセットを自動的に検出し、そのようなピクセルのサブセットを使用し、出力を生産するように構成される。
いくつかの実施形態では、出力は、材料および材料性質の吸収データベースからの合致する受光された光対標的に放出された光の関数である。例えば、いくつかの実施形態では、吸収データベースは、図7Aおよび7Bに描写されるような複数の吸収チャートを備える。チャートを備えるデータベースは、チャート内の情報の電子表現または変換を含んでもよく、本明細書における用語「チャート」の使用は、そのような表現または変換を含むことを理解されたい。図7Aおよび7Bは、単に、実施例として使用されるが、光を特定の光源から放出し、特定の波長の光および/または光の性質を受光し、観察される標的が、特定の組織である、または組織内の特定の性質を有する確率を判定する、所与のシステムから検出され得る、種々の組織の性質を実証する。飽和曲線または較正曲線のいずれか等の他のチャートも、ユーザによって選択的にアクセスされてもよい。例えば、ユーザは、特定の光源または波長パターンに関する吸収データベースを選定し、次いで、分光システムが要求される性質に合致する材料を識別するまで、調べ得る。そのような実施形態は、「クローズド検索」と称され得る、すなわち、任意の標的を調べ、次いで、検出された光の性質に合致するデータベースを検索する、「オープン検索」とは対照的に、具体的性質を調べるものである。
コントローラ(844)は、少なくとも部分的に、ピクセルと関連付けられた信号間の反射された光の性質差に基づいて、視野(124、または126、または824、826、図5)内のピクセルのサブセットを自動的に検出するように構成されてもよい。例えば、コントローラ(844)は、少なくとも部分的に、_Hlk5174177ピクセルと関連付けられた信号間の_Hlk5174177反射された光の吸収差に基づいて、ピクセルのサブセットを自動的に検出するように構成されてもよい。理論によって限定されるわけではないが、オブジェクトに衝突する光は、R+T+S=1(R=オブジェクトからの反射、T=オブジェクト中への透過/吸収、およびS=オブジェクトからの散乱)となるように、オブジェクトに衝打することに応じて、反射、透過(吸収)、または散乱するであろう。特定のピクセルのサブセットが、周囲サブピクセルに対してより高い割合の光を反射させる場合、コントローラは、これらのサブピクセルを隔離する、またはこれらの異なる性質に関するピクセル場所をメモリシステム内に記載もしくは登録してもよい。いくつかの実施形態では、ピクセル場所は、頭部搭載型ディスプレイシステムの付加的ユーザがマップにアクセスし、ピクセルのサブセットが、付加的ユーザにパスされ、第2のユーザのディスプレイ上でアクセスおよび/または表示されるように、稠密または疎密マッピング点としてパス可能世界マッピングシステム内に記憶される。
図6を参照すると、分光アレイ(126)は、光(613)を標的オブジェクト(620)に向かって放出する、光源(612)を備えてもよい。いくつかの実施形態では、光源(612)は、発光ダイオード等の電磁エミッタである。いくつかの実施形態では、放出される光(613)の方向は、ユーザ(60)の注視配向またはユーザ(60)の頭部姿勢配向と実質的に同一である。いくつかの実施形態では、光検出器(614)は、標的オブジェクトから反射された光(615)を捕捉する。いくつかの実施形態では、図5に描写されるコントローラ(844)であり得る、プロセッサ(610)は、放出された光(613)と反射された光(615)との間の吸収性質を判定し、性質を吸収データベース(630)からの性質に合致させる。いくつかの実施形態では、吸収データベース(630)は、例えば、図2Aに描写されるモジュール(70)等のローカル処理モジュール上に記憶される。いくつかの実施形態では、吸収データベース(630)は、図2Aに描写されるもの等の遠隔処理モジュール(72)上に記憶される。
オブジェクト(620)は、図6では、便宜上、リンゴとして描写されるが、食品性質は、その個別の吸光性質を有し、本発明の実施形態は、その光の性質によって、食品を識別するために使用され得るが、より高度な使用もまた、想定される。いくつかの実施形態では、外向きに面した分光アレイ(126)は、組織源(624)、例えば、例証的目的のために描写されるように、腕を識別する。放出された光(613)は、組織源(624)に衝突し得、反射された光(615)は、規則的細胞(625)間の不規則的細胞(626)の存在を示し得る。光源(612)が、組織源(624)を照射するにつれて、不規則的細胞(626)は、規則的細胞(625)と異なる光の性質を光検出器(614)に返すであろう。不規則的細胞(626)は、癌性、瘢痕組織の一部、または、単に、例えば、組織源(624)内の血管または骨が位置し得る場所を示す、周囲細胞との差異を示すまたは有する、組織間の健康な細胞でさえあり得る。いくつかの実施形態では、規則的細胞は、分析対象サンプル内の細胞の大部分を構成し、不規則的細胞は、サンプルの細胞の小部分を構成し、不規則的細胞は、規則的細胞と異なる検出可能性質を呈する。いくつかの実施形態では、ピクセルレベルで画像を捕捉する、実世界カメラは、そのような不規則的細胞(626)をマーキングしてもよい。前述のように、1つのそのようなマーキングは、テキスト画像を不規則的細胞(626)に近接して適用する、ラベル化システムであってもよく、別のそのようなラベル化システムは、ディスプレイ要素62(図5)を通して見られるような不規則的細胞(626)上の色のオーバーレイであってもよい。
したがって、再び図5を参照すると、ユーザの頭部に取り外し可能に結合可能な頭部搭載型部材(58)と、頭部搭載型部材(58)に結合され、内向き方向または外向き方向に少なくとも2つの異なる波長を伴う光を放出するように構成される、1つ以上の電磁放射エミッタ(126、832、834)と、頭部搭載型部材に結合され、標的オブジェクトに遭遇した後、反射された光を受光するように構成される、1つ以上の電磁放射検出器(126、828、830)と、1つ以上の電磁放射エミッタ(126、832、834)および1つ以上の電磁放射検出器(126、828、830)に動作可能に結合され、1つ以上の電磁放射エミッタに、光のパルスを放出させる一方、また、1つ以上の電磁放射検出器に、放出された光のパルスに関連する吸光のレベルを検出させ、表示可能出力を生産させるように構成される、コントローラ(844)とを備える、ARまたはVRのためのもの等のウェアラブルコンピューティングシステムを通して、組織の性質またはそれ以外の材料を判定するためのシステムが、提示される。
頭部搭載型部材(58)は、ユーザの頭部上に嵌合するように構成されるフレーム、例えば、眼鏡フレームを備えてもよい。眼鏡フレームは、両眼用眼鏡フレームであってもよく、代替実施形態は、片眼用であってもよい。1つ以上のエミッタ(126、832、834)は、複数の波長において光を放出する、光源、例えば、少なくとも1つの発光ダイオードまたは他の電磁放射エミッタを備えてもよい。複数の光源は、好ましくは、2つの波長の光、例えば、約660ナノメートルの第1の波長と、約940ナノメートルの第2の波長とを放出するように構成されてもよい。
いくつかの実施形態では、1つ以上のエミッタ(126、832、834)は、連続して、個別の波長における光を放出するように構成されてもよい。いくつかの実施形態では、1つ以上のエミッタ(126、832、834)は、同時に、個別の波長における光を放出するように構成されてもよい。_Hlk5174522_Hlk51748431つ以上の電磁放射検出器_Hlk5174522(126、828、830)は、フォトダイオード、光検出器、およびデジタルカメラセンサから成る群から選択される、デバイスを備えてもよい_Hlk5174843。_Hlk5174907コントローラ(844)はさらに、1つ以上の電磁放射検出器が第1および第2の波長を別個に検出するように、複数の発光ダイオードに、第1の波長オン、次いで、第2の波長オン、次いで、両波長オフの周期的パターンを放出させるように構成されてもよい。コントローラ(844)は、約30回/秒の周期的パルス状パターンにおいて、複数の発光ダイオードに、第1の波長オン、次いで、第2の波長オン、次いで、両波長オフの周期的パターンを放出させるように構成されてもよい。コントローラ(844)は、_Hlk5174907第1の波長光測定と第2の波長光測定との比率を計算するように構成されてもよく、本比率は、少なくとも部分的に、ランベルト・ベールの法則に基づいて、ルックアップテーブルを介して、酸素飽和読取値に変換される。
コントローラ(844)は、1つ以上のエミッタ(126、832、834)および1つ以上の電磁放射検出器(126、828、830)を動作させ、頭部搭載型分光器として機能させるように構成されてもよい。コントローラ(844)は、特定の材料性質または組織の性質を示す、コントローラ(844)の出力が、光学要素(62)を通してユーザによって視認され得るように、頭部搭載型部材(58)に結合され、ユーザによって視認可能である、光学要素(62)に動作可能に結合されてもよい。
図7Aは、吸収データベース(630、図6)によって参照され得る、例示的光の性質吸収チャートである。描写されるように、IR、NIR等の種々の光源タイプまたは可視スペクトル内の発光ダイオードは、ある組織および組織内の性質を検出するために最適であり得る。いくつかの実施形態では、較正曲線における吸収率または散乱は、放出された光対反射された光から算出され、図7Aに描写されるような所与の吸収データベース(630)に適用され、下層組織および/またはその中の性質を判定する、または異常を判定する。
図7Bは、波長の潜在的「重複」を描写する。描写されるように、「酸素化血液」は、ある波長において「脱酸素化血液」と重複し、分光のプロセスが提供し得る結果を弱め得る。本潜在的重複を回避するために、いくつかの実施形態では、第2の異なる波長における光が、放出され、測定および比較するための第2の光源を提供する。
図8は、組織または組織内の性質を識別するための分光コンポーネントを特徴とする、ウェアラブルAR/VRシステムを使用するための方法(850)を図示する。方法(850)は、システムが光源を標的オブジェクトに配向すること(851)から開始する。いくつかの実施形態では、配向は、ユーザの眼に向かって内向きに指向される光源を有し、固定される、または網膜走査等、眼を走査してもよい。いくつかの実施形態では、配向は、ユーザの眼注視または頭部姿勢を判定し、そのような注視または姿勢視野内の標的オブジェクトに向かって、または特徴目印または標的オブジェクトに向かって、光源を実質的に同一方向に配向することによって行われる。
いくつかの実施形態では、(852)において、光源は、標的オブジェクトまたは表面に向かって、ある照射パターンにおいて光を放出する。いくつかの実施形態では、光は、タイマによってタイミングが図られたインターバルにおいてパルス化される。いくつかの実施形態では、光源は、少なくとも1つの波長の光を放出し、(854)において、光検出器等の放射検出器が、反射された光を受光する。いくつかの実施形態では、検出器はまた、タイマに動作可能に結合され、受光された光が、最初に、ある時間においてパルス化されたかどうかを示し、標的オブジェクト上での反射に応じて、光の性質の変化を判定する。いくつかの実施形態では、(852)は、(853)におけるマッピングと同時に開始するが、本シーケンスは、必ずしも、そうではなくてもよい。
いくつかの実施形態では、実世界捕捉システムは、(853)において、標的オブジェクトをマッピングし始めてもよい。いくつかの実施形態では、そのようなマッピングは、標的オブジェクトのパス可能世界データを受信することを含んでもよい。いくつかの実施形態では、マッピングは、標的オブジェクトの輪郭の深度センサ分析を含んでもよい。いくつかの実施形態では、マッピングは、視野内のアイテムのメッシュモデルを構築することと、潜在的ラベル化のために、それらを参照することとを含んでもよい。いくつかの実施形態では、標的オブジェクトは、深度センサによって捕捉され得る、視野内の具体的オブジェクトではなく、むしろ、視野自体内の深度平面である。
いくつかの実施形態では、(855)において、コントローラは、ランベルト・ベールの法則または光学密度関係(下記に説明される)もしくは較正曲線の散乱パターンに基づいて等、受光された光と比較して、放出された光を分析する。いくつかの実施形態では、(856)において、比較される光の性質は、システム上にローカルで記憶されるか、またはシステムを通して遠隔でアクセスされるかのいずれかである、吸収データベース内で参照され、標的オブジェクトの組織または組織の性質を識別する。いくつかの実施形態では、吸収データベースは、図4Bに描写されるもの等の飽和光チャートを備えてもよい、または特定の光波長の較正曲線を備えてもよい。
いくつかの実施形態では、(854)において、放射検出器は、(852)において放出された光の波長と異なる波長の光を受光せず、コントローラは、分光分析を行うことができない。そのような場合は、図7Bにおけるように、酸素化および脱酸素化血液に関してある範囲内の波長の重複に伴って生じるであろう。いくつかの実施形態では、(854a)において、波長差が、放出された光と受光された光との間に検出されず、サブステップ(854b)が、(852)において放出されたものと別の異なる波長において光を放出することによって開始する。新しい放出された光および受光された光の情報は、次いで、(855)において、コントローラに送達される。
いくつかの実施形態では、実世界カメラは、加えて、標的オブジェクト(853)をマッピング後、潜在的に、(852−856)のそれぞれと同時に、(857)において、不規則性を示す視野内のサブピクセルを識別してもよい。例えば、いくつかの実施形態では、ピクセル間の色コントラストが、(853)において、実世界捕捉の間に検出され、(857)において、これらのピクセルは、さらに改変され、そのようなコントラストを潜在的に不健康な細胞としてハイライトする。いくつかの実施形態では、実世界捕捉(853)は、ピクセルクラスタ間の不規則的線を検出し、(857)において、不規則的線によって境界されるピクセルは、ユーザディスプレイ上でマーキングされる(仮想色オーバーレイ等によって)。
いくつかの実施形態では、方法(850)は、(858)において、システムが組織または組織の材料性質をユーザに表示することで終了する。いくつかの実施形態では、ディスプレイは、標的オブジェクトに近接して仮想的に表示されるテキストラベル、吸収データベース(630)から判定されるような標的オブジェクトを説明するオーディオラベル、または標的オブジェクトに近接して並置される、吸収データベース(630)によって識別される類似組織またはオブジェクトの仮想画像を備えてもよい。
いくつかの実施形態では、有意な量の分光アクティビティは、所望の標的(例えば、血管、筋肉組織、骨組織、または他の組織、および所望の深度において)を位置特定する初期タスクが、デジタル画像処理を使用して((種々のフィルタを使用して、色、グレースケール、および/または強度閾値分析等によって)行われるように、コントローラ(844)によって動作されるソフトウェアを用いて実装される。そのような標的化は、パターン、形状認識、またはテクスチャ認識を使用して行われてもよい。癌性細胞または別様に不規則的細胞は、一般に、不規則的境界を有する。カメラシステムは、不規則的非線形パターンおよび目を引く点を伴う、カメラ視野(図5のカメラ124および視野18、22等)内の一連のピクセルを識別し、潜在的に不健康な細胞との境界等を識別してもよい。代替として、ソフトウェアおよびコントローラは、標的オブジェクトの中心の強度および周囲オブジェクト/組織の強度を使用して、標的オブジェクトとのコントラスト/光学密度を判定し、異常を判定するように構成されてもよい。そのような測定は、単に、本開示と一致する分光走査のための着目エリアを識別するために使用されてもよく、必ずしも、組織自体を識別する手段ではない。さらに、図6における不規則細胞(626)を参照して前述のように、拡張現実システムは、ラベルまたは色パターンを潜在的に不健康な細胞の境界内にオーバーレイし、周囲の健康な細胞に対してそれらをフラグ/それらをハイライトしてもよい。
いくつかの実施形態では、コントローラ(844)は、密度比(コントラスト)を計算し、酸素飽和を血管内の種々のパルスオキシメトリ性質の密度比から計算するために利用されてもよい。_Hlk51752442つ以上の放出される波長のそれぞれにおける脈管光学密度(「O.D.」)は、_Hlk5175244以下の式を使用して計算されてもよい。
OD脈管=−log10(Iv/It)
式中、OD脈管は、脈管の光学密度であり、Ivは、脈管強度であり、Itは、周囲組織強度である。
血管内の酸素飽和(「SO」とも称される)は、以下のように、2つの波長における脈管光学密度の線形比(OD比または「ODR」)として計算されてもよい。
SO=ODR=OD第1の波長/OD第2の波長
一実施形態では、約570nm(脱酸素化ヘモグロビンに敏感)および約600nm(酸素化ヘモグロビンに敏感)の波長が、S02=ODR=OD600nm/0D570nmのように、網膜脈管オキシメトリにおいて利用されてもよく、そのような式は、較正係数によって比率を調節することを考慮しない。
前述の式は、単に、材料性質を計算するための参照の実施例にすぎない。当業者は、多くの他の組織の性質および関係をコントローラが判定し得ることを理解するであろう。
コントローラ(844)を利用して、計算を実施し、および/または判定を行うことは、コントローラ(844)内のプロセッサ上でローカルで計算を実施することを伴い得ることを理解されたい。いくつかの他の実施形態では、コントローラ(844)を用いて、計算を実施し、および/または判定を行うことは、コントローラを利用して、外部コンピューティングリソース、例えば、サーバ(110)等のクラウド(46)内のリソースとインターフェースをとることを伴ってもよい。
(コンピュータビジョン)
上記に議論されるように、分光システムは、ユーザを囲繞する環境内のオブジェクトまたはオブジェクトの特徴(例えば、性質)を検出するように構成されてもよい。いくつかの実施形態では、環境内に存在するオブジェクトまたはオブジェクトの性質は、コンピュータビジョン技法を使用して検出されてもよい。例えば、本明細書に開示されるように、分光システムの前向きに面したカメラは、オブジェクトを結像するように構成されてもよく、本システムは、画像分析を画像上で実施し、オブジェクト上の特徴の存在を判定するように構成されてもよい。本システムは、外向きに面した結像システムによって入手された画像、吸収判定、および/または反射ならびに/もしくは散乱された光の測定を分析し、オブジェクト認識、オブジェクト姿勢推定、学習、インデックス化、運動推定、または画像復元等を行ってもよい。1つ以上のコンピュータビジョンアルゴリズムが、必要に応じて選択され、これらのタスクを実施するために使用されてもよい。コンピュータビジョンアルゴリズムの非限定的実施例は、スケール不変特徴変換(SIFT)、スピードアップロバスト特徴(SURF)、配向FASTおよび回転BRIEF(ORB)、バイナリロバスト不変スケーラブルキー点(BRISK)、高速網膜キー点(FREAK)、Viola−Jonesアルゴリズム、Eigenfacesアプローチ、Lucas−Kanadeアルゴリズム、Horn−Schunkアルゴリズム、Mean−shiftアルゴリズム、視覚的同時位置推定およびマッピング(vSLAM)技法、シーケンシャルベイズ推定器(例えば、カルマンフィルタ、拡張カルマンフィルタ等)、バンドル調節、適応閾値化(および他の閾値化技法)、反復最近傍点(ICP)、セミグローバルマッチング(SGM)、セミグローバルブロックマッチング(SGBM)、特徴点ヒストグラム、種々の機械学習アルゴリズム(例えば、サポートベクトルマシン、k最近傍アルゴリズム、単純ベイズ、ニューラルネットワーク(畳み込みまたは深層ニューラルネットワークを含む)、または他の教師あり/教師なしモデル等)等を含む。
本明細書に議論されるように、オブジェクトまたはオブジェクトの特徴(性質を含む)は、1つ以上の基準(例えば、1つ以上の波長における吸収、光反射、および/または光散乱)に基づいて検出されてもよい。分光システムが、コンピュータビジョンアルゴリズムを使用して、または1つ以上のセンサアセンブリ(分光システムの一部である場合とそうではない場合がある)から受信されたデータを使用して、周囲環境内の基準の有無を検出するとき、分光システムは、次いで、オブジェクトまたは特徴の存在を信号伝達してもよい。
これらのコンピュータビジョン技法のうちの1つ以上はまた、他の環境センサ(例えば、マイクロホン、GPSセンサ等)から入手されたデータと併用され、センサによって検出されたオブジェクトの種々の性質を検出および判定してもよい。
(機械学習)
種々の機械学習アルゴリズムが、オブジェクトまたはオブジェクトの特徴の存在を識別するように学習するために使用されてもよい。いったん訓練されると、機械学習アルゴリズムは、分光システムによって記憶されてもよい。機械学習アルゴリズムのいくつかの実施例は、教師ありまたは教師なし機械学習アルゴリズムを含むことができ、回帰アルゴリズム(例えば、通常の最小2乗回帰等)、インスタンスベースのアルゴリズム(例えば、学習ベクトル量子化等)、決定ツリーアルゴリズム(例えば、分類および回帰ツリー等)、ベイズアルゴリズム(例えば、単純ベイズ等)、クラスタリングアルゴリズム(例えば、k−平均クラスタリング等)、関連付けルール学習アルゴリズム(例えば、アプリオリアルゴリズム等)、人工ニューラルネットワークアルゴリズム(例えば、Perceptron等)、深層学習アルゴリズム(例えば、Deep Boltzmann Machine、すなわち、深層ニューラルネットワーク等)、次元削減アルゴリズム(例えば、主成分分析等)、アンサンブルアルゴリズム(例えば、Stacked Generalization等)、および/または他の機械学習アルゴリズムを含む。いくつかの実施形態では、個々のモデルは、個々のデータセットのためにカスタマイズされることができる。例えば、ウェアラブルデバイスは、ベースモデルを生成または記憶することができる。ベースモデルは、開始点として使用され、データタイプ(例えば、特定のユーザ)、データセット(例えば、1つ以上の波長において取得された吸収率、光反射率、および/または光散乱値のセット)、条件付き状況、または他の変形例に特有の付加的モデルを生成してもよい。いくつかの実施形態では、分光システムは、複数の技法を利用して、集約されたデータの分析のためのモデルを生成するように構成されることができる。他の技法は、事前に定義された閾値またはデータ値を使用することを含んでもよい。
オブジェクトまたはオブジェクトの特徴を検出するための基準は、1つ以上の閾値条件を含んでもよい。センサ(例えば、カメラまたは光検出器)によって入手されたデータの分析が、閾値条件に合格することを示す場合、分光システムは、周囲環境内のオブジェクトの存在の検出を示す信号を提供してもよい。閾値条件は、定量的および/または定質的測定を伴ってもよい。例えば、閾値条件は、オブジェクトおよび/または特徴が存在する尤度と関連付けられたスコアまたはパーセンテージを含んでもよい。分光システムは、センサのデータから計算されるスコアと閾値スコアを比較してもよい。スコアが、閾値レベルより高い場合、分光システムは、オブジェクトまたはオブジェクト特徴の存在の検出を信号伝達してもよい。いくつかの他の実施形態では、分光システムは、スコアが閾値より低い場合、オブジェクトまたは特徴の不在を信号伝達してもよい。
本明細書に説明される、ならびに/または添付される図に描写されるプロセス、方法、およびアルゴリズムはそれぞれ、具体的かつ特定のコンピュータ命令を実行するように構成される、1つ以上の物理的コンピューティングシステム、ハードウェアコンピュータプロセッサ、特定用途向け回路、および/もしくは電子ハードウェアによって実行される、コードモジュールにおいて具現化され、それによって完全もしくは部分的に自動化され得ることを理解されたい。コードモジュールは、実行可能プログラムにコンパイルおよびリンクされ得る、動的リンクライブラリ内にインストールされ得る、または解釈されるプログラミング言語において書き込まれ得る。いくつかの実装では、特定の動作および方法が、所与の機能に特有の回路によって実施され得る。いくつかの実施形態では、コードモジュールは、コントローラ(844)(図5)および/またはクラウド(46)(例えば、サーバ(110))内のハードウェアによって実行されてもよい。
さらに、本開示の機能性のある実装は、十分に数学的、コンピュータ的、または技術的に複雑であるため、(適切な特殊化された実行可能命令を利用する)特定用途向けハードウェアまたは1つ以上の物理的コンピューティングデバイスは、例えば、関与する計算の量もしくは複雑性に起因して、または結果を実質的にリアルタイムで提供するために、機能性を実施する必要があり得る。例えば、ビデオは、多くのフレームを含み、各フレームは、数百万のピクセルを有し得、具体的にプログラムされたコンピュータハードウェアは、商業的に妥当な時間量において所望の画像処理タスクまたは用途を提供するようにビデオデータを処理する必要がある。
コードモジュールまたは任意のタイプのデータは、ハードドライブ、ソリッドステートメモリ、ランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、光学ディスク、揮発性もしくは不揮発性記憶装置、同一物の組み合わせ、および/または同等物を含む、物理的コンピュータ記憶装置等の任意のタイプの非一過性コンピュータ可読媒体上に記憶され得る。いくつかの実施形態では、非一過性コンピュータ可読媒体は、ローカル処理およびデータモジュール(70、図2C)、遠隔処理モジュール(72、図2D)、および遠隔データリポジトリ(74、図2D)のうちの1つ以上の一部であってもよい。本方法およびモジュール(またはデータ)はまた、無線ベースおよび有線/ケーブルベースの媒体を含む、種々のコンピュータ可読伝送媒体上で生成されたデータ信号として(例えば、搬送波または他のアナログもしくはデジタル伝搬信号の一部として)伝送され得、種々の形態(例えば、単一もしくは多重化アナログ信号の一部として、または複数の離散デジタルパケットもしくはフレームとして)をとり得る。開示されるプロセスまたはプロセスステップの結果は、任意のタイプの非一過性有形コンピュータ記憶装置内に持続的もしくは別様に記憶され得る、またはコンピュータ可読伝送媒体を介して通信され得る。
本明細書に説明される、および/または添付される図に描写されるフロー図における任意のプロセス、ブロック、状態、ステップ、もしくは機能性は、プロセスにおいて具体的機能(例えば、論理もしくは算術)またはステップを実装するための1つ以上の実行可能命令を含む、コードモジュール、セグメント、またはコードの一部を潜在的に表すものとして理解されたい。種々のプロセス、ブロック、状態、ステップ、または機能性は、組み合わせられる、再配列される、追加される、削除される、修正される、または別様に本明細書に提供される例証的実施例から変更されることができる。いくつかの実施形態では、付加的または異なるコンピューティングシステム、もしくはコードモジュールが、本明細書に説明される機能性のいくつかまたは全てを実施し得る。本明細書に説明される方法およびプロセスはまた、任意の特定のシーケンスに限定されず、それに関連するブロック、ステップ、または状態は、適切な他のシーケンスで、例えば、連続して、並行して、またはある他の様式で実施されることができる。タスクまたはイベントが、開示される例示的実施形態に追加される、またはそれから除去され得る。さらに、本明細書に説明される実装における種々のシステムコンポーネントの分離は、例証を目的とし、全ての実装においてそのような分離を要求するものとして理解されるべきではない。説明されるプログラムコンポーネント、方法、およびシステムは、概して、単一のコンピュータ製品においてともに統合される、または複数のコンピュータ製品にパッケージ化され得ることを理解されたい。
本発明の種々の例示的実施形態が、本明細書で説明される。非限定的な意味で、これらの実施例を参照する。それらは、本発明のより広く適用可能な側面を例証するように提供される。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、均等物が置換されてもよい。加えて、特定の状況、材料、組成物、プロセス、プロセスの行為またはステップを、本発明の目的、精神、または範囲に適合させるように、多くの修正が行われてもよい。さらに、当業者によって理解されるように、本明細書で説明および図示される個々の変形例のそれぞれは、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され得るか、またはそれらと組み合わせられ得る、離散コンポーネントおよび特徴を有する。全てのそのような修正は、本開示と関連付けられる請求項の範囲内であることを目的としている。
本発明は、対象デバイスを使用して行われ得る方法を含む。方法は、そのような好適なデバイスを提供するという行為を含んでもよい。そのような提供は、エンドユーザによって行われてもよい。換言すれば、「提供する」行為は、単に、エンドユーザが、対象方法において必須デバイスを提供するように、取得し、アクセスし、接近し、位置付けし、設定し、起動し、電源を入れ、または別様に作用することを要求する。本明細書で記載される方法は、論理的に可能である記載された事象の任意の順序で、ならびに事象の記載された順序で実行されてもよい。
本発明の例示的側面が、材料選択および製造に関する詳細とともに、上記で記載されている。本発明の他の詳細に関して、これらは、上記の参照された特許および公開に関連して理解されるとともに、概して、当業者によって把握または理解され得る。同じことが、一般的または理論的に採用されるような付加的な行為の観点から、本発明の方法ベースの側面に関して当てはまり得る。
加えて、本発明は、種々の特徴を随意に組み込む、いくつかの実施例を参照して説明されているが、本発明は、本発明の各変形例に関して考慮されるように説明または指示されるものに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、(本明細書に記載されるか、またはいくらか簡潔にするために含まれないかどうかにかかわらず)均等物が置換されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値、およびその規定範囲内の任意の他の規定または介在値が、本発明内に包含されることが理解される。
また、本明細書で説明される発明の変形例の任意の随意的な特徴が、独立して、または本明細書で説明される特徴のうちのいずれか1つ以上の特徴と組み合わせて、記載および請求され得ることが考慮される。単数形の項目の言及は、複数の同一項目が存在する可能性を含む。より具体的には、本明細書で、およびそれに関連付けられる請求項で使用されるように、「a」、「an」、「said」、および「the」という単数形は、特に別様に記述されない限り、複数の指示対象を含む。換言すると、冠詞の使用は、上記の説明ならびに本開示と関連付けられる請求項で、対象項目の「少なくとも1つ」を可能にする。さらに、そのような請求項は、任意の随意的な要素を除外するように起草され得ることに留意されたい。したがって、この記述は、請求項要素の記載に関連する「だけ」、「のみ」、および同等物等のそのような排他的用語の使用、または「否定的」制限の使用のための先行詞としての機能を果たすことを目的としている。
そのような排他的用語を使用することなく、本開示と関連付けられる請求項での「備える」という用語は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加をそのような請求項に記載される要素の性質を変換するものと見なすことができるかどうかにかかわらず、任意の付加的な要素の包含を可能にするものとする。本明細書で特に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の有効性を維持しながら、可能な限り広義の一般的に理解されている意味を与えられるものである。
本発明の範疇は、提供される実施例および/または本明細書に限定されるものではなく、むしろ、本開示と関連付けられる請求項の範囲のみによって限定されるものとする。

Claims (17)

  1. ウェアラブル分光システムであって、
    ユーザの頭部に取り外し可能に結合可能な頭部搭載型ディスプレイシステムと、
    前記ユーザの注視を検出するように構成された少なくとも1つの眼追跡カメラと、
    前記頭部搭載型ディスプレイシステムに結合され、前記検出された注視と実質的に同一方向に照射される視野内に少なくとも2つの異なる波長を伴う光を放出するように構成されている、1つ以上の光源と、
    頭部搭載型部材に結合され、前記照射される視野内の標的オブジェクトから反射された光を受光するように構成されている、1つ以上の電磁放射検出器と、
    前記1つ以上の光源および前記1つ以上の電磁放射検出器に動作可能に結合されたコントローラであって、前記コントローラは、前記1つ以上の光源に、光のパルスを放出させながら、また、前記1つ以上の電磁放射検出器に、前記放出された光のパルスおよび前記標的オブジェクトから反射された光に関連する吸光のレベルを検出させるように構成されている、コントローラと、
    少なくとも1つの材料の吸光性質の吸収データベースと、
    出力を前記ユーザに表示するためのグラフィックプロセッサユニットと
    を備える、システム。
  2. 前記1つ以上の光源は、複数の発光ダイオードを備える、請求項1に記載のシステム。
  3. 前記1つ以上の光源は、2つ以上の所定の波長において電磁放射を放出するように構成されている、請求項1に記載のシステム。
  4. 前記1つ以上の光源は、約660ナノメートルの第1の波長と、約940ナノメートルの第2の波長とにおいて、電磁放射を放出するように構成されている、請求項3に記載のシステム。
  5. 前記1つ以上の光源は、前記2つの所定の波長において連続して電磁放射を放出するように構成されている、請求項3に記載のシステム。
  6. 前記1つ以上の光源は、前記2つの所定の波長において同時に電磁放射を放出するように構成されている、請求項3に記載のシステム。
  7. 前記コントローラはさらに、前記1つ以上の電磁放射検出器が第1および第2の波長を別個に検出するように、前記1つ以上の光源に、前記第1の波長をオンにし、次いで、前記第2の波長をオンにし、次いで、第1および第2の波長の両方をオフにする、巡回パターンを放出させるように構成されている、請求項1に記載のシステム。
  8. 前記コントローラは、第1の波長光測定と第2の波長光測定の比率を計算するように構成され、前記システムは、前記吸収データベースに基づいて、前記比率を組織の性質に変換するように構成される、請求項1に記載のシステム。
  9. 前記コントローラは、前記頭部搭載型部材に結合され、前記ユーザによって視認可能である、光学要素に動作可能に結合され、前記システムは、前記組織の性質に基づいて、出力を提供するように構成され、前記出力は、前記光学要素を通して、前記ユーザによって視認可能である、請求項8に記載のシステム。
  10. 前記1つ以上の電磁放射検出器は、フォトダイオード、光検出器から成る群から選択される、デバイスを備える、請求項1に記載のシステム。
  11. 前記1つ以上の電磁放射検出器は、デジタル画像センサを備える、請求項1に記載のシステム。
  12. 前記デジタル画像センサは、複数のピクセルを備え、前記コントローラは、所定の組織の性質に遭遇した後に反射された前記光を受光する、ピクセルのサブセットを自動的に検出し、前記所定の組織の性質を示す前記ピクセルのサブセットの場所を表示する出力を生産するように構成されている、請求項11に記載のシステム。
  13. 前記頭部搭載型部材はさらに、慣性測定ユニット測位システムを備える、請求項1に記載のシステム。
  14. 前記慣性測定システムは、前記ユーザの頭部の姿勢配向を判定する、請求項13に記載のシステム。
  15. 前記照射される視野は、少なくとも、前記姿勢配向と同程度の広さである、請求項14に記載のシステム。
  16. 前記頭部搭載型ディスプレイシステムは、選択的に可変レベルの波面発散を伴う光を出力するように構成されている、導波管スタックを備える、請求項1に記載のシステム。
  17. 前記導波管スタックは、屈折力を有する導波管を備える、請求項16に記載のシステム。
JP2019515527A 2016-09-22 2017-09-22 拡張現実の分光法 Active JP7148501B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022150938A JP2022192065A (ja) 2016-09-22 2022-09-22 拡張現実の分光法
JP2023112168A JP2023143907A (ja) 2016-09-22 2023-07-07 拡張現実の分光法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662398454P 2016-09-22 2016-09-22
US62/398,454 2016-09-22
PCT/US2017/053067 WO2018057962A1 (en) 2016-09-22 2017-09-22 Augmented reality spectroscopy

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022150938A Division JP2022192065A (ja) 2016-09-22 2022-09-22 拡張現実の分光法

Publications (3)

Publication Number Publication Date
JP2019529917A true JP2019529917A (ja) 2019-10-17
JP2019529917A5 JP2019529917A5 (ja) 2020-10-15
JP7148501B2 JP7148501B2 (ja) 2022-10-05

Family

ID=61621033

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019515527A Active JP7148501B2 (ja) 2016-09-22 2017-09-22 拡張現実の分光法
JP2022150938A Pending JP2022192065A (ja) 2016-09-22 2022-09-22 拡張現実の分光法
JP2023112168A Pending JP2023143907A (ja) 2016-09-22 2023-07-07 拡張現実の分光法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022150938A Pending JP2022192065A (ja) 2016-09-22 2022-09-22 拡張現実の分光法
JP2023112168A Pending JP2023143907A (ja) 2016-09-22 2023-07-07 拡張現実の分光法

Country Status (9)

Country Link
US (4) US10558047B2 (ja)
EP (1) EP3516630A4 (ja)
JP (3) JP7148501B2 (ja)
KR (4) KR20210072157A (ja)
CN (2) CN109997174B (ja)
AU (2) AU2017331284B2 (ja)
CA (1) CA3037725A1 (ja)
IL (3) IL293014B2 (ja)
WO (1) WO2018057962A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11071596B2 (en) * 2016-08-16 2021-07-27 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
KR20210072157A (ko) 2016-09-22 2021-06-16 매직 립, 인코포레이티드 증강 현실 분광기
US20200201038A1 (en) * 2017-05-15 2020-06-25 Real View Imaging Ltd. System with multiple displays and methods of use
US20190012835A1 (en) * 2017-07-07 2019-01-10 Microsoft Technology Licensing, Llc Driving an Image Capture System to Serve Plural Image-Consuming Processes
US11017317B2 (en) 2017-12-27 2021-05-25 X Development Llc Evaluating robot learning
US11475291B2 (en) 2017-12-27 2022-10-18 X Development Llc Sharing learned information among robots
US10730181B1 (en) * 2017-12-27 2020-08-04 X Development Llc Enhancing robot learning
WO2019183399A1 (en) * 2018-03-21 2019-09-26 Magic Leap, Inc. Augmented reality system and method for spectroscopic analysis
WO2019200362A1 (en) * 2018-04-12 2019-10-17 The Regents Of The University Of California Wearable multi-modal bio-sensing system
CN108953888B (zh) * 2018-07-17 2019-06-28 东北大学 一种基于体感交互的多重减震云台装置
EP3860424A1 (en) * 2018-10-03 2021-08-11 Verily Life Sciences LLC Dynamic illumination to identify tissue type
US10914945B2 (en) 2018-11-09 2021-02-09 Facebook Technologies, Llc Inconspicuous near-eye electrical circuits
US10792122B2 (en) * 2018-12-23 2020-10-06 Taiwan Main Orthopaedic Biotechnology Co., Ltd. Object developing and calibrating method in a surgical environment
US11513003B2 (en) 2019-08-07 2022-11-29 Apple Inc. Electronic devices with beam-steered infrared light sensing
JP2023513692A (ja) * 2020-02-10 2023-04-03 インサイト メディカル システムズ インコーポレイテッド 医療処置における感覚拡張の為のシステム及び方法
DE102022119578A1 (de) 2022-08-04 2024-02-15 Ams-Osram International Gmbh Optische baugruppe zur detektion der vom auge reflektierten laserstrahlung

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5377674A (en) * 1992-05-08 1995-01-03 Kuestner; J. Todd Method for non-invasive and in-vitro hemoglobin concentration measurement
JP2002150803A (ja) * 2000-03-13 2002-05-24 Kansai Tlo Kk 視線照明装置及び手術照明システム
JP2003515759A (ja) * 1999-11-24 2003-05-07 ライフ・オプティクス・ゲーエムベーハー 自動焦点合せ手段を有する望遠眼鏡の形状の視覚補助装置
JP2008509438A (ja) * 2004-08-06 2008-03-27 ユニヴァーシティ オブ ワシントン 可変固定視距離で走査される光表示装置
JP2009505067A (ja) * 2005-08-08 2009-02-05 コーニング インコーポレイテッド Ccd検出器の読み出し速度を増加させる方法
WO2014015378A1 (en) * 2012-07-24 2014-01-30 Nexel Pty Ltd. A mobile computing device, application server, computer readable storage medium and system for calculating a vitality indicia, detecting an environmental hazard, vision assistance and detecting disease
US20140160432A1 (en) * 2012-12-11 2014-06-12 Elwha Llc Self-Aligning Unobtrusive Active Eye Interrogation
JP2014147473A (ja) * 2013-01-31 2014-08-21 Nippon Koden Corp 生体信号測定システム、生体信号測定装置、および生体信号測定装置の制御プログラム
WO2016123145A1 (en) * 2015-01-26 2016-08-04 Magic Leap, Inc. Virtual and augmented reality systems and methods having improved diffractive grating structures
WO2016127173A1 (en) * 2015-02-06 2016-08-11 The University Of Akron Optical imaging system and methods thereof

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US6305804B1 (en) * 1999-03-25 2001-10-23 Fovioptics, Inc. Non-invasive measurement of blood component using retinal imaging
US6554444B2 (en) * 2000-03-13 2003-04-29 Kansai Technology Licensing Organization Co., Ltd. Gazing point illuminating device
GB0021988D0 (en) 2000-09-07 2000-10-25 Nokia Mobile Phones Ltd Management of portable radiotelephones
US8328420B2 (en) * 2003-04-22 2012-12-11 Marcio Marc Abreu Apparatus and method for measuring biologic parameters
JP4834977B2 (ja) 2004-11-12 2011-12-14 コニカミノルタホールディングス株式会社 シースルー型ヘッドマウントディスプレイ
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
JP4961914B2 (ja) 2006-09-08 2012-06-27 ソニー株式会社 撮像表示装置、撮像表示方法
US8224020B2 (en) 2007-11-29 2012-07-17 Kabushiki Kaisha Toshiba Appearance inspection apparatus, appearance inspection system, and appearance inspection appearance
JP5537008B2 (ja) 2007-11-29 2014-07-02 株式会社東芝 外観検査装置
JP2009157634A (ja) 2007-12-26 2009-07-16 Fuji Xerox Co Ltd 照射制御装置、照射制御プログラム、視線分析システム
US20100113940A1 (en) * 2008-01-10 2010-05-06 The Ohio State University Research Foundation Wound goggles
US8443146B2 (en) 2008-09-18 2013-05-14 International Business Machines Corporation Techniques for cache injection in a processor system responsive to a specific instruction sequence
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
JP5405445B2 (ja) 2010-12-17 2014-02-05 富士フイルム株式会社 内視鏡装置
EP4036630A1 (en) 2010-12-24 2022-08-03 Magic Leap, Inc. Image display system
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
CA3035118C (en) 2011-05-06 2022-01-04 Magic Leap, Inc. Massive simultaneous remote digital presence world
US9256711B2 (en) * 2011-07-05 2016-02-09 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for providing health information to employees via augmented reality display
US8724853B2 (en) * 2011-07-18 2014-05-13 Google Inc. Identifying a target object using optical occlusion
US8998414B2 (en) * 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
WO2013049861A1 (en) 2011-09-29 2013-04-04 Magic Leap, Inc. Tactile glove for human-computer interaction
US9215293B2 (en) 2011-10-28 2015-12-15 Magic Leap, Inc. System and method for augmented and virtual reality
CA3024054C (en) 2011-11-23 2020-12-29 Magic Leap, Inc. Three dimensional virtual and augmented reality display system
BR112014024941A2 (pt) 2012-04-05 2017-09-19 Magic Leap Inc dispositivo de imagem de campo de visão amplo com capacidade de focalização ativa
US20140046291A1 (en) 2012-04-26 2014-02-13 Evena Medical, Inc. Vein imaging systems and methods
US20140039309A1 (en) 2012-04-26 2014-02-06 Evena Medical, Inc. Vein imaging systems and methods
AU2013274359B2 (en) 2012-06-11 2017-05-25 Magic Leap, Inc. Multiple depth plane three-dimensional display using a wave guide reflector array projector
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN104813218A (zh) 2012-09-11 2015-07-29 奇跃公司 人机工程学的头戴显示设备和光学系统
CA2898283C (en) 2013-01-15 2021-05-11 Magic Leap, Inc. Ultra-high resolution scanning fiber display
EP4193906A1 (en) 2013-03-11 2023-06-14 Magic Leap, Inc. Method for augmented and virtual reality
CN105229719B (zh) 2013-03-15 2018-04-27 奇跃公司 显示系统和方法
KR20150136601A (ko) * 2013-03-25 2015-12-07 에꼴 뽈리떼끄닉 뻬데랄 드 로잔느 (으뻬에프엘) 다수의 출사동을 가진 헤드 착용 디스플레이로부터 투영된 이미지를 디스플레이하기 위한 방법
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
CN103479363B (zh) * 2013-09-30 2015-03-18 深圳市倍轻松科技股份有限公司 血液中血氧饱和度的测量方法及系统
EP3058418B1 (en) 2013-10-16 2023-10-04 Magic Leap, Inc. Virtual or augmented reality headsets having adjustable interpupillary distance
WO2015061588A1 (en) * 2013-10-23 2015-04-30 The Trustees Of Dartmouth College Surgical vision augmentation system
US20150257735A1 (en) * 2013-10-24 2015-09-17 Evena Medical, Inc. Systems and methods for displaying medical images
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
KR20240042677A (ko) 2013-11-27 2024-04-02 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
FR3013906B1 (fr) 2013-11-28 2017-04-07 Commissariat Energie Atomique Antenne radio integree a meandres
WO2015094191A1 (en) 2013-12-17 2015-06-25 Intel Corporation Controlling vision correction using eye tracking and depth detection
WO2015117039A1 (en) 2014-01-31 2015-08-06 Magic Leap, Inc. Multi-focal display system and method
KR102177133B1 (ko) 2014-01-31 2020-11-10 매직 립, 인코포레이티드 멀티-포컬 디스플레이 시스템 및 방법
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
KR20170046108A (ko) 2014-05-09 2017-04-28 아이플루언스, 인크. 보안 모바일 통신들과 함께 안구 신호들을 이용하는 시스템들 및 방법들
WO2015175681A1 (en) * 2014-05-15 2015-11-19 Fenwal, Inc. Head-mounted display device for use in a medical facility
CA2950432C (en) 2014-05-30 2022-01-04 Magic Leap, Inc. Methods and systems for generating virtual content display with a virtual or augmented reality apparatus
JP6468287B2 (ja) 2014-06-05 2019-02-13 株式会社ニコン 走査型投影装置、投影方法、走査装置、及び手術支援システム
NZ745107A (en) * 2014-09-29 2021-07-30 Magic Leap Inc Architectures and methods for outputting different wavelength light out of waveguides
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
KR102634148B1 (ko) 2015-03-16 2024-02-05 매직 립, 인코포레이티드 건강 질환 진단과 치료를 위한 방법 및 시스템
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
KR20210072157A (ko) 2016-09-22 2021-06-16 매직 립, 인코포레이티드 증강 현실 분광기

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5377674A (en) * 1992-05-08 1995-01-03 Kuestner; J. Todd Method for non-invasive and in-vitro hemoglobin concentration measurement
JP2003515759A (ja) * 1999-11-24 2003-05-07 ライフ・オプティクス・ゲーエムベーハー 自動焦点合せ手段を有する望遠眼鏡の形状の視覚補助装置
JP2002150803A (ja) * 2000-03-13 2002-05-24 Kansai Tlo Kk 視線照明装置及び手術照明システム
JP2008509438A (ja) * 2004-08-06 2008-03-27 ユニヴァーシティ オブ ワシントン 可変固定視距離で走査される光表示装置
JP2009505067A (ja) * 2005-08-08 2009-02-05 コーニング インコーポレイテッド Ccd検出器の読み出し速度を増加させる方法
WO2014015378A1 (en) * 2012-07-24 2014-01-30 Nexel Pty Ltd. A mobile computing device, application server, computer readable storage medium and system for calculating a vitality indicia, detecting an environmental hazard, vision assistance and detecting disease
US20140160432A1 (en) * 2012-12-11 2014-06-12 Elwha Llc Self-Aligning Unobtrusive Active Eye Interrogation
JP2014147473A (ja) * 2013-01-31 2014-08-21 Nippon Koden Corp 生体信号測定システム、生体信号測定装置、および生体信号測定装置の制御プログラム
WO2016123145A1 (en) * 2015-01-26 2016-08-04 Magic Leap, Inc. Virtual and augmented reality systems and methods having improved diffractive grating structures
WO2016127173A1 (en) * 2015-02-06 2016-08-11 The University Of Akron Optical imaging system and methods thereof

Also Published As

Publication number Publication date
US20220026717A1 (en) 2022-01-27
KR20240042181A (ko) 2024-04-01
JP2022192065A (ja) 2022-12-28
EP3516630A4 (en) 2020-06-03
JP7148501B2 (ja) 2022-10-05
KR102650592B1 (ko) 2024-03-22
KR20210072157A (ko) 2021-06-16
US20220404626A1 (en) 2022-12-22
KR102266343B1 (ko) 2021-06-17
AU2017331284B2 (en) 2022-01-13
IL293014A (en) 2022-07-01
US20180081179A1 (en) 2018-03-22
US11460705B2 (en) 2022-10-04
CN109997174B (zh) 2023-06-02
IL265402B (en) 2022-06-01
IL293014B2 (en) 2024-03-01
KR20190051043A (ko) 2019-05-14
CA3037725A1 (en) 2018-03-29
US20200166760A1 (en) 2020-05-28
CN116649967A (zh) 2023-08-29
WO2018057962A1 (en) 2018-03-29
IL293014B1 (en) 2023-11-01
KR20230072515A (ko) 2023-05-24
US11079598B2 (en) 2021-08-03
AU2022202370A1 (en) 2022-04-28
EP3516630A1 (en) 2019-07-31
CN109997174A (zh) 2019-07-09
US11754844B2 (en) 2023-09-12
US10558047B2 (en) 2020-02-11
IL265402A (en) 2019-05-30
JP2023143907A (ja) 2023-10-06
IL307292A (en) 2023-11-01
AU2017331284A1 (en) 2019-04-11

Similar Documents

Publication Publication Date Title
US11460705B2 (en) Augmented reality spectroscopy
JP2019529917A5 (ja)
US10813559B2 (en) Detecting respiratory tract infection based on changes in coughing sounds
US11644674B2 (en) Augmented reality pulse oximetry
US11103140B2 (en) Monitoring blood sugar level with a comfortable head-mounted device
US11852530B2 (en) Augmented reality system and method for spectroscopic analysis

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200907

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200907

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220922

R150 Certificate of patent or registration of utility model

Ref document number: 7148501

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150