CN102150072A - 宽视角显示和用户接口 - Google Patents

宽视角显示和用户接口 Download PDF

Info

Publication number
CN102150072A
CN102150072A CN2009801352024A CN200980135202A CN102150072A CN 102150072 A CN102150072 A CN 102150072A CN 2009801352024 A CN2009801352024 A CN 2009801352024A CN 200980135202 A CN200980135202 A CN 200980135202A CN 102150072 A CN102150072 A CN 102150072A
Authority
CN
China
Prior art keywords
image
beholder
alternatively
hologram
aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801352024A
Other languages
English (en)
Other versions
CN102150072B (zh
Inventor
C·罗奇尔德
A·考夫曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Real View Imaging Ltd
Original Assignee
Real View Imaging Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Real View Imaging Ltd filed Critical Real View Imaging Ltd
Priority to CN201310336948.XA priority Critical patent/CN103558689B/zh
Priority to CN201310336947.5A priority patent/CN103529554B/zh
Publication of CN102150072A publication Critical patent/CN102150072A/zh
Application granted granted Critical
Publication of CN102150072B publication Critical patent/CN102150072B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202Reconstruction geometries or arrangements
    • G03H1/2205Reconstruction geometries or arrangements using downstream optical component
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H1/024Hologram nature or properties
    • G03H1/0248Volume holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2286Particular reconstruction light ; Beam properties
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294Addressing the hologram to an active spatial light modulator
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/2645Multiplexing processes, e.g. aperture, shift, or wavefront multiplexing
    • G03H1/265Angle multiplexing; Multichannel holograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/368Image reproducers using viewer tracking for two or more viewers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/388Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/0033Adaptation of holography to specific applications in hologrammetry for measuring or analysing
    • G03H2001/0038Adaptation of holography to specific applications in hologrammetry for measuring or analysing analogue or digital holobjects
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/0055Adaptation of holography to specific applications in advertising or decorative art
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/0061Adaptation of holography to specific applications in haptic applications when the observer interacts with the holobject
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0402Recording geometries or arrangements
    • G03H2001/0421Parallax aspect
    • G03H2001/0426Extended parallax, e.g. panoramic or 360deg. holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202Reconstruction geometries or arrangements
    • G03H1/2205Reconstruction geometries or arrangements using downstream optical component
    • G03H2001/2207Spatial filter, e.g. for suppressing higher diffraction orders
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202Reconstruction geometries or arrangements
    • G03H1/2205Reconstruction geometries or arrangements using downstream optical component
    • G03H2001/221Element having optical power, e.g. field lens
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202Reconstruction geometries or arrangements
    • G03H2001/2223Particular relationship between light source, hologram and observer
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202Reconstruction geometries or arrangements
    • G03H2001/2223Particular relationship between light source, hologram and observer
    • G03H2001/2231Reflection reconstruction
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202Reconstruction geometries or arrangements
    • G03H2001/2236Details of the viewing window
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202Reconstruction geometries or arrangements
    • G03H2001/2236Details of the viewing window
    • G03H2001/2239Enlarging the viewing window
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202Reconstruction geometries or arrangements
    • G03H2001/2236Details of the viewing window
    • G03H2001/2242Multiple viewing windows
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249Holobject properties
    • G03H2001/2263Multicoloured holobject
    • G03H2001/2271RGB holobject
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249Holobject properties
    • G03H2001/2284Superimposing the holobject with other visual information
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2286Particular reconstruction light ; Beam properties
    • G03H2001/2292Using scanning means
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294Addressing the hologram to an active spatial light modulator
    • G03H2001/2297Addressing the hologram to an active spatial light modulator using frame sequential, e.g. for reducing speckle noise
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H2001/2605Arrangement of the sub-holograms, e.g. partial overlapping
    • G03H2001/262Arrangement of the sub-holograms, e.g. partial overlapping not in optical contact
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/2645Multiplexing processes, e.g. aperture, shift, or wavefront multiplexing
    • G03H2001/2655Time multiplexing, i.e. consecutive records wherein the period between records is pertinent per se
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/2645Multiplexing processes, e.g. aperture, shift, or wavefront multiplexing
    • G03H2001/266Wavelength multiplexing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/30Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique discrete holograms only
    • G03H2001/303Interleaved sub-holograms, e.g. three RGB sub-holograms having interleaved pixels for reconstructing coloured holobject
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/202D object
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/303D object
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/303D object
    • G03H2210/323D+2D, i.e. composition of 3D and 2D sub-objects, e.g. scene in front of planar background
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/303D object
    • G03H2210/36Occluded features resolved due to parallax selectivity
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2222/00Light sources or light beam properties
    • G03H2222/20Coherence of the light source
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2222/00Light sources or light beam properties
    • G03H2222/20Coherence of the light source
    • G03H2222/22Spatial coherence
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2222/00Light sources or light beam properties
    • G03H2222/33Pulsed light beam
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2222/00Light sources or light beam properties
    • G03H2222/50Geometrical property of the irradiating beam
    • G03H2222/52Divergent beam
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2223/00Optical components
    • G03H2223/24Reflector; Mirror
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2225/00Active addressable light modulator
    • G03H2225/60Multiple SLMs
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2225/00Active addressable light modulator
    • G03H2225/60Multiple SLMs
    • G03H2225/61Multiple SLMs for multicolour processing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00Electro-optic or electronic components relating to digital holography
    • G03H2226/02Computing or processing means, e.g. digital signal processor [DSP]
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00Electro-optic or electronic components relating to digital holography
    • G03H2226/04Transmission or communication means, e.g. internet protocol
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00Electro-optic or electronic components relating to digital holography
    • G03H2226/05Means for tracking the observer
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2227/00Mechanical components or mechanical aspects not otherwise provided for
    • G03H2227/02Handheld portable device, e.g. holographic camera, mobile holographic display
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2227/00Mechanical components or mechanical aspects not otherwise provided for
    • G03H2227/03Means for moving one component
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2240/00Hologram nature or properties
    • G03H2240/50Parameters or numerical values associated with holography, e.g. peel strength
    • G03H2240/61SLM related parameters, e.g. pixel size

Abstract

公开了用于显示图像以及用于实施体积用户接口的方法和系统。一个示例性实施例提供一种系统,该系统包括:光源;图像产生单元,其在与从光源接近图像产生单元的光交互时产生图像;目镜;和镜,将光从图像引导至目镜的表面,其中该表面具有通过使平面弯曲围绕旋转轴旋转至少180°而形成的旋转固体的形状。另一示例性实施例提供一种用于实施浮于空中用户接口的方法,包括:在第一浮于空中显示的显示空间中显示第一图像,将真实物体插入到第一浮于空中显示的显示空间中,在第一浮于空中显示的显示空间内定位真实物体的位置,在显示空间中定位真实物体,并且提供该位置作为针对浮于空中用户接口的输入。

Description

宽视角显示和用户接口
相关申请
根据35 U.S.C. 119(e),本申请要求在2008年7月10日提交的题为“BROAD VIEWING ANGLE DISPLAYS”的美国临时专利申请序列号61/129,665的优先权和权益,其内容通过引用合并于此。
背景技术
本发明在其一些实施例中涉及用于显示图像的方法和设备,且更特别地但非排他地涉及允许从宽视角(例如从围绕图像360°)看到图像的这种方法和设备。
本发明在其一些实施例中涉及计算机化用户接口系统,且更特别地但非排他地涉及包括浮于空中(floating-in-the-air)显示的用户接口系统。
美国专利申请公开No. 2006-0171008描述了一种三维(3D)显示系统。该3D显示系统包括投射器设备,用于将图像投射在显示媒体上以形成3D图像。3D图像被形成以使得观看者可以从高达360度的多个角度观看图像。描述了多种显示媒体,即旋转散射屏幕、圆形散射器屏幕和气凝胶。旋转散射屏幕利用空间光调制器来控制图像,使得3D图像以时间复用的方式显示在转动屏幕上。圆形扩散器屏幕包括多个同时操作的投射器以将图像从多个位置投射到圆形散射器屏幕上,由此形成3D图像。气凝胶可以使用被描述为可应用于旋转散射屏幕或者圆形散射器屏幕的投射设备。尽管该公开有时将3D图像称为全息图,但是事实上,由此教导的显示媒体生成非全息的3D图像。
已知一些计算机生成的三维显示。一些使用平面屏幕上的微透镜。一些包括可以从相对窄的角度观看的计算机生成的全息图。
被称为体积显示的一类三维(3D)显示当前正在经历迅速的发展。该类的显示类型包括扫描体积显示和静态体积显示。体积显示允许在真实的3D体积内显示三维(3D)图形景象。就是说,体积显示不是将体积数据投射到2D显示上,而是真实的物理3D体积。
一些用户接口在第一显示空间中显示用户输入指示符的位置,转变来自作为输入空间的第二空间的用户输入的位置。该用户接口的一个示例是鼠标,其中计算机屏幕上的指示符对应于鼠标的运动而移动,其中鼠标在一个坐标系统中在桌面上移动,而指示符在第二坐标系统中在屏幕上移动。
授予Balakrishnan等人的美国专利7,528,823描述了一种系统,其创建体积显示和该体积显示内的用户可控体积指针。用户可以通过瞄准基于切线、平面或者向量的波束、与显示关联地将设备安置在三维中、触摸显示器外壳的数字化表面或者以其他方式输入位置坐标,进行指向。光标可以采取许多不同形式,包括光线、点、体积和平面。光线可以包括环、珠、分段棒、圆锥和圆柱。用户指定输入位置并且系统将该输入位置映射到体积显示内的3D光标位置。系统还通过确定物体是否在光标的影响区域内来确定光标是否已指定任何物体。系统还执行与该指定关联地激活的任何功能。
白板制作(white-boarding)是用于描述将共享文件放置在屏上“共享笔记本”或“白板”上的术语。视频会议和数据会议软件常常包括让用户差不多就像他将针对传统墙壁安装的板那样标记电子白板的工具。该类型的软件的一般性质是允许不止一个人在任何一个时间对该图像进行工作,近实时地使两个版本保持彼此同步。
常常被简称为“触觉”的触觉反馈是使用用户接口设计中的触摸感觉来向终端用户提供信息。当参照移动电话和相似的设备时,这通常意味着使用来自设备的振动警报的振动来表示触摸屏幕按钮已被按压。在该特定示例中,电话将响应于屏上控制的用户激活而略微振动,以补偿用户在按压物理按钮时将体验的正常触感响应的缺失。一些“力反馈”游戏杆和视频游戏方向盘提供的抵抗力是另一种形式的触觉反馈。
背景技术包括:
授予McPheters的美国专利6,377,238;
授予McPheters的美国专利7,054,045;
授予Balakrishnan等人的美国专利7,528,823;
Mintz等人的美国公开专利申请No. 2006/0171008;以及
在Opt. Eng. 39(1) 10-22 (2000年1月)中出版的Chen F.、Brown G.M.、Song M.的题为“Overview of three-dimensional shape measurement using optical methods”的文章。
发明内容
本发明在其一些实施例中涉及向许多观看者显示全息图,使得每个观看者看到处于完全相同位置的全息图,并且如果触摸全息图的某个部分,则所有其他观看者均从他自身的视角看到在相同位置触摸的图像。
本发明在其一些实施例中涉及围绕360°投射近轴图像。
因此,根据本发明的示例性实施例,提供了一种向多个观看者显示内容的方法,该方法包括:
形成多个体积图像,每个体积图像具有至少一部分该内容并且每个体积图像可从其自身的可视性空间观看;以及
使一个或多个所述可视性空间的一部分与每个观看者的瞳孔重叠。
在一些实施例中,内容是单个景象;并且每个所述体积图像具有可从不同视点观看的所述单个景象的不论是固体(solid)还是部分透明的面。
可选地,多个体积图像在空间中重叠或邻接。
可选地,所有体积图像在空间中重叠。
可选地,体积图像之间的重叠是完全的。
可选地,体积图像在空间中完全重叠。
可选地,如果一个图像的图像点重叠另一图像的图像点或者在另一图像的图像点之间隔开,则认为体积图像重叠。相似地,完全重叠可以被定义为当一个图像的所有图像点重叠另一图像的图像点或者位于另一图像的图像点之间时的状态。可选地,由观看者识别为图像的一部分的、空间中的每个点是图像点。
在本发明的一些实施例中,观看者处于围绕由体积图像之一占用的空间的不同方位角度。
可选地,不同方位角度跨越整个圆、半圆或四分之一圆。
在一些实施例中,两个观看者彼此间的距离至少为1米。
在一些实施例中,观看者同时看到图像。
可选地,可视性空间与观看者的眼睛仅重叠短周期序列,并且所述短周期被适时地隔开,使得所述观看者看到连续场景。
本发明在其一些实施例中涉及包括浮于空中显示的用户接口。
这里使用的术语浮于空中显示针对无底板显示。浮于空中显示被可选地产生,并且不需要底板,因此可能看似浮于空中或者浮于水中或者浮于固体中。
在一些实施例中,用户接口允许用户伸进(reach into)显示空间直到和/或进入所显示的物体和/或景象。“伸进”为与用户接口交互的用户提供了自然的手-眼协调。例如,使得用户能够“触摸”所显示的物体,并且用户以及可选地其他观看者看到“触摸”。
在某种现有技术的情况中,用户在一个空间中操纵诸如鼠标的输入设备,并且在另一空间(显示空间)中观看操纵的结果。本发明的用户接口使得能够在相同空间中操纵输入设备和观看操纵的结果。
在一些实施例中,用户向用户接口提供输入,并且用户接口实现显示中的某种改变,无论其是标记显示的一部分还是引起更大的改变,诸如切除、揭开层等等。由于用户伸进物体并且看似操纵了物体,因此用户看似实现了对物体自身的改变。
在一些实施例中,当用户看似触摸正被显示的物体时,提供感官反馈。由于所显示的物体正浮于空中并且没有提供对触摸的抵抗,因此用户可以可选地使用用于指向的设备,其中当用户“触摸”所显示的物体时,用户接口可选地使所述设备提供感官反馈。
用于可选地在“触摸”显示中的物体时向用户提供感官反馈的一个示例方法包括例如通过用户佩戴振动环或手套来唤起如人造现实领域中已知的人造触摸知觉。另一示例方法是通过将诸如红外热的波束投射在用户的手和/或手指处使得手和/或手指被加热。又一示例方法包括投射被调制为引起知觉的例如超声的声束。
用于向用户提供感官反馈的又一示例方法包括例如通过加亮触摸点来在视觉上标记触摸点。注意,用户接口数字地定义所显示的图像,因此用户接口可以可选地使所显示的图像中的位置被加亮、闪烁、改变色调等等。
用于向用户提供感官反馈的又一示例性方法是通过可听反馈,诸如在指针“触摸”物体时发出“敲击”声、和/或可选地根据哪个物体被“触摸”而从多种用于反馈的声音中选择。
在“触摸”、“抓住”和其他这样的操纵术语用于描述用户交互的情况中,感官反馈将被认为这里适当位置的选项。
在这里使用术语“感官反馈”的情况中,该术语旨在意味着以上列出的任何方法、以及向用户提供反馈的其他方法。
这里描述的针对用户接口系统的命令形式的一些非限制性示例包括:致动也用于显示空间内的接口的工具上的致动器,诸如按压也用于伸进显示空间的指针上的按钮;以及语音命令。
在一些实施例中,不同位置的两个或更多个用户接口显示相同物体和/或景象。一个位置的用户与该位置的用户接口交互,并且所有用户看到该交互。可选地,另一位置的用户可选地同时与用户接口交互,并且所有用户看到这两个交互。这实现了远程位置之间的上文提到的自然的手-眼协调交互,具有许多示例使用。一些非限制性示例包括:远程医疗实践;远程教学;远程机器人操纵;街机游戏(arcade gaming);和交互式游戏。一个位置可能远离另一位置的距离包括:在另一房间中;在另一建筑物中;跨越城镇;跨越国家;跨越海洋;两米开外;百米或更远开外;千米或更远开外;以及数百或数千千米开外。
在用户接口的一些应用中,浮于空中显示利用这里描述的体积显示的实施例。在用户接口的其他应用中,可选地使用其他体积显示,假设它们的性质支持具体应用。
本发明的示例性实施例还提供了一种用于向多个观看者显示内容的系统,该系统包括:
用于生成体积图像的单元,每个体积图像具有至少一部分该内容并且每个体积图像可从其自身的可视性空间观看;以及
光学系统,控制一个或多个所述可视性空间的一部分以与每个观看者的瞳孔重叠。
在一些实施例中,由该单元生成的多个体积图像在空间中重叠。
可选地,由所述单元生成的所有体积图像在空间中重叠。
可选地,存在两个或更多个体积图像之间的完全重叠。
在一些示例性实施例中,光学系统包括:方位确定元件,确定至少一个所述可视性空间关于可从所述可视性空间观看的体积图像的方位。
可选地,方位确定元件包括旋转镜。
可选地,方位确定元件被配置为确定不同可视性空间的方位不同高达90°、高达180°或者高达360°。
在一些实施例中,该系统包括:时间共享控制,控制每个可视性空间与所述瞳孔仅重叠短周期序列,并且所述短周期被适时地隔开,使得所述观看者看到连续场景。
可选地,时间共享控制控制所述旋转镜的旋转。
根据本发明的示例性实施例,提供了一种系统,其包括:
图像产生单元,产生近轴图像;以及
光学系统,定义舞台并且将所述近轴图像成像到所述舞台,使得可从可视性空间观看舞台上的图像,
其中所述光学系统包括目镜和镜,该镜被配置为以多个不同方位角度将光引导至目镜,并且其中
每个所述方位角度确定所述可视性空间的不同位置;以及
对于每个所述方位角度,舞台的位置是相同的。
在一些实施例中,如果一个观看者触摸给定点并且另一观看者看到正被触摸的相同点,则针对这两个观看者的舞台的位置被认为相同。可选地,根据观看者感受位置差异的能力,这允许容差。
可选地,如果触摸在图中的点使得从所有方位角度注视的观看者看到被触摸的相同点,则舞台的位置被认为对于所有方位角度是相同的。在该背景下,如果观看者不能分辨差异,则该点是“相同的”。
在一些示例性实施例中,目镜具有从近轴图像接收光的光接收表面,并且所述光接收表面具有旋转弯曲的形状,其驻留在平面上并且围绕所述平面外的轴旋转。在本发明的示例性实施例中,光接收表面是圆柱,可选地具有带曲率的壁以提供图像放大。可选地,该曲率不是上下对称的。可选地或者可替选地,轴例如在图像中心处跨越图像。
可选地,光接收表面的形状具有围绕轴旋转至少90°的弯曲。例如,如果弯曲具有半圆,则表面具有四分之一球壳。
可选地,光接收表面的形状具有围绕轴旋转360°的弯曲,使得所述目镜定义内腔。例如,如果弯曲具有半圆,则所定义的内腔是球。
可选地,弯曲是构成圆的一部分的弧。
可选地,弯曲是抛物线。
在其中弯曲是弧的一些实施例中,旋转轴不经过弧的中心。可选地或者可替选地,轴跨越图像。可选地,轴跨越图像但并非如同完美竖直。可选地或者可替选地,轴摇晃。
在一些实施例中,旋转轴位于弯曲的平面中,位于中间并且与舞台垂直。
可选地,弯曲相对于旋转轴是凹入的。
可选地,弯曲相对于旋转轴是凸出的。
在一些示例性实施例中,镜围绕轴旋转。可选地,镜围绕其旋转的轴是所述弯曲围绕其旋转以获得目镜的内表面的形状的轴。
可选地,镜围绕其旋转的轴和/或弯曲围绕其旋转以形成内表面的形状的轴是舞台的对称轴。
在一些示例性实施例中,系统包括光学元件,并且从近轴图像去往镜的光经过该光学元件。
可选地,光学元件包括透镜。
可选地,光学元件包括曲面镜。
在一些实施例中,光源位于目镜定义的腔内部。
可选地,镜、图像形成单元和/或光学元件位于腔内部。
在一些实施例中,光源和舞台之间的至少一部分光学路径位于腔内部。
在本发明的一些实施例中,图像形成单元包括透射型液晶显示器(LCD)。
在本发明的一些实施例中,图像形成单元包括反射型LCD。
在本发明的一些实施例中,图像形成单元包括空间光调制器(SLM)。可选地,近轴图像是计算机生成的全息图(CGH)。
可选地,近轴图像是近轴视差屏障图像。
可选地,近轴图像是二维图像。
可选地,近轴图像是三维图像。
可选地,舞台上的图像是体积的。在此背景下,体积图像是包括图像点的图像,这些图像点不限于单个平面而是填充三维空间。因此,体积图像是占用体积的图像,但是除了空气等之外在体积中没有东西,并且光从体积内的图像点发出。可选地,体积图像的三个物理维度具有相同量级的幅值,例如,图像的高度、宽度和深度中的每一个具有1cm和20cm之间的例如10 cm的测量结果。可选地,为一个或多个维度提供较大的测量结果,例如30 cm、50 cm、80 cm、100 cm或更多。可选地,这是使用位于成像系统内部的观看者位置而提供的。在本发明的示例性实施例中,光接收表面的直径及其高度被选择为与所期望的视角和图像大小匹配。在本发明的示例性实施例中,舞台不是弯曲的或者是分段弯曲的并且图像形成单元和/或光学元件因此用于补偿。可选地,图像形成单元不位于弯曲的中心,因此可以在离系统的相同距离处针对不同视角生成不同放大和/或角大小。
在示例性实施例中,图像产生单元被配置为产生从所有所述不同方位角度将观看的相同图像。可选地,看到图像根据不同距离而在大小上不同。可选地或者可替选地,图像针对不同观看高度角而向上或向下移动。可替选地,图像可以是相同的,即使观看者抬起或低下他的头。然而,在本发明的示例性实施例中,系统修改并且生成显示,使得任何移动、距离、方位或高度改变生成了相同的旁观者的视觉效果,仿佛真实图像正浮于空间中并且被观看。如提到的,在一些实施方式中,未提供这种完美保真,并且例如由于不支持一个或多个眼睛位置改变类型,因此完美保真可能劣化。例如,可以从任何视角提供相同图像(转动以配合),可选地针对每个眼睛具有不同场景。在另一示例中,眼睛的竖直重新定位不提供所观察的图像部分的改变。
在一些实施例中,图像产生单元被配置为产生从不同方位角度将观看的不同图像。例如,图像产生单元可以被配置为产生景象的局部图像,每个局部图像可从不同角度观看,并且系统被配置为将景象的局部图像成像为均可从所述不同角度观看。
在一些实施例中,镜关于镜围绕其旋转的轴倾斜。
本发明的一些实施例的方面涉及一种使近轴图像成像以由观看者看到的方法,观看者具有第一位置的瞳孔并且注视第二位置,该方法包括:
生成近轴图像;
使近轴图像成像到观看者注视的位置,使得近轴图像的图像可从具有最宽部分和较窄部分的可视性空间观看;
响应于观看者瞳孔的位置,选择第三位置;以及
使可视性空间的最宽部分成像到所选择的第三位置。可选地,成像包括:使近轴图像成像到图像可视性空间,并且同时使投射器的平面成像到观看者瞳孔的平面。例如,全息配置中的投射器是SLM。
在本发明的示例性实施例中,近轴图像是用空间光调制器(SLM)生成的计算机生成的全息图(CGH);并且SLM的图像处于可视性空间的最宽部分。
在示例性实施例中,第三位置被选择为与观看者的瞳孔重叠。
可选地,CGH的图像可从可视性空间观看,并且第三位置被选择为使得所述可视性空间与观看者瞳孔重叠。可选地,成像包括:使近轴图像成像到图像可视性空间,并且同时使投射器(例如,全息配置中的SLM)平面成像到观看者瞳孔的平面。
在一些实施例中,该方法包括:
接收观看者瞳孔的位置的指示;以及
响应于所述指示,定义所述瞳孔驻留于其内部的视窗(viewing porthole),
其中第三位置被选择为使得可视性空间至少部分地重叠所述视窗。可选地,第三位置被选择为使得可视性空间重叠整体所述视窗。
在一些实施例中,接收观看者瞳孔的位置的指示包括:
接收观看者面部的位置的指示;以及
分析所述指示以获得观看者瞳孔的位置的指示。
可选地,使SLM成像包括生成大于SLM的图像。
可选地或者此外,CGH的图像大于SLM。
在一些示例性实施例中,该方法包括:
(a)响应于一个观看者眼睛的位置使SLM成像;以及随后
(b)响应于另一个观看者眼睛的位置使SLM成像;以及
重复(a)和(b)使得观看者看到连续图像。
可选地,第一CGH被投射到第一观看者眼睛,并且第二CGH被投射到第二观看者眼睛。
在一些实施例中,假如景象位于CGH在其上成像的所述第二位置,则如观看者的第一和第二眼睛将看到的,第一和第二CGH是相同景象的全息图。
在示例性实施例中,观看者是一起具有多个眼睛的多个观看者中的一个,并且每当响应于所述多个眼睛中的另一眼睛的位置时,SLM被顺序地成像,使得每个观看者看到连续场景。
可选地,每当SLM被成像为与相同观看者的眼睛重叠时,成像到第二位置的一个或多个图像是相同的,因此向观看者示出静止的或相似的(例如,动态的)图像。
在本发明的一些实施例中,使近轴图像成像以由具有第一位置的瞳孔并且注视第二位置的观看者看到的方法包括:
将光从SLM投射到镜;以及
使所述镜移动以跟随观看者眼睛的移动。
在一些实施例中,该方法包括
使SLM成像到旋转镜;以及
旋转所述旋转镜,使得观看者看到连续图像。
可选地,SLM是多个SLM中的一个,并且所述多个SLM的图像被投射到相同旋转镜。
可选地,镜处于所述光学系统的聚焦元件的焦点。
可选地,成像是达每秒至少24个周期,每个所述周期为1至20毫秒长。
在一些实施例中,该方法包括执行眼睛跟踪以接收观看者瞳孔的位置的指示。
在一些实施例中,接收观看者瞳孔的位置的指示包括:
从所述观看者眼睛接收光反射;以及
分析所述反射以估计所述观看者眼睛的位置。
可选地,接收观看者瞳孔的位置的指示包括:
接收其中识别观看者面部的位置的指示;以及
处理所述指示以获得观看者瞳孔的位置的指示。
在一些实施例中,近轴图像是近轴视差屏障图像。
在一些实施例中,近轴图像是二维图像。
在一些实施例中,近轴图像是三维图像。
可选地,近轴图像的图像是体积的。
本发明的示例性实施例还提供了一种向面朝给定位置的观看者显示景象的方法,该方法包括:
估计观看者眼睛的位置;
估计如果景象在给定取向上处于给定位置则观看者将看到哪些景象部分;以及
使仅部分景象的计算机生成的全息图成像到给定位置,所述部分包括所述估计的景象部分,
其中成像是使得观看者可以看到全息图。
在优选实施例中,成像是以上述方法。
可选地,该方法包括:跟踪观看者眼睛的位置;以及使计算机生成的全息图成像,使得当观看者移动时,他保持看到所述给定位置的全息图。在一些实施例中,即使当观看者移动例如一米或两米时,情况亦是如此。
本发明的一些实施例的方面涉及一种用于使计算机生成的全息图(CGH)成像的系统,该系统包括:
全息图生成单元,包括空间光调制器(SLM);
光学系统,被配置为使所述单元生成的全息图成像到第一位置并且使SLM的图像成像到第二位置;以及
控制器,被配置为控制SLM的所述图像到第二位置的成像,使得CGH被成像到光学系统和SLM的图像之间的位置。可选地,控制器控制光学系统和全息图生成单元中的至少一个。
可选地,所述控制器被配置为控制所述光学系统以在所期望的取向上在所述所期望的位置生成SLM的图像。
在一些实施例中,控制器被配置为在线改变所期望的位置和/或取向。
在一些实施例中,系统包括用于在线接收所述所期望的位置和/或取向的指示的输入。
可选地,该输入包括用于从眼睛跟踪单元接收指示观看者眼睛的位置的信号的接收器,并且控制器控制所述光学系统以将SLM的所述图像投射到所述所期望的位置,使得观看者眼睛处于包括所述所期望的位置的可视性空间内。
可选地,观看者的双眼同时处于可视性空间中。
在一些实施例中,光学系统包括:物镜、目镜和光程调整单元,光程调整单元可控制为响应于所述所期望的位置与目镜和物镜中的一个或多个之间的距离来调整物镜和目镜之间的光程。
可选地,光程调整单元被配置为在线调整所述光程。
在一些实施例中,系统包括镜,该镜将从物镜到达该镜的光反射到目镜的一部分,其中该镜可控制为将所述光反射到目镜的不同部分。
可选地,目镜包括中空体或透明固体和流体。
在一些实施例中,中空体被整形为可通过使抛物线围绕经过图像中心的轴旋转而获得的旋转固体。
可选地,中空圆柱体是球的一部分。
可选地,全息图生成单元在所述目镜内部。
在一些实施例中,系统包括目镜中心处的围绕所述目镜的中心轴旋转的旋转镜。
可选地,从物镜去往所述旋转镜的光被朝向目镜反射。
可选地,光经过一个或多个光学元件从物镜到达旋转镜。
可选地,一个或多个光学元件包括光程调整单元,其可控制为调整物镜和目镜之间的光程。
可选地,一个或多个光学元件包括光学光调整元件,其可控制为关于朝向目镜的每个具体方位的立视图(elevation)来调整光学光方向。
本发明的一些实施例的方面涉及一种用于使全息图成像的系统,该系统包括:
具有内壁的中空目镜,该内壁定义中心腔;
全息图生成单元,驻留在所述腔内部;以及
从由所述全息图生成单元生成的全息图去往所述内壁的光学路径上的物镜。
可选地,系统包括多个全息图生成单元,每个全息图生成单元与物镜关联。
可选地或者可替选地,系统包括多个单元基元(cell),每个基元可选地随视点转动。示例性的这些基元包括全息图生成单元基元和例如用于跟踪眼睛或手指或输入元件的跟踪基元。
可选地,系统被配置为使用所述目镜来创建由计算机生成单元中的不同计算机生成单元在单个位置产生的全息图的图像。
可选地,该单个位置在所述目镜内部,可选地在目镜的转动中心。
可选地,中空目镜具有内反射表面。
在一些实施例中,通过使驻留在第一平面上的弯曲围绕驻留在相同平面中的旋转轴旋转,可获得内表面的形状。
可选地,旋转轴垂直于舞台的中间。可替选地,该轴与舞台成角度或者随该转动摇晃。
可选地,内表面被整形为球壳的一部分。
在一些实施例中,多个全息图生成单元中的每一个包括空间光调制器(SLM),并且多个单元基元中的每一个包括光会聚物镜,其安置为焦点在SLM和由所述SLM产生的全息图之间。
可选地,多个单元基元中的每一个具有物镜、以及被配置为确定所述物镜和目镜之间的光程的光程确定元件。
可选地,每个光程确定元件可独立于其他光程确定元件进行控制。
可选地,系统包括所述目镜中心处的旋转镜,其被配置为从多个单元基元接收光并且将所述光反射到目镜上。
可选地,一个或多个光学元件包括光学光调整元件,其可控制为关于朝向目镜的每个具体方位的立视图来调整光学光方向。
根据本发明的一些实施例的方面,提供了一种浮于空中图像显示的方法,其包括:在一位置提供浮于空中显示设备,并且从该设备投射一个或多个浮于空中计算机生成的图像,其可在环绕该位置的包括至少200弧度的角度范围上观看。
根据本发明的一些实施例,投射包括在其中预期观看者的小角度上选择性地投射。根据本发明的一些实施例,投射包括使用多个图像生成模块选择性地投射。根据本发明的一些实施例,投射包括在不同方向上投射具有相同坐标系统的不同图像。根据本发明的一些实施例,投射包括投射2D图像。
根据本发明的一些实施例,投射包括投射物体的图像,使得物体的呈现角度随其视角改变以匹配围绕物体移动的效果。根据本发明的一些实施例,投射包括投射3D图像。
根据本发明的一些实施例,投射包括投射全息图。根据本发明的一些实施例,投射包括调整图像的投射距离。根据本发明的一些实施例,投射包括调整图像的焦距。
根据本发明的一些实施例,投射包括针对相同观看者的不同眼睛投射不同图像。根据本发明的一些实施例,投射包括从设备中的单个点投射。根据本发明的一些实施例,投射包括投射具有共享坐标系统的投射图像。根据本发明的一些实施例,投射包括使图像成像在未被显示底板占用的位置。
根据本发明的一些实施例的方面,提供了一种全息图显示设备,其投射可在至少180度的视角范围上同时观看的浮于空中计算机生成的全息图。
根据本发明的一些实施例,全息图从隔开至少20度的视点共享相同坐标集。根据本发明的一些实施例,包括全息图生成单元和用于投射全息图的至少一个透镜。根据本发明的一些实施例,包括至少一个距离控制单元。根据本发明的一些实施例,包括至少一个全息图瞄准机构。
根据本发明的一些实施例的方面,提供了一种向多个观看者显示内容的方法,该方法包括:形成多个体积图像,每个体积图像具有至少一部分该内容并且每个体积图像可从其自身的可视性空间观看;以及使一个或多个可视性空间的一部分与每个观看者的瞳孔重叠。
根据本发明的一些实施例,可视性空间可以覆盖超过90度。
根据本发明的一些实施例,内容是单个景象,并且每个体积图像具有可从不同视点观看的单个景象的面。
根据本发明的一些实施例,观看者处于围绕由一个体积图像占用的空间的不同方位角度。根据本发明的一些实施例,不同方位角度跨越整个圆。根据本发明的一些实施例,不同方位角度跨越至少半圆。
根据本发明的一些实施例,两个观看者彼此距离至少1米。
根据本发明的一些实施例,观看者同时看到图像。
根据本发明的一些实施例,可视性空间与观看者的眼睛仅重叠短周期序列,并且所述短周期被适时地隔开使得所述观看者看到连续场景。
根据本发明的一些实施例的方面,提供了一种向多个观看者显示内容的系统,该系统包括:用于生成体积图像的单元,每个体积图像具有至少一部分内容并且每个体积图像可从其自身的可视性空间观看;以及光学系统,用每个观看者的瞳孔来控制一个或多个可视性空间的一部分。
根据本发明的一些实施例的方面,提供了一种根据权利要求29的系统,其中光学系统包括方位确定元件,其确定至少一个可视性空间关于可从所述可视性空间观看的体积图像的方位。
根据本发明的一些实施例的方面,提供了一种系统,其包括:图像产生单元,产生近轴图像;和光学系统,定义舞台并且将近轴图像成像到舞台,使得可从可视性空间观看舞台上的图像,其中光学系统包括目镜和镜,该镜被配置为以多个不同方位角度将光引导至目镜,并且其中每个方位角度确定可视性空间的不同位置,并且对于每个方位角度,舞台的位置是相同的。
根据本发明的一些实施例,对于至少两个不同方位角度,提供两个不同立视图。
根据本发明的一些实施例的方面,提供了一种使近轴图像成像以由观看者看到的方法,观看者具有第一位置的瞳孔并且注视第二位置,该方法包括:生成近轴图像;使近轴图像成像到观看者注视的位置,使得近轴图像的图像可从具有最宽部分和较窄部分的可视性空间观看;响应于观看者瞳孔的位置,选择第三位置;以及使可视性空间的最宽部分成像到所选择的第三位置。
根据本发明的一些实施例的方面,提供了一种向面朝给定位置的观看者显示景象的方法,该方法包括:估计观看者眼睛的位置;估计如果景象在给定取向上处于给定位置则观看者将看到哪些景象部分;以及使仅部分景象的计算机生成的全息图成像到给定位置,该部分包括所估计的景象部分,其中成像是使得观看者可以看到全息图。
根据本发明的一些实施例,包括:跟踪观看者眼睛的位置;并且使计算机生成的全息图成像,使得当观看者移动时,他保持看到给定位置的全息图。
根据本发明的一些实施例的方面,提供了一种用于使计算机生成的全息图(CGH)成像的系统,该系统包括:全息图生成单元,包括空间光调制器(SLM);光学系统,被配置为使由单元生成的全息图成像到第一位置并且使SLM的图像成像到第二位置;以及控制器,配置为控制使SLM的图像成像到第二位置,使得CGH被成像到光学系统和SLM的图像之间的位置。
根据本发明的一些实施例,控制器被配置为控制光学系统以在所期望的取向上在所期望的位置生成SLM的图像。
根据本发明的一些实施例,控制器被配置为在线改变所期望的位置和/或取向。
根据本发明的一些实施例,包括用于在线接收所述所期望的位置和/或取向的指示的输入。
根据本发明的一些实施例,该输入包括用于从眼睛跟踪单元接收指示观看者眼睛的位置的信号的接收器,并且控制器控制光学系统将SLM的图像投射到所期望的位置,使得观看者眼睛处于包括所期望的位置的可视性空间内。
根据本发明的一些实施例,光学系统包括:物镜、目镜和光程调整单元,光程调整单元可控制为响应于所期望的位置与目镜和物镜中的一个或多个之间的距离来调整物镜和目镜之间的光程。
根据本发明的一些实施例,光程调整单元被配置为在线调整所述光程。
根据本发明的一些实施例,包括镜,该镜将从物镜到达该镜的光反射到目镜的一部分,其中该镜可控制为将光反射到目镜的不同部分。
根据本发明的一些实施例,目镜包括中空体。根据本发明的一些实施例,中空体被整形为可通过使抛物线围绕轴旋转而获得的旋转固体,该轴不在与抛物线相同的平面上。根据本发明的一些实施例,中空圆柱体是球的一部分。
根据本发明的一些实施例,全息图生成单元在所述目镜内部。
根据本发明的一些实施例,包括围绕目镜的中心轴旋转的旋转镜。
根据本发明的一些实施例,从物镜去往所述旋转镜的光被朝向目镜反射。
根据本发明的一些实施例,光经过一个或多个光学元件从物镜到达旋转镜。
根据本发明的一些实施例,一个或多个光学元件包括光程调整元件,其可控制为调整物镜和目镜之间的光程。
根据本发明的一些实施例的方面,提供了一种用于成像的系统,该系统包括:目镜,具有覆盖至少90度弧角的内反射壁;以及图像生成单元,驻留在腔内部,其中目镜被配置为将图像从图像生成单元投射到一个或多个观看者。
根据本发明的一些实施例,图像生成单元包括至少一个元件,其移动以便在角度范围上投射图像。
根据本发明的一些实施例,系统被配置为使得观看者由壁环绕。
根据本发明的一些实施例,目镜是中空的,定义腔,并且其中图像生成单元包括驻留在腔内部的全息图生成单元,并且包括从由全息图生成单元生成的全息图去往内壁的光学路径上的物镜。
根据本发明的一些实施例,包括多个全息图生成单元,每个全息图生成单元与物镜关联。
根据本发明的一些实施例,被配置为使用目镜创建由计算机生成单元中的不同计算机生成单元在单个位置产生的全息图的图像。
根据本发明的一些实施例,该单个位置在所述目镜内部。根据本发明的一些实施例,中空目镜具有内反射表面。
根据本发明的一些实施例,通过使驻留在第一平面上的弯曲围绕驻留在第二平面而非第一平面上的旋转轴旋转,可获得内表面的形状。
根据本发明的一些实施例,旋转轴垂直于第一平面。
根据本发明的一些实施例,内表面被整形为球壳的一部分。
根据本发明的一些实施例,多个全息图生成单元中的每一个包括空间光调制器(SLM),并且多个单元基元中的每一个包括光会聚物镜,其安置为焦点在SLM和由SLM产生的全息图之间。
根据本发明的一些实施例,多个单元基元中的每一个具有物镜以及被配置为确定所述物镜和目镜之间的光程的光程确定元件。
根据本发明的一些实施例,每个光程确定元件可独立于其他光程确定元件进行控制。
根据本发明的一些实施例,包括目镜中心处的旋转镜,其被配置为从多个单元基元接收光并且将光反射到目镜上。
根据本发明的一些实施例,控制器控制光学系统。根据本发明的一些实施例,控制器控制全息图生成单元。
根据本发明的一些实施例的方面,提供了一种用于实施浮于空中用户接口的方法,其包括:在第一浮于空中显示的显示空间中显示第一图像;将真实物体插入到第一浮于空中显示的显示空间中;在第一浮于空中显示的显示空间内定位真实物体的位置;在显示空间中定位真实物体;以及提供该位置作为针对浮于空中用户接口的输入。
根据本发明的一些实施例,进一步包括至少部分基于该位置而在第一浮于空中显示的显示空间中显示第二图像。
根据本发明的一些实施例,浮于空中显示是体积显示。
根据本发明的一些实施例,在将真实物体插入到显示空间中之后近实时地显示第二图像。根据本发明的一些实施例,时间少于1/24秒。
根据本发明的一些实施例,第一图像是空白图像,并且第二图像包括位置显示。
根据本发明的一些实施例,真实物体是手指。
根据本发明的一些实施例,进一步包括:在第一图像中显示致动器,移动真实物体的位置基本上接近致动器,并且将位置输入解释为真实物体使致动器致动。
根据本发明的一些实施例,进一步包括:移动真实物体的位置,随时间跟踪真实物体的位置,将位置输入解释为真实物体操纵第一图像的至少一部分。
根据本发明的一些实施例,进一步包括至少部分基于该解释向机器人设备发送控制命令。
根据本发明的一些实施例,真实物体进一步包括多个真实物体,并且使用每个真实物体的位置作为体积用户接口的位置输入。
根据本发明的一些实施例,第二图像不同于第一图像。
根据本发明的一些实施例,第二图像基本上等于第一图像加上位置输入的添加指示符。
根据本发明的一些实施例,该位置包括基本上作为真实物体上的点的位置。
根据本发明的一些实施例,进一步包括至少部分基于该位置捕获子图像。根据本发明的一些实施例,子图像包括体素(voxel)。
根据本发明的一些实施例,该位置进一步包括至少部分基于真实物体上的点的多个位置的多个位置。
根据本发明的一些实施例,由第一浮于空中显示来显示连接多个位置的路径。
根据本发明的一些实施例,多个位置包括两个位置,并且进一步包括至少部分基于这两个位置来定义三维中的线。
根据本发明的一些实施例,多个位置包括不在一条直线上的三个位置,并且进一步包括至少部分基于这三个位置来定义三维中的平面。
根据本发明的一些实施例,多个位置包括不在一个平面中的四个位置,并且进一步包括至少部分基于这四个位置来定义三维中的体积。
根据本发明的一些实施例,进一步包括至少部分基于多个位置来实施如下功能组中的一个功能:对第一图像放大,缩小第一图像,裁剪第一图像,转动第一图像,切分第一图像,测量第一图像内的长度,测量第一图像内的面积,以及测量第一图像内的体积。
根据本发明的一些实施例,进一步包括至少部分基于多个位置来实施子图像捕获。
根据本发明的一些实施例,进一步包括标记该点以便基本上与真实物体的剩余部分对比。
根据本发明的一些实施例,进一步包括通过基本上紧凑的光源进行标记的标记。
根据本发明的一些实施例,位置包括由真实物体的长轴定义的线。
根据本发明的一些实施例,位置包括对应于真实物体的形状的框。
根据本发明的一些实施例,进一步包括第一浮于空中显示在与第一浮于空中显示显示第一图像基本上相同的时间显示第二图像,并且其中第一图像被显示给第一用户而第二图像被显示给第二用户。
根据本发明的一些实施例,第一图像和第二图像看似位于空间中的相同位置。
根据本发明的一些实施例,进一步包括第二浮于空中显示在与第一浮于空中显示显示第一图像基本上相同的时间显示第二图像,并且其中第一图像被显示给第一用户而第二图像被显示给第二用户。
根据本发明的一些实施例,第一浮于空中显示基本上远离第二浮于空中显示,并且进一步包括第一浮于空中显示和第二浮于空中显示之间的通信信道。
根据本发明的一些实施例,第一显示和第二显示用于实施第一用户和第二用户之间的远程医疗交互。
根据本发明的一些实施例,第一显示和第二显示用于实施第一显示和第二显示之间的类似白板的合作共享。
根据本发明的一些实施例,第一显示和第二显示用于实施用户在第一浮于空中显示处的远程教学。
根据本发明的一些实施例,第一显示和第二显示用于实施第一用户和第二用户参与其中的游戏。
根据本发明的一些实施例,第一显示不同于第二显示。根据本发明的一些实施例,第一显示比第二显示显示更多的内容。
根据本发明的一些实施例的方面,提供了一种用于实现在相同的显示空间中观看动态生成的浮于空中显示的物体和真实物体的方法,其包括:在第一浮于空中显示上显示体积显示的物体,并且将真实物体插入到第一浮于空中显示的显示空间中。
根据本发明的一些实施例,浮于空中显示是体积显示。
根据本发明的一些实施例,动态生成的包括计算机生成的。
根据本发明的一些实施例,进一步包括将真实物体与浮于空中显示的物体的至少一部分进行比较。
根据本发明的一些实施例,真实物体包括对照其测量物体的标准,并且所述比较实现对符合标准的判断。
根据本发明的一些实施例,真实物体是用于插入到身体中的医疗设备,并且浮于空中显示的物体的至少一部分是从三维数据集生成的身体的至少一部分。
根据本发明的一些实施例,所述比较进一步包括测量真实物体和浮于空中显示的物体的至少一部分之间的尺寸差异。
根据本发明的一些实施例,所述测量尺寸差异包括由以下组成的组中的至少一个:长度差异、平面面积差异、表面积差异和体积差异。
根据本发明的一些实施例的方面,提供了一种用于实现观看来自身体的三维数据集的浮于空中显示的身体部位和来自一个或多个虚拟物体的三维数据集的体积显示的虚拟物体的方法,其包括:将浮于空中显示的身体部位显示在第一浮于空中显示上,以及使虚拟物体叠加到第一浮于空中显示的显示空间中。
根据本发明的一些实施例,虚拟物体和浮于空中显示的身体部位在第一浮于空中显示的显示空间中彼此相对移动。
根据本发明的一些实施例,进一步包括将虚拟物体与身体部位的至少一部分比较。
根据本发明的一些实施例的方面,提供了一种用户接口,其包括:第一浮于空中显示;和适于接受来自第一显示空间内的第一位置的输入的第一输入单元,第一显示空间是由第一浮于空中显示在其内显示物体的体积。
根据本发明的一些实施例,浮于空中显示是体积显示。根据本发明的一些实施例,浮于空中显示是二维浮于空中显示。
根据本发明的一些实施例,第一浮于空中显示适于显示第一位置。
根据本发明的一些实施例,进一步包括第二浮于空中显示,其中第二浮于空中显示显示与第一浮于空中显示同样的显示,包括显示第一位置。
根据本发明的一些实施例,进一步包括适于接受来自第二显示空间内的第二位置的输入的第二输入单元,第二显示空间是由第二浮于空中显示所显示的物体出现在其内的体积,并且其中第一浮于空中显示适于显示与第二浮于空中显示同样的显示,包括显示第二位置。
根据本发明的一些实施例,来自第一位置的输入和来自第二位置的输入均被显示。
根据本发明的一些实施例,第一浮于空中显示位于与第二浮于空中显示不同的房间中。根据本发明的一些实施例,第一浮于空中显示远离第二浮于空中显示至少100米。
根据本发明的一些实施例,第一浮于空中体积显示适于至少部分基于位置和基于在该位置显示的内容来提供感官反馈。
根据本发明的一些实施例,第一浮于空中体积显示适于显示全息图。
根据本发明的一些实施例的方面,提供了一种用于实施浮于空中用户接口的方法,其包括:在第一浮于空中显示的显示空间中显示第一图像,将真实物体插入到显示空间中,检测真实物体在显示空间内的位置,使用该位置作为针对用户接口的输入,以及在显示空间中加亮该位置。
根据本发明的一些实施例的方面,提供了一种用户接口,其包括:用于显示浮于空中显示的装置,用于接受来自显示空间内的位置的输入的装置,该显示空间是由浮于空中显示所显示的物体出现在其内的体积。
除非另外定义,这里使用的所有技术和/或科学术语具有与本发明所属领域的普通技术人员一般理解的相同的含义。尽管在本发明的实施例的实践或测试中可以使用与这里描述的相似或等同的方法和材料,但是下文描述了示例性方法和/或材料。在冲突的情况中,包括定义的专利说明书将进行控制。此外,材料、方法和示例仅是说明性的而不旨在进行必要的限制。
尽管在本发明的实施例的实践或测试中可以使用与这里描述的相似或等同的方法和材料,但是下文描述了示例性方法和/或材料。此外,材料、方法和示例仅是说明性的而不旨在进行必要的限制。
本发明的实施例的方法和/或系统的实施方案可能牵涉手动地、自动地或者其组合执行或完成所选择的任务。而且,根据本发明的方法和/或系统的实施例的实际仪器和设备,可以由硬件、由软件、由固件或者由其组合使用操作系统来实施若干个所选择的任务。
例如,用于执行根据本发明的实施例的所选择的任务的硬件可以被实施为芯片或电路。作为软件,根据本发明的实施例的所选择的任务可以被实施为由使用任何适当的操作系统的计算机执行的多个软件指令。在本发明的示例性实施例中,根据如这里描述的方法和/或系统的示例性实施例的一个或多个任务由数据处理器执行,诸如用于执行多个指令的计算平台。可选地,数据处理器包括用于存储指令和/或数据的易失性存储器和/或用于存储指令和/或数据的例如磁硬盘和/或可移动媒体的非易失性储存器。可选地,还提供了网络连接。还可选地提供了显示器和/或用户输入设备诸如键盘或鼠标。
附图说明
这里参照附图,仅作为示例描述了本发明的一些实施例。现在详细地具体参照附图,强调所示出的细节是作为示例并且为了说明性地讨论本发明的实施例。在这一点上,通过附图进行的描述使得如何实践本发明的实施例对本领域的技术人员是显而易见的。
在附图中:
图1A是用于生成全息图的单元的示意图;
图1B是全息图中的一些点的可视性空间的示意图;
图2A是根据本发明的实施例的用于使全息图成像的系统的示意图;
图2B是由图2A的系统产生的图像全息图中的一些点的可视性空间的示意图;
图3A是解释根据本发明的实施例的通过投射系统的图像全息图产生的光线跟踪图;
图3B是解释通过图3A中参照的相同投射系统的图像SLM产生的光线跟踪图;
图4是根据本发明的实施例的被设计用于允许将SLM和全息图的投射调节到所期望的位置的光学系统的示意图;
图5是根据本发明的实施例的用于投射全息图使得全息图具有宽可视性空间的系统的示意图;
图6A是根据本发明的实施例的360º步行围绕(walk-around)图像投射系统的图示;
图6B是图6A中图示的系统的示意图;
图6C是根据本发明的实施例的具有倾斜镜的360º步行围绕图像投射系统的图示;
图7是根据本发明的实施例的带有具有公共目镜320和公共旋转镜的两个光学系统的投射系统的图示;
图8是可作为低通滤波器操作的镜的示意图;
图9是根据本发明的实施例的跟踪单元的示意图;
图10是根据本发明的实施例的系统的简化框图;
图11是在执行根据本发明的实施例的方法时采取的动作的流程图;
图12是在根据本发明的实施例的产生将由从给定角度注视全息图的观看者观看的全息图的方法中采取的动作的流程图;
图13A是用户看似使手指触摸正由根据本发明的实施例构建和操作的用户接口显示的物体的简化图;
图13B是用户看似使指针触摸正由根据本发明的实施例构建和操作的用户接口显示的物体的简化图;
图13C是用户将框插入到根据本发明的实施例构建和操作的用户接口的显示空间中的简化图;
图14是两个用户与正由根据本发明的实施例构建和操作的用户接口显示的相同物体交互的简化图;
图15是两个用户与正由根据本发明的实施例构建和操作的用户接口显示的相同物体交互的简化图;以及
图16是用户将真实物体与根据本发明的实施例构建和操作的用户接口显示的物体进行比较的简化图。
具体实施方式
概述
本发明在其一些实施例中涉及用于显示图像的方法和设备,且更特别地但非排他地涉及允许从宽视角观看三维图像的这种方法和设备。本发明的一些实施例还允许从宽视角观看二维图像。
本发明在其一些实施例中涉及一种计算机生成的用户接口,且更特别地但非排他地涉及一种浮于空中用户接口。
在一些实施例中,观看者可以步行围绕舞台,并且察看投射在舞台上的景象的不同面,每个面可从另一视角观看,正如当注视真实的原始景象时那样。例如,步行围绕地球仪的全息图的观看者当从一个点察看全息图时可以看到欧洲,当从另一点察看全息图时可以看到美洲,等等。在一些实施例中,不同观看者看到可能与相同的坐标对准的不同数据。
此外或者可替选地,观看者可以来回走动,更靠近舞台或者更远离舞台,类似于在注视真实物体并且改变与其的距离时需要的焦点调整,针对离开图像的距离来调整眼睛。在本发明的示例性实施例中,显示设备可以例如在1.2、2、3、4的范围因子或者中间或更大的因子上根据观看者的距离来调整投射的距离,例如按照需要使投射点移动距离5 cm、10 cm、20 cm、30 cm或者更多中间量。
可选地,观看者可以自由地步行并且从他所在的任何位置看到全息图,只要他正在注视系统视区内的舞台。
可选地,舞台是物理构建。可替选地,舞台是空间中的成像体积,全息图投射到该体积上并且观看者正面朝该体积。成像舞台上的全息图看起来像其正浮于空中。
在一些实施例中,观看者可以触摸全息图。这样的观看者将不一定感受到他的手指正在触摸任何东西,但是将看到他的手指触摸全息图。可选地,如人造现实领域中已知的,例如通过用户佩戴振动环或手套或者通过将光束从系统或不同的位置投射到手指处使得手指被加热并且感受到加热,在观看者中唤起人造触摸感受。可选地或者可替选地,例如超声的声束被投射和/或调制以引起知觉。
可选地,仅处于全息图的可视性空间中的观看者可以实际上观看全息图。未处于全息图的可视性空间内但是正察看舞台的人将看到观看者的手指而非观看者正在触摸的全息图。可选地,可从多个观看者中的每一个的视角观看的相同景象的全息图被显示给每个观看者,并且当一个观看者触摸全息图时,所有其他观看者看到触摸全息图的第一观看者的手指。可选地,所有观看者看到相同全息图(或者其他图像类型)。可替选地,不同观看者看到不同图像,例如其上具有不同数据的相同结构。
可选地,看到手指触摸全息图的所有观看者看到手指在相同位置触摸全息图(例如,全息图具有玩偶,并且所有观看者看到手指触摸玩偶的左眼睑)。
在一些实施例中,观看者可以围绕全息图走动并且从所有侧面看到全息图,仿佛观看者步行围绕物理物体。在一些这样的实施例中,只要观看者的眼睛处于被称为第一视窗的特定空间内,则第一全息图被成像到舞台,示出了如从第一视窗中的点将看到的景象。由于第一全息图的图像的全息本质,使其眼睛在视窗内移动的观看者可以从视窗内的不同点检测景象的不同特征。可选地,当观看者的眼睛在第一视窗外时,定义覆盖观看者的眼睛的第二视窗,并且将景象的第二全息图投射到舞台,示出了如从第二视窗中的点将看到的景象。在一些实施例中,如从每个可能的视窗看到的景象的全息图被连续地投射;然而,这些实施例需要更艰苦的计算努力并且不一定改进观看者的察看体验。在一些计算更高效的实施例中,估计观看者的眼睛(或双眼)的位置,围绕其定义视窗,并且仅把景象的可从估计的视窗内将观看的部分的全息图投射到舞台。
在一些实施例中,观看者可以操纵图像。例如,观看者可以移动、转动、缩放或者以其他方式操纵图像。在一些实施例中,作为围绕舞台移动的替代或者除了围绕舞台移动之外,观看者可以移动舞台。此外或者可替选地,观看者可以改变舞台上示出的景象的部分。例如,注视地球仪的全息图的观看者可以使地球仪围绕经过两个极点的轴或者围绕任何其他轴转动。此外或者可替选地,观看者可以转变全息图和/或舞台,放大图像,缩小等等。在一些实施例中,由于所察看的较小部分的较大全息图是以在观看者放大之前使较大部分成像所用的相同分辨率成像的,因此放大未伴随分辨率损失。
在本发明的一些实施例中,可从不同视窗观看的景象的全息图被同时投射,使得从不同视窗注视舞台的不同观看者可以均从他自身的视点同时察看景象的全息图。可选地,每个观看者可以独立于其他观看者步行围绕舞台。可选地,例如基于每个观看者的面部的图像,基于标记(例如,面部上的红外可读标记)和/或基于诸如RFID的其他识别技术,识别每个观看者。可选地,向每个用户示出针对观看者个性化的数据和/或观看参数,例如可以针对用户的视力锐度和适应能力以及每个用户偏好的数据内容(例如,物体的外视图或者物体的内视图)来设定距离或尺寸。
在一些实施例中,不同全息图(均可从不同视窗观看)以足够高的频率被顺序地投射到单个舞台,以允许观看者(每个观看者经过一个视窗注视)看到每个不同的连续图像全息图。这样,不同观看者可以同时且连续地看到不同全息图,或者在一些实施例中,不同观看者可以同时且连续地看到不同全息影片,或者在一些实施例中,不同观看者可以同时且连续地看到单个显示上的不同2D内容,例如视频或TV,或者可选地具有共享坐标系统的不同(非全息的,焦距受控的或者全息的)3D内容。
本发明的一些实施例的方面涉及一种显示例如全息图或近轴视差屏障图像的近轴图像的方法。
近轴图像或物体是其中每个点发射跨越具有典型为约3º的小立体角的圆锥的光线并且这些圆锥的高度彼此近似平行(例如,或者以其他方式与从观看者眼睛的垂直线的转动匹配)的近轴图像或物体。通常,仅具有与所有这些圆锥重叠的眼睛瞳孔的观看者可以看到整个近轴物体或图像。如果瞳孔仅与一些圆锥重叠,则仅观看近轴图像或物体上的一些点,即重叠的圆锥所源自的那些点。因此,近轴图像或物体可从相对窄的空间观看,该空间在这里被称为可视性空间。
在下面的描述中,有时参照半近轴图像。该术语指的是其中每个点发射跨越具有小立体角的圆锥的光线但是这些圆锥的轴彼此不平行的图像。在本发明的一些实施例中,圆锥会聚在可视性空间处,因此在可视性空间处可以看到整个图像。
在本发明的一些实施例中,全息图是由景象产生的光场的重现。在这些实施例中,景象的全息图对于人类观众看起来与景象自身同样。可选地,重现的光场与由景象产生的光场同样。可选地,原始光场和由全息图重现的光场之间的类同之处在于场的相位和强度,形成单色全息图。可替选地,发出的光的波长也被重现,形成彩色全息图。
在一些实施例中,全息图是景象的傅立叶变换的重现。当经过透镜观看这样的全息图时,景象出现在透镜的傅立叶平面中。
在一些实施例中,全息图由光束组成,该光束与空间光调制器(SLM)交互。空间光调制器是在不同点具有不同光学行为的媒体。术语SLM在这里用于表示:静态媒体,在不同点具有不同光学行为,诸如开槽胶片(slotted film);以及动态媒体,具有光学行为可控的不同点。后者类别的SLM惯常用于全息图的计算机化生成的领域中。设计或控制空间光调制器(SLM),使得与SLM交互(例如,从SLM反射或者经过SLM)的光束创建景象的全息重建。在全息术的领域中已知许多产生景象的SLM的方式,并且这些方式中的每一种可以用于创建将根据本发明的各种实施例投射或成像的全息图。注意,当示出非全息图像时,可以使用不修改相位的SLM(例如,DMD或LCD)。可选地或者可替选地,可以使用非相干光源。
在下文中,主要参照计算机控制的SLM;然而,在一些实施例中还可以利用其他SLM,例如被开槽以便形成静态全息图的板或胶片。
计算机控制的SLM由多个像素(例如,500×500像素)制成并且SLM的每个像素的光学行为可以独立于其他像素由计算机控制。这些SLM当前在商业上可从多种来源获得,例如可从伦敦的Fourth Dimension Displays获得。一些商业上可获得的SLM是基于透射型,就是说,应当使光透射经过它们以创建物体全息图,并且一些SLM是反射型的,就是说,应当使光从它们反射以形成物体全息图。在本领域中将一类反射型SLM称为LCoS。
一些实施例限于应对静止景象。在一些实施例中,如在视频运动图片中,景象随时间改变。在这些实施例中,全息图可选地以适于提供连续运动的景象的速率改变。如根据电影领域所公知的,该速率约为每秒16或24个场景或更高。
在本发明的一些实施例中,全息图是近轴的。就是说,全息图中的每个点发射跨越具有典型为约3º的小立体角的圆锥的光线,并且这些圆锥的高度彼此近似平行并且平行于创建全息图的系统的光轴。仅由直接面对近轴全息图的注视光轴方向的观看者可以看到它们。因此,如图1B中图示的,近轴全息图以及通常的近轴图像可从相对窄的可视性空间观看。
如上文所述,本发明的一些实施例的方面涉及显示全息图。在本发明的一些实施例中,显示全息图包括生成全息图(在下文中被称为物体全息图)并且光学创建所创建的全息图的图像(在下文中被称为图像全息图)。本发明的至少一些实施例涉及显示近轴物体,包括但不一定限于全息图。为了方便起见,下面主要指的是全息图,但除非另外明确说明,其他近轴图像可以被相似地处理。在本发明的实施例中根据近轴图像或物体形成的且由观看者观看的图像,诸如图像全息图,可选地是半近轴的。
本发明的一些实施例的方面涉及显示将从围绕显示的广角示出的图像。在一些实施例中,该角大于180º,例如270º,或者甚至360º,或者中间角度。可选地,从宽视角观看的图像是全息图。被显示给围绕显示定位的观看者的图像的示例包括:全息图、自动立体图像、立体图像、焦点受控3D或其他图像(例如,使用光学元件来设定到图像的感知焦距)和2D图像。
在一些实施例中,显示物体全息图包括创建不同于物体全息图的图像全息图。例如,图像全息图可以大于物体全息图和/或可以从比物体全息图更宽的视角看到。
在示例性实施例中,创建可从宽视角看到的图像全息图牵涉用单个光学系统使全息图和SLM成像,使得图像SLM比物体SLM更宽。用单个光学系统投射全息图和SLM确保了图像全息图可从图像SLM中的任何点观看。
图像SLM不一定覆盖可从其观看整个图像全息图的整个空间,该空间在这里被称为可视性空间。
可能注意到:近轴全息图是具体类别的近轴物体,并且其他近轴物体也可以被相似地显示。据此,在一些示例性实施例中,在包括用单个光学系统使近轴图像和可从其观看近轴物体的空间的至少一部分成像的过程中创建近轴物体的图像。可选地,可视性空间的图像比可视性空间本身更宽。用单个光学系统使近轴图像及其可视性空间成像确保了可从可视性空间的图像中的任何点观看图像全息图。
在一些实施例中,为了确保近轴图像可由特定观看者观看,观看者的瞳孔将与图像可视性空间的一部分重叠就足以。
在一些实施例中,观看者看到并触摸景象的非全息三维图像,例如3D视差屏障图像。然而,至少在一些非全息实施例中,每个观看者必须在聚焦在手指上和聚焦在触摸点之间进行选择,因为手指和触摸点不一定在相同焦点处。
在一些实施例中,跟踪观看者的眼睛,并且仅将表示可从观看者的视点观看的原始景象的全息图投射到舞台,同时SLM的图像被恒定地投射到观看者的眼睛。
在一些实施例中,跟踪观看者的眼睛以便于将SLM投射到观看者的眼睛上。至少在其中图像SLM和观看者的眼睛之间的局部重叠足以允许观看者看到完整全息图的实施例中,投射SLM的较大图像允许不太准确地跟踪观看者的眼睛。因此,投射大SLM图像可以帮助放松来自跟踪系统的需求。应当注意,尽管系统整体上可选地确保观看者的眼睛与图像SLM重叠,但是不一定跟踪眼睛本身。可选地,跟踪观看者的面部中心,并且从面部中心的位置推导眼睛的位置。可选地,观看者佩戴耳机,并且耳机传送指示耳机位置的信号(或者包括标记),并且响应于耳机位置来确定眼睛位置。可选地,在围绕显示的空间的图像中识别观看者的面部,并且响应于面部识别来确定眼睛位置。因此,如这里使用的术语眼睛跟踪意指跟踪指示眼睛位置的任何信号,不一定跟踪眼睛本身。应当注意,在一些实施例中,跟踪指示眼睛位置的信号比跟踪眼睛本身容易得多并且可以极大地简化跟踪系统。
在一些实施例中,图像观看空间大得足以覆盖观看者的双眼。在一些实施例中,定义了两个视窗,每个视窗围绕每个眼睛,并且使不同SLM成像到每个眼睛。可选地,两个不同SLM是单个SLM的两个部分。可选地,与观看者的眼睛重叠的两个SLM创建同样的图像全息图,可选地创建将可从双眼之间观看的图像全息图。彩色全息图可以由相同SLM通过按红色、绿色和蓝色光顺序照明来投射。可选地,红色、绿色和蓝色光可以平行投射到三个不同SLM,所有SLM与相同视窗机械同步。
可选地,视窗重叠或邻接,使得从一个视窗切换到另一视窗与从单个视窗内的一个点去往另一个点一样平滑。
在一些实施例中,按快得足以允许每个观看者铭记他观看连续图像的速率顺序地产生不同全息图。例如,3个观看者中的每一个每秒看到30个图像,每个图像的周期是1/180秒或更短。当针对双眼和3个观看者产生时,3×2个眼睛=6。
在一些实施例中,每个观看者看到由不同光学系统产生的全息图。在一些实施例中,两个或更多个观看者察看由相同光学系统产生的全息图。可选地,光学系统和SLM针对不同观看者的需要被重复调节。SLM被调节以创建由观看者当前察看的景象的全息图;并且光学系统被调节以将SLM的图像投射到不同观看者在他们当前位置的眼睛。
在特定应用机会的一些实施例中,全息图是用于由观看者观看的图像,使得观看者可以例如用他的手指或人机接口(MMI)工具来触摸全息图的一部分。可选地,全息图包括通过触摸而致动的部分。
在一些实施例中,多个观看者均可以触摸每个观看者正观看的全息图。例如,两个观看者从不同视窗察看相同房子的全息图,并且他们之一的手指触摸主门的把手。在一些实施例中,如果第二观看者正同时触摸相同位置(比如说,把手上的相同部位),则两个观看者中的每一个均看到两个手指触摸全息图。可选地,触摸全息图的两个手指也彼此触摸。可选地,一个用户的图像操纵被传输到另一用户的观看,因此如果需要,例如共享缩放和取向。
在一些实施例中,一个观看者可以触摸全息图,而另一观看者可以步行围绕全息图(或者围绕全息图移动)。这样,步行的观看者可以从不同角度看到全息图以及触摸的手指。例如,导师可以触摸心脏模型的全息图中的动脉瓣,而学生可以步行围绕它并且从不同角度看到所触摸的瓣。
本发明的一些实施例的方面涉及一种投射系统的设计,其中内元件生成图像或全息图,该图像或全息图然后被投射在成像镜的内部上,该成像镜为用户放大和/或瞄准图像或全息图。可选地,成像镜通常是圆柱的并且被可选地弯曲以提供放大。在一些实施例中,观看者位于成像镜外部。在其他实施例中,观看者位于成像镜内部,该成像镜可以例如被安装在房间墙壁上。
本发明的一些实施例的方面涉及一种投射系统的设计,其中一个或多个模块生成图像并且被转动以帮助使图像瞄准观看者的眼睛。可选地,一个或多个模块转动或瞄准转动镜。可选地,镜以基本上固定的速度转动或者以固定的速率振荡。
本发明的一些实施例的方面涉及一种投射系统的设计,其具有模块化设计,使得多个模块中的每一个可以具有针对相同观看者眼睛的视线。可选地,该共享的视线由转动镜提供。可选地或者可替选地,通过转动这些模块并且注意它们的位置使得它们可以表现得仿佛它们共享相同坐标系统,来提供共享的视线。可选地,模块包括多个图像或全息图生成模块。可选地或者可替选地,模块包括至少一个观看者跟踪/或用户交互模块。在本发明的示例性实施例中,通过替换、添加或移除模块来增强或减少系统能力。
在详细解释本发明的至少一个实施例之前,要理解的是,本发明不一定限于其针对下面的描述中阐述的和/或附图和/或示例中图示的方法和/或部件的构建和布置的细节的应用。本发明能够具有其他实施例或者以各种方式实践或执行。
现在参照如图1A中图示的全息图生成单元的构建和操作以及如图1B中图示的近轴物体的可视性空间。
示例性计算机化全息图生成单元
在本发明的示例性实施例中,全息图生成单元10'包括光源15和空间光调制器(SLM)20。
SLM 20连接到计算机化控制单元22,其独立于其他像素控制SLM的每个像素的光学行为,使得从SLM反射的光将重现从景象(24,在图示的情况中是房子)发出的光场阵面(front)。就此而言,检测从景象24接收的光并且将表示它的数据输入到计算机化单元22中,计算机化单元22处理输入数据以获得不同像素的所需的光学行为,并且据此控制SLM。
在本发明的示例性实施例中,来自源15的光用偏振分束器25进行偏转,经过四分之一波片(40),去往SLM 20,并且从SLM反射以创建全息图35。在去往偏振分束器25的路上,波束再一次经过四分之一波片40并且继续无偏转地经过偏振分束器。
可选地,单元10'还包括光学元件70,其改变光源15的波阵面,使得在与SLM 20交互后全息图35较大。可选地,使用无透镜放大。在无透镜放大中,球形波阵面束照射SLM,其被配置用于从平面波阵面束照射中产生图像。用球形波阵面束产生的图像相对于用平面波阵面束产生的图像进行缩放。可选地,用球形波阵面束产生的图像大于用平面波阵面束产生的图像。可选地,该系统包括若干个透镜,并且使用中的一个透镜被选择为产生所期望的尺寸和位置的物体全息图。可选地,透镜的选择是光学系统的调节的一部分。可选地,透镜的选择是光学系统的设计的一部分,并且该选择是永久性的。
例如,在由McGraw-Hill出版的J.W. Goodmann的书“Introduction to Fourier optics”中详细描述了无透镜放大的技术。
单元10'仅是适于使用相干光源和空间光调制器来创建全息图的一个可能的布置。许多其他的布置在本领域中是已知的并且可以根据本发明的各种实施例进行使用。此外,至少在一些实施例中,单元10'可以由用于生成非全息近轴图像或其他图像类型的单元替换。为了更容易理解起见,在下面的描述中,用于生成近轴物体的单元将通常被称为单元10以说明上文描述的单元10'仅是这种单元的一个可能的构建。然而,在本发明的示例性实施例中,所有单元10具有光源和近轴(或者其他类型的)图像形成单元,诸如SLM或者液晶(LC)面板。在其中使用非全息图图像的实施例中,显示面板可以例如是发光的。
在一个示例性变型中,如果例如SLM是偏振敏感的,则例如可以改变该设计,使得来自源15的偏振光被分束器25偏转以射到SLM 20,并且从SLM反射以创建全息图35。可选地省略四分之一波片40。
在进一步可替选的设计中,光以略微离轴的角度瞄准SLM,因此其以不同轴反射远离SLM并且不使用分束器。
在一些实施例中,使用透射型SLM,并且光也不被分束器反射。
近轴图像的可视性空间
图1B图示了在观看诸如例如物体全息图35的近轴图像时的一些原理。
物体全息图35是近轴图像,近轴物体中的每个点(例如,36、37)在单个方向(h36、h37)上并且在围绕其的某个窄角度(α)中发射光,创建了圆锥(C36、C37)。从圆锥C36内的每个点看到点36,并且从圆锥C37内的每个点看到点37。因此,圆锥C36和C37在这里被分别称为点36和37的可视性空间。
可以从形成圆锥36和圆锥37两者的一部分的每个点同时看到两个点36和37,该部分形成了可从其观看这两个点的可视性空间60。相似地,可从其观看整个全息图的空间可以被确定,并且被表示为全息图35的可视性空间。
因此,与空间60的一部分重叠的眼睛52可以看到两个点36和37,眼睛54可以看到点37但是看不到点36,而眼睛56不能看到任何点36和37。
示例性光学系统
图2A图示了根据本发明的实施例的用于投射物体全息图35的基本系统200。
系统200包括近轴物体生成单元10和光学系统210,单元10可选地是全息图生成单元。全息图生成单元10生成全息图35(物体全息图),并且光学系统210使物体全息图35成像以被看作立于舞台237上的图像全息图235(图像全息图),舞台237可选地是空的空间。光学系统210还投射SLM 20(图中示出的物体SLM)以提供图像SLM 220。图像SLM 220可选地大于SLM 20,并且从沿图像220的任何点注视图像全息图235的观看者可以看到图像全息图235。
图2B图示了在观看由光学系统210从近轴物体产生的半近轴图像时的一些原理。
与图1B的近轴物体35相似,可从类似圆锥的空间(C236、C237)观看半近轴图像235的每个点(例如,236、237),并且可从圆锥238和239重叠的空间260观看这两个点。然而,不同于近轴物体35,一起组成图像235的不同点的可视性空间彼此不平行。光学系统210的作用是打破不同点的可视性空间之间的平行性,因此提供更大的且可选地更接近的可视性空间260。因此,在一些实施例中,类似于望远镜,系统210使图像全息图235更接近观看者,但是还将全息图的可视性空间从图1B中图示的相对窄空间60加宽到图2B中图示的较大可视性空间260。
可视性空间260包围图像SLM 220(图2A);因此,在本发明的一些实施例中,光学系统210被调节以形成待与观看者的眼睛重叠的图像SLM 220。这样,可以确信图像235对于观看者是可观看的。可选地或者此外,可视性空间260的其他部分被成像为与观看者的眼睛重叠。
图3A和3B图示了光学系统(300)的可选构建,其允许投射SLM(20)的放大图像和全息图(35)的放大图像,由此放大全息图和/或加宽可从其观看全息图的空间。
图3A示出了产生图像全息图的光线的光线跟踪;并且图3B示出了产生图像SLM的光线的光线跟踪。
应当注意,在本发明的一些实施例中,来自系统210的仅有要求是:(i)将物体全息图35成像到舞台237,(ii)将SLM 20成像到舞台237外的平面(或体积),以及(iii)允许所述平面的准确位置是可调节的。各种各样的光学架构可以完成该任务,并且本领域的普通技术人员在面对以上要求时可以容易地想到图3A或3B中图示的构建的许多替选方案。
在图3A和3B两者中示出了:全息图生成单元10,包括SLM 20;和光学系统210,包括物镜310和目镜320。
在所示出的实施例中,物镜310具有两个焦点:311和312;并且目镜320具有两个焦点:321和322。
在所示出的实施例中,物镜310和全息图生成单元10被安置为使得由单元10在物镜310和其焦点311之间产生物体全息图。光学单元310和320被安置为彼此间的距离大于它们的焦距的和,使得元件320的焦点321位于元件320和元件310的焦点312之间。
可选地,物镜310包括透镜和/或曲面镜。可选地,目镜320包括透镜和/或曲面镜。
每个物镜310和320可以独立地是光会聚元件(例如,凹面镜)或者光发散元件(例如,凸面镜)。
如图3A中所示,在观看者的眼睛250前面在舞台237上形成图像全息图235。
如图3B中所示,SLM 20的图像形成在观看者的眼睛250处。
因此,图3A和3B一起示出了光学系统210使全息图35成像到舞台237并且使SLM 20成像为与观看者的眼睛250局部重叠。
在本发明的示例性实施例中,光学系统210是可调节的,以例如通过改变两个光学元件310和320之间的距离来改变形成图像SLM的位置。这样的调节还可能改变图像全息图235出现的位置。如果需要,这可以由计算单元22(图1A)进行补偿,其可以在不移动SLM 20的情况下驱动SLM 20以在不同位置形成物体全息图35。
在所示出的实施例中,目镜是中空镜,然而目镜也可以是透射元件(例如,透镜),其可选地还改变光的角度(例如,棱镜),使得全息图不叠加在图像生成系统上。
物镜 310 的可选形状
物镜310可选地是具有旋转抛物面的形式的镜,其中旋转轴是抛物线的对称轴。另一可选形状是旋转抛物面,其中旋转轴垂直于抛物线的对称轴。可选地,物镜310的形状具有球形帽。可选地,物镜310的形状具有任何以上建议的形状的分段。球形帽可选地是优选的,因为其较容易制造,并且由于全息图35是近轴的,因此球差不会在系统中起显著作用。
可选地,目镜320具有物镜可以具有的任何以上形状。下文在标题“示例性目镜”下描述了具有特别有用的形状的目镜。
在一些实施例中,物镜310是圆柱镜或者其弓形部分。如提到的,这种镜可以是抛物面而非平坦的。
光学系统的示例性维度
在示例性实施例中,图3A和3B中图示的设置(setup)用于使用具有-50cm的焦距的透镜310和在透镜310的第一侧(在图中为右侧)离透镜310 100cm安放的目镜320来提供放大的图像SLM。SLM在透镜310的第二侧离透镜310约数毫米。
SLM接收输入以便生成物体全息图的傅立叶变换,并且因此在透镜310的焦平面处(到透镜310左侧50 cm)找到物体全息图。物体全息图的尺寸与用于形成全息图的SLM部分的尺寸相似。
目镜形成两个图像:
物体全息图的图像在到目镜320右侧150 cm处形成并且具有物体全息图的相同尺寸;并且SLM的图像在到目镜320右侧200 cm处形成并且是SLM的三倍。
当观看者的眼睛与图像SLM重叠时,观看者离图像全息图50 cm。
该示例示出了创建具有比物体全息图的可视性空间更大的可视性空间的图像全息图的一个设置。图像全息图可至少从图像SLM处的任何位置观看,图像SLM是SLM的三倍并且离物体全息图50 cm。
在一些实施例中,生成比图像全息图更大的图像SLM导致了如下可视性空间:其在离图像较大距离处分散,直至其到达SLM的图像为止,并且然后其会聚。在一些这样的实施例中,减轻了精确地跟踪观看者与图像的距离的需要,并且因此减轻了将SLM的图像准确地投射到观看者的眼睛的需要。然而,在一些这样的实施例中,关于观看者和图像之间的距离的信息仍有助于估计可视性空间的尺寸并且确定观看者何时从一个视窗移动到另一视窗。确保图像SLM处于观看者的眼睛附近(其中可视性空间是最宽的)可选地解除了来自方位跟踪的要求。
图像 SLM 位置的示例性调节
为了将具有有限可视性空间的图像显示给移动观看者,图像SLM应当跟随观看者的眼睛。下文描述了提供这种跟随的一些示例性实施例。
在一些所描述的实施例中,改变图像SLM的位置还改变了图像的位置;然而与SLM移动相比,图像移动是小的,并且可以使用SLM的有限光功率进行补偿。
图4是被设计为允许将SLM和全息图的投射分别调节到舞台和观看者眼睛的位置的光学系统400的一个可能的结构的示意图。
系统400包括系统210的所有部件,包括全息图生成单元10、物镜310和目镜320。在所示出的实施例中,物镜310是曲面镜而目镜320是凸面镜。
系统210进一步包括调节单元410,用于便于控制SLM和全息图被投射到的位置。调节单元410在图中被图示为包括以彼此例如成60º固定的镜表面420和430的V形镜,但是许多其他实现方案对于本领域的技术人员是显而易见的。
如所示出的,从物镜310通过v形镜410去往目镜320的光线405首先从物镜310反射到镜420,并且从那里反射到镜430,光从镜430朝向目镜320反射。
在箭头425的方向上来回移动镜表面420和430改变了目镜320和SLM图像之间的距离。因此,沿箭头425移动镜表面420和430允许跟随沿光轴移动远离全息图或者接近全息图的观看者的眼睛。
可选地,v形镜410被省略,并且元件310和/或320彼此相对移动以获得相似的效果。用于改变系统400的后焦距的位置的任何其他已知装置也可以用于替换v形镜410以使图像SLM沿光轴移动。
在箭头426所示的方向上转动构成v形镜410的镜之一(即围绕平行于表面420和430之间的接触线的轴,并且在V平面上)允许跟随所跟踪的上下打量的观看者眼睛。
在示例性实施例中,v形镜410安装在电机(未示出)上,该电机如箭头425和/或426所示的那样移动这些镜。
为了在观看者的眼睛水平地移动离开图像全息图可视性空间(在图中:进入页面和离开页面)时跟随观看者的眼睛,透镜320被可选地移动为面对观看者。
可选地,控制图像全息图的位置包括计算和生成全息物体,使得准确地在所期望的位置,例如准确地在另一观看者看到的位置,生成图像全息图。
可选地,光学系统被调节以生成观看者附近的图像SLM并且计算单元计算将形成的物体全息图,使得图像全息图准确地在所期望的位置。可选地,这种计算被省略,但是损害图像全息图位置的准确性。
图5是用于针对观看者的每个眼睛示出不同全息图的系统500的示意图。系统500与系统400相似,只是这里存在附加平面镜510,其围绕其轴515转动或旋转。
在一个实施例中,镜510以例如3度的角度左右移动,并且SLM在每个移动的第一半中创建一个全息图并且在第二半中创建另一全息图。这样,每个眼睛看到不同全息图。可选地,该移动处于这样的频率,使得每个眼睛感知全息图投射,仿佛其是连续的。可选地,该镜围绕其移动的中心位置被改变以跟随观看者的面部的中心。
在另一实施例中,镜510以至少约15Hz(例如,24Hz、30Hz、45Hz或60Hz)的频率围绕其轴515旋转,并且SLM在旋转的一半处创建一个全息图并且在第二半中创建另一全息图。可选地,SLM在第一旋转处创建一个全息图并且在第二旋转处创建第二全息图。例如,以30Hz旋转的镜以及每次旋转更新两次的SLM可以以与以60Hz旋转且每次旋转更新一次的镜相似的速率更新。
其中SLM从创建一个全息图改变为创建另一全息图的切换点可选地是在没有眼睛与图像SLM重叠时。这可选地在每次旋转中发生两次:一次是在图像SLM被透射到观看者的眼睛之间时,而一次是在图像SLM被投射远离观看者的眼睛时。
可选地,每个眼睛与另一SLM的图像重叠,并且每个SLM在其与观看者的眼睛重叠之前每次旋转使物体全息图改变一次。
可选地,图像SLM同时与观看者的双眼重叠。
图4和5中示出的实施例之间的另一差异在于:在图4中目镜320是透镜,而在图5中其是曲面镜。然而,该差异是次要的,图4的实施例在将镜作为元件320时同样工作,而图5的实施例在将透镜作为元件320时同样工作。
可选地,目镜320安装在基座(520)上,该基座通过桥(525)刚性连接到轴515,使得目镜320跟随平面镜510的移动。在这种选项中,目镜320可选地具有上文针对物镜310建议的任何形式,与物镜310的形状无关。下文在图6A和6B的背景下讨论目镜320的另一可能的形状。
因此,在一个实施例中,所有图像形成部件一起移动以瞄准观看者的眼睛。可选地,物镜也移动并且因此小于完整的360度。以这样的速度移动物镜和/或图像生成模块可能是能量低效的或者有噪声的,并且因此在一些实施例中未被实践。
在另一实施例中,镜510以目镜320的一半角转动进行转动,以补偿由反射引起的角速度的翻倍。
单个观看者
在本发明的示例性实施例中,系统500用于使全息图针对单个观看者成像,使得全息图具有大图像和宽可视性空间。
在一个实施例中,全息图图像被投射到的位置(舞台)是固定的,并且观看者自由地从不同位置注视全息图,但是从各处看到全息图。在该实施例中,跟踪观看者的眼睛,并且投射全息图的可视性空间以跟随眼睛。
例如,通过眼睛跟踪系统来跟踪眼睛,该眼睛跟踪系统具有足够好的准确性以分辨眼睛何时在全息图的可视性空间中以及眼睛何时在所述空间外部的。该跟踪系统可以是具有适当准确性的任何商业上可获得的眼睛跟踪系统,例如可从总部设在Corvallis, Oregon, USA的Natural Point获得的TrackIR™头部跟踪系统。可选地,如下文将描述的,该跟踪系统具有与系统500的公共部分。
如跟踪系统检测到的观看者的眼睛的位置被传递到计算单元,其确定系统应当被如何调节以将图像SLM投射到观看者的眼睛附近,例如v形镜410的准确位置、镜510正面对的准确点或者根据正使用的特定设置而需要的任何其他调节。
当观看者的眼睛移动时,其移动被跟踪单元跟踪,并且光学系统被控制以保持将图像SLM投射在观看者的眼睛附近。这样,只要观看者正在察看舞台,则他从他所在的任何位置看到整个全息图。
在一些实施例中,计算单元控制SLM以创建重现如将从观看者的视角看到的景象的全息图。可选地,在周围(all around)使用旋转镜来显示全息图,使得所有观看者不论他们位于何处,都看到相同全息图,并且该全息图响应于他们之一的移动而改变。
单个观看者,针对每个眼睛的不同全息图
在本发明的一些实施例中,单个全息图的可视性空间与观看者的双眼重叠。在这些实施例中,由于所注视的图像的全息本质提供原始景象的所有深度线索(cue),因此观看者看到完整的3D全息图。这些实施例是基于约6-8cm宽的图像SLM,以便覆盖成人观看者的双眼。
然而,在许多实施例中,图像SLM是较小的,并且具有约5至约20mm的宽度。在这些实施例中,单个全息图可以仅由单眼看到,并且向双眼呈现全息图需要呈现两个全息图,每个眼睛一个全息图。
在本发明的一些示例性实施例中,两个全息图具有相同景象的两个不同方面:一个方面将由观看者的右眼看到,而另一个方面将由观看者的左眼看到,假如景象在舞台上。这样,观看者可以具有景象的较好深度感受。
单个全息图
在一些实施例中,系统在所有方向上例如围绕360º投射单个全息图。可以使这种系统比如下文所述的步行围绕系统更简单和更廉价。该系统可以完全地运行而不用眼睛跟踪且不用针对特定观看者进行调节。该系统的附加优点在于为控制LSM所需的计算与为向多个用户中的每一个提供完整的全息场景所需的计算相比是非常简单的。
在一些实施例中,计算单元控制SLM以创建单个全息图,该全息图由两个叠加的全息图制成。可选地,观看者配备有从每个眼睛滤除不同图像的眼镜。一个这样的实施例使用2色立体照片,该2色立体照片就本身而言在本领域中是公知的。
在一些实施例中,投射单个全息图使得其可以从不同高度观看。在一些这样的实施例中,相同全息图被投射到不同高度,并且在每个高度中围绕360º。例如,用棱镜使全息图倍增,使得观看者在若干个不同高度看到相同全息图。
多个观看者和 / 360º 步行围绕
图5的实施例允许向注视目镜320的方向的观看者示出全息图。为了允许观看者步行围绕舞台或者向从不同位置观看舞台的不同观看者呈现全息图,目镜320可以被制成圆形,如图6A中图示的。
图6A是示出浮于空中所示的心脏的图像全息图(635)的系统600的图示。该图主要示出了目镜320,其可选地具有被整形为转动抛物面的内反射表面。在这个选项中,目镜320中的每个竖直横截面具有抛物线的形状,并且每个水平横截面具有圆的形状。可替选地,目镜320是球的分段。水平横截面是圆,而竖直横截面是圆弧。
图6B是系统600的示意图。目镜320由图6A中图示的圆形目镜的两个相对竖直横截面表示。该图还示出了圆柱镜605,其用于使光移位远离其他光学元件并且进入目镜320,使得其他光学元件不会遮挡目镜320以便接收来自旋转镜510的反射。图6B中示出的其他光学元件在结构和功能上与图4或图5中示出的那些相似。
镜605可以被省略,并且光线通过其他装置进行移位。例如,如图6C中的那样,镜510可以关于它绕其旋转的轴倾斜,其中图6C为了方便起见未示出目镜320。
圆柱镜605可以由一个或多个平面镜替换。
由圆柱镜605或者由替换镜605的平面镜引入的失真可选地通过由SLM生成的图像的预失真进行校正。
注意,镜605的使用可选地约束从SLM到观看者的光学路径的实际长度,并且省略镜605可选地移除该约束并且移除对镜605进行预失真补偿的需要。
目镜320可以由一个或多个平面镜替换。
由目镜320引入的失真可选地通过由SLM生成的图像的预失真进行校正。
当对镜605和/或平面目镜320使用平面镜替换时,平面镜彼此邻接的位置可选地未被用于投射图像。可选的编码器检测光学路径何时跨越这些位置并且图像在该时间期间不被投射。
在光学系统的空间覆盖中可选地可以存在间隙,并且可选的编码器可选地检测光学路径何时跨越这些间隙并且图像在该时间期间不被投射。
可选地,镜510以至少约24Hz的频率围绕其轴515旋转,并且每当图像SLM被投射到不同位置(无论其是相同观看者的不同眼睛、另一观看者的眼睛、还是在观看者移动之后的相同观看者的相同眼睛)时SLM创建不同全息图。
在本发明的一些实施例中,镜510的两面正在反射,使得在镜的每次旋转中图像可以被投射在镜周围,跨越360º投射角度或者较小角度,诸如150º以上、170º以上、180º以上、220º以上、260º以上或者中间角度。可选地,在镜510的中心处存在无反射点以消除0阶反射(即,光源的反射)。0阶反射可以相似地通过以任何其他方式阻挡光到达镜510的中心或者从镜510的中心反射而被省略。
在本发明的示例性实施例中,从不同角度观看的图像是无失真的(例如,如同将在平板显示器或者其他标准2D成像系统上的那样)。
注意,这里描述的方法和装置还可以用于尤其浮于空中的较小角度显示,例如在10º和150º之间,例如小于100º、小于80º、小于45º、小于30º或者中间角度。
在一些实施例中,向不同观看者和/或不同眼睛示出不同类型的图像,例如一个眼睛可以看到2D图像而一个眼睛可以看到3D或全息图图像。可选地,不同图像由系统中的不同图像创建模块创建,这些图像创建模块转动到位和/或通过转动平面镜(例如,510)及时地提供其视线。
示例性光源
在本发明的示例性实施例中,光源提供准直光(并且在一些实施例中提供相干光),以便生成近轴物体。关于准直光源的非限制性示例包括激光器和LED。
在一些实施例中,使用向眼睛提供10~100μW的光源。
该光强度可选地被选择用于其中旋转镜510和目镜320之间的距离是1m并且镜以30 Hz旋转的实施例。用于选择上述光强度的考虑可以总结如下:
为了在亮房间中通过这种系统向观看者显示图像,观看者的瞳孔处的光功率在暗房间中应当约为10μW而在亮房间中高达100μW。
10μW的估计是基于如下考虑:
在所讨论的实施例中,在每次旋转中光线进入瞳孔5μs。该估计是基于如下假设:在亮房间中瞳孔的直径约为1mm。由于从镜去往目镜的光线的远点在镜的每次旋转中行进6.28m(2πR),并且镜每秒旋转30次,因此远点每秒行进近似30×6.28=190m=190,000mm。
因此,波束在1/190,000秒中扫描1mm,1/190,000秒近似为5μs。
为了提供清晰的图像,1nW的光应当到达瞳孔50msec。
由于光在5μs期间扫射(swift)眼睛,因此系统必须在5μsec中而非50msec中提供所有光。因此,需要为1nW的10,000倍的功率。1nW×10,000=10 μW。
以上估计适于在平均室内照明条件下显示图像。如果房间更亮,则可选地提供更高光强度,例如为2、5或10倍的光强度。
示例性目镜
在示例性实施例中,目镜320是中空体,具有旋光性内表面,例如弯曲反射内表面。可选地,旋光性内表面是例如曲面镜的反射表面。可选地,该内表面是透镜的表面。
可选地,中空目镜对从镜510到达的光会聚。可选地,中空目镜320在每个点处定义两个有限的曲率半径。可选地,这两个曲率半径彼此相等,如球壳中的那样。
可选地,目镜的反射内表面是闭合表面。可选地,其是开放表面,并且允许从有限的视角观看图像。例如,在一些实施例中,目镜具有通过使60º弧围绕轴旋转一半或3/4的圆而形成的旋转固体的形状,使得弧的内部通常瞄准轴。这些实施例可以允许仅从围绕舞台的180º或270º看到图像,原因在于从其中在舞台背景处不存在目镜的位置察看舞台的观看者看不到图像,除非在一些实施例中目镜移动或者如其可能的那样被移动。
在一些实施例中,中空目镜的形状是通过使弧围绕该弧的凹侧通常所瞄准的轴旋转而形成的旋转固体。可选地,旋转轴和弧之间的距离等于该弧的半径。可替选地,旋转轴和弧之间的距离不同于该弧的半径。
在一些实施例中,中空目镜具有通过使弧围绕轴旋转而获得的旋转固体的形式,该轴离该弧的距离不同于该弧的半径。
在一些实施例中,中空目镜是例如形成旋转抛物面的一部分的抛物面,该旋转抛物面是通过使抛物线围绕垂直于该抛物线的对称轴的轴旋转而形成的。
球形目镜可以比抛物线目镜更容易构建。另一方面,抛物线目镜可能对像差不太敏感。然而,在一些实施例中,由于系统处理的物体和图像的近轴本质,像差是小的或者甚至可忽略的。可选地或者可替选地,这些像差或者光学系统和/或观看者肉眼观察能力中的其他像差通过生成提供预补偿的适配图像而进行补偿。
可选地,旋转镜510处于目镜的中心,在其旋转时将光引导至目镜的不同部分。
可选地,舞台处于目镜内部。
可选地,整个光学路径处于目镜内部。
在一些实施例中,为了看到图像,观看者必须现场注视具有目镜反射表面的至少一部分的舞台。
可选地,观看者从外部注视目镜。
可选地,观看者处于目镜内部,例如在具有反射壁和/或天花板或者具有安装在其上的目镜和/或部分目镜的球形房间中坐着、站立、步行或者躺下。可选地,视觉跟踪器使目镜成像并且使用该图像来确定可以将图像投射到哪里以及不可以投射到哪里和/或用于调整成像参数,诸如距离和光级。可选地,这种目镜包括对显示系统中的这种跟踪器相机或者其他成像模块可见的一个或多个标记,诸如爱好或十字。
示例性模块化投射系统
在本发明的一些实施例中,使用两个或更多个SLM向不同眼睛、观看者和/或位置提供不同全息图。例如,在一个实施例中,存在两个不同SLM,每个SLM专用于创建针对观看者的一个眼睛的物体全息图。在一些实施例中,每个SLM顺序地创建若干个物体全息图,例如针对三个不同观看者创建高达6个不同全息图,每个眼睛一个全息图,并且旋转镜将每个全息图带至舞台并且将每个SLM图像带至眼睛,其中生成全息图以便观看SLM图像。
可选地,每个SLM具有其自身的光学系统210,并且所有系统被共同调节为向相同舞台,可选地向舞台上的完全相同点,提供图像全息图。例如,当观看者限于一些预先定义的区域,使得不需要360º的完整覆盖时,该选项可以是有利的。
在本发明的一些实施例中,同时使用两个或更多个SLM,每个SLM具有其自身的物镜并且所有SLM具有公共的目镜和旋转镜。注意,这允许在观看者的眼睛处把一个SLM生成的图像叠加在另一SLM生成的图像上,即使具有不同类型和/或颜色。
图7中描绘了一个这样的配置,图7是包括具有公共目镜320和公共旋转镜510的两个SLM(20'和20")的投射系统700的图示。在下文中,包括SLM本身的专用于单个SLM的投射系统的部分被称为单元基元。在图7中,每个单元基元在其自身的基座(710、720、730)上示出,允许系统700的模块化构建。
在一些实施例中,每个单元基元专用于生成将由与单元基元关联的不同观看者或者不同多个观看者观看的全息图。可选地,(一个或多个)具体单元基元与(一个或多个)具体观看者的关联在操作期间不改变。
可选地,观看者坐在预定位置,例如坐在围绕舞台布置为同心圆的固定座椅中。在该情况中例如用元件410调整光程仅是可选的,并且有时可以被省略。相似地,可以省略面部检测/跟踪。
可选地,单元基元与观看者的关联根据观看者的位置而改变。例如,如果从与某个单元基元关联的一个观看者切换到另一观看者将不需要v形镜的大量移动则可能是方便的。然而,在一些实施例中,当观看者和舞台之间的距离改变时,v形镜必须移动。因此,在一些实施例中,当与一个SLM关联的两个观看者移动一部分使得他们之一比另一个更接近舞台许多时,一个观看者可以与另一单元基元关联,以省略来回大距离重复移动v形镜的需要。
360º 围坐( sit-around )全息电视
尽管前面章节中描述的实施例允许每个观看者(或甚至每个观看者的每个眼睛)察看不同全息图或视频流,但是本发明的一些实施例允许所有观看者用双眼察看相同全息图。这样,像在察看标准的但是具有全息图片的电视或影片时,许多人可以聚集并且具有完全相同的体验。尽管全深度感受需要用每个眼睛看到不同全息图,但是用双眼看到相同全息图提供了某种深度感受,其有时可能比用某些自动立体显示器可获得的感受更好。
因此,在本发明的一些实施例中,在旋转镜的每个循环的整个持续时间中投射单个全息图,并且坐在舞台周围的人可以察看相同全息视频流。
这种系统不需要围绕舞台的观看者面部的角度跟踪;已知观看者离舞台的距离可能足以。
可选地,在围坐配置中,观看者坐在围绕舞台的同心圆中,使得每组观看者处于离舞台的不同距离处。可选地,座位是固定的,使得距离被预定。
在一些这样的实施例中,存在专用于每个圆的观看者的一个单元基元,使得在线光学路径调整可以被省略。
在本描述和权利要求中,如果动作是在观看者正在察看时采取的,则称该动作被在线采取。可选地,在线动作改变观看者正看到的内容、图片的质量和/或图片的取向。
在一些实施例中,利用同心就坐布置来向不同观看者呈现不同观看流。例如,每个圆可以看到不同影片。由于存在示出每个影片的一个单元基元,并且系统向坐在每个不同圆中的观看者示出来自不同SLM的不同影片,因此该布置特别简单。
可选地,向相同圆的不同区域示出不同影片。应当注意,向不同观看者示出的不同内容可以具有相似的本质(例如,两个影片)或者具有不同的本质(例如,一个观看者察看影片而另一观看者看到2D静止图像)。
可选地,所投射的图像是2D图像,例如常规的电视演播,并且系统允许从围绕其的高达360度察看电视。可选地,可以将不同内容投射到不同区域(例如,2、3、4、5、6或更多个不同内容/频道)。例如,从0º和90º之间的角度察看显示的观看者可以察看体育频道,从91º至180º的视角察看显示的观看者可以察看新闻频道,等等。可选地,例如使用近轴LCD显示器来显示2D图像流,这可能需要通过LCD的常规控制进行如这里描述的光学操纵。当不同观看者注视不同媒体流时,可能优选的是经过个人耳机提供音频。注意,也可以支持小于360º的角度,例如100º、160º、180º、210º或者更小或更大或中间角度。例如,视角(有效的,不一定是瞬时的)可以是例如至少10º、20º、30º、40º、50º或中间角度。本发明的一些实施例的特定特征在于:操作小视角图像生成器以提供宽视角,例如在面积上至少5、10、30或100倍。本发明的一些实施例的特定特征在于:不是针对观看者可能所处的空间的所有部分生成全息图,仅针对预期用户所处的空间部分计算和/或显示全息图(或其他图像)。
在本发明的一些实施例中,提供相同的一般内容(例如,房子),但是以不同角度(例如,转动和/或方位的改变)提供不同数据层(例如,管道工程、电缆铺设)。可选地,存在随着视角改变的一个或多个数据类型的透明度的无缝改变。
本发明的一些实施例的特定特征在于:基本上同时地,例如在小于1秒内,在小于0.1秒内、以视频速率或更快的速率,向一个或多个观看者示出多个图像。在本发明的示例性实施例中,系统使用例如1个、2、3、4、5、6或更多个图像生成模块,每秒生成(并且投射)至少10个、至少20个、至少30个、至少40个、至少80个、至少150个或者中间数目的不同图像/全息图。
示例性应对拖尾( smearing
为了认识可能的拖尾问题,考虑如下实施例可能是有用的:其中图像SLM约2cm宽,观看者处于离旋转镜约1m(意味着周长约6m)处,并且旋转镜以30Hz旋转。在该特定实施例中,如果恒定地且连续地投射单个图像,则图像SLM以约180m/sec的线性速度扫射观看者的眼睛;并且该扫射可能引起全息图的拖尾。
应对这种可能的拖尾的一种方式是通过使系统仅激活长达该镜将图像SLM引导至观看者眼睛附近的时间(在下文中被称为投射周期)的小部分。在以上示例中,投射周期约为镜旋转周期的2cm/6m=1/300。以30Hz的镜旋转周期是1/30sec。因此,该示例中的投射周期是1/9000sec,其约为100μs。使激光器激活仅长达该时间的小部分,比如说在约1和约20μs之间,通常减少了所有拖尾。可选地,每个投射周期使激光器激活若干次,例如5次2μs激活而其间存在18μs非激活。可选地,系统被调节以使得在每次镜旋转中使每个眼睛仅暴露于系统一次。在以上示例中,这可以例如通过每个80μs提供具有20μs宽度的脉冲来实现。
在一些实施例中,激光器以脉冲激活。此外或者可替选地,激光是连续的并且斩光器用于将光斩断为较短闪光。
可替选地或者此外,光源被整形为线,例如,例如水平地扫描SLM的竖直线。在该实施例中,每个竖直照射定义了从不同的且极窄的角度描述景象的子全息图。子全息图作为竖直狭缝窗口到达眼睛。可选地,该扫描覆盖整个SLM,因此将所有SLM图像呈现到眼睛附近,但是眼睛将仅看到SLM的一个竖直分段,即准确地落入眼睛中的相同分段。
一种滤除拖尾的潜在方式是通过使用狭缝照射源,其使用旋转镜510’中的狭缝513(参见图8)。旋转镜510’可选地是部分反射的,并且旋转镜510’中的狭缝513从镜轴515发出光到达透镜310,从透镜310到达SLM,从SLM回到透镜310,从透镜310回到狭缝513,从狭缝513反射到目镜320,并且到达观看者的眼睛。
在不使镜旋转的情况下跟随单个观看者的系统可选地被常规选通以克服拖尾问题,因为在这些系统中拖尾是不太明显的。
示例性眼睛跟踪单元
眼睛跟踪系统在本领域中是公知的,并且任何这种已知的系统可以适于与本发明的实施例一起使用,只要跟踪质量与SLM图像的尺寸兼容:跟踪应当足够好以允许在每个方向上在小于相同方向上的图像可视性空间的尺寸的容差内估计眼睛的位置。
在本发明的示例性实施例中,跟踪单元仅提供观看者的面部中心的位置,并且基于观看者的面部的知识或者使用关于观看者的眼睛之间的距离的一般信息来计算眼睛的位置。可以针对例如孩子、成年人等的不同观看组提供这种信息。可以例如通过在跟踪之前测量观看者的面部来获取知识。可选地,该测量包括站在离跟踪单元的已知距离处并且注视跟踪单元。然后,跟踪单元检测观看者的眼睛以及从已知距离看到的眼睛之间的距离,并且响应于检测到的在观看者的眼睛之间的距离,在跟踪期间使用该信息来计算跟踪单元和观看者之间的距离。
在本发明的示例性实施例中,建立跟踪单元以固有地具有与光学系统相同的坐标系统。例如,图7中描绘的一个单元基元可以持有跟踪单元光学元件。
图9是在跟踪单元基元中有用的示例性跟踪单元800的示意图。跟踪单元800包括光源810和位于跟踪单元800的后焦距处的光检测器820。可选地,跟踪单元800还包括滤除除光源810提供的波长之外的其他波长的光的滤光器805。
光源810提供的和检测器820检测的光具有由眼睛选择性反射的类别。在本领域中已知出于这些目的而使用红外光。
在本发明的示例性实施例中,来自光源810的光由分束器825分开,使得一部分光去往检测器820而另一部分去往观看者的眼睛830。从眼睛830反射的光返回到检测器并且被检测。如果相干光用于检测直射光和反射光之间的干涉或者如果反射光用于提供瞬时光级的基线,则情况可能就是这样。在其他实施例中,光未被直接反射回到检测器,相反,仅由眼睛或面部(或者诸如帽子、贴纸或眼镜上的人造标记)反射的光被反射回到检测器。
在所示出的实施例中,来自分束器的光经过光学元件310、旋转镜510和目镜320(它们均在上文中被详细描述)到达观看者的眼睛。在从观看者的眼睛到IR检测器的路上,光可选地行进经过相同光学路径,但是以相反的顺序行进。
在检测器820处检测到反射光时旋转镜所面对的方向对应于眼睛的方向。可选地基于反射光射到检测器820的点来估计观看者的眼睛的竖直立视图。可选地,通过光学装置和/或通过移动图像自身(例如,在SLM上使其编码移位)来调整图像的立视图。可选地,不同的观看方向具有不同的立视图(例如,对于不同的观看者高度和/或距离)。
可选地,检测某个预定距离(比如说约6.4cm±1.5cm)内的双眼被解释为检测相同观看者的双眼。
可选地,在跟踪开始之前测量观看者的眼睛之间的距离,并且从观看者的双眼接收到的信号之间的时间差用于估计观看者和系统之间的距离。
在本发明的示例性实施例中,眼睛的检测被调整为针对检测进行偏置(例如,具有例如较之正确检测的10%、30%或100%或者中间或更大百分比的错误检测)。在本发明的示例性实施例中,把图像发送到不存在眼睛的位置仅具有计算成本,可能由系统部件选择被预补偿,而不把图像发送到存在眼睛的位置可能防止显示正确地操作。
全息图的示例性调整
当观看者在步行围绕物体时正察看物体时,观看者从每个点看到物体的不同面。
根据本发明的一些实施例显示的全息图在不对光学系统或全息图生成单元进行任何调整的情况下提供相似的效果。换言之,单个全息帧的显示提供完整的步行围绕体验。然而,这限于使眼睛保持在全息图可视性空间的边界内的步行围绕。
在一些实施例中,当观看者移动围绕使得眼睛在图像可视性空间外部时,调整光学系统以跟随眼睛,但是显示给观看者的全息图不改变。在这些实施例中,步行围绕地球仪的全息图的观看者例如总是看到欧洲,不论他站在何处。可选地,在这样的实施例中,代替跟随观看者的眼睛,系统简单地使周围可获得相同全息图。
在一些示例性实施例中,当观看者移动时,显示给他的景象被更新,使得在移动围绕地球仪的全息图时,观看者可以看到不同的大洲。可选地,这是通过每当跟踪的观看者的眼睛移动到图像全息图的可视性空间外部时更新所显示的全息图来实现的。如果真实物体位于舞台上,则系统估计观看者将看到物体的哪个部分,并且在舞台上呈现该部分的全息图。
每次仅投射观看者可观看的景象的那部分的全息图允许节约大量的计算能力,而不会损害观看者看到的图像的质量。
在本发明的一些实施例中,景象自身随时间改变。在一个特定示例中,景象是视频流。在这种情况中,即使观看者的眼睛不移动,仍将调整全息图。可选地,这些调整每秒进行约24次,因为在本领域中公知在这种频率下人类大脑看到流畅的移动。
可选地,当示出视频流的全息图时,每次调整全息图(例如,显示视频流的另一“帧”的全息图)时,系统关于观看者的眼睛位置来更新,并且仅投射从观看者的当前视点对观看者将是可观看的帧的那些部分。例如,这允许察看篮球比赛的影片的观看者改变座位并且从不同角度看到该比赛。
示例性系统和控制
图10是示出投射系统的一些主要单元以及它们之间的交互的示例性系统900的简化框图。
系统900包括:用于生成和投射全息图的由驱动器915驱动的投射单元910。投射单元910包括SLM 920。
系统900还包括:计算单元(930),用于计算SLM 920的每个像素的所期望的光学行为;和SLM驱动器(940),用于根据如计算单元930计算的所期望的光学行为来驱动SLM 920中的每个像素的光学行为。
计算单元930接收例如数据集、图像或视频流(可选地3维或体积图像,可选地3维或体积图像的流)作为输入。该输入可选地具有数字形式。可替选地,输入具有模拟形式。在一些实施例中,仅提供3D图像的表面。可选地,预先计算数据以流式传输到SLM。可替选地,例如如下文所述,单元930根据该输入来生成SLM数据。可选地,单元930仅针对用户所处的或者预期所处(例如,假设人头部的某个移动速度)的观看方向生成数据和/或再现该输入。可选地,例如由于获得数据的延迟和/或再现这种数据的延迟,存在眼睛跟踪器的新用户检测和向新用户呈现图像(或完整图像)之间的时延(例如,数秒或者分数秒)。
可选地,体积3D图像流数据或者任何图像数据被提早存储在系统的存储器中,并且在投射期间,所存储的数据被接近(approach)并且用于控制系统。可选地,如为在投射期间控制系统所需的,在线接收数据并且仅临时存储数据。
计算单元930基于该输入来计算SLM 920的每个像素的光学行为应当是什么,以便用SLM产生的全息图重现对应于从景象发出的波阵面的波阵面。SLM驱动器940将SLM的像素驱动到计算的光学行为。
可选地,单元930修改其接收到的数据和/或将显示的数据以考虑到系统、观看者和/或校准过程的光学性质。可选地,校准过程是视觉的和/或包括检测用户的指向设备。在一个示例中,示出了栅格并且用户“触摸”栅格上的每个点。在另一示例中,向用户示出一系列图像并且提供例如关于色彩质量、形状、空间失真和/或其他图像性质的反馈。可选地,经由图像或者使用输入设备(例如,未示出的鼠标或按钮)提供输入。
所示出的系统还包括跟踪单元(950),其可选地向计算单元930提供关于观看者眼睛的位置的信息,因此允许计算单元930估计观看者将从他的视点看到景象的哪些部分,并且计算像素的光学行为以仅产生从这些部分发出的波阵面。
此外或者可替选地,跟踪单元950向投射系统910的驱动器915提供关于观看者眼睛的位置的信息,允许其将所生成的全息图的可视性空间的位置调整至观看者眼睛的位置。
在示例性操作序列中,视频流被输入到计算单元930中,其计算SLM 920的各个像素的所期望的光学行为。计算单元930将计算的值传递到SLM驱动器940,其据此驱动SLM 920。生成和投射单元910使用SLM 920来生成物体全息图,并且投射该物体全息图。
同时,跟踪单元跟踪观看者的位置和取向,并且将该信息发送到计算单元。计算单元使用该信息来计算简化的全息图,其仅重现在观看者的方向上的从景象发出的光。跟踪单元还将观看者眼睛的位置和取向传递到生成和投射单元910的驱动器915,并且驱动器915驱动投射单元以投射将可由观看者观看的全息图。
图11是在根据本发明的实施例的产生和投射待由注视舞台的观看者看到的全息图的方法中采取的动作的流程图。
在105中,估计观看者眼睛的位置。可选地,估计双眼的位置。可选地,还估计观看者正注视的方向。可选地,系统被配置为将全息图投射到预先定义的舞台,并且观看者眼睛和舞台的位置确定了观看者正注视的方向。
在110中,基于观看者的眼睛位置,估计在景象处于某个给定取向上的舞台处的情况下由观看者可观看的景象部分。
在115中,仅生成在110中估计的待由观看者看到的那些景象部分的全息图。可选地,通过计算为生成全息图所需的各个SLM像素的光学行为并且据此驱动SLM,来生成这些全息图。
在120中,投射在115中生成的全息图,使得观看者在注视舞台时将从他的位置看到该全息图。
图12是在产生待由从给定角度注视全息图的观看者看到的全息图的方法150中采取的动作的流程图。
在152中捕获观看者的位置。捕获观看位置可选地包括从跟踪单元接收输入。可选地,捕获还包括处理所述输入。当捕获完成时,系统已确定观看者的位置、以及观看者将从其看到景象的角度(如果景象事实上在舞台上)。
在154中,接近体积数据。可选地,体积数据预先保存在系统的存储器中。可选地,例如从3D成像设备(例如,CT成像器)在线(即在成像过程进行的同时)接收体积数据。
系统过滤器从体积数据当中滤除为创建在152中确定的将由观看者看到的该场景部分的全息图而所需的数据。
在156中,计算系统将体积数据转变为全息数据,包括例如针对SLM的每个有源像素设定所期望的折射率以便生成全息图。可选地,SLM具有不会在生成全息图时出现的非有源像素。这些像素可选地在160(下文)中未被照射。可选地,防止对这些像素的照射由安放在光源和SLM之间的附加透射型或反射型LCD或数字微镜设备(DMD)执行。可选的附加透射型或反射型LCD或DMD未在图中描绘。
在158中,控制SLM使得每个像素事实上具有针对其设定的折射率。
在160中,照射SLM以生成物体全息图。
与全息图的示例性交互
本发明的一些实施例允许观看者与全息图交互。例如,观看者可以移动他的手、或者任何其他身体部位、或者观看者正在握持的任何物体(例如指针)来触摸全息图。可选地,传感器检测观看者手的位置,并且据此控制输出设备。在一个示例中,触摸钟的观看者导致输出设备的响铃。
在另一示例中,观看者可以与全息图交互以操纵景象。例如,在发动机盖处触摸汽车全息图的观看者可以使全息图改变为汽车发动机内部的全息图。
可替选地或者此外,触摸全息图的某个部分的观看者可以使输出设备控制该系统以产生其中被触摸部分在观看者面前的全息图。例如,面对瑞士察看地球仪的观看者可以在西班牙处触摸地球仪,并且地球仪将转动以将西班牙带到观看者面前。
可替选地或者此外,观看者可以经过控制面板来与全息图交互(在空间中移动全息图,使其围绕某个预定轴转动,专门定义关于全息图的转动轴并且使全息图围绕专门定义的轴转动),并且对空间中的全息图的取向和/或位置执行任何其他操纵。
可选地,两个或更多个观看者可以同时与相同景象的全息图交互。例如,两个观看者可以触摸他们面前的场景的相同部分,并且尽管每个观看者正在察看不同全息图(或者甚至每个观看者的每个眼睛正在察看不同全息图),但是当他们两个触摸景象的相同部分,例如均触摸钟时,他们也彼此触摸。
彩色图像
上文在单色图像的背景下描述了各种实施例。然而,由根据本发明的实施例的系统和方法同样可以提供多色图像。
在一些实施例中,由单个SLM投射彩色全息图,该单个SLM被红色、绿色和蓝色光顺序地点亮。可选地,彩色景象被处理为三个单色景象(一个红色、一个绿色和一个蓝色),并且计算单元向SLM提供用于顺序地生成单色全息图的数据,这些单色全息图按其次序重现每个单色景象。可选地,使光源与计算单元同步,使得每个单色全息图用对应的光形成(重现红色景象的全息图用红色光生成,等等)。
可选地,在将SLM生成的全息图投射到舞台的同时,SLM的图像被投射为与观看者的眼睛重叠。
在一些实施例中,红色、绿色和蓝色光被投射到三个不同SLM,每个SLM重现一个单色场景。在一些实施例中,三个SLM中的每一个包含在不同单元基元中,并且在镜的每次旋转中,所有单元基元的图像被顺序地投射到舞台,使得观看者看到多色全息图。
在一些实施例中,所有三个SLM共享单个光学系统,使得它们之间的同步是光学的。例如,三个SLM是单个SLM屏幕的三个部分。可选地,共享光学系统的SLM均包含在单个单元基元中。
用于生成彩色全息图图像的光源包括例如三个不同激光器。另一示例是包括三个不同LED的光源。
多个 SLM 的示例性使用
在本发明的一些实施例中,创建物体全息图不需要激活完整的SLM单元。在这些情况中,可能使用一个SLM作为多个SLM单元。例如,1000×1000像素的一个SLM可以用作多个(4个)SLM(每个SLM具有500×500像素),并且获得使用下文讨论的多个SLM的所有优点。
可选地,若干个SLM被成像在相同观看者的相同眼睛处。这种布置可以具有若干种使用。
例如,如上文提到的,在一些实施例中,每个SLM提供单色图像(红色、绿色或蓝色),并且看到三个单色图像的观看者将它们感知为单个多色图像。注意,如果示出非全息图图像,则可以使用彩色SLM。可替选地,不同源颜色可以瞄准全息图产生SLM的不同部分,可选地使不同颜色的SLM元件交错或者以其他方式混合。
在另一示例性实施例中,多个SLM用于提供比由单个SLM提供的图像更大的图像。系统被控制为形成两个半物体(每个半物体由单个SLM形成),并且使半物体彼此接近地成像在舞台上。使这两个SLM成像为与观看者的相同眼睛重叠。因此,观看者用相同眼睛看到由两个图像(每个半物体一个图像)组成的图像。所组成的图像可选地大于组成该图像的任何图像。
在另一示例性实施例中,多个SLM用于加宽从其看到图像的角度。在一个这样的实施例中,使两个SLM彼此接近地成像到观看者附近,可选地在两个SLM图像之间有某种重叠。两个SLM中的每一个可选地创建相同景象的物体全息图,并且两个全息图被成像到舞台。观看者可以看到图像,不论哪个图像SLM与他的眼睛重叠。由于仅观看者的相对大移动需要系统调整,因此该布置允许放松来自系统跟踪机构的要求。
在另一示例性实施例中,多个SLM用于加宽从其看到图像的角度。在一个这样的实施例中,使两个SLM彼此接近地成像到观看者附近,可选地在两个SLM图像之间的某种间隙小于观看者瞳孔。两个SLM中的每一个可选地创建相同景象的物体全息图,并且两个全息图被成像到舞台。观看者可以看到图像,不论哪个图像SLM与他的眼睛重叠。由于仅观看者的相对大移动需要系统调整,因此该布置允许放松来自系统跟踪机构的甚至比前面选项更多的要求。
示例性应用
示例性私密内容应用
在本发明的一些实施例中,内容仅被成像给一个观看者的眼睛,并且该观看者附近的其他人不能看到该内容。
可选地,该观看者可以从任何所期望的角度察看内容,并且在一些实施例中甚至移动围绕显示,而他附近的其他人不能看到该内容。
在一些实施例中,当跟踪系统失去对观看者的跟踪时,显示被断开。这些实施例对于处理机密材料而言是特别有用的。例如,如果观看者用最先进的膝上型计算机显示器来阅览机密文档,则挨着该观看者就坐的邻居可以看到该文档。如果膝上型计算机配备有根据本发明的实施例的显示单元,则机密文档仅被显示给该观看者。然而,该观看者不一定被困于从一个角度注视显示器。观看者可以离开显示器,并且他的邻居将占据显示器面前的该观看者的位置,并且仍将不能看到任何东西,因为跟踪系统失去对该观看者的跟踪并且停止显示。
示例性医疗应用
在许多医疗应用中,向医师提供关于组织的三维结构的信息。在本发明的一些实施例中,该信息作为医师可以与其交互的全息图被显示给一个或多个医师。
例如,作为微创心脏手术的准备,医师团队使用现有的超声技术来获取心脏的动态3D图像。然后,团队成员可以从不同视角,例如每个观看者从他自身的视角,观看所获取的图像,同时有能力指向和标记图像内的具体区域作为他们讨论和准备心脏手术的部分。
在示例性实施例中,图像全息图具有与成像景象(在上面的示例中是心脏)相同的尺寸。因此,在要把例如支架的外部部件插入到患者中的情况中,在手术开始之前可以将该部件装配到全息图像,以便最小化在手术期间将其装配到患者的需要。该特征可选地通过具有虚拟“浮于空中”图像来增强。
示例性计算机辅助设计
在本发明的示例性实施例中,计算机设计的模型被显示给设计者团队,允许一个、若干个或者每个团队成员步行围绕该模型、与它相联系和/或操纵它。例如,在诸如新蜂窝电话外壳的机械部分的模型中,在显示器是触摸屏幕的情况下,一个设计者可以建议修改显示器的照明,并且另一设计者将评论修改的结果并且建议添加真实按钮并且立即预设这些按钮。相似地,单个设计者可以从不同角度注视相同细节。在阅览设计的同时,团队成员可以(用专用笔或用他的手指)指向图像内的具体部分。可选地,所有团队成员看到被指向的部分,并且团队成员可以讨论从不同视角看到的该部分的场景。可选地,显示器包括系统-人接口,允许团队成员操纵完整设计内的具体部件,例如改变所标记表面的颜色。当团队正从所有角度精确地观看图像时,所描述的过程消除了开发过程内的一些快速原型阶段,因此降低了其总时间和成本。
数字广告
可以利用本发明的一些实施例来获得暴露于显示而没有有意注视它的人的关注。例如,本发明的一些实施例可以用作公共位置的广告显示并且获得比更传统的平面显示和海报所获得的关注明显更多的关注。
例如,根据本发明的实施例的显示可以被安置在展览会中,并且围绕其走动的观看者将看到例如蜂窝电话的广告产品或者整个广告片的全息图像。全息显示吸引比通常的海报或平面屏幕更多的关注。
可选地,此外,一个观看者在其他观看者正在观看的同时操纵图像。操纵可选地是通过移动、转动或缩放图像或者以任何其他方式与图像交互。该实施例可选地增强观看者对所呈现的图像、产品或服务的吸引力。
可选地,显示产品的不同场景以由站在围绕显示的不同位置处的观看者看到。可以预期,暴露于该类广告的人将被鼓励围绕显示走动,并且对广告产品付出越来越多的关注。
可选地,根据本发明的实施例的广告显示允许观看者如上文在标题“示例性图像操纵”下解释的那样操纵所显示的景象。允许观看者操纵观看的图像可以预期增加观看者对广告产品的关注和牵连。
可选地,根据本发明的实施例的广告显示围绕其360º显示相同的全息图,并且包括输入设备以允许用户指示用户有兴趣更接近地注视所显示的景象。响应于接收到这种指示,系统开始跟踪观看者的面部并且允许随着观看者围绕显示走动时该特定观看者从不同角度看到广告产品。
用户接口
当用户能够在3D空间中移动和执行交互时,发生3D交互。人机交互需要:人和机器两者接收和处理信息,并且然后向彼此呈现该处理的输出。用户执行动作或者向机器给出命令以便实现目的。机器获得由用户提供的信息,执行某种处理并且然后将结果呈现回到用户。
理想地,用户可以如他们现实中可以的那样与虚拟图像交互。与像键盘或2D鼠标的标准输入设备对比,全三维中的理想操作应当允许六个自由度,这对于用户是自然的。该类型的3D交互设备应当识别和解释人的动作和手势并且将它们变换为关于图像的信息或者虚拟景象的对应操纵。本发明的一些实施例比上面提到的标准输入设备更接近理想情况许多。
尽管一些设备实现了具有高达六个自由度的三维交互,但是它们没有一个实现对实际投射图像这样做,而是仅在这里被称为输入空间的空间中的另一位置中实现,而图像投射在这里被称为显示空间的2D屏幕或者某种形式的3D平台上。
在本发明的一些实施例中,使用这里描述的本发明的显示,图像向观看者提供真实物体的深度线索,使得观看用户接口感受自然。本发明的一些实施例使得用户能够实际“触摸”投射的3D图像,同时提供适当的视觉深度线索、可选地具有宽视角、可选地允许观看空间中的精确位置并且可选地从不同视角观看。本发明的一些实施例投射“浮于空中”图像,因此图像出现在观看者手臂的范围内的离观看者近似80cm处。
在一些实施例中,从观看者到图像的表观距离是使得用户可以达到图像,即近似为未展开的手臂的长度、近似为手臂的长度和/或近似为握持手杖或指针的手臂的长度。
在一些实施例中,显示空间的尺寸对应于用户手臂的运动范围,即跨越近似1至2米。在一些实施例中,显示空间的尺寸对应于手指的运动范围,即跨越近似10至20厘米。
在一些实施例中,输入位置的分辨率对应于用户手臂的运动,即近似1厘米。在一些实施例中,输入位置的分辨率对应于用户手指的运动,即近似1毫米。更粗糙或更精细的分辨率在光学上也是可能的,因此一些实施例潜在地在这些分辨率下操作。
在一些实施例中,用户接口在一个或多个位置中向一个或多个用户显示浮于空中物体。浮于空中物体可选地不看似随着观看者的移动而改变位置。浮于空中物体也可选地从不同观看方向出现在相同的位置。
在一些实施例中,两个用户接口使用两个显示器在两个不同位置中显示相同的浮于空中图像,使得第一位置处的一个或多个用户能够以一个或多个步行围绕速率进行部分的或完整的步行围绕,并且同时使第二位置处的一个或多个用户能够以一个或多个其他的步行围绕速率进行部分的或完整的步行围绕。
在一些实施例中,用户接口向不同观看者显示不同的浮于空中图像。向不同用户显示不同图像可选地采取许多形式:显示完全不同的图像,诸如红色气球和绿色法拉利;使用不同坐标系统来显示相同物体,诸如第一图像显示放在显示中心的锤子而第二图像显示放在显示侧面的锤子;显示第一图像中的物体的一部分和第二图像中的物体的另一部分,物体始终可选地位于相同位置、相同坐标系统、相同尺寸;针对相同物体显示不同颜色,诸如向第一用户显示物体并且向另一用户显示对比度增强的或者色彩增强的或者在不同色调范围中的相同物体;以及以不同尺寸显示相同物体。
注意,以不同尺寸向不同用户显示相同物体就提出问题:当第一用户使指针指向显示空间时,“触摸”第一用户看到的物体上的位置,在该位置应当出现针对第二用户的指针的显示。一个选项是显示给第二用户的图像应当被显示为使得指针的触摸尖端应当看似触摸第二图像中的与第一图像中的位置相同的位置,即使在第二物体看似具有不同于第一物体的尺寸时。第二图像是以坐标显示的,使得指针的尖端看似触摸第二图像中的与第一图像中的位置相同的位置。
在一些实施例中,用户接口向相同观看者的不同眼睛显示不同的浮于空中图像。
在一些实施例中,用户接口使得能够如前面所述的那样部分地或者完整地步行围绕浮于空中图像,以显示浮于空中图像的不同侧面,仿佛图像是浮于空中的实际物体。
在一些实施例中,用户接口允许手指或者某个其他物体伸到浮于空中图像上或者伸入浮于空中图像中。
在用户接口的一些应用中,浮于空中显示利用这里描述的体积显示的实施例。在用户接口的其他应用中,可选地使用其他体积显示,假设它们的性质支持具体应用。
现在参照图13A,其是用户1320看似使手指1330触摸正由根据本发明的实施例构建和操作的用户接口1300显示的物体1315的简化图。
用户接口1300包括体积显示1305,其在浮于空中的三维显示空间1310中显示第一图像。作为非限制性示例,该图像显示物体1315(作为非限制性示例是心脏)。
注意,参照图13A、13B、13C、14、15和16,在参照三维显示和/或浮于空中显示的情况下,所述参照意味着作为非限制性示例包括:如上文描述的全息图像显示;如上文描述的近轴图像显示;以及适于体积显示的其他图像显示。
注意,诸如作为非限制性示例的电视显示和/或计算机监视器显示的二维显示适于通过与三维图像相似地生成浮于空中的二维图像而变换为体积显示。
用户1320观看物体1315并且使手指1330延伸以明显“触摸”物体1315。由于体积显示1305是显示浮于空中图像的浮于空中体积显示,因此体积显示1305允许将真实物体插入到显示空间1310中。
用户接口1300还可选地包括计算机1335,其向体积显示1305提供控制和数据1340。
手指1330的位置由位置确定单元(未示出)定位。位置确定单元可选地通过识别安放到显示空间1310中的真实物体来确定手指的位置。
位置确定单元可选地包括用于在三维中定位物体(例如手指1330)的单元,诸如作为非限制性示例的被安装为沿不同方向拾取图像并且在三维中对位置进行三角测量的相机、和/或测量到显示空间1310中的物体的距离的距离测量单元。
在用户接口1300的一些实施例中,诸如参照图7描绘和描述的单元基元的变型作为位置确定单元进行操作。单元基元的变型被定位成使得来自显示空间1310的反向光学路径通往该单元基元。单元基元可选地通过物体相对于单元基元基座的转动角度和到物体的距离的组合来测量物体(例如手指1330)在显示空间1310中的位置。转动角度可选地考虑到光学系统的旋转。
在本发明的一些实施例中,由诸如相机自动聚焦系统中使用的距离测量系统测量到物体(例如手指1330)的距离。在本发明的一些实施例中,由锥光镜距离测量系统测量到物体(例如手指1330)的距离。
物体的位置可选地用作计算机1335的输入1345,并且计算机1335可选地通过在由体积显示1305显示的图像上加亮的位置输入(例如心脏上加亮的位置),可选地计算用于显示第二图像的控制指令和数据。
可选地,为了定位插入到显示空间1310中的物体上的具体位置,在物体上选择具体位置,并且该具体位置可以被进一步加亮。作为非限制性示例,手指尖端可以是该位置。作为另一非限制性示例,可以通过用染料进行标记来对手指尖端加亮。染料对于人眼可以是可见的,和/或染料可以被选择为向对位置输入进行定位的机器视觉系统提供高对比度。
可选地,接口1300通过现今可用的3D相机,例如通过3DV系统,来跟踪手指1330的位置。
可选地,用户接口1300跟踪手指1330或者某种其他位置指示工具的位置,并且将手指1330的动态移动解释为针对用户接口1300的命令手势。命令手势可选地引起对所显示的图像的操纵。用户接口的这种使用向用户提供了对所显示的物体和/或图像和/或景象直接(虚拟)整形的感受。当提供感官反馈时,尤其增强了以上感受。
现在参照图13B,其是用户1370看似使指针1380触摸正由根据本发明的实施例构建和操作的用户接口1350显示的物体1365的简化图。
用户接口1350包括体积显示1355,其在浮于空中的三维显示空间1360中显示第一图像。作为非限制性示例,该图像显示物体1365(作为非限制性示例是心脏)。
用户1370观看物体1365并且使指针1380延伸以明显“触摸”物体1365。体积显示1355允许将诸如指针1380的真实物体插入到显示空间1360中。
用户接口1350还可选地包括计算机1385,其向体积显示1355提供控制和数据1390。指针1380的位置由位置确定单元(未示出)定位。位置确定单元可选地通过识别安放到显示空间1360中的真实物体来确定指针1380的位置。
指针1380可选地呈现比手指更明确(better defined)的位置输入。可选地,定位指针1380的尖端比定位手的手指的尖端更容易。
通过用染料或者不止一种染料进行标记,可以使指针1380的尖端加亮。
在一些实施例中,指针的尖端包括基本上紧凑的光源1382。光源1382可以对人眼是可见的,和/或光源1382可以被选择为向对位置输入进行定位的机器视觉系统提供高对比度。
在用户接口的一些实施例中,位置输入使用户接口捕获对应于基本上位于位置输入附近的体素的数据。
在用户接口的一些实施例中,位置输入使用户接口捕获对应于基本上位于位置输入附近的子图像的数据。
在一些实施例中,用户接口包括“致动器”的显示,即诸如按钮、控制杆(lever)或者一些这样的典型地被按压、推动、拉动等的设备的显示。用户接口使得用户能够将手和/或指针放置到显示空间中,虚拟地“按压按钮”、“推动或拉动控制杆”等等。当用户接口感测到显示空间中的手和/或指针挨着致动器的显示位置时,用户接口可选地将手或指针的放置解释为致动器的致动。
用户接口可选地向用户提供感官反馈,使得用户感受有点好像按压/拉动/推动致动器。
用户接口可选地改变第一显示以移动与使致动器致动对应的致动器图像。
用户接口可选地改变第一显示,以示出被致动的致动器、被推动的按钮和/或其他这样的指示用户“推动按钮”的改变。注意,该显示由用户接口控制,并且因此可选地在致动时提供反馈。这与例如现有的全息显示形成对比,所述现有的全息显示可以显示按钮的全息图,但是不能改变全息按钮的外观,原因在于它们的全息图是从胶片投射的静态显示。
在本发明的一些实施例中,用户接口显示机器人手臂的图像,并且计算机可选地发送控制信号和数据,使得真实的机器人手臂根据用户在用户接口的体积显示的显示空间中提供的输入而移动。
在本发明的一些实施例中,用户接口可选地拾取不止一个位置输入。位置输入可选地由体积显示的显示空间中的若干个手指提供,和/或由若干个指针提供,和/或通过连续地指向若干个位置来提供。位置输入可选地由一个手指和/或指针上的若干个点提供。若干个点可选地用对比染料和/或光源而被标记在手指上和/或在指针上。
在本发明的一些实施例中,用户接口可选地拾取不止一个位置输入。可选地通过基于插入到显示空间中的物体的形状来计算和/或估计位置,提供位置输入。作为非限制性示例,可选地基于插入到显示空间中的基本上细长物体的长轴来计算线。
用户接口可选地随时间跟踪一个或多个位置输入的移动,并且可选地显示跟踪显示空间中的移动的一个或多个路径,所述路径可选地叠置在显示空间中显示的图像上。
在示例应用中,用户接口可选地开始于空的显示,随时间跟踪一个或多个位置输入的移动,并且可选地实时地和/或近实时地显示跟踪显示空间中的移动的一个或多个路径。
在示例应用中,用户接口可选地接受两个位置输入,并且定义经过这两个位置输入的三维体积显示中的线。该线可选地用于进一步操纵由用户接口显示的图像。作为非限制性示例,使用所定义的线的图像操纵包括:围绕该线的转动;线长度的测量;以及将所显示的物体分为该线两侧的部分。
在示例应用中,用户接口可选地接受不在相同线上的三个位置输入,并且定义经过这三个位置输入的三维体积显示中的平面。该平面可选地用于进一步操纵由用户接口显示的图像。作为非限制性示例,使用所定义的平面的图像操纵包括:该平面和所显示的物体的交叉面积的测量;以及将所显示的物体分为该平面两侧的部分。
在示例应用中,用户接口可选地接受不在相同平面上的四个或更多个位置输入,并且定义基于这四个或更多个位置输入的三维体积显示中的体积。该体积可选地被定义为包含在这四个或更多个位置输入内的体积、和/或包含在这四个或更多个位置输入的某个函数内的体积,诸如基于这四个或更多个位置输入所计算的表面。
体积可选地用于进一步操纵由用户接口显示的图像。作为非限制性示例,使用所定义的体积的图像操纵包括:体积的测量;以及将所显示的物体分为该体积内部和外部的部分。
在一些示例应用中,用户接口可选地拾取一个或多个位置输入。这些位置输入可选地用作用于发起图像处理功能的输入,所述图像处理功能作为一些非限制性示例诸如:放大;缩小;裁剪图像;转动图像;以及切分图像。
现在参照图13C,其是用户1370将框1383插入到根据本发明的实施例构建和操作的用户接口1350的显示空间1360中的简化图。
用户接口1350包括体积显示1355,其在浮于空中的三维显示空间1360中显示第一图像。作为非限制性示例,该图像显示物体1365(作为非限制性示例是心脏)。
用户1370观看物体1365,并且使框1383延伸以明显地“环绕”物体1365。体积显示1355允许将诸如框1383的真实物体插入到显示空间1360中。
用户接口1350还可选地包括计算机1385,其向体积显示1355提供控制和数据1390。框1383的位置由位置确定单元(未示出)定位。位置确定单元可选地通过识别安放到显示空间1360中的真实物体来确定框1383的位置。
框1383可选地定义位置输入,该位置输入定义了平面并且可选地定义了该平面内的有限区域。可选地,由接口定义的平面借助于本发明的体积显示而被显示给观看者。可选地,所定义的平面呈现在2D显示上。可选地,所定义的平面被实时地显示。
在本发明的一些实施例中,框1383可选地是三维框,例如具有线框立方体的形状的框。框的形状不限于如图13C中描绘的矩形的或者立方体的示例,而是包括多种类似线框的形状。
框1383可选地呈现位置输入,其定义了限制在框1383内的体积。
现在参照图14,其是两个用户1470、1472与正由根据本发明的实施例构建和操作的用户接口显示的相同物体1465交互的简化图。
用户接口(图14中示出了其显示空间1460)向第一用户1470和第二用户1472显示浮于空中图像。浮于空中图像具有物体1465。物体1465在相同位置且基本上同时向两个用户1470、1472出现,每个用户1470、1472从他们相应的位置观看物体1465。
用户接口可选地使用这里描述的体积显示的实施例来实施相同位置的同时显示。如果第一用户1470将真实物体(未示出)安放在体积显示的显示空间1460中,诸如作为非限制性示例,手、指针或框,则第二用户1472在与第一用户1470相同的位置看到该真实物体。如果例如第一用户1470使用指针指向所显示的物体1465上的位置,则第二用户1472看到指向相同位置的指针。
现在参照上面的叙述来解释术语“基本上同时”:两个用户“在相同位置且基本上同时”看到物体1465。物体1465的图像可选地通过对两个用户1470、1472闪烁短时间周期而被显示给每个用户,这些闪烁以每秒若干次的速率重复。两个用户1470、1472在同一秒期间开始看到物体1465每秒若干次,因此是“基本上同时”。
在用户接口的一些实施例中,如上文参照本发明的体积显示的实施例描述的,用户接口的浮于空中显示向第一用户1470显示不同于向第二用户1472显示的图像。(注意,图14未示出显示给第一用户1470的第一图像和显示给第二用户1472的不同第二图像。)在当前描述的实施例中,如果第一用户1470指向第一图像中的第一物体,则第二用户1472看到第一用户1470指向显示空间,而第二用户1472未看到第一图像,并且该指向通常对第二用户没有意义。
现在参照图15,其是两个用户1571、1572与正由根据本发明的实施例构建和操作的用户接口1500显示的相同物体交互的简化图。
图15的用户接口1500包括可选地彼此远离的两个体积显示1556、1557。两个体积显示1556、1557可选地均连接到计算机1551、1552,并且两个计算机1551、1552可选地通过功能连接1554而在功能上彼此连接。
在图15的实施例的第一示例使用中,第一体积显示1556在第一体积显示1556的显示空间1561中显示第一物体1565。第一用户1571使用指针1581指向第一物体1565。由指针1581指示的位置被拾取并且被传输1596到第一计算机1551。第一计算机1551可选地向第一体积显示1556发送信号和/或数据(指示第一用户1571指向哪里,可选地向第一用户1571提供反馈),并且可选地通过功能连接1554向第二计算机1552发送数据。
第二计算机1552可选地向第二体积显示1557发送信号和/或数据,第二体积显示1557可选地在第二体积显示1557的显示空间1562中显示第二物体1566的图像。
第二物体1562的图像可选地看似与第一物体1561的图像相同。第二物体1562的图像可选地还包括第一用户1571指向哪里的指示。
注意,第二用户1572可以指向第二物体1562的图像,并且由第二用户1572指示的位置可以被拾取并且被传输1597到第二计算机1552。第二计算机1552可以可选地向第二体积显示1557发送信号和/或数据(指示第二用户1572指向哪里,可选地向第二用户1572提供反馈),并且可选地通过功能连接1554向第一计算机1551发送数据。第一计算机1551可选地使得显示图像和所指向的位置。
功能连接1554可选地包括第一计算机1551和第二计算机1552之间的网络连接。
在一些实施例中,功能连接1554包括白板制作软件。
在本发明的一些实施例中,第一体积显示1556和第二体积显示1557不一定显示相同的图像。其中第一体积显示1556和第二体积显示1557显示不同图像的一些非限制性示例应用包括:远程教学,其中教师和学生可以观看不同的图像;以及游戏,其中一个用户看到不同于另一用户的图像,可选地一个用户看到比另一用户更多的内容并且游戏使用观看中的差异。
图15描述了使用体积显示1556、1557的两个集合。注意,不止两个体积显示可以连接到参照图15描述的功能。
彼此连接但彼此远离的两个或更多个体积显示的实施例对于医疗和/或教学目的而言是尤其有用的。医疗案例可以被呈现为三维体积图像,并且每个体积显示地点的用户可以讨论医疗案例,包括通过指出图像上的位置以及“触摸”图像。植入体或假体可以容纳(hold up to)在医疗图像中、尺寸相当,即使在植入体处于一个地点而医疗图像源即患者处于另一地点时。
图15描述了使用两个计算机1551、1552,每个体积显示1556、1557一个计算机。注意,假如足够的计算能力并且假如经过功能连接1554的足够通信带宽,则一个计算机可以用于支持两个体积显示1556、1557。
现在参照图16,其是用户1620将真实物体1680与正由根据本发明的实施例构建和操作的用户接口显示的物体1615进行比较的简化图。
图16描绘了显示空间1610,其是根据本发明的实施例构建和操作的用户接口的一部分。用户接口在显示空间1610中显示浮于空中物体1615。用户1620将真实物体1680安放在显示空间1610中,并且将真实物体1680与所显示的物体1615进行比较。
将图16的情形应用于真实世界的非限制性示例包括使用三维医疗数据集来显示诸如心脏或血管结构的浮于空中物体1615。心脏或血管结构是以实际尺寸显示的。例如医生或医疗学生的用户使支架容纳在心脏或血管结构中,并且将支架的尺寸与预期的心血管或者血管结构的尺寸比较。另一示例可以是使人造经皮心脏瓣容纳在预期植入的心脏的所显示解剖结构中。与浮于空中物体比较的真实物体1680可选地被安放在植入位置和/或挨着植入位置。在该非限制性示例中,用户可以解释支架或瓣的位置和取向,以提供良好的定位以及在例如尺寸、具体制造商或具体技术方面选择具体支架或瓣的能力。
图16的情形实现了:教授如何将植入体装配在身体中;研究和/开发新的植入体;以及植入体符合其目的的植入前验证。
图15中描绘的用户接口使得来自第一位置的医疗数据集能够显示在第二远程位置,并且可选地可以保持远程医疗会话,其中远程位置提供建议、指导,测量尺寸,比较植入体和/或工具尺寸,等等。
图16中的第一三维显示物体1615的比较可选地参照第二三维显示物体(图16中未示出)来执行。第一三维显示物体1615可选地与可选地被保存用于比较目的的物体(诸如工具和/或植入体)的三维表示集合中的一个比较。
在一些情形中,通过在包括如这里描述的体积显示的用户接口中观看第一和第二物体,将第一三维物体与第二三维物体比较。可以在使用本发明的用户接口的空间中使第一和第二物体移位和/或转动。
图16的情形实现了不一定在医疗环境中的物体的比较。作为非限制性示例,假设物体可以被显示,通止规(go/no-go gage)可以容纳在物体的浮于空中显示中,并且测试物体与标准的符合性。代替把通止规带到物体,把物体的三维显示带到通止规。
其中将真实物体1680与物体1615的显示进行比较的情形结合如上文参照图13A描述的显示空间1610内的真实物体1680的测量,使得能够测量真实物体1680和所显示的物体1615之间的差异。这些差异包括长度、平面面积、表面积和体积中的一个或多个差异。可选地针对物体和/或物体的部分测量这些差异。
现在参照如下四个问题列出上文描述的用户接口的一些细节:用于显示的数据源;显示设备;接口设备;以及支持软件和通信设备。
用于显示的数据源
典型地,对于3D表示,可选地输入和显示被称为体素或体积数据的XYZ点的云。该输入可选地来自生成这种信息的源,可选地来自诸如CAD模型的基于计算机的数据、和/或诸如医疗成像中的CT或MRI扫描的外部获取数据。
可选地,数据可以是二维的,例如来自计算机、电视、电缆、卫星等等的2D图像或者图像流。
可选地,2D/3D数据来源是全息的,即干涉图案或者干涉图案流。
可选地,数据可以来自如这里描述的本发明的用户接口,包括:由用户标记的空间中的具体位置输入点;由用户绘制的路径;和/或在与用户接口交互时和/或离线时用户在用户接口的显示空间中可选地产生的其他图像。
可选地,软件解释用户接口并且根据其任务产生2D或3D(包括全息)数据。例如,用户使用接口工具“触摸”的位置,用户接口可选地显示预先定义的指示,诸如作为非限制性示例,加亮和/或诸如星或十字的特定形状。
作为非限制性示例,可选地从3D医疗成像输入数据,其还被称为实时3D、4D或体积再现数据,其提供人类解剖学的体积和空间再现。
可选地,输入是3D数据图像流。
可选地,输入是“实时”提供的,即每秒24帧或更多。
2D/3D数据可选地提取自3D成像形态:CT;MRI;PET;3D转动血管造影;3D超声;和未来的/涌现的技术。
2D/3D数据可选地包括以上形态的组合,叠置和/或融合数据,其还被称为“组合成像”或“图像融合”。示例包括:相同患者的CT和MRI结果的融合;以及MR引导的超声治疗。
2D/3D数据可选地包括预先定义的解剖模型,如各种临床案例的解剖库,以及各个患者的图像集合。
2D/3D数据可选地包括来自诸如SolidWorks的CAD工具的2D/3D数据来源。2D/3D数据可以是静止图像和/或图像流。一些数据的示例标准包括:IGES、3DF、OBJ等。
2D数据可选地包括来自计算机的数据,其具有例如VESA标准,和/或来自电视相关系统的模拟和数字视频标准,诸如复合视频、DVI等。
在本发明的一些应用中,数据未被传递到体积显示。在这些情况中,用户可选地绘制线、物体、2D图像、体积图像并且可选地经由接口工具在显示空间中执行数字体积雕刻。绘制和/或“雕刻”可选地经由体积显示通过用户接口在显示空间中近实时地呈现。
显示设备
为了与浮于空中图像交互,可选地使用体积显示设备。通常,该设备使从数据产生的图像呈现为“浮于空中”,用于用户与图像交互。
图像数据源可以是2D、3D或体积的。
可选地使用本发明的宽视角显示,可选地通过如下图像呈现数据,该图像具有通过图像中心并且穿过显示设备中间的对称轴。可选地使用绝对坐标显示3D体积全息数据,其可由一个或多个观看者观看,和/或可由一个观看者在围绕显示器的不同位置观看。
2D信息可选地在各种取向上呈现为“浮于空中”,在360度圆中的任何方向上呈现平坦表面。2D图像可选地源自不同来源,并且可选地将不同的图像显示给不同的观看者。
可选地图像是体积/2D非“空中”图像的重复图像,通过使用重复成像光学元件使该重复图像是“空中”的。
可选地显示向观看者的双眼呈现两个不同的图像的3D视差屏障图像。
在本发明的一些实施例中,对于3D图像,“浮于空中”显示使用具有显示空间中的绝对坐标的投射3D图像。可选地使用高质量、宽视角的3D显示设备。这种显示设备的非限制性示例包括本发明的宽视角显示器以及可能未来的能够显示“浮于空中”图像的宽视角3D显示设备。
接口设备
支持显示空间中的2D/3D用户输入或操纵的工具被考虑为用作接口媒体。这些工具包括,作为非限制性示例,手持工具,诸如类似笔的设备;手势识别接口单元;物体识别接口单元,诸如用于识别手指和/或手指尖端;以及具有跟踪手持工具或手指的位置和/或取向的能力的跟踪系统。
可选地,每个分立的手指或工具可以被分立地检测,可选地被分立地识别,可选地进行不同的标记。
示例性接口设备是具有IR LED或LED的触笔。一个或多个IR相机位于用户接口的显示空间附近,其中发生交互并且呈现图像。IR相机可选地从LED接收IR信号并且位置计算单元可选地以高达六个自由度计算位置和/或取向。位置计算单元可以在硬件和/或软件中实现。可选地使用图像处理技术执行位置计算。位置计算单元可选地将工具或手指的位置和/或取向传递到用于根据用户接口程序执行动作的可选的计算机。作为非限制性示例,示例性动作是:标记空间中的点;绘制空间中的线或图像;计算空间中的距离;绘制路径;计算路径的绝对长度;绘制路径;保存路径的坐标;等等。
用于跟踪工具/物体的其他示例性方法包括:一个或多个CCD相机和用于执行图像处理的计算硬件,它们提取空间中的工具/物体的位置/取向;基于机械、磁、超声、光学和混合惯性的跟踪设备,一些或所有以上传感器的组合,和/或用于在空间中定位工具/物体的其他方法。
在空间中跟踪物体的一种涌现的方法基于使用相干光照射物体或者将图案照射到物体上,并且处理得到的图像以解释物体的位置和取向。以上操作可选地实时执行,就是说,在捕获图像帧所花费的时间内计算图像帧。该背景下的实时还意味着处于至少电影速率,诸如每秒24帧或更多,尽管可选地可以使用每秒2帧或者每秒10帧的速率。
正在开发这种方法的示例公司包括:Prime Sense Inc., of 28 Habarzel Street, Tel-Aviv, Israel;和3DV Systems, of 3DV Systems, 2 Carmel Street, Industrial Park Building 1, P.O.Box 249, Yokneam, 20692, Israel。
示例IR跟踪公司是NaturalPoint Inc, P.O. BOX 2317 Corvallis, OR 97339, USA。
示例惯性/超声跟踪公司是InterSense Inc., 4 Federal Street, Billerica, MA 01821 USA。
支持软件和通信设备
支持软件和通信设备可选地处理显示数据源、显示设备和接口设备,使它们同步以及在它们之间传输数据。
支持软件和通信设备负责用户接口的其他单元之间的通信和数据传输,使得所呈现的信息以如下方式包括原始数据、输入数据或者作为接口设备的结果的解释动作产物:组合数据可选地由显示设备呈现给一个或多个用户。
可选地,组合数据实时地呈现在静止3D图像或动态图像上。
可选地,图像是2D的。
可选地,图像是全息的。
可选地,支持软件和通信设备可以例如,根据经由3D接口从用户接收到的路径或其他指示,与用于执行空间中的任务的诸如机器人的其他系统通信。
可选地,该通信向远程显示设备传输数据或部分数据。
可选地,该通信向远程的其他系统传输数据或部分数据,这些系统使用该数据,允许远程系统中将充分利用的“空中”图像中的交互,不论其在远处还是附近。
可选地,数据经由RF发送。
可选地,数据经由有线物理层发送。
可选地,两个(或更多个)不同的用户使用相同的设备(系统和显示)与相同位置的相同体积或2D“空中”图像交互。
可选地,两个(或更多个)不同的用户使用分立的但是通信的设备(系统和显示)与不同位置的相同体积或2D“空中”图像交互。
示例应用
下文描述了本发明的用户接口的一些示例应用。
特定点的“空中”标记
对于投射的体积图像(可选地全息的),用户指向特定位置。借助于可听和/或按钮点击指示,用户标记显示空间中的特定点。例如,使用具有跟踪传感器的触笔,并且由用户在体积图像中标记特定点。用户接口记录触笔的空间位置和/或取向,并且将其保存在支持硬件中。保存的点被解释为一个或多个特定体素,并且显示设备可选地将这些点实时地呈现在体积图像上。
可选地,用户接口开始于在显示空间中没有投射的初始图像,并且仅有一个或多个用户随后标记的点呈现在显示空间中。
在图像被投射时,用户接口使得能够通过“触摸”图像中的特定点来捕获显示空间中的点,该点还被称为体素。可选地,接近该点使得能够通过环绕该点的预先定义的“云”进行捕获,从而用户不必触摸准确的位置,因此例如使用人手具有关于不准确性的某种容差。
可选地,显示设备投射特定的标记点,一旦用户指向足够接近,用户可以可选地“抓住”这些点,随后用户可以按压指向工具上的按钮以“抓住”点。
可选地,“标记”图像允许对标记区域“加标签”,从而在动态图像的情况中,标记区域可以被隔离并且可选地随时间跟踪标记区域的移动。示例是跟踪二尖瓣叶,其可选地由接口设备加标签。所显示的图像的未加标签的部分可选地被移除,并且可选地跟踪和具体地研究动态瓣叶。加标签可选地在医疗介入之前和之后执行,并且图像可选地被覆盖以比较和评估医疗介入的功效。这种加标签可选地被应用到包括再同步之前和之后的心肌、切除之前和之后的电生理通路(electrophysiological pathway)等的图像的其他静态和/或动态部分。
“空中标记”的附加示例包括:
用于人辅助边缘校正的工具,可选地遵循支持软件执行的边缘识别,其用于医疗成像,诸如基于超声的诊断、介入心脏手术等。
标记器官中的位置;
标记肿瘤的位置;
在身体中在空间中标记关于所提出的设备植入、器官和治疗介入的位置;以及
标记身体、器官外部的位置,其参照空间或器官中的固定点,并且其在身体或器官的移动或者身体或器官外部的移动(诸如EGG选通或者呼吸)期间维持该关系。
特定点的“空中”标记使得能够以直观的和精确的方式由空间图像的观看者“封闭”从眼睛到手;从手到用户接口;从用户接口到显示;以及从显示器到眼睛的“回路”。稍后,所标记的点或区域可以被传输到应对感兴趣的空间区域的其他系统并且由这些系统使用。示例可以是,肿瘤的特定区域上的聚焦辐射,用于对在器官上标记的特定点执行切除的机器人或工具等等。
体积和长度量化
对于所投射的图像,例如骨头组织,用户可选地标记骨头图像的一端,并且随后标记骨头图像的另一端。用户接口系统指示所标记的点并且借助于计算经由软件模块可选地计算骨头的长度。
如果需要路径长度,则用户可选地标记不止两个点,并且可选地计算路径长度。可选地,由用户绘制连续的路径,并且用户接口系统计算连续路径的长度。
为了对体积进行量化,可选地由用户标记体积轮廓上的若干个点,例如10个点,并且用户接口软件可选地计算各点之间的体积。可选地,软件推断测量结果并且显示连续的体积,其在形状上接近这些点标记的物体,并且计算体积。可选地所计算的形状实时地呈现在图像上,允许用户通过将所计算的形状边缘移动到真实形状的边缘来执行边缘校正,允许细微调节体积并且对体积进行量化。
可选地,所投射的图像是以1:1的比例投射的。可选地,所投射的图像可选地逐个用户输入地被放大或者被呈现地更小。用户接口系统可选地定义比例,因此可以对以各种比例显示的物体进行测量,并且用户接口系统可选地使用比例因子输出绝对测量结果。
特定点的“空中”标记使得能够进行长度、距离和体积的空中量化。用户为系统标记2个点以便于计算长度或距离,或者标记用户接口系统的多个点以计算体积。
在医疗领域中,存在不同器官的所接受的正常表面积和体积,其有时是根据身高、体重和/或身体表面积计算的。面积和体积是以ml、l、平方或立方cm来表述的,并且典型地在具有标准偏差的范围中表述并且被表述为Z值等。可选地,用户接口系统单独地和/或与静态的或动态的器官的实际图像一起投射静态的或动态的正常面积或体积(诸如肺体积),所述实际图像获取自CT、MRI或者用于生成实际或计算图像的其他这种形态。
用于量化的一些示例用途被列出如下。
在心脏病学的领域中,基于跳动心脏的体积对射血分数进行量化。
在肺病学的领域中,肺功能的体积分析。
基于标准参考,将器官的真实体积与器官的预测体积比较。
在产科学的领域中,基于胎儿器官或者胎儿身体的面积和/或体积量化来诊断胎儿。
其中体积量化是有用的其他领域包括矫形术和肿瘤学,例如用于映射和测量肿瘤。
类似框的接口设备
诸如医师的用户接口的用户常常希望观看体积图像中的特定平面。将被观看的特定平面可能具有各种取向和位置。通过参照本发明的用户接口描述关于人的特定平面的自然选择方法。
如下文所述,投射体积图像,并且接口设备的位置和取向可选地定义3D体积图像中的平面。
使用平面框,其可选地具有约为图像长轴的长度的对角线长度。可以使该平面成为“线框”,即外廓,或者成为一片透明材料,其可选地是玻璃或者聚碳酸酯。标记器可选地被置于框边缘上,例如角上的IR LED。用户确实地将框插入投射图像中,并且指示投射图像中的特定平面,或者平面中的框。特定平面或框中包括的数据被处理并且特定平面或框可以可选地被投射在体积显示和/或常规2D显示上。
可选地,图像中的框的连续移动产生了相同显示上的或者对应的一个或多个2D显示上的平面图像的连续流。
可选地,体积显示按框的限制“裁剪”图像平面。
可选地,框可以具有定义平面的任何尺寸和形状。可选地,框可以是定义图像中的三维形状的三维框。
可选地,平面的标记允许对标记的平面“加标签”。可选地在动态投射图像的情况中,标记区域可选地被隔离并且随时间跟踪该标记区域的移动。
用户接口的非限制性示例使用包括,当在经导管手术期间使用3D转动血管造影(3DRA)时,医师可选地选择用于在2D显示上观看的特定平面,其提取自“浮于”医师面前的体积图像,并且由类似框的接口定义。
空中图像操纵接口
对于所呈现的体积图像,用户可选地标记图像上的或者图像轮廓上的点,并且通过手势或者一些其他点标记方法,定义特定方向上的图像的转动。可选地,用户标记两个点,并且使图像转动,使得转动轴是由两个点定义的线所定义的轴。可选地至少部分地基于接收到标记点、通过软件和/或硬件解释标记点、定义将由显示投射的图像,并且可选地基于用户提供的诸如“转动”的特定“命令”,执行上述操纵。对应的图像可选地经由显示被再现和呈现。可选地该动作是实时执行的。
可选地,用户通过标记显示物体中的三个或更多个点来定义平面或框,并且“切分”物体,从而仅有该平面或框被投射。可选地,用户选择在平面的两侧和/或框外部裁剪图像。可选地,用户可以重复裁剪动作,因此定义一系列“裁剪”平面。
可选地,按照接口设备的取向,在图像上投射实时线,并且可选地根据“线的”路径裁剪图像。
可选地,按照接口设备的取向,由用户定义实时线,其可选地用作图像可以围绕其转动的对称轴。
可选地,显示具有诸如放大和/或缩小的指示的“空中”按钮,并且用户可以用接口设备“触摸”这些按钮。
可选地,可选地当按压按钮或者某种这样的命令形式时,用户使用类似框的接口“捕获”图像的一部分。在该情况中,用户可选地能够用他的手和/或用框移动所有虚拟图像,“如同”虚拟图像物理连接到框。上述能力与移动连接到棒的物体相似,并且用户可选地通过移动棒(像移动冰棒(popsicle))来移动物体。
“空中”导航
用户接口系统可选地接收位置指示符的位置并且将该位置呈现在显示空间中。系统可选地呈现在其中工具进行导航的图像,例如来自CT数据的图像或者实时超声图像。系统可选地在尺度相关之后,可选地将可选地来自诸如用于跟踪工具的单元的多种源的工具位置指示叠置在图像上。用户随后可选地视觉检查工具是否处于正确的位置或者正确的路线上。在工具位置不正确的情况中,用户可以虚拟地“触摸”投射的体积图像中的工具位置指示符,并且将工具位置指示符拖动到优选位置和/或路线。位置和/或路线的新坐标由接口工具记录并且可选地被提供给工具导航单元。
可选地,控制位置指示符导航的系统根据用户指示校正实际位置指示符的移动。
可选地,第二医生和/或用户根据第一用户的指示手动移动接口设备。随着接口设备可选地连续呈现在图像上,控制回路经由用户的视觉控制而“闭合”。
可选地,用户使用接口设备在显示空间中绘制路径。系统可选地记录路径中的每个点的坐标。路径坐标可以由诸如机器人的分立的机器使用,以控制机器跟随所绘制的路径。
可选地,可选地使用体积显示投射机器的图像,由医师和/或自动化机器监控机器,并且可以进行路径的实时校正。
3D导航已变为基于电生理学的心脏手术中的重要应用。“空中”导航可选地允许用户可选地实时地观看静态或动态图像,以及叠置在图像上的位置指示符和/或路径。作为另一示例,在肺病学/支气管镜检中也实施了电磁3D导航以提供对肺深处以及纵隔淋巴结深处的病区(lesion)的最小侵入性进入。
上文提到的被跟踪的机器也可以是工具或者可植入设备或治疗,诸如药物;支架;导管;瓣;永久性或临时性工具的组合;药物洗脱支架;附着于栓塞颗粒的化学治疗;受身体或器官外部的力或能量(诸如射频或声能量、超声或HIFU)影响的设备或传感器;用于切除的射频导管;和用于低温切除的导管。
远程外科手术
上面提到的显示空间中的工具图像的操纵引起在某处对真实工具的远程机器人操纵,使得能够进行远程外科手术和/或通过身体的远程导航。
可选地,用户操纵第一体积显示的显示空间中的真实工具,其还显示人体。跟踪操纵,并且使真实操纵对远程位置处的真实工具生效。远程位置处的身体改变被三维成像设备拾取,并且被发送到第一体积显示。用户因此看到真实工具的真实操纵的结果的图像。
可选地,用户在还显示人体的第一体积显示的显示空间中操纵工具的图像,即虚拟工具。跟踪该操纵,并且使真实操纵对远程位置处的真实工具生效。远程位置处的身体改变以及真实工具的改变被三维成像设备拾取,并且被发送到第一体积显示。用户因此看到真实工具对身体图像的真实操纵的结果的图像以及工具的图像。
“空中”绘制
本发明在其一些实施例中提供了一种用于在体积投射图像中绘制点、线和/或路径的工具,并且使得用户能够实时地看到绘图。“空中”绘制可选地提供用户/医师之间的合作工具,允许绘制点或标记空间以允许讨论图像中的感兴趣的特定解剖体或区域。
可选地,“空中”绘制可选地实时地通过计算被转变为显示空间的坐标,可选地,“空中”绘制通过计算被转变为某个其他空间的坐标,其可选地将由诸如机器人的其他器械使用。
关于“空中”绘制的医疗使用的非限制性示例是用于引导应用的特定标记器的实时位置。
显示图像内部的虚拟物体的定位
本发明在其一些实施例中提供了一种用于将虚拟物体的图像组合在根据来自输入源的数据产生的显示图像中的工具。用于定位显示图像内部的虚拟物体的一种使用可选地是通过显示体积图像来仿真设备选择。
各种工具/物体可以被3D建模,建模可选地包括动态操作。
用户可选地拣选虚拟工具/物体,并且使用3D接口在显示空间中移动虚拟工具/物体,将工具/物体定位在特定位置和取向。例如,可选地生成虚拟心脏瓣的图像,其在尺寸和形状上与特定瓣相似。用户可选地将虚拟瓣拖动到患者心脏的图像上。用户可选地标记心脏图像上的接口点以及虚拟瓣上的对应的点。显示计算单元可选地计算心脏和虚拟瓣的组合图像,并且将该组合呈现给用户。用户可选地估定瓣是否在正确的位置和取向上,并且如果需要,可选地执行另一次测量/指示。用户可选地还估定瓣的尺寸是否配合。
可选地,虚拟瓣可以是动态的,并且叠置在心脏的动态或静态图像上。
可选地,预测、计算和显示血流和组织移动的仿真。
可选地,用户要求在显示空间中显示来自虚拟图像库的实例,每个实例表示特定的实际工具或植入体。在诸如心脏支架的扩张工具的情况中,库可选地包括具有未扩张形式、扩张形式和扩张过程的动态表示的工具。
用于定位显示图像内部的虚拟物体的使用的其他非限制示例包括瓣定位;装配矫形假体;装配心内和心外假体、设备、可植入设备、支架、动脉移植、支架移植;以及诸如心室辅助设备的心室内设备。
图像内部的实际物体的定位
本发明在其一些实施例中提供了一种用于使真实物体与根据来自输入源的数据产生的图像组合的工具。该组合可选地用于真实设备选择,诸如心脏瓣选择。
用户可选地将真实物体,即可选地在以后将被插入身体的真实物体,安放在所显示的图像中。真实物体可以通过手插入,和/或可以使用用于握持真实物体的工具插入。用户可选地将物体定位在体积“空中”显示中投射的器官的静态或动态图像中。用户/医师可选地因此估定他希望将真实物体插入身体的方式,真实物体与身体部位物理匹配的水平等等。
关于在图像内部定位实际物体的使用的另一非限制性示例包括瓣定位。
交互式游戏
将真实物体插入体积显示的显示空间使得能够使用用户接口系统用于游戏。
作为非限制性示例,用户可选地在具有体积显示上的三维虚拟现实显示的游戏中挥动游戏道具,诸如剑、工具或者一些这样的道具。
所支持的游戏类型的非限制性示例是如上文参照图15描述的通过通信连接的两个或多个不同的体积显示处的两个或更多个用户的虚拟剑打斗。
由本发明的体积显示特别支持的有趣味的游戏是虚拟皮埃塔(pinata)。第一用户在体积显示的显示空间中挥动“棒”,并且未看到显示空间中的虚拟皮埃塔。其他用户看到显示空间中的虚拟皮埃塔,并且看到第一用户挥动的“棒”。虚拟皮埃塔游戏可以在一个体积显示处由游戏周围的两个或更多个用户来玩,或者在两个或更多个体积显示处玩。
另一有趣味的游戏是“战舰”的游戏,其中在相同的体积显示上每个用户仅看到他们自己的战舰。
基于将真实物体插入到显示空间中的能力的另一有趣味的游戏类别包括诸如拾取棒和层层叠(Jenga)的手眼协调的游戏。这些游戏可选地使用体积显示中三维显示的虚拟游戏筹码(piece),并且用户在进入显示空间时“抓住”游戏筹码。跟踪设备可选地测量手指到看到用户已握住游戏筹码之间的间隙。
一般注释
预见到在从本申请开始到专利到期的期间,许多相关的空间光调制器、全息图生成单元和体积显示将被开发,并且对应术语的范围旨在先验地包括所有这些新技术。
术语“成像”和“投射”在这里可以互换使用。
术语“示例性”在含义上用作示例、实例或说明。
术语“包括”、“包含”“具有”以及它们的同根变形词意味着“包括但不限于”。
术语“由…组成”意味着“包括且限于”。
术语“基本上由…组成”意味着组成、方法或结构可以包括附加成分、步骤和/或部件,但是仅仅在附加成分、步骤和/或部件不会在实质上改变要求保护的组成、方法或结构的基本的和新型的特性的情况下。
词“可选地”在这里用于表示“在一些实施例中提供而在其他实施例中未提供”。本发明的任何特定实施例可以包括多个“可选的”特征,除非这些特征存在冲突。
除非上下文清楚地指明附加情况,否则如这里使用的单数形式“一个”用于表示“至少一个”,因此明确地公开“一个”和“不止一个”。例如,术语“一个镜”可以包括多个镜。
如这里使用的术语“约”表示±10%。
这里以两个等同的格式可互换地提供了范围:“从X到Y”和“在X和Y之间”,并且在这两种情况中涵盖X、Y以及它们之间的任何数值。
应认识到,为了清楚起见在分立的实施例的背景下描述的本发明的某些特征也可以在单个实施例中组合提供。相反地,为了简明起见在单个实施例的背景下描述的本发明的各种特征也可以被分立地提供或者以任何适当的子组合提供或者在本发明的任何其他的所描述的实施例中适当地提供。各种实施例的背景下描述的某些特征不应被视为这些实施例的基本特征,除非该实施例在没有这些元素的情况下不能操作。
尽管已结合本发明的特定实施例描述了本发明,但是显然许多替选、修改和变化对于本领域的技术人员是明显的。因此,应涵盖落在所附权利要求的精神和广泛范围内的所有这些替选、修改和变化。
本说明书中提到的所有出版物、专利和专利申请的整体内容通过引用合并于本说明书中,合并到这样的程度:如同每个单独的出版物、专利或专利申请被具体地和单独地指示为通过引用合并于此。此外,本申请中的任何参考文献的引用或识别不应被解释为认可这些参考文献成为本发明的现有技术。对于所使用的章节标题,它们不应被解释为必要的限制。

Claims (129)

1. 一种浮于空中图像显示的方法,包括:
在一位置提供浮于空中显示设备;以及
从所述设备投射一个或多个浮于空中的计算机生成的图像,所述图像可在环绕所述位置的包括至少200弧度的角度范围上观看。
2. 根据权利要求1所述的方法,其中投射包括在其中预期观看者的小角度上选择性地投射。
3. 根据权利要求1所述的方法,其中投射包括使用多个图像生成模块来选择性地投射。
4. 根据权利要求1所述的方法,其中投射包括在不同方向上投射具有相同坐标系统的不同图像。
5. 根据权利要求1所述的方法,其中投射包括投射2D图像。
6. 根据权利要求1所述的方法,其中投射包括投射物体的图像,使得物体的呈现角度随着其视角改变以匹配围绕所述物体移动的效果。
7. 根据权利要求1所述的方法,其中投射包括投射3D图像。
8. 根据权利要求1所述的方法,其中投射包括投射全息图。
9. 根据权利要求1所述的方法,其中投射包括调整所述图像的投射距离。
10. 根据权利要求1所述的方法,其中投射包括调整所述图像的焦距。
11. 根据权利要求1所述的方法,其中投射包括针对相同观看者的不同眼睛投射不同图像。
12. 根据权利要求1所述的方法,其中投射包括从所述设备中的单个点投射。
13. 根据权利要求1所述的方法,其中投射包括投射具有共享坐标系统的图像。
14. 根据权利要求1所述的方法,其中投射包括使所述图像成像在显示底板未占用的位置。
15. 一种全息图显示设备,投射浮于空中的计算机生成的全息图,所述全息图可在至少180度的视角范围上同时观看。
16. 根据权利要求15所述的显示设备,其中所述全息图从隔开至少20度的视点共享相同坐标集。
17. 根据权利要求15所述的显示设备,包括全息图生成单元和用于投射全息图的至少一个透镜。
18. 根据权利要求15所述的显示设备,包括至少一个距离控制单元。
19. 根据权利要求15所述的显示设备,包括至少一个全息图瞄准机构。
20. 一种向多个观看者显示内容的方法,所述方法包括:
形成多个体积图像,每个体积图像具有至少一部分所述内容并且每个体积图像可从其自身的可视性空间观看;以及
使一个或多个所述可视性空间的一部分与每个观看者的瞳孔重叠。
21. 根据权利要求20所述的方法,其中所述可视性空间能够覆盖超过90度。
22. 根据权利要求20所述的方法,其中所述内容是单个景象;并且每个所述体积图像具有可从不同视点观看的所述单个景象的面。
23. 根据权利要求20所述的方法,其中观看者处于围绕由一个所述体积图像占用的空间的不同方位角度。
24. 根据权利要求23所述的方法,其中所述不同方位角度跨越整个圆。
25. 根据权利要求23所述的方法,其中所述不同方位角度跨越至少半圆。
26. 根据权利要求20至25中任一项所述的方法,其中两个所述观看者彼此距离至少1米。
27. 根据权利要求20至26中任一项所述的方法,其中观看者同时看到图像。
28. 根据权利要求20至27中任一项所述的方法,其中可视性空间与观看者的眼睛仅重叠短周期序列,并且所述短周期被适时地隔开,使得所述观看者看到连续场景。
29. 一种向多个观看者显示内容的系统,所述系统包括:
用于生成体积图像的单元,每个体积图像具有至少一部分所述内容并且每个体积图像可从其自身的可视性空间观看;以及
光学系统,用每个观看者的瞳孔来控制一个或多个所述可视性空间的一部分。
30. 根据权利要求29所述的系统,其中所述光学系统包括方位确定元件,该方位确定元件确定至少一个所述可视性空间关于可从所述可视性空间观看的体积图像的方位。
31. 一种系统,包括:
图像产生单元,产生近轴图像;和
光学系统,定义舞台并且使所述近轴图像成像到所述舞台,使得可从可视性空间观看所述舞台上的图像,
其中所述光学系统包括目镜和镜,所述镜被配置为以多个不同方位角度将光引导至所述目镜,且其中
每个所述方位角度确定所述可视性空间的不同位置;以及
对于每个所述方位角度,所述舞台的位置是相同的。
32. 根据权利要求31所述的系统,其中对于至少两个不同方位角度,提供两个不同立视图。
33. 一种使近轴图像成像以由观看者看到的的方法,所述观看者具有第一位置的瞳孔并且注视第二位置,所述方法包括:
生成所述近轴图像;
使所述近轴图像成像到所述观看者注视的位置,使得所述近轴图像的图像可从具有最宽部分和较窄部分的可视性空间观看;
响应于所述观看者的瞳孔的位置,选择第三位置;以及
使所述可视性空间的所述最宽部分成像到所选择的第三位置。
34. 一种向面朝给定位置的观看者显示景象的方法,所述方法包括:
估计所述观看者的眼睛的位置;
估计在所述景象在给定取向上处于给定位置的情况下所述观看者将看到哪些景象部分;以及
使仅部分景象的计算机生成的全息图成像到所述给定位置,所述部分包括所述所估计的景象部分,
其中成像是使得所述观看者能够看到全息图。
35. 根据权利要求34所述的方法,包括跟踪所述观看者的眼睛的位置,并且使计算机生成的全息图成像,使得当所述观看者移动时他保持看到所述给定位置的全息图。
36. 一种使计算机生成的全息图(CGH)成像的系统,所述系统包括:
全息图生成单元,包括空间光调制器(SLM);
光学系统,被配置为使由所述单元生成的全息图成像到第一位置并且使所述SLM的图像成像到第二位置;以及
控制器,被配置为控制使所述SLM的所述图像成像到第二位置,使得所述CGH被成像到所述光学系统和所述SLM的图像之间的位置。
37. 根据权利要求36所述的系统,其中所述控制器被配置为控制所述光学系统以在所期望的取向上在所述所期望的位置生成所述SLM的所述图像。
38. 根据权利要求36或37所述的系统,其中所述控制器被配置为在线改变所期望的位置和/或取向。
39. 根据权利要求38所述的系统,包括用于在线接收所述所期望的位置和/或取向的指示的输入。
40. 根据权利要求39所述的系统,其中所述输入包括用于从眼睛跟踪单元接收指示所述观看者的眼睛的位置的信号的接收器,并且所述控制器控制所述光学系统以将所述SLM的所述图像投射到所述所期望的位置,使得所述观看者的眼睛处于包括所述所期望的位置的可视性空间内。
41. 根据权利要求36至40中任一项所述的系统,其中所述光学系统包括:物镜;目镜和光程调整单元,所述光程调整单元可控制为响应于所述所期望的位置与所述目镜和所述物镜中的一个或多个之间的距离而调整所述物镜和所述目镜之间的光程。
42. 根据权利要求41所述的系统,其中所述光程调整单元被配置为在线调整所述光程。
43. 根据权利要求36至42中任一项所述的系统,包括镜,所述镜将从所述物镜到达所述镜的光反射到所述目镜的一部分,其中所述镜可控制为将所述光反射到所述目镜的不同部分。
44. 根据权利要求36至43中任一项所述的系统,其中所述目镜包括中空体。
45. 根据权利要求44所述的系统,其中所述中空体被整形为可通过使抛物线围绕轴旋转而获得的旋转固体,所述轴不在与所述抛物线相同的平面上。
46. 根据权利要求44所述的系统,其中所述中空圆柱体是球的一部分。
47. 根据权利要求44至46中任一项所述的系统,其中所述全息图生成单元在所述目镜内部。
48. 根据权利要求44至47中任一项所述的系统,包括围绕所述目镜的中心轴旋转的旋转镜。
49. 根据权利要求48所述的系统,其中从所述物镜去往所述旋转镜的光被朝向所述目镜反射。
50. 根据权利要求49所述的系统,其中所述光经过一个或多个光学元件从所述物镜到达所述旋转镜。
51. 根据权利要求50所述的系统,其中所述一个或多个光学元件包括光程调整元件,所述光程调整元件可控制为调整所述物镜和所述目镜之间的光程。
52. 一种用于成像的系统,所述系统包括:
目镜,具有覆盖至少90度弧角的内反射壁;以及
图像生成单元,驻留在所述腔内部,
其中所述目镜被配置为将图像从所述图像生成单元投射到一个或多个观看者。
53. 根据权利要求52所述的系统,其中所述图像生成单元包括至少一个元件,所述至少一个元件移动以便在角度范围上投射所述图像。
54. 根据权利要求52所述的系统,其中所述系统被配置为使得所述观看者由所述壁环绕。
55. 根据权利要求52所述的系统,其中所述目镜是中空的,定义腔,并且其中图像生成单元包括驻留在所述腔内部的全息图生成单元;并且包括
从由所述全息图生成单元生成的全息图去往所述内壁的光学路径上的物镜。
56. 根据权利要求55所述的系统,包括多个全息图生成单元,每个全息图生成单元与物镜关联。
57. 根据权利要求56所述的系统,被配置为使用所述目镜来创建由计算机生成单元中的不同计算机生成单元在单个位置产生的全息图的图像。
58. 根据权利要求57所述的系统,其中所述单个位置在所述目镜内部。
59. 根据权利要求55至58中任一项所述的系统,其中所述中空目镜具有内反射表面。
60. 根据权利要求59所述的系统,其中通过使驻留在第一平面上的弯曲围绕驻留在第二平面而非所述第一平面上的旋转轴旋转,可获得所述内表面的形状。
61. 根据权利要求60所述的系统,其中所述旋转轴垂直于所述第一平面。
62. 根据权利要求55至58中任一项所述的系统,其中所述内表面被整形为球壳的一部分。
63. 根据权利要求55至61中任一项所述的系统,其中多个全息图生成单元中的每一个包括空间光调制器(SLM),并且多个单元基元中的每一个包括光会聚物镜,所述光会聚物镜安置为焦点在所述SLM和由所述SLM产生的全息图之间。
64. 根据权利要求55至63中任一项所述的系统,其中所述多个单元基元中的每一个具有物镜,并且光程确定元件被配置为确定所述物镜和所述目镜之间的光程。
65. 根据权利要求64所述的系统,其中每个所述光程确定元件可独立于其他光程确定元件进行控制。
66. 根据权利要求55至65中任一项所述的系统,包括在所述目镜的中心处的旋转镜,其被配置为从所述多个单元基元接收光并且将所述光反射到所述目镜上。
67. 根据权利要求36所述的系统,其中所述控制器控制所述光学系统。
68. 根据权利要求36或67所述的系统,其中所述控制器控制所述全息图生成单元。
69. 一种用于实施浮于空中用户接口的方法,包括:
在第一浮于空中显示的显示空间中显示第一图像;
将真实物体插入到所述第一浮于空中显示的显示空间中;
在所述第一浮于空中显示的显示空间内定位所述真实物体的位置;
在所述显示空间中定位所述真实物体;以及
提供所述位置作为针对所述浮于空中用户接口的输入。
70. 根据权利要求69所述的方法,并且进一步包括至少部分基于所述位置而在所述第一浮于空中显示的显示空间中显示第二图像。
71. 根据权利要求69所述的方法,其中所述浮于空中显示是体积显示。
72. 根据权利要求70所述的方法,其中在将所述真实物体插入到所述显示空间中之后近实时地显示所述第二图像。
73. 根据权利要求72所述的方法,其中所述时间少于1/24秒。
74. 根据权利要求70所述的方法,其中所述第一图像是空白图像,并且所述第二图像包括所述位置的显示。
75. 根据权利要求69所述的方法,其中所述真实物体是手指。
76. 根据权利要求69所述的方法,并且进一步包括:
在所述第一图像中显示致动器;
移动所述真实物体的位置基本上接近所述致动器;以及
将所述位置输入解释为所述真实物体使所述致动器致动。
77. 根据权利要求69所述的方法,并且进一步包括:
移动所述真实物体的位置;
随时间跟踪所述真实物体的位置;
将所述位置输入解释为所述真实物体操纵所述第一图像的至少一部分。
78. 根据权利要求77所述的方法,并且进一步包括至少部分基于所述解释而向机器人设备发送控制命令。
79. 根据权利要求69所述的方法,其中所述真实物体进一步包括多个真实物体,并且使用每个真实物体的位置作为针对所述体积用户接口的位置输入。
80. 根据权利要求69所述的方法,其中所述第二图像不同于第一图像。
81. 根据权利要求69所述的方法,其中所述第二图像基本上等于第一图像加上所述位置输入的添加指示符。
82. 根据权利要求69所述的方法,其中所述位置包括基本上作为所述真实物体上的点的位置。
83. 根据权利要求82所述的方法,并且进一步包括至少部分基于所述位置来捕获子图像。
84. 根据权利要求83所述的方法,其中所述子图像包括体素。
85. 根据权利要求82所述的方法,其中所述位置进一步包括至少部分基于所述真实物体上的点的多个位置的多个位置。
86. 根据权利要求85所述的方法,其中由所述第一浮于空中显示来显示连接所述多个位置的路径。
87. 根据权利要求85所述的方法,其中所述多个位置包括两个位置,并且进一步包括至少部分基于这两个位置来定义三维中的线。
88. 根据权利要求85所述的方法,其中所述多个位置包括不在一条直线上的三个位置,并且进一步包括至少部分基于这三个位置来定义三维中的平面。
89. 根据权利要求85所述的方法,其中所述多个位置包括不在一个平面中的四个位置,并且进一步包括至少部分基于这四个位置来定义三维中的体积。
90. 根据权利要求85所述的方法,并且进一步包括至少部分基于所述多个位置来实施如下功能组中的一个功能:
对所述第一图像放大;
缩小所述第一图像;
裁剪所述第一图像;
转动所述第一图像;
切分所述第一图像;
测量所述第一图像内的长度;
测量所述第一图像内的面积;以及
测量所述第一图像内的体积。
91. 根据权利要求85所述的方法,进一步包括至少部分基于所述多个位置来实施子图像捕获。
92. 根据权利要求82所述的方法,并且进一步包括标记所述点以便基本上与所述真实物体的剩余部分对比。
93. 根据权利要求92所述的方法,并且进一步包括通过基本上紧凑的光源进行标记的标记。
94. 根据权利要求69所述的方法,其中所述位置包括由所述真实物体的长轴定义的线。
95. 根据权利要求69所述的方法,其中所述位置包括对应于所述真实物体的形状的框。
96. 根据权利要求69所述的方法,并且进一步包括所述第一浮于空中显示在与所述第一浮于空中显示显示所述第一图像基本上相同的时间显示第二图像,并且其中所述第一图像被显示给第一用户而所述第二图像被显示给第二用户。
97. 根据权利要求96所述的方法,其中所述第一图像和所述第二图像看似位于空间中的相同位置。
98. 根据权利要求69所述的方法,并且进一步包括:
第二浮于空中显示在与所述第一浮于空中显示显示所述第一图像基本上相同的时间显示第二图像,以及
其中所述第一图像被显示给第一用户,而所述第二图像被显示给第二用户。
99. 根据权利要求98所述的方法,其中所述第一浮于空中显示基本上远离所述第二浮于空中显示,并且进一步包括所述第一浮于空中显示和所述第二浮于空中显示之间的通信信道。
100. 根据权利要求96所述的方法,其中所述第一显示和所述第二显示用于实施所述第一用户和所述第二用户之间的远程医疗交互。
101. 根据权利要求96所述的方法,其中所述第一显示和所述第二显示用于实施所述第一显示和所述第二显示之间的类似白板的合作共享。
102. 根据权利要求96所述的方法,其中所述第一显示和所述第二显示用于实施用户在所述第一浮于空中显示处的远程教学。
103. 根据权利要求96所述的方法,其中所述第一显示和所述第二显示用于实施所述第一用户和所述第二用户参与其中的游戏。
104. 根据权利要求96所述的方法,其中所述第一显示不同于所述第二显示。
105. 根据权利要求96所述的方法,其中所述第一显示显示比所述第二显示更多的内容。
106. 一种用于实现在相同的显示空间中观看动态生成的浮于空中显示的物体和真实物体的方法,包括:
在第一浮于空中显示上显示体积显示的物体;以及
将所述真实物体插入到所述第一浮于空中显示的显示空间中。
107. 根据权利要求106所述的方法,其中所述浮于空中显示是体积显示。
108. 根据权利要求106所述的方法,其中动态生成的包括计算机生成的。
109. 根据权利要求106所述的方法,并且进一步包括将所述真实物体与所述浮于空中显示的物体的至少一部分进行比较。
110. 根据权利要求109所述的方法,其中所述真实物体包括对照其测量物体的标准,并且所述比较实现对符合标准的判断。
111. 根据权利要求109所述的方法,其中所述真实物体是用于插入到身体中的医疗设备,并且所述浮于空中显示的物体的至少一部分是从三维数据集生成的身体的至少一部分。
112. 根据权利要求109所述的方法,其中所述比较进一步包括测量所述真实物体和所述浮于空中显示的物体的至少一部分之间的尺寸差异。
113. 根据权利要求112所述的方法,其中所述测量尺寸差异包括测量由如下组成的组中的至少一个:
长度差异;
平面面积差异;
表面积差异;以及
体积差异。
114. 一种用于实现观看来自身体的三维数据集的浮于空中显示的身体部位和来自一个或多个虚拟物体的三维数据集的体积显示的虚拟物体的方法,包括:
将所述浮于空中显示的身体部位显示在第一浮于空中显示上;以及
使所述虚拟物体叠加到所述第一浮于空中显示的显示空间中。
115. 根据权利要求114所述的方法,其中所述虚拟物体和所述浮于空中显示的身体部位在所述第一浮于空中显示的显示空间中彼此相对移动。
116. 根据权利要求114所述的方法,并且进一步包括将所述虚拟物体与所述身体部位的至少一部分进行比较。
117. 一种用户接口,包括:
第一浮于空中显示;以及
适于接受来自第一显示空间内的第一位置的输入的第一输入单元,所述第一显示空间是由所述第一浮于空中显示在其内显示物体的体积。
118. 根据权利要求117所述的用户接口,其中所述浮于空中显示是体积显示。
119. 根据权利要求117所述的用户接口,其中所述浮于空中显示是二维浮于空中显示。
120. 根据权利要求117所述的用户接口,其中所述第一浮于空中显示适于显示第一位置。
121. 根据权利要求120所述的用户接口,进一步包括第二浮于空中显示,其中所述第二浮于空中显示显示与所述第一浮于空中显示同样的显示,包括显示所述第一位置。
122. 根据权利要求121所述的用户接口,并且进一步包括适于接受来自第二显示空间内的第二位置的输入的第二输入单元,所述第二显示空间是由所述第二浮于空中显示所显示的物体出现在其内的体积,并且其中所述第一浮于空中显示适于显示与所述第二浮于空中显示同样的显示,包括显示所述第二位置。
123. 根据权利要求122所述的用户接口,其中来自所述第一位置的输入和来自所述第二位置的输入均被显示。
124. 根据权利要求122所述的用户接口,其中所述第一浮于空中显示位于与所述第二浮于空中显示不同的房间中。
125. 根据权利要求122所述的用户接口,其中所述第一浮于空中显示远离所述第二浮于空中显示至少100米。
126. 根据权利要求117所述的用户接口,其中所述第一浮于空中体积显示适于至少部分基于所述位置和基于在所述位置正显示的内容来提供感官反馈。
127. 根据权利要求117所述的用户接口,其中所述第一浮于空中体积显示适于显示全息图。
128. 一种用于实施浮于空中用户接口的方法,包括:
在第一浮于空中显示的显示空间中显示第一图像;
将真实物体插入到所述显示空间中;
检测所述真实物体在所述显示空间内的位置;
使用所述位置作为针对所述用户接口的输入;以及
在所述显示空间中加亮所述位置。
129. 一种用户接口,包括:
用于显示浮于空中显示的装置;
用于接受来自显示空间内的位置的输入的装置,所述显示空间是由所述浮于空中显示所显示的物体出现在其内的体积。
CN2009801352024A 2008-07-10 2009-07-09 宽视角显示和用户接口 Active CN102150072B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201310336948.XA CN103558689B (zh) 2008-07-10 2009-07-09 用户接口以及用于实施浮于空中用户接口的方法
CN201310336947.5A CN103529554B (zh) 2008-07-10 2009-07-09 宽视角显示和用户接口

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12966508P 2008-07-10 2008-07-10
US61/129665 2008-07-10
PCT/IL2009/000686 WO2010004563A1 (en) 2008-07-10 2009-07-09 Broad viewing angle displays and user interfaces

Related Child Applications (2)

Application Number Title Priority Date Filing Date
CN201310336947.5A Division CN103529554B (zh) 2008-07-10 2009-07-09 宽视角显示和用户接口
CN201310336948.XA Division CN103558689B (zh) 2008-07-10 2009-07-09 用户接口以及用于实施浮于空中用户接口的方法

Publications (2)

Publication Number Publication Date
CN102150072A true CN102150072A (zh) 2011-08-10
CN102150072B CN102150072B (zh) 2013-08-21

Family

ID=41120112

Family Applications (3)

Application Number Title Priority Date Filing Date
CN2009801352024A Active CN102150072B (zh) 2008-07-10 2009-07-09 宽视角显示和用户接口
CN201310336947.5A Active CN103529554B (zh) 2008-07-10 2009-07-09 宽视角显示和用户接口
CN201310336948.XA Active CN103558689B (zh) 2008-07-10 2009-07-09 用户接口以及用于实施浮于空中用户接口的方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201310336947.5A Active CN103529554B (zh) 2008-07-10 2009-07-09 宽视角显示和用户接口
CN201310336948.XA Active CN103558689B (zh) 2008-07-10 2009-07-09 用户接口以及用于实施浮于空中用户接口的方法

Country Status (6)

Country Link
US (6) US8500284B2 (zh)
EP (1) EP2304491A1 (zh)
JP (4) JP5805531B2 (zh)
KR (3) KR101908033B1 (zh)
CN (3) CN102150072B (zh)
WO (1) WO2010004563A1 (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436169A (zh) * 2011-12-19 2012-05-02 中山大学 一种360°可视真三维图像显示系统及其显示方法
CN103019023A (zh) * 2012-11-21 2013-04-03 中山大学 基于体视技术的全视角三维显示系统和方法
CN104125805A (zh) * 2011-12-23 2014-10-29 皇家飞利浦有限公司 用于三维超声图像的交互显示的方法与装置
CN104246574A (zh) * 2012-04-20 2014-12-24 浜松光子学株式会社 变焦透镜
CN105005190A (zh) * 2014-12-19 2015-10-28 上海大学 液晶空间光调制器正交组合全息显示方法及装置
CN105072987A (zh) * 2013-03-15 2015-11-18 托佩拉公司 定义与生物节律紊乱相关的旋转源的系统和方法
CN105824417A (zh) * 2016-03-16 2016-08-03 成都电锯互动科技有限公司 一种采用虚拟现实技术的人与物的结合方法
CN106162129A (zh) * 2016-08-31 2016-11-23 蒋欣飏 一种投影装置
CN106502075A (zh) * 2016-11-09 2017-03-15 微美光速资本投资管理(北京)有限公司 一种全息投影方法
CN107390380A (zh) * 2017-05-12 2017-11-24 上海誉沛光电科技有限公司 一种显示装置、导光平板及多层悬浮显示设备
CN107687818A (zh) * 2016-08-04 2018-02-13 纬创资通股份有限公司 三维量测方法及三维量测装置
CN109765695A (zh) * 2019-03-29 2019-05-17 京东方科技集团股份有限公司 一种显示系统和显示装置
CN110638524A (zh) * 2019-09-16 2020-01-03 山东省肿瘤防治研究院(山东省肿瘤医院) 一种基于vr眼镜的肿瘤穿刺实时模拟系统
CN111050145A (zh) * 2018-10-11 2020-04-21 上海云绅智能科技有限公司 一种多屏融合成像的方法、智能设备及系统
CN111766949A (zh) * 2020-07-16 2020-10-13 腾讯科技(深圳)有限公司 三维图像显示设备、显示方法、电子设备以及存储介质
CN112272789A (zh) * 2018-06-15 2021-01-26 大陆汽车有限责任公司 具有可变的投影距离的用于生成虚拟图像的设备
CN113282174A (zh) * 2021-05-27 2021-08-20 中国联合网络通信集团有限公司 终端信息显示方法、装置、终端及存储介质
CN113632457A (zh) * 2019-03-12 2021-11-09 光场实验室公司 包含全息内容的视频通信
CN116974091A (zh) * 2023-09-25 2023-10-31 成都工业学院 一种立体显示管

Families Citing this family (188)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7557818B1 (en) * 2004-10-06 2009-07-07 Apple Inc. Viewing digital images using a floating controller
US8456488B2 (en) * 2004-10-06 2013-06-04 Apple Inc. Displaying digital images using groups, stacks, and version sets
US20150121287A1 (en) * 2006-07-03 2015-04-30 Yoram Ben-Meir System for generating and controlling a variably displayable mobile device keypad/virtual keyboard
US8775953B2 (en) * 2007-12-05 2014-07-08 Apple Inc. Collage display of image projects
US9241768B2 (en) 2008-03-27 2016-01-26 St. Jude Medical, Atrial Fibrillation Division, Inc. Intelligent input device controller for a robotic catheter system
WO2009120982A2 (en) 2008-03-27 2009-10-01 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter system with dynamic response
US9161817B2 (en) 2008-03-27 2015-10-20 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter system
US8317744B2 (en) 2008-03-27 2012-11-27 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter manipulator assembly
US8684962B2 (en) 2008-03-27 2014-04-01 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter device cartridge
US8343096B2 (en) 2008-03-27 2013-01-01 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter system
WO2009120992A2 (en) 2008-03-27 2009-10-01 St. Jude Medical, Arrial Fibrillation Division Inc. Robotic castheter system input device
US8282485B1 (en) 2008-06-04 2012-10-09 Zhang Evan Y W Constant and shadowless light source
KR101908033B1 (ko) 2008-07-10 2018-12-10 리얼 뷰 이미징 리미티드 광시야각 디스플레이들 및 사용자 인터페이스들
US8704822B2 (en) * 2008-12-17 2014-04-22 Microsoft Corporation Volumetric display system enabling user interaction
US9747417B2 (en) * 2013-11-14 2017-08-29 Mores, Inc. Method and apparatus for enhanced personal care
EP2427142B1 (en) * 2009-05-08 2017-11-01 Koninklijke Philips N.V. Ultrasonic planning and guidance of implantable medical devices
US9439736B2 (en) 2009-07-22 2016-09-13 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for controlling a remote medical device guidance system in three-dimensions using gestures
US9330497B2 (en) 2011-08-12 2016-05-03 St. Jude Medical, Atrial Fibrillation Division, Inc. User interface devices for electrophysiology lab diagnostic and therapeutic equipment
US9888973B2 (en) 2010-03-31 2018-02-13 St. Jude Medical, Atrial Fibrillation Division, Inc. Intuitive user interface control for remote catheter navigation and 3D mapping and visualization systems
US8928659B2 (en) * 2010-06-23 2015-01-06 Microsoft Corporation Telepresence systems with viewer perspective adjustment
US9132352B1 (en) 2010-06-24 2015-09-15 Gregory S. Rabin Interactive system and method for rendering an object
KR101172291B1 (ko) * 2010-08-13 2012-08-08 주식회사 시공테크 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 시스템 및 그 방법
US8943541B2 (en) * 2010-10-11 2015-01-27 Eldon Technology Limited Holographic 3D display
KR101758163B1 (ko) * 2010-12-31 2017-07-14 엘지전자 주식회사 이동 단말기 및 그의 홀로그램 제어방법
EP2663901B1 (en) * 2011-01-14 2019-03-06 Levent Onural Apparatus for holographic display
JP5785753B2 (ja) * 2011-03-25 2015-09-30 京セラ株式会社 電子機器、制御方法および制御プログラム
EP2506118A1 (en) * 2011-03-29 2012-10-03 Sony Ericsson Mobile Communications AB Virtual pointer
US20120290976A1 (en) * 2011-05-13 2012-11-15 Medtronic, Inc. Network distribution of anatomical models
KR20120132240A (ko) * 2011-05-27 2012-12-05 삼성전자주식회사 복수의 사용자에게 복수의 영상을 제공하는 듀얼 뷰 디스플레이 방법 및 듀얼 뷰 안경 구동 방법, 이를 적용한 디스플레이 장치 및 듀얼 뷰 안경
FR2976681B1 (fr) * 2011-06-17 2013-07-12 Inst Nat Rech Inf Automat Systeme de colocalisation d'un ecran tactile et d'un objet virtuel et dispostif pour la manipulation d'objets virtuels mettant en oeuvre un tel systeme
WO2013057649A1 (en) * 2011-10-20 2013-04-25 Koninklijke Philips Electronics N.V. Holographic user interfaces for medical procedures
GB2498184A (en) * 2012-01-03 2013-07-10 Liang Kong Interactive autostereoscopic three-dimensional display
JP2013168120A (ja) * 2012-01-19 2013-08-29 Panasonic Corp 立体画像処理装置、立体画像処理方法、及びプログラム
US20130257692A1 (en) 2012-04-02 2013-10-03 Atheer, Inc. Method and apparatus for ego-centric 3d human computer interface
US9619036B2 (en) 2012-05-11 2017-04-11 Comcast Cable Communications, Llc System and methods for controlling a user experience
US9116666B2 (en) 2012-06-01 2015-08-25 Microsoft Technology Licensing, Llc Gesture based region identification for holograms
TW201352011A (zh) * 2012-06-08 2013-12-16 Hon Hai Prec Ind Co Ltd 顯示器
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
WO2014020602A2 (en) * 2012-08-01 2014-02-06 Real View Imaging Ltd. Despeckling a computer generated hologram
US9636025B2 (en) 2012-08-15 2017-05-02 Nanyang Technological University Systems and methods for pedal revascularization assessment
US8963988B2 (en) * 2012-09-14 2015-02-24 Tangome, Inc. Camera manipulation during a video conference
KR20140049865A (ko) * 2012-10-18 2014-04-28 엘지전자 주식회사 공간 영상 제공 장치
US10241638B2 (en) * 2012-11-02 2019-03-26 Atheer, Inc. Method and apparatus for a three dimensional interface
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
KR101956073B1 (ko) 2012-12-20 2019-03-08 삼성전자주식회사 시각적 인디케이터를 이용하여 사용자 인터페이스를 제공하는 3차원 입체 영상 표시 장치 및 그 장치를 이용한 방법
KR20140090838A (ko) * 2013-01-10 2014-07-18 한국전자통신연구원 홀로그램 영상 표시 장치 및 방법
US20140253432A1 (en) * 2013-01-21 2014-09-11 Holly Tina Ferguson Sensor-monitored, 3d, interactive holographic freespace control unit (hfcu) and associated components
US11206990B2 (en) * 2013-01-23 2021-12-28 Pedra Technology Pte Ltd Deep tissue flowmetry using diffuse speckle contrast analysis
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9406253B2 (en) * 2013-03-14 2016-08-02 Broadcom Corporation Vision corrective display
KR102003383B1 (ko) * 2013-03-14 2019-07-24 삼성전자주식회사 전자 장치에서 이미지를 촬영하는 위한 장치 및 방법
US9367136B2 (en) * 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US9245387B2 (en) * 2013-04-12 2016-01-26 Microsoft Technology Licensing, Llc Holographic snap grid
GB2515460B (en) 2013-04-12 2016-01-06 Two Trees Photonics Ltd Near-eye device
WO2014185920A1 (en) * 2013-05-16 2014-11-20 Empire Technology Development, Llc Three dimensional user interface in augmented reality
KR101968332B1 (ko) * 2013-05-27 2019-04-12 한국전자통신연구원 광시야각 홀로그래픽 이미지 디스플레이 방법 및 장치
US9025226B2 (en) * 2013-05-28 2015-05-05 Raytheon Company Infrared holographic projector for thermal masking and decoys
WO2015004670A1 (en) * 2013-07-10 2015-01-15 Real View Imaging Ltd. Three dimensional user interface
US10533850B2 (en) 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9113036B2 (en) 2013-07-17 2015-08-18 Ebay Inc. Methods, systems, and apparatus for providing video communications
KR20150012697A (ko) * 2013-07-26 2015-02-04 한국전자통신연구원 피드백 기반 디지털 홀로그래픽 콘텐츠 복원 검증 장치 및 방법
US20150042640A1 (en) * 2013-08-07 2015-02-12 Cherif Atia Algreatly Floating 3d image in midair
KR20150026358A (ko) * 2013-09-02 2015-03-11 삼성전자주식회사 피사체 정보에 따른 템플릿 피팅 방법 및 그 장치
US9591295B2 (en) * 2013-09-24 2017-03-07 Amazon Technologies, Inc. Approaches for simulating three-dimensional views
US9437038B1 (en) 2013-09-26 2016-09-06 Amazon Technologies, Inc. Simulating three-dimensional views using depth relationships among planes of content
US9883173B2 (en) 2013-12-25 2018-01-30 3Di Llc Stereoscopic display
US11343487B2 (en) 2013-10-31 2022-05-24 David Woods Trackable glasses system for perspective views of a display
US10652525B2 (en) 2013-10-31 2020-05-12 3Di Llc Quad view display system
US9986228B2 (en) 2016-03-24 2018-05-29 3Di Llc Trackable glasses system that provides multiple views of a shared display
US10116914B2 (en) * 2013-10-31 2018-10-30 3Di Llc Stereoscopic display
KR20150097029A (ko) * 2014-02-17 2015-08-26 한국전자통신연구원 디지털 홀로그래픽 디스플레이 장치 및 방법
US20150253845A1 (en) * 2014-03-05 2015-09-10 Umoove Services Ltd. System and method for altering a perspective of a figure presented on an electronic display
US10048647B2 (en) 2014-03-27 2018-08-14 Microsoft Technology Licensing, Llc Optical waveguide including spatially-varying volume hologram
FI20145396A (fi) * 2014-04-29 2015-10-30 Satavision Oy Virtuaalivitriini
JP6079695B2 (ja) * 2014-05-09 2017-02-15 コニカミノルタ株式会社 画像表示撮影システム、撮影装置、表示装置、画像の表示および撮影の方法、およびコンピュータープログラム
JP6413372B2 (ja) * 2014-06-11 2018-10-31 オムロン株式会社 操作ユニットおよび遊技機
US9841844B2 (en) * 2014-06-20 2017-12-12 Funai Electric Co., Ltd. Image display device
GB2517069B (en) * 2014-06-23 2015-09-02 Liang Kong Autostereoscopic virtual reality platform
WO2016008988A1 (en) 2014-07-16 2016-01-21 Sony Corporation Apparatus for presenting a virtual object on a three-dimensional display and method for controlling the apparatus
KR20160016468A (ko) * 2014-08-05 2016-02-15 삼성전자주식회사 리얼 3d 영상 생성 방법 및 그 장치
US10547825B2 (en) 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
WO2016047173A1 (ja) 2014-09-24 2016-03-31 オリンパス株式会社 医療システム
WO2016067397A1 (ja) * 2014-10-29 2016-05-06 日立マクセル株式会社 感覚提示装置、操作処理装置及び画像表示装置
US10379496B2 (en) 2014-12-08 2019-08-13 Levent Onural System and method for displaying and capturing holographic true 3D images
JP6637654B2 (ja) * 2014-12-26 2020-01-29 国立大学法人東京農工大学 ホログラム表示装置
US9759919B2 (en) 2015-01-05 2017-09-12 Microsoft Technology Licensing, Llc Virtual image display with curved light path
US10247941B2 (en) * 2015-01-19 2019-04-02 Magna Electronics Inc. Vehicle vision system with light field monitor
JP6637658B2 (ja) * 2015-02-23 2020-01-29 国立大学法人東京農工大学 ホログラム表示装置
US9586618B2 (en) 2015-03-16 2017-03-07 Thunder Power Hong Kong Ltd. Vehicle control system for controlling steering of vehicle
US9866163B2 (en) 2015-03-16 2018-01-09 Thunder Power New Energy Vehicle Development Company Limited Method for controlling operating speed and torque of electric motor
US10173687B2 (en) 2015-03-16 2019-01-08 Wellen Sham Method for recognizing vehicle driver and determining whether driver can start vehicle
US9547373B2 (en) 2015-03-16 2017-01-17 Thunder Power Hong Kong Ltd. Vehicle operating system using motion capture
US9550406B2 (en) 2015-03-16 2017-01-24 Thunder Power Hong Kong Ltd. Thermal dissipation system of an electric vehicle
US9539988B2 (en) 2015-03-16 2017-01-10 Thunder Power Hong Kong Ltd. Vehicle camera cleaning system
US9954260B2 (en) 2015-03-16 2018-04-24 Thunder Power New Energy Vehicle Development Company Limited Battery system with heat exchange device
US10703211B2 (en) 2015-03-16 2020-07-07 Thunder Power New Energy Vehicle Development Company Limited Battery pack, battery charging station, and charging method
WO2016153083A1 (ko) * 2015-03-20 2016-09-29 전자부품연구원 웨지 프리즘을 이용한 테이블탑형 홀로그래픽 디스플레이 시스템
US10284816B2 (en) 2015-03-23 2019-05-07 Intel Corporation Facilitating true three-dimensional virtual representation of real objects using dynamic three-dimensional shapes
CN105519102B (zh) * 2015-03-26 2018-12-28 北京旷视科技有限公司 视频监控方法和视频监控系统
US20160364003A1 (en) * 2015-06-10 2016-12-15 Wayne Patrick O'Brien Holographic interface for manipulation
US11449146B2 (en) * 2015-06-10 2022-09-20 Wayne Patrick O'Brien Interactive holographic human-computer interface
US9895803B1 (en) * 2015-06-19 2018-02-20 X Development Llc Calculating trajectory corridor for robot end effector
US10210844B2 (en) 2015-06-29 2019-02-19 Microsoft Technology Licensing, Llc Holographic near-eye display
GB201513333D0 (en) * 2015-07-29 2015-09-09 Khan Javid Volumetric display
US20170038828A1 (en) * 2015-08-03 2017-02-09 Yen-Ting Cho Timeline-Based Three-Dimensional Visualization Of Video Or File Content
KR102412156B1 (ko) 2015-08-28 2022-06-22 한국전자통신연구원 홀로글래픽 디스플레이 장치
JP6615541B2 (ja) * 2015-09-02 2019-12-04 株式会社バンダイナムコアミューズメント 投影システム
WO2017047527A1 (ja) * 2015-09-15 2017-03-23 コニカミノルタ株式会社 フィットネス機器およびフィットネスシステム
US10630965B2 (en) * 2015-10-02 2020-04-21 Microsoft Technology Licensing, Llc Calibrating a near-eye display
US10073520B2 (en) * 2015-10-30 2018-09-11 Sony Mobile Communications Inc. Method and system for interaction using holographic display system
US9581962B1 (en) * 2015-11-20 2017-02-28 Arht Media Inc. Methods and systems for generating and using simulated 3D images
US10788966B2 (en) * 2016-02-10 2020-09-29 Disney Enterprises, Inc. Systems and methods for interacting with a virtual interface
US10616662B2 (en) 2016-02-10 2020-04-07 Disney Enterprises, Inc. Systems and methods to provide video and control signals over an internet protocol communications network
US11663937B2 (en) 2016-02-22 2023-05-30 Real View Imaging Ltd. Pupil tracking in an image display system
WO2017145158A1 (en) 2016-02-22 2017-08-31 Real View Imaging Ltd. Zero order blocking and diverging for holographic imaging
US10795316B2 (en) 2016-02-22 2020-10-06 Real View Imaging Ltd. Wide field of view hybrid holographic display
EP3420413A1 (en) 2016-02-22 2019-01-02 Real View Imaging Ltd. A method and system for displaying holographic images within a real object
EP3420414A2 (en) * 2016-02-22 2019-01-02 Real View Imaging Ltd. Holographic display
CN108882854B (zh) 2016-03-21 2022-05-24 华盛顿大学 3d医学图像的虚拟现实或增强现实可视化
EP3179450B1 (de) 2016-04-12 2020-09-09 Siemens Healthcare GmbH Verfahren zur multisensorischen darstellung eines objekts und darstellungssystem
US10719193B2 (en) * 2016-04-20 2020-07-21 Microsoft Technology Licensing, Llc Augmenting search with three-dimensional representations
US10310284B1 (en) * 2016-07-09 2019-06-04 Mary Gormley Waldron Apparatus and method for projecting three-dimensional holographic images
JP6645371B2 (ja) 2016-07-15 2020-02-14 オムロン株式会社 光デバイス及び立体表示方法
US10234935B2 (en) 2016-08-11 2019-03-19 Microsoft Technology Licensing, Llc Mediation of interaction methodologies in immersive environments
CN106292240A (zh) * 2016-09-05 2017-01-04 京东方科技集团股份有限公司 全息显示装置及其显示方法
CN107966892B (zh) * 2016-10-20 2020-06-02 京东方科技集团股份有限公司 一种全息显示装置及其控制方法
CN106406063A (zh) * 2016-10-28 2017-02-15 京东方科技集团股份有限公司 全息显示系统和全息显示方法
US10254542B2 (en) 2016-11-01 2019-04-09 Microsoft Technology Licensing, Llc Holographic projector for a waveguide display
US9983684B2 (en) 2016-11-02 2018-05-29 Microsoft Technology Licensing, Llc Virtual affordance display at virtual target
CN106681498A (zh) * 2016-12-12 2017-05-17 歌尔科技有限公司 虚拟现实场景正对用户的实现方法、装置及虚拟现实设备
US11022939B2 (en) 2017-01-03 2021-06-01 Microsoft Technology Licensing, Llc Reduced bandwidth holographic near-eye display
US10175650B2 (en) 2017-01-16 2019-01-08 International Business Machines Corporation Dynamic hologram parameter control
US10303118B2 (en) * 2017-01-16 2019-05-28 International Business Machines Corporation Holographic representations of digital object transfers
US10775740B2 (en) * 2017-01-24 2020-09-15 International Business Machines Corporation Holographic projection of digital objects in video content
DE102017103721B4 (de) * 2017-02-23 2022-07-21 Karl Storz Se & Co. Kg Vorrichtung zur Erfassung eines Stereobilds mit einer rotierbaren Blickrichtungseinrichtung
US10933579B2 (en) * 2017-03-10 2021-03-02 Prellis Biologics, Inc. Methods and systems for printing biological material
US11085018B2 (en) 2017-03-10 2021-08-10 Prellis Biologics, Inc. Three-dimensional printed organs, devices, and matrices
JP6775197B2 (ja) * 2017-03-23 2020-10-28 パナソニックIpマネジメント株式会社 表示装置及び表示方法
WO2018194822A1 (en) * 2017-04-17 2018-10-25 The Johns Hopkins University Tactile augmented reality for medical interventions
WO2018211494A1 (en) * 2017-05-15 2018-11-22 Real View Imaging Ltd. System with multiple displays and methods of use
JP2020524483A (ja) 2017-05-25 2020-08-20 プレリス バイオロジクス,インク. 三次元印刷された器官、デバイス、およびマトリックス
US10678338B2 (en) * 2017-06-09 2020-06-09 At&T Intellectual Property I, L.P. Determining and evaluating data representing an action to be performed by a robot
US10712567B2 (en) 2017-06-15 2020-07-14 Microsoft Technology Licensing, Llc Holographic display system
CN110998670A (zh) * 2017-07-19 2020-04-10 欧几里得全息摄影私人有限公司 用于虚拟现实的多观察者改进
JP7227224B2 (ja) * 2017-08-23 2023-02-21 インターデイジタル マディソン パテント ホールディングス ソシエテ パー アクシオン サンプリフィエ 投影される3dライトフィールドを生成するためのライトフィールド映像エンジン方法および装置
IT201700122280A1 (it) * 2017-10-27 2019-04-27 3D I V E S R L Dispositivo volumetrico a campo di luce per visualizzazione di flussi d’immagini 3D fluttuanti e stereoscopiche 5 e relativo metodo
US11624934B2 (en) 2017-11-02 2023-04-11 Interdigital Madison Patent Holdings, Sas Method and system for aperture expansion in light field displays
US20190187875A1 (en) * 2017-12-15 2019-06-20 International Business Machines Corporation Remote control incorporating holographic displays
US10761343B2 (en) * 2018-02-05 2020-09-01 Disney Enterprises, Inc. Floating image display system
JP7119398B2 (ja) * 2018-02-06 2022-08-17 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP7017675B2 (ja) * 2018-02-15 2022-02-09 有限会社ワタナベエレクトロニクス 非接触入力システム、方法およびプログラム
EP3556702A1 (en) 2018-03-13 2019-10-23 Otis Elevator Company Augmented reality car operating panel
DE102018106651A1 (de) 2018-03-21 2019-09-26 Carl Zeiss Meditec Ag Visualisierungssystem und Verfahren zum Erzeugen von holographischen Darstellungen aus optischen Signalen
EP3553629B1 (en) * 2018-04-12 2024-04-10 Nokia Technologies Oy Rendering a message within a volumetric data
ES2949653T3 (es) * 2018-04-26 2023-10-02 Linde Gmbh Procedimiento para representar una línea de posicionamiento en el espacio
US11188154B2 (en) * 2018-05-30 2021-11-30 International Business Machines Corporation Context dependent projection of holographic objects
WO2020014038A2 (en) * 2018-07-11 2020-01-16 Pure Depth Inc. Ghost multi-layer and single layer display systems
US10976704B2 (en) * 2018-07-17 2021-04-13 International Business Machines Corporation Fingerprint authentication during holographic object display
US10928775B2 (en) 2018-07-17 2021-02-23 International Business Machines Corporation 3D holographic display and holographic object formation
US10728534B2 (en) * 2018-07-31 2020-07-28 Lightspace Technologies, SIA Volumetric display system and method of displaying three-dimensional image
WO2020071632A1 (ko) 2018-10-02 2020-04-09 엘지전자 주식회사 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
US11288733B2 (en) * 2018-11-14 2022-03-29 Mastercard International Incorporated Interactive 3D image projection systems and methods
US10930183B2 (en) * 2018-11-22 2021-02-23 Electronics And Telecommunications Research Institute Hologram content generation apparatus, integrated hologram content control system having the same, and method for operating the hologram content generation apparatus
US11006091B2 (en) 2018-11-27 2021-05-11 At&T Intellectual Property I, L.P. Opportunistic volumetric video editing
US10832392B2 (en) * 2018-12-19 2020-11-10 Siemens Healthcare Gmbh Method, learning apparatus, and medical imaging apparatus for registration of images
JP7416391B2 (ja) * 2018-12-28 2024-01-17 国立大学法人高知大学 ポインティング装置
US10818090B2 (en) * 2018-12-28 2020-10-27 Universal City Studios Llc Augmented reality system for an amusement ride
US11330251B2 (en) 2019-01-16 2022-05-10 International Business Machines Corporation Defining a holographic object allowance area and movement path
US10768442B1 (en) * 2019-03-18 2020-09-08 Brelyon Inc. Display system providing concentric light field and monocular-to-binocular hybridization
US11917121B2 (en) 2019-06-28 2024-02-27 Interdigital Madison Patent Holdings, Sas Optical method and system for light field (LF) displays based on tunable liquid crystal (LC) diffusers
EP4010756A4 (en) * 2019-08-09 2023-09-20 Light Field Lab, Inc. DIGITAL SIGNAL SYSTEM BASED ON A LIGHT FIELD DISPLAY SYSTEM
EP3790023A1 (en) * 2019-09-03 2021-03-10 Koninklijke Philips N.V. Method for analyzing medical image data in a virtual multi-user collaboration, a computer program, a user interface and a system
CN116506715A (zh) 2019-09-27 2023-07-28 苹果公司 用于操作透镜显示器的方法和设备
KR102231649B1 (ko) * 2019-10-21 2021-03-24 김동욱 3d데이터를 이용하여 쌍방향 인터랙션이 가능한 홀로그램 생성 장치 및 방법
JP7388135B2 (ja) * 2019-11-05 2023-11-29 株式会社Jvcケンウッド ヘッドマウントディスプレイ
CN112824968B (zh) * 2019-11-20 2022-08-16 宁波舜宇车载光学技术有限公司 投影设备和方法
JP2023512869A (ja) * 2019-12-03 2023-03-30 ライト フィールド ラボ、インコーポレイテッド ビデオゲームおよび電子スポーツのためのライトフィールドディスプレイシステム
JP7447474B2 (ja) * 2019-12-19 2024-03-12 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP7380253B2 (ja) * 2020-01-27 2023-11-15 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US11227444B2 (en) * 2020-03-09 2022-01-18 International Business Machines Corporation Virtual reality content adaptation
DE102020205207A1 (de) 2020-04-24 2021-10-28 Volkswagen Aktiengesellschaft Benutzerschnittstelle eines Fahrzeugs
RU2746239C1 (ru) * 2020-08-21 2021-04-09 Александр Александрович Скрипкин Устройство для создания динамичных голографических изображений в пространстве
KR102476957B1 (ko) * 2020-12-11 2022-12-12 가천대학교 산학협력단 의료 영상 기반 홀로그램 제공 장치 및 방법
KR102300285B1 (ko) * 2021-03-16 2021-09-10 (주)브이에이커뮤니케이션즈 Ar 기반 컨텐츠 3d 매핑 방법 및 시스템
CN114002931A (zh) * 2021-10-08 2022-02-01 清华大学深圳国际研究生院 基于深度学习加速计算的大视场全息投影方法及系统
DE102022110162A1 (de) * 2022-04-27 2023-11-02 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und verfahren zur visualisierung einer interaktion eines physischen objekts mit einem 3d-bild und kraftfahrzeug mit der vorrichtung

Family Cites Families (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2553745A (en) * 1946-02-18 1951-05-22 Ralph E Brown Apparatus for projecting images
US4339168A (en) 1978-02-06 1982-07-13 Eidetic Images, Inc. Holograms created from cylindrical hologram masters
US4835088A (en) 1987-12-22 1989-05-30 Submicron Structures, Inc. Method and apparatus for generating high-resolution images
FR2633069B1 (fr) 1988-06-20 1993-12-31 Garcon Thierry Procede de realisation d'un hologramme de transfert a grand champ de vision sur son imagerie reelle orthoscopique et hologramme ainsi obtenu
US5189531A (en) 1988-10-17 1993-02-23 August DeFazio Hologram production
US5090789A (en) 1990-08-03 1992-02-25 Crabtree Allen E Laser light show device and method
US5572375A (en) * 1990-08-03 1996-11-05 Crabtree, Iv; Allen F. Method and apparatus for manipulating, projecting and displaying light in a volumetric format
JP3224856B2 (ja) 1992-05-29 2001-11-05 株式会社東芝 立体映像装置
JPH0695656A (ja) 1992-09-17 1994-04-08 Sony Corp 立体形状表示方法、表示装置及びコンピュータ制御自動三次元設計装置
JPH06102813A (ja) 1992-09-18 1994-04-15 Fujitsu Ltd 空間光変調装置および立体表示装置
DE4309667A1 (de) 1993-03-26 1994-09-29 Univ Dresden Tech Optisches System zur zwei- und dreidimensionalen Darstellung von Information
WO1994025899A1 (en) * 1993-05-04 1994-11-10 Xenotech Research Pty. Ltd. Stereoscopic display unit
JPH07253749A (ja) * 1994-03-15 1995-10-03 Fujitsu Ltd 立体表示装置
JP3438300B2 (ja) 1994-03-30 2003-08-18 凸版印刷株式会社 平面型ホログラフィックステレオグラム及びこれの作製方法並びにその装置
JPH08129447A (ja) 1994-10-31 1996-05-21 Toshiba Corp 3次元座標入力方法および3次元座標入力装置
JPH10510187A (ja) 1994-12-09 1998-10-06 ジョスリン ダイアビーティーズ センター インコーポレイテッド 網膜検査及び治療のための電子造影装置
US5744262A (en) * 1995-06-07 1998-04-28 Industrial Technology Research Institute Stable high-voltage electrolyte for lithium secondary battery
JPH0968674A (ja) 1995-09-01 1997-03-11 Tsushin Hoso Kiko 3次元画像表示装置
US20010006426A1 (en) 1996-07-18 2001-07-05 Korea Institute Of Science And Technology Holographic projection screen for displaying a three-dimensional color images and optical display system using the holographic screen
US6154211A (en) 1996-09-30 2000-11-28 Sony Corporation Three-dimensional, virtual reality space display processing apparatus, a three dimensional virtual reality space display processing method, and an information providing medium
JPH10154052A (ja) 1996-09-30 1998-06-09 Sony Corp 3次元仮想現実空間表示処理装置、表示処理方法および情報提供媒体
DE19641480A1 (de) * 1996-10-09 1998-04-30 Tan Helmut Verfahren zur stereoskopischen Projektion von 3D-Bilddarstellungen auf einer Bildanzeigeeinrichtung
DE19646046C1 (de) 1996-11-08 1999-01-21 Siegbert Prof Dr Ing Hentschke Stereo-Hologramm-Display
DE59708088D1 (de) 1996-12-18 2002-10-02 Dresden 3D Gmbh Verfahren und anordnung zur dreidimensionalen darstellung von information
US6097472A (en) 1997-04-17 2000-08-01 Canon Kabushiki Kaisha Apparatus and method for exposing a pattern on a ball-like device material
US6031519A (en) 1997-12-30 2000-02-29 O'brien; Wayne P. Holographic direct manipulation interface
US6097353A (en) * 1998-01-20 2000-08-01 University Of Washington Augmented retinal display with view tracking and data positioning
JP2000033184A (ja) 1998-05-14 2000-02-02 Masanobu Kujirada 全身動作入力型のゲ―ム及びイベント装置
US5949557A (en) 1998-06-15 1999-09-07 Ball Semiconductor, Inc. Total internal reflection holography method and apparatus for lithography on 3-D spherical shaped integrated circuit
US6061118A (en) 1998-07-10 2000-05-09 Ball Semiconductor, Inc. Reflection system for imaging on a nonplanar substrate
US6765566B1 (en) 1998-12-22 2004-07-20 Che-Chih Tsao Method and apparatus for displaying volumetric 3D images
JP3674903B2 (ja) 1999-03-31 2005-07-27 パイオニア株式会社 体積ホログラフィックメモリ光情報記録再生装置
US6195184B1 (en) 1999-06-19 2001-02-27 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration High-resolution large-field-of-view three-dimensional hologram display system and method thereof
JP2001022958A (ja) 1999-07-06 2001-01-26 Nippon Telegr & Teleph Corp <Ntt> 仮想空間システムにおけるオブジェクト表示方法およびオブジェクト表示プログラムを記録した記録媒体
CA2277653C (en) 1999-07-20 2005-01-11 Go Simon Sunatori Cylindrical holographic display device
CA2278110C (en) 1999-07-20 2004-11-23 Go Simon Sunatori Holographic display device with a paraboloidal hologram
CA2286937C (en) 1999-09-28 2004-11-23 Go Simon Sunatori 3-dimensional image display method and system
CA2285822C (en) 1999-09-28 2005-02-08 Go Simon Sunatori Life-size optical and acoustical illusion device
JP2001118015A (ja) 1999-10-18 2001-04-27 Hitachi Ltd 3次元画像を用いた遠隔診療支援方法および遠隔診療支援システムと端末
CA2289999C (en) 1999-11-12 2005-01-11 Go Simon Sunatori Holographic statue projection device
GB2363273A (en) 2000-06-09 2001-12-12 Secr Defence Computation time reduction for three dimensional displays
JP4442000B2 (ja) * 2000-07-19 2010-03-31 ソニー株式会社 画像再生装置及び画像再生方法
US6409351B1 (en) 2001-02-12 2002-06-25 Thomas R. Ligon Spherical image projection system using a convex reflecting image dispersing element
JP2002258215A (ja) 2001-03-06 2002-09-11 Telecommunication Advancement Organization Of Japan 立体映像表示装置
US6961177B2 (en) * 2001-06-01 2005-11-01 Sony Corporation Stereoscopic image display apparatus, display apparatus, divided wave plate filter, plate-shared filter, and filter position adjusting mechanism attached to the display apparatus, aligning apparatus, filter position adjusting method, and filter aligning method
JP2004534276A (ja) 2001-07-06 2004-11-11 エクスプレイ エルティーディー 画像投影装置および方法
US6478432B1 (en) 2001-07-13 2002-11-12 Chad D. Dyner Dynamically generated interactive real imaging device
JP4682470B2 (ja) 2001-07-16 2011-05-11 株式会社デンソー スキャン型ディスプレイ装置
US6874891B1 (en) 2001-08-09 2005-04-05 John Stuart Fleming Holographic display system
JP2003057770A (ja) 2001-08-10 2003-02-26 Noritsu Koki Co Ltd 露光装置の露光特性検査方法、および露光装置
JP2003075770A (ja) * 2001-08-30 2003-03-12 Junichi Takeno 立体物を三次元の空中に表示し、その立体物に触れながらその形体を自由に加工できるディスプレイ
KR100939135B1 (ko) 2001-10-02 2010-01-28 씨리얼 테크놀로지스 게엠베하 오토스테레오스코픽 디스플레이
EP1443385A1 (en) * 2001-10-24 2004-08-04 Sony Corporation Image information displaying device
US6844948B2 (en) 2002-03-27 2005-01-18 Rabbit Tanaka Corporation Limited Integral hologram revolving lamp and method for making same
JP4147054B2 (ja) * 2002-05-17 2008-09-10 オリンパス株式会社 立体観察装置
US20030222977A1 (en) 2002-06-03 2003-12-04 Kazutora Yoshino Intelligent system and 3D virtual object generator
GB0223119D0 (en) 2002-10-05 2002-11-13 Holographic Imaging Llc Reconfigurable spatial light modulators
CN1258108C (zh) * 2003-01-17 2006-05-31 财团法人工业技术研究院 产生虚拟键盘/显示器的装置及方法
KR100765274B1 (ko) * 2003-02-27 2007-10-09 엘지전자 주식회사 투사형 디스플레이 광학계
CA2530987C (en) 2003-07-03 2012-04-17 Holotouch, Inc. Holographic human-machine interfaces
CA2435250C (en) 2003-07-25 2013-12-31 Go Simon Sunatori Holographic statue with an auto-switch mechanism
CA2435245C (en) 2003-07-25 2011-12-20 Go Simon Sunatori Holographic statue with a magnetically mounted figurine
US7245408B1 (en) 2003-10-10 2007-07-17 Zebra Imaging, Inc. Systems and methods for producing wide field-of-view holographic displays
EP1686434A4 (en) 2003-11-04 2010-11-24 Dainippon Printing Co Ltd COMPUTER HOLOGRAM IN WHICH THREE-DIMENSIONAL OBJECT WITH VISUALIZED CROSS-SECTION IS RECORDED, HOLOGRAPHIC STEREOGRAMENT GENERATION PROCESS AND HOLOGRAPHIC STEREOGRAM
JP2007529794A (ja) * 2004-03-03 2007-10-25 バーチャル アイリス スタジオ,インク. 画像の配信および対話型操作を可能にするシステム
US20050264558A1 (en) 2004-06-01 2005-12-01 Vesely Michael A Multi-plane horizontal perspective hands-on simulator
ATE552478T1 (de) * 2004-06-03 2012-04-15 Making Virtual Solid L L C Navigationsanzeigeverfahren und vorrichtung für unterwegs unter verwendung eines head-up-displays
TWI243960B (en) 2004-06-25 2005-11-21 Ind Tech Res Inst The autostereoscopic projection screen
US7490941B2 (en) 2004-08-30 2009-02-17 California Institute Of Technology Three-dimensional hologram display system
DE102004044111B4 (de) 2004-09-08 2015-05-07 Seereal Technologies Gmbh Verfahren und Vorrichtung zum Kodieren und Rekonstruieren von computergenerierten Videohologrammen
DE102004063838A1 (de) 2004-12-23 2006-07-06 Seereal Technologies Gmbh Verfahren und Einrichtung zum Berechnen computer generierter Videohologramme
JP2006195009A (ja) * 2005-01-11 2006-07-27 Fuji Photo Film Co Ltd ホログラム記録方法、ホログラム記録装置及びホログラム記録媒体
JP4612853B2 (ja) * 2005-03-29 2011-01-12 キヤノン株式会社 指示位置認識装置及びそれを有する情報入力装置
WO2006119760A2 (de) * 2005-05-13 2006-11-16 Seereal Technologies Gmbh Projektionsvorrichtung und verfahren zur holographischen rekonstruktion von szenen
JP2007017558A (ja) * 2005-07-06 2007-01-25 Univ Of Tsukuba 立体画像表示装置および立体画像表示方法
DE102006003741B4 (de) * 2006-01-18 2009-08-27 Seereal Technologies S.A. Verfahren zum Kodieren eines computergenerierten Hologramms
CN101467107A (zh) 2006-06-09 2009-06-24 皇家飞利浦电子股份有限公司 减小电全息显示器中有效像素间距的方法以及包括减小的有效像素间距的电全息显示器
JP4790547B2 (ja) 2006-09-06 2011-10-12 オリンパス株式会社 視覚表示装置
JP4790556B2 (ja) * 2006-09-29 2011-10-12 オリンパス株式会社 視覚表示装置
WO2008041314A1 (fr) 2006-10-02 2008-04-10 Pioneer Corporation Dispositif d'affichage d'images
DE102006062377B4 (de) * 2006-12-19 2018-03-22 Seereal Technologies S.A. Verfahren und holographische Wiedergabeeinrichtung zum Reduzieren von Speckle
KR20080086110A (ko) * 2007-03-21 2008-09-25 삼성전자주식회사 고효율 2차원/3차원 겸용 영상 표시장치
DE102007018266A1 (de) * 2007-04-10 2008-10-16 Seereal Technologies S.A. Holographisches Projektionssystem mit einer optischen Wellennachführung und Mitteln zum Korrigieren der holographischen Rekonstruktion
WO2009061482A2 (en) * 2007-11-06 2009-05-14 Weg Stuart L Anesthetic composition, formulation and method of use
KR101908033B1 (ko) 2008-07-10 2018-12-10 리얼 뷰 이미징 리미티드 광시야각 디스플레이들 및 사용자 인터페이스들

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102436169A (zh) * 2011-12-19 2012-05-02 中山大学 一种360°可视真三维图像显示系统及其显示方法
CN104125805A (zh) * 2011-12-23 2014-10-29 皇家飞利浦有限公司 用于三维超声图像的交互显示的方法与装置
US9519127B2 (en) 2012-04-20 2016-12-13 Hamamatsu Photonics K.K. Zoom lens
CN104246574A (zh) * 2012-04-20 2014-12-24 浜松光子学株式会社 变焦透镜
CN103019023A (zh) * 2012-11-21 2013-04-03 中山大学 基于体视技术的全视角三维显示系统和方法
CN103019023B (zh) * 2012-11-21 2015-10-28 中山大学 基于体视技术的全视角三维显示系统和方法
US10070795B2 (en) 2013-03-15 2018-09-11 Topera, Inc. System and method to define a rotational source associated with a biological rhythm disorder
CN105072987A (zh) * 2013-03-15 2015-11-18 托佩拉公司 定义与生物节律紊乱相关的旋转源的系统和方法
US9398860B2 (en) 2013-03-15 2016-07-26 Topera, Inc. System and method to define a rotational source associated with a biological rhythm disorder
CN105005190A (zh) * 2014-12-19 2015-10-28 上海大学 液晶空间光调制器正交组合全息显示方法及装置
CN105824417A (zh) * 2016-03-16 2016-08-03 成都电锯互动科技有限公司 一种采用虚拟现实技术的人与物的结合方法
CN107687818B (zh) * 2016-08-04 2020-07-10 纬创资通股份有限公司 三维量测方法及三维量测装置
CN107687818A (zh) * 2016-08-04 2018-02-13 纬创资通股份有限公司 三维量测方法及三维量测装置
CN106162129A (zh) * 2016-08-31 2016-11-23 蒋欣飏 一种投影装置
CN106162129B (zh) * 2016-08-31 2019-05-10 蒋欣飏 一种投影装置
CN106502075A (zh) * 2016-11-09 2017-03-15 微美光速资本投资管理(北京)有限公司 一种全息投影方法
CN107390380B (zh) * 2017-05-12 2021-08-10 上海誉沛光电科技有限公司 一种显示装置、导光平板及多层悬浮显示设备
CN107390380A (zh) * 2017-05-12 2017-11-24 上海誉沛光电科技有限公司 一种显示装置、导光平板及多层悬浮显示设备
CN112272789A (zh) * 2018-06-15 2021-01-26 大陆汽车有限责任公司 具有可变的投影距离的用于生成虚拟图像的设备
CN111050145A (zh) * 2018-10-11 2020-04-21 上海云绅智能科技有限公司 一种多屏融合成像的方法、智能设备及系统
CN113632457A (zh) * 2019-03-12 2021-11-09 光场实验室公司 包含全息内容的视频通信
CN109765695A (zh) * 2019-03-29 2019-05-17 京东方科技集团股份有限公司 一种显示系统和显示装置
CN109765695B (zh) * 2019-03-29 2021-09-24 京东方科技集团股份有限公司 一种显示系统和显示装置
CN110638524A (zh) * 2019-09-16 2020-01-03 山东省肿瘤防治研究院(山东省肿瘤医院) 一种基于vr眼镜的肿瘤穿刺实时模拟系统
CN111766949A (zh) * 2020-07-16 2020-10-13 腾讯科技(深圳)有限公司 三维图像显示设备、显示方法、电子设备以及存储介质
CN113282174A (zh) * 2021-05-27 2021-08-20 中国联合网络通信集团有限公司 终端信息显示方法、装置、终端及存储介质
CN113282174B (zh) * 2021-05-27 2023-10-17 中国联合网络通信集团有限公司 终端信息显示方法、装置、终端及存储介质
CN116974091A (zh) * 2023-09-25 2023-10-31 成都工业学院 一种立体显示管
CN116974091B (zh) * 2023-09-25 2023-11-28 成都工业学院 一种立体显示管

Also Published As

Publication number Publication date
US9541901B2 (en) 2017-01-10
KR20110028524A (ko) 2011-03-18
KR101840405B1 (ko) 2018-03-20
JP2011527760A (ja) 2011-11-04
JP6186388B2 (ja) 2017-08-23
EP2304491A1 (en) 2011-04-06
CN103529554B (zh) 2018-07-31
CN103558689B (zh) 2017-09-26
US20200117140A1 (en) 2020-04-16
US20110128555A1 (en) 2011-06-02
KR20140094664A (ko) 2014-07-30
US20170090420A1 (en) 2017-03-30
KR101595104B1 (ko) 2016-02-17
US9594347B2 (en) 2017-03-14
CN102150072B (zh) 2013-08-21
US20160077489A1 (en) 2016-03-17
JP2015165308A (ja) 2015-09-17
CN103558689A (zh) 2014-02-05
JP5805531B2 (ja) 2015-11-04
JP6329506B2 (ja) 2018-05-23
CN103529554A (zh) 2014-01-22
US10120335B2 (en) 2018-11-06
US20140033052A1 (en) 2014-01-30
US8500284B2 (en) 2013-08-06
JP2016035580A (ja) 2016-03-17
KR20160001722A (ko) 2016-01-06
US10585395B2 (en) 2020-03-10
JP2015163968A (ja) 2015-09-10
KR101908033B1 (ko) 2018-12-10
WO2010004563A1 (en) 2010-01-14
US20130293939A1 (en) 2013-11-07

Similar Documents

Publication Publication Date Title
CN102150072B (zh) 宽视角显示和用户接口
Schmalstieg et al. Augmented reality: principles and practice
CN107439011B (zh) 在后期重投影中的视网膜位置
CN102566049B (zh) 用于扩展现实显示的自动可变虚拟焦点
CN107517370B (zh) 多路视频流的图像配准的系统和方法
CN102143374B (zh) 三维显示系统
CN102445756A (zh) 用于扩展现实显示的自动焦点改善
CN107810634A (zh) 用于立体增强现实的显示器
JP2010153983A (ja) 投影型映像表示装置および該方法
Weng et al. Display systems and registration methods for augmented reality applications
CN110458953A (zh) 一种三维图像重构系统及方法
Dewitz et al. Real-time 3D scans of cardiac surgery using a single optical-see-through head-mounted display in a mobile setup
Li Development of immersive and interactive virtual reality environment for two-player table tennis
JP2004258287A (ja) 映像表示システム
JP2001318664A (ja) 映像表示システム
Madritsch Correct spatial visualisation using optical tracking

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant