CN113196139B - 用于生成立体图像的具有双摄像头的柔性眼戴设备 - Google Patents
用于生成立体图像的具有双摄像头的柔性眼戴设备 Download PDFInfo
- Publication number
- CN113196139B CN113196139B CN201980083770.8A CN201980083770A CN113196139B CN 113196139 B CN113196139 B CN 113196139B CN 201980083770 A CN201980083770 A CN 201980083770A CN 113196139 B CN113196139 B CN 113196139B
- Authority
- CN
- China
- Prior art keywords
- offset
- image
- calibration
- eye
- support structure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009977 dual effect Effects 0.000 title claims description 31
- 238000005452 bending Methods 0.000 claims abstract description 28
- 238000009877 rendering Methods 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 29
- 230000015654 memory Effects 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 6
- 238000002156 mixing Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 239000000463 material Substances 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 239000004033 plastic Substances 0.000 description 6
- 210000003128 head Anatomy 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 229910001316 Ag alloy Inorganic materials 0.000 description 1
- 229910000838 Al alloy Inorganic materials 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 229920002301 cellulose acetate Polymers 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 229910001092 metal group alloy Inorganic materials 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- MOFOBJHOKRNACT-UHFFFAOYSA-N nickel silver Chemical compound [Ni].[Ag] MOFOBJHOKRNACT-UHFFFAOYSA-N 0.000 description 1
- 239000010956 nickel silver Substances 0.000 description 1
- 239000002985 plastic film Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 239000012815 thermoplastic material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0176—Head mounted characterised by mechanical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/327—Calibration thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
描述了包括一对图像捕捉设备的眼戴设备的三维图像校准和呈现。校准和呈现包括获得校准偏移以容纳所述眼戴设备的所述支撑结构的弯曲，通过所述获得的校准偏移来调整三维渲染偏移，使用所述三维渲染偏移来呈现所述立体图像。
Description
相关申请的交叉参考
本申请要求2018年12月20日提交的名称为“用于生成立体图像的具有双摄像头的柔性眼戴设备”的美国临时申请62/782,885号的优先权，其内容通过引用全文纳入本申请。
技术领域
本主题涉及图像捕捉眼戴设备，例如智能眼镜，并且更特别地，涉及用于生成立体图像的具有双摄像头的图像捕捉眼戴设备。
背景
场景的立体图像对于创建三维效果是有用的。通常，第一摄像头捕捉场景的第一图像，第二摄像头捕捉相同场景的第二图像。第一和第二摄像头彼此具有固定的关系。三维显示系统将捕捉的第一图像呈现给观察者的一只眼睛，并将捕捉的第二图像呈现给观察者的另一只眼睛，以创建期望的三维效果。为了提供逼真的三维效果，第一和第二摄像头之间的关系很重要。如果第一和第二摄像头之间的关系例如由于其上安装有摄像头的支撑结构弯曲而偏离固定关系，则三维体验将受到不利影响。
附图的简单说明
附图仅以例举的方式而非限定的方式描述了实施，在附图中相同的附图标记表示相同或类似的元件。当存在多个相似元件时，一个附图标记可以被分配给多个相似元件，其中具有指代特定元件的小写字母标记。当指代全体元件或指代非特定的一个或多个元件时，可省略小写字母标记。
图1A是包括双摄像头和支撑双摄像头和其他电子组件的支撑结构的图像捕捉眼戴设备示例的透视图。
图1B是图1A的图像捕捉眼戴设备示例的顶视图，说明了由图像捕捉眼戴设备界定的用于接收佩戴图像捕捉眼戴设备的用户头部的区域。
图1C是图1A的图像捕捉眼戴设备示例的顶侧视图，显示了双摄像头的位置和眼戴设备的柔性。
图1D是图1A的图像捕捉眼戴设备示例的另一顶侧视图，显示了在不同弯曲位置的双摄像头的相应视野。
图2是图1A的图像捕捉眼戴设备示例所支撑的电子组件示例的块图，以及通过网络与个人计算设备和接收器的通信。
图3A是显示用于进行双摄像头校准的双摄像头眼戴设备操作示例的流程图；以及
图3B是显示用于使用校准结果进行立体成像的双摄像头眼戴设备操作示例更多细节的流程图。
详细描述
在以下详细说明中，为了对相关教示能够有透彻的理解，通过示例的方式阐述了许多具体细节。然而，对于本领域技术人员来说显而易见的是，可以在没有这些细节的情况下实施本教示。在其它实例中，为了避免不必要地使本教示的各个方面难以理解，本文将以相对较高的水平来说明众所周知的方法、程序、组件和电路，而不阐述细节。
本文使用的术语“耦合”是指任何逻辑、光学、物理或电连接等，通过这些连接，由一个系统元件产生或提供的信号或光被传递给另一个耦合的元件。除非另外描述，否则耦合的元件或设备不一定彼此物理连接，可由可修改、操纵或携载光或信号的空间、中间组件、元件或传播介质分离。
为了说明和讨论的目的，仅以示例的方式给出了如任何附图所示的图像捕捉眼戴设备、相关组件以及结合LED的任何设备的方向。在操作中，图像捕捉眼戴设备可在适合于图像捕捉眼戴设备特定应用的任何其他方向上定向，例如向上、向下、向侧面或任何其他方向。此外，前、后、向内、向外、朝向、左、右、横向、纵向、向上、向下、上、下、顶部、底部和侧面等任何方向术语对于方向或定向都是示例性的，而不是限制性的。
示例图像捕捉眼戴设备具有光学元件、电子组件、配置成支撑光学元件和电子组件(包括双摄像头)的支撑结构、以及耦合到电子组件并由支撑结构支撑的显示系统。双摄像头捕捉用于渲染三维图像和/或创建三维效果的立体图像。
图1A描述了示例性图像捕捉眼戴设备12上的第一摄像头10和第二摄像头11的前透视图。图示的图像捕捉眼戴设备12包括支撑结构13，该支撑结构13具有从中心框架部分16延伸的眼戴设备腿14A和14B。图像捕捉眼戴设备12还包括铰接接头18A和18B、电子组件20A和20B以及芯线22A、22B和24。尽管所示的图像捕捉眼戴设备12是眼镜，但图像捕捉眼戴设备可采用其它形式，例如头戴式耳机、头戴设备、头盔或可由用户佩戴的其它设备。
支撑结构13支撑第一和第二摄像头10、11。当用户佩戴时，支撑结构13还支撑用户视野内的一个或多个光学元件。例如，中心框架部分16支撑一个或多个光学元件。本文使用的术语“光学元件”是指镜片、透明的玻璃或塑料片、投影仪、屏幕、显示器和用于呈现视觉图像或用户通过其感知视觉图像的其它设备。在示例中，相应的眼戴设备腿14A和14B在相应的铰接接头18A和18B处连接到中央框架部分16。所示眼戴设备腿14A和14B是细长构件，具有在其中纵向延伸的芯线22A和22B。
在图1A中，眼戴设备腿14A被图示为处于可佩戴状态，眼戴设备腿14B被图示为处于折叠状态。如图1A所示，铰接接头18A将眼戴设备腿14A连接到中央框架部分16的右端部分26A。类似地，铰接接头18B将眼戴设备腿14B连接到中央框架部分16的左端部分26B。中央框架部分16的右端部分26A包括在其中承载电子组件20A的外壳。左端部分26B还包括其中承载电子组件20B的外壳。外壳可以与中央框架一体成型，与相应的眼戴设备腿14A、14B一体成型，或者形成为单独的组件。
塑料材料或其它材料嵌入芯线22A，芯线22A从相邻的铰接接头18A朝向眼戴设备腿14A的第二纵向端纵向延伸。类似地，塑料材料或其它材料也嵌入芯线22B，芯线22B从相邻的铰接接头18B朝向眼戴设备腿14B的第二纵向端纵向延伸。塑料材料或其它材料还嵌入芯线24，芯线24从右端部分26A(端接相邻的电子组件20A)延伸到左端部分26B(端接相邻的电子组件20B)。
电子组件20A和20B由支撑结构13承载(例如，由眼戴设备腿14A、14B和/或中心框架部分16之一或两者承载)。电子组件20A和20B包括电源、电源和通信相关电路、通信设备、显示设备、计算机、存储器、模块等(未示出)。电子组件20A和20B还可以包括或支撑用于从不同视角捕捉图像和/或视频的双摄像头10和11。可以将这些图像进行融合以生成立体图像/视频。还包括但未在图中显示的是指示图像捕捉眼戴设备操作状态的指示器LED以及用于捕捉与捕捉的视频一致的音频的一个或多个麦克风。
在一个示例中，眼戴设备腿14A和14B以及中央框架部分16由塑料材料、纤维素塑料(例如，醋酸纤维素)、生态塑料材料、热塑性材料等构造而成，芯线22A、22B和24嵌入其中。芯线22A、22B和24为支撑结构13(即眼戴设备腿14A、14B和/或中心框架部分16)提供结构完整性。另外，芯线22A、22B和/或24充当热沉以将由电子组件20A和20B产生的热从其转移开，从而降低局部加热相邻电子组件20A和20B的可能性。同样，芯线22A、22B和/或24热耦合到热源以提供用于热源的热沉。芯线22A、22B和/或24可包括相对柔性的导电金属或金属合金材料，例如铝、铝合金、镍-银合金和不锈钢中的一种或多种。
如图1B所示，支撑结构13界定用于接收使用者/佩戴者头部部分52(例如主要部分)的区域(例如，由框架12和眼戴设备腿14A和14B界定的区域52)。所界定的区域是包含用户头部至少一部分的一个或多个区域，当用户佩戴图像捕捉眼戴设备12时，用户头部至少一部分被支撑结构包围、环绕、邻近和/或靠近支撑结构。
如上所述，图像捕捉眼戴设备12具有用于捕捉立体图像的双摄像头10、11。图1C显示了双摄像头10、11的简化顶视图，其中框架13包括集成到框架13相应相对侧(即左侧和右侧)中的摄像头10、11。第一摄像头10具有第一视线30，第二摄像头11具有第二视线30。在示例中，在没有框架13弯曲的情况下，第一和第二视线30、31基本平行。通常，立体成像是用于从两个或更多偏移二维(2D)图像生成看起来像是具有深度的三维(3D)图像的技术。立体成像可由人类自然地进行，人类用自己的左右眼捕捉偏移图像。然后这些偏移图像由大脑组合以形成看起来像是3D图像的图像(即具有深度的图像)。
三维图像的生成和/或三维效果的创建通常需要立体图像的融合。例如，立体成像算法可以通过使用已知的视线、视线的分离和/或摄像头的视野融合立体图像来创建三维图像。立体成像算法可以通过使用已知的视线、视线的分离和/或摄像头的视野经由显示器将第一立体图像呈现给观察者的第一只眼睛并且经由相同或不同的显示器将第二立体图像呈现给观察者的第二只眼睛来创建三维效果。
立体成像算法可以通过比较来自立体图像的关于场景的信息(例如，通过检查两个图像中对象的相对位置)来提取深度信息。在传统的立体视觉中，使用彼此水平移位的两个摄像头来获得场景上的两个不同视图。通过比较这两个图像，可以以视差图的形式获得相对深度信息，对相应图像点的水平坐标的差进行编码。该视差图中的值与对应像素位置处的场景深度成反比。
为了使人体验三维效果，立体设备可以叠加立体图像，其中来自右侧摄像头10的图像被显示给观察者的右眼，来自左侧摄像头11的图像被显示给左眼。可以对图像进行预处理以提高图像质量。例如，可以首先处理图像以去除失真(例如，由于已经用“鱼眼”镜头获取)。例如，可以去除桶形失真和切向失真，以确保观察到的图像与理想针孔摄像头的投影相匹配。另外，图像可以被投影回公共面，以允许比较图像对，这称为图像校正。比较两个图像的信息测度被最小化。这给出了两个图像中特征位置的最佳估计，并创建了视差图。可选地，将接收到的视差图投影分解成三维点云。通过利用摄像头的投影参数，可以计算点云，使得其提供已知尺度的测量。
用于呈现立体图像以产生三维效果的算法取决于各个摄像头之间的相对视线/视野。如果没有该信息，算法可能不能适当地融合/显示立体图像以实现期望的三维效果。
所有的眼戴设备都有刚度，可以支撑眼戴设备组件，同时允许一些柔性，以使用户舒适。然而，这种柔性使得捕捉合适的立体图像以产生期望的三维效果这一过程变得复杂，如上所述，需要摄像头相对于彼此具有已知的视线/视野。
例如，立体成像算法可以基于如图1C所示的摄像头的已知视野来设置。其具有基本上彼此平行的视线。然而，如图1D所示，当用户将眼戴设备12放在其头部时，框架13可能会弯曲，原因是眼戴设备腿14A、14B向外弯曲到眼戴设备腿弯曲位置14A’、14B’，从而导致摄像头10、11的方向发生改变。当摄像头10、11的方向发生改变时，摄像头10、11的原始视线30、31以相应的可变角度23A、23B转向到新摄像头方向10’、11’的弯曲视线30’、31’。因此，摄像头10和11的视线30′、31′将不再相互平行。
由该弯曲产生的可变角度23A、23B取决于眼戴设备腿14A、14B的刚度、框架13的刚度、用户头部的尺寸等。因此，对于不同的佩戴者，摄像头10和11的相对视野可能不同。摄像头10的未弯曲视野以角度23A从由线25A至25B表示的视野改变到由25A’至25B’表示的视野。摄像头10的未弯曲视野以角度23A从由线25C至25D表示的视野改变到由25C’至25D’表示的视野。在示例中，立体图像算法校准摄像头以确定它们的相对视野。
在图1D中仅示出了两种弯曲状态，然而，弯曲可基本上沿着和/或围绕贯穿眼戴设备12的任何轴发生。弯曲范围可具有取决于框架13的结构刚度的最小值和最大值。一般来说，随着框架刚度增加和/或眼戴设备腿刚度减小，弯曲范围减小。因此，眼戴设备可被设计和制造成具有预定的刚度，该刚度将沿所有轴线和弯曲角度的弯曲范围限制在可接受的水平。可以基于构造框架的材料来设计刚度。例如，可以将横杆(例如金属)沿着线21集成在框架中，以限制框架的弯曲，并因此将摄像头10、11的视线/视野的移动限制在产生立体图像可接受的预定范围内。
通常，眼戴设备12在生成立体图像之前进行校准。校准算法包括从摄像头10和11捕捉图像，以及通过匹配由每个摄像头捕捉的对应图像之间的特征(即，右侧摄像头10和左侧摄像头11之间特征的相对运动是什么)来确定摄像头之间的相对视野。这种校准可以由眼戴设备自动进行，或者在用户请求时(例如，用户按下按钮32等按钮(图1B))进行。一旦进行了校准，眼戴设备可捕捉立体图像以用于通过考虑视线/视野的变化产生三维图像和/或产生三维效果。
图2是眼戴设备的示例性电子组件块图，能够进行校准并且渲染/显示考虑如上所述视线/视野变化的三维图像。所示的电子组件包括：控制器100(例如低功率处理器、图像处理器等)，用于控制图像捕捉眼戴设备12中的各种设备；无线模块(例如，BluetoothTM)102，用于促进图像捕捉眼戴设备12与客户端设备(例如个人计算设备50)之间的通信；电源电路104(例如电池、滤波器等)，用于为图像捕捉眼戴设备12供电；用于存储数据(例如图像、视频、图像处理算法/软件等)的闪存106；激光测量设备等距离测量设备108；选择器32；以及用于捕捉图像和/或一系列图像(例如视频)的双摄像头10、11，以及用于捕捉声音的麦克风(未示出)。尽管图像捕捉眼戴设备12和个人计算设备50被示为分离的组件，但是个人计算设备50的功能可以被结合到图像捕捉眼戴设备12中，使得图像捕捉眼戴设备12能够直接向一个或多个接收器(例如经由互联网53的接收器51)发送立体图像，而不需要分离的计算设备。另外，如由眼戴设备12执行的本文描述的处理(例如，校准和立体算法的一个或多个步骤)可由耦合到眼戴设备12的远程处理器(例如个人计算设备51内的处理器)来执行。
选择器32可以触发(例如，响应于按钮的瞬时按压)图像捕捉眼戴设备12的控制器100，以捕捉用于校准算法和/或立体成像算法的图像/视频。在示例中，选择器32可以是眼戴设备12上的物理按钮，当按下该物理按钮时，将用户输入信号发送到控制器100。控制器100可以将按下按钮达预定时间段(例如三秒)解释为执行校准算法和/或立体成像算法的请求。在其他示例中，选择器32可以是眼戴设备或另一设备上的虚拟按钮。在又一示例中，选择器可以是解释语音命令的语音模块或检测眼睛焦点指向何处的眼睛检测模块。控制器100还可以将来自选择器32的信号解释为触发选择图像的预期接收器(例如用户配对的智能手机50或经由网络53的远程智能手机51)。
无线模块102可以与客户端/个人计算设备50(例如智能手机、平板电脑、平板手机、笔记本电脑、台式计算机、联网装置、接入点设备或能够与无线模块102连接的任何其它这样的设备)耦合。例如，Bluetooth、Blue Tooth LE、Wi-Fi、Wi-Fi直连、蜂窝调制解调器和近场通信系统以及任何这些系统中的多个实例都可以实现这些连接，以实现它们之间的通信。例如，设备之间的通信可便于在图像捕捉眼戴设备12和客户端设备之间传送软件更新、图像、视频、照明方案和/或声音。
另外，个人计算设备50可以经由网络53与一个或多个接收器(例如接收器个人计算设备51)通信。网络53可以是允许个人计算设备经由文本、电子邮件、即时消息等发送和接收图像的蜂窝网络、Wi-Fi、互联网等。
用于捕捉图像/视频的摄像头10、11可以包括数字摄像头元件，例如电荷耦合器件、镜头或用于捕捉图像数据以转换成电信号的任何其它光捕捉元件。此外或或者，摄像头10、11可以包括具有用于将声音转换为电信号的换能器的麦克风。
控制器100控制电子组件。例如，控制器100包括用于接收来自摄像头10、11的信号并将这些信号处理成适于存储在存储器106(例如闪存)中的格式的电路。控制器100通电并启动，以正常操作模式运转，或进入睡眠模式。在一个示例中，控制器100包括微处理器集成电路(IC)，其被定制用于处理来自摄像头10的传感器数据，以及由操作的微处理器使用的易失性存储器。存储器可以存储由控制器100执行的软件代码(例如，校准算法、立体成像算法、接受器选择、图像传输等的执行)。
每个电子组件都需要电源进行操作。电源电路104可包括电池、电源转换器和配电电路(未示出)。电池可以是锂离子等的可充电电池。电源转换器和配电电路可包括用于滤波和/或转换电压以向各种电子组件供电的电力组件。
校准算法
图3A描述了校准过程300。如上所述，在进行立体成像之前，眼戴设备进行校准过程以确定立体摄像头(例如摄像头10、11)的当前视线/视野与没有经历任何弯曲的眼戴设备的标准视线/视野之间的相对差。这有利于确保立体成像算法能够正确地组合图像以产生高质量立体图像。
在步骤302，眼戴设备捕捉包含具有已知尺寸的至少一个对象的场景(本文称为已知场景)的立体图像。眼戴设备12可以用右侧摄像头10捕捉已知场景的右侧原始图像，用左侧摄像头11捕捉已知场景的左侧原始图像。在示例中，已知场景具有易于通过尺度不变特征变换(SIFT)或二进制鲁棒不变可缩放关键点(BRISK)之类的图像处理算法检测到的锐化特征。在另一个示例中，经过训练的深度神经网络(DNN)可以识别人或汽车等已知的对象。
在步骤303，校正在步骤303获得的图像以消除失真。控制器100可校正图像以消除由摄像头的相应镜头引入的失真(例如由渐晕引起的镜头边缘处的失真)，以便于图像之间的特征的比较。对右侧原始图像进行校正以创建右侧校正图像，对左侧原始图像进行校正以创建右侧校正图像。
在步骤304，校准算法获得已知场景中已知特征的距离。在一个示例中，由控制器100运行的校准算法基于所捕捉的图像中已知特征的尺寸(例如，已知特征在水平和/或垂直方向上覆盖的像素的数量)来确定到已知特征的距离。在另一示例中，从由DNN检测到的边界矩形确定检测到的已知对象的高度/宽度。还可以训练DNN以直接估计已知对象的距离。在另一示例中，校准算法从结合到眼戴设备中的激光测量设备等距离测量设备108接收距离。
在步骤306，校准算法识别已知场景中的一个或多个特征的立体图像之间的实际偏移。校准算法可将一个图像(例如左侧原始图像或校正图像)中的已知特征的偏移与另一图像(例如右侧原始图像或校正图像)中的已知特征的偏移进行比较。在示例中，左侧图像中特征的位置与右侧图像中特征的位置之间像素的数量(例如在水平方向上)是实际的偏移。
在步骤308，校准算法确定校准偏移。在示例中，校准偏移是实际偏移与在已知场景中一个或多个特征的先前确定的偏移之间的差，该已知场景是由不经历任何弯曲的眼戴设备确定的。
在替代实施例中，基于眼戴设备经历的弯曲量来确定校准偏移。可以基于由眼戴设备框架中的应变仪产生的值来估计弯曲量。例如，预先确定的偏移值可与预先确定的应变水平(例如无、低、中和高)相关联。可以针对每个弯曲量确定不同的校准偏移(例如，使用步骤302、308)，使得系统能够适当地渲染和显示考虑弯曲量的立体图像。
在步骤310，存储校准偏移。在示例中，校准算法将校准偏移存储在控制器100可访问的存储器106中，例如用于生成立体图像。控制器100可以存储每个校准偏移以及与该偏移相对应的弯曲量。
立体算法
图3B描述了三维呈现过程320。如上所述，在校准完成之后，眼戴设备可以进行立体成像以渲染/显示三维图像。
在步骤322，眼戴设备获得场景的立体图像。眼戴设备12可以用右侧摄像头10捕捉已知场景的右侧原始图像，用左侧摄像头11捕捉已知场景的左侧原始图像。
在步骤324，立体算法校正所获得的原始立体图像以校正立体图像中的失真。控制器100可校正图像以消除由摄像头的相应镜头引入的失真(例如由渐晕引起的镜头边缘处的失真)，以有助于图像之间特征的比较。对右侧原始图像进行校正以创建右侧校正图像，对左侧原始图像进行校正以创建右侧校正图像。
在步骤326处，立体算法获得校准偏移(例如从关于图3A上文描述的过程)。在示例中，控制器100从存储器106检索校准偏移。控制器100可以首先确定框架12正在经历的弯曲量并且从存储器106选择与弯曲量相对应的校准偏移。
在步骤328处，立体算法通过所获得的校准偏移来调整渲染算法中的三维渲染偏移(即，由彼此具有已知关系的摄像头所捕捉场景的两个所捕捉图像之间的偏移，以便提供三维效果)。在示例中，控制器100通过校准偏移来调整三维渲染偏移。
在步骤330处，立体算法基于使用经调整的偏移所呈现的立体图像来呈现三维图像。在示例中，立体算法将立体图像的右侧图像和左侧图像分别呈现给观察者的右眼和左眼(例如经由眼戴设备的显示器)。所呈现的图像被投影，考虑调整后的偏移，以便向佩戴者提供更逼真的三维效果。在另一示例中，立体算法将立体图像的右侧图像和左侧图像混合在显示器上，考虑调整后的偏移，以便向观看者提供更真实的三维效果。
图3A和3B中的步骤可以由电子组件和/或个人计算设备的控制器100在加载和执行有形存储在有形计算机可读介质上的软件代码或指令时执行，有形计算机可读介质包括计算机硬盘驱动器等磁性介质、光盘等光学介质、闪存等固态存储器或本领域已知的其它存储介质。由本文描述的控制器100或个人计算设备50执行任何功能，例如图3A和3B中的步骤，可以以有形存储在有形计算机可读介质上的软件代码或指令来实施。在由控制器和/或个人计算设备加载和执行这样的软件代码或指令时，控制器和/或个人计算设备可以执行本文描述的控制器和/或个人计算设备的任何功能，包括本文描述的3A和3B中的步骤。
应当理解，除了在本文中另外阐述的特定含义之外，本文使用的术语和表达具有与这些术语和表达相对于它们相应的各自研究领域一致的普通含义。例如第一和第二等关系术语可以仅用于区分一个实体或动作与另一个实体或动作，而不必要求或暗示这些实体或动作之间任何实际的这种关系或顺序。术语“包括”、“包含”或其任何其他变体旨在涵盖非排他性包含，使得包括或包含元件或步骤列表的过程、方法、制品或设备不仅包括那些元件或步骤，而且可以包括未明确列出或对这种过程、方法、制品或设备固有的其它元件或步骤。前面有“一”或“一个”的元件，在没有进一步限制的情况下，不排除在包含该元件的过程、方法、制品或设备中存在附加的相同元件。
除非另有说明，在本说明书(包括所附权利要求书)中提出的任何和所有测量值、值、额定值、位置、大小、尺寸和其它规格都是近似的、不精确的。这样的量旨在具有合理的范围，该范围与它们所涉及的功能以及它们所涉及的本领域中的惯例一致。例如，除非另有明确说明，否则参数值等可能与规定的数量相差±10％。
另外，在前面的具体实施方式中，可以看出，为了简化本公开，在各种示例中将各种特征组合在一起。该公开方法不应被解释为反映了要求保护的示例需要比每个权利要求中明确记载的特征更多特征的意图。相反，如以下权利要求所反映的，要保护的主题在于少于任何单个公开示例的所有特征。因此，以下权利要求在此结合到具体实施方式中，其中每个权利要求独立地作为单独要求保护的主题。
虽然上文已经描述了被认为是最佳方式和其他示例的内容，但是应当理解，可以在其中进行各种修改，可以以各种形式和示例实现本文公开的主题，并且它们可以应用于许多应用中，本文仅描述了其中的一些应用。所附权利要求书旨在要求保护落入本概念真实范围内的任何和所有修改和变化。
Claims (22)
1.一种用于捕捉场景的立体图像的系统，包括：
图像捕捉眼戴设备，包括：
支撑结构，以及
双摄像头，其连接到所述支撑结构以捕捉所述场景的所述立体图像；
处理器，其耦合到所述图像捕捉眼戴设备；
所述处理器可访问的存储器；以及
所述存储器中的编程，其中由所述处理器执行编程将系统配置成执行功能，包括以下功能：
确定所述支撑结构的弯曲量；
响应于所述确定的弯曲量从多个预定的校准偏移中选择校准偏移以容纳所述支撑结构中的弯曲；
使用所述选择的校准偏移来调整来自所述双摄像头的所述场景的两个捕获的立体图像之间的三维渲染偏移；以及
使用调整后的偏移将来自双摄像头的所述场景的经调整的两个捕获的立体图像呈现为三维图像，其中所述调整后的偏移是由所述选择的校准偏移调整的三维渲染偏移。
2.如权利要求1所述的系统，其中所述双摄像头以预定距离被定位在所述眼戴设备的所述支撑结构上，以从不同的视野捕捉立体图像。
3.如权利要求1所述的系统，其中所述支撑结构包括框架和从所述框架延伸的眼戴设备腿，所述双摄像头由所述框架支撑，所述框架包括嵌入其中的刚性杆，以增加所述框架的刚度。
4.如权利要求1所述的系统，其中所述存储器中用于确定所述弯曲量的所述编程确定了支撑所述双摄像头的所述眼戴设备的支撑结构的偏移角。
5.如权利要求4所述的系统，其中所述存储器中用于获得确定所述弯曲量的所述校准偏移的所述编程确定了偏转角度与所述双摄像头之间已知角度之间的差，以确定偏移角。
6.如权利要求1所述的系统，其中所述处理器和存储器由所述支撑结构支撑。
7.如权利要求1所述的系统，其中所述处理器和存储器由耦合到所述图像捕捉眼戴设备的客户端设备支撑。
8.如权利要求1所述的系统，其中所述存储器中用于选择所述校准偏移的所述编程确定了所述立体图像中已知对象的距离。
9.如权利要求1所述的系统，其中所述存储器中用于呈现立体图像的所述编程包括使用所述调整后的偏移来混合所述立体图像。
10.如权利要求1所述的系统，其中所述存储器中的所述编程进一步包括校正所述立体图像中的失真的功能的编程。
11.如权利要求1所述的系统，其中选择校准偏移的功能包括以下功能：
响应于所确定的弯曲量从所述多个预定的校准偏移中选择所述校准偏移以适应所述支撑结构中的弯曲，所述多个预定的校准偏移是通过捕获已知场景的立体图像、获得到所述已知场景的距离、识别一个或多个图像特征的所述立体图像之间的实际像素偏移来确定的，通过将所述实际像素偏移与所述一个或更多个图像特征的先前确定的偏移进行比较来确定所述预定的校准偏移，并存储所述预定的校准偏移。
12.一种用于图像捕捉眼戴设备的校准方法，所述方法包括以下步骤：
从由图像捕捉眼戴设备的支撑结构支撑的双摄像头获得立体图像；
确定所述支撑结构的弯曲量；
响应于所述确定的弯曲量从多个预定的校准偏移中选择校准偏移以容纳所述双摄像头之间的支撑结构的弯曲；
使用所述选择的校准偏移来调整来自所述双摄像头的两个获得的立体图像之间的三维渲染偏移；
使用所述调整后的三维渲染偏移将来自所述双摄像头的所述两个获得的立体图像渲染为三维图像，其中调整后的三维渲染偏移由所述选择的校准偏移来调整；以及
呈现所述三维图像。
13.如权利要求12所述的方法，其中所述呈现步骤包括：
在显示器上呈现所述三维图像。
14.如权利要求12所述的方法，进一步包括：
使用所述调整后的偏移来混合所述立体图像以创建用于在显示器上呈现的所述三维图像。
15.如权利要求12所述的方法，其中所述图像捕捉眼戴设备包括第一显示器和第二显示器，并且其中所述呈现步骤包括：
在所述第一显示器上呈现所述三维图像的左侧图像组成部分并在所述第二显示器上呈现所述三维图像的右侧图像组成部分。
16.如权利要求12所述的方法，其中所述选择所述校准偏移的步骤包括：
确定支撑所述双摄像头的所述眼戴设备的支撑结构的偏移角；以及
响应于所述确定的偏移角来选择所述校准偏移。
17.如权利要求16所述的方法，其中所述确定所述偏移角步骤包括：
确定偏转角度与所述双摄像头之间已知角度之间的差。
18.如权利要求12所述的方法，还包括：
在存储器中存储多个校准偏移，每个校准偏移对应于所述图像捕捉眼戴设备的弯曲量。
19.如权利要求18所述的方法，其中所述选择步骤包括：
从所述存储器中检索来自所述多个校准偏移确定的弯曲量相对应的所述校准偏移。
20.如权利要求12所述的方法，还包括：
校正所述立体图像以校正所述立体图像中的失真。
21.如权利要求12所述的方法，其中确定所述支撑结构的弯曲量包括确定所述支撑结构中的应变量。
22.根据权利要求12所述的方法，其中选择所述校准偏移包括：
响应于所确定的弯曲量从所述多个预定的校准偏移中选择所述校准偏移以适应所述双摄像头之间的所述支撑结构中的弯曲，所述多个预定的校准偏移是通过捕获已知场景的立体图像、获得到所述已知场景的距离、识别一个或多个图像特征的所述立体图像之间的实际像素偏移来确定的，通过将所述实际像素偏移与所述一个或多个图像特征的先前确定的偏移进行比较来确定所述预定的校准偏移，并存储所述预定的校准偏移。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862782885P | 2018-12-20 | 2018-12-20 | |
| US62/782,885 | 2018-12-20 | ||
| PCT/US2019/062136 WO2020131277A1 (en) | 2018-12-20 | 2019-11-19 | Flexible eyewear device with dual cameras for generating stereoscopic images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113196139A CN113196139A (zh) | 2021-07-30 |
| CN113196139B true CN113196139B (zh) | 2023-08-11 |
Family
ID=68848460
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980083770.8A Active CN113196139B (zh) | 2018-12-20 | 2019-11-19 | 用于生成立体图像的具有双摄像头的柔性眼戴设备 |
Country Status (5)
| Country | Link |
|---|---|
| US (4) | US11212509B2 (zh) |
| EP (1) | EP3899642A1 (zh) |
| KR (1) | KR20210103541A (zh) |
| CN (1) | CN113196139B (zh) |
| WO (1) | WO2020131277A1 (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3899642A1 (en) | 2018-12-20 | 2021-10-27 | Snap Inc. | Flexible eyewear device with dual cameras for generating stereoscopic images |
| US10965931B1 (en) | 2019-12-06 | 2021-03-30 | Snap Inc. | Sensor misalignment compensation |
| US11846782B1 (en) * | 2020-04-13 | 2023-12-19 | Apple Inc. | Electronic devices with deformation sensors |
| KR20220017272A (ko) * | 2020-08-04 | 2022-02-11 | 삼성전자주식회사 | 웨어러블 전자 장치 |
| US11778160B2 (en) | 2021-06-01 | 2023-10-03 | Microsoft Technology Licensing, Llc | Calibrating sensor alignment with applied bending moment |
| EP4377738A1 (en) * | 2021-09-21 | 2024-06-05 | Apple Inc. | Display systems with strain gauge circuitry |
| US20230247291A1 (en) * | 2022-02-02 | 2023-08-03 | Argo AI, LLC | System, Method, and Computer Program Product for Online Sensor Motion Compensation |
| WO2024161323A1 (en) * | 2023-01-31 | 2024-08-08 | Racing Force International W.L.L. | Sports goggles |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105319718A (zh) * | 2014-07-31 | 2016-02-10 | 三星电子株式会社 | 可穿戴眼镜和经由可穿戴眼镜显示图像的方法 |
Family Cites Families (147)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69840547D1 (de) * | 1997-10-30 | 2009-03-26 | Myvu Corp | Schnittstellensystem für brillen |
| US6753828B2 (en) * | 2000-09-25 | 2004-06-22 | Siemens Corporated Research, Inc. | System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality |
| US6891518B2 (en) | 2000-10-05 | 2005-05-10 | Siemens Corporate Research, Inc. | Augmented reality visualization device |
| US20020082498A1 (en) * | 2000-10-05 | 2002-06-27 | Siemens Corporate Research, Inc. | Intra-operative image-guided neurosurgery with augmented reality visualization |
| US20050207486A1 (en) | 2004-03-18 | 2005-09-22 | Sony Corporation | Three dimensional acquisition and visualization system for personal electronic devices |
| US8269822B2 (en) * | 2007-04-03 | 2012-09-18 | Sony Computer Entertainment America, LLC | Display viewing system and methods for optimizing display view based on active tracking |
| US7784938B2 (en) * | 2007-05-09 | 2010-08-31 | Dolby Laboratories Licensing Corporation | Method and system for shaped glasses and viewing 3D images |
| WO2010062481A1 (en) * | 2008-11-02 | 2010-06-03 | David Chaum | Near to eye display system and appliance |
| US20120113235A1 (en) | 2010-11-08 | 2012-05-10 | Sony Corporation | 3d glasses, systems, and methods for optimized viewing of 3d video content |
| EP2469743B1 (en) * | 2010-12-23 | 2019-02-20 | Nagravision S.A. | A system to identify a user of television services by using biometrics |
| JP5633406B2 (ja) | 2011-02-04 | 2014-12-03 | セイコーエプソン株式会社 | 虚像表示装置 |
| JP5889536B2 (ja) | 2011-03-08 | 2016-03-22 | ローム株式会社 | 制御システム、制御装置、映像システム、眼鏡、および映像表示装置 |
| EP2546776B1 (de) | 2011-07-11 | 2013-06-12 | Sick Ag | Kamerabasierter Codeleser und Verfahren zu dessen justierter Herstellung |
| US8629815B2 (en) * | 2011-08-09 | 2014-01-14 | Google Inc. | Laser alignment of binocular head mounted display |
| US9311883B2 (en) * | 2011-11-11 | 2016-04-12 | Microsoft Technology Licensing, Llc | Recalibration of a flexible mixed reality device |
| US8810600B2 (en) | 2012-01-23 | 2014-08-19 | Microsoft Corporation | Wearable display device calibration |
| US9204041B1 (en) | 2012-07-03 | 2015-12-01 | Gopro, Inc. | Rolling shutter synchronization |
| US9275459B2 (en) | 2012-10-05 | 2016-03-01 | Qualcomm Incorporated | Method and apparatus for calibrating an imaging device |
| US20140168264A1 (en) * | 2012-12-19 | 2014-06-19 | Lockheed Martin Corporation | System, method and computer program product for real-time alignment of an augmented reality device |
| US9609305B1 (en) * | 2013-03-13 | 2017-03-28 | Amazon Technologies, Inc. | Feature-based rectification of stereo cameras |
| AU2014239979B2 (en) | 2013-03-15 | 2017-06-22 | Aurora Operations, Inc. | Methods, systems, and apparatus for multi-sensory stereo vision for robotics |
| US9239460B2 (en) * | 2013-05-10 | 2016-01-19 | Microsoft Technology Licensing, Llc | Calibration of eye location |
| US10345903B2 (en) * | 2013-07-30 | 2019-07-09 | Microsoft Technology Licensing, Llc | Feedback for optic positioning in display devices |
| KR101821284B1 (ko) * | 2013-08-22 | 2018-01-23 | 비스포크, 인코포레이티드 | 커스텀 제품을 생성하기 위한 방법 및 시스템 |
| US9628778B2 (en) | 2013-10-14 | 2017-04-18 | Eys3D Microelectronics, Co. | Calibration system of a stereo camera and calibration method of a stereo camera |
| KR102191151B1 (ko) * | 2013-12-30 | 2020-12-16 | 삼성디스플레이 주식회사 | 전자 기기 및 전자 기기의 구동 방법 |
| EP2899583A3 (en) | 2014-01-26 | 2015-08-12 | Matthew Stefan Muller | Periodic fringe imaging with structured pattern illumination and electronic rolling shutter detection |
| JP6447055B2 (ja) | 2014-01-28 | 2019-01-09 | 株式会社リコー | 校正方法、校正装置、計測用具及びプログラム |
| US8988509B1 (en) | 2014-03-20 | 2015-03-24 | Gopro, Inc. | Auto-alignment of image sensors in a multi-camera system |
| US9197885B2 (en) | 2014-03-20 | 2015-11-24 | Gopro, Inc. | Target-less auto-alignment of image sensors in a multi-camera system |
| US10349037B2 (en) | 2014-04-03 | 2019-07-09 | Ams Sensors Singapore Pte. Ltd. | Structured-stereo imaging assembly including separate imagers for different wavelengths |
| US9759918B2 (en) | 2014-05-01 | 2017-09-12 | Microsoft Technology Licensing, Llc | 3D mapping with flexible camera rig |
| JP6364936B2 (ja) * | 2014-05-07 | 2018-08-01 | セイコーエプソン株式会社 | 画像表示装置 |
| EP2950519B1 (de) | 2014-05-26 | 2016-05-25 | Sick Ag | Kamera und Verfahren zur Aufnahme von Bilddaten |
| JP6354425B2 (ja) | 2014-07-30 | 2018-07-11 | 株式会社デンソー | 車載カメラの取り付け姿勢検出方法およびその装置 |
| WO2016017997A1 (en) * | 2014-07-31 | 2016-02-04 | Samsung Electronics Co., Ltd. | Wearable glasses and method of providing content using the same |
| US9635222B2 (en) * | 2014-08-03 | 2017-04-25 | PogoTec, Inc. | Wearable camera systems and apparatus for aligning an eyewear camera |
| KR20160036745A (ko) | 2014-09-25 | 2016-04-05 | 삼성디스플레이 주식회사 | 다시점 영상 표시 시스템 및 그 구동 방법 |
| DE102014115540A1 (de) | 2014-10-24 | 2016-04-28 | Sick Ag | Kamera und Verfahren zur Erfassung von Objekten |
| WO2016073986A1 (en) | 2014-11-07 | 2016-05-12 | Eye Labs, LLC | Visual stabilization system for head-mounted displays |
| KR102275778B1 (ko) * | 2014-12-04 | 2021-07-09 | 삼성디스플레이 주식회사 | 헤드 마운티드 디스플레이 장치 |
| US10152119B2 (en) * | 2014-12-11 | 2018-12-11 | Htc Corporation | Head-mounted display apparatus and calibration method thereof |
| WO2016126672A1 (en) * | 2015-02-02 | 2016-08-11 | Brian Mullins | Head mounted display calibration |
| US9894350B2 (en) | 2015-02-24 | 2018-02-13 | Nextvr Inc. | Methods and apparatus related to capturing and/or rendering images |
| US10162412B2 (en) | 2015-03-27 | 2018-12-25 | Seiko Epson Corporation | Display, control method of display, and program |
| JPWO2016162901A1 (ja) | 2015-04-07 | 2018-02-01 | オリンパス株式会社 | 眼鏡型表示装置 |
| WO2016174659A1 (en) | 2015-04-27 | 2016-11-03 | Snapaid Ltd. | Estimating and using relative head pose and camera field-of-view |
| JP6646361B2 (ja) | 2015-04-27 | 2020-02-14 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
| US10122998B2 (en) | 2015-04-30 | 2018-11-06 | Seiko Epson Corporation | Real time sensor and method for synchronizing real time sensor data streams |
| US11086148B2 (en) * | 2015-04-30 | 2021-08-10 | Oakley, Inc. | Wearable devices such as eyewear customized to individual wearer parameters |
| US10271042B2 (en) * | 2015-05-29 | 2019-04-23 | Seeing Machines Limited | Calibration of a head mounted eye tracking system |
| WO2016203988A1 (ja) | 2015-06-17 | 2016-12-22 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| US20180213201A1 (en) | 2015-07-21 | 2018-07-26 | Heptagon Micro Optics Pte. Ltd. | Generating a disparity map based on stereo images of a scene |
| US10368059B2 (en) * | 2015-10-02 | 2019-07-30 | Atheer, Inc. | Method and apparatus for individualized three dimensional display calibration |
| US10630965B2 (en) * | 2015-10-02 | 2020-04-21 | Microsoft Technology Licensing, Llc | Calibrating a near-eye display |
| KR102574490B1 (ko) * | 2015-10-12 | 2023-09-04 | 삼성전자주식회사 | 머리 장착형 전자 장치 |
| US10260864B2 (en) | 2015-11-04 | 2019-04-16 | Magic Leap, Inc. | Dynamic display calibration based on eye-tracking |
| US9762893B2 (en) | 2015-12-07 | 2017-09-12 | Google Inc. | Systems and methods for multiscopic noise reduction and high-dynamic range |
| WO2017122552A1 (ja) | 2016-01-15 | 2017-07-20 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに画像処理システム |
| US10178378B2 (en) * | 2016-04-12 | 2019-01-08 | Microsoft Technology Licensing, Llc | Binocular image alignment for near-eye display |
| US10650602B2 (en) | 2016-04-15 | 2020-05-12 | Center Of Human-Centered Interaction For Coexistence | Apparatus and method for three-dimensional information augmented video see-through display, and rectification apparatus |
| US10887573B1 (en) | 2016-05-03 | 2021-01-05 | Erin Sanaa Kenrick | System for processing 2D content for 3D viewing |
| WO2017193691A1 (zh) * | 2016-05-12 | 2017-11-16 | 深圳增强现实技术有限公司 | 增强现实智能眼镜 |
| KR101822471B1 (ko) | 2016-05-26 | 2018-01-29 | 경북대학교 산학협력단 | 혼합현실을 이용한 가상현실 시스템 및 그 구현방법 |
| TW201810185A (zh) * | 2016-06-20 | 2018-03-16 | 帕戈技術股份有限公司 | 影像對準系統及方法 |
| WO2018014014A1 (en) | 2016-07-15 | 2018-01-18 | Nextvr Inc. | Camera alignment and/or calibration methods and apparatus |
| CN107664840A (zh) * | 2016-07-28 | 2018-02-06 | 中强光电股份有限公司 | 头戴式显示装置 |
| KR102606785B1 (ko) | 2016-08-30 | 2023-11-29 | 스냅 인코포레이티드 | 동시 로컬화 및 매핑을 위한 시스템 및 방법 |
| KR102529928B1 (ko) | 2016-09-22 | 2023-05-09 | 삼성전자주식회사 | 스테레오 카메라의 교정 방법 및 이를 수행하는 전자 장치 |
| KR102695517B1 (ko) * | 2016-11-29 | 2024-08-14 | 삼성전자주식회사 | 동공 거리 결정 방법 및 장치 |
| US20190129184A1 (en) * | 2016-12-08 | 2019-05-02 | Snail Innovation Institute | Laser-based display engine in wearable display devices |
| CN206671680U (zh) * | 2017-02-10 | 2017-11-24 | 京东方科技集团股份有限公司 | 一种智能用户体验设备及智能头盔 |
| CN110383147B (zh) | 2017-03-13 | 2020-11-27 | 三井化学株式会社 | 眼睛佩戴物 |
| DE102017106831A1 (de) | 2017-03-30 | 2018-10-04 | Sick Ag | Kamera und Verfahren zur Erfassung von relativ zu der Kamera in einer Förderrichtung bewegten Objekten |
| JP6855313B2 (ja) | 2017-05-01 | 2021-04-07 | キヤノン株式会社 | 画像表示システム、画像表示装置および画像表示方法 |
| US10503247B2 (en) | 2017-05-09 | 2019-12-10 | Microsoft Technology Licensing, Llc | Calibration of stereo cameras and handheld object |
| US10379545B2 (en) | 2017-07-03 | 2019-08-13 | Skydio, Inc. | Detecting optical discrepancies in captured images |
| EP3639245A4 (en) * | 2017-07-17 | 2021-03-10 | Vuzix Corporation | IMAGE SHIFT CORRECTION FOR A BINOCULAR VIRTUAL IMAGING DEVICE |
| US11158088B2 (en) | 2017-09-11 | 2021-10-26 | Tusimple, Inc. | Vanishing point computation and online alignment system and method for image guided stereo camera optical axes alignment |
| KR101910288B1 (ko) | 2017-09-12 | 2018-10-22 | (주)이즈미디어 | 듀얼 카메라모듈의 정렬 방법 |
| US10925484B2 (en) * | 2017-09-14 | 2021-02-23 | Orthozon Technologies, Llc | Interpupillary calibration system, apparatus, and method for stereoscopic visualization |
| US10504243B2 (en) | 2017-10-09 | 2019-12-10 | Facebook Technologies, Llc | Calibration system for a head-mounted display tracking system |
| EP3740809A4 (en) * | 2017-11-01 | 2021-12-15 | Vrgineers, Inc. | INTERACTIVE AUGMENTED OR VIRTUAL REALITY DEVICES |
| EP3729693B1 (en) * | 2017-12-21 | 2023-09-06 | Magic Leap, Inc. | Method for calibrating an augmented reality device |
| IL275615B (en) | 2018-01-02 | 2022-08-01 | Lumus Ltd | Augmented reality representatives with active alignment and matching methods |
| US11054670B2 (en) * | 2018-02-07 | 2021-07-06 | Brent Sheldon | Flexible eyewear assembly |
| US10511832B1 (en) * | 2018-02-14 | 2019-12-17 | Facebook Technologies, Llc | Calibration of virtual image system with extended nasal field of view |
| US11126009B2 (en) * | 2018-02-20 | 2021-09-21 | Brent Sheldon | Flexible bridge assembly for eyewear and method of assembling flexible eyewear |
| DE102018105301B4 (de) | 2018-03-08 | 2021-03-18 | Sick Ag | Kamera und Verfahren zur Erfassung von Bilddaten |
| US10757342B1 (en) | 2018-04-25 | 2020-08-25 | Snap Inc. | Image device auto exposure |
| US11272170B2 (en) | 2019-08-26 | 2022-03-08 | Alexander Shau | Ergonomic protective eyewear |
| JP2020003898A (ja) * | 2018-06-26 | 2020-01-09 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| US11269402B1 (en) * | 2018-08-03 | 2022-03-08 | Snap Inc. | User interface interaction paradigms for eyewear device with limited field of view |
| TWI725522B (zh) | 2018-08-28 | 2021-04-21 | 鈺立微電子股份有限公司 | 具有校正功能的影像擷取系統 |
| US20200077073A1 (en) | 2018-08-28 | 2020-03-05 | Qualcomm Incorporated | Real-time stereo calibration by direct disparity minimization and keypoint accumulation |
| EP3857292A4 (en) | 2018-09-26 | 2022-06-29 | Snap Inc. | Depth sculpturing of three-dimensional depth image utilizing two-dimensional input selection |
| EP3857875A4 (en) * | 2018-09-27 | 2022-06-15 | Snap Inc. | SEPARABLE DISTORTION DISPARITY DETERMINATION |
| US11113889B1 (en) * | 2018-09-27 | 2021-09-07 | Snap Inc. | Adjustable waveguide assembly and augmented reality eyewear with adjustable waveguide assembly |
| US10764558B2 (en) * | 2018-09-27 | 2020-09-01 | Valve Corporation | Reduced bandwidth stereo distortion correction for fisheye lenses of head-mounted displays |
| US10896494B1 (en) * | 2018-09-27 | 2021-01-19 | Snap Inc. | Dirty lens image correction |
| EP3663963B1 (de) | 2018-12-04 | 2021-03-10 | Sick Ag | Lesen von optischen codes |
| KR102145852B1 (ko) * | 2018-12-14 | 2020-08-19 | (주)이머시브캐스트 | 카메라 기반의 혼합현실 글래스 장치 및 혼합현실 디스플레이 방법 |
| EP3899642A1 (en) * | 2018-12-20 | 2021-10-27 | Snap Inc. | Flexible eyewear device with dual cameras for generating stereoscopic images |
| KR20210096306A (ko) | 2018-12-26 | 2021-08-04 | 스냅 인코포레이티드 | 컴퓨팅 디바이스들 상에서 3-차원 월페이퍼의 생성 및 사용자 상호작용들 |
| US10911680B2 (en) | 2018-12-28 | 2021-02-02 | Intel Corporation | Method and system of geolocation and attitude correction for mobile rolling shutter cameras |
| US11509883B2 (en) * | 2019-03-19 | 2022-11-22 | Lg Electronics Inc. | Electronic device |
| JP7307568B2 (ja) | 2019-03-20 | 2023-07-12 | 任天堂株式会社 | 画像表示システム、画像表示プログラム、表示制御装置、および画像表示方法 |
| CN110139028B (zh) | 2019-03-25 | 2020-07-07 | 华为技术有限公司 | 一种图像处理的方法及头戴式显示设备 |
| US11112609B1 (en) * | 2019-05-07 | 2021-09-07 | Snap Inc. | Digital glasses having display vision enhancement |
| KR20220024960A (ko) * | 2019-06-25 | 2022-03-03 | 스냅 인코포레이티드 | 소실점 입체 이미지 보정 |
| US11455796B1 (en) * | 2019-07-23 | 2022-09-27 | Snap Inc. | Blindness assist glasses |
| US11551688B1 (en) * | 2019-08-15 | 2023-01-10 | Snap Inc. | Wearable speech input-based vision to audio interpreter |
| US11320667B2 (en) | 2019-09-27 | 2022-05-03 | Snap Inc. | Automated video capture and composition system |
| US11039113B2 (en) * | 2019-09-30 | 2021-06-15 | Snap Inc. | Multi-dimensional rendering |
| US10965931B1 (en) * | 2019-12-06 | 2021-03-30 | Snap Inc. | Sensor misalignment compensation |
| US11307412B1 (en) * | 2019-12-30 | 2022-04-19 | Snap Inc. | Audio visualizer eyewear device |
| WO2021146035A1 (en) * | 2020-01-15 | 2021-07-22 | Magic Leap, Inc. | Compensation for deformation in head mounted display systems |
| US11792500B2 (en) * | 2020-03-18 | 2023-10-17 | Snap Inc. | Eyewear determining facial expressions using muscle sensors |
| US11803058B1 (en) * | 2020-04-16 | 2023-10-31 | Snap Inc. | Blind assist glasses with remote assistance |
| US11263729B2 (en) | 2020-05-26 | 2022-03-01 | Microsoft Technology Licensing, Llc | Reprojection and wobulation at head-mounted display device |
| US20210375301A1 (en) * | 2020-05-28 | 2021-12-02 | Jonathan Geddes | Eyewear including diarization |
| US20210390882A1 (en) * | 2020-06-16 | 2021-12-16 | Venu Iyengar | Blind assist eyewear with geometric hazard detection |
| US11533443B2 (en) * | 2020-06-29 | 2022-12-20 | Innovega, Inc. | Display eyewear with adjustable camera direction |
| US11582409B2 (en) * | 2020-06-29 | 2023-02-14 | Snap Inc. | Visual-inertial tracking using rolling shutter cameras |
| US11665334B2 (en) | 2020-06-30 | 2023-05-30 | Snap Inc. | Rolling shutter camera pipeline exposure timestamp error determination |
| KR20220017272A (ko) * | 2020-08-04 | 2022-02-11 | 삼성전자주식회사 | 웨어러블 전자 장치 |
| EP4198608A4 (en) * | 2020-09-07 | 2024-02-28 | Samsung Electronics Co., Ltd. | ELECTRONIC DEVICE WITH REDUCED CAMERA SIGNAL LINES |
| US11726327B2 (en) * | 2020-09-15 | 2023-08-15 | Snap Inc. | Eyewear having unsynchronized rolling shutter cameras |
| US11587255B1 (en) * | 2020-09-25 | 2023-02-21 | Snap Inc. | Collaborative augmented reality eyewear with ego motion alignment |
| CN116209942A (zh) * | 2020-09-28 | 2023-06-02 | 斯纳普公司 | 具有应变仪计算的护目镜 |
| US11546505B2 (en) * | 2020-09-28 | 2023-01-03 | Snap Inc. | Touchless photo capture in response to detected hand gestures |
| KR20230079411A (ko) * | 2020-09-30 | 2023-06-07 | 스냅 인코포레이티드 | 증강 현실 및 컴퓨터 비전 애플리케이션들을 위한 다목적 카메라들 |
| US11422380B2 (en) * | 2020-09-30 | 2022-08-23 | Snap Inc. | Eyewear including virtual scene with 3D frames |
| US11294188B1 (en) * | 2020-09-30 | 2022-04-05 | Snap Inc. | Geometry modeling of eyewear devices with flexible frames |
| US11985433B2 (en) | 2020-11-30 | 2024-05-14 | Microsoft Technology Licensing, Llc | SPAD array for intensity image sensing on head-mounted displays |
| US11442275B2 (en) * | 2020-12-20 | 2022-09-13 | Snap Inc. | Eyewear including a push-pull lens set |
| US11391962B1 (en) * | 2020-12-31 | 2022-07-19 | Lenovo (United States) Inc. | Head mounted display nosepiece |
| US11778160B2 (en) * | 2021-06-01 | 2023-10-03 | Microsoft Technology Licensing, Llc | Calibrating sensor alignment with applied bending moment |
| US11651518B2 (en) * | 2021-06-03 | 2023-05-16 | Meta Platforms Technologies, Llc | System for determining an expected field of view |
| US11620761B2 (en) * | 2021-06-07 | 2023-04-04 | Microsoft Technology Licensing, Llc | Depth sensing via device case |
| US11512952B1 (en) * | 2021-06-30 | 2022-11-29 | Microsoft Technology Licensing, Llc | Enhanced detection of sensor misalignments by coordinating sensors utilizing multiple sensing modalities |
| WO2023278132A1 (en) * | 2021-06-30 | 2023-01-05 | Snap Inc. | Augmented reality eyewear with x-ray effect |
| WO2023003803A1 (en) * | 2021-07-19 | 2023-01-26 | Lifecast Incorporated | Virtual reality systems and methods |
| US11740322B2 (en) * | 2021-09-10 | 2023-08-29 | Htc Corporation | Head mounted display device and position device thereof |
| EP4381340A1 (en) * | 2021-09-22 | 2024-06-12 | Samsung Electronics Co., Ltd. | Augmented reality device based on waveguide with variable curvature, method for operating the augmented reality device, augmented reality glasses, optical compensator |
| US20230152595A1 (en) * | 2021-11-17 | 2023-05-18 | Meta Platforms Technologies, Llc | Frame bending compensation in smart glasses for immersive reality applications |
| US20230245589A1 (en) * | 2022-02-02 | 2023-08-03 | 25Segments Ag | Computer implemented method, a computing device and a system for assisting bending of a reinforcing rod for attachment to a plurality of chirurgical implants |
-
2019
- 2019-11-19 EP EP19818407.9A patent/EP3899642A1/en active Pending
- 2019-11-19 CN CN201980083770.8A patent/CN113196139B/zh active Active
- 2019-11-19 KR KR1020217022640A patent/KR20210103541A/ko unknown
- 2019-11-19 WO PCT/US2019/062136 patent/WO2020131277A1/en unknown
- 2019-11-19 US US16/688,046 patent/US11212509B2/en active Active
-
2021
- 2021-11-08 US US17/521,001 patent/US11575872B2/en active Active
-
2022
- 2022-12-29 US US18/091,098 patent/US11856179B2/en active Active
-
2023
- 2023-10-26 US US18/384,273 patent/US12108019B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105319718A (zh) * | 2014-07-31 | 2016-02-10 | 三星电子株式会社 | 可穿戴眼镜和经由可穿戴眼镜显示图像的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230135377A1 (en) | 2023-05-04 |
| KR20210103541A (ko) | 2021-08-23 |
| US20240056560A1 (en) | 2024-02-15 |
| US11575872B2 (en) | 2023-02-07 |
| US12108019B2 (en) | 2024-10-01 |
| US11212509B2 (en) | 2021-12-28 |
| CN113196139A (zh) | 2021-07-30 |
| US20220060675A1 (en) | 2022-02-24 |
| WO2020131277A1 (en) | 2020-06-25 |
| US20200204787A1 (en) | 2020-06-25 |
| EP3899642A1 (en) | 2021-10-27 |
| US11856179B2 (en) | 2023-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113196139B (zh) | 用于生成立体图像的具有双摄像头的柔性眼戴设备 | |
| US9864191B2 (en) | Viewer with varifocal lens and video display system | |
| US9509916B2 (en) | Image presentation method and apparatus, and terminal | |
| CN109901710B (zh) | 媒体文件的处理方法和装置、存储介质及终端 | |
| KR102334212B1 (ko) | 3d 이미지를 디스플레이하는 방법 및 이를 위한 장치 | |
| US20150304625A1 (en) | Image processing device, method, and recording medium | |
| US11570425B2 (en) | Vanishing point stereoscopic image correction | |
| US20220060680A1 (en) | Head mounted display apparatus | |
| TWI589150B (zh) | ３ｄ自動對焦顯示方法及其系統 | |
| US20230281916A1 (en) | Three dimensional scene inpainting using stereo extraction | |
| CN103609104A (zh) | 用于立体效应调整的交互式用户接口 | |
| US20190028690A1 (en) | Detection system | |
| US20170142407A1 (en) | Portable device that controls photography mode, and control method therefor | |
| JP2022015647A (ja) | 情報処理装置および画像表示方法 | |
| US20230171511A1 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
| JP2011221905A (ja) | 情報処理装置 | |
| KR20240062865A (ko) | 웨어러블 전자 장치 및 그 동작 방법 | |
| KR20160100008A (ko) | 웨어러블 디바이스 및 웨어러블 디바이스 디스플레이 제어 방법 | |
| KR20140118063A (ko) | 멀티미디어 콘텐츠 시각화 조정을 위한 사용자 인터페이스 장치 및 그 방법 | |
| CN117597622A (zh) | 用于提供视力测量和视力校正的增强现实设备和方法 | |
| KR20120046937A (ko) | 영상 장치에서 쓰리디 효과를 제공하기 위한 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |