CN113876422A - 不可见光可视化自动配准型增强现实眼镜 - Google Patents

不可见光可视化自动配准型增强现实眼镜 Download PDF

Info

Publication number
CN113876422A
CN113876422A CN202110724590.2A CN202110724590A CN113876422A CN 113876422 A CN113876422 A CN 113876422A CN 202110724590 A CN202110724590 A CN 202110724590A CN 113876422 A CN113876422 A CN 113876422A
Authority
CN
China
Prior art keywords
invisible light
augmented reality
output
coupler
waveguide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110724590.2A
Other languages
English (en)
Other versions
CN113876422B (zh
Inventor
安礼灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
lndustry University Cooperation Foundation of Pukyong National University
Original Assignee
lndustry University Cooperation Foundation of Pukyong National University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by lndustry University Cooperation Foundation of Pukyong National University filed Critical lndustry University Cooperation Foundation of Pukyong National University
Publication of CN113876422A publication Critical patent/CN113876422A/zh
Application granted granted Critical
Publication of CN113876422B publication Critical patent/CN113876422B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0189—Sight systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G02B27/022—Viewing apparatus
    • G02B27/023—Viewing apparatus for viewing X-ray images using image converters, e.g. radioscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/745—Details of notification to user or communication with user or patient ; user input means using visual displays using a holographic display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

本发明涉及一种不可见光可视化自动配准型增强现实眼镜，上述不可见光可视化自动配准型增强现实眼镜包括：眼镜主体，戴在用户脸面上；不可见光照射单元，设置在上述眼镜主体的一侧，向对象物照射不可见光；输入单元，设置在上述眼镜主体的一侧，将从上述对象物放出的不可见光和可见光一起输入到波导管；信息处理单元，设置在上述眼镜主体的一侧，将从上述输入单元接收的不可见光图像信息转换成人可识别的可见光图像信息；及图像输出单元，设置在上述眼镜主体的一侧，接收在上述信息处理单元经过处理的可见光图像信息，并在上述波导管将上述可见光图像信息输出到肉眼。

Description

不可见光可视化自动配准型增强现实眼镜
技术领域
本发明涉及一种不可见光可视化自动配准型增强现实眼镜，更具体而言，涉及通过眼睛直接识别现实空间，并且仅将从特定部位发出的不可见光诊断和治疗信息精确地自动配准到现实空间的不可见光可视化自动配准型增强现实眼镜。
并且，本发明涉及提供足够的眼盒扩展(Eye-box expansion)和宽视场 (FOV：Field of View)，并且不会引起视觉辐辏调节冲突(VAC：vergence-accommodationconflict)问题的不可见光可视化自动配准型增强现实眼镜。
背景技术
由于近红外线的对人体中的渗透深度较深，因此使用荧光、透射、散射和吸收等原理的各种医疗设备上市。另外，随着高级光敏剂被开发，其被应用于光诊断和光疗。其中，吲哚菁绿(Indocyanine Green)是已获得美国食品和药物管理局(FDA)批准的广泛使用的光反应性染料。吲哚菁绿容易吸收 600nm至900nm范围内的近红外光源的光，并发出750nm至950nm范围内的荧光近红外光线。在使用吲哚菁绿荧光的荧光成像(或荧光检测)设备中，为了防止吸收波段和发射波段之间的重叠，在光源的前面设置激发滤光片，且在相机(或光电探测器)的前面设置发射滤光片。例如，激发滤光片使激发光仅在以780nm为中心左右20nm范围内的波段透射，并且发射滤光片使荧光发射仅在以840nm为中心左右20nm范围内的波段透射。吲哚菁绿通过静脉内注射被注入人体中，并更多沉积在比正常组织具有更多新生血管的肿瘤上。当使用配备有光源、照相机、激发滤光片和发射滤光片的荧光成像设备时，可以对从肿瘤发射的荧光进行成像，从而实时可见肿瘤的位置。
由于近红外线是不可见波长的光，因此在医疗现场使用对近红外线具有灵敏度的照相机来获取近红外线图像来诊断或监视治疗过程。近来，由于互补金属氧化物半导体(CMOS：Complementary Metal-Oxide-Semiconductor Transistor)摄像机价格便宜，并且尽管不是最灵敏的，但对近红外线具有灵敏度，因此CMOS摄像机已广泛用于监视近红外线。还有昂贵的近红外专用相机，例如InGaAs相机。
然而，当使用如上所述的照相机时，为了使人识别近红外线，应将由照相机感测到的近红外线转换为人可识别的可见光，并显示在监视器上。上述过程不可避免地具有如下缺点，即，在手术过程中，手术者应将视线转向监视器并持续观察监视器。
因此，需要显示与手术者的视线同轴的近红外线并将近红外线发射的空间自动配准到实际手术空间以表现为增强现实的一种设备，并且预测这种设备可在手术或施术过程中方便地被使用。但是，现有的增强现实和虚拟现实眼镜无法将增强现实和虚拟现实空间精细配准到现实空间。另外，在使用虚拟现实眼镜的情况下，使用多个照相机来识别现实空间且将识别出的现实空间显示在虚拟现实眼镜上以试图解决上述问题，但是，由于上述解决方案应依赖于照相机而不能通过眼睛直接识别现实空间，因此在应确保安全的医疗现场有些反感。
另一方面，在增强现实和虚拟现实眼镜中，只有将数字图像定位在两只眼睛同时凝视的位置且应该将眼睛的镜头焦点对准在该地点，才能防止发生头晕。当两只眼睛的凝视点不匹配眼睛的镜头焦点时，即，当图像识别距离 (Vergence distance)与图像焦点距离(Accommodation distance)不一致时，会发生视觉辐辏调节冲突(VAC：Vergence-accommodation conflict)，因此难以使用眼镜长时间。尤其，当用手术者的手在近红外发射区域附近进行手术时，图像识别距离接近80cm或更小，使得VAC现象变得非常重要。因此，在将数字图像叠加在位于用户臂长内侧的现实工作空间中的增强现实眼镜的情况下，解决VAC问题非常重要。
另外，在增强现实和虚拟现实眼镜中，仅当眼球相对于增强现实和虚拟现实眼镜正确定位时，才能看到数字图像。然而，当上述眼镜与眼球之间的对准应很精确时，用户不可避免地非常不方便，因此需要通过在眼球的位置处给予一定程度的对准公差来解决该问题。也就是说，即使当上述眼镜与眼球大致对准，也可以看到图像。给予上述对准公差被称为眼盒扩展(Eye-box expansion)。
在增强现实和虚拟现实眼镜中，确保宽视场也非常重要。即，随着视野角(Fieldof View，FOV)变大，可以看到更宽视野的数字图像。例如，当在增强现实眼镜的帮助下在近红外发射区域附近进行手术时，若指示近红外发射区域的数字图像的视野较窄，则在手术时会引起很多不便。
现有技术文献
专利文献
(专利文献0001)韩国授权专利号第1678009号(2016.11.15)
发明内容
技术问题
本发明是为了解决上述问题而研制的，其目的在于提供通过眼睛直接识别现实空间，并且仅将从特定部位发出的不可见光诊断和治疗信息精确地配准到现实空间的不可见光可视化自动配准型增强现实眼镜。
并且，本发明包括将如近红外线和紫外线等不可见光可视化并自动配准到现实空间。另外，医学领域仅仅是一个例子，而本发明可应用于不可见光具有信息且需要将该信息自动配准到由可见光形成的现实空间的各种工业。
技术方案
用于达到上述目的的根据本发明的不可见光可视化自动配准型增强现实眼镜包括：眼镜主体，戴在用户脸面上；不可见光照射单元，设置在上述眼镜主体的一侧，向对象物照射不可见光；输入单元，设置在上述眼镜主体的前面，将从上述对象物放出的不可见光和可见光一起输入到波导管；信息处理单元，设置在上述眼镜主体的一侧，将从上述输入单元接收的不可见光图像信息转换成人可识别的可见光图像信息；及图像输出单元，设置在上述眼镜主体的后面，接收在上述信息处理单元经过处理的可见光图像信息，并在上述波导管将上述可见光图像信息输出到肉眼。
优选地，上述不可见光可视化自动配准型增强现实眼镜还包括：焦点调节单元，设置在上述眼镜主体的一侧，调节使得两个肉眼的视线集中的地处和从上述图像输出单元输出的现实和增强现实图像信息的焦点正确一致；及眼球跟踪单元，设置在上述眼镜主体的一侧，预测图像识别距离，向上述焦点调节单元传送距离信息。
优选地，上述输入单元包括：第一输入耦合器，形成在上述波导管的端部，供不可见光入射；第一输出耦合器，以与上述第一输入耦合器隔开预定距离的方式形成在上述波导管的另一端部，将在上述第一输入耦合器入射的不可见光输出到上述相机部；及相机部，拍摄在上述第一输出耦合器输出的不可见光。
上述图像输出单元包括：显示部，输出从上述信息处理单元接收的信息；第二输入耦合器，形成在上述波导管的端部，接收在上述显示部输出的图像信息；及第二输出耦合器，以与上述第二输入耦合器隔开预定距离的方式形成在上述波导管，且形成为使得在上述第二输入耦合器接收的信息被输出到用户的肉眼，其中，上述第二输出耦合器形成为使得图像输出位置对应于上述对象物的实际位置。
上述显示部使用可与用户识别的现实图像信息形成对比的伪彩色 (PseudoColor)来将不可见光具有的信息以可见光的形式传送到上述第二输入耦合器。
优选地，上述相机部向上述信息处理单元传输图像信息，上述信息处理单元对所接收的图像信息进行图像处理，并将该图像信息传输到上述显示部。
上述眼球跟踪单元通过跟踪眼球凝视现实空间的视线来确定图像识别距离，并将确定的信息输入到上述信息处理单元，上述信息处理单元根据所输入的信息实时计算眼球的图像识别距离。
优选地，上述焦点调节单元包括：第一焦点调节部，由透明光学系统构成，上述透明光学系统包括一个以上的反射元件、折射元件、衍射元件、全息元件或偏振元件，以引起光的折射；及第二焦点调节部，由透明光学系统构成，上述透明光学系统包括一个以上的反射元件、折射元件、衍射元件、全息元件或偏振元件，以引起光的折射。
上述焦点调节单元实时接收在上述眼球跟踪单元测定并在上述信息处理单元计算的图像识别距离信息，将包括不可见光信息的数字图像的焦距与眼球的图像识别距离进行比较，并保持焦距与眼球的图像识别距离之间的差在 0.25的屈光度之内。
优选地，上述第一焦点调节部位于两侧，以对应于用户的两个眼球，上述第二焦点调节部位于两侧，以对应于用户的两个眼球，且形成为使得图像输出位置与朝向上述对象物的视线配准。
优选地，上述图像输出单元包括：显示部，输出从上述信息处理单元接收的信息；第二输入耦合器，形成在上述波导管的端部，并接收在上述显示部输出的图像信息；及第二输出耦合器，以与上述第二输入耦合器隔开预定距离的方式形成在上述波导管，设置成使得从上述第二输入耦合器接收的信息被输出到用户的肉眼，其中，上述第二输出耦合器形成为使得图像输出位置对应于上述对象物的实际位置，上述第一输入耦合器、第一输出耦合器、上述第二输入耦合器及第二输出耦合器以包括一个以上的反射元件、折射元件、衍射元件、全息元件或偏振元件的方式组合，以确保80度以上的视野角。
上述第一输入耦合器位于两侧，以对应于用户的两个眼球，上述第一输出耦合器和相机部与上述两侧的第一输入耦合器隔开并位于上述眼镜主体中的两侧，上述第二输出耦合器位于两侧，以对应于用户的两个眼球，上述显示部和第二输入耦合器与上述两侧的第二输出耦合器隔开并位于上述眼镜主体中的两侧，且上述第二输出耦合器形成为使得图像输出位置与朝向上述对象物的视线配准。
上述第一输入耦合器和第二输出耦合器为衍射光学元件、全息光学元件或针镜中的一种。
上述第一输入耦合器或第一输出耦合器在前面还包括过滤器，使得仅不可见光被传输到上述相机部。
上述波导管由第一波导管和第二波导管形成，上述第一波导管包括：第一输入耦合器，形成在上述第一波导管的端部，供不可见光入射；第一输出耦合器，以与上述第一输入耦合器隔开预定距离的方式形成在上述第一波导管，并输出在上述第一输入耦合器入射的不可见光；及相机部，拍摄在上述第一输出耦合器输出的不可见光，其中，上述第二波导管包括：第二输入耦合器，形成在上述第二波导管的端部，接收在上述显示部输出的图像信息；及第二输出耦合器，以与上述第二输入耦合器隔开预定距离的方式形成在上述第二波导管，且设置成使得在上述第二输入耦合器接收的信息被输出到用户的肉眼。
上述第一输入耦合器为设置在第一波导管一侧的第一衍射光学元件、第一全息光学元件或第一钉镜中的一种，上述第二输出耦合器为设置在第二波导管一侧的第二衍射光学元件、第二全息光学元件或第二钉镜中的一种。
上述第一输入耦合器或第一输出耦合器在前面还包括第一过滤器，使得仅不可见光被传输到上述相机部。
上述不可见光照射单元包括第二过滤器，以向上述对象物仅照射特定波段的不可见光。
上述焦点调节单元由平行光结构构成，上述平行光结构保持用于解决 VAC问题的焦点调节功能，同时实现通过扩展入射光瞳和出射光瞳的光量确保和眼盒扩展功能。
上述波导管由供可见光穿过的透明的光学材料制成，自由形式光学元件(freeform optic)、平面光学元件及曲面光学元件中的一种用作上述波导管，且像普通眼镜一样添加有用户的视力校正功能。
上述输入单元和上述图像输出单元分别由具有一个以上的波长通道的结构构成，且由通过使固有波长仅传输到各个通道来解决色差的结构构成。
上述第一焦点调节部被配置成通过与设置在上述第一输出耦合器中的镜头综合作用，以具有与眼球镜头的焦深等同的效果，从而自动地向上述相机部赋予逼真的光学模糊(Optical blur)。
上述眼球跟踪单元由与两个眼球相对应的单独照相机和照明装置形成，或者具有使用两个眼球的眼电位信号的聚散度跟踪器(Vergence tracker)的结构。
上述第一输出耦合器和上述第二输入耦合器的形状具有鸟盆(birdbath) 结构。
技术效果
根据本发明的不可见光可视化自动配准型增强现实眼镜，可以通过眼睛直接识别现实空间，并且仅将从特定部位发出的近红外诊断和治疗信息精确地配准到现实空间，因此具有技术效果，即，在手术或施术过程中能够在与手术者的视线同轴上配准近红外光线，从而可以显示为增强现实。
附图说明
图1和图3为根据本发明的不可见光可视化自动配准型增强现实眼镜的第一实施例的示意图。
图2为示意性示出根据本发明的不可见光可视化自动配准型增强现实眼镜的第一实施例的构成的框图。
图4为根据本发明的不可见光可视化自动配准型增强现实眼镜的第二实施例的示意图。
图5为根据本发明的不可见光可视化自动配准型增强现实眼镜的第三实施例的示意图。
图6为根据本发明的不可见光可视化自动配准型增强现实眼镜的第四实施例的示意图。
图7为示出图5至图6中具有三个波长通道的第一波导管的示意图。
图8为示出图5至图6中具有三个波长通道的第二波导管的示意图。
图9为示出图1至图8中第一输出耦合器的鸟盆(birdbath)结构的示意图。
图10为示出图1至图8中第二输入耦合器的鸟盆结构的示意图。
附图标记说明
1：不可见光可视化自动配准型增强现实眼镜
10：对象物
20：不可见光
30：可见光
31：可见光现实图像信息
40：可见光增强现实图像信息
50：肉眼
100：不可见光照射单元
200：输入单元
210：第一输入耦合器
211：第一钉镜
212：第二钉镜
213：两面钉镜
220：第一输出耦合器
230：相机部
231：第一过滤器
300：波导管
301：第一波导管
302：第二波导管
400：信息处理单元
500：图像输出单元
510：第二输入耦合器
520：第二输出耦合器
530：显示部
600：焦点调节单元
610：第一焦点调节部
620：第二焦点调节部
700：眼球跟踪单元
具体实施方式
下面，参照附图对本发明的实施例的不可见光可视化自动配准型增强现实眼镜进行详细说明。本发明可以进行多种变更，可以具有多种形态，通过附图显示特定实施例并在本文中进行详细说明。但是，本发明并非限定于特定的公开形态，应当理解为包括属于本发明的思想及技术方案的所有变更、均等物以及代替物。在说明各个附图时对类似的构成要素使用了类似的附图标记。关于附图，为了使本发明更加明确，与实际相比放大显示了构造物的大小。
第一、第二等用语可以用于说明多种构成要素，但所述用语不得限定所述构成要素。所述用语只用以区分一个构成要素与另一构成要素。例如，在不脱离本发明的权利范围的情况下，第一构成要素可以命名为第二构成要素，类似地，第二构成要素也可以命名为第一构成要素。
在本申请中所使用的用语仅用于说明特定实施例，而并非限定本发明。只要在句子中未特别言及，单数型也包括复数型。本说明书中使用的“包括”、“具有”等用语表示具有说明书中记载的特征、数字、步骤、工作、构成要素、构件或其组合产物，而不应理解为排除一个或一个以上的其他特征或数字、步骤、工作、构成要素、构件或其组合产物的存在或附加可能性。
若无另行定义，包括技术或科学用语在内的所有用语，表示和本发明所属技术领域的普通技术人员的通常理解相同的意思。通常使用的词典定义过的用语，应解释为与相关技术的文章脉络的意思相一致的意思，若本发明中无明确定义，不得解释为理想或过度形式性的意思。
图1至图3示出根据本发明的不可见光可视化自动配准型增强现实眼镜 1的第一实施例。
参照附图，不可见光可视化自动配准型增强现实眼镜1包括：眼镜主体、不可见光照射单元100、输入单元200、信息处理单元400、图像输出单元500、焦点调节单元600及眼球跟踪单元700。
上述不可见光照射单元100可以设置在上述眼镜主体的一侧上以向对象物10照射不可见光20，且可以安装在增强现实眼镜的任何一个地点，或以通过单独的支撑物附着到用户的头部或身体的一部分上的形式形成，或与如手术室的无影灯等的照明装置一体地形成，或以单独地附接到照明装置的形式形成。另外，上述不可见光照射单元100包括第二滤光器，以便仅照射特定波段的不可见光。
上述输入单元200设置在上述眼镜主体的一侧上，以将从上述对象物10 发射的不可见光20与可见光30一起输入到波导管300，并且包括第一输入耦合器210、第一输出耦合器220及相机部230。
上述第一输入耦合器210形成在上述波导管300的端部，供不可见光20 入射。上述第一输出耦合器220以与上述第一输入耦合器210隔开预定距离的方式形成在上述波导管300的另一端部，且将在上述第一输入耦合器210 入射的不可见光20输出到上述相机部230。
上述第一输入耦合器210是不可见光20被入射到上述波导管300的部分，由光可入射的入射材料制成，或也可以以插入到上述波导管300内部的形式形成，或可以形成单独的图案使得光入射到上述波导管300的一部分。
上述第一输出耦合器220输出在上述第一输入耦合器210入射的不可见光20，且以与上述第一输入耦合器210隔开预定距离的方式形成在上述波导管300。并且，可输出光的入射材料可以插入到上述波导管300内部，或可以独立地形成在外部，或可以形成单独的图案使得光输出到上述波导管300 的一部分。
上述相机部230拍摄在上述第一输出耦合器220输出的不可见光20。
上述图像输出单元500包括显示部530、第二输入耦合器510及第二输出耦合器520。
上述显示部530使用伪彩色(Pseudo Color)将不可见光20具有的增强现实信息以不同的可见光增强现实图像信息40的形式发送给上述第二输入耦合器510，上述伪彩色可以与用户识别的可见光现实图像信息31进行对比。
在本实施例中，当假设是手术室时，由于器官和血液的颜色是红色，因此上述显示部530输出作为与红色形成对比的互补色的蓝色或绿色，从而可以使可见光现实图像信息31与可见光增强现实图像信息40区分开。
上述显示部530可以由微型有机发光二极管(OLED)显示器、微型发光二极管(LED)显示器、硅基液晶(LCoS：Liquid Crystal On Silicon)显示器或硅基OLED(OLEDoS：OLEDOn Silicon)显示器构成。上述图像输出单元500可以以全息显示器或光场显示器的形式形成，以解决VAC(调节从上述图像输出单元500输出的可见光增强现实图像信息40和从上述对象物输出的可见光现实图像信息31的焦点在两个肉眼50的凝视位置处精确一致) 问题和像差问题。然而，上述显示器的类型不限于此。
上述第二输入耦合器510形成在上述波导管300的端部，且接收由上述显示部530输出的可见光增强现实图像信息40。
上述第二输出耦合器520被设置成使得在上述第二输入耦合器510接收的可见光增强现实图像信息40被输出到用户的肉眼50，且以与上述第二输入耦合器510隔开预定间隔的方式形成在上述波导管300。
此时，优选地，上述第二输出耦合器520形成为使得图像输出位置对应于上述对象物10的实际位置。
上述波导管300由透明的光学材料形成，使得不可见光20可以传播到上述第一输入耦合器210和第一输出耦合器220，且可见光增强现实图像信息 40传播到上述第二输入耦合器510和第二输出耦合器520之间。优选地，上述波导管300与如平行板、矩形和圆形等的形状无关地具有非常轻的重量和薄的厚度。
上述波导管300可以由可见光30穿过的透明光学材料制成，并且可以使用自由形式光学元件(freeform optic)、平面光学元件或曲面光学元件，且像普通眼镜一样可以添加有用户的视力校正功能。
例如，上述波导管300本身可以形成为具有曲面或自由形式而不是平坦表面的镜头以校正视力，并且可以根据用户定制。
上述输入单元200和上述图像输出单元500分别由具有一个以上的波长通道的结构构成，且可以通过使固有波长仅传输到各个通道来解决色差。
上述第一输入耦合器210、第一输出耦合器220、第二输入耦合器510 及第二输出耦合器520以包括一个以上的反射元件、折射元件、衍射元件、全息元件或偏振元件的方式组合，以确保80度以上的大视野角。
上述第一输入耦合器210具有能够通过入射光瞳扩展(Entrance pupilexpansion)确保不可见光20的最大光量的结构。
上述第二输出耦合器520能够通过出射光瞳扩展(Exit pupil expansion) 进行一维和二维眼盒扩展(Eye-box expansion)，从而，即使与肉眼50相比在上述第一输入耦合器210和上述第二输出耦合器520的相对位置发生间隔，也提供稳定的视觉图像。
优选地，使用将输入到上述第一输入耦合器210的光和在上述第二输出耦合器520输出的光的焦点位于无限的位置的平行光结构来实现入射光瞳和出射光瞳扩展。当实现平行光结构时，可以容易地设计包括上述第一输入耦合器210的输入单元200，使得平行入射到大面积上的光聚集在上述相机部 230的一点处。因此，在平行光结构中，随着入射光瞳的尺寸变大，照相机可以确保更大量的光量。另外，当实现平行光结构时，可以容易地形成将来自上述显示部530的一个点的光转换为平行光的包括上述第二输出耦合器 520的上述图像输出单元500。因此，在平行光结构中，可以通过出射光瞳扩展容易地实现眼盒扩展。
优选地，为了防止视觉辐辏调节冲突，上述焦点调节单元600可以使用上述第一焦点调节部610和上述第二焦点调节部620实时定位数字增强现实图像的虚像，并保持使输入在上述第一输入耦合器210上的光和从上述第二输出耦合器520输出的光的焦点位于无限的位置的平行光结构。
将上述焦点调节单元600的第一焦点调节部610设置在上述第一输入耦合器210的对象物10方面的一侧上以具有正焦距，将第二焦点调节部620以与第一焦点调节部610隔开预定距离的方式设置在上述第二输出耦合器520 的肉眼50方面的一侧上以具有负焦距，并使两个焦距的绝对值相等，从而，在保持平行光结构的同时，使眼球所识别的现实世界没有失真。
结果，在保持用于解决视觉辐辏调节冲突问题的焦点调节功能的“同时”，实现通过入射光瞳和出射光瞳扩展的光量确保和眼盒扩展功能的方法就是构成“平行光”结构。
另外，为了需要视力矫正的用户，对第二焦点调节部620的焦距可以增加视力矫正所需的屈光度。
上述焦点调节单元600调节使得两个肉眼50的视线集中的地处和从上述图像输出单元500输出的可见光增强现实图像信息40和来自上述对象物的可见光现实图像信息31的焦点正确一致，且包括第一焦点调节部610和第二焦点调节部620。
优选地，上述第一焦点调节部610包括一个以上的反射元件、折射元件、衍射元件、全息元件或偏振元件，且位于两侧，以对应于用户的两个眼球。
当上述第一焦点调节部610通过与设置在上述第一输出耦合器220中的镜头综合作用而表现出与眼球镜头的焦深(Depth of focus)等效的效果时，上述第一焦点调节部610可以接收不可见光20信息，以将该信息传输到上述相机部230，并向照相机上的数字图像即不可见光20的空间信息能够自动地赋予逼真的光学模糊(Optical blur)。
当肉眼50识别并凝视物体时，上述光学模糊通过模糊周围的环境来提供透视感。当没有光学模糊时，透视感可能会消失，而当光学模糊过多时，可能会产生异质感。
因此，在本发明中，由于肉眼50所识别的现实空间中的光学模糊和数字图像中的光学模糊彼此相等，因此可以识别容易配准的三维图像。
优选地，上述第二焦点调节部620包括一个以上的反射元件、折射元件、衍射元件、全息元件或偏振元件，且形成为使得图像输出位置与朝向上述对象物10的视线配准。
上述第一焦点调节部610和上述第二焦点调节部620包括一个以上的反射元件、折射元件、衍射元件、全息元件或偏振元件以构成引起光的折射的透明光学系统，且为了减轻重量，可以使用如多个PBP透镜 (Pancharatnam-Berry相位透镜)、煎饼透镜(Pancakelens)、液晶透镜或液体透镜等可变焦距透镜，但是本发明不限于此。
上述眼球跟踪单元700可以预测图像识别距离并将距离信息发送到上述焦点调节单元600。为了起到通过跟踪凝视现实空间的肉眼50的视线来确定图像识别距离的聚散度跟踪器(Vergence tracker)的作用，可以布置与两眼对应的单独的照相机和照明，或可以使用两眼的眼电位(Electrooculography) 信号。
优选地，上述信息处理单元400将信号发送到上述相机部230、显示部 530、第一输出耦合器220及第二输入耦合器510，以调节镜头的光圈值、焦点、帧率、曝光时间以及国际标准化组织(ISO)感光度。
优选地，当将本发明的第一实施例适用于两眼时，上述第一输入耦合器 210以对应于用户的两眼的方式位于两侧，上述第一输出耦合器220和相机部230以与上述两侧第一输入耦合器210隔开的方式位于上述眼镜主体中的两侧，第二输出耦合器520以对应于用户的两眼的方式位于两侧，上述显示部530和第二输入耦合器510以与上述两侧第二输出耦合器520隔开的方式位于上述眼镜主体中的两侧，上述第二输出耦合器520形成为使得图像输出位置与朝向上述对象物10的视线配准。
除了上述第一输入耦合器210、第一输出耦合器220、相机部230、第二输入耦合器510及第二输出耦合器520之外的剩余构成要素都与上面的内容相同，因此将省略详细说明。
图4示出根据本发明的不可见光20可视化自动配准型增强现实眼镜1 的第二实施例。
在本实施例中，上述第一输入耦合器210和第二输出耦合器520由两面钉镜213构成。
如图9至图10所示，上述第一输出耦合器220和第二输入耦合器510 不必总是设置在上述相机部230和显示部530的前方，在某些情况下，可以位于波导管300端部相反侧的端部，以具有鸟盆(birdbath)结构的凹面镜的形状。
优选地，在上述第一输入耦合器210或上述第一输出耦合器220中还设有第一过滤器231，使得仅不可见光20传输到上述相机部230。
在本实施例中，除了上述波导管300中的第一输入耦合器210、第一输出耦合器220及第一过滤器231之外的剩余构成要素与第一实施例相同，因此将省略详细说明。
图5示出根据本发明的不可见光可视化自动配准型增强现实眼镜1的第三实施例。
上述波导管300由第一波导管301和第二波导管302形成，上述第一波导管301包括：第一输入耦合器210，形成在上述第一波导管301的端部，供不可见光入射；第一输出耦合器220，以与上述第一输入耦合器210隔开预定距离的方式形成在上述第一波导管301，并输出在上述第一输入耦合器210入射的不可见光20。
上述第二波导管302包括：第二输入耦合器510，形成在上述第二波导管302的端部，接收在上述显示部530输出的图像信息；及第二输出耦合器 520，以与上述第二输入耦合器510隔开预定距离的方式形成在上述第二波导管302，且形成为使得在上述第二输入耦合器510接收的信息被输出到用户的肉眼50。
在本实施例中，除了上述第一波导管301和第二波导管302之外的剩余构成要素与第一实施例相同，因此将省略详细说明。
图6示出根据本发明的不可见光20可视化自动配准型增强现实眼镜1 的第四实施例。
上述第一输入耦合器210为设置在第一波导管301一侧的第一钉镜211，上述第二输出耦合器520为设置在第二波导管302一侧的第二钉镜212。
在本实施例中，除了上述第一波导管301、第二波导管302、第一输入耦合器210及第二输出耦合器520之外的剩余构成要素与第二实施例相同，因此将省略详细说明。
图7示出上述第一波导管301具有三个波长通道的形状。
上述波长通道是用于解决色差的结构，由双层形成以便形成适合于特定波长的波导，且将每个波段的衍射角或折射角固定为总是一样。结果，每个波长优选总是在相同位置输入到相机部230。
图8示出上述第二波导管302具有三个波长通道的形状。
上述波长通道是用于解决色差的结构，由双层形成以便形成适合于特定波长的波导，且将每个波段的衍射角或折射角固定为总是一样。结果，每个波长优选总是在相同位置输出。
如上所述的不可见光可视化自动配准型增强现实眼镜1可以通过眼睛直接识别现实空间，并且仅将从特定部位发出的近红外诊断和治疗信息精确地配准到现实空间，从而具有技术效果，即，在手术或施术过程中能够在与手术者的视线同轴上配准近红外光线，从而可以显示为增强现实。
前文对本发明公开的实施例进行了描述，以使得本领域技术人员能够实现或者使用本发明公开的内容。对于本领域技术人员来说，对这些实施例的各种修改都是显而易见的，并且，本发明定义的总体原理也可以在不脱离这些公开内容的精神和保护范围的基础上适用于其它实施例。因此，本发明公开内容并不限于本发明给出的实施例，而是应与本发明公开的原理和新颖性特征的最广范围相一致。

Claims (25)

1.一种不可见光可视化自动配准型增强现实眼镜，包括：
眼镜主体，戴在用户脸面上；
不可见光照射单元，设置在上述眼镜主体的一侧，向对象物照射不可见光；
输入单元，设置在上述眼镜主体的前面，将从上述对象物放出的不可见光和可见光一起输入到波导管；
信息处理单元，设置在上述眼镜主体的一侧，将从上述输入单元接收的不可见光图像信息转换成人可识别的可见光图像信息；及
图像输出单元，设置在上述眼镜主体的后面，接收在上述信息处理单元经过处理的可见光图像信息，并在上述波导管将上述可见光图像信息输出到肉眼。
2.根据权利要求1所述的不可见光可视化自动配准型增强现实眼镜，还包括：
焦点调节单元，设置在上述眼镜主体的一侧，调节使得两个肉眼的视线集中的地处和从上述图像输出单元输出的现实和增强现实图像信息的焦点正确一致；及
眼球跟踪单元，设置在上述眼镜主体的一侧，预测图像识别距离，向上述焦点调节单元传送距离信息。
3.根据权利要求1所述的不可见光可视化自动配准型增强现实眼镜，其中，
上述输入单元包括：
第一输入耦合器，形成在上述波导管的端部，供不可见光入射；
第一输出耦合器，以与上述第一输入耦合器隔开预定距离的方式形成在上述波导管的另一端部，将在上述第一输入耦合器入射的不可见光输出到上述相机部；及
相机部，拍摄在上述第一输出耦合器输出的不可见光。
4.根据权利要求1所述的不可见光可视化自动配准型增强现实眼镜，其中，
上述图像输出单元包括：
显示部，输出从上述信息处理单元接收的信息；
第二输入耦合器，形成在上述波导管的端部，接收在上述显示部输出的图像信息；及
第二输出耦合器，以与上述第二输入耦合器隔开预定距离的方式形成在上述波导管，且形成为使得在上述第二输入耦合器接收的信息被输出到用户的肉眼，
其中，上述第二输出耦合器形成为使得图像输出位置对应于上述对象物的实际位置。
5.根据权利要求4所述的不可见光可视化自动配准型增强现实眼镜，其中，
上述显示部使用可与用户识别的现实图像信息形成对比的伪彩色来将不可见光具有的信息以可见光的形式传送到上述第二输入耦合器。
6.根据权利要求3所述的不可见光可视化自动配准型增强现实眼镜，其中，
上述相机部向上述信息处理单元传输图像信息，
上述信息处理单元对所接收的图像信息进行图像处理，并将该图像信息传输到上述显示部。
7.根据权利要求2所述的不可见光可视化自动配准型增强现实眼镜，其中，
上述眼球跟踪单元通过跟踪眼球凝视现实空间的视线来确定图像识别距离，并将确定的信息输入到上述信息处理单元，
上述信息处理单元根据所输入的信息实时计算眼球的图像识别距离。
8.根据权利要求2所述的不可见光可视化自动配准型增强现实眼镜，其中，
上述焦点调节单元包括：
第一焦点调节部，由透明光学系统构成，上述透明光学系统包括一个以上的反射元件、折射元件、衍射元件、全息元件或偏振元件，以引起光的折射；及
第二焦点调节部，由透明光学系统构成，上述透明光学系统包括一个以上的反射元件、折射元件、衍射元件、全息元件或偏振元件，以引起光的折射。
9.根据权利要求8所述的不可见光可视化自动配准型增强现实眼镜，其中，
上述焦点调节单元实时接收在上述眼球跟踪单元测定并在上述信息处理单元计算的图像识别距离信息，将包括不可见光信息的数字图像的焦距与眼球的图像识别距离进行比较，并保持焦距与眼球的图像识别距离之间的差在0.25的屈光度之内。
10.根据权利要求8所述的不可见光可视化自动配准型增强现实眼镜，其中，
上述第一焦点调节部位于两侧，以对应于用户的两个眼球，
上述第二焦点调节部位于两侧，以对应于用户的两个眼球，且形成为使得图像输出位置与朝向上述对象物的视线配准。
11.根据权利要求3所述的不可见光可视化自动配准型增强现实眼镜，其中，
上述图像输出单元包括：
显示部，输出从上述信息处理单元接收的信息；
第二输入耦合器，形成在上述波导管的端部，并接收在上述显示部输出的图像信息；及
第二输出耦合器，以与上述第二输入耦合器隔开预定距离的方式形成在上述波导管，设置成使得从上述第二输入耦合器接收的信息被输出到用户的肉眼，
其中，上述第二输出耦合器形成为使得图像输出位置对应于上述对象物的实际位置，
上述第一输入耦合器、第一输出耦合器、上述第二输入耦合器及第二输出耦合器以包括一个以上的反射元件、折射元件、衍射元件、全息元件或偏振元件的方式组合，以确保80度以上的视野角。
12.根据权利要求11所述的不可见光可视化自动配准型增强现实眼镜，其中，
上述第一输入耦合器位于两侧，以对应于用户的两个眼球，上述第一输出耦合器和相机部与上述两侧的第一输入耦合器隔开并位于上述眼镜主体中的两侧，
上述第二输出耦合器位于两侧，以对应于用户的两个眼球，上述显示部和第二输入耦合器与上述两侧的第二输出耦合器隔开并位于上述眼镜主体中的两侧，且上述第二输出耦合器形成为使得图像输出位置与朝向上述对象物的视线配准。
13.根据权利要求11所述的不可见光可视化自动配准型增强现实眼镜，其中，
上述第一输入耦合器和第二输出耦合器为衍射光学元件、全息光学元件或针镜中的一种。
14.根据权利要求3所述的不可见光可视化自动配准型增强现实眼镜，其中，
上述第一输入耦合器或第一输出耦合器在前面还包括过滤器，使得仅不可见光被传输到上述相机部。
15.根据权利要求1所述的不可见光可视化自动配准型增强现实眼镜，其中，
上述波导管由第一波导管和第二波导管形成，
上述第一波导管包括：
第一输入耦合器，形成在上述第一波导管的端部，供不可见光入射；
第一输出耦合器，以与上述第一输入耦合器隔开预定距离的方式形成在上述第一波导管，并输出在上述第一输入耦合器入射的不可见光；及
相机部，拍摄在上述第一输出耦合器输出的不可见光，
其中，上述第二波导管包括：
第二输入耦合器，形成在上述第二波导管的端部，接收在上述显示部输出的图像信息；及
第二输出耦合器，以与上述第二输入耦合器隔开预定距离的方式形成在上述第二波导管，且设置成使得在上述第二输入耦合器接收的信息被输出到用户的肉眼。
16.根据权利要求15所述的不可见光可视化自动配准型增强现实眼镜，其中，
上述第一输入耦合器为设置在第一波导管一侧的第一衍射光学元件、第一全息光学元件或第一钉镜中的一种，
上述第二输出耦合器为设置在第二波导管一侧的第二衍射光学元件、第二全息光学元件或第二钉镜中的一种。
17.根据权利要求15所述的不可见光可视化自动配准型增强现实眼镜，其中，
上述第一输入耦合器或第一输出耦合器在前面还包括第一过滤器，使得仅不可见光被传输到上述相机部。
18.根据权利要求1所述的不可见光可视化自动配准型增强现实眼镜，其中，
上述不可见光照射单元包括第二过滤器，以向上述对象物仅照射特定波段的不可见光。
19.根据权利要求2所述的不可见光可视化自动配准型增强现实眼镜，其中，
上述焦点调节单元由平行光结构构成，上述平行光结构保持用于解决视觉辐辏调节冲突问题的焦点调节功能，同时实现通过扩展入射光瞳和出射光瞳的光量确保和眼盒扩展功能。
20.根据权利要求1所述的不可见光可视化自动配准型增强现实眼镜，其中，
上述波导管由供可见光穿过的透明的光学材料制成，自由形式光学元件、平面光学元件及曲面光学元件中的一种用作上述波导管，且像普通眼镜一样添加有用户的视力校正功能。
21.根据权利要求1所述的不可见光可视化自动配准型增强现实眼镜，其中，
上述输入单元和上述图像输出单元分别由具有一个以上的波长通道的结构构成，且由通过使固有波长仅传输到各个通道来解决色差的结构构成。
22.根据权利要求8所述的不可见光可视化自动配准型增强现实眼镜，其中，
上述第一焦点调节部被配置成通过与设置在上述第一输出耦合器中的镜头综合作用，以具有与眼球镜头的焦深等同的效果，从而自动地向上述相机部赋予逼真的光学模糊。
23.根据权利要求2所述的不可见光可视化自动配准型增强现实眼镜，其中，
上述眼球跟踪单元由与两个眼球相对应的单独照相机和照明装置形成，或者具有使用两个眼球的眼电位信号的聚散度跟踪器的结构。
24.根据权利要求11所述的不可见光可视化自动配准型增强现实眼镜，其中，
上述第一输出耦合器和上述第二输入耦合器的形状具有鸟盆结构。
25.根据权利要求8所述的不可见光可视化自动配准型增强现实眼镜，其中，
上述第二焦点调节部能够根据需要矫正视力的每个用户将屈光度增加至焦距。
CN202110724590.2A 2020-07-01 2021-06-29 不可见光可视化自动配准型增强现实眼镜 Active CN113876422B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200080871A KR102223621B1 (ko) 2020-07-01 2020-07-01 비가시광선 가시화 자동정합형 증강현실 글래스
KR10-2020-0080871 2020-07-01

Publications (2)

Publication Number Publication Date
CN113876422A true CN113876422A (zh) 2022-01-04
CN113876422B CN113876422B (zh) 2024-04-19

Family

ID=75164001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110724590.2A Active CN113876422B (zh) 2020-07-01 2021-06-29 不可见光可视化自动配准型增强现实眼镜

Country Status (5)

Country Link
US (1) US11609425B2 (zh)
EP (1) EP3932361A1 (zh)
JP (2) JP7324802B2 (zh)
KR (1) KR102223621B1 (zh)
CN (1) CN113876422B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
JP7260009B2 (ja) * 2017-04-27 2023-04-18 株式会社三洋物産 遊技機
JP7260021B2 (ja) * 2017-04-27 2023-04-18 株式会社三洋物産 遊技機
JP7310952B2 (ja) * 2017-04-27 2023-07-19 株式会社三洋物産 遊技機
JP7260012B2 (ja) * 2017-04-27 2023-04-18 株式会社三洋物産 遊技機
JP7310945B2 (ja) * 2017-04-27 2023-07-19 株式会社三洋物産 遊技機
JP7272480B2 (ja) * 2017-04-27 2023-05-12 株式会社三洋物産 遊技機
JP7260013B2 (ja) * 2017-04-27 2023-04-18 株式会社三洋物産 遊技機
WO2019211741A1 (en) 2018-05-02 2019-11-07 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
KR102627825B1 (ko) * 2021-08-30 2024-01-23 주식회사 레티널 회절 소자를 이용한 컴팩트형 증강 현실용 광학 장치
KR102660339B1 (ko) * 2021-10-22 2024-04-26 인하대학교 산학협력단 핀미러 홀로그래픽 광학 소자 배열을 이용해 확장된 아이박스를 갖는 도파관 형태의 투과형 맥스웰리안 근안 디스플레이

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB384514A (en) * 1932-03-23 1932-12-08 Arthur Edward Barnwell Improvements relating to the focussing fronts of cameras
JPH11347016A (ja) * 1997-10-01 1999-12-21 Oki Electric Ind Co Ltd 撮像装置
US20140016107A1 (en) * 2012-07-10 2014-01-16 EmpireTechnology Development LLC Portable multimedia display
US20150185475A1 (en) * 2013-12-26 2015-07-02 Pasi Saarikko Eye tracking apparatus, method and system
US20160015470A1 (en) * 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
JP2016521480A (ja) * 2013-03-22 2016-07-21 セイコーエプソン株式会社 赤外線ビデオ表示アイウェア
US20170258528A1 (en) * 2015-08-24 2017-09-14 Synaptive Medical (Barbados) Inc. Medical imaging system for illuminating tissue samples using three-dimensional structured illumination microscopy
KR101807824B1 (ko) * 2016-11-16 2017-12-11 부경대학교 산학협력단 적외선 흡수 특성을 갖는 텍스트 문서를 이용하는 증강현실 시스템 및 그의 구현 방법
CN108474867A (zh) * 2015-12-18 2018-08-31 釜庆大学校产学协力团 高分辨率降水量资料复原系统及其方法
US20180275394A1 (en) * 2017-03-22 2018-09-27 Magic Leap, Inc. Dynamic field of view variable focus display system
US20190025648A1 (en) * 2017-03-03 2019-01-24 Boe Technology Group Co., Ltd. Display panel, display system, display device and driving method thereof
US20190086674A1 (en) * 2017-09-21 2019-03-21 Magic Leap, Inc. Augmented reality display with waveguide configured to capture images of eye and/or environment
US20200018962A1 (en) * 2018-07-11 2020-01-16 Facebook Technologies, Llc Adaptive lenses for near-eye displays
EP3640949A1 (en) * 2018-10-17 2020-04-22 Incremed AG Augmented reality with medical imaging
US20200159030A1 (en) * 2017-04-17 2020-05-21 Akonia Holographics Llc Skew Mirror Auxiliary Imaging

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9377623B2 (en) * 2014-08-11 2016-06-28 Microsoft Technology Licensing, Llc Waveguide eye tracking employing volume Bragg grating
JP6576639B2 (ja) * 2015-01-16 2019-09-18 ミラマサービスインク 電子眼鏡および電子眼鏡の制御方法
WO2017059379A1 (en) 2015-09-30 2017-04-06 Daqri, Llc Bidirectional holographic lens
KR101678009B1 (ko) 2016-03-07 2016-11-21 윤석진 웨어러블 디바이스를 활용한 현장 가시화와 요원관리를 위한 종합 시스템 및 그 서비스 방법
KR102662173B1 (ko) * 2017-01-11 2024-04-30 매직 립, 인코포레이티드 의료 보조기
US11083537B2 (en) * 2017-04-24 2021-08-10 Alcon Inc. Stereoscopic camera with fluorescence visualization
CN110603476B (zh) * 2017-05-17 2021-12-03 苹果公司 具有视力矫正的头戴式显示设备
US10747309B2 (en) 2018-05-10 2020-08-18 Microsoft Technology Licensing, Llc Reconfigurable optics for switching between near-to-eye display modes
CN111077670B (zh) 2018-10-18 2022-02-18 中强光电股份有限公司 光传递模块以及头戴式显示装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB384514A (en) * 1932-03-23 1932-12-08 Arthur Edward Barnwell Improvements relating to the focussing fronts of cameras
JPH11347016A (ja) * 1997-10-01 1999-12-21 Oki Electric Ind Co Ltd 撮像装置
US20140016107A1 (en) * 2012-07-10 2014-01-16 EmpireTechnology Development LLC Portable multimedia display
JP2016521480A (ja) * 2013-03-22 2016-07-21 セイコーエプソン株式会社 赤外線ビデオ表示アイウェア
US20150185475A1 (en) * 2013-12-26 2015-07-02 Pasi Saarikko Eye tracking apparatus, method and system
US20160015470A1 (en) * 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US20170258528A1 (en) * 2015-08-24 2017-09-14 Synaptive Medical (Barbados) Inc. Medical imaging system for illuminating tissue samples using three-dimensional structured illumination microscopy
CN108474867A (zh) * 2015-12-18 2018-08-31 釜庆大学校产学协力团 高分辨率降水量资料复原系统及其方法
KR101807824B1 (ko) * 2016-11-16 2017-12-11 부경대학교 산학협력단 적외선 흡수 특성을 갖는 텍스트 문서를 이용하는 증강현실 시스템 및 그의 구현 방법
US20190025648A1 (en) * 2017-03-03 2019-01-24 Boe Technology Group Co., Ltd. Display panel, display system, display device and driving method thereof
US20180275394A1 (en) * 2017-03-22 2018-09-27 Magic Leap, Inc. Dynamic field of view variable focus display system
US20200159030A1 (en) * 2017-04-17 2020-05-21 Akonia Holographics Llc Skew Mirror Auxiliary Imaging
US20190086674A1 (en) * 2017-09-21 2019-03-21 Magic Leap, Inc. Augmented reality display with waveguide configured to capture images of eye and/or environment
US20200018962A1 (en) * 2018-07-11 2020-01-16 Facebook Technologies, Llc Adaptive lenses for near-eye displays
EP3640949A1 (en) * 2018-10-17 2020-04-22 Incremed AG Augmented reality with medical imaging

Also Published As

Publication number Publication date
US11609425B2 (en) 2023-03-21
CN113876422B (zh) 2024-04-19
JP7324802B2 (ja) 2023-08-10
US20220003992A1 (en) 2022-01-06
KR102223621B1 (ko) 2021-03-05
JP2023159123A (ja) 2023-10-31
EP3932361A1 (en) 2022-01-05
JP2022013882A (ja) 2022-01-18

Similar Documents

Publication Publication Date Title
CN113876422B (zh) 不可见光可视化自动配准型增强现实眼镜
JP6732128B2 (ja) ビデオグラスの眼球追跡モジュール
US9295388B2 (en) Methods and apparatus for retinal imaging
KR102205374B1 (ko) 아이 트래킹 웨어러블 디바이스들 및 사용을 위한 방법들
US10893803B2 (en) Wide-field retinal imaging system
US8391567B2 (en) Multimodal ocular biometric system
ES2850574T3 (es) Adaptador para un dispositivo de captura de imágenes para fotografía de fondo del ojo
JP6483085B2 (ja) 広視野の眼撮像装置
EP1791462B1 (en) Pupillometer
US7448753B1 (en) Portable Digital Medical Camera for Capturing Images of the Retina or the External Auditory Canal, and Methods of Use
KR100706109B1 (ko) 망원 안경 형태의 시각 보조장치
TW201831953A (zh) 基於經由光導光學元件之視網膜成像的眼動追蹤器
US20090201467A1 (en) Fundus photo-stimulation system and method
Muller et al. Non-mydriatic confocal retinal imaging using a digital light projector
WO2014127134A1 (en) Methods and apparatus for retinal imaging
US11058298B2 (en) Polarization fundus camera for effectively suppressing internal reflection
KR101651271B1 (ko) 광역학 진단 기기
CN112946885A (zh) 近眼显示与取像头戴装置
FI20206348A1 (en) Optical ophthalmic device and method for focusing retinal image
Zhai et al. Optical design of head-mounted projective display for vein imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant