CN114615947A - 基于视线检测的智能眼镜显示装置及其方法 - Google Patents

基于视线检测的智能眼镜显示装置及其方法 Download PDF

Info

Publication number
CN114615947A
CN114615947A CN202080070346.2A CN202080070346A CN114615947A CN 114615947 A CN114615947 A CN 114615947A CN 202080070346 A CN202080070346 A CN 202080070346A CN 114615947 A CN114615947 A CN 114615947A
Authority
CN
China
Prior art keywords
sight
distance
line
display
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080070346.2A
Other languages
English (en)
Inventor
印成日
任昇俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meidi Shinqiu Co ltd
Original Assignee
Meidi Shinqiu Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meidi Shinqiu Co ltd filed Critical Meidi Shinqiu Co ltd
Publication of CN114615947A publication Critical patent/CN114615947A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/462—Displaying means of special interest characterised by constructional features of the display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/061—Measuring instruments not otherwise provided for for measuring dimensions, e.g. length
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Gynecology & Obstetrics (AREA)
  • Robotics (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种基于视线检测的智能眼镜显示装置，所述显示装置包括：多个距离测量部，向包括眼底的眼球照射激光，从而测量从眼底的第一距离以及从眼球的表面的第二距离；视线检测部，基于第一距离以及第二距离，检测视线方向；图像获取部，获取重合图像；画面合成部，识别在视线方向上位于一定范围内的视线匹配对象，并演算位置以能够根据视线匹配对象而在指定位置显示重合图像；以及显示部，具有智能眼镜形态，在演算的位置显示重合图像。因此，根据本发明，提供不阻碍医生的视线的同时，能够自然显示相关信息的显示方法以及装置。

Description

基于视线检测的智能眼镜显示装置及其方法
技术领域
本发明涉及一种基于视线检测的智能眼镜显示装置，更详细地，涉及一种检测使用者的视线，并通过智能眼镜提供随着视线方向的自然重合图像的基于视线检测的智能眼镜显示装置。
背景技术
最近，作为虚拟现实(Virtual Reality，“VR”)、增强现实(Augmented Reality，“AR”)或者混合现实(Mixed Reality，“MR”)的应用领域，医疗以及保健备受瞩目。随着因高龄化时代的到来和竞争深化导致的心理疾病等医疗服务的需求在增加，为了应对这种问题，作为对医疗专业人士的培养以及心理治疗的替代方案，开始兴起利用智能眼镜的VR、AR以及MR技术。尤其是，摆脱以往限制使用在治疗创伤的情况，VR、AR以及MR的使用范围扩大到手术、治疗、康复等整个医疗领域。利用VR、AR以及MR，则可以实现虚拟患者或者器官而进行训练教育，医护人员可以在手术之前制定合适的计划并事先进行测试。
没有利用VR、AR以及MR的现有的医疗设备，例如超声波扫描仪需要通过单独的显示器画面确认想要显示的超声波影像，因此医生为了治疗，需要交替确认患者和显示器而存在麻烦。或者，在很多情况下，远程手术设备或者机器人手术设备也是向医护人员不能有效展示手术中所需的各种信息。因此，发生为了观看所需信息，需要转动头部或者在手术时，在没有所需信息的情况下，需要靠医生的直觉进行治疗的情况。
由于这种繁琐以及视线的分散，它们在诊断时成为阻碍医生专注的因素。尤其是，在诊断或者手术过程中，发生需要观看相关信息画面的情况时，如果发生医护人员的专注力被分散的情况，则也可能患者会处于危险，或者遗漏需要集中观察的部分。
因此，需要在现有的医疗设备中导入VR、AR以及MR，在诊断时能够最大限度地提高医生的专注力，而且能够最大限度地谋求医护人员的方便性的显示方法，而且对这种显示方法的需求在逐渐增加。
本发明的背景技术是为了更加容易理解本发明而撰写的。不应理解为这是在认可本发明的背景技术中记载的事项作为现有技术而存在。
发明内容
技术问题
本发明提供一种在医疗设备中，通过AR、MR、VR等设备在医生所希望的时刻以及所希望的点进行显示，从而在诊断时阻止医生的视线发生分散的划时代的显示方法。
尤其是，本发明想要解决的技术问题在于，提供一种检测使用者的视线而在直观上便于感受的特定区域显示具有相关信息的图像或者影像，从而使用者能够通过虚拟的对象更加准确地掌握患者的患处或者身体内部的基于视线检测的智能眼镜显示装置。
本发明的技术问题不限于以上所提及的课题，尚未提及的其他技术问题可通过以下记载供本领域技术人员明确理解。
技术方案
为了解决如上所述技术问题，提供一种根据本发明的实施例的基于视线检测的智能眼镜显示装置，包括：多个距离测量部，向包括眼底的眼球照射激光，从而测量从所述眼底的第一距离以及从所述眼球的表面的第二距离；视线检测部，基于所述第一距离以及所述第二距离，检测视线方向；图像获取部，获取重合图像；画面合成部，识别在所述视线方向上位于一定范围内的视线匹配对象，并演算位置以能够根据所述视线匹配对象而在指定位置显示所述重合图像；以及显示部，具有智能眼镜形态，在所述演算的位置显示所述重合图像。
在该情况下，可以是所述视线检测部基于在所述多个距离测量部各自测量的距离是第一距离或第二距离的信息，感应瞳孔的位置。
此时，可以是所述视线检测部根据在所述多个距离测量部中一部分距离测量部测量的第一距离，感应在所述眼球中瞳孔所朝的方向，从而检测视线方向。
另外，可以是所述多个距离测量部中的至少一部分沿着支撑所述显示部的支架配置。
另外，可以是所述显示部提供包括圆形形状的导向区域的画面，所述画面合成部是视线随着提供的导向区域移动时，检测使用者的视线方向，基于随着导向区域检测的视线方向，求取视线校准参考值。
另外，可以是所述视线校准参考值包括离心率、扁率或者椭圆的焦点位置。
另外，可以是所述画面合成部感应所述视线匹配对象照射的光，提取用于显示所述重合图像的参考点。
另外，可以是所述画面合成部作为画面边界点，提取从所述参考点隔开一定间距的点。
另外，可以是所述显示部以3D立体形状显示所述重合图像。
另外，可以是所述显示部包括微显示器、镜片、面板以及分离器。
一方面，可以是根据本发明的基于视线检测的智能眼镜显示方法，包括：通过多个距离测量部向包括眼底的眼球照射激光，从而测量从所述眼底的第一距离以及从所述眼球的表面的第二距离的距离测量步骤；基于所述第一距离以及所述第二距离，检测视线方向的视线检测步骤；获取重合图像的图像获取步骤；识别在所述视线方向上位于一定范围内的视线匹配对象，并演算位置以能够根据所述视线匹配对象而在指定位置显示所述重合图像的显示位置演算步骤；以及通过智能眼镜形态的显示部，在所述演算的位置显示所述重合图像的显示步骤。
在该情况下，可以是所述视线检测步骤基于在所述多个距离测量部各自测量的距离是第一距离还是第二距离的信息，感应瞳孔的位置。
可以是所述视线检测步骤根据在所述多个距离测量部中一部分距离测量部测量的第一距离，感应在所述眼球中瞳孔所朝的方向，从而检测视线方向。
另外，可以是基于视线检测的智能眼镜显示方法，还包括：所述显示部提供包括圆形形状的导向区域的画面的步骤；视线随着提供的导向区域移动时，检测使用者的视线方向，基于随着导向区域检测的视线方向，求取视线校准参考值的步骤。
另外，可以是所述视线校准参考值包括离心率、扁率或者椭圆的焦点位置。
另外，可以是所述显示位置演算步骤包括：感应所述视线匹配对象照射的光，提取用于显示所述重合图像的参考点的步骤。
另外，可以是所述显示位置演算步骤还包括：作为画面边界点，提取从所述参考点隔开一定间距的点的步骤。
另外，可以是所述显示步骤包括：以3D立体形状显示所述重合图像的步骤。
一方面，可以是根据本发明的实施例的计算机可读记录介质存储如下指令：通过多个距离测量部向包括眼底的眼球照射激光，从而测量从所述眼底的第一距离以及从所述眼球的表面的第二距离；基于所述第一距离以及所述第二距离，检测视线方向；获取重合图像；识别在所述视线方向上位于一定范围内的视线匹配对象，并演算位置以能够根据所述视线匹配对象而在指定位置显示所述重合图像；以及通过智能眼镜形态的显示部，在所述演算的位置显示所述重合图像。
根据本发明的课题的解决手段不限于以上示例的内容，更加多样的效果包含在本说明书内。
发明效果
基本上，本发明可以提供一种应用VR、AR以及MR能够不分散医生的视线的条件下在医生所希望的时刻以及所希望的点显示所需信息的装置。
本发明具有在使用者直观上方便感受的特定区域显示基于视线移动而移动的增强现实图像，从而使用者能够通过虚拟的对象，不分散视线而集中掌握患者的患处或者身体内部的效果。
根据本发明的效果不限于以上示例的内容，更加多样的效果包含在本说明书内。
附图说明
图1是示出根据本发明的一实施例中智能眼镜的显示过程的示例图。
图2a是根据本发明的一实施例中基于视线检测的智能眼镜显示系统的概略图。
图2b是根据本发明的一实施例中基于视线检测的智能眼镜显示装置的构成图。
图2c是根据本发明的一实施例中基于视线检测的智能眼镜显示装置的框图。
图3a以及图3b是用于说明根据本发明的一实施例中基于视线检测的校准模式的图。
图4是用于说明在根据本发明的一实施例中显示器上生成画像的过程的示例图。
图5是示出根据本发明的其他实施例中智能眼镜显示方法的图。
图6是示出根据本发明的其他实施例中智能眼镜显示方法的图。
图7是示出根据本发明的实施例中智能眼镜显示方法的图。
具体实施方式
本发明的优点以及实现的方法与附图结合通过详细后述的实施例更加明确。然而，本发明并不限于以下公开的实施例，可以实施为彼此不同的多种形态，本实施例仅是用于使本发明的公开变完整，用于向本领域普通技术人员完整地告知发明的范畴而提供的，本发明仅由权利要求范畴而定义。
为了说明本发明的实施例而在附图示出的形状、大小、比例、角度、数量等属于示例，因此本发明不限于图示的事项。另外，在说明本发明时，当判断为对相关公知技术的具体说明能够混淆本发明的要旨时，省略对其的详细说明。当使用本说明书上提及的“包括”、“具备”、“构成”等时，在没有使用“仅～”的情况下，可以增加其他部分。当用单数表达构成要素时，在没有特别明示性的记载事项时，包括包含复数的情况。
在解释构成要素时，即便没有另外明示性的记载，也应解释为包括误差范围。
本发明的多个实施例的各个特征可以是部分或者整体彼此结合或者组合，如本领域技术人员可以充分理解，可以在技术上多种联动以及驱动，各个实施例也可以是相对于彼此独立实施，也可以是作为相连关系一同实施。
图1是示出根据本发明的一实施例中重合图像显示过程的示例图。图2a是根据本发明的一实施例中基于视线检测的增强现实显示系统的概略图。图2b是根据本发明的一实施例中基于视线检测的智能眼镜显示装置的构成图。
图2c是根据本发明的一实施例中智能眼镜显示装置的框图。图3a以及图3b是用于说明根据本发明的一实施例中基于视线检测的视线方向校准的图。图4是用于说明在显示器上显示重合图像的过程的图。
参考图1，基于视线检测的智能眼镜显示系统包括：基于视线检测的智能眼镜显示装置100，在根据视线匹配对象200的显示器上的特定区域，通过增强现实、混合现实或者虚拟现实的重合图像或者影像显示从图像获取部205获取的图像以及影像；以及视线检测服务器900。然而，在图1的实施例中以分离的形态示出基于视线检测的智能眼镜显示装置100和视线检测服务器900，但是基于视线检测的智能眼镜显示装置100和视线检测服务器900也可以安装在一个壳体内。在安装在一个壳体内的情况下，基于视线检测的智能眼镜显示装置100和视线检测服务器900可以是有线连接。
另外，在本实施例中，示出视线匹配对象200和图像获取部205作为超声波扫描仪在一个装置内实现的情况，然而视线匹配对象200和图像获取部205也可以是单独的装置。例如，在远程手术机器人中，视线匹配对象200可以是手术刀或者手术患者的手术部位。图像获取部205，例如也可以是从存储在视线检测服务器900内的图像中获取显示作为手术患者的神经而手术刀不能经过的区域的图像。换句而言，在视线检测服务器900可以存储有基于手术患者在手术之前拍摄的影像显示患者的神经的图像。
基于视线检测的智能眼镜显示装置100是能够根据内设的多个距离测量部11，检测使用者的视线，在显示部103的画面上显示从图像获取部205获取的图像的装置。其中，智能眼镜显示装置100在识别视线匹配对象200之后，针对识别的视线匹配对象200，在预设的区域显示从所述图像获取部205获取的影像。此时，视线匹配对象200也可以是手术、治疗等中使用的电子设备或者一般工具。例如，视线匹配对象200可以是超声波扫描仪、剪刀(scissors)、夹子(clip)、手术刀(mes)等。在本实施例中，以视线匹配对象200为超声波扫描仪的情况为基准进行说明。
在本发明中，基于视线检测的智能眼镜显示装置100采用的方式可以是：在显示部103的微显示器110(参考图2b)投射的画面114通过两侧镜片111、面板112以及分离器113发生反射，从而被眼睛看到。或者，也可以是应用HMD显示器的同时，通过VR的画面而将在透明(See-through)模式下通过智能眼镜显示装置100的外部摄像头12或者通过分离的单独的摄像头拍摄的外部画面与重叠画面进行重叠，从而示出的形态。
参考图2a、图2b以及图2c，基于视线检测的智能眼镜显示装置100可以包括瞳孔感应部101、视线检测部102、显示部103、画面合成部104以及控制部105。所述瞳孔感应部101、视线检测部102、显示部103、画面合成部104以及控制部105可以由软件、硬件或者软件和硬件的组合构成，本领域技术人员可以利用合适的手段实现所述构成要素。
瞳孔感应部101作为感应使用者的瞳孔的结构，包括多个距离测量部11。此时，多个距离测量部11可以是沿着基于视线检测的智能眼镜显示装置100的镜框的边缘配置有多个。
距离测量部11作为感应瞳孔15的位置用于掌握使用者的视线移动并包括激光发光部和受光部的传感器，优选为，照射不损坏瞳孔的视力的波段的红外线激光。为了方便说明，在图2a中示出从距离测量部11照射的激光照射线LL。
参考图4，多个距离测量部11可以是向眼球10照射红外线之后，测量通过瞳孔15而从眼球的眼底反射的距离d1+d2或者从眼球的表面直接反射的距离d2。即，反射距离可以被分为从眼底到眼球表面(或者瞳孔)的距离d1以及从眼球表面到传感器单元114的距离d2。在该情况下，测量通过多个传感器求取的每个距离d1以及d2，感应瞳孔的位置。
具体为，在使用者的一部分距离测量部11照射的激光通过瞳孔15之后，在作为使用者的眼球10内侧的眼底发生反射，从而再次通过瞳孔15而再次在距离测量部11感应得到。
此时，在多个距离测量部11照射的多个激光中，可以是仅一部分通过瞳孔。没有通过瞳孔的激光会在表面发生反射而不是在眼球10的内部，从而入射到距离测量部11的受光部。
可以利用在多个距离测量部11照射的激光，测量从眼底到眼球表面的距离d1和从眼球表面10到显示部103的距离d2。即，通过瞳孔15的距离d1+d2相比没有通过瞳孔15的距离d1+d2，其长度相对短，因此可以通过比较长度来掌握使用者瞳孔15的位置。另外，可以基于根据多个距离测量部11的距离信息而在一个距离测量单元11照射的激光是否通过瞳孔以及/或者在通过的光中测量的距离，可以准确决定在眼球中瞳孔所朝的方向。
因此，如图4所示，本发明在多个距离测量部11所处的各个位置测量到眼底为止的距离，因此可以导出非常详细的视线方向。
在该情况下，多个距离测量部11是沿着支撑智能眼镜显示装置100的所述显示部103的支架(镜框)的后面(与脸部相对的面)的上侧L1以及下侧L2配置。然而，距离测量部11的位置不限于此，也可以配置在基于视线检测的智能眼镜显示装置100的镜框的后面的侧部，或者直接配置在智能眼镜显示装置100的显示部103的镜片111或者面板112上。
视线检测部102作为感应对用于在显示部103上显示的增强现实图像的使用者的视线方向的结构，可以基于通过瞳孔而从眼球的眼底反射的距离d1+d2、从眼球的表面直接反射的距离d2以及瞳孔的位置，检测视线方向。参考图3a以及图3b，在后面更加详细说明与瞳孔感应部101以及视线检测部102有关的说明。
显示部103是在显示部103通过增强现实、虚拟现实或者混合现实图像显示从视线匹配对象200获取的图像的结构。例如，参考图2b，显示部103可以包括微显示器10、镜片111、面板112以及分离器13。在该情况下，当微显示器10通过配置在正面的镜片111照射像时，照射的像可以通过镜片111到达面板112的一区域之后，通过粘接在显示器面板12的一面上的分离器(splitter)13而像发生全反射(total feflection)，并再次通过眼睛前侧的分离器13，供使用者的眼睛看到像114。
另外，显示部103不仅是通过增强现实、虚拟现实或者混合现实图像显示通过图像获取部205获取的图像或者影像，而且能够显示与所述获取的图像有关的各种信息。例如，可以是在医护人员手术时剪开患者的血管时，通过第二图像220而与第一图像210一起重叠来显示安全连接血管为止所剩的时间大致剩60.0秒。
在图像获取部205获取的增强现实、虚拟现实或者混合图像(以下，重合图像)，例如通过超声波扫描仪扫描的图像会通过显示器103重合在基于视线匹配对象200指定的特定位置上。例如，在图像获取部205获取的图像可以是接受超声波检查的产妇的超声波影像。在该情况下，智能眼镜显示装置100识别视线匹配对象200(在图4的实施例中，超声波扫描仪)是否从视线方向位于特定范围250内。然后，使在获取部205获取的重合图像重叠在基于视线匹配对象200的特定位置(例如，当为超声波扫描仪时，是超声波扫描仪的超声波照射面)。
在基于视线检测的智能眼镜显示装置100的左侧镜片以及右侧镜片显示图像。此时，左侧镜片以及/或者右侧镜片可以显示相同的图像。图像是如图1b所示，也可以显示对相同物体的左眼图像T1’以及右眼图像T1’，从而使用者以立体形状(3D)识别虚拟对象T1。
另外，图像可以基于使用者的视线移动，在显示部103内移动。针对此，事后进行具体说明。
画面合成部104可以在合适的位置配置以及合成从图像获取部205获取的图像或者影像。画面合成部104通过在外部摄像头12获取的影像，确认视线匹配对象200的位置，演算需要与视线方向联动而显示重合图像的位置。在图4的超声波扫描仪实施例中，待显示重合图像的位置是超声波扫描仪的超声波照射面。画面合成部104可以控制显示器103以在所述演算的位置显示超声波影像。在该情况下，医生在通过超声波扫描产妇的肚子时，也可以边看超声波照射面，边确认扫描的画面是否准确显示。因此，医生可以在不分散视线的同时进行调整，以能够准确扫描胎儿的位置、所希望的部分，从而进行超声波检查。
当智能眼镜显示装置100为示出虚拟现实的HMD时，画面合成部104可以重叠显示外部摄像头12的影像和图像获取部205的影像。然而，在该情况下，也是演算需要与视线方向连动而显示重合图像的位置之后，重叠外部显示摄像头12的影像和图像获取部205的影像。
控制部105可以执行控制对瞳孔感应部101、视线检测部102、显示部103以及画面合成部104的整体操作的功能。
以下，参考图3a以及图3b详细说明画面合成部104校准从瞳孔的位置以及测量的距离d1以及d2推测的距离的方法。
具体为，如图3a所示，画面合成部104在校准模式下，通过显示器103向使用者提供显示圆形形状的导向区域TR的任意的画面300。其中，校准模式是测量使用者的视线方向的模式。使用者接收到的指引是：随着在任意的画面300显示的导向区域TR，从最初起始点SP沿着导向区域TR的边缘向顺时针方向(以使用者为基准，一方面，可以是逆时针方向)移动视线。
此时，当使用者随着导向区域TR移动视线方向时，视线检测部102检测使用者的视线方向。在该情况下，如图3b所示，理想的使用者的视线(ideal)具有理想的圆形轨道，但是实际使用者的视线(actual)形成为具有相比理想的使用者的视线(ideal)，横向宽度窄，竖向宽度宽的椭圆形的轨道。换句而言，使用者能够方便凝视的视线方向通常具有椭圆形态而不是准确的圆形形态。在该情况下，画面合成部104基于在校准模式下测量的实际视线方向，求取视线校准参考值。在该情况下，视线校准参考值例如可以包括离心率、扁率、椭圆的焦点位置等能够代表椭圆的值。
因此，根据本发明的智能眼镜显示装置100可以基于视线校准参考值，校准在视线检测部102检测的视线方向。因此，能够准确推测使用者实际想要意图注视的视线方向，在画面处理中，显著增加重合图像的显示位置的准确性。
在本实施例中，基于通过外部摄像头12获取的图像，掌握视线匹配对象200的位置，但本发明不限于此。例如，画面合成部104也可以利用在视线匹配对象200的至少3个位置安装的信标(Beacon)260，掌握视线匹配对象200的位置。即，画面合成部104可以定期检测在视线匹配对象200安装的信标260信号，掌握视线匹配对象200的位置。
以下，参考图5说明根据本发明的又一其他实施例。
在图5的实施例中，视线匹配对象200可以是从固定在超声波扫描仪的一面的光照射部260照射的光。例如，在医生通过超声波扫描仪进行检查的过程中，想要在所希望的位置注视整体超声波影像时，医生开启在超声波扫描仪安装的光照射部260，从而显示所希望的位置。
在该情况下，当通过外部摄像头12感应从光照射部260照射的光时，如图5所示，以照射光的点为中心，演算画面边界点P1-P4、P2-P3。其中，当将照射红外线激光的点假设为参考点时，可以是作为画面边界点，提取以所述参考点为中心，向对角线方向隔开一定间距的4个点P1、P2、P3、P4。由此，画面合成部104可以以从作为视线匹配对象200的光照射部260照射的光为基准，演算重合图像210的位置。
一方面，图2a作为一实施例，可以根据本领域技术人员的需要，删除一部分构成要素或者增加新的构成要素。例如，也可以进一步包括与基于视线检测的智能眼镜显示装置100有无线连接的控制器。
以下，参考图6说明根据本发明的又一其他实施例。
在图6的实施例中，视线匹配对象200可以是手术刀以及手术对象的脸部。另外，在该情况下，重合图像210可以是预设的手术线。例如，当医生拿着手术刀进行切割患者的脸部的手术时，可以在患者的脸部重合手术线图像。在该情况下，在手术人的视线方向的一定范围内，从通过外部摄像头12拍摄的影像中检测到患者的脸部和手术刀时，在患者的脸部上重叠显示作为重合图像的手术线。即，视线匹配对象200可以为多个，当满足多个条件(当检测到手术刀和手术对象的脸部的至少一部分时)时，画面合成部104可以以作为视线匹配对象200的手术对象的脸部为基准，演算重合图像210的位置。或者，在该情况下，重合图像210也可以成为对用于参考的情况(对执刀的刀片进入到皮肤的深度是否合适的信息)的信息。或者，也可以作为重合图像210显示在手术中绝不能触碰的神经/血管的位置等。此时，可以通过包括影像的分批试验(block search)或者边缘(edge)检测方式等的现有周知的影像处理方法，显示重合(或者重叠)的重合图像210。
因此，本发明通过在智能眼镜的特定区域显示基于视线方向移动的重合图像，从而能够不分散医护人员的视线而仅专注在手术或者检查等的本职工作中。
以下，参考图7详细说明根据本发明的一实施例的基于视线检测的智能眼镜的显示方法。
首先，根据本发明的实施例的智能眼镜的显示方法，包括：通过多个距离测量部11向包括眼底的眼球照射激光，从而测量从所述眼底的第一距离以及从所述眼球的表面的第二距离的距离测量步骤(S110)。
在该情况下，视线检测部102可以检测在每个距离测量部11测量的距离是从眼底反射而出还是从眼球表面发生的反射，即基于所述第一距离以及所述第二距离，检测视线方向(视线检测步骤(S120))。
一方面，智能眼镜的显示方法获取重合图像。如上所说明，重合图像可以是从超声波扫描仪、外部摄像头、单独连接的摄像头或者存储图像/影像的服务器获取。(图像获取步骤(S130))在该情况下，视线检测部102可以基于在所述多个距离测量部各自测量的距离是第一距离还是第二距离的信息，感应瞳孔的位置。或者，视线检测部102可以根据在所述多个距离测量部中一部分距离测量部测量的第一距离，感应在所述眼球中瞳孔所朝的方向，从而检测视线方向。
画面合成部104识别在所述视线方向上位于一定范围内的视线匹配对象，并演算位置以能够根据所述视线匹配对象而在指定位置显示所述重合图像。(显示位置演算步骤(S140)此时，画面合成部104在通过所述显示部103提供包括圆形形状的导向区域的画面之后，使用者随着提供的导向区域移动视线时，可以检测使用者的视线方向，并基于随着导向区域检测的视线方向，求取视线校准参考值。
一方面，所述显示位置演算步骤(S140)可以包括：感应所述视线匹配对象照射的光，提取用于显示所述重合图像的参考点的步骤。在该情况下，所述显示位置演算步骤还可以包括：作为画面边界点，提取从所述参考点隔开一定间距的点的步骤。
最后，智能眼镜形态的显示部103可以包括：在所述演算的位置显示所述重合图像的显示步骤。
因此，根据本发明，可以提供一种应用VR、AR以及MR，从而能够在医生所希望的时刻以及所希望的点，不分散医生的视线而显示所需信息的装置。
另外，本发明具有基于视线移动，在使用者直观上方便感受的特定区域显示增强现实图像，从而使用者能够通过虚拟的对象，不分散视线而集中掌握患者的患处或者身体内部的效果。
以上，参考附图更加详细说明了本发明的实施例，然而本发明不一定局限于这种实施例，可以在不脱离本发明的技术构思的范围内进行各种变形。因此，本发明中公开的实施例是用于说明本发明的技术构思而不用于限定，本发明的技术构思的范围不受所述实施例的限定。因此，应理解以上说明的实施例在所有面上属于示例而不用于限定。本发明的保护范围应是通过权利要求书进行解释，而且应解释为与其均等范围内的所有技术构思包含在本发明的权利范围内。

Claims (19)

1.一种基于视线检测的智能眼镜显示装置，包括：
多个距离测量部，其向包括眼底的眼球照射激光，从而测量从所述眼底的第一距离以及从所述眼球的表面的第二距离；
视线检测部，其基于所述第一距离以及所述第二距离，检测视线方向；
图像获取部，其获取重合图像；
画面合成部，其识别在所述视线方向上位于一定范围内的视线匹配对象，并演算位置以能够根据所述视线匹配对象而在指定位置显示所述重合图像；以及
显示部，其具有智能眼镜形态，在所述演算的位置显示所述重合图像。
2.根据权利要求1所述的基于视线检测的智能眼镜显示装置，其中，
所述视线检测部基于在所述多个距离测量部各自测量的距离是第一距离或第二距离的信息来感应瞳孔的位置。
3.根据权利要求1所述的基于视线检测的智能眼镜显示装置，其中，
所述视线检测部根据在所述多个距离测量部中一部分距离测量部测量的第一距离，感应在所述眼球中瞳孔所朝向的方向，从而检测视线方向。
4.根据权利要求1所述的基于视线检测的智能眼镜显示装置，其中，
所述多个距离测量部中的至少一部分沿着支撑所述显示部的支架配置。
5.根据权利要求1所述的基于视线检测的智能眼镜显示装置，其中，
所述显示部提供包括圆形形状的导向区域的画面，所述画面合成部是当视线随着提供的导向区域移动，则检测出使用者的视线方向，基于随着导向区域检测的视线方向，求取视线校准参考值。
6.根据权利要求5所述的基于视线检测的智能眼镜显示装置，其中，
所述视线校准参考值包括离心率、扁率或者椭圆的焦点位置。
7.根据权利要求1所述的基于视线检测的智能眼镜显示装置，其中，
所述画面合成部感应所述视线匹配对象照射的光，提取用于显示所述重合图像的参考点。
8.根据权利要求7所述的基于视线检测的智能眼镜显示装置，其中，
所述画面合成部作为画面边界点，提取从所述参考点隔开一定间距的点。
9.根据权利要求1所述的基于视线检测的智能眼镜显示装置，其中，
所述显示部以3D立体形状显示所述重合图像。
10.根据权利要求1所述的基于视线检测的智能眼镜显示装置，其中，
所述显示部包括微显示器、镜片、面板以及分离器。
11.一种基于视线检测的智能眼镜显示方法，包括：
通过多个距离测量部向包括眼底的眼球照射激光，从而测量从所述眼底的第一距离以及从所述眼球的表面的第二距离的距离测量步骤；
基于所述第一距离以及所述第二距离，检测视线方向的视线检测步骤；
获取重合图像的图像获取步骤；
识别在所述视线方向上位于一定范围内的视线匹配对象，并演算位置以能够根据所述视线匹配对象而在指定位置显示所述重合图像的显示位置演算步骤；以及
通过智能眼镜形态的显示部，在所述演算的位置显示所述重合图像的显示步骤。
12.根据权利要求11所述的基于视线检测的智能眼镜显示方法，其中，
所述视线检测步骤根据在所述多个距离测量部各自测量的距离是第一距离或第二距离的信息来感应瞳孔的位置。
13.根据权利要求11所述的基于视线检测的智能眼镜显示方法，其中，
所述视线检测步骤根据在所述多个距离测量部中一部分距离测量部测量的第一距离，感应在所述眼球中瞳孔所朝的方向，从而检测视线方向。
14.根据权利要求11所述的基于视线检测的智能眼镜显示方法，其中，
还包括：
所述显示部提供包括圆形形状的导向区域的画面的步骤；
使用者的视线随着提供的导向区域移动时，检测使用者的视线方向，基于随着导向区域检测的视线方向，求取视线校准参考值的步骤。
15.根据权利要求14所述的基于视线检测的智能眼镜显示方法，其中，
所述视线校准参考值包括离心率、扁率或者椭圆的焦点位置。
16.根据权利要求11所述的基于视线检测的智能眼镜显示方法，其中，
所述显示位置演算步骤包括：感应所述视线匹配对象照射的光，提取用于显示所述重合图像的参考点的步骤。
17.根据权利要求16所述的基于视线检测的智能眼镜显示方法，其中，
所述显示位置演算步骤还包括：作为画面边界点，提取从所述参考点隔开一定间距的点的步骤。
18.根据权利要求11所述的基于视线检测的智能眼镜显示方法，其中，
所述显示步骤包括：以3D立体形状显示所述重合图像的步骤。
19.一种计算机可读记录介质，其用于存储指令，所述指令包括：
通过多个距离测量部向包括眼底的眼球照射激光，从而测量从所述眼底的第一距离以及从所述眼球的表面的第二距离；
基于所述第一距离以及所述第二距离，检测视线方向；
获取重合图像；
识别在所述视线方向上位于一定范围内的视线匹配对象，并演算位置以能够根据所述视线匹配对象而在指定位置显示所述重合图像；以及
通过智能眼镜形态的显示部，在所述演算的位置显示所述重合图像。
CN202080070346.2A 2019-10-10 2020-10-12 基于视线检测的智能眼镜显示装置及其方法 Pending CN114615947A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2019-0125456 2019-10-10
KR1020190125456A KR102097390B1 (ko) 2019-10-10 2019-10-10 시선 검출 기반의 스마트 안경 표시 장치
PCT/KR2020/013860 WO2021071336A1 (ko) 2019-10-10 2020-10-12 시선 검출 기반의 스마트 안경 표시 장치

Publications (1)

Publication Number Publication Date
CN114615947A true CN114615947A (zh) 2022-06-10

Family

ID=70282239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080070346.2A Pending CN114615947A (zh) 2019-10-10 2020-10-12 基于视线检测的智能眼镜显示装置及其方法

Country Status (5)

Country Link
EP (1) EP4043943A4 (zh)
JP (1) JP2022551642A (zh)
KR (1) KR102097390B1 (zh)
CN (1) CN114615947A (zh)
WO (1) WO2021071336A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115508979A (zh) * 2022-11-22 2022-12-23 深圳酷源数联科技有限公司 Ar眼镜自动调焦系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102097390B1 (ko) * 2019-10-10 2020-04-06 주식회사 메디씽큐 시선 검출 기반의 스마트 안경 표시 장치
KR20230002093A (ko) 2021-06-29 2023-01-05 고려대학교 세종산학협력단 윙크 컨트롤 아이트래킹 기능 제어 장치 및 방법
CN115327782B (zh) * 2022-10-11 2023-03-24 歌尔股份有限公司 显示控制方法、装置、头戴显示设备以及可读存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH105178A (ja) * 1996-06-26 1998-01-13 Nissan Motor Co Ltd 視線入力装置
US20060189842A1 (en) * 2005-02-14 2006-08-24 Hoeg Hans D Method for using variable direction of view endoscopy in conjunction with image guided surgical systems
JP2008018015A (ja) * 2006-07-12 2008-01-31 Toshiba Corp 医用ディスプレイ装置及び医用ディスプレイシステム
JP2012008290A (ja) * 2010-06-23 2012-01-12 Softbank Mobile Corp 眼鏡型表示装置及びサーバ
JP2012187178A (ja) * 2011-03-09 2012-10-04 Fujitsu Ltd 視線検出装置及び視線検出方法
CN103068294A (zh) * 2011-01-24 2013-04-24 奥林巴斯医疗株式会社 医疗设备
CN103557859A (zh) * 2013-10-10 2014-02-05 北京智谷睿拓技术服务有限公司 图像采集定位方法及图像采集定位系统
CN103838378A (zh) * 2014-03-13 2014-06-04 广东石油化工学院 一种基于瞳孔识别定位的头戴式眼睛操控系统
US20170205876A1 (en) * 2016-01-20 2017-07-20 Thalmic Labs Inc. Systems, devices, and methods for proximity-based eye tracking
US20170344110A1 (en) * 2016-05-31 2017-11-30 Fujitsu Limited Line-of-sight detector and line-of-sight detection method
CN108027977A (zh) * 2015-12-01 2018-05-11 Jvc 建伍株式会社 视线检测装置以及视线检测方法
CN109414167A (zh) * 2016-08-24 2019-03-01 Jvc 建伍株式会社 视线检测装置、视线检测方法以及计算机程序
CN110091345A (zh) * 2018-01-31 2019-08-06 丰田自动车株式会社 互动机器人以及其控制程序

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0822038B2 (ja) * 1993-05-13 1996-03-04 工業技術院長 眼球運動追従型視覚提示装置
US20060176242A1 (en) * 2005-02-08 2006-08-10 Blue Belt Technologies, Inc. Augmented reality device and method
JP5923603B2 (ja) * 2012-05-30 2016-05-24 パイオニア株式会社 表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
US9494797B2 (en) * 2012-07-02 2016-11-15 Nvidia Corporation Near-eye parallax barrier displays
KR102227284B1 (ko) * 2014-01-16 2021-03-12 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
EP3540574B1 (en) * 2018-03-15 2021-08-11 HTC Corporation Eye tracking method, electronic device, and non-transitory computer readable storage medium
KR102097390B1 (ko) * 2019-10-10 2020-04-06 주식회사 메디씽큐 시선 검출 기반의 스마트 안경 표시 장치

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH105178A (ja) * 1996-06-26 1998-01-13 Nissan Motor Co Ltd 視線入力装置
US20060189842A1 (en) * 2005-02-14 2006-08-24 Hoeg Hans D Method for using variable direction of view endoscopy in conjunction with image guided surgical systems
JP2008018015A (ja) * 2006-07-12 2008-01-31 Toshiba Corp 医用ディスプレイ装置及び医用ディスプレイシステム
JP2012008290A (ja) * 2010-06-23 2012-01-12 Softbank Mobile Corp 眼鏡型表示装置及びサーバ
CN103068294A (zh) * 2011-01-24 2013-04-24 奥林巴斯医疗株式会社 医疗设备
JP2012187178A (ja) * 2011-03-09 2012-10-04 Fujitsu Ltd 視線検出装置及び視線検出方法
CN103557859A (zh) * 2013-10-10 2014-02-05 北京智谷睿拓技术服务有限公司 图像采集定位方法及图像采集定位系统
CN103838378A (zh) * 2014-03-13 2014-06-04 广东石油化工学院 一种基于瞳孔识别定位的头戴式眼睛操控系统
CN108027977A (zh) * 2015-12-01 2018-05-11 Jvc 建伍株式会社 视线检测装置以及视线检测方法
US20170205876A1 (en) * 2016-01-20 2017-07-20 Thalmic Labs Inc. Systems, devices, and methods for proximity-based eye tracking
US20170344110A1 (en) * 2016-05-31 2017-11-30 Fujitsu Limited Line-of-sight detector and line-of-sight detection method
CN109414167A (zh) * 2016-08-24 2019-03-01 Jvc 建伍株式会社 视线检测装置、视线检测方法以及计算机程序
CN110091345A (zh) * 2018-01-31 2019-08-06 丰田自动车株式会社 互动机器人以及其控制程序

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘键等: "基于用户行为智能观测的导视系统设计", 《包装工程》, vol. 39, no. 16, pages 36 - 41 *
晋良海等: "公共空间导视系统的空间视域模型及其眼动验证", 《工程研究-跨学科视野中的工程》, vol. 9, no. 5, pages 430 - 438 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115508979A (zh) * 2022-11-22 2022-12-23 深圳酷源数联科技有限公司 Ar眼镜自动调焦系统

Also Published As

Publication number Publication date
WO2021071336A1 (ko) 2021-04-15
JP2022551642A (ja) 2022-12-12
US20230258949A1 (en) 2023-08-17
EP4043943A4 (en) 2023-11-08
EP4043943A1 (en) 2022-08-17
KR102097390B1 (ko) 2020-04-06

Similar Documents

Publication Publication Date Title
US11438572B2 (en) Medical devices, systems and methods using eye gaze tracking for stereo viewer
CN114615947A (zh) 基于视线检测的智能眼镜显示装置及其方法
KR102404559B1 (ko) 눈 시선 추적을 사용하는 의료 디바이스, 시스템, 및 방법
JP5250766B2 (ja) ロケーションを同定するための装置
CA2985061A1 (en) A spinal navigation method, a spinal navigation system and a computer program product
JP2001204738A (ja) 手術用ナビゲーションシステム
JP2011200533A (ja) 超音波診断装置
US11698535B2 (en) Systems and methods for superimposing virtual image on real-time image
CN117413060A (zh) 用于真实空间导航的扩增实境系统以及使用该系统的手术系统
JP2013022098A (ja) 血管可視化装置
Peuchot et al. Virtual reality as an operative tool during scoliosis surgery
US20130296834A1 (en) Device for laser-aided eye surgery
EP3920804B1 (en) Method and system for projecting an incision marker onto a patient
KR20210042784A (ko) 시선 검출 기반의 스마트 안경 표시 장치
JP2011050583A (ja) 医療用診断装置
US12007574B2 (en) Eye detection based smart glasses display device
EP4190269A1 (en) Patterned incision foil and method for determining a geometry of an anatomical surface
EP4329660A1 (en) Graphical user interface for a surgical navigation system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination