CN111417335B - 在追踪范围内追踪眼睛运动 - Google Patents

在追踪范围内追踪眼睛运动 Download PDF

Info

Publication number
CN111417335B
CN111417335B CN201880065029.4A CN201880065029A CN111417335B CN 111417335 B CN111417335 B CN 111417335B CN 201880065029 A CN201880065029 A CN 201880065029A CN 111417335 B CN111417335 B CN 111417335B
Authority
CN
China
Prior art keywords
eye
tracking
tracking range
range
alert point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880065029.4A
Other languages
English (en)
Other versions
CN111417335A (zh
Inventor
J·朱里奇
H·格雷库
M·格伦迪希
T·J·拉波波特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alcon Inc
Original Assignee
Alcon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alcon Inc filed Critical Alcon Inc
Publication of CN111417335A publication Critical patent/CN111417335A/zh
Application granted granted Critical
Publication of CN111417335B publication Critical patent/CN111417335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007—Methods or devices for eye surgery
    • A61F9/008—Methods or devices for eye surgery using laser
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007—Methods or devices for eye surgery
    • A61F9/008—Methods or devices for eye surgery using laser
    • A61F2009/00844—Feedback systems
    • A61F2009/00846—Eyetracking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007—Methods or devices for eye surgery
    • A61F9/008—Methods or devices for eye surgery using laser
    • A61F2009/00897—Scanning mechanisms or algorithms

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Vascular Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

在某些实施例中，一种用于追踪眼睛运动的系统包括相机系统、计算机系统、以及输出装置。所述相机系统生成眼睛的图像。所述计算机系统存储所述图像并将所述图像中的至少一个图像作为参考图像加以存储。所述计算机系统还通过将当前图像与所述参考图像进行比较、并通过从所述当前图像与所述参考图像的比较中确定所述眼睛的运动来在追踪范围内追踪所述眼睛的运动。所述追踪范围具有一个或多个警报点。所述计算机系统还确定所述眼睛相对于所述追踪范围的至少一个警报点的取向。所述输出装置输出范围指示符，所述范围指示符指示所述眼睛相对于所述追踪范围的所述至少一个警报点的取向。

Description

在追踪范围内追踪眼睛运动
技术领域
本披露总体上涉及眼睛追踪，更具体地涉及在追踪范围内追踪眼睛运动。
背景技术
已经开发了与诸如白内障屈光手术设备和LASIK手术装置等眼科手术装置一起使用的图像引导系统。这些系统创建了患者眼睛的数字图像，图像捕获眼睛的特征，例如巩膜血管、角膜缘和虹膜特征。这个图像用于例如实时地对切口和透镜的对齐进行定位。所述系统可以具有检测眼睛的平移和转动运动的眼睛追踪能力。在一些系统中，眼睛追踪有助于在手术过程中将激光束保持在靶上。研究表明，眼睛追踪可以产生更好的结果和减少并发症。
发明内容
在某些实施例中，用于追踪眼睛运动的系统包括相机系统、计算机系统、以及输出装置。所述相机系统生成眼睛的图像。所述计算机系统包括存储器和一个或多个处理器。存储器存储图像并将所述图像中的至少一个图像存储为参考图像。通过将所述多个图像中的当前图像与所述参考图像进行比较、并且通过从所述当前图像与所述参考图像的比较中确定所述眼睛的运动，所述处理器在追踪范围内追踪所述眼睛的运动。所述追踪范围具有一个或多个警报点。所述处理器还确定所述眼睛相对于所述追踪范围的至少一个警报点的取向。所述输出装置输出范围指示符，所述范围指示符指示所述眼睛相对于所述追踪范围的所述至少一个警报点的取向。
在某些实施例中，一种用于追踪眼睛运动的方法包括生成眼睛的图像。存储所述图像并且将其中的至少一个图像参考图像来存储。通过将所述多个图像中的当前图像与所述参考图像进行比较、并且通过从所述当前图像与所述参考图像的比较中确定所述眼睛的运动来在追踪范围内追踪所述眼睛的运动。所述追踪范围具有一个或多个警报点。确定所述眼睛相对于所述追踪范围的至少一个警报点的取向。输出范围指示符，所述范围指示符指示所述眼睛相对于所述追踪范围的所述至少一个警报点的取向。
附图说明
参考附图通过实例更详细地描述本披露的实施例，在附图中：
图1展示了用于在激光治疗手术过程中追踪眼睛运动的系统的一个实施例；
图2A和2B展示了在不同追踪会话期间的范围指示符的实例；
图3A和图3B展示了具有滑块元素的图形元素的实例；
图4A和图4B展示了具有箭头元素的图形元素的实例；
图5A至图5D展示了改变颜色的图形元素的实例；
图6A至图6D展示了改变形状的图形元素的实例；
图7A和图7B展示了改变尺寸的图形元素的实例；
图8A至图8D展示了显示数字的图形元素的实例；
图9A至9D展示了显示词语的图形元素的实例；
图10A和图10B展示了频率改变的声音的实例；
图11A和图11B展示了音量改变的声音的实例；并且
图12展示了可以由图1的系统执行的用于追踪眼睛运动的方法的实例。
具体实施方式
现在参考说明书和附图，详细示出了所披露的设备、系统和方法的示例性实施例。对于本领域普通技术人员而言显而易见的是，所披露的实施例是示例性的而并非是所有可能的实施例的穷举。
图1展示了例如在外科手术或诊断手术过程中用于追踪眼睛12的运动的系统10的一个实施例。系统10提供了指示眼睛12相对于眼睛追踪范围的警报点的取向的范围指示符，所以使用者可以在眼睛12移出追踪范围之前确定其是否接近于移出追踪范围。这样可以用于避免移出追踪范围的一些不期望的影响。例如，在一些系统中，如果超出追踪范围，则系统暂停追踪，这样延长了手术时间。作为另一个实例，如果超出追踪范围，则系统可以报告误报追踪。
在所展示的实施例中，系统10包括计算机系统20、相机系统22、激光系统24、以及输出装置26。计算机系统20包括一个或多个存储器30和一个或多个处理器32。在某些实施例中，相机系统22生成眼睛12的图像34。计算机系统20对眼睛追踪和激光控制进行控制。存储器30存储图像34，其中至少一个图像34作为参考图像34a被存储。通过将当前图像34与参考图像34a进行比较、并且从当前图像34与参考图像34a的比较中确定眼睛12的运动(例如位置和/或角取向的改变)，处理器32在追踪范围内对眼睛12进行追踪。追踪范围在系统10的追踪范围附近或末端处具有一个或多个警报点。处理器32确定眼睛12相对于警报点的取向。输出装置26输出范围指示符，所述范围指示符指示眼睛12相对于追踪范围的警报点的取向。
相机系统22可以是具有检测器的任何合适的系统，所述检测器可以检测从眼睛12反射的光并产生可以用于创建眼睛12的图像34的信号。相机系统22的实例是CCD相机。眼睛12的图像34序列(i1，…，ik，…，in)可以显示眼睛12的运动。图像34用作参考图像以与来自相机22的当前图像进行比较以检测运动。参考图像可以是当前图像ik之前的任何合适的图像ik-q，q≥1，例如，当前图像ik之前紧挨着的先前图像ik-1。
眼睛12具有位置和定向(或角取向或角位置)，其可以被描述为眼睛12的构型。在某些实施例中，眼睛12的位置可以使用(x，y，z)坐标表示，即在眼科手术中使用的坐标系，其中诸如虹膜等眼睛特征限定了xy平面，并且z轴是穿过眼睛12的中心点垂直于该平面的线。例如，在时刻t眼睛12在xy平面上的位置可以由眼睛12的中心点(例如，基本上围绕瞳孔中心或顶点)的(x(t)，y(t))坐标给出。眼睛12的取向或角位置可以表示为围绕眼睛12的点的转动，所述点可以是眼睛12的中心点。例如，在时刻t，眼睛12的取向可以被给出为在时刻t远离零位置的转动度数a(t)。可以相对于一个、两个或三个轴线来表示度数，例如：围绕轴线A1的转动度数的数字a1(t)；围绕轴线A1的转动度数的数字a1(t)和围绕轴线A2的转动度数的数字a2(t)；或围绕轴线A1的转动度数的数字a1(t)、围绕轴线A2的转动度数的数字a2(t)以及围绕轴线A3的转动度数的数字a3(t)。零位置可以是初始角位置，诸如在追踪会话开始时开始追踪时眼睛12的角位置。追踪会话可以例如在追踪初始时或在例如眼睛12已经移出追踪范围之后重新开始追踪时开始。
计算机系统20通过确定眼睛12的构型的变化(诸如眼睛12的平移和/或角(或转动)运动)来追踪眼睛12的运动。平移运动是眼睛12的所有点在基本上相同的方向上量基本上相同的运动。角运动是眼睛12围绕眼睛12的中心点的运动。在某些实施例中，系统20可以使用图像处理在参考图像和当前图像34中定位眼睛12(例如瞳孔)的中心点以确定平移运动，然后使用中心点使图像34平移对齐。系统20可以使用图像处理来定位眼睛12的特征(例如血管特征、虹膜特征或任何其他适当的特征)以确定角运动，然后使图像34围绕中心点旋转对齐。
图2A展示了显示眼睛12的取向(或角位置)的实例。一条或多条线36可以指示眼睛12的位置。在所展示的实例中，线36a-b起到轴线的作用。线36a-b基本上穿过眼睛12的瞳孔的中心点37并且基本上彼此垂直。
返回参照图1，在一些实施例中，系统10追踪眼睛12的运动，以便能够使眼睛12的覆盖图像在由相机系统22生成的眼睛12的图像34上对齐。覆盖图像的实例包括诊断图像、治疗计划的图像、红外图像或眼睛12的其他图像。覆盖图像可以放置在由相机系统22生成的图像34上或与其混合。当眼睛12在图像34中运动时，系统10调整重叠图像以对运动进行补偿。
计算机系统20可以在特定追踪范围内追踪眼睛12的运动，在该追踪范围内可以正确地进行追踪，例如以合适的准确度和/或精度来进行追踪。在范围之外，系统10系统可以暂停追踪或者可以报告误报追踪。追踪范围可以表示为P+/-Q，其中P表示当追踪开始时的零位置，并且Q表示追踪边界，追踪边界是远离零位置P的最大距离，在此处可以正确地进行追踪。追踪范围可以具有一个或多个警报点。警报点S是系统20提供眼睛12靠近或位于追踪边界的通知的点，所以S≤Q。
为了追踪角运动，追踪范围可以表示为P+/-Q°，其中P表示追踪开始时的零转动，并且Q表示追踪边界。追踪边界Q是远离零转动P的最大度数，在此处可以正确地进行追踪。Q可以具有任何合适的值。对于当前系统，Q在10到15度的范围内，诸如15度。随着系统改进，Q可以在15度至20度、20度至25度、25度至30度、或大于30度的范围内。警报点S可以具有任何合适的值，并且可以基于Q进行选择。例如，S＝Q或S＝Q-T，其中T在1度至5度、5度至10度、10度至15度、15度至20度、或大于20度的范围内，如S＝Q-T＝15-5度。警报点S可以由系统10设定，或者可以由使用者通过用户输入来设定。
当计算机系统20追踪眼睛12的运动时，系统20还确定眼睛12相对于警报点的构型。例如，系统20确定眼睛12相对于警报点S的取向a(t)。这种关系可以表示为眼睛12的取向与警报点之间的差，例如a(t)–S。随着眼睛12移动越来越接近警报点S，差接近零。
输出装置26输出范围指示符，所述范围指示符指示眼睛12相对于追踪范围的警报点S的构型(例如取向和/或位置)。输出装置26可以是向使用者或另一计算机提供计算机输出的任何合适的装置，例如显示器、监视器、投影仪、扬声器、耳机或打印机。在某些实施例中，输出装置26是将范围指示符显示为图形元素的显示器。图形元素是通常传递信息的、具有任何合适的尺寸、形状或颜色的视觉标记。参考图2A至图9B描述了图形元素范围指示符的实例。在某些实施例中，输出装置26是以声音发出范围指示符的扬声器。参考图10A至图11B描述了音频范围指示符的实例。
参考图2A和图2B，范围指示符39指示在不同追踪会话期间的眼睛12的取向。在图2A中，追踪会话的零点是P1，所以会话的追踪范围是P1+/-Q。在图2B中，追踪会话的零点是P2，所以会话的追踪范围是P2+/-Q。在图2A中，范围指示符39指示眼睛12的取向在追踪范围内。在图2B中，范围指示符39指示眼睛12的取向在追踪范围之外。注意，尽管图2A的眼睛12在追踪范围内而图2B的眼睛12不在追踪范围内，眼睛12的取向在图2A和图2B中看起来都是相同的。这是因为图2A和图2B描述了不同的追踪会话，并且确定眼睛12是否在追踪范围P+/-Q内是取决于追踪会话的零点P。
返回参考图1，激光系统24接收眼睛12的运动的通知，并且响应于所述通知来改变激光束位置。激光系统24可以是提供激光束以治疗眼睛12的任何合适的激光手术装置，并且可以包括计算机、激光源和扫描装置。在某些实施例中，扫描装置接收眼睛12的运动的通知并修改激光束的焦点以解决或补偿运动。以这种方式，可以考虑将眼睛运动用于配准或追踪的目的。
图3A和图3B展示了具有滑块元素42的图形元素38的实例。在实例中，图形元素38包括线性元素40和滑块元素42。线性元素40是长而窄的标记，其可以是直的或弯曲的。在实例中，线性元素40表示追踪范围，并且具有至少一个表示追踪范围的警报点的警报点元素41。滑块元素42是沿线性元素40的标记。在实例中，滑块元素42表示眼睛12的转动。滑块元素42相对于点41的位置表示眼睛12相对于追踪范围的警报点的转动。图3A示出了眼睛12的转动没有超出警报点，即在可接受的范围内。图3B示出了眼睛12的转动超出了警报点，即在可接受的范围之外。
图4A和图4B展示了具有箭头元素46的图形元素38的实例。在实例中，图形元素38包括线性元素44和箭头元素46。线性元素44类似于线性元素40。在实例中，线性元素44表示追踪范围，并且具有至少一个表示追踪范围的警报点的警报点元素41。箭头元素46是指示沿线性元素44的某个位置的标记。在一些情况下，箭头元件46可以看起来如图所示那样，或者看起来像罗盘针。在实例中，箭头元素46指向线性元素44的某个点，该点表示眼睛12的转动。箭头元素46相对于点41指向的位置表示眼睛12相对于追踪范围的警报点的转动。图4A示出了眼睛12的转动没有超出警报点，即在可接受的范围内。图4B示出了眼睛12的转动超出了警报点，即在可接受的范围之外。
图5A至图5D展示了改变颜色的图形元素38的实例。在某些实施例中，图形元素38从第一颜色连续变化成第二颜色，以指示眼睛相对于追踪范围的警报点的取向的变化。连续颜色变化可以是从第一颜色到第二颜色的阴影变化。在所展示的实例中，图5A示出了绿色图形元素38，指示眼睛12的转动没有靠近警报点，即在可接受的范围内。图5B示出了红绿色图形元素38，指示眼睛12的转动接近警报点。图5C示出了绿红色图形元素38，指示眼睛12的转动更加靠近警报点。图5D示出了红色图形元件38，指示眼睛12的转动已超出警报点，即在可接受的范围之外。
图6A至图6D展示了改变形状的图形元素38的实例。在某些实施例中，图形元素38从第一形状连续变化成第二形状，以指示眼睛相对于追踪范围的警报点的取向的变化。形状的连续变化可以是从第一形状到第二形状的逐渐变化。在所展示的实例中，图6A将图形元素38示为圆圈，指示眼睛12的转动没有靠近警报点，即在可接受的范围内。图6B将图形元素38显示为具有圆角的正方形，指示眼睛12的转动接近警报点。图6C将图形元素38显示为具有圆角的X，指示眼睛12的转动更加靠近警报点。图6D将图形元素38显示为具有尖角的X，指示眼睛12的转动已超出警报点，即在可接受的范围之外。
图7A和图7B展示了改变尺寸的图形元素38的实例。在某些实施例中，图形元素38从第一尺寸连续变化成第二尺寸，以指示眼睛相对于追踪范围的警报点的取向的变化。警报点标记47表示警报点。在所展示的实例中，图7A将图形元素38显示为不与标记47交叉的条，指示眼睛12的转动没有超出警报点，即在可接受的范围内。图7B将图形元素38显示为与标记47交叉的条，指示眼睛12的转动超出了警报点，即在可接受的范围之外。
图8A至图8D展示了显示数字的图形元素38的实例。在某些实施例中，图形元素38显示第一数字50，所述第一数字连续变化成随后的数字50，以指示眼睛相对于追踪范围的警报点的取向的变化。在所展示的实例中，图8A示出了图形元素38显示“3”，指示眼睛12的转动没有靠近警报点，即在可接受的范围内。图8B示出了图形元素38显示“2”，指示眼睛12的转动接近警报点。图8C示出了图形元素38显示“1”，指示眼睛12的转动更加靠近警报点。图8D示出了图形元素38显示“0”，表示眼睛12的转动已超出警报点，即在可接受的范围之外。
图9A至图9D展示了显示词语的图形元素38的实例。在某些实施例中，图形元素38显示第一词语52，所述第一词语连续变化成随后的词语52，以指示眼睛相对于追踪范围的警报点的取向的变化。在所展示的实例中，图9A示出了图形元素38显示“OK(正常)”，指示眼睛12的转动没有靠近警报点，即在可接受的范围内。图9B示出了图形元素38显示“CLOSE(近)”，指示眼睛12的转动接近警报点。图9C示出了图形元素38显示“TOO CLOSE(太近)”，指示眼睛12的转动更加靠近警报点。图9D示出了图形元素38显示“NO(禁)”，表示眼睛12的转动已超出警报点，即在可接受的范围之外。
图10A和图10B展示了频率改变的声音的实例。在某些实施例中，扬声器56发出声音，声音的频率58连续变化，以指示眼睛相对于追踪范围的警报点的取向的变化。在实例中，图10A示出了频率58a为x Hz的声音，指示眼睛12的转动没有靠近警报点，即在可接受的范围内。图10B示出了频率58b为y Hz的声音，指示眼睛12的转动超出了警报点，即在可接受的范围之外。频率y可以大于或小于频率x，但与频率x不同。
图11A和图11B展示了音量60改变的声音的实例。在某些实施例中，扬声器56发出声音，所述声音的音量60连续变化，以指示眼睛相对于追踪范围的警报点的取向的变化。在实例中，图11A示出了音量60a为x dB的声音，指示眼睛12的转动没有靠近警报点，即在可接受的范围内。图11B示出了音量60b为y dB的声音，指示眼睛12的转动超出警报点，即在可接受的范围之外。音量y可以大于或小于音量x，但与音量x不同。
在某些情况下，扬声器56发出词语，以指示眼睛相对于追踪范围的警报点的取向的变化。可以使用任何合适的词语，例如相对于图9A和图9B描述的词语。词语的其他实例包括：如果追踪应该顺时针转动以避免超出追踪范围，则是“顺时针转动”，或者如果追踪应逆时针转动以避免超出追踪范围，则是“逆时针转动”。
图12展示了可以由图1的系统10执行的用于追踪眼睛运动的方法的实例。在实例中，所述方法开始于生成眼睛的图像的步骤110。在步骤112，存储图像，并且将至少一个图像作为参考图像加以存储。步骤114和116描述了在具有一个或多个警报点的追踪范围内对眼睛12进行追踪。通过将多个图像中的当前图像与参考图像进行比较来在步骤114追踪眼睛12。在步骤116，根据当前图像与参考图像的比较来确定眼睛12的运动。在步骤118，确定眼睛相对于追踪范围的警报点的取向。在步骤120，输出指示眼睛相对于追踪范围的警报点的取向的范围指示符。
本文中披露的系统和设备的部件(例如计算机)可以包括接口、逻辑和/或存储器，其中的任何一个都可以包括硬件和/或软件。接口可以接收到达部件的输入，提供部件的输出，和/或处理输入和/或输出。逻辑可以执行部件的操作，例如执行根据输入生成输出的指令。逻辑可以是处理器，诸如一个或多个计算机或一个或多个微处理器。逻辑可以是在存储器中编码的计算机可执行指令，所述指令可以由计算机、诸如如计算机程序或软件执行。存储器可以存储信息，并且可以包括一个或多个有形的、非瞬态的、计算机可读的、计算机可执行的存储介质。存储器的实例包括计算机存储器(例如随机存取存储器(RAM)或只读存储器(ROM))、大容量存储介质(例如硬盘)、可移除存储介质(例如光盘(CD)或数字视频光盘(DVD))以及网络存储装置(例如服务器或数据库)。
尽管已经就某些实施例方面描述了本披露，但是对于本领域技术人员而言，实施例的修改(诸如替换、添加、改变或省略)将是显而易见的。因此，在不脱离本发明的范围的情况下，可以对实施例进行修改。例如，可以对本文中披露的系统和设备进行修改。系统和设备的部件可以是一体的或分离的，并且系统和设备的操作可以由更多的、更少的部件或其他部件来执行。作为另一个实例，可以对本文中披露的方法进行修改。这些方法可以包括更多的、更少的步骤或其他步骤，并且这些步骤可以按照任何合适的顺序执行。

Claims (15)

1.一种追踪眼睛运动的系统，所述系统包括：
相机系统，所述相机系统被配置成用于生成所述眼睛的多个图像；
计算机系统，所述计算机系统包括：
存储器，所述存储器被配置成用于存储所述多个图像并将所述多个图像中的至少一个图像存储为参考图像；以及
一个或多个处理器，所述处理器被配置成用于：
通过将所述多个图像中的当前图像与所述参考图像进行比较并且通过从所述当前图像与所述参考图像的比较中确定所述眼睛的运动来在追踪范围内追踪所述眼睛的转动运动，所述追踪范围具有一个或多个警报点；以及
确定所述眼睛相对于所述追踪范围的至少一个警报点的转动取向；以及
输出装置，所述输出装置包括显示器并且被配置成用于输出范围指示符作为图形元素，所述范围指示符指示所述眼睛相对于所述追踪范围的所述至少一个警报点的转动取向，所述图形元素包括第一元素和第二元素，所述第一元素表示具有所述至少一个警报点的所述追踪范围，所述第二元素表示所述眼睛相对于所述追踪范围的所述至少一个警报点的所述转动取向。
2.如权利要求1所述的系统，其中，
所述第一元素包括表示所述追踪范围的线性元素，所述线性元素具有表示所述追踪范围的所述至少一个警报点的至少一个警报点元素；以及
所述第二元素包括对应于所述眼睛的滑块元素，所述滑块相对于所述警报点元素的位置表示所述眼睛相对于所述追踪范围的所述至少一个警报点的转动取向。
3.如权利要求1所述的系统，其中，
所述第一元素包括表示所述追踪范围的线性元素，所述线性元素具有表示所述追踪范围的所述至少一个警报点的至少一个警报点元素；以及
所述第二元素包括对应于所述眼睛的箭头元素，所述箭头元素指向的相对于所述警报点元素的位置表示所述眼睛相对于所述追踪范围的所述至少一个警报点的转动取向。
4.如权利要求1所述的系统，其中，所述图形元素从第一颜色连续变化成第二颜色，以指示所述眼睛相对于所述追踪范围的所述至少一个警报点的转动取向的变化。
5.如权利要求1所述的系统，其中，所述图形元素从第一形状连续变化成第二形状，以指示所述眼睛相对于所述追踪范围的所述至少一个警报点的转动取向的变化。
6.如权利要求1所述的系统，其中，所述图形元素从第一尺寸连续变化成第二尺寸，以指示所述眼睛相对于所述追踪范围的所述至少一个警报点的转动取向的变化。
7.如权利要求1所述的系统，其中，所述图形元素示出了第一数字，所述第一数字连续变化成第二数字，以指示所述眼睛相对于所述追踪范围的所述至少一个警报点的转动取向的变化。
8.如权利要求1所述的系统，其中，所述图形元素示出了第一词语，所述第一词语变化成第二词语，以指示所述眼睛相对于所述追踪范围的所述至少一个警报点的转动取向的变化。
9.如权利要求1所述的系统，其中，所述输出装置还包括扬声器，所述扬声器以声音发出所述范围指示符。
10.如权利要求9所述的系统，其中，所述扬声器发出声音，所述声音的频率连续变化，以指示所述眼睛相对于所述追踪范围的所述至少一个警报点的转动取向的变化。
11.如权利要求9所述的系统，其中，所述扬声器发出声音，所述声音的音量连续变化，以指示所述眼睛相对于所述追踪范围的所述至少一个警报点的转动取向的变化。
12.如权利要求9所述的系统，其中，所述扬声器发出词语，以指示所述眼睛相对于所述追踪范围的所述至少一个警报点的转动取向的变化。
13.如权利要求1所述的系统，其中，所述相机系统从用户输入接收对所述一个或多个警报点中的警报点的选择。
14.如权利要求1所述的系统，进一步包括激光系统，所述激光系统被配置成用于：
接收所述眼睛的转动运动的通知；以及
响应于所述通知来改变激光束位置。
15.一种用于追踪眼睛运动的方法，所述方法包括：
生成所述眼睛的多个图像；
存储所述多个图像以及将所述多个图像中的至少一个图像存储为参考图像；以及
通过将所述多个图像中的当前图像与所述参考图像进行比较、并且通过从所述当前图像与所述参考图像的比较中确定所述眼睛的转动运动来在追踪范围内追踪所述眼睛的转动运动，所述追踪范围具有一个或多个警报点；以及
确定所述眼睛相对于所述追踪范围的至少一个警报点的转动取向；以及
输出范围指示符作为图形元素，所述范围指示符指示所述眼睛相对于所述追踪范围的所述至少一个警报点的转动取向，所述图形元素包括第一元素和第二元素，所述第一元素表示具有所述至少一个警报点的所述追踪范围，所述第二元素表示所述眼睛相对于所述追踪范围的所述至少一个警报点的所述转动取向。
CN201880065029.4A 2017-10-06 2018-09-24 在追踪范围内追踪眼睛运动 Active CN111417335B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762568969P 2017-10-06 2017-10-06
US62/568,969 2017-10-06
PCT/IB2018/057356 WO2019069171A1 (en) 2017-10-06 2018-09-24 MONITORING THE MOVEMENT OF AN EYE IN A TRACKING BEACH

Publications (2)

Publication Number Publication Date
CN111417335A CN111417335A (zh) 2020-07-14
CN111417335B true CN111417335B (zh) 2023-05-05

Family

ID=63840885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880065029.4A Active CN111417335B (zh) 2017-10-06 2018-09-24 在追踪范围内追踪眼睛运动

Country Status (9)

Country Link
US (3) US11284794B2 (zh)
EP (1) EP3691517B1 (zh)
JP (2) JP2020535890A (zh)
CN (1) CN111417335B (zh)
AU (1) AU2018346814B2 (zh)
CA (1) CA3072558A1 (zh)
ES (1) ES2901467T3 (zh)
TW (1) TW201914541A (zh)
WO (1) WO2019069171A1 (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4973149A (en) * 1987-08-19 1990-11-27 Center For Innovative Technology Eye movement detector
US6299307B1 (en) * 1997-10-10 2001-10-09 Visx, Incorporated Eye tracking device for laser eye surgery using corneal margin detection
US6702809B1 (en) * 1989-02-06 2004-03-09 Visx, Inc. System for detecting, measuring and compensating for lateral movements of a target
JP2005081101A (ja) * 2003-09-11 2005-03-31 Nissan Diesel Motor Co Ltd 視線方向検出装置及び視線方向検出方法
EP1602321A1 (en) * 2004-06-02 2005-12-07 SensoMotoric Instruments GmbH Method and apparatus for image-based eye tracking for retinal diagnostic or surgery device
CN1774207A (zh) * 2003-04-11 2006-05-17 博士伦公司 用于获取数据以及对准和跟踪眼睛的系统和方法
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
CN105828703A (zh) * 2013-12-19 2016-08-03 诺华股份有限公司 基于标记的工具跟踪
CN107072815A (zh) * 2014-11-20 2017-08-18 诺华股份有限公司 用于对眼睛进行激光处理的设备

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4287410A (en) * 1979-02-28 1981-09-01 Sri International Double Purkinje eye tracker
US4373787A (en) * 1979-02-28 1983-02-15 Crane Hewitt D Accurate three dimensional eye tracker
US6280436B1 (en) * 1999-08-10 2001-08-28 Memphis Eye & Cataract Associates Ambulatory Surgery Center Eye tracking and positioning system for a refractive laser system
US7044602B2 (en) * 2002-05-30 2006-05-16 Visx, Incorporated Methods and systems for tracking a torsional orientation and position of an eye
AU2002233323A1 (en) * 2001-02-09 2002-08-28 Sensomotoric Instruments Gmbh Multidimensional eye tracking and position measurement system
JP4481537B2 (ja) * 2001-09-12 2010-06-16 株式会社ニデック 角膜手術装置
WO2003053228A2 (en) * 2001-12-21 2003-07-03 Sensomotoric Instruments Gmbh Method and apparatus for eye registration
DE102006002001B4 (de) * 2006-01-16 2009-07-23 Sensomotoric Instruments Gmbh Verfahren zur Bestimmung der räumlichen Relation eines Auges einer Person bezüglich einer Kameravorrichtung
US8864652B2 (en) * 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
US7736000B2 (en) * 2008-08-27 2010-06-15 Locarna Systems, Inc. Method and apparatus for tracking eye movement
US8529060B2 (en) 2009-02-19 2013-09-10 Alcon Research, Ltd. Intraocular lens alignment using corneal center
JP2013039148A (ja) * 2011-08-11 2013-02-28 Topcon Corp 眼科手術用顕微鏡
US9025252B2 (en) * 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
US9629963B2 (en) * 2012-10-30 2017-04-25 Elwha Llc Systems and methods for generating an injection guide
US20140208486A1 (en) * 2013-01-25 2014-07-31 Wesley W.O. Krueger Impact reduction helmet
WO2015081325A1 (en) * 2013-11-27 2015-06-04 Shenzhen Huiding Technology Co., Ltd. Eye tracking and user reaction detection
US9552517B2 (en) * 2013-12-06 2017-01-24 International Business Machines Corporation Tracking eye recovery
US20150223684A1 (en) * 2014-02-13 2015-08-13 Bryson Hinton System and method for eye tracking
EP3140780B1 (en) * 2014-05-09 2020-11-04 Google LLC Systems and methods for discerning eye signals and continuous biometric identification
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US9579017B2 (en) * 2015-06-15 2017-02-28 Novartis Ag Tracking system for surgical optical coherence tomography
US20170035608A1 (en) * 2015-08-05 2017-02-09 Brian S. Boxer Wachler Using intense pulsed light to lighten eye color
WO2017120248A1 (en) * 2016-01-04 2017-07-13 Harman International Industries, Incorporated Off-axis gaze tracking in in-vehicle computing systems
US11071449B2 (en) * 2016-03-31 2021-07-27 Alcon Inc. Visualization system for ophthalmic surgery

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4973149A (en) * 1987-08-19 1990-11-27 Center For Innovative Technology Eye movement detector
US6702809B1 (en) * 1989-02-06 2004-03-09 Visx, Inc. System for detecting, measuring and compensating for lateral movements of a target
US6299307B1 (en) * 1997-10-10 2001-10-09 Visx, Incorporated Eye tracking device for laser eye surgery using corneal margin detection
CN1774207A (zh) * 2003-04-11 2006-05-17 博士伦公司 用于获取数据以及对准和跟踪眼睛的系统和方法
JP2005081101A (ja) * 2003-09-11 2005-03-31 Nissan Diesel Motor Co Ltd 視線方向検出装置及び視線方向検出方法
EP1602321A1 (en) * 2004-06-02 2005-12-07 SensoMotoric Instruments GmbH Method and apparatus for image-based eye tracking for retinal diagnostic or surgery device
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
CN105828703A (zh) * 2013-12-19 2016-08-03 诺华股份有限公司 基于标记的工具跟踪
CN107072815A (zh) * 2014-11-20 2017-08-18 诺华股份有限公司 用于对眼睛进行激光处理的设备

Also Published As

Publication number Publication date
EP3691517B1 (en) 2021-10-27
JP2023095869A (ja) 2023-07-06
CA3072558A1 (en) 2019-04-11
EP3691517A1 (en) 2020-08-12
CN111417335A (zh) 2020-07-14
US20230404396A1 (en) 2023-12-21
WO2019069171A1 (en) 2019-04-11
JP2020535890A (ja) 2020-12-10
ES2901467T3 (es) 2022-03-22
TW201914541A (zh) 2019-04-16
US20220167844A1 (en) 2022-06-02
US11779208B2 (en) 2023-10-10
AU2018346814A1 (en) 2020-02-27
AU2018346814B2 (en) 2024-05-30
US11284794B2 (en) 2022-03-29
US20190104935A1 (en) 2019-04-11

Similar Documents

Publication Publication Date Title
US11730545B2 (en) System and method for multi-client deployment of augmented reality instrument tracking
US11666385B2 (en) Systems and methods for augmented reality guidance
KR102543341B1 (ko) 눈 추적 정보에 기반하는 이미지 영역에서의 적응형 파라미터
US10991162B2 (en) Integrating a user of a head-mounted display into a process
US11918424B2 (en) System and method for improved electronic assisted medical procedures
JP6697482B2 (ja) 外科手術システムを制御するための手術器具のトラッキング
JP2009539131A (ja) 表示パラメータの制御
JP2007209384A (ja) 視線ベクトル検出方法及び同装置
US20180168736A1 (en) Surgical navigation system and instrument guiding method for the same
Yang et al. Techniques for robot-aided intraocular surgery using monocular vision
US11698535B2 (en) Systems and methods for superimposing virtual image on real-time image
CN109893247B (zh) 手术器械操作路径的导航及显示方法、装置
CN111417335B (zh) 在追踪范围内追踪眼睛运动
US20230260427A1 (en) Method and system for generating a simulated medical image
CN117479885A (zh) 医学成像期间的患者运动抑制
US20230210597A1 (en) Identification of bone areas to be removed during surgery
US20240069630A1 (en) Headset Adjustment
Glas Image guided surgery and the added value of augmented reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant