CN107979983A - 用于确定眼睛的位置和/或取向的方法和设备 - Google Patents

用于确定眼睛的位置和/或取向的方法和设备 Download PDF

Info

Publication number
CN107979983A
CN107979983A CN201680038415.5A CN201680038415A CN107979983A CN 107979983 A CN107979983 A CN 107979983A CN 201680038415 A CN201680038415 A CN 201680038415A CN 107979983 A CN107979983 A CN 107979983A
Authority
CN
China
Prior art keywords
parameter
eyes
linear structure
image
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680038415.5A
Other languages
English (en)
Other versions
CN107979983B (zh
Inventor
G·帕尔泽尔
C·迪亚茨
S·比尔曼斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PRICETAIK PHOTOELECTRON CO Ltd
Precitec Optronik GmbH
Original Assignee
PRICETAIK PHOTOELECTRON CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PRICETAIK PHOTOELECTRON CO Ltd filed Critical PRICETAIK PHOTOELECTRON CO Ltd
Publication of CN107979983A publication Critical patent/CN107979983A/zh
Application granted granted Critical
Publication of CN107979983B publication Critical patent/CN107979983B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/107Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining the shape or measuring the curvature of the cornea
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/145Arrangements specially adapted for eye photography by video means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20061Hough transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明涉及一种方法用于确定眼睛的眼角膜的位置和取向的参量的方法,所述方法包括以下步骤:在眼睛的虹膜或/和巩膜上产生线状结构;借助于摄像机拍摄具有线状结构的眼睛的第一图像;借助于第一图像确定距离和线状结构相对于摄像机的取向。

Description

用于确定眼睛的位置和/或取向的方法和设备
技术领域
本发明涉及一种用于确定眼睛的位置和取向的方法和设备。
背景技术
这种方法和设备特别在屈光手术中使用,其中,眼睛的总折光力改变并且随后能以理想的方式取消传统的光学校正、如眼镜或隐形眼镜。特别在用于改变角膜曲率的激光烧蚀中——其中通常烧蚀激光束被在弯曲的眼角膜表面上引导,在治疗期间必要的是,识别眼睛的精确位置以及眼睛的取向——也就是说眼睛关于空间中三个角度的取向/定向。在具有坐标X,Y和Z的笛卡尔坐标系中的眼球位置以及关于三个空间角Rollx,Rolly和Rollz的眼球取向根据图2如下所述地定义:
笛卡尔坐标X,Y和Z被这样选择,即Z轴基本上与激光加工轴A3重合并且沿观察方向定向。X轴被这样定向,即在人站立时X轴与水平线重合。相应地,Y轴被竖直地布置。眼球的空间角或旋转角被相应于笛卡尔坐标规定为滚动角/滚转角Rollx,Rolly和Rollz。角Rollz也被称为旋转/眼球自旋。
用于检测眼睛的位置和取向的可能性在于拍摄眼睛表面的摄像机图像。对摄像机图像的评估必须在这种操作期间考虑所有可能的眼睛运动。
发明内容
本发明基于以下目的:提出一种方法和设备,该方法和设备能实现以足够的精确性查明用于确定眼睛的眼角膜的位置和取向的参量用以实施激光辅助的眼角膜治疗。
该目的通过根据独立权利要求1所述的方法来实现。本发明的其它设计方案在从属权利要求中给出。此外,所述目的通过根据独立权利要求13所述的设备来实现。设备的其它设计方案在从属权利要求中给出。
根据本发明的方法包括以下步骤:在眼睛的虹膜或/和巩膜上——例如通过投影——产生线状结构/线形结构。借助于摄像机拍摄眼睛连同位于其上的线状结构的第一图像。摄像机在此优选地以其摄像机轴对准眼睛。摄像机轴在此以及在下文中可以理解为摄像机的光轴。借助于第一图像确定距离、也就是说Z坐标和表征线状结构相对于摄像机的取向的参数、像例如Rollx和Rolly。由上述说明随后可以推断出距离和用于结构被投影到其上的表面的取向的相应的参数,该表面上——也就是说例如虹膜或角膜缘。由此又可以确定距离和用于眼角膜的取向的相应的参数。在此,用于表征线状结构的取向的参数不必完全地表征所述取向。
术语线状结构例如被理解为直线、直线部段、条、圆弧、圆、椭圆、等等——也就是说可以通过线条表示的结构。线条不一定必须是直的,而是可以是弯曲的或也可以具有封闭的形状,像在椭圆或圆的情况下那样。线状结构可以仅在眼睛的虹膜上,仅在眼睛的巩膜上或既在眼睛的虹膜上又在眼睛的巩膜上产生。优选地,线状结构位于虹膜上。在确定用于线状结构的位置和取向的参数时,例如可以应用线状结构的中心或在明亮与黑暗之间的棱边。线状结构相对于摄像机的取向可以理解为线状结构在空间中的取决于角度的定向。取向例如可以通过两个角度值的说明来定义。由线状结构的取向可以推断出眼睛在空间中的取向。特别是可以由线状结构的取向查明对于完全地说明眼睛的取向所需要的角度值。侧向/横向位置被理解为眼睛的垂直于摄像机轴或激光轴的位置。
为了查明那些例如对于实施眼角膜的激光烧蚀所需要的参量,根据本发明的方法采用眼睛的取向以及眼睛的Z位置、不是真正的眼角膜、而是眼睛的虹膜和/或巩膜作为参考。将线状结构投影在虹膜或/和巩膜上并且因此产生可以借助于图像处理简单地作为自然结构探测到的特征。这样产生的结构形成明显的和进而可以更好地探测到的对比度,该对比度简化了图像处理并且由图像处理提供更精确的结果。同时,线状结构基于其较少改变的和已知的几何结构可以更简单地在图像处理中作为自然结构操纵。
在本发明的一个改进方案中可以规定,借助于摄像机拍摄眼睛——该眼睛不具有位于其上的线状结构——的第二图像,借助于第二图像确定眼睛的侧向位置——也就是说参数X和Y——和/或眼睛的眼球自旋——也就是说Rollz。另选地或附加地,可以借助于第三图像确定所述眼球自旋。眼球自旋说明了眼睛围绕摄像机轴或激光轴的转动。第二和/或第三图像的拍摄可以利用与拍摄所述第一图像相同的摄像机执行。通过该补充的步骤,以简单的方式能够实现完全地确定眼睛的位置和取向。第二和/或第三图像可以在合适的时刻例如在测量循环的范围内被拍摄。这种测量循环可以提供例如包括线状结构的第一图像的第一次拍摄、不包括线状结构的另外的第二图像的第N次拍摄、以及随后第三图像的拍摄。第三图像可以例如以比第二图像高的分辨率被拍摄。由第一图像可以确定用于Z和Rollx和Rolly的值。由第二图像可以确定用于X和Y的新值并且进而也确定用于Rollx和Rolly的新值。由第三图像可以确定Rollz
一个优选的实施方式规定,线状结构的取向的确定包括确定线状结构的——特别是围绕垂直于摄像机轴的轴的——第一倾斜角和第二倾斜角。基于投影的线状结构可以特别可靠地确定第一倾斜角和第二倾斜角。作为用于倾斜角的参考量可以使用图像轴或摄像机轴。根据线状结构的倾斜角可以推断出虹膜或/和巩膜的取向并且进而也推断出眼睛的取向。
在本方法的一个实施方式中,可以查明表征线状结构的参数以用于确定距离和取向。如果线状结构是直线或条,那么该参数例如可以是线状结构的位置和角度。在圆形或圆弧形结构的情况下,例如可以是中心点的位置以及半径。
优选地,线状结构的距离和取向的确定包括应用霍夫变换。霍夫变换在线状结构中是有利的,该线状结构能通过直线或圆描绘。借助于霍夫变换可以特别有利地从查明的多个线状结构中选出最接近实际存在的结构的结构。
另选地,可以在根据本发明的方法中规定,线状结构的距离和取向的确定包括应用一维傅里叶变换。借助于一维傅里叶变换查明的用于表征的参数特别是可以包括沿一方向的周期以及一相位。傅里叶变换的方法在应用中是经济的并且提供可靠的结果。
有利地,距离和取向的确定包括在第一图像中确定线状结构的整体位置、线状结构彼此之间的距离和/或线状结构的整体角度。线状结构的整体位置被理解为所有被检测的线状结构的几何中心或确定的线状结构的位置,由所述中心或位置可以推导出剩余的线状结构的位置。由在第一图像中的线状结构的整体位置可以推断出线状结构与摄像机之间的距离并且进而也推断出虹膜或/和巩膜的距离并且最后推断出眼角膜与摄像机之间的距离。由各个线状结构彼此之间的距离或由所有线状结构的平均距离可以推断出线状结构关于摄像机的倾斜。这同样适用于各个线状结构的角度的或线状结构的整体角度的变化。类似的推论可以由中心点的位置以及椭圆度或者由它们的变化得出。
一个有利的实施方式规定,距离和取向的确定包括根据所查明的参数将几何图形插入第一图像中。用于几何图形的基础可以是被查明的参数,该参数涉及原始的线状结构。有利地,在插入之前改变所查明的参数。参数的变化例如可以是:代表原始线状结构的几何图形的位移;各个几何图形的或所有几何图形相对于彼此的角度变化或/和几何图形的失真。线状结构在由摄像机拍摄的第一图像中由单独的像素代表,而在插入几何图形之前所查明的参数的变化使得能够例如执行在子像素尺度/范围上的移位。在随后插入所查明的几何图形之后可以重新执行确定例如线状结构的距离和取向。在这个重复的过程中可以根据第一图像的质量、分辨率和/或对比度获得确定结果的明显改进。
在一个实施方式中,确定眼睛的眼球自旋和/或位置的步骤可以包括拍摄参考图像。根据参考图像可以通过与目前拍摄的第二图像的比较来检测眼睛围绕摄像机轴或激光轴的转动以及眼睛——例如瞳孔中心点——的位置变化。
一个实施方式规定,输出眼睛的眼角膜的位置或/和取向。所述输出形成至控制装置的接口,该接口确定例如用于眼角膜的烧蚀的激光的位置。
根据本发明的用于确定眼睛的眼角膜的位置和取向的参量的设备包括:用于在眼睛的虹膜或/和巩膜上产生线状结构的投影仪;摄像机,该摄像机以其摄像机轴对准眼睛;以及与投影仪和摄像机连接的控制装置。该控制装置被布置为用于借助于摄像机拍摄具有线状结构的眼睛的第一图像,和根据第一图像确定距离和线状结构相对于摄像机的取向。借助于所述设备能获得已经描述的方法的优点。
在一个有利的改进方案中,所述设备可以被布置为用于借助于摄像机在没有线状结构的情况下拍摄眼睛的第二图像,和根据第二图像确定眼睛的眼球自旋和眼睛的侧向位置。
在一个有利的设计方案中,控制装置可以被布置为用于,为了拍摄第二图像,读取摄像机的第二行或/和将两个像素组合为一个像素。因此可以将相同的摄像机用于两个不同的操作模式,以便实现更高的图像刷新速率和/或更少的等待时间。
此外可能有利的是,设有照明装置,该照明装置被布置成为了拍摄第二图像至少部分地照亮眼角膜。特别是为了在拍摄第二图像时提高对比度可能有利的是,照亮虹膜及其周围环境并且平面地为眼睛照明。
附图说明
现在参考附图详细说明本发明。其中:
图1示出包括用于激光治疗眼睛的眼角膜的设备的示意图;
图2在示意图中示出坐标和角度定义;
图3示出包括投影的线状结构的图1的设备的摄像机的图像;
图4示出霍夫变换的示意图;
图5示出用于评估图3的图像的掩膜;
图6示出傅里叶变换的示意图;和
图7示出由图像所获得的数据的可能的校正的图示。
具体实施方式
图1示意性地示出用于激光治疗病人的眼睛12的系统10的结构。在眼睛12方面在图1中示出也被称为眼珠(Bulbus)的眼球13,具有被称为眼角膜的外角膜14,在该眼角膜上沿眼角膜14的周向连接有被称为巩膜的真皮16。沿径向继续向内在眼角膜14后面存在前房18,该前房从眼角膜14一直延伸到虹膜20。虹膜20将前房18与后房隔开。在眼角膜14与巩膜16之间的边界区域被称为角膜缘15。虹膜20的外周部位于角膜缘15上。虹膜20的内周部形成瞳孔22。这在图3中更详细地示出。
设备10包括:投影仪30,用于将条状图案32投影到眼睛12的巩膜16和虹膜20上;摄像机34,该摄像机通过分光镜36在正面对准眼睛12的虹膜20;以及具有振镜布置结构的激光束扫描仪38,通过该激光束扫描仪能使得适合于烧蚀眼角膜14的激光束引导经过眼角膜14。通过两个不同的投影轴A1,A2将线条或十字线投影到眼角膜14上。这种十字线24在图3中示出。此外借助于三个发光点40进行照明。发光点照亮眼角膜14或虹膜20并且能够实现在拍摄摄像机图像时的对比度改进。除了所述的组成部分之外,系统还具有在图1中未示出的用于定位病人头部的支架和作为用于定位头部和眼角膜的辅助件的固定激光器(Fixationslaser)。图1还示出控制装置42,该控制装置被设计为用于操控和记录、处理和转发至少是摄像机34和投影仪30的数据。
眼球13在具有坐标X,Y和Z的笛卡尔坐标系中的位置以及眼球13关于三个空间角Rollx,Rolly和Rollz的取向如前面根据图2已经描述的那样定义。
在使用系统10之前进行一些准备工作。进行摄像机34和投影仪30相互之间的校准,也就是说查明摄像机34和投影仪30的相对定位。此外,定位校准体而不是眼睛12,并且将条状图案32投影到校准体上。校准体可以例如具有25mm乘以45mm大小的面积,具有在中心的3mm高的台阶并且具有白色的和平坦的光散射表面。这种校准体为当前的应用再现了眼睛12的、特别是眼角膜14和巩膜16的光学特性。位于校准体上的条状图案32的、由摄像机34拍摄的图像随后可以被校准为实际量值和条状图案32与摄像机34之间的实际距离。为了实现正确的激光治疗的过程,必须检查烧蚀激光器的定位。为此例如通过以下方法校准激光扫描仪38:将10mm乘以10mm大小的正方形发射到合适的材料上。几何图形的实际的长度和实际的宽度例如被输入到控制装置42中并且计算出合适的校正值。在此不考虑可能出现的失真。
为了校准激光加工轴A3相对于摄像机34的准确的位置,在治疗之前利用烧蚀激光器将相纸覆盖在校准体的或眼睛12的位置上。可以使得在相纸上产生的结构的位置与在摄像机34的图像中的结构的位置实现平衡并且在必要时查明校正值。
随着执行所述的校准过程,已知了摄像机34和投影仪30的相对位置。特别是随着利用摄像机34拍摄校准体而存在图像,该图像的可见的结构特别关于其尺寸和取向是精确已知的。
除了这样执行的整体系统10校准之外,还必须由诊断系统测量前房18的深度并且将该深度作为参数输送给系统10。前房深度的平均的量值为3.0mm。该量值表示虹膜20与眼角膜14之间的关系。
为了准备进行治疗,将病人的头部、特别是待治疗的眼睛12放置在设备10之内。首先请病人注视一个经由激光加工轴A3的光轴耦联的固定激光器。这确保了:眼睛12在与理想的对准方向之间尽可能小的角度偏差的情况下沿光轴A3对准。进行治疗的医生借助于通过投影轴A1和A2射入的线条或十字线能够借助于两个特征在眼角膜14上的重叠实现眼睛12相对于光轴A3的尽可能好的侧向定位。此外,进行治疗的医生以视觉的方式监控瞳孔22或眼球13是否相对于病人的头部尽可能定位在中心。
在治疗开始时借助于摄像机34记录参考图像,该参考图像用于查明眼球自旋和眼睛12相对于光轴A3的侧向位置。在此,在没有投影的条状图案32的情况下拍摄虹膜20的图像。
在进一步的治疗过程中,控制装置42由投影到虹膜20上的条状图案32查明Rollx值、Rolly值和Z值并且输出用于激光扫描仪38的相应的校正值。这也可以已经对于第一激光发射进行。为了查明旋转和眼睛关于激光加工轴A3的侧向位置,在没有投影的条的情况下拍摄摄像机图像。如果所查明的X值、Y值或Z值在允许的值范围之外,则中断治疗。下面详细说明对所述的两个图像的评估。
图3示出由设备10的摄像机34拍摄的图像,具有在巩膜16和虹膜20的表面上的投影的条状图案32。
基于瞳孔22的中心在摄像机图像中的位置,不能明确地查明瞳孔22的位置是否由眼球13的平动或由眼球13的转动(也被称为滚动/滚转)引起。因此,例如,在前房深度z1为3.0mm的情况下,虹膜20的5.7°的滚动角Rolly对应于眼角膜14的关于瞳孔22的0.3mm的侧向偏移dx:
tan(Rolly)=tan(5.7°)=0.1
dx=z1tan(Rolly)=0.3mm
这种简化的考虑没有顾及到由于眼角膜14的曲率或折射率差异引起的图像失真。由于为了实现位置准确的激光治疗眼角膜14的侧向位置应该准确地已知为0.05mm,所以在治疗期间通过激光扫描仪38跟踪烧蚀激光束是绝对必要的。在这样治疗期间,病人的头部不自觉地侧向运动±5mm。由于不自觉的眼睛运动和短暂的目光扫视,即使在有意地保持目光凝视不动的情况下眼球13也改变其滚动角对准线达±3°。
除了查明眼角膜14的侧向位置之外也必须确定眼角膜14的精确的Z位置。仅由虹膜20的直径或在虹膜20上可识别的结构的尺度不能以足够的精确性查明Z位置。为了实现位置准确的激光治疗,眼角膜14的Z位置应该准确地已知为±0.25mm,这是因为进行烧蚀的激光束被聚焦到眼角膜14的表面上并且错误的焦点深度会对治疗结果产生不利影响。为了最小化眼睛12沿Z方向的运动,将病人的头部放在硬的垫子上。会导致眼角膜14沿Z方向运动却被忽略的其它影响是眼球直径以及肌肉运动,所述眼球直径与心跳同步地变化达大约±0.03mm,所述肌肉运动根据眼睛晶状体的聚焦状态和瞳孔22的打开状态使得眼角膜14变形。在治疗期间监控眼角膜14的Z位置(是否)保持在公差窗口(Toleranzfenster)之内。当离开公差窗口时,治疗结束并且必须进行新的聚焦过程。
首先描述查明角度坐标Rollx和Rolly以及Z坐标:
查明Rollx值、Rolly值和Z位置值根据摄像机34的图像进行,其中,至少虹膜20显示出投影的条状图案32。在此,由系统10的控制装置42评估每第N个、例如每第三十二个摄像机34图像。在这个拍摄的第一图像中,为条状图案32的每个条特别地建立直线方程。每个单独的条都能被以个性化的方式检测。这可以例如由此进行,即例如通过较大的宽度——像例如在图3中所示——或例如通过选出的条的结构化在一定程度上标记中央的条。
在查明第一图像中的直线之前可以预先处理图像。为此,通过过滤操作这样改进摄像机图像,即线条清晰地突出在背景之前。为此,沿图像方向,例如沿水平的图像方向,执行与线条样板——也被称为线条模板——的相互关联。线条模板显示出在虹膜的区域中的人造的——也就是说在图像中产生的——线条。线状结构的走向可以例如由校准体的图像得出。线条模板也就代表了之前查明的——例如由计算生成的或在校准体上拍摄的——图像,该图像再现了可能出现的线条。当Z参数、Rollx参数和/或Rolly参数不一致时,可以由摄影光学具组的几何结构模型、像例如物距和像距以及三角测量角度来确定线状结构的走向。模板可以例如在预先进行的校准中被确定用于特定的投影仪。与线条模板的相互关联在每行中放大像素,该像素可能由于其自身的强度以及其相邻像素的强度而属于一线条。同时,通过这种相互关联过滤来削弱可能存在的摄像机传感器热噪声或虹膜中的干扰结构。沿另一个图像方向、例如沿竖直方向执行类似的过滤操作。也在此突出那些可能属于相同形状的图案、像例如线条的像素。
在另一个步骤中可以执行所谓的骨架化,其中,例如逐步地去除线条的外部像素,以便获得具有一个像素的宽度的线条。在这样预先处理之后,线状结构、也就是说例如直线或圆呈现为图像中的一个像素宽的线条。
为了查明直线方程,应用两种另选的方法。为了查明那些以数学方式再现线状结构的参数,作为第一可能的另选方案在图像上应用霍夫变换。在此,所述在必要时被预先处理的摄像机图像被变换到一空间中,该空间对每个像素关于其对应于线状结构的从属关系进行评估。在霍夫变换中,二维的摄像机图像中的直线状的线条对象通过相对于图像中心点的距离矢量和直线斜率、例如相对于X轴的角度表征并且相应于其权重作为灰度值传输到一像素,该像素在二维的霍夫空间中具有坐标(r,α)。类似的情况当然也适用于圆形的对象,在可能椭圆形失真的圆的情况下这可以例如是中心点的坐标以及椭圆轴的长度。被预先处理的摄像机图像的每个像素被关于其对应于线状结构的从属关系进行检查并且在霍夫空间中形成一点,该点的坐标取决于其对应于线状结构的从属关系。基于被预先处理的摄像机图像的像素结构,在霍夫空间中得出相应的矩阵结构、也被称为投票(Voting)矩阵。在该矩阵中根据矩阵中的点的聚集能识别线状结构。
可以在评估被查明的结构时对单独的线状结构或该线状结构的部分进行加权。可以例如给位于虹膜20的外边缘上的——接近相对于巩膜16的边界的——条赋予特别大的权重。由于虹膜20由前房中的水状液围绕并且不是刚性结构,因此虹膜20的Z位置可能在瞳孔边缘22上发生波动——取决于在治疗期间的晶状体调节和瞳孔打开可能引起直至1mm的波动。已经证明的是,虹膜在其外周部的区域中——接近悬挂点——具有较少的变化。
除了在虹膜20上的投影的线状结构之外也可以在巩膜16上在角膜缘15附近,在白色的巩膜16与彩色的虹膜20之间的边界处对其进行评估。此外存在以下可能性:由角膜缘15的轮廓——可选地在没有投影的结构的情况下——推断出其倾斜:由角膜缘15的圆形形状在眼球13转动时变为椭圆形形状。然而在优选的布置结构中,摄像机在正面对准眼睛12,因此角膜缘15的宽度与滚动角的余弦成比例地仅轻微地改变。借助于倾斜设置的摄像机可以在尺寸方面改进所述方法的灵敏度。那么可以有利地设置两个由x方向和y方向倾斜地对准眼球13的摄像机。
图4说明了霍夫变换的原理。第一图表60在笛卡尔坐标系中示出两个直线部段62,64。直线62,64根据海赛正规形式被参数化,其包括起点66的距离矢量r以及角度α,在此例如具有水平设置的X轴66,该轴垂直于在图像中竖直走向的y轴68。第一直线62通过参数组(r1,α1)表征,第二直线通过参数组(r2,α2)表征。借助于霍夫变换使得直线62,64变换到霍夫空间中并且在那里被表示为第一点(r1,α1)72和作为第二点(r2,α2)74。在根据图4的图表70中显示了霍夫空间。在横坐标76上标绘有角度α,该角度形成在直线与笛卡尔坐标系60中的X轴66之间。在纵坐标78上描绘出带有符号的距离信息。如果有更多的来自笛卡尔坐标系60的像素配属于霍夫空间中的直线并且因此作为点被标绘在图表70中,则在霍夫图表70中的相应位置处的点的灰度值越高。
这样查明的线状结构参数——也就是说例如在直线的情况下的参考点和斜度角/上升角——现在被与实际投影的条状图案32相互关联。这借助于在霍夫空间中执行样板调整。为此,所有条状图案——其位置参数和取向参数看起来是可信的——被查明为样板——也被称为模板——并且被变换到霍夫空间中。这个变换的样板现在被与实际查明的、变换到霍夫空间中的摄像机图像相互关联。在以下位置上得到高的关联值/相关值:在该位置上霍夫空间样板具有线状结构,它们也存在于变换到霍夫空间中的摄像机图像中。具有最高的关联值的样板被视为由摄像机34拍摄的投影仪34的在虹膜20上的条状图案32。由这样查明的样板可以推断出图像中的所有线状结构的位置、线状结构彼此之间的距离和必要时的角度值或失真值。用于样板调整的样板可以例如是一组计算机生成的霍夫变换的条样板。
为了改进在摄像机图像中线状结构的位置参数的精确性,可以将参数化的线状结构返回投影到摄像机图像中。为此,使得被查明的参数化的线状图案在子像素步骤中在摄像机图像之内移位和/或失真并且随后将产生的图像与原始的摄像机图像相互关联。在这种改进图像中的线状结构的位置的精确性的方法中可以使用优化方法、像例如梯度法,这是因为图像中的搜索空间没有像素光栅化并且因此相应地是大的。
由这样查明的参数化的线状对象可以查明假设为平的虹膜20的倾斜:如果线状对象是直线,则可以由直线的距离和由直线的斜度确定Rollx角度和Rolly角度。由摄像机图像中的直线的位置可以查明虹膜20到摄像机34的平面的Z距离。
为了更容易地查明位于摄像机34的图像中的线状对象,可以应用掩膜。这种情况在图5中示出。掩膜遮住所有围绕虹膜20和在瞳孔22之内的图像内容。为此定义两个圆弧,它们具有关于瞳孔22的直径的半径R1和关于虹膜20的外半径的半径R2。
相对于借助于霍夫变换评估摄像机图像另选地,可以利用一维的傅里叶变换执行条状图案32的评估。以优选的方式,条状图案的线条的距离是均匀一致的或改变较少,以便使得傅里叶变换保持高质量。这在根据图6的图表80和90中示出。图表80示出由摄像机34拍摄的虹膜20图像作为单独的像素(Νx/Ny)沿像素间隙Nx的强度分布I(Νx,Ny)。单独的条显示为彼此并排的强度峰值,在图表中心可以看到瞳孔缺乏强度。虹膜20的倾斜由投影的条状图案32的各个条的周期和取向例如沿X方向的走向推导出。为此像素强度I(Νx,Ny)对于每个X-像素间隙被进行一维的傅里叶变换:
在此也可以使用——如在图5中所示的——掩膜。仅对于一些周期值P在条周期的值范围P1...P2中执行傅里叶变换,这是因为之前已经已知了,傅里叶变换的I(P,Nx)的最大数值处于哪个周期值Pmax。因此足以对于一些围绕最大值Pmax的P值计算出傅里叶变换。这在图表90中显示。当P=Pmax时,条周期处于傅里叶变换的数值/幅度│I(P,NX)│的质心/形心中并且能够实现对关于被投影的直线彼此之间的距离的说明。由Pmax的平均值确定角度Rollx。眼睛围绕轴、例如x轴的滚动导致在摄像机图像中条周期Pmax发生变化。在点P=Pmax中确定复值的傅里叶变换的相位
相位提供关于摄像机图像中的条状图案32的Y位置的信息。由条状图案32的平均的Y位置可以确定虹膜20的Z位置。第二角度参数Rolly可以由斜度、也就是说相位沿X方向的走向查明。
利用所述的两种方法——霍夫变换和傅里叶变换——可以查明虹膜关于角度Rollx和Rolly的倾斜以及沿Z轴A3的虹膜的偏移。仍缺少的参量——虹膜20的侧向偏移以及旋转/眼球自旋,Rollz——根据摄像机图像在没有投影的条状图案32的情况下查明。在此,在没有投影的条的情况下将摄像机图像与参考图像相比并且根据虹膜20的特征查明眼球自旋、也就是说就角度Rollz而言的转动。此外,确定瞳孔22的边缘,以便由此获得瞳孔22的直径和其中心点。可以额外地或另选地查明虹膜20向白色的巩膜16、也就是说角膜缘15的过渡,以便也在此获得直径和中心点。
在借助于摄像机34拍摄摄像机图像时,可以应用两个不同的拍摄模式。在当前的实施例中应用的摄像机34可以例如是CMOS摄像机并且以例如超过1000Hz、比如1200Hz的频率拍摄图像。为了拍摄具有投影的条状图案34的虹膜,应用特定的分辨率,例如512乘以512像素,并且仅评估每第N个、例如每第三十二个图像。为了在没有投影的条的情况下拍摄摄像机图像,可以例如应用仅一半的分辨率,例如256乘以256像素。为此例如仅摄像机34的每第二行被读取。额外地可以将一行的两个像素组合成一个像素。以这种方式仅检测所有提供的像素中的四分之一,这明显加快了评估。
作为坐标X,Y的眼角膜14位置由虹膜20的零点和眼角膜14的位置的视差基于眼球13从零位中的旋转来确定。该视差由滚动角Rollx,Rolly和前房深度计算出。这在图7中示出。在最简单的情况下,通过弯曲的眼角膜14发生的光偏转被忽略并且得出点Ρ1',P2'。另选地,可以应用一种用于借助于和地点有关的3D移动矢量dX(P)来校正由此得出的位置系统性错误的方法,所述移动矢量在图7中例如对于点P2示出。为了查明移动矢量dx(P),可以使用光学系统的计算机模拟的射线跟踪或利用摄像机系统校准条投影:
在光学系统的计算机模拟的射线跟踪中可以计算出直至虹膜20的例如被投影的条之一的射束。光学系统由平均眼的(eines durchschnittlichen Auges)角膜和前房水状液形成。虹膜20形成光散射的平面。从虹膜20出发可以继续计算出直至摄像机34的光圈孔的射束。由该计算可以查明dX(P)并且应用为(X,Y,Z)位置的校正值。在这种情况下可以校准具有独立的校准体的投影。
另选地可以在投影系统/摄像机系统的上述的校准过程中例如将平凸透镜放置到校准体上。平凸透镜可以这样构造,即该平凸透镜尽可能地模拟平均眼的光学特性、如曲率半径、折射率和/或相对于虹膜的距离。因此可以已经在校准过程中查明移动矢量dx(P)并且该移动矢量被包含在校准特性曲线中。
整体上由两个所拍摄的摄像机图像借助于上述的评估方法得到以下数据:
眼角膜14的定向由虹膜20的平面的滚动角Rollx和Rolly得出,如它由具有投影的条状图案32的第一摄像机图像查明。由该第一摄像机图像也确定了眼角膜14的Z坐标。角度Rollz——也就是说眼球自旋——由不含有投影的条状图案32的第二摄像机图像确定。由该第二摄像机图像也得出眼角膜14位置作为笛卡尔坐标X,Y,如所述地那样借助于滚动角Rollx,Rolly进行校正。

Claims (17)

1.一种用于确定眼睛的眼角膜的位置和取向的参量的方法,所述方法包括以下步骤:
在眼睛的虹膜或/和巩膜上产生线状结构;借助于摄像机拍摄眼睛连同线状结构的第一图像;和
借助于第一图像确定距离和表征线状结构相对于摄像机的取向的参数。
2.根据权利要求1所述的方法,包括以下步骤:确定距离;借助于距离确定表征眼角膜的取向的参数;和确定表征线状结构的取向的参数。
3.根据权利要求1或2所述的方法,其中,确定表征取向的参数包括确定线状结构的——特别是关于垂直于摄像机轴的轴的——第一倾斜角和第二倾斜角。
4.根据权利要求1至3中任一项所述的方法,其中,确定距离和表征取向的参数包括查明表征线状结构的参数,特别是线状结构的位置和角度的参数,特别是线状结构的参数Z以及Rollx和Rolly
5.根据权利要求4所述的方法,其中,距离和表征取向的参数的确定包括应用霍夫变换。
6.根据权利要求3或4所述的方法,其中,距离和表征取向的参数的确定包括应用一维傅里叶变换,用于表征的参数特别包括沿一方向的周期以及一相位。
7.根据前述权利要求中任一项所述的方法,其中,距离和表征取向的参数的确定包括在第一图像中确定线状结构的整体位置、线状结构彼此之间的距离和/或线状结构的整体角度。
8.根据权利要求3至7中任一项所述的方法,其中,距离和表征取向的参数的确定包括根据所查明的参数将几何图形插入第一图像中,其中,在插入之前特别是在子像素尺度上改变所查明的参数。
9.根据前述权利要求中任一项所述的方法,包括以下步骤:
在没有线状结构的情况下借助于摄像机拍摄眼睛的第二图像;
借助于第二图像确定眼睛相对于摄像机的侧向位置和/或眼球自旋。
10.根据权利要求9所述的方法,其中,确定眼睛的眼球自旋和/或侧向位置的步骤包括拍摄参考图像。
11.根据前述权利要求中任一项所述的方法,包括以下步骤:
输出表征眼睛的眼角膜的位置或/和取向的参数,特别是输出Z位置以及Rollx和Rolly值。
12.根据前述权利要求中任一项所述的方法,其中,确定距离和表征取向的参数包括对位于虹膜的在相对于巩膜的边界处的外边缘上的线状结构进行加权。
13.一种用于确定眼睛(12)的眼角膜(14)的位置和取向的参量的设备(10),所述设备包括:
用于在眼睛(12)的虹膜(20)或/和巩膜(16)上产生线状结构(32)的投影仪(30),
摄像机(34),该摄像机以其摄像机轴对准眼睛,以及
与投影仪(30)和摄像机(34)连接的控制装置(42),该控制装置被布置为用于:
借助于摄像机(34)拍摄眼睛(12)连同线状结构(32)的第一图像,和
根据第一图像确定距离和表征线状结构(32)相对于摄像机(34)的取向的参数。
14.根据权利要求13所述的设备,其中,所述设备被布置为用于借助于摄像机在没有线状结构的情况下拍摄眼睛(12)的第二图像,和
根据第二图像确定眼睛(12)的眼球自旋和/或眼睛的侧向位置、特别是角膜缘的侧向位置。
15.根据权利要求13或14所述的设备,其中,控制装置(42)被布置为用于实施根据权利要求1-12中任一项所述的方法。
16.根据权利要求13至15中任一项所述的设备,其中,控制装置(42)被布置为用于为了拍摄第二图像仅读取摄像机(34)的每第N行或/和将N个像素组合为一个像素。
17.根据权利要求13至16中任一项所述的设备,其中,设有照明装置(40),该照明装置被布置为用于为了拍摄第二图像至少部分地照亮眼角膜(12)。
CN201680038415.5A 2015-06-29 2016-06-28 用于确定眼睛的位置和/或取向的方法和设备 Active CN107979983B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015008217.5 2015-06-29
DE102015008217.5A DE102015008217A1 (de) 2015-06-29 2015-06-29 Verfahren und Vorrichtung zur Bestimmung der Position und der Lage eines Auges
PCT/EP2016/064954 WO2017001375A1 (de) 2015-06-29 2016-06-28 Verfahren und vorrichtung zur bestimmung der position und der lage eines auges

Publications (2)

Publication Number Publication Date
CN107979983A true CN107979983A (zh) 2018-05-01
CN107979983B CN107979983B (zh) 2021-08-24

Family

ID=56296796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680038415.5A Active CN107979983B (zh) 2015-06-29 2016-06-28 用于确定眼睛的位置和/或取向的方法和设备

Country Status (5)

Country Link
US (1) US10762348B2 (zh)
EP (1) EP3313265B1 (zh)
CN (1) CN107979983B (zh)
DE (1) DE102015008217A1 (zh)
WO (1) WO2017001375A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886069A (zh) * 2018-12-21 2019-06-14 深圳动保科技有限公司 基于动物管理系统的虹膜识别获取装置及使用该装置流程
CN112022641A (zh) * 2020-09-10 2020-12-04 深圳职业技术学院 一种辅助转眼运动的方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI630507B (zh) * 2017-09-25 2018-07-21 仁寶電腦工業股份有限公司 目光偵測、辨識與控制方法
DE102022121079A1 (de) 2022-08-19 2024-02-22 Carl Zeiss Meditec Ag Refraktives chirurgisches lasersystem und verfahren zum ermitteln eines abstands zwischen einem kontaktglas und einem patientenauge

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004052199A1 (de) * 2004-10-20 2006-04-27 Universität Stuttgart Streifenprojektions-Triangulationsanordnung zur dreidimensionalen Objekterfassung, insbesondere auch zur dreidimensionalen Erfassung des Gesichts eines Menschen
CN101726985A (zh) * 2008-10-24 2010-06-09 罗伯特.博世有限公司 用于生成图像的方法以及投影仪和具有投影仪的移动电话
US20130120712A1 (en) * 2010-06-19 2013-05-16 Chronos Vision Gmbh Method and device for determining the eye position
CN103917150A (zh) * 2011-10-22 2014-07-09 爱尔康制药有限公司 用于监测眼睛的一个或多个参数的设备
WO2015011692A1 (en) * 2013-07-26 2015-01-29 Phronema S.R.L. Apparatus and method for determining the orientation of anatomical cornea structures

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4995716A (en) * 1989-03-09 1991-02-26 Par Technology Corporation Method and apparatus for obtaining the topography of an object
US5828406A (en) * 1994-12-30 1998-10-27 Eastman Kodak Company Electronic camera having a processor for mapping image pixel signals into color display pixels
AU2002215929A1 (en) * 2000-10-07 2002-04-22 Physoptics Opto-Electronic Gmbh Device and method for determining the orientation of an eye
DE10108797A1 (de) * 2001-02-21 2002-09-05 Zeiss Carl Jena Gmbh Verfahren zur Ermittlung von Abständen am vorderen Augenabschnitt
US7310431B2 (en) * 2002-04-10 2007-12-18 Canesta, Inc. Optical methods for remotely measuring objects
DE10250569A1 (de) * 2002-10-28 2004-05-13 Carl Zeiss Meditec Ag Ophthalmologisches Gerät und Verfahren zur Gerätepositionierung
DE102006002001B4 (de) * 2006-01-16 2009-07-23 Sensomotoric Instruments Gmbh Verfahren zur Bestimmung der räumlichen Relation eines Auges einer Person bezüglich einer Kameravorrichtung
CA3136577A1 (en) * 2013-04-18 2014-10-23 Amo Development, Llc Corneal topography measurement and alignment of corneal surgical procedures

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004052199A1 (de) * 2004-10-20 2006-04-27 Universität Stuttgart Streifenprojektions-Triangulationsanordnung zur dreidimensionalen Objekterfassung, insbesondere auch zur dreidimensionalen Erfassung des Gesichts eines Menschen
CN101726985A (zh) * 2008-10-24 2010-06-09 罗伯特.博世有限公司 用于生成图像的方法以及投影仪和具有投影仪的移动电话
US20130120712A1 (en) * 2010-06-19 2013-05-16 Chronos Vision Gmbh Method and device for determining the eye position
CN103917150A (zh) * 2011-10-22 2014-07-09 爱尔康制药有限公司 用于监测眼睛的一个或多个参数的设备
WO2015011692A1 (en) * 2013-07-26 2015-01-29 Phronema S.R.L. Apparatus and method for determining the orientation of anatomical cornea structures

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886069A (zh) * 2018-12-21 2019-06-14 深圳动保科技有限公司 基于动物管理系统的虹膜识别获取装置及使用该装置流程
CN109886069B (zh) * 2018-12-21 2023-12-15 深圳动保科技有限公司 基于动物管理系统的虹膜识别获取装置及使用该装置获取方法
CN112022641A (zh) * 2020-09-10 2020-12-04 深圳职业技术学院 一种辅助转眼运动的方法及系统

Also Published As

Publication number Publication date
EP3313265B1 (de) 2022-03-30
US10762348B2 (en) 2020-09-01
WO2017001375A1 (de) 2017-01-05
DE102015008217A1 (de) 2016-12-29
EP3313265A1 (de) 2018-05-02
CN107979983B (zh) 2021-08-24
US20180189563A1 (en) 2018-07-05

Similar Documents

Publication Publication Date Title
US10251783B2 (en) Methods and systems for tracking a torsional orientation and position of an eye
CN108351514B (zh) 使用结构光的眼睛追踪
CA2444961C (en) Iris pattern recognition and alignment
KR101073754B1 (ko) 안구의 데이터를 얻고, 안구를 정렬하고 추적하기 위한시스템 및 방법
EP1210002B1 (en) Eye registration control method
US9004689B2 (en) Apparatus for corneal shape analysis and method for determining a corneal thickness
CN107979983A (zh) 用于确定眼睛的位置和/或取向的方法和设备
US8308298B2 (en) Microscopy system for eye surgery
AU2001297967A1 (en) Iris pattern recognition and alignment
JP2002219106A (ja) 瞳孔計測装置、屈折矯正装置および瞳孔計測方法
US20130120712A1 (en) Method and device for determining the eye position
CN105072979B (zh) 使系统对准的方法及检测眼睛前方区域内的至少一个要素的位置数据的系统
CN113940812B (zh) 用于准分子激光角膜屈光手术的角膜中心定位方法
Nyström et al. The amplitude of small eye movements can be accurately estimated with video-based eye trackers
AU2006200896A1 (en) Iris pattern recognition and alignment
CN108231165A (zh) 一种眼科疾病诊断的辅助系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant