CN107874739A - 眼底图像捕获系统 - Google Patents
眼底图像捕获系统 Download PDFInfo
- Publication number
- CN107874739A CN107874739A CN201710929468.2A CN201710929468A CN107874739A CN 107874739 A CN107874739 A CN 107874739A CN 201710929468 A CN201710929468 A CN 201710929468A CN 107874739 A CN107874739 A CN 107874739A
- Authority
- CN
- China
- Prior art keywords
- image
- area
- mask
- eye fundus
- processing equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
- A61B3/15—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing
- A61B3/152—Arrangements specially adapted for eye photography with means for aligning, spacing or blocking spurious reflection ; with means for relaxing for aligning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0041—Operational features thereof characterised by display arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0041—Operational features thereof characterised by display arrangements
- A61B3/0058—Operational features thereof characterised by display arrangements for multiple images
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0075—Apparatus for testing the eyes; Instruments for examining the eyes provided with adjusting devices, e.g. operated by control lever
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Ophthalmology & Optometry (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Signal Processing (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
Abstract
一种眼底图像捕获系统操作成确定系统是否已经捕获到识别眼底、图像中的感兴趣的区或当前视场的图像。根据该确定,系统可以引导用户操作系统以捕获期望的眼底图像。
Description
背景技术
检眼镜是用于对眼睛的眼底(fundus)(或眼睛眼底)和眼睛的其它结构成像的设备。眼睛眼底图像示出与晶状体相对的眼睛的内部表面,包括视网膜、视神经盘、黄斑和小凹以及后极。该成像用于确定视网膜和玻璃体的健康性以及评估诸如高血压、糖尿病视网膜病变和视神经乳头水肿之类的状况。检眼镜设备可以包括用于捕获图像的相机和用于显示由检眼镜设备获得的图像的显示器。医学专业人员使用所述图像来诊断和治疗各种疾病。
典型地,检眼镜是手持设备或由用户(诸如护理者或医学专业人员)佩戴的头带安装的设备。为了正确地捕获眼底图像,眼睛必须首先与设备恰当地对准。用户然后与设备交互以触发图像的捕获。例如,用户需要按压按钮或选择设备上的图形用户接口(GUI)上的控件以捕获图像。设备与眼睛之间的未对准或设备抵靠眼睛的不想要的移动可以导致眼睛眼底的误定位并且产生低劣质量的眼底图像。
发明内容
一般来说,本公开针对眼底图像捕获系统。在一个可能的配置中并且通过非限制性示例,系统操作成使用预定图像掩模来识别感兴趣的区。在本公开中描述各种方面,所述各种方面包括但不限于以下方面。
一个方面是一种用于产生眼底图像的装置。该装置包括处理器、用于捕获图像的图像捕获设备,以及存储软件指令的计算机可读存储设备,所述软件指令在由处理器执行时使得装置:从图像捕获设备获得图像;向图像应用掩模以生成经掩蔽的图像;识别经掩蔽的图像中的预定轮廓(contour);计算预定轮廓的质心(centroid);以及生成可用于引导用户操作装置以捕获示出感兴趣的区的图像的引导信息,引导信息基于预定轮廓的质心而生成。
另一方面是一种捕获眼睛眼底图像的方法。该方法包括从图像捕获设备获得图像;向图像应用掩模以生成经掩蔽的图像;识别经掩蔽的图像中的最大轮廓;计算最大轮廓的质心;在显示设备上显示图像;以及在显示设备上显示目标点,目标点布置在对应于经掩蔽的图像中的最大轮廓的质心的图像中的位置处。
又一方面是一种包括软件指令的计算机可读存储介质,所述软件指令在由处理设备执行时,使得处理设备生成用于识别数字图像中的感兴趣的区的图像掩模,其中图像掩模定义中心区和多个纵向区,中心区和纵向区被配置成对数字图像的对应区进行选择性滤波,纵向区从中心区延伸并且以预定间隙与彼此间隔开。
附图说明
图1是用于产生眼睛眼底图像的示例系统的示意图。
图2图示了对象上的使用中的示例眼底图像捕获系统。
图3图示了图2的眼底图像捕获系统的示例。
图4图示了示例图像捕获设备。
图5是用于捕获期望的眼底图像的示例方法的流程图。
图6是用于确定所捕获的图像是否包括眼底的示例方法的流程图。
图7示意性地图示了具有不同平均颜色值和边缘特性的不同图像。
图8是用于识别图像中的感兴趣的区的示例方法的流程图。
图9是用于在用户操作眼底图像捕获装置时引导用户追踪图像中的感兴趣的区的示例方法的流程图。
图10图示了示例ROI识别掩模。
图11图示了示例图像和对应的经掩蔽的图像。
图12图示了另一示例图像和对应的经掩蔽的图像。
图13图示了又一示例图像和对应的经掩蔽的图像。
图14图示了又一示例图像和对应的经掩蔽的图像。
图15图示了又一示例图像和对应的经掩蔽的图像。
图16是用于确定图像的视场的示例方法的流程图。
图17示出具有不同视场的示例图像。
图18图示了显示有视场的示例图像。
图19图示了显示有另一视场的另一示例图像。
图20图示了显示有又一视场的又一示例图像。
图21图示了可以用于实现本公开的各方面的计算设备的示例性架构。
具体实施方式
将参照附图详细地描述各种实施例,其中贯穿若干视图,相同的参考标记表示相同的部分和组装件。
图1是用于捕获眼睛E的眼底图像的示例系统100的示意图。在该示例中,系统100包括眼底图像捕获系统102、服务器计算设备104和网络106。
眼底图像捕获系统102用于帮助用户U筛选、监视和/或诊断各种眼睛疾病或其它疾病。如本文所描述的,眼底图像捕获系统102被配置成捕获对象(诸如患者)的眼睛E的一个或多个眼底图像。如本文所使用的,“眼底”是指眼睛眼底,包括视网膜、视神经盘、黄斑和小凹、后极和其它元素。眼底图像被用户U出于各种目的而审查。例如,眼底图像可以用于针对眼睛疾病而筛选对象,或者诊断或监视各种疾病的演进。将领会到,操作眼底图像捕获系统102的用户可以不同于评估所得到的眼底图像的用户U。
用户可以是在操作眼底图像捕获系统方面有经验的护理者和医学专业人员。用户还可以是不熟悉眼底图像捕获系统的任何人员(包括对象他或她自己)。在没有使用眼底图像捕获系统的足够经验的情况下,捕获眼底图像对于这样的用户不是容易的,因为难以处置该系统以抵靠(against)瞳孔将其布置在准确的位置和取向中。例如,当用户使用手持眼底图像捕获设备(例如检眼镜)时,难以保持追踪瞳孔的中心。特别地,当进入眼底时,用户可能由于从瞳孔中心的微小偏离(诸如几毫米)而迷失。该情形在对象具有小瞳孔尺寸时变得更糟。此外,用户还可能无意中倾斜设备,从而导致光学中心与瞳孔光学中心未对准。这导致丢失眼底的视场。如本文所描述的,眼底图像捕获系统102被配置成允许不熟练的用户容易地追踪眼睛中的感兴趣的区和捕获眼底图像。
在一些示例中,眼底图像捕获系统102的至少部分被配置成由用户U的手部握持。在其它示例中,眼底图像捕获系统102被配置成由对象穿戴以捕获对象的眼底图像。参照图2更加详细地描述眼底图像捕获系统102的示例配置。
在一些实施例中,系统100可以包括经由网络106与眼底图像捕获系统102数据通信的服务器计算设备104。服务器计算设备104被配置成从眼底图像捕获系统102接收数据并且在电子医学记录(EMR)中执行附加的处理和/或存储。在一些示例中,眼底图像捕获系统102被配置成向服务器计算设备104发送与在其中捕获和/或处理的图像相关联的数据,服务器计算设备104然后出于各种目的而处理和存储数据。
眼底图像捕获系统102和服务器计算设备104通过网络106通信。在一个示例中,眼底图像捕获系统102和网络106是来自纽约州的Skaneateles Falls的Welch Allyn的CONNEXTM系统的部分,尽管可以使用其它系统。
在另一示例中,服务器计算设备104可以是分布式网络,通常称为“云”服务器。眼底图像捕获系统102通过非专有、工业标准消息传递与云服务器通信。数据加密同样基于工业标准。
网络106是促进眼底图像捕获系统102与服务器计算设备104之间的通信的电子通信网络。电子通信网络是一组计算设备和计算设备之间的链路。网络中的计算设备使用所述链路来使得能够实现网络中的计算设备之间的通信。网络106可以包括路由器、交换机、移动接入点、桥接器、集线器、入侵检测设备、存储设备、独立服务器设备、刀片式服务器设备、传感器、台式计算机、防火墙设备、膝上型计算机、手持计算机、移动电话和其它类型的计算设备。
在各种实施例中,网络106包括各种类型的链路。例如,网络106可以包括有线和/或无线链路,包括蓝牙、超宽带(UWB)、802.11、ZigBee和其它类型的无线链路。另外,在各种实施例中,以各种规模实现网络106。例如,网络106可以实现为一个或多个局域网(LAN)、城域网、子网、广域网(诸如因特网),或者可以以另一规模实现。此外,网络106包括使用无线网络协议形成在眼底图像捕获系统102与外围设备之间的网络(例如使用蓝牙连接的鼠标等)。
图2图示了对象上的使用中的眼底图像捕获系统102的示例。在所图示的示例中,眼底图像捕获系统102是被配置为独立手持设备的装置,使得用户抵靠对象的面部放置眼底图像捕获系统102,其中一端邻近于或接触在期望的眼窝周围的对象的面部。在本文档中,因此,眼底图像捕获系统102还称为眼底图像捕获装置或设备102。
眼底图像捕获系统102包括被配置成容纳和保持眼底图像捕获系统102的各种组件的物理结构。这样的物理结构可以合并在图3中进一步描述的图像捕获设备、图像处理设备和显示设备中的至少一个。
在一些实施例中,眼底图像捕获系统102的物理结构被配置成由用户U握持以用于查看和捕获眼底的图像。例如,眼底图像捕获系统102可以与来自纽约州的SkaneatelesFalls的Welch Allyn的PanOpticTM检眼镜或iExaminerTM一起使用。
在其它示例中,眼底图像捕获系统102包括移动计算设备和被配置成安装移动计算设备的附连设备。例如,用户可以将附连设备附连到现有的移动计算设备,并且然后在监视移动计算设备的屏幕的同时拍取患者的图像。附连设备可以被配置成由用户方便地握持,使得用户以接近于对象的预定位置支撑附连设备并且捕获如所期望的图像。例如,系统102可以与来自纽约州的Skaneateles Falls的Welch Allyn的PanOpticTM检眼镜或iExaminerTM一起使用。系统102的其它示例可以采用2015年2月27日提交的题为THROUGHFOCUS RETINAL IMAGE CAPTURING的美国专利申请序列号14/633,601中的公开内容的至少部分,所述美国专利申请的公开内容通过引用以其整体并入本文。另一示例眼底图像捕获系统102被类似地配置成在2014年12月1日提交的题为DIGITAL COLPOSCOPE SYSTEM的美国专利申请序列号14/557,146中公开的设备,所述美国专利申请的整体通过引用并入本文。
在再其它的示例中,系统102的物理结构包括被配置成耦合到对象的支撑结构。例如,支撑结构是眼镜框或头带。在2014年2月11日提交的题为OPHTHALMOSCOPE DEVICE的美国专利申请序列号14/177,594中公开该类型的物理结构的示例,所述美国专利申请的公开内容通过引用以其整体并入本文。
物理结构的再其它的实施例也是可能的。在一些示例中,眼底图像捕获系统102的物理结构包括所有机械和电学结构,以及作为单个单元的硬件和软件。在其它示例中,眼底图像捕获系统102是向计算设备(例如移动计算设备或服务器)无线地输送图像以用于处理的数字检眼镜。其它各种示例也是可能的。
图3图示了眼底图像捕获系统102的示例。在该示例中,眼底图像捕获系统102包括图像捕获设备110、图像处理设备112、显示设备114、位置测量设备116和目标引导设备118。
图像捕获设备110是被配置成捕获对象(诸如对象的眼睛E)的图像的设备。在一些示例中,图像捕获设备110在系统102移动时连续地捕获图像(例如视频记录或快速连拍(burst shot)),并且如本文所描述的那样处理和评估所捕获的图像中的一些或全部(在本文中还称为图像帧)。在一些示例中,本文所描述的方法逐一地应用于所捕获的图像,直到确定已经获得期望的眼底图像为止。由于在非常短的时间段(例如30毫秒)中针对每一个图像执行该方法,因此多个所捕获的图像看起来被实时处理。
在一些示例中,图像捕获设备110包括被配置成捕获来自要成像的物体的反射(例如红外反射)的相机。参照图4图示并且更加详细地描述图像捕获设备110的示例。
图像处理设备112是被配置成从图像捕获设备110检索一个或多个图像(在本文中还称为图像帧)并且处理图像以获得如所期望的眼底图像的设备。如本文所描述的,图像处理设备112操作成执行图像处理以确定特定图像示出如所期望的对象的眼底图像。参照图5图示和更加详细地描述图像处理设备112的示例。
显示设备114是被配置成以原始和/或经处理的格式显示一个或多个图像(例如,一个或多个眼底图像)使得用户审查图像以用于诊断或监视的设备。在一些实施例中,显示设备114被配置为触敏显示屏并且还可以呈现用于使得用户能够与系统102交互的用户接口。例如,用户接口包括显示在显示设备114上的图形控制小部件(widget)。如本文所描述的,用户接口可以包括一个或多个目标引导标记(诸如本文所描述的目标点和追踪点),其表示装置102相对于对象的眼睛中的感兴趣的区的布置(诸如位置和/或取向)。
在一些示例中,显示设备114是计算设备的显示器,诸如移动计算设备(例如智能电话、平板计算机和其它移动设备)的屏幕。
位置测量设备116操作成检测眼底图像捕获系统102的位置和取向。在一些示例中,位置测量设备116被配置成追踪图像捕获设备110(例如其相机)的位置和光轴取向。利用如本文所描述的那样生成的眼底追踪信息,位置测量设备116可以提供平滑的用户反馈以引导用户移动眼底图像捕获系统102,使得相机光轴指向对象的眼睛(或眼底)。
在一些示例中,位置测量设备116包括用于确定位置和取向的一个或多个传感器。这样的传感器的示例包括测量取向中的改变和/或旋转速度中的改变的陀螺仪、测量加速度以确定速度中的改变和/或位置中的改变的加速度计,以及测量磁场以确定绝对取向的磁力计。还可以在其它示例中使用其它类型的传感器。
目标引导设备118操作成提供信息以用于引导用户操作装置102以捕获对象的眼睛的期望图像。在一些示例中,目标引导设备118生成目标引导标记或图标,以及各种类型的其它信息(诸如视觉的、听觉的和触觉的)。
在一些示例中,随着眼底图像捕获系统102移动,目标引导设备118显示视觉标记,诸如显示设备114上的目标点和追踪点(如以下所描述的)。这样的视觉标记指示眼底图像捕获系统102是否布置成捕获期望的眼底图像。参照图11-15更加详细地描述目标引导设备118。
在一些实施例中,在单个计算设备中实现图像捕获设备110、图像处理设备112、显示设备114和位置测量设备116。在其它实施例中,在不同的计算设备中实现图像捕获设备110、图像处理设备112、显示设备114和位置测量设备116中的至少一个。
图4图示了图像捕获设备110的示例。在该示例中,图像捕获设备110包括光学透镜元件120、图像传感器阵列122、照明设备124和控制设备126。
图像捕获设备110被配置成捕获对象的眼底的图像。图像捕获设备110与图像处理设备112通信。由图像捕获设备110获得的图像可以被传输至图像处理设备112以用于后续的过程。
在一些实施例中,由图像捕获设备110捕获的图像是数字图像。可以以各种格式捕获数字图像,诸如JPEG、BITMAP、TIFF等。在其它实施例中,由图像捕获设备110捕获的图像是胶片图像。在再其它的实施例中,图像捕获设备110包括数字视频相机。图像捕获设备110的再其它的实施例也是可能的。
在一些示例中,光学透镜元件120包括可变焦距透镜,诸如通过步进式马达移动的透镜,或者流体透镜(还称为液体透镜)。光学透镜元件120的其它实施例也是可能的。
图像传感器阵列122是被配置成接收和处理被对象的眼底反射的光的设备。图像传感器阵列122可以具有各种类型。例如,图像传感器阵列122是互补金属氧化物半导体(CMOS)传感器阵列(还称为有源像素传感器(APS))或电荷耦合器件(CCD)传感器。在一些示例中,图像传感器阵列可以被配置成接收和处理红外反射。
示例图像传感器阵列122包括具有光接收表面并且具有大体均匀的长度和宽度的光电二极管。在曝光期间,光电二极管将入射光转换成电荷。可以以各种方式操作图像传感器阵列122。在一些实施例中,将图像传感器阵列122操作为全局复位(global reset),也就是说,同时并且在大体相同的时间长度内使大体全部的光电二极管曝光。在其它实施例中,图像传感器阵列122与卷帘快门机构一起使用,其中曝光作为从图像的一侧到另一侧的波而移动。在再其它的实施例中,其它机构也是可能的以操作图像传感器阵列122。
照明设备124是被配置成当图像捕获设备110在使用中时生成和引导光朝向对象的眼睛使得可以对眼睛的结构成像的设备。在一些实施例中,照明设备124包括一个或多个发光二极管、白炽灯泡或光纤线缆。照明设备124还可以包括红外光源,诸如红外LED。照明设备124的再其它的实施例也是可能的。在一些实施例中,照明设备124被配置成产生多个照明条件,每一个具有不同的光强度(即亮度)。然而,图像捕获设备110的一些实施例不包括照明设备124。
控制设备126是被配置成控制图像捕获设备110的操作以捕获图像的设备。在一些实施例中,控制设备126被配置成控制光学透镜元件120、图像传感器阵列122和照明设备124。在一些实施例中,控制设备126与图像处理设备112通信。
图5是用于使用图像处理设备112捕获期望的眼底图像的示例方法150的流程图。尽管将方法150描述成包括操作152、154、156、158、160、162、164和166,但是在其它示例中还可能的是方法150仅包括这些操作中的一些,和/或包括与本文所描述的操作相关联的附加操作。
在一些实现中,将方法150中的步骤实现为在计算设备上运行的软件应用,如图21中所图示的。在一些实施例中,方法150利用OpenCV库来开发。其它库也可以用于实现方法150的步骤。
方法150可以在操作152处开始,其中图像处理设备112从图像捕获设备110接收图像或图像帧。如本文所描述的,在由用户抵靠对象的面部、眼睛或眼底而移动装置102的同时,图像捕获设备110可以连续地捕获图像。图像处理设备112可以从图像捕获设备110实时接收所捕获的图像中的一个或多个。
在操作154处,图像处理设备112在图像上执行初步的处理。可以执行各种图像处理以增强眼底追踪。
在一些示例中,可以首先将图像转换成灰阶图像。然后使用卷积向图像应用线性滤波器。线性滤波器可以被配置成从图像去除噪声并且加强图像的对比度。该线性滤波器操作成通过强调图像中的边缘来改进眼底追踪。例如,当在黑暗环境中捕获图像时,反射(例如红外反射)不够明亮以便以要计数的充足重点来示出图像中的边缘。另外,当图像包含过多细节时,边缘检测的值变得被冲淡。初步图像处理操作改进眼底追踪的功能性。
在操作156处,图像处理设备112确定图像是否至少部分地包括眼底。当用户抵靠对象的面部移动装置102时,装置102的图像捕获设备110可以捕获除眼底之外的任何事物,诸如对象的面部的其它部分(例如,对象的脸颊、前额、眉毛或耳朵)或任何背景物体(例如桌子、桌台或墙壁)。在该操作处。图像处理设备112确定所捕获的图像是否实际地包括对象的眼底,并且识别图像是否不正确地看起来包括对象的眼底(即,假阳性错误)。参照图6更加详细地描述操作154的示例。
在操作158处,如果确定图像包括眼底(在该操作处“是”),方法150移动到操作160。否则(在该操作处“否”),方法150返回到操作152以从图像捕获设备110接收下一图像并且重复后续的操作。
在操作160处,图像处理设备112操作成识别图像中的感兴趣的区(ROI)。例如,一旦确定在所捕获的图像中至少部分地识别出眼底(操作154),图像处理设备112进一步处理图像以定位眼底中的ROI。参照图8更加详细地描述操作158的示例。
在操作162处,如果确定已经在图像中识别出ROI(在该操作处“是”),方法150移动到操作164。否则(在该操作处“否”),方法150返回到操作152以从图像捕获设备110接收下一图像并且重复后续的操作。
在操作164处,图像处理设备112操作成确定所捕获的图像中的视场(FOV)。视场可以表示用户的到眼底中的当前深度。在一些示例中,装置102确定视场是否当前是合期望的,并且如果不是,帮助用户移动装置102以实现期望的视场(例如完整视场)。参照图16更加详细地描述操作162的示例。
在操作166处,如果确定已经在图像中实现期望的视场(在该操作处“是”),方法150继续任何后续操作。否则(在该操作处“否”),方法150返回到操作152以从图像捕获设备110接收下一图像并且重复后续的操作。
图6是用于确定所捕获的图像是否包括眼底的示例方法170的流程图。在一些示例中,由图像处理设备112执行方法170以实现图5中的操作156。在方法170中,图像处理设备112确定在用户抵靠对象的面部或眼睛操纵和移动装置102时是否已经找到眼底。
在一个实现中,方法170中的步骤实现为在计算设备上运行的软件应用,如图21中所图示的。在一些实施例中,利用OpenCV库开发方法170。其它库也可以用于实现方法170的步骤。
尽管将方法170描述成包括图6中图示的操作,但是在其它示例中可能的是,方法170仅包括这些操作中的一些,和/或包括与本文所描述的操作相关联的附加操作。例如,所图示的操作中的一些取决于所捕获的图像的属性(例如尺寸或质量)而是可选的。
方法170在操作172处开始,其中图像处理设备112接收由图像捕获设备110捕获的图像。如本文所描述的,在一些示例中,可以在方法170中处理图像之前如图6中所描述的那样预处理所捕获的图像。
在操作174处,图像处理设备112对图像重定尺寸。在一些示例中,将图像缩小到较小的尺寸以减少完成后续过程(诸如方法170中的后续操作)所需要的循环数目。例如,当全比例图像具有不感兴趣的过多细节时,全比例图像要求比更小图像更多的计算资源以用于图像处理。作为示例,图像可以被重定尺寸到1/0比例。
在操作176处,图像处理设备112使经缩放的图像模糊以去除不感兴趣的细节。该模糊过程用于防止不相关的边缘或微小边缘的检测并且仅聚焦在硬边缘上,诸如鼻梁、眼睑边缘、其它面部元素的边缘、对象面部周围的环境物体的边缘和其它硬边缘。
在操作178处,图像处理设备112获得经缩放的图像的平均颜色值。可以使用各种已知算法来计算经缩放的图像的平均颜色值。
在操作180处,图像处理设备112执行边缘检测。在一些示例中,图像处理设备112计算在经缩放的图像中检测到的边缘量。例如,可以将边缘量确定为构成边缘的像素的数目。在其它示例中,测量边缘量的其它方式也是可能的。
在操作182处,图像处理设备112确定经缩放的图像是否具有代表经缩放的图像中的眼底的预定特性。在一些示例中,预定特性与颜色值和边缘特性中的至少一个相关联,如图7中所图示的。例如,图像处理设备112可以确定如在操作178中获得的缩放图像的平均颜色值是否满足指示包括眼底的图像的颜色阈值。此外或可替换地,图像处理设备112确定如在操作180中获得的经缩放的图像中的边缘量(例如构成边缘的像素的数目)是否满足指示包括眼底的图像的边缘阈值。
在操作184处,如果没有确定经缩放的图像具有预定特性(在该操作处“否”),方法170移动到操作186,其中图像处理设备112识别到图像没有示出眼底。照此,图像不被视为包括要检测的眼底。然后,图像处理设备112可以接收由图像捕获设备110拍取的另一图像(在操作152处)并且执行如本文所描述的后续操作。
可替换地,如果确定经缩放的图像具有预定特性(在该操作处“是”),方法170去往操作188,其中图像处理设备112将图像识别为示出眼底的图像。照此,图像被视为包括要检测的眼底,并且因而被认为靠近眼底或在眼底中。然后,图像处理设备112可以执行后续的操作,诸如图5中的操作160。
图7示意性地图示了具有不同平均颜色值和边缘特性的不同图像。在所图示的示例中,在不同图像190中以不同尺寸示出眼底192。眼底192可以通过边缘或轮廓194识别并且具有颜色196。作为示例,眼底192的尺寸在第二图像190B中比在第一图像190A中更大。在第三图像190C中,装置102已经移动到眼底192中。在第四图像190D中,装置102已经进一步移动到眼底192中。照此,图像中的眼底的尺寸可以改变图像的平均颜色值和边缘特性。基于该关系,图像的平均颜色值和/或边缘特性可以用于确定图像是否包括眼底。
图8是用于识别图像中的感兴趣的区(ROI)的示例方法210的流程图。在一些示例中,由图像处理设备112执行方法210以实现图5中的操作158。在方法210中,图像处理设备112定位图像中的ROI。一旦在方法170中已经将图像识别为示出眼底(图6),就进一步处理和评估图像以定位图像中的ROI。在一些示例中,ROI是图像中的眼底的中心。在其它示例中,可以将图像中的另一位置识别为ROI。
在一个实现方式中,将方法210中的步骤实现为在计算设备上运行的软件应用,如图21中所图示的。在一些实施例中,利用OpenCV库来开发方法210。其它库也可以用于实现方法210的步骤。
尽管将方法210描述成包括图8中图示的操作,但是在其它示例中同样可能的是,方法210仅包括这些操作中的一些,和/或包括与本文所描述的操作相关联的附加操作。例如,所图示的操作中的一些取决于所捕获的图像的属性(例如尺寸或质量)而是可选的。
在操作212处,图像处理设备112获得图像。在一些示例中,图像是与如图6中描述的方法170中处理的经缩放的图像对应的原始定尺寸的图像。
在操作214处,图像处理设备112向图像应用掩模以去除任何非眼底区域。各种已知的掩模可以用于该目的。
在操作216处,图像处理设备112侵蚀(erode)图像以去除噪声,诸如图像中的不相关的或微小的特征。在操作218处,图像处理设备112扩大图像。在操作220处,图像处理设备112阈值化图像以便对图像进一步分段并且去除过暗或过亮的所有像素。阈值化过程用于分离开对应于要分析的眼底的图像的区。例如,二元阈值(例如OpenCV中的阈值到零函数)可以用于执行该操作中的阈值化。阈值化过程可以基于对应于感兴趣的区的像素与背景像素之间的强度变化而分离图像中的区。
在操作222处,图像处理设备112向图像应用ROI识别掩模300(诸如在图10中)。ROI识别掩模被配置成区分典型地不是感兴趣的区但是一致地结束在某些区域中的一个或多个事物。这样的事物包括眼睛或眼底周围或附近的面部部分或元素,诸如眼睑、鼻子、眉毛和前额。当在图像中发现眩光时,所述眩光类似来自眼睛中的感兴趣的区的反射,事实可能是反射离开不感兴趣的其它区,诸如在眼睛或眼底外部。如本文所描述的,ROI识别掩模操作成识别感兴趣的区,将其与不感兴趣的区区分开。
在一些示例中,ROI识别掩模被配置成分裂可能导致假阳性错误的图像区中的轮廓。如本文所描述的,ROI识别掩模被配置成将图像中的一个或多个轮廓分裂成片段。图像处理设备然后可以测量每一个片段的面积,将具有最大面积的片段识别为ROI,并且然后计算ROI的质心。ROI的质心被映射到实际的图像(或在实际图像中被识别)并且用作目标点,可以在装置102的显示设备中呈现所述目标点。参照图10更加详细地图示ROI识别掩模300的示例。
在操作224处,图像处理设备112确定是否在图像中识别ROI。如以上所描述的,一旦应用ROI识别掩模,图像处理设备可以测量每一个片段的面积,将具有最大面积的片段识别为ROI,并且然后计算ROI的质心以将其用作目标点。在一些示例中,当目标点位于图像中或装置102的显示屏上的预定位置处时,ROI被视为被识别到。参照图9更加详细地图示该操作的示例。
在操作226处,图像处理设备112生成和向装置102的用户提供引导信息。在一些示例中,经由装置102的显示设备114呈现引导信息。参照图11-15来图示引导信息的示例。
在操作228处,如果确定尚未识别到ROI(在该操作处“否”),方法210移动到操作230,其中图像处理设备112识别到装置102没有布置在期望的位置中以捕获眼底图像。然后,图像处理设备112可以接收由图像捕获设备110拍取的另一图像(在操作152处)并且执行如本文所描述的后续操作。
可替换地,如果确定已经识别到ROI(在该操作处“是”),方法210去往操作232,其中图像处理设备112认为装置102在期望的位置中以捕获眼底图像。照此,认为图像包括眼底并且已经识别到ROI。然后,图像处理设备112可以执行后续的操作,诸如图5中的操作164。
图9是用于当用户操作眼底图像捕获装置102时引导用户追踪图像中的感兴趣的区(ROI)的示例方法250的流程图。同样参照图10-15来描述方法250。图10图示了应用于追踪图像中的ROI的示例ROI识别掩模。图11-15图示了被捕获和显示在显示设备中的五个示例图像,以及展示图像处理以追踪图像中的ROI的五个示例图。
如本文所描述的,在一些示例中,感兴趣的区是眼底的预定位置,诸如图像中的眼底的中心。在一些示例中,由装置102中的一个或多个设备执行方法250以实现方法210中的操作222、224、226、228、230和232中的至少一个,如图8中所描述的。尽管以下主要将方法250描述成由图像处理设备112执行,但是要指出的是,装置102的其它设备,诸如显示设备114、位置测量设备116和目标引导设备118,也可以用于执行方法250的至少部分。
在一个实现中,将方法250中的步骤实现为在计算设备上运行的软件应用,如图21中所图示的。在一些实施例中,利用OpenCV库来开发方法250。其它库也可以用于实现方法250的步骤。
尽管将方法250描述成包括图9中图示的操作,但是在其它示例中还可能的是,方法250仅包括这些操作中的一些,和/或包括与本文所描述的操作相关联的附加操作。例如,所图示的操作中的一些取决于所捕获的图像的属性(例如尺寸或质量)而是可选的。
方法250可以在操作252处开始,其中向图像应用掩模。在一些示例中,掩模可以是ROI识别掩模300,如图10中所图示的。ROI识别掩模300操作成区分典型地不是感兴趣的区的事物,并且识别ROI。
如图10中所图示的,ROI识别掩模300被配置成将图像滤波成一个或多个区段或片段。例如,ROI识别掩模300将图像中的轮廓分裂成区段或片段。作为示例,在图11-15中,当向图像330应用ROI识别掩模300时,表示关于经掩蔽的图像的数据的图332展示多个区段350,所述多个区段350在本文中还称为经掩蔽的轮廓350,或者简单地称为团块(blob)或轮廓350。在经掩蔽的图像或图332中,将轮廓350定义为封闭、连续的区域。
在一些示例中,ROI识别掩模300被配置为以与所捕获并且显示在装置102中的图像330相同的尺寸。当装置102抵靠对象的面部或眼睛移动时,向所捕获的不同图像330应用相同的ROI识别掩模300。
在一些示例中,ROI识别掩模300定义中心滤波区和布置在中心滤波区周围的楔形滤波区。该配置确保图像中所示的反射来自眼睛而不是来自其它某物。
例如,ROI识别掩模300定义对所捕获的图像330的对应区进行选择性滤波的中心区302。此外,ROI识别掩模300包括对所捕获的图像330的对应区进行选择性滤波的多个纵向区304。在一些示例中,纵向区304连接到中心区302并且从中心区302延伸。在一些示例中,纵向区304平行延伸并且以预定间隙与彼此间隔开。在所图示的示例中,纵向区304竖直延伸。在其它示例中,纵向区304可以在不同的方向上延伸。
此外,ROI识别掩模300包括被配置成对所捕获的图像330的对应区进行选择性滤波的穿越区(crossing region)306。穿越区306可以跨掩模300延伸。在一些示例中,穿越区306延伸穿过中心区302。穿越区306布置成如所期望的那样修改和分布掩蔽区域。在所图示的示例中,穿越区306水平延伸。在其它示例中,穿越区306可以在不同的方向上延伸。
利用穿越区306,将纵向区304分离成两个组,一组纵向区(例如在掩模的上侧)与另一组纵向区(例如在掩模的下侧)间隔开。利用中心区302、纵向区304和穿越区306的配置,可以平滑地移动目标点(或最大轮廓的质心)。例如,当用户移动装置102时,目标点370看起来在显示屏上平滑地移动。
掩模300的区(诸如中心区302、纵向区304和穿越区306)由被配置成遮挡掩模应用于的图像的对应区的周围部分308定义。
在一些示例中,中心区302、纵向区304和穿越区306被配置成当对应区的像素具有预定值时,对掩模300应用于的图像330的对应区进行滤波。在图像330是灰阶图像的情况下,掩模300的区302、304和306对具有大于阈值的值的像素进行滤波。掩模300的其它部分(诸如周围部分308)遮挡图像的对应部分的所有像素。
如图11-15中例示的,掩模300的中心区302布置在其中期望的物体或元素(即感兴趣的区)应当布置在图像中的位置处。相比之下,掩模300的纵向区304布置在其中典型地布置不感兴趣的物体或元素(即,假阳性错误)的位置处。
例如,在图11中,图像330一般捕获瞳孔外部的区并且不示出感兴趣的区,诸如眼底的中心。事实上,图像330下侧处的反射336的轮廓示出眼睑和眼球的部分。图像330的上侧处的反射338的轮廓实际上是瞳孔的部分,并且暗区340是瞳孔的其余部分。照此,轮廓336、338和340一般不是感兴趣的区,并且主要位于掩模300中的纵向区304之上。如经掩蔽的图像332中所示,一般通过掩模300的纵向区304对轮廓336、338和340进行滤波,从而造成经掩蔽的图像332中的经掩蔽的轮廓350的多个小片段。
相比之下,如图15中所示,图像330捕获眼底的内部并且示出感兴趣的区。如所示,感兴趣的区(例如眼底中心)位于掩模300中的中心区302之上。因此,主要通过由掩模300的中心区302对感兴趣的区进行滤波,从而造成经掩蔽的图像332中的单个大轮廓350。
再次参照图9,一旦图像330被掩蔽(操作252),在操作254处,图像处理设备112获得经掩蔽的图像332中的轮廓350。如图11-15中所图示的,轮廓350被定义为经掩蔽的图像332中的封闭、连续的区,并且与彼此分离。在所图示的示例中,当向图像330应用掩模300时,经掩蔽的图像332中的轮廓350由掩模300的中心区302、纵向区304和/或穿越区306形成。
在操作256处,图像处理设备112识别最大轮廓350。在一些示例中,图像处理设备112计算经掩蔽的图像332中的每一个轮廓350的面积,并且在轮廓350的面积之间进行比较以确定轮廓350中的具有最大面积的一个。在一些示例中,通过每一个轮廓内的像素数目来计算面积。在其它示例中,通过轮廓的相对尺寸来确定面积。在其它示例中,其它方法可以用于计算每一个轮廓的面积。
在操作258处,图像处理设备112计算最大轮廓350的质心360。质心360指示最大轮廓的质量中心。在一些示例中,假定最大轮廓具有均匀密度。可以以各种方法确定这样的质心。
作为示例,在图12中,经掩蔽的图像332包括经掩蔽的图像332的上侧处的单个轮廓350和下侧处的二十(20)个轮廓350。图像处理设备112将把上侧轮廓350确定为经掩蔽的图像中的最大轮廓,并且计算上侧轮廓350的质心360。类似地获得其它经掩蔽的图像332中的质心360(图10和13-15)。
在操作260处,图像处理设备112将最大轮廓350的质心360映射到图像330。在图11-15中图示了质心360的映射362。
在操作262处,图像处理设备112生成和在装置102的显示屏上显示目标点370。如所图示的,将目标点370置于显示屏中所示的图像330之上。在质心360映射到的位置处呈现目标点370。因此,目标点370可以表示最大轮廓的质心,所述质心可以对应于感兴趣的区的中心。将目标点370用作帮助用户移动装置102直到识别到ROI的引导标记(如图15中所图示的)。如图11-15中所图示的,当装置102通过用户的操作而抵靠目标的面部或眼睛移动时,目标点370在显示屏上移动。
在操作264处,图像处理设备112确定目标点370是否匹配装置102的显示屏上的追踪点380。
连同目标点370,追踪点380用于引导用户将装置102移动到期望的位置和取向以捕获期望的图像。在一些示例中,追踪点380布置并且固定在视场(和因而显示屏)的预定位置处。例如,追踪点380布置在视场的中心处(即在显示屏的中心处)。掩模300可以应用于每一个图像330,使得掩模300中的中心区302的中心对准以对应于图像330中的追踪点380。
追踪点380充当目标点370需要适合到的参考点。当装置102移动时,目标点370可以移动,因为由装置102捕获的图像取决于装置102抵靠对象的位置而不同。然而,追踪点380固定在装置102的显示屏上,并且表示装置102应当布置和取向到的点。因此,要求用户移动装置102直到目标点370匹配目标点380。照此,目标点370和追踪点380被配置成帮助用户移动、布置和定向装置102而不关注用户实际上通过显示设备看什么。用户仅需要保持将目标点370移动到追踪点380中。
在所图示的示例中,将目标点370呈现为实心球或方形,并且将追踪点380显示为空心圆或方形。在其它示例中,目标点370和追踪点380的其它形状或特性是可能的。
作为示例,在图11-14中,目标点370不匹配追踪点380,这指示装置102没有如所期望的那样抵靠对象的眼睛布置以识别ROI,诸如眼底的中心。相比之下,在图15中,目标点370匹配追踪点380,从而表示装置102抵靠对象的眼睛适当地布置和取向,并且所捕获的图像330包括和识别如所期望的ROI。
在一些示例中,为了改进可读性,目标点370和/或追踪点380的颜色可以取决于目标点370相对于追踪点380的位置而改变。在一个实施例中,当目标点370和追踪点380未对准时,如在图11-14中那样,目标点370和追踪点380具有第一颜色(例如红色),并且当目标点370与追踪点380重叠时,如图15中所示,将其颜色改变成第二颜色(例如绿色)。其它颜色方案也是可能的。在其它示例中,附加于或可替换于颜色方案,各种视觉和/或触觉方案可以用于指示目标点370与追踪点380之间的匹配。例如,当目标点370和追踪点380对准时,点370和380可以闪烁,和/或通过装置向用户提供触觉反馈(例如振动或触感效果)。
仍旧参照图9,在操作264处,如果确定目标点370不匹配追踪点380(在该操作处“否”),方法250移动到操作266,其中图像处理设备112识别到,装置102没有布置在期望的位置中以捕获眼底图像。然后,图像处理设备112可以接收由图像捕获设备110拍取的另一图像(在图5中的操作152处)并且执行如本文所描述的后续操作。
可替换地,如果确定目标点370匹配追踪点380(在该操作处“是”),方法250去往操作268,其中图像处理设备112认为装置102在期望的位置中以捕获眼底图像。照此,认为图像包括眼底并且已经识别到ROI。然后,图像处理设备112可以执行后续的操作,诸如图5中的操作164。
参照图11-15,进一步描述方法250,所述方法250引导用户直到用户抵靠对象而将装置102移动到期望位置。在图11-15中,图像330图示了显示在显示屏上的示例图像,使得用户可以监视由装置102捕获的图像而同时抵靠对象移动装置102。经掩蔽的图像332是分别向对应的图像330应用ROI识别掩模300的示例结果。
在图11-14中,当利用ROI识别掩模300对图像330进行滤波时,生成一个或多个轮廓350(例如图11和12中的多个轮廓,以及图13和14中的一个轮廓),如经掩蔽的图像332中所图示的。然后,识别最大轮廓350并且计算质心360。然后将质心360映射到图像330中,并且所映射的位置由图像330中的目标点370表示。如所示,目标点370未配合到固定在显示屏的中心(和因而图像330的中心)中的追踪点380中。因此,用户需要移动装置102以尝试将目标点370与追踪点380匹配。
照此,ROI识别掩模300用于识别感兴趣的区。在没有ROI识别掩模300的情况下,例如,当事实上图像中的下部区是对象的下眼睑时,图12中的图像330可能被解释成使得感兴趣的区在图像的下部区中。
在图15中,当利用ROI识别掩模300对图像330进行滤波时,生成一个轮廓350,如经掩蔽的图像332中所图示的。然后,计算轮廓350的质心360。然后将质心360映射到图像330中,并且所映射的位置由图像330中的目标点370表示。如所示,目标点370匹配追踪点380。因此,装置102抵靠对象的眼底适当地布置,并且图像330包含眼底和期望的ROI。
图16是用于确定图像的视场(FOV)的示例方法270的流程图。方法270进一步允许用户移动装置102以实现期望的视场。同样参照图17-20来描述方法270。图17示出具有不同视场的示例图像。图18-20图示了在调节视场的同时在显示设备中显示的三个示例图像。
在一些示例中,由装置102中的一个或多个设备执行方法270以实现图5中的操作164。尽管以下主要将方法270描述成由图像处理设备112执行,但是要指出的是,装置102的其它设备,诸如显示设备114、位置测量设备116和目标引导设备118,也可以用于执行方法270的至少部分。
在一个实现中,将方法270中的步骤实现为在计算设备上运行的软件应用,如图21中所图示的。在一些实施例中,利用OpenCV库来开发方法270。其它库也可以用于实现方法270的步骤。
尽管将方法270描述成包括图16中图示的操作,但是在其它示例中还可能的是,方法270仅包括这些操作中的一些,和/或包括与本文所描述的操作相关联的附加操作。例如,所图示的操作中的一些取决于所捕获的图像的属性(例如尺寸或质量)而是可选的。
一旦装置102布置成查看眼底的内部,装置102还可以操作成确保装置102适当地布置成捕获完整视场中的眼底。当来自装置102的视场进入到眼底区域中时,装置102进一步操作以帮助用户调节装置的位置和/或取向以做出最佳的视场。方法270帮助用户在装置102由于用户对装置的不恰当的操作和/或对象的突然移动而不在期望的位置或取向中的同时实现全视场。
方法270在操作272处开始,其中图像处理设备112识别图像330中的最大轮廓390(图17)。如图17中所图示的,不同的图像330(诸如330A-F)具有不同的最大轮廓390。
在一些示例中,可以与本文所描述的其它操作独立地通过处理和评估图像330来识别最大轮廓390。在其它示例中,可以从本文所描述的操作中的一个或多个来识别最大轮廓390,诸如方法250(图9)中的操作252、254和256。在再其它的示例中,可以在与本文所描述的其它操作分离但是与其它操作中的一个或多个类似地执行的操作中获得最大轮廓390。
在操作274处,图像处理设备112获得最大轮廓390的面积。最大轮廓390的面积可以用于表示图像的当前视场,其揭示用户的到眼底中的当前深度。
在一些示例中,通过轮廓390内的像素的数目来计算面积。在其它示例中,通过轮廓390的相对尺寸来确定面积。在其它示例中,其它方法可以用于计算最大轮廓390的面积。
在操作276处,图像处理设备112比较最大轮廓390的面积与阈值。阈值代表图像中的期望的视场。在一些示例中,阈值是单个预定值。在其它示例中,阈值是值的范围。
在操作278处,图像处理设备112确定最大轮廓390的面积是否满足阈值。在阈值是值的范围的情况下,如果面积落在该值的范围内,该面积可以被认为满足阈值。
作为示例,如果最大轮廓390的面积(例如像素的数目)小于第一值(例如1000个像素),认为没有满足阈值,并且将图像视为不具有期望的视场。例如,图像330F具有最大轮廓390,最大轮廓390具有小于第一值的面积。这可以暗示图像完全在眼底的外部捕获。
如果最大轮廓390的面积范围在第一值(例如1000个像素)和第二值(例如2500个像素)之间,认为仍旧不满足阈值,并且将图像视为不具有期望的视场。然而,这可以暗示来自装置的视场部分地移动到眼底中。例如,图像330D和330E具有最大轮廓390,最大轮廓390具有第一与第二值之间的面积,并且因而表示视场已经部分地进入到眼底中。
如果最大轮廓390的面积范围在第二值(例如2500个像素)和第三值(例如6000个像素)之间,认为满足阈值,并且将图像视为具有期望的视场。因此,这暗示来自装置的视场已经完全移动到眼底中。例如,图像330B和330C具有最大轮廓390,最大轮廓390具有第二与第三值之间的面积,并且因而表示视场已经进入到眼底中。在一些示例中,装置可能仍旧需要略微地调节其角度以达到全视场。
如果最大轮廓390的面积大于第三值(例如6000个像素),认为不满足阈值,并且图像被视为不具有期望的视场。这可以指示假阳性错误,其暗示装置完全在眼底外部。例如,图像330A具有最大轮廓390,最大轮廓390具有大于第三值的面积。然而,当装置102按压对象的脸颊时,图像330A实际上是对象的脸颊的图像。
仍旧参照图17,如果确定最大轮廓390的面积不满足阈值(在该操作处“否”),方法270移动到操作280,其中图像处理设备112识别到,装置102没有布置在期望的位置中以捕获眼底图像(例如不在期望的视场中)。然后,在操作282处,图像处理设备112(和/或显示设备114和目标引导设备118)向用户提供引导信息以帮助用户移动装置102直到装置102到达其期望的位置(具有期望的视场)为止。图像处理设备112还可以接收由图像捕获设备110拍取的另一图像(在图5中的操作152处)并且执行如本文所描述的后续操作。
可替换地,如果确定最大轮廓390的面积满足阈值(在该操作处“是”),方法270去往操作284,其中图像处理设备112认为装置102在期望的位置中(例如具有期望的视场)以捕获眼底图像。照此,认为图像包括眼底并且已经实现全视场。然后,图像处理设备112可以向用户提供引导信息以通知装置102就位(操作286)。
参照图18-20,描述了用于在用户相对于对象移动装置102时提供引导信息的方法。在图18-20中,图像330图示了在显示屏上显示的示例图像,使得用户可以监视由装置102捕获的图像而同时抵靠对象移动装置102。在屏幕上显示的信息可以帮助用户将装置移动到期望的位置和取向。
在图18和19中,当用户将装置102完全定位在眼底之外(图18)或者在眼底中(图19)而没有全视场时,激活第一标记392,并且去激活第二标记394。可以以各种方式设计第一标记392。在所图示的示例中,第一标记392被配置为显示屏中心中的圆形。可以以各种方式激活或去激活第一标记392。在一些示例中,当被激活时,第一标记392改变其颜色。例如,当被去激活时,第一标记392保持灰色或者调暗,并且当被激活时改变成绿色。在其它示例中,其它颜色方案或设计也是可能的。
在图20中,当用户在具有相对全视场的情况下将装置102定位到眼底中时,激活第二标记394,并且去激活第一标记392。可以以各种方式设计第二标记394。在所图示的示例中,第二标记394被配置为布置在显示屏的上侧处的菱形形状。可以以各种方式激活或去激活第二标记394。在一些示例中,当被激活时,第二标记394改变其颜色。例如,当被去激活时,第二标记394保持灰色或调暗,并且当被激活时改变成绿色。在其它示例中,其它颜色方案或设计也是可能的。
图21图示了可以用于实现本公开的各方面的计算设备400的示例性架构,所述各方面包括眼底图像捕获系统102(或者分别地,图像捕获设备110、图像处理设备112、显示设备114、位置测量设备116和/或目标引导设备118)、服务器计算设备104和网络106,并且在本文中将称为计算设备400。计算设备400用于执行本文所描述的操作系统、应用程序和软件模块(包括软件引擎)。
计算设备400可以具有各种类型。在一些实施例中,计算设备400是台式计算机、膝上型计算机或被配置成处理数字指令的其它设备。在其它实施例中,计算设备400是移动计算设备。作为移动计算设备的计算设备400的示例包括移动设备(例如智能电话和平板计算机)、可穿戴计算机(例如智能手表和头部安装的显示器)、个人数字助理(PDA)、手持游戏控制台、便携式媒体播放器、超移动PC、数字静态相机、数字视频相机和其它移动设备。
在一些实施例中,计算设备400包括至少一个处理设备402,诸如中央处理单元(CPU)。各种处理设备从各种制造商(例如Intel或Advanced Micro Devices)可得到。在该示例中,计算设备400还包括系统存储器404以及将包括系统存储器404的各种系统组件耦合到处理设备402的系统总线406。系统总线406是包括存储器总线或存储器控制器;专用总线;以及使用各种总线架构中的任何一个的局部总线的任何数目的类型的总线结构中的一个。
系统存储器404包括只读存储器408和随机存取存储器410。典型地在只读存储器408中存储包含基本例程的基本输入/输出系统412,所述基本例程起作用以在计算设备400内输送信息(诸如在启动期间)。
在一些实施例中,计算设备400还包括用于存储数字数据的辅存储设备414,诸如硬盘驱动器。辅存储设备414通过辅存储接口416连接到系统总线406。辅存储设备及其相关联的计算机可读介质提供计算机可读指令(包括应用程序和程序模块)、数据结构和用于计算设备400的其它数据的非易失性存储。
尽管本文所描述的示例性环境采用硬盘驱动器作为辅存储设备,但是在其它实施例中使用其它类型的计算机可读存储介质。这些其它类型的计算机可读存储介质的示例包括磁盒、闪速存储器卡、数字视频盘、Bernoulli盒、压缩盘只读存储器、数字多功能盘只读存储器、随机存取存储器或只读存储器。一些实施例包括非暂时性介质。
可以在辅存储设备414或存储器404中存储数个程序模块,包括操作系统418、一个或多个应用程序420、其它程序模块422和程序数据424。
在一些实施例中,计算设备400包括输入设备以使得用户能够向计算设备400提供输入。输入设备426的示例包括键盘428、指针输入设备430、麦克风432和触敏显示器440。其它实施例包括其它输入设备。输入设备通常通过输入/输出接口438连接到处理设备402,输入/输出接口438耦合到系统总线406。这些输入设备426可以通过任何数目的输入/输出接口连接,诸如并行端口、串行端口、游戏端口或通用串行总线。输入设备与接口438之间的无线通信也是可能的,并且在一些可能的实施例中包括红外、BLUETOOTH®无线技术、802.11a/b/g/n、蜂窝或其它射频通信系统。
在该示例实施例中,触敏显示设备440也经由接口(诸如视频适配器442)连接到系统总线406。触敏显示设备440包括用于在用户触摸显示器时从用户接收输入的触摸传感器。这样的传感器可以是电容式传感器、压力传感器或其它触摸传感器。传感器不仅检测与显示器的接触,而且检测触摸的位置和触摸随时间的移动。例如,用户可以跨屏幕移动手指或触笔以提供书写输入。书写输入被评估,并且在一些实施例中被转换成文本输入。
除了显示设备440之外,计算设备400可以包括各种其它外围设备(未示出),诸如扬声器或打印机。
计算设备400还包括通信设备446,其被配置成建立跨网络的通信。在一些实施例中,当使用在局域联网环境或广域联网环境(诸如因特网)中时,计算设备400典型地通过网络接口(诸如无线网络接口450)连接到网络。其它可能的实施例使用其它有线和/或无线通信设备。例如,计算设备400的一些实施例包括以太网网络接口或用于跨网络通信的调制解调器。在再其它的实施例中,通信设备446能够进行短距离无线通信。短距离无线通信是单向或双向短距离到中距离无线通信。可以根据各种技术和协议来建立短距离无线通信。短距离无线通信的示例包括射频识别(RFID)、近场通信(NFC)、蓝牙技术和Wi-Fi技术。
计算设备400典型地包括至少某种形式的计算机可读介质。计算机可读介质包括可以由计算设备400访问的任何可用介质。作为示例,计算机可读介质包括计算机可读存储介质和计算机可读通信介质。
计算机可读存储介质包括实现在任何设备中的易失性和非易失性、可移除和不可移除介质,其被配置成存储诸如计算机可读指令、数据结构、程序模块或其它数据之类的信息。计算机可读存储介质包括但不限于随机存取存储器、只读存储器、电可擦除可编程只读存储器、闪速存储器或其它存储器技术、压缩盘只读存储器、数字多功能盘或其它光学储存器、磁盒、磁带、磁盘储存器或其它磁性存储设备,或可以用于存储期望的信息并且可以由计算设备400访问的任何其它介质。计算机可读存储介质不包括计算机可读通信介质。
计算机可读通信媒介典型地在调制数据信号中体现计算机可读指令、数据结构、程序模块或其它数据,所述调制数据信号诸如载波或其它传输机制,并且包括任何信息递送介质。术语“调制数据信号”是指使其特性中的一个或多个以诸如在信号中编码信息的这样的方式设置或改变的信号。作为示例,计算机可读通信介质包括诸如有线网络或直接连线连接之类的有线介质和诸如声学、射频、红外和其它无线介质之类的无线介质。在计算机可读介质的范围内也包括以上中的任何一个的组合。
图21中图示的计算设备也是可编程电子器件的示例,可编程电子器件可以包括一个或多个这样的计算设备,并且当包括多个计算设备时,这样的计算设备可以利用合适的数据通信网络耦合在一起以便集体地执行本文所公开的各种功能、方法或操作。
再次参照图21,计算设备400可以包括位置识别设备448。位置识别设备448被配置成识别计算设备400的位置或地理位置。位置识别设备448可以使用各种类型的地理定位或定位系统,诸如基于网络的系统、基于手机的系统、基于SIM的系统、Wi-Fi定位系统和混合定位系统。基于网络的系统利用服务提供商的网络基础设施,诸如小区塔三角测量。基于手机的系统典型地使用全球定位系统(GPS)。当GPS由于包括多径和室内信号阻挡的各种原因而不合适时,可以使用Wi-Fi定位系统。混合定位系统使用基于网络和基于手机的技术的组合以用于位置确定,诸如辅助GPS。
照此,本公开的眼底图像捕获系统提供了可以用于定义用户是否已经发现来自瞳孔的反射(例如IR反射)、感兴趣的区的质心(即目标位置)和当前视场的值。该信息可以用于引导用户通过眼底捕获过程,从而改进系统使用的简易性。在本公开的系统中实现的方法是简单的,并且要求更少的资源,从而使得能够实现快速图像处理和评估。
以上描述的各种示例和教导仅通过说明的方式来提供并且不应当被解释成限制本公开的范围。本领域技术人员将容易认识到可以在不遵循本文所图示和描述的示例和应用的情况下并且在不脱离本公开的真实精神和范围的情况下做出的各种修改和改变。
Claims (20)
1.一种用于产生眼底图像的装置,所述装置包括:
处理器;
用于捕获图像的图像捕获设备;以及
存储软件指令的计算机可读存储设备,所述软件指令在由处理器执行时使得装置:
从图像捕获设备获得图像;
向图像应用掩模以生成经掩蔽的图像;
识别经掩蔽的图像中的预定轮廓;
计算预定轮廓的质心;以及
生成可用于引导用户操作装置以捕获示出感兴趣的区的图像的引导信息,引导信息基于预定轮廓的质心而生成。
2.根据权利要求1所述的装置,其中感兴趣的区是眼睛眼底的预定位置。
3.根据权利要求1所述的装置,其中软件指令使得装置设备:
确定是否在图像中识别到感兴趣的区。
4.根据权利要求1所述的装置,其中掩模被配置成将图像选择性地滤波成经掩蔽的图像中的一个或多个轮廓,所述轮廓被定义为经掩蔽的图像中的封闭、连续的经滤波的区域。
5.根据权利要求4所述的装置,其中预定轮廓是经掩蔽的图像中的最大轮廓。
6.根据权利要求5所述的装置,其中所述掩模定义中心区和多个纵向区,中心区和纵向区被配置成对图像的对应区进行选择性滤波,纵向区从中心区延伸并且以预定间隙与彼此间隔开。
7.根据权利要求6所述的装置,其中所述掩模还定义穿越区,所述穿越区被配置成对图像的对应区进行选择性滤波并且跨中心区延伸。
8.根据权利要求6所述的装置,还包括显示设备,其中软件指令使得装置设备:
在显示设备上显示图像;以及
在显示设备上显示目标点,目标点布置在对应于经掩蔽的图像中的预定轮廓的质心的位置处。
9.根据权利要求8所述的装置,其中软件指令使得装置设备:
在显示设备上显示追踪点。
10.根据权利要求9所述的装置,其中追踪点布置在相对于显示设备的固定位置处。
11.根据权利要求8所述的装置,其中向图像应用掩模,使得中心区对应于追踪点。
12.根据权利要求11所述的装置,其中软件指令使得装置设备:
在目标点匹配追踪点时确定在图像中识别到感兴趣的区。
13.根据权利要求1所述的装置,其中软件指令使得装置设备:
确定图像是否具有代表眼睛眼底的预定特性。
14.根据权利要求13所述的装置,其中预定特性与平均颜色值和边缘特性中的至少一个相关联。
15.根据权利要求13所述的装置,其中软件指令使得装置设备:
在确定之前,将图像重定尺寸到较小尺寸。
16.一种捕获眼睛眼底图像的方法,所述方法包括:
从图像捕获设备获得图像;
向图像应用掩模以生成经掩蔽的图像;
识别经掩蔽的图像中的最大轮廓;
计算最大轮廓的质心;
在显示设备上显示图像;以及
在显示设备上显示目标点,目标点布置在对应于经掩蔽的图像中的最大轮廓的质心的图像中的位置处。
17.根据权利要求16所述的方法,还包括:
在显示设备上显示追踪点。
18.根据权利要求17所述的方法,其中追踪点布置在相对于显示设备的固定位置处,而目标点在不同图像中在位置方面可改变。
19.根据权利要求18所述的方法,还包括:
在目标点匹配追踪点时确定在图像中识别到感兴趣的区。
20.一种包括软件指令的计算机可读存储介质,所述软件指令在由处理设备执行时,使得处理设备生成用于识别数字图像中的感兴趣的区的图像掩模,其中图像掩模定义中心区和多个纵向区,中心区和纵向区被配置成对数字图像的对应区进行选择性滤波,纵向区从中心区延伸并且以预定间隙与彼此间隔开。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/281817 | 2016-09-30 | ||
US15/281,817 US10285589B2 (en) | 2016-09-30 | 2016-09-30 | Fundus image capture system |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107874739A true CN107874739A (zh) | 2018-04-06 |
Family
ID=59997185
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710929468.2A Pending CN107874739A (zh) | 2016-09-30 | 2017-10-09 | 眼底图像捕获系统 |
Country Status (4)
Country | Link |
---|---|
US (2) | US10285589B2 (zh) |
EP (1) | EP3305179A1 (zh) |
CN (1) | CN107874739A (zh) |
AU (1) | AU2017235943C1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111789571A (zh) * | 2019-04-09 | 2020-10-20 | 深圳巴久聆科技有限公司 | 两用检眼镜 |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10028649B2 (en) * | 2013-12-02 | 2018-07-24 | Welch Allyn, Inc. | Digital colposcope system |
US9211064B2 (en) | 2014-02-11 | 2015-12-15 | Welch Allyn, Inc. | Fundus imaging system |
US9237847B2 (en) | 2014-02-11 | 2016-01-19 | Welch Allyn, Inc. | Ophthalmoscope device |
US10799115B2 (en) | 2015-02-27 | 2020-10-13 | Welch Allyn, Inc. | Through focus retinal image capturing |
US11045088B2 (en) | 2015-02-27 | 2021-06-29 | Welch Allyn, Inc. | Through focus retinal image capturing |
US10136804B2 (en) | 2015-07-24 | 2018-11-27 | Welch Allyn, Inc. | Automatic fundus image capture system |
US10772495B2 (en) | 2015-11-02 | 2020-09-15 | Welch Allyn, Inc. | Retinal image capturing |
US10413179B2 (en) | 2016-01-07 | 2019-09-17 | Welch Allyn, Inc. | Infrared fundus imaging system |
US10602926B2 (en) | 2016-09-29 | 2020-03-31 | Welch Allyn, Inc. | Through focus retinal image capturing |
EP3749172B1 (en) | 2018-02-09 | 2022-03-30 | Pupil Labs GmbH | Devices, systems and methods for predicting gaze-related parameters |
US11556741B2 (en) | 2018-02-09 | 2023-01-17 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters using a neural network |
US11194161B2 (en) | 2018-02-09 | 2021-12-07 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
US11096574B2 (en) | 2018-05-24 | 2021-08-24 | Welch Allyn, Inc. | Retinal image capturing |
FR3089785B1 (fr) * | 2018-12-17 | 2020-11-20 | Pierre Briand | Dispositif médical d’aide à la perception d’environnement pour des utilisateurs aveugles ou malvoyants |
US11676422B2 (en) | 2019-06-05 | 2023-06-13 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
US20220015622A1 (en) * | 2020-07-15 | 2022-01-20 | Tectus Corporation | On-eye image processing |
BR112022016417A8 (pt) | 2020-08-19 | 2023-05-02 | Phelcom Tech Ltda Me | Sistema, dispositivo e método para imageamento ocular conectado e inteligente |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1572233A (zh) * | 2003-05-30 | 2005-02-02 | 佳能株式会社 | 眼科图像处理装置 |
US20110242306A1 (en) * | 2008-12-19 | 2011-10-06 | The Johns Hopkins University | System and method for automated detection of age related macular degeneration and other retinal abnormalities |
US20130063698A1 (en) * | 2011-09-14 | 2013-03-14 | Kabushiki Kaisha Topcon | Fundus observation apparatus |
EP2689719A1 (en) * | 2012-07-27 | 2014-01-29 | Nidek Co., Ltd | Fundus photographing apparatus |
Family Cites Families (83)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2014730A6 (es) * | 1988-07-11 | 1990-07-16 | Mezhotraslevoi Nt Komplex Mikr | Un dispositivo de correccion de anomalias de refraccion del ojo. |
US6198532B1 (en) | 1991-02-22 | 2001-03-06 | Applied Spectral Imaging Ltd. | Spectral bio-imaging of the eye |
JP3569026B2 (ja) | 1995-04-05 | 2004-09-22 | 株式会社コーナン・メディカル | 眼底カメラ |
US5784148A (en) | 1996-04-09 | 1998-07-21 | Heacock; Gregory Lee | Wide field of view scanning laser ophthalmoscope |
US6089716A (en) | 1996-07-29 | 2000-07-18 | Lashkari; Kameran | Electro-optic binocular indirect ophthalmoscope for stereoscopic observation of retina |
CA2233047C (en) | 1998-02-02 | 2000-09-26 | Steve Mann | Wearable camera system with viewfinder means |
US6000799A (en) | 1998-05-01 | 1999-12-14 | Jozef F. Van De Velde | Maxwellian view and modulation control options for the scanning laser ophthalmoscope |
US6637882B1 (en) | 1998-11-24 | 2003-10-28 | Welch Allyn, Inc. | Eye viewing device for retinal viewing through undilated pupil |
US7419467B2 (en) | 1998-11-25 | 2008-09-02 | M3 Electronics, Inc. | Medical inspection device |
JP4119027B2 (ja) | 1999-01-28 | 2008-07-16 | 興和株式会社 | 眼科撮影装置 |
US6309070B1 (en) | 2000-09-06 | 2001-10-30 | Medibell Medical Vision Technologies, Ltd. | Integrated ophthalmic illumination method and system |
DE10103922A1 (de) | 2001-01-30 | 2002-08-01 | Physoptics Opto Electronic Gmb | Interaktives Datensicht- und Bediensystem |
EP1379158B1 (en) | 2001-04-16 | 2015-01-21 | Tracey Technologies, Llc | Method for determining clinical refraction of eye from objective source |
AUPS158302A0 (en) | 2002-04-09 | 2002-05-16 | Scan Optics Pty Ltd | Improved fundus camera |
US7404640B2 (en) | 2002-06-14 | 2008-07-29 | Physical Sciences, Inc. | Monitoring blood flow in the retina using a line-scanning laser ophthalmoscope |
US6758564B2 (en) | 2002-06-14 | 2004-07-06 | Physical Sciences, Inc. | Line-scan laser ophthalmoscope |
DE50212076D1 (de) | 2002-12-16 | 2008-05-21 | Sis Ag Surgical Instr Systems | Opthalmologische Vorrichtung und opthalmologisches Messverfahren |
US7380938B2 (en) | 2003-03-25 | 2008-06-03 | Sarnoff Corporation | Apparatus to detect and measure saccade and pupilary changes |
EP1613215B8 (en) | 2003-04-11 | 2011-09-14 | Bausch & Lomb Incorporated | System and method for acquiring data of an eye |
WO2005006943A2 (en) | 2003-07-03 | 2005-01-27 | Medibell Medical Vision Technologies, Ltd. | An illumination method and system for obtaining color images by transcleral ophthalmic illumination |
CA2544183A1 (en) | 2003-10-28 | 2005-05-19 | Welch Allyn, Inc. | Digital documenting ophthalmoscope |
CA2545202C (en) | 2003-11-14 | 2014-01-14 | Queen's University At Kingston | Method and apparatus for calibration-free eye tracking |
US20070174152A1 (en) | 2003-12-08 | 2007-07-26 | Bjornberg David B | Handheld system for information acquisition, verification, recording, processing, display and communication |
RU2395228C2 (ru) | 2004-04-01 | 2010-07-27 | Уилльям С. ТОРЧ | Биосенсоры, коммуникаторы и контроллеры для мониторинга движения глаз и способы их применения |
US20060147095A1 (en) | 2005-01-03 | 2006-07-06 | Usher David B | Method and system for automatically capturing an image of a retina |
DE202005007013U1 (de) | 2005-05-02 | 2005-10-13 | Heine Optotechnik Gmbh & Co Kg | Ophthalmoskop |
US7770799B2 (en) | 2005-06-03 | 2010-08-10 | Hand Held Products, Inc. | Optical reader having reduced specular reflection read failures |
DE102005034332A1 (de) | 2005-07-22 | 2007-01-25 | Carl Zeiss Meditec Ag | Einrichtung und Verfahren zur Beobachtung, Dokumentation und/oder Diagnose des Augenhintergrundes |
DE102006010105A1 (de) | 2006-02-28 | 2007-08-30 | Carl Zeiss Meditec Ag | Ophthalmologisches Gerät |
EP2561801A1 (en) | 2006-09-28 | 2013-02-27 | University of Rochester | Compact ocular fundus camera |
US7976162B2 (en) | 2006-09-29 | 2011-07-12 | Daniel Ian Flitcroft | Eye examining system and method |
DE102006061933A1 (de) | 2006-12-21 | 2008-06-26 | Carl Zeiss Meditec Ag | Optisches System für eine Funduskamera |
US7621636B2 (en) | 2007-01-10 | 2009-11-24 | Clarity Medical Systems, Inc. | Working distance and alignment sensor for a fundus camera |
CN101730500B (zh) | 2007-03-08 | 2013-12-18 | 北英属哥伦比亚大学 | 用于客观地测试视野的设备和方法 |
IL184399A0 (en) | 2007-07-03 | 2007-10-31 | Yossi Tsuria | Content delivery system |
DE102008000225B3 (de) | 2008-02-01 | 2009-03-26 | Linos Photonics Gmbh & Co. Kg | Fundusabtastvorrichtung |
ES2733076T3 (es) | 2008-03-05 | 2019-11-27 | Tamir Gil | Obtención de imágenes espectrales instantáneas del ojo |
JP5143772B2 (ja) | 2008-03-28 | 2013-02-13 | パナソニック株式会社 | 画像表示装置および画像表示方法 |
WO2009129624A1 (en) | 2008-04-22 | 2009-10-29 | Annidis Health Systems Corp. | Retinal fundus surveillance method and apparatus |
US20090275929A1 (en) | 2008-04-30 | 2009-11-05 | Amo Development, Llc | System and method for controlling measurement in an eye during ophthalmic procedure |
JP5558688B2 (ja) | 2008-09-25 | 2014-07-23 | キヤノン株式会社 | 眼科装置および画像生成方法 |
EP2348955B1 (en) | 2008-10-15 | 2021-12-15 | Optibrand LTD., LLC | Method and apparatus for obtaining an image of an ocular feature |
US20100245765A1 (en) | 2008-10-28 | 2010-09-30 | Dyer Holdings, Llc | Video infrared ophthalmoscope |
WO2010080576A1 (en) | 2008-12-19 | 2010-07-15 | University Of Miami | System and method for early detection of diabetic retinopathy using optical coherence tomography |
US8240853B2 (en) | 2009-05-01 | 2012-08-14 | Bioptigen, Inc. | Systems for imaging structures of a subject and related methods |
JP5432625B2 (ja) | 2009-07-29 | 2014-03-05 | 株式会社トプコン | 眼科観察装置 |
JP5021007B2 (ja) | 2009-08-27 | 2012-09-05 | キヤノン株式会社 | 眼科撮影装置及び該眼科撮影装置に用いるカメラ |
US20130057828A1 (en) | 2009-08-31 | 2013-03-07 | Marc De Smet | Handheld portable fundus imaging system and method |
WO2011029064A1 (en) | 2009-09-04 | 2011-03-10 | University Of Virginia Patent Foundation | Hand-held portable fundus camera for screening photography |
GB2474083B (en) | 2009-10-05 | 2015-12-23 | Keeler Ltd | Improvements in and relating to ophthalmic instruments |
US8467133B2 (en) | 2010-02-28 | 2013-06-18 | Osterhout Group, Inc. | See-through display with an optical assembly including a wedge-shaped illumination system |
JP5631032B2 (ja) | 2010-03-19 | 2014-11-26 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法、及び画像処理をコンピュータに実行させるためのプログラム |
AU2011232625B2 (en) | 2010-03-23 | 2014-01-16 | Neurovision Imaging, Inc. | Apparatus and method for imaging an eye |
JP5600478B2 (ja) | 2010-06-01 | 2014-10-01 | キヤノン株式会社 | 眼科撮影装置及びその制御方法 |
US20110299036A1 (en) | 2010-06-02 | 2011-12-08 | Goldenholz Daniel M | Portable digital direct ophthalmoscope |
EA201390121A8 (ru) | 2010-07-15 | 2014-02-28 | Коринтиан Офтэлмик, Инк. | Способ и система для выполнения дистанционного лечения и контроля |
JP5550494B2 (ja) | 2010-08-31 | 2014-07-16 | キヤノン株式会社 | 眼科撮影装置、その制御方法およびプログラム |
DE102010045364A1 (de) | 2010-09-14 | 2012-03-15 | Carl Zeiss Meditec Ag | Verfahren und Vorrichtung zur Erzeugung hochwertiger Fundusaufnahmen |
DE102010050693A1 (de) | 2010-11-06 | 2012-05-10 | Carl Zeiss Meditec Ag | Funduskamera mit streifenförmiger Pupillenteilung und Verfahren zur Aufzeichnung von Fundusaufnahmen |
NL2006471C2 (en) | 2011-03-25 | 2012-09-26 | L2G B V | Apparatus and method for observing an eye. |
US9033510B2 (en) | 2011-03-30 | 2015-05-19 | Carl Zeiss Meditec, Inc. | Systems and methods for efficiently obtaining measurements of the human eye using tracking |
US20130194548A1 (en) | 2011-04-07 | 2013-08-01 | Raytheon Company | Portable retinal imaging device |
WO2012177544A1 (en) | 2011-06-18 | 2012-12-27 | Intuitive Medical Technologies, Llc | Smart-phone adapter for ophthalmoscope |
KR101315016B1 (ko) | 2011-06-24 | 2013-10-04 | 김종근 | 차량용 리프트의 유압실린더 동조장치 |
US8998411B2 (en) | 2011-07-08 | 2015-04-07 | Carl Zeiss Meditec, Inc. | Light field camera for fundus photography |
JP6057567B2 (ja) | 2011-07-14 | 2017-01-11 | キヤノン株式会社 | 撮像制御装置、眼科撮像装置、撮像制御方法及びプログラム |
DE102011053880B4 (de) | 2011-09-23 | 2023-11-09 | Carl Zeiss Ag | Vorrichtung und Verfahren zum Abbilden eines Augenhintergrunds |
MX337930B (es) | 2011-12-09 | 2016-03-28 | Steven Verdooner | Metodo para combinar una pluralidad de imagenes del ojo en una imagen multifocal plenoptica. |
US8955973B2 (en) | 2012-01-06 | 2015-02-17 | Google Inc. | Method and system for input detection using structured light projection |
US20150011984A1 (en) | 2012-01-19 | 2015-01-08 | Mohammad Abdelfattah Daif | Corneal visual center localizer (or locator) |
US9060718B2 (en) | 2012-02-13 | 2015-06-23 | Massachusetts Institute Of Technology | Methods and apparatus for retinal imaging |
EP2633804B1 (en) | 2012-03-02 | 2017-12-06 | Nidek Co., Ltd | Ophthalmologic photographing apparatus |
US20130234930A1 (en) | 2012-03-07 | 2013-09-12 | Julian Palacios Goerger | Scanning mirror laser and projector head-up display glasses |
JP2015510822A (ja) | 2012-03-21 | 2015-04-13 | オプトビュー,インコーポレーテッド | 眼底カメラ |
CN102626304A (zh) | 2012-04-19 | 2012-08-08 | 重庆大学 | 一种头盔式无线视频眼动仪 |
US9173561B2 (en) | 2012-07-18 | 2015-11-03 | Optos plc (Murgitroyd) | Alignment apparatus |
US8985771B2 (en) | 2013-01-08 | 2015-03-24 | Altek Corporation | Image capturing apparatus and capturing method |
US9237847B2 (en) | 2014-02-11 | 2016-01-19 | Welch Allyn, Inc. | Ophthalmoscope device |
US9211064B2 (en) | 2014-02-11 | 2015-12-15 | Welch Allyn, Inc. | Fundus imaging system |
US11045088B2 (en) | 2015-02-27 | 2021-06-29 | Welch Allyn, Inc. | Through focus retinal image capturing |
CN205181314U (zh) | 2015-03-14 | 2016-04-27 | 中国科学院苏州生物医学工程技术研究所 | 一种便携式双目瞳孔检测装置 |
CN205006859U (zh) | 2015-03-14 | 2016-02-03 | 中国科学院苏州生物医学工程技术研究所 | 一种双目瞳孔对光综合检测系统 |
CN105433899A (zh) | 2015-11-30 | 2016-03-30 | 中国科学院苏州生物医学工程技术研究所 | 瞳孔检测设备 |
-
2016
- 2016-09-30 US US15/281,817 patent/US10285589B2/en active Active
-
2017
- 2017-09-27 AU AU2017235943A patent/AU2017235943C1/en active Active
- 2017-09-28 EP EP17193866.5A patent/EP3305179A1/en active Pending
- 2017-10-09 CN CN201710929468.2A patent/CN107874739A/zh active Pending
-
2019
- 2019-04-02 US US16/373,315 patent/US11172817B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1572233A (zh) * | 2003-05-30 | 2005-02-02 | 佳能株式会社 | 眼科图像处理装置 |
US20110242306A1 (en) * | 2008-12-19 | 2011-10-06 | The Johns Hopkins University | System and method for automated detection of age related macular degeneration and other retinal abnormalities |
US20130063698A1 (en) * | 2011-09-14 | 2013-03-14 | Kabushiki Kaisha Topcon | Fundus observation apparatus |
EP2689719A1 (en) * | 2012-07-27 | 2014-01-29 | Nidek Co., Ltd | Fundus photographing apparatus |
US20140028976A1 (en) * | 2012-07-27 | 2014-01-30 | Nidek Co., Ltd. | Fundus photographing apparatus |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111789571A (zh) * | 2019-04-09 | 2020-10-20 | 深圳巴久聆科技有限公司 | 两用检眼镜 |
Also Published As
Publication number | Publication date |
---|---|
AU2017235943C1 (en) | 2022-12-15 |
EP3305179A1 (en) | 2018-04-11 |
US20190223719A1 (en) | 2019-07-25 |
AU2017235943A1 (en) | 2018-04-19 |
AU2017235943B2 (en) | 2022-03-31 |
US10285589B2 (en) | 2019-05-14 |
US11172817B2 (en) | 2021-11-16 |
US20180092530A1 (en) | 2018-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107874739A (zh) | 眼底图像捕获系统 | |
US12020458B2 (en) | Determining the relative locations of multiple motion-tracking devices | |
JP6523925B2 (ja) | 生体情報を用いた認証装置及び認証方法 | |
JP5016175B2 (ja) | 顔画像処理システム | |
US9149179B2 (en) | System and method for identifying eye conditions | |
WO2020125499A9 (zh) | 一种操作提示方法及眼镜 | |
JP6799525B2 (ja) | 生体情報解析装置及び手肌解析方法 | |
US20210052138A1 (en) | Guidance method and systems for teledentistry imaging | |
JP2008102902A (ja) | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム | |
CN107851320A (zh) | 用于确定移动设备相对于主体的位置的设备和方法 | |
US10248852B2 (en) | Method for recognizing facial expression of headset wearing user and apparatus enabling the same | |
JP2010123019A (ja) | 動作認識装置及び方法 | |
JP5818233B2 (ja) | 視線計測装置および方法 | |
JP5429885B2 (ja) | 特徴点追跡方法及び特徴点追跡装置 | |
CN109712065A (zh) | 身体信息分析装置及其脸形模拟方法 | |
Arar et al. | Towards convenient calibration for cross-ratio based gaze estimation | |
US11900616B2 (en) | Determining region-of-interest of an object using image-based object tracking | |
Tu et al. | Face and gesture based human computer interaction | |
CN111210438A (zh) | 镜子 | |
KR102473744B1 (ko) | 가림 안가림 검사 중 획득한 안구 이미지 분석을 통한 사시진단방법 | |
Gong et al. | Handheld system design for dual-eye multispectral iris capture with one camera | |
WO2023002503A1 (en) | A system and a method for synthesization and classification of a micro-motion | |
Park et al. | Practical gaze point detecting system | |
Delibasis et al. | A Real Time Eye-Motion Monitoring System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |