CN109286748B - 移动系统以及眼睛成像的方法 - Google Patents

移动系统以及眼睛成像的方法 Download PDF

Info

Publication number
CN109286748B
CN109286748B CN201810767193.1A CN201810767193A CN109286748B CN 109286748 B CN109286748 B CN 109286748B CN 201810767193 A CN201810767193 A CN 201810767193A CN 109286748 B CN109286748 B CN 109286748B
Authority
CN
China
Prior art keywords
eye
user
image
feature
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810767193.1A
Other languages
English (en)
Other versions
CN109286748A (zh
Inventor
托马斯·克勒
马尔科·伯格尔
托比亚斯·盖默
约翰妮·文德尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109286748A publication Critical patent/CN109286748A/zh
Application granted granted Critical
Publication of CN109286748B publication Critical patent/CN109286748B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

一种移动系统以及眼睛成像的方法。该电路具有相机。该电路利用相机拍摄用户的眼睛的多个图像，基于眼睛的至少一个拍摄图像，确定拍摄图像中的眼睛的至少一个特征的图像质量，并且输出用户指令，用于改变眼睛的至少一个特征的图像质量。

Description

移动系统以及眼睛成像的方法
技术领域
本公开内容总体上涉及一种在眼睛成像装置的一般领域中的移动系统和方法。
背景技术
传统的眼睛成像装置通常基于例如使用特殊设计的视网膜成像设备，所述设备能够进行手动眼睛检查并且必须由专业人员(例如，临床医生、眼科医生等)操作。这种静止相机目前用于临床实践中，其中，视网膜相机相对于眼睛手动对准。
此外，已知存在能够进行视网膜筛查的手持式成像装置，例如，训练有素的医生助理拍摄数字图像，用于评估。
这种手持式装置可以使第二个人能够进行眼睛监测，例如，临床医生可以确定患者眼睛上的时间和/或结构变化。此外，需要专家知识来手动比较眼睛的拍摄图像与参考图像。另外，患者应该定期去医生的办公室。
然而，为了用这种装置拍摄高质量的图像，这些装置应该由第二个人(即，临床医生、眼科医生等)相对于用户的眼睛精确对准。
尽管存在由移动成像装置(例如，由受过训练的医生助理)拍摄眼睛图像的技术，但通常期望改进用于眼睛检查的移动装置、系统和方法。
发明内容
根据第一方面，本公开提供了一种移动系统，包括包含相机的电路，所述电路被配置为：利用相机拍摄用户的眼睛的多个图像；基于眼睛的至少一个拍摄图像，确定所述拍摄图像中的眼睛的至少一个特征的图像质量；并且输出用户指令，用于改变眼睛的至少一个特征的图像质量。
根据第二方面，本公开提供了一种方法，包括：利用相机拍摄用户的眼睛的多个图像；基于眼睛的至少一个拍摄图像，确定所述拍摄图像中的眼睛的至少一个特征的图像质量；并且输出用户指令，用于改变眼睛的至少一个特征的图像质量。
在从属权利要求、以下描述以及附图中阐述进一步方面。
附图说明
相对于附图通过示例的方式来解释实施方式，在附图中：
图1示出了用于拍摄用户的眼睛的图像的移动装置的实施方式；
图2示意性地示出了智能电话的形式的移动装置的实施方式；
图3示意性地示出了图2的移动装置的实施方式；
图4示意性地示出了用于拍摄图像、利用机器学习算法分析拍摄图像并确定图像质量的设备的实施方式；
图5示出了说明可以由移动装置执行的方法的流程图；
图6示出了说明用于拍摄用户的眼睛的图像的方法的流程图；以及
图7示出了说明可以由移动装置执行的用于确定拍摄图像和参考图像之间的差异的方法的流程图。
具体实施方式
在给出参考图1的实施方式的详细描述之前，进行一般说明。
正如开头提到的那样，通常已知的是，例如，通过远程医疗方法进行眼睛检查，在该方法中，训练有素的健康专家拍摄患者眼睛的图像并将图像发送至健康中心进行评估。
然而，目前拍摄眼睛的图像和监测眼睛是由第二个人进行的。
已经认识到，为了提高可用性，例如，这种移动装置应该由用户单独操作，使得用户能够拍摄他们自己的眼睛的图像。此外，例如，可以改进移动装置，以分析拍摄图像。
因此，一些实施方式涉及包括电路的移动系统，该电路包括相机，所述电路被配置为：利用相机拍摄用户的眼睛的多个图像；基于眼睛的至少一个拍摄图像确定拍摄图像中的眼睛的至少一个特征的图像质量；并且输出用户指令，用于改变眼睛的至少一个特征的图像质量。
移动系统可以包括移动装置，其可以是智能电话、平板电脑、数码相机，其可以是移动成像装置，例如，眼睛图像装置，例如，检眼镜、眼底相机、移动视网膜相机系统等。移动系统可以包括除了移动装置的其他装置，例如，扬声器、显示器等。
该电路还可以包括一个或多个处理器、一个或多个微处理器、专用电路、逻辑电路、存储器(RAM、ROM等)、存储器、输出装置(显示器(例如，液晶、(有机)发光二极管等))、麦克风、扬声器等、接口(例如，触摸屏、诸如蓝牙、红外等的无线接口)等，因为它通常已知用于诸如智能电话、平板电脑等典型移动装置。
移动装置/系统和/或其电路还可以包括一个或多个相机。相机可能位于移动装置的前侧或后侧。在一些实施方式中，移动装置可以包括不止一个相机，例如，其可以是双相机移动装置，并且还可以包括在其前侧上的至少一个相机和在其后侧上的一个相机。相机可以包括光通过镜头进入的镜头、用于能够拍摄图像的快门释放器、用于控制图像曝光的光圈、用于将光学图像转换为电子信号的图像传感器、模数转换器，并且还可以包括用于能够自动调节不同曝光参数的自动设置等。
在一些实施方式中，电路还可以包括与相机相邻的灯，用于在拍摄用户的眼睛的图像时，照亮用户的眼睛。相邻的灯可以是闪光灯，可以是LED传感器等。
此外，移动装置和/或其相机还可以被配置为拍摄例如高分辨率图像、静止图像、视频等。
移动装置还可以包括：传感器，例如，用于感测音频(例如，一个或多个麦克风)，用于感测静止图像或视频(图像传感器、相机传感器、视频传感器等)，用于感测指纹，用于感测环境参数(例如，光、温度)；一个或多个发光二极管传感器，用于例如提供视觉反馈等。
移动装置还可以包括附加传感器，例如，用于确定移动装置和/或其相机与用户的眼睛的紧密度等的接近传感器、用于确定移动装置方位或用于测量移动装置围绕特定轴(例如，用户视线轴)的旋转速率等的陀螺仪传感器。因此，可以由其陀螺仪传感器评估移动装置的方位，并且可以确定移动装置的角度位置。
此外，移动装置还可以包括用于测量移动装置的非重力加速度的加速度计传感器。在一些实施方式中，移动装置或其加速计传感器还可以被专门设计为响应于与移动装置的移动相关联的振动。因此，可以基于其振动，测量装置的移动和/或移动装置的线性加速度。
移动装置还可以包括附加传感器，例如，环境光传感器、附加罗盘传感器、气压计传感器、触摸ID指纹机、虹膜运动传感器等。
在一些实施方式中，例如，电路还可以被配置为仅通过摇动移动装置来执行功能，例如，在拍摄用户的眼睛的高质量图像的情况下，电路可以执行摇动移动装置或其加速计来引导用户等。
移动装置、电路或其相机还可以被配置为拍摄用户的眼睛的图像。图像可以是用户的眼睛的高分辨率图像，可以是静止图像、用户的眼睛的视频等。
在一些实施方式中，电路还可以被配置为提供视频拍摄模式，用于自动拍摄多个图像。例如，可以将相机置于能够自动拍摄多个图像的视频拍摄模式中。因此，用户可能不需要按下快门按钮等。
在一些实施方式中，电路还可以被配置为提供自拍眼睛拍摄模式。此外，用户可以利用以自拍拍摄模式播放的相机拍摄多个图像(例如，来自用户的眼睛)。
在一些实施方式中，电路还可以被配置为用训练模型分析多个拍摄图像。此外，用户指令可以基于对多个拍摄图像的分析。
例如，训练模型可以是通过将(例如，由医生用专业眼底相机拍摄的)高质量图像提供给用于该模型的机器学习算法来训练的模型，此外，该模型可以处理高质量图像，因此，可以训练该模型，以分析多个拍摄图像等。该模型可以包括在训练期间由机器学习算法确定的参数。模型、机器学习算法和/或参数可以存储在移动装置中。
在一些实施方式中，例如，训练模型还可以确定拍摄图像中的眼睛的至少一个特征的图像质量，并且还可以被配置为输出用于改变眼睛的至少一个特征的图像质量的信息。
在一些实施方式中，改变图像质量还可以包括提高眼睛的至少一个特征的图像质量。
在一些实施方式中，训练模型可以基于被配置为分析多个拍摄图像的机器学习算法。此外，用户指令可以基于多个拍摄图像的分析。
如上所述，该电路还可以被配置为利用机器学习算法来分析拍摄图像。机器学习算法还可以确定在拍摄图像中的眼睛的至少一个特征的图像质量，并且还可以被配置为输出用于改变眼睛的至少一个特征的图像质量的信息。
机器学习算法可以基于特征提取技术来分析拍摄图像。机器学习算法可以应用图像处理技术或者模式识别技术，其中，算法用于检测和隔离拍摄图像中的眼睛或者期望部分的不同特征。该技术可以应用于一个或多个单独的拍摄图像和/或拍摄图像的序列和/或应用于任何多个拍摄图像。
例如，可以提取眼睛的至少一个特征并且可以分析图像。所提取的眼睛的特征可以是用户的视网膜、用户的眼睛视盘、用户的眼睛血管、用户的眼睛视神经、至少一只眼睛的瞳孔的位置、至少一个瞳孔的物理度数、左眼和右眼的瞳孔的半径等。这种机器学习算法可以基于以下中的至少一个：尺度不变特征转移(SIFT)、Cray水平同现矩阵(GLCM)、Gaboo特征、Tubeness等。
而且，机器学习算法可以基于分类器技术并且可以分析图像。这种机器学习算法可以基于以下中的至少一个：随机森林；支持向量机；神经网络、贝叶斯网络等。
此外，机器学习算法可以应用深度学习技术并且可以分析图像。这种深度学习技术可以基于以下中的至少一个：自动编码器、生成对抗网络、弱监督学习、自举电路等。
机器学习算法可以确定拍摄图像中的眼睛的至少一个特征的图像质量。可能基于单独的拍摄图像和/或拍摄图像序列和/或任何多个拍摄图像来确定图像质量。
可以基于图像分辨率来确定图像质量。例如，可以确定眼睛瞳孔的位置，并且可以估计图像中的瞳孔的位置的像素的数量。而且，如果像素的数量超过预定的阈值，则图像质量可以被认为足以用于眼睛检查。
而且，在一些实施方式中，可以基于检测图像中的眼睛的至少一个特征来确定图像质量。例如，可以确定眼睛瞳孔在图像中的位置，然后，可以估计眼睛瞳孔的物理度数，并且可以将其与参考图像中眼睛瞳孔的物理度数进行比较，并且可以确定图像质量。
在一些实施方式中，可以基于环境参数来确定图像质量，例如，可以拍摄图像并且可以评估拍摄图像中的环境光。在一些实施方式中，可以基于用户行为来确定图像质量，例如，在用户眨眼的情况下等。
此外，可以基于相机与用户的眼睛(例如，与用户视线等)的对准来确定图像质量。例如，用户应该看向特定方向，用户应该关注于相对于眼睛位于特定距离处的物品等。
例如，可以基于提取眼睛的至少一个特征来确定图像质量。例如，可以通过图像中眼睛的一个特征中的像素的数量来确定图像质量，并且如果像素的数量超过预定的阈值，则该图像可以用于例如眼睛检查。然而，如果图像质量不满足预定标准，则机器学习算法还可以输出用于提高图像质量的信息。该信息可以经由接口输出并且可以由电路获得和/或可以将其提供给用户。
如上所述，机器学习算法可以确定图像质量并且还可以输出用于提高图像质量的信息。而且，电路可以基于机器学习算法输出的信息进一步输出用户指令。
例如，移动装置可以拍摄图像，然而，图像质量不满足预定标准。而且，机器学习算法可以输出可以指导用户提高图像质量的信息。
用户指令可以基于信息输出，并且信息输出可以基于眼睛的至少一个特征的所确定的图像质量。因此，如上所述，用户指令可以基于提高眼睛的至少一个特征的图像质量。
用户指令可以基于例如提高图像分辨率，将相机移动到某个方向并调整图像中眼睛瞳孔的位置，增加/减少曝光时间，调整环境光，观看和/或聚焦在某个方向上等。
而且，用户指令可能与用户的行为有关，例如，在用户在拍摄图像时眨眼的情况下，可以输出用户指令，以便引导用户。
因此，在一些实施方式中，用户可以自我监测和自我检查眼睛，并且可以基于移动视网膜相机自动检测眼睛上的时间和/或结构变化，而不需要牵涉到眼科医生。通过指导用户找到可以拍摄高质量的眼睛图像的位置，可以为相机或移动装置提供某种自动对准过程。此外，可以提供基于机器学习和图像处理技术的监测过程，如上面和下面所讨论的。在一些实施方式中，本公开内容帮助在没有操作者的帮助的情况下以全自动方式监测眼睛的变化，即，患者可以监测和检查他自己的眼睛(自我监测/自我检查)。
因此，一些实施方式易于使用，是家庭用户友好的，即，它们不受位置限制，由于自对准加速了移动装置的视网膜相机的设置而为用户节省时间，对眼睛成像系统来说是成本有效的解决方案，因为不需要第二个人和/或训练有素的操作者。此外，自动对准使得用于眼睛成像的移动应用程序成为可能，在一些实施方式中，可以不需要专家来进行监测，并且可以由没有专业知识的任何人来处理，可以减少看医生，可以提供更高的筛查和监测密度的可能性，可以收集大量数据用于进一步数据处理(即，深度学习)，和/或具有低密度医院的开放城市地区可以具有现有的自我监测/检查解决方案。
在一些实施方式中，用户指令可以包括方向移动指令或照明指令。
方向移动可以是向上、向下、向左或向右移动相机，通过增加或减小距离来调整相机和用户的眼睛之间的距离，使相机沿特定方向(例如，顺时针或逆时针方向)旋转，在相机的轴线和用户的视线之间旋转一定角度等。此外，用户指令可以基于照明信息，例如，基于环境光或者使用闪光灯来照亮用户的眼睛。
在一些实施方式中，可以基于触觉信息、听觉信息或视觉信息来输出用户指令。
触觉信息/反馈可以是例如移动装置的振动，该振动基于移动装置中通过用户界面的触感。
在一个示例中，用户正在朝他们的眼睛移动该移动相机，并且移动装置拍摄用户的眼睛的静止图像并且确定图像质量。此外，当拍摄到(几乎)满足预定标准的图像质量的图像时，移动装置响应于用户的活动(移动装置朝着特定方向的移动)而稍微振动，并且可以输出用户指令，例如，以进一步移动该移动装置，直到拍摄到满足预定标准的图像质量的图像。
此外，可以基于听觉信息输出用户指令，例如，经由移动装置的扬声器且可以输出用户指令。在一些实施方式中，扬声器可以是可以通过云计算来分析多个拍摄图像的智能扬声器。例如，智能扬声器可以连接到语音控制的智能个人助理，其可以分析多个拍摄图像等。
类似地，可以基于视觉信息输出用户指令，例如，可以经由移动装置的显示器来输出文本指令。在另一实施方式中，可以将四个发光二极管传感器连接到移动装置，并且可以通过照亮对应的LED传感器来提供方向移动。例如，如果用户指令包括向上移动，则可以打开位于移动装置的上部的LED传感器等。
在一些实施方式中，迭代地执行图像的拍摄、拍摄图像的分析和用户指令的输出。
例如，移动装置可以拍摄来自用户的眼睛的图像，可以存储图像，并且可以确定图像质量。而且，可以输出用户指令并且可以拍摄新图像，其中，在输出用户指令之后拍摄新图像。因此，可以基于输出的用户指令来提高新图像的图像质量。然后，可以存储新图像，并且在用户指令之后，可以输出新图像，以提高新图像的图像质量。可以重复该迭代过程，直到获得期望的图像质量。
在一些实施方式中，完成迭代，直到拍摄图像中的眼睛的至少一个特征的图像质量满足预定标准。
预定标准可以基于例如图像分辨率，例如，眼睛的特征(例如，眼睛的瞳孔)的像素的数量。如上所述，预定标准可以涉及图像质量，例如，在图像中的眼睛的特征的位置、环境光线、图像的清晰度等，并且可以执行迭代过程，直到图像质量满足预定标准，该预定标准可以包括图像质量的变化小，例如，小于阈值。例如，图像上的瞳孔的像素的数量满足阈值，因此，图像分辨率可能足以用于眼睛检查。
在一些实施方式中，电路还可以确定用户的眼睛的拍摄图像中的眼睛的至少一个特征与参考图像中的眼睛的至少一个特征之间的差异。
可以分析拍摄图像并且可以检查用户的眼睛。用户的眼睛的检查可以基于用户的眼睛的拍摄图像与参考图像的比较。
在一些实施方式中，参考图像可以是过去拍摄图像，例如，由眼科医生拍摄图像。例如，用户看眼科医生，眼科医生例如通过特定的眼底相机或检眼镜拍摄用户的眼睛的高质量图像(例如，高分辨率等)，并将其存储为参考图像，可以例如通过先进的眼底相机来拍摄参考图像。
在一些实施方式中，检查可以基于图像序列或多个图像的比较。
而且，用户还通过使用移动装置的相机来拍摄图像。例如，可以在治疗过程期间拍摄图像，并且该电路还可以被配置为确定用户的眼睛的拍摄图像中的眼睛的至少一个特征与参考图像中的眼睛的至少一个特征之间的差异。可以基于用户的眼睛的拍摄图像中的眼睛的至少一个特征与参考图像中的眼睛的至少一个特征之间的时间变化来确定该差异，其中，这两个图像(拍摄图像和参考图像)是从用户的同一只眼睛中拍摄的。
而且，参考图像可以是例如用户的眼睛的高质量图像，该图像由移动装置的相机拍摄并被存储为参考图像，例如，用于检查用户的眼睛。
而且，在一些实施方式中，电路还可以确定用户的左眼和右眼之间的结构变化。例如，用户从左眼拍摄图像并将其存储为参考图像。之后，用户从例如用户的右眼拍摄新图像，并且电路可以确定用户的右眼的拍摄图像中的眼睛的至少一个特征与从用户的左眼拍摄的参考图像中的眼睛的至少一个特征之间的结构变化。
而且，参考图像可以是在特定条件下拍摄并且被存储为参考图像的图像，以便在稍后时间(例如，在治疗的后期阶段等)用于用户的眼睛检查等。
在一些实施方式中，电路可以进一步基于所确定的用户的眼睛的拍摄图像中的眼睛的至少一个特征与参考图像中的眼睛的至少一个特征之间的差异来提供通知。
可以将该通知提供给用户、医生、眼科医生、医院中的远程计算机等。通知可以是文本消息、电子邮件、音频消息或移动装置的振动等。该通知还可以包括例如拍摄图像的分析结果、在用户的眼睛的拍摄图像中的眼睛的至少一个特征与参考图像中的眼睛的至少一个特征之间的确定的差异。此外，可以基于预定的阈值来提供通知。例如，用户可以访问医生，医生可以请求用户定期从他们的眼睛拍摄图像，使得电路还可以分析拍摄图像，并且如果眼睛的特定特征满足预定的阈值，则可以将通知例如发送给医生，或者可以向用户提供访问医生的通知等。
在一些实施方式中，电路还可以将拍摄图像发送到远程计算机。
例如，用户可以拍摄其眼睛的图像，而且，可以将图像发送到远程计算机。远程计算机可以位于医院、眼科诊所、大学等。所述拍摄图像还可以由例如眼科医生解释，因此，可以执行基于远程医疗的眼睛检查。
在一些实施方式中，移动装置还可以将用户的眼睛的拍摄图像存储在数据库中(例如，电路还被配置为将拍摄图像存储在包括在电路中或远程位于另一计算机、存储系统等中的存储装置中)。
数据库可以位于服务器计算机上，可以位于云、存储器、个人计算机等上。所存储的图像还可以用作参考图像等。
一些实施方式涉及一种方法，包括：利用相机拍摄用户的眼睛的多个图像；基于眼睛的至少一个拍摄图像，确定所述拍摄图像中的眼睛的至少一个特征的图像质量；并且输出用户指令，用于改变眼睛的至少一个特征的图像质量。该方法可以通过如本文讨论的移动装置或通过任何其他电子处理装置来执行。该方法可以包括如本文所述的移动装置的特征。
该方法还可以包括使用训练模型分析所述多个拍摄图像，其中，所述用户指令可以基于多个拍摄图像的分析。该方法还可以包括使用机器学习算法分析多个拍摄图像，其中，用户指令可以基于多个拍摄图像的分析。机器学习算法可以输出用于提高眼睛的至少一个特征的图像质量的信息。该方法还可以包括提高眼睛的至少一个特征的图像质量。此外，可以基于视频拍摄模式自动拍摄多个图像。此外，如上所述，可以基于自拍拍摄模式提供多个图像。如上所述，所述方法可以包括输出用户指令，并且用户指令可以是方向移动指令或照明指令。此外，如上所述，用户指令的输出可以基于触觉信息、听觉信息或视觉信息。如上所述，可以通过该方法迭代地图像的拍摄、拍摄图像的分析和用户指令的输出。此外，如上所述，可以完成迭代，直到所述拍摄图像中的眼睛的至少一个特征的图像质量满足预定标准。如上所述，该方法还可以包括确定用户的眼睛的拍摄图像中的眼睛的至少一个特征与参考图像中的眼睛的至少一个特征之间的差异。如上所述，该方法还可以包括基于用户的眼睛的拍摄图像中的眼睛的至少一个特征与参考图像中的眼睛的至少一个特征之间的确定的差异，来提供通知。如上所述，该方法还可以包括将所述拍摄图像传输到远程计算机。如上所述，该方法还可以包括在拍摄所述用户的眼睛的图像时，照亮所述用户的眼睛。如上所述，该方法还可以包括将所述用户的眼睛的拍摄图像存储在数据库中。
返回到图1，在该实施方式中示出了将在图2和图3中更详细地呈现的移动装置10、智能电话。移动装置10具有相机11和在拍摄用户的眼睛的图像时照亮用户的眼睛13的闪光灯12。
可以例如通过移动移动装置10来调整用户的眼睛和移动装置10之间的距离(d)。此外，可以例如通过旋转相机11的轴线和用户的视线之间的角度(θ)，来调整移动装置10相对于用户的眼睛的方位。
光14从闪光灯12输出并且在拍摄用户的眼睛13的图像时照亮用户的眼睛。用户将相机10移动到不同的位置，这些位置可以是不同的距离、在相机的轴线和用户的视线之间的不同的角度、不同的环境或照明设置等。相机11拍摄用户的眼睛的静止图像，并将拍摄图像存储在位于远程计算机16上并通过无线连接来连接到移动装置10的数据库15中。
图2示出了具有智能电话的形式的移动装置20。智能电话20具有双镜头系统，并且包括位于智能电话20的后侧的第一相机21a和位于前侧的第二相机21b、基于LED灯源的闪光灯22、麦克风23、基于用于输出例如听觉反馈的立体声扬声器的扬声器/听筒24、用于接收用户输入的触摸屏显示器25，例如，用于传输用户的眼睛的图像或者用于处理拍摄图像26等。此外，向智能电话20提供位于移动装置20的顶部27t、底部27b、左侧27l和右侧27r的四个LED传感器(27t、2tb、27l和27r)。例如，当使用位于移动装置20的后侧的第一相机21a时，LED传感器用于输出用户指令。该指令可以是移动装置20向一个方向(例如，左、右、向上、向下)的移动，并且由对应的LED传感器以如下方式输出：例如，当打开位于移动装置20的右侧的LED传感器27r时，输出装置20应该向右移动的视觉指示。在图2中示出并且下面更详细地讨论移动装置20。
在下面，参考图3，描述具有智能电话的形式的移动装置30。与智能电话20类似的智能电话30具有相机传感器31、LED传感器32、麦克风传感器33、用于输出听觉指令的扬声器传感器34、基于LED技术并被配置为触摸屏的显示器35。
智能电话30具有连接到包括数据库39和接口38的存储器37的处理器36(包括一个或多个处理器)。存储器37包括随机存取存储器和闪存。接口38适于与移动电信系统(例如，LTE、GSM等)通信。也适于执行与无线局域网的无线通信，并且例如，适于通过蓝牙进行通信。由此，智能电话30可以建立到互联网的连接。此外，在本实施方式中，电路包括机器学习算法40。注意，机器学习算法可以位于存储器中、处理器上，或者可以位于远程计算机上、服务器上，或者可以位于远程计算机上、服务器上，诸如此类，而在这方面不限制本公开。
相机31、LED传感器32、麦克风33、扬声器34、显示器35、处理器36、存储器37、接口38和机器学习算法40形成电路，如本文所述。
在一些实施方式中，如上所述，智能电话30具有附加的输入装置，例如，键盘、触摸板、陀螺仪、加速度传感器、接近传感器、罗盘等，而在这方面不限制本公开。
接口38能够有线和无线地(例如，蓝牙和无线以及局域网)进行通信，使得可以与互联网、远程计算机、服务器、网络、电子装置进行通信，例如，在医院，在医生诊所等。
如上所述，数据库39可以包括参考图像，该参考图像可以是由诸如医生等健康专家拍摄图像，或者可以包括参考图像或已经被智能电话30的相机31拍摄图像。
在下面，参考图4，讨论设备50的实施方式，该设备用于拍摄图像，分析拍摄图像，利用机器学习算法确定图像质量，确定眼睛的至少一个特征的图像质量，输出用于提高图像质量的信息，并且输出用户指令。
设备50包括例如由智能电话30的相机31拍摄的用户的眼睛41的图像。
将该图像提供给机器学习算法40，该算法可以基于特征提取技术，而在这方面不限制本公开。由智能电话30的接口38提供图像41。机器学习算法40确定眼睛的至少一个特征的图像质量，并输出用于提高眼睛的至少一个特征的图像质量的信息，该眼睛可以是例如用户的视网膜。例如，输出信息可以是通过朝向用户的眼睛的左侧移动相机31来提高用户的视网膜的图像质量。该电路例如通过其接口38接收输出信息并输出用户指令。用户指令是听觉指令并由扬声器34输出。用户朝向其左侧移动相机31，相机30拍摄新图像，并且机器学习算法40确定用于用户的视网膜的图像质量，并且提高图像质量。此外，智能电话30将新图像存储在位于远程计算机42上的数据库39中。
图5示出了用于对用户的眼睛进行自我检查的方法60，该方法可以由本文所述的任何装置或设备(例如，图1至图3的装置10、20和30以及图4的设备50)执行。在不限制本公开的情况下，在下面，基于智能电话30讨论示例性方法60。
在61处，在拍摄用户的眼睛的图像41时，智能电话30照亮用户的眼睛。可以通过打开包含在智能电话30中的LED传感器32来照亮用户的眼睛。
在62处，智能电话30拍摄用户的眼睛的图像41。如上所述，可以由可以位于智能电话30的后侧的相机31拍摄图像。
在63处，智能电话30利用机器学习算法40来分析拍摄图像41。机器学习算法可以位于智能电话30的处理器36上。机器学习算法可以基于特征提取技术来分析图像，如上所述。
在64处，机器学习算法确定拍摄图像41中的眼睛的至少一个特征的图像质量，并输出用于提高眼睛的至少一个特征的图像质量的信息。在本实施方式中，为用户的视网膜确定图像质量，而不在这方面限制本公开。机器学习算法40确定拍摄图像41中的用户的视网膜的图像质量。此外，机器学习算法确定，如果用户将相机移近为更接近用户，则可以提高例如用户的视网膜的图像质量。此外，机器学习算法40输出用于提高用户视网膜的图像质量的信息。如上所述，该信息可以由接口38输出，并且可以由智能电话30中的处理器36获得。
在65处，智能电话30输出用户指令。用户指令是方向移动并且指导用户提高拍摄图像41中的用户的视网膜的图像质量。用户指令是听觉指令并且可以由包括在智能电话中的扬声器34输出30，如上所述。
在66处，智能电话30执行迭代过程。智能电话拍摄新图像，其中，在输出用户指令之后，拍摄新图像。此外，用户朝向眼睛移动相机31，智能电话30拍摄用户的眼睛的静止图像，并且智能电话30分析拍摄图像，确定拍摄图像中的用户的视网膜的图像质量，并输出用户指令，如上所述。执行该迭代过程，直到机器学习算法40确定用户的视网膜的图像质量满足预定标准，例如，也通过确定用户的视网膜的图像质量的变化变小(小于阈值)，使得不期望通过进一步对准相机31来进一步提高图像质量。例如，一个拍摄图像中的用户的视网膜包括一定数量的像素，因此，该图像可以用于视网膜检查。
在67处，智能电话30确定用户的眼睛的拍摄图像中的眼睛的至少一个特征与参考图像中的眼睛的至少一个特征之间的差异。参考图像是由眼科医生使用专业眼底拍摄图像。将参考图像存储在位于远程计算机42上的数据库39中。智能电话30确定拍摄图像41中的用户的视网膜的图像质量和参考图像中的用户的视网膜的图像质量。如上所述，由机器学习算法40确定图像质量。此外，智能电话30确定拍摄图像41中的用户的视网膜的图像质量与参考图像中的用户的视网膜之间的差异。此外，如上所述，眼科医生为图像质量之间的差异设置阈值，并且智能电话30确定例如图像质量之间的差异高于阈值。
在68处，智能电话30基于拍摄图像中的用户的视网膜的图像质量与参考图像中的用户的视网膜之间的确定的差异来提供通知。如上所述，通过将其显示在智能电话30的显示器35上，来向用户提供作为文本消息的通知。
在69处，如上所述，智能电话30将用户的眼睛的拍摄图像41存储在位于存储器37上的数据库39中。
在一些实施方式中，如上所述，拍摄图像可以用作参考图像。
在70处，智能电话30将拍摄图像41传输到远程计算机42。如上所述，智能电话30可以(例如，通过电子邮件)将拍摄图像传输到服务器，并且眼科医生可以获得拍摄图像41并且还可以评估图像并且检查用户的眼睛。
图6示出了用于对用户的眼睛进行自我检查的方法80，该方法可以由本文所述的任何装置或设备执行并且不限制本公开，在下面，基于智能电话30，解释该方法。根据方法80，拍摄用户的眼睛的图像，其中，在相对于用户的眼睛的最佳位置拍摄图像。
在81处，可以是移动视网膜相机的移动装置30被设置为视频模式，因此，相机31和LED传感器32面向用户的眼睛。
在82处，用户将移动视网膜相机30移动到不同位置，以便找到最佳位置，并且相机31连续拍摄用户的眼睛的静止图像。
在83处，利用机器学习算法(例如，回归算法、分类算法等)分析静止图像，并且确定用户的视网膜的图像质量。如上所述，可以使用拍摄图像中的用户的视网膜来监测眼睛上的变化，并且可以例如由眼科医生检查用户的眼睛。
在84处，移动视网膜相机30输出用户指令。输出用户指令是具有移动视网膜相机的振动形式的渐进式触觉反馈，并且在接近理想位置方面，提供给用户。理想位置是使得可以拍摄图像的位置，其中，用户的视网膜具有可以用于眼睛检查的质量。此外，如上所述，使用机器学习算法40来确定图像质量。反馈指导用户将移动视网膜相机30移动到拍摄图像的最佳位置。如果将移动视网膜相机30移动为更靠近最佳位置，则反馈逐渐变强，并且如果移动视网膜相机30移动得更远，则变得更弱。
而且，如上所述，移动视网膜相机30确定拍摄图像的图像质量，并且如果图像质量满足预定标准，则进入87，并且如果图像质量不满足预定标准，则进入85。
在85处，移动视网膜相机30拍摄新图像。在输出用户指令之后，拍摄新图像，并且提高用户的视网膜的图像质量。
在86处，移动视网膜相机30将新图像存储在数据库39中，如上所述。
在87处，移动视网膜相机30确定在所存储的图像中的用户的视网膜的图像质量满足预定标准，因此，该图像可以用于用户的眼睛检查。
在88处，移动视网膜相机30向用户提供通知并将图像传输到远程计算机42。
图7示出了基于智能电话30示例性解释的用于用户的眼睛的自我检查的方法90。方法90确定用户的眼睛相对于参考图像的变化，具体地，确定例如用户的左眼与来自同一只眼睛的参考图像之间的时间变化。
而且，方法90可以由移动视网膜相机30执行，用于确定例如用户的左眼与参考图像之间的结构变化，其中，参考图像是从用户的右眼拍摄图像。
在91处，用户看医生，进行第一次检查。医生拍摄用户的眼睛的高质量图像并将其存储在数据库39中，作为参考图像。
在92处，用户拍摄他们自己的眼睛的一系列图像。如上所述，用移动视网膜相机30的相机31拍摄图像。
如上所述，用户确定最佳对准位置，例如，参考图6，并从他们的两只眼睛拍摄图像。如上所述，图像可以用于确定左眼和右眼之间的变化。
在93处，将拍摄图像传输到远程计算机，用于基于远程医疗应用进一步处理。
在94处，使用机器学习算法将数据库39中存储的参考图像与拍摄图像进行比较，并且相对于参考图像，确定例如用户的视网膜之间的时间变化。
在一些实施方式中，如上所述，可以确定用户的左眼和右眼之间的结构变化，并且拍摄图像可以用于检测眼睛疾病。
而且，如果拍摄图像和参考图像中的用户的眼睛的特征之间的差异小于预定的阈值，则该方法进入95，并且如果该差异高于阈值，则进入96。
在95处，如果用户的眼睛(例如，用户的视网膜)的特征的图像质量之间的差异小于预定的阈值，则该方法进一步进入92，并且用户拍摄他们的眼睛的新图像。
在96处，如果用户的眼睛(例如，用户的视网膜)的特征的图像质量之间的差异高于预定的阈值，例如，则可以将通知发送给用户/或医生。如上所述，通知是文本消息并且可以通过电子邮件发送给例如医生。
在97处，用户看医生并进行眼睛检查。
在一些实施方式中，还将在本文中描述的方法实现为计算机程序，当在计算机和/或电路系统和/或处理器上执行时，促使计算机和/或电路系统和/或处理器执行该方法。在一些实施方式中，还提供了一种在其内存储了计算机程序产品的非暂时性计算机可读记录介质，该计算机程序产品在由诸如上述处理器等处理器执行时促使执行在本文描述的方法。
应该认识到，这些实施方式描述了方法，该方法进行示例性排序。然而，该方法的具体排序仅出于说明目的而给出，不应被解释为具有约束力。例如，图5的实施方式中的69和70的排序可以交换。而且，图5的实施方式中的68、69和70的排序可以交换。此外，图7的实施方式中的93和94的排序也可以交换。对于本领域技术人员，该方法的排序的其他变化可能是显而易见的。
请注意，将移动装置30划分为单元31至39，仅是为了说明目的，并且本发明不限于特定单元中的任何特定的功能划分。
如果没有另外说明，则在本说明书中描述的并且在所附权利要求中要求保护的所有单元和实体可以例如在芯片上实现为集成电路逻辑，并且如果没有另外说明，则由软件实现由这些单元和实体提供的功能。
只要至少部分地使用软件控制的数据处理设备来实现上述本公开内容的实施方式，将会理解的是，提供这种软件控制的计算机程序以及传输、存储或通过其提供计算机程序的其他介质被设想为本公开内容的各方面。
注意，也可以如下所述配置本技术。
(1)一种移动系统，包括包含相机的电路，电路被配置为：
利用相机拍摄用户的眼睛的多个图像；
基于眼睛的至少一个拍摄图像，确定拍摄图像中的眼睛的至少一个特征的图像质量；并且
输出用户指令，用于改变眼睛的至少一个特征的图像质量。
(2)根据(1)所述的移动系统，其中，电路还被配置为使用训练模型分析多个拍摄图像，并且其中，用户指令基于多个拍摄图像的分析。
(3)根据(1)或(2)所述的移动系统，其中，电路还被配置为提供视频拍摄模式，用于自动拍摄多个图像。
(4)根据(1)至(3)中任一项所述的移动系统，其中，电路还被配置为提供自拍眼睛拍摄模式。
(5)根据(1)至(4)中任一项所述的移动系统，其中，用户指令包括方向移动指令或照明指令。
(6)根据(1)至(5)中任一项所述的移动系统，其中，用户指令的输出基于触觉信息、听觉信息或视觉信息。
(7)根据(1)至(6)中任一项所述的移动系统，其中，迭代地执行图像的拍摄、拍摄图像的分析和用户指令的输出。
(8)根据(1)至(7)中任一项所述的移动系统，其中，完成迭代，直到拍摄图像中的眼睛的至少一个特征的图像质量满足预定标准。
(9)根据(1)至(8)中任一项所述的移动系统，其中，电路还被配置为确定用户的眼睛的拍摄图像中的眼睛的至少一个特征与参考图像中的眼睛的至少一个特征之间的差异。
(10)根据(1)至(9)中任一项所述的移动系统，其中，电路还被配置为基于用户的眼睛的拍摄图像中的眼睛的至少一个特征与参考图像中的眼睛的至少一个特征之间的差异，来提供通知。
(11)根据(1)至(10)中任一项所述的移动系统，其中，电路还被配置为将拍摄图像传输到远程计算机。
(12)根据(1)至(11)中任一项所述的移动系统，其中，电路还包括与相机相邻的灯，用于在拍摄用户的眼睛的图像时，照亮用户的眼睛。
(13)根据(1)至(12)中任一项所述的移动系统，其中，电路还被配置为将用户的眼睛的拍摄图像存储在数据库中。
(14)根据(1)至(13)中任一项所述的移动系统，其中，改变图像质量，包括提高眼睛的至少一个特征的图像质量。
(15)根据(1)至(14)中任一项所述的移动系统，其中，训练模型基于机器学习算法，其被配置为分析多个拍摄图像，并且其中，用户指令基于多个拍摄图像的分析。
(16)一种方法，包括：
利用相机拍摄用户的眼睛的多个图像；
基于眼睛的至少一个拍摄图像，确定拍摄图像中的眼睛的至少一个特征的图像质量；并且
输出用户指令，用于改变眼睛的至少一个特征的图像质量。
(17)根据(16)所述的方法，其中，方法还包括使用训练模型分析多个拍摄图像，并且其中，用户指令基于多个拍摄图像的分析。
(18)根据(16)或(17)所述的方法，其中，基于视频拍摄模式自动拍摄多个图像。
(19)根据(16)至(18)中任一项所述的方法，其中，基于自拍拍摄模式提供多个图像。
(20)根据(16)至(19)中任一项所述的方法，其中，用户指令包括方向移动指令或照明指令。
(21)根据(16)至(20)中任一项所述的方法，其中，用户指令的输出基于触觉信息、听觉信息或视觉信息。
(22)根据(16)至(21)中任一项所述的方法，其中，迭代地执行图像的拍摄、拍摄图像的分析和用户指令的输出。
(23)根据(16)至(22)中任一项所述的方法，其中，完成迭代，直到拍摄图像中的眼睛的至少一个特征的图像质量满足预定标准。
(24)根据(16)至(23)中任一项所述的方法，其中，方法还包括确定用户的眼睛的拍摄图像中的眼睛的至少一个特征与参考图像中的眼睛的至少一个特征之间的差异。
(25)根据(16)至(24)中任一项所述的方法，其中，方法还包括基于用户的眼睛的拍摄图像中的眼睛的至少一个特征与参考图像中的眼睛的至少一个特征之间的差异来提供通知。
(26)根据(16)至(25)中任一项所述的方法，其中，方法还包括将拍摄图像传输到远程计算机。
(27)根据(16)至(26)中任一项所述的方法，其中，方法还包括在拍摄用户的眼睛的图像时，照亮用户的眼睛。
(28)根据(16)至(27)中任一项所述的方法，其中，方法还包括将用户的眼睛的拍摄图像存储在数据库中。
(29)根据(16)至(28)中任一项所述的方法，其中，改变图像质量，包括提高眼睛的至少一个特征的图像质量。
(30)根据(16)至(29)中任一项所述的方法，其中，训练模型基于机器学习算法，其被配置为分析多个拍摄图像，并且其中，用户指令基于多个拍摄图像的分析。
(31)一种包括程序代码的计算机程序，程序代码在计算机上执行时促使计算机执行根据(16)至(30)中任一项所述的方法。
(32)一种在其内存储计算机程序产品的非暂时性计算机可读记录介质，计算机程序产品在由处理器执行时促使执行根据(16)至(30)中任一项所述的方法。
(33)一种设备，包括被配置为执行(16)至(30)中任一项的方法的电路。
(34)一种移动系统，包括：
拍摄装置，用于拍摄用户的眼睛的多个图像；
确定装置，用于基于眼睛的至少一个拍摄图像，确定拍摄图像中的眼睛的至少一个特征的图像质量；以及
输出装置，用于输出用户指令，用于改变眼睛的至少一个特征的图像质量。
(35)一种方法，包括：
拍摄用户的眼睛的多个图像的步骤；
基于眼睛的至少一个拍摄图像，确定拍摄图像中的眼睛的至少一个特征的图像质量的步骤；以及
输出用户指令的步骤，用于改变眼睛的至少一个特征的图像质量。
(36)一种包括程序代码的计算机程序，程序代码促使计算机用作：
拍摄装置，用于拍摄用户的眼睛的多个图像；
确定装置，用于基于眼睛的至少一个拍摄图像，确定拍摄图像中的眼睛的至少一个特征的图像质量；以及
输出装置，用于输出用户指令，用于改变眼睛的至少一个特征的图像质量。
(37)一种在其内存储计算机程序产品的非暂时性计算机可读记录介质，计算机程序产品在由处理器执行时使计算机用作：
拍摄装置，用于拍摄用户的眼睛的多个图像；
确定装置，用于基于眼睛的至少一个拍摄图像，确定拍摄图像中的眼睛的至少一个特征的图像质量；以及
输出装置，用于输出用户指令，用于改变眼睛的至少一个特征的图像质量。

Claims (18)

1.一种移动设备，用于对移动设备的用户的眼睛进行自我检查，所述移动设备包含电路，所述电路包括相机，所述电路被配置为：
提供自拍眼睛拍摄模式；
在所述自拍眼睛拍摄模式下，利用所述相机拍摄用户的眼睛的多个图像；
基于所述眼睛的拍摄图像中的至少一个确定在所述拍摄图像中的所述眼睛的至少一个特征的图像质量；并且
基于所确定的图像质量，输出用于改变所述眼睛的至少一个特征的图像质量的用户指令；
迭代地确定所述拍摄图像的图像质量并输出所述用户指令，直至所述拍摄图像中的所述眼睛的至少一个特征的图像质量满足预定标准，
确定满足所述预定标准的所述拍摄图像中的所述眼睛的至少一个特征与所述眼睛的先前拍摄的参考图像中的所述眼睛的至少一个特征之间的差异；以及
当所确定的差异超过阈值时，提供通知，所述通知包括所述用户的眼睛的所述拍摄图像中的所述眼睛的至少一个特征与所述参考图像中的所述眼睛的至少一个特征之间的结构改变的指示。
2.根据权利要求1所述的移动设备，其中，所述电路进一步被配置为提供用于自动拍摄所述多个图像的视频拍摄模式。
3.根据权利要求1所述的移动设备，其中，所述用户指令包括方向移动指令或照明指令。
4.根据权利要求1所述的移动设备，其中，所述用户指令的输出是基于触觉信息、听觉信息或视觉信息。
5.根据权利要求1所述的移动设备，其中，所述电路进一步被配置为将所述拍摄图像发送到远程计算机。
6.根据权利要求1所述的移动设备，其中，所述电路进一步包括与所述相机相邻的灯，用于在拍摄所述用户的眼睛的图像时照亮所述用户的眼睛。
7.根据权利要求1所述的移动设备，其中，所述电路进一步被配置为将所述用户的眼睛的拍摄图像存储在数据库中。
8.根据权利要求1所述的移动设备，其中，改变所述图像质量包括提高所述眼睛的至少一个特征的图像质量。
9.根据权利要求1所述的移动设备，其中，所述电路进一步被配置为使用训练模型分析多个所述拍摄图像，所述训练模型基于机器学习算法，并且其中，所述用户指令是基于多个所述拍摄图像的分析。
10.一种用于对移动设备的用户的眼睛进行自我检查的方法，包括：
在自拍眼睛拍摄模式下，利用相机拍摄用户的眼睛的多个图像；
基于所述眼睛的拍摄图像中的至少一个确定在所述拍摄图像中的所述眼睛的至少一个特征的图像质量；并且
基于所确定的图像质量，输出用于改变所述眼睛的至少一个特征的图像质量的用户指令；
迭代地确定所述拍摄图像的图像质量并输出所述用户指令，直至所述拍摄图像中的所述眼睛的至少一个特征的图像质量满足预定标准，
确定满足所述预定标准的所述拍摄图像中的所述眼睛的至少一个特征与所述眼睛的先前拍摄的参考图像中的所述眼睛的至少一个特征之间的差异；以及
当所确定的差异超过阈值时，提供通知，所述通知包括所述用户的眼睛的所述拍摄图像中的所述眼睛的至少一个特征与所述参考图像中的所述眼睛的至少一个特征之间的结构改变的指示。
11.根据权利要求10所述的方法，其中，基于视频拍摄模式来自动拍摄所述多个图像。
12.根据权利要求10所述的方法，其中，所述用户指令包括方向移动指令或照明指令。
13.根据权利要求10所述的方法，其中，所述用户指令的输出是基于触觉信息、听觉信息或视觉信息。
14.根据权利要求10所述的方法，其中，所述方法进一步包括将所述拍摄图像发送到远程计算机。
15.根据权利要求10所述的方法，其中，所述方法进一步包括在拍摄所述用户的眼睛的图像时照亮所述用户的眼睛。
16.根据权利要求10所述的方法，其中，所述方法进一步包括将所述用户的眼睛的拍摄图像存储在数据库中。
17.根据权利要求10所述的方法，其中，改变所述图像质量包括提高所述眼睛的至少一个特征的图像质量。
18.根据权利要求10所述的方法，其中，所述方法进一步包括使用训练模型分析多个所述拍摄图像，所述训练模型基于机器学习算法，并且其中，所述用户指令是基于多个所述拍摄图像的分析。
CN201810767193.1A 2017-07-19 2018-07-12 移动系统以及眼睛成像的方法 Active CN109286748B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17182213.3A EP3430973A1 (en) 2017-07-19 2017-07-19 Mobile system and method
EP17182213.3 2017-07-19

Publications (2)

Publication Number Publication Date
CN109286748A CN109286748A (zh) 2019-01-29
CN109286748B true CN109286748B (zh) 2022-07-12

Family

ID=59383443

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810767193.1A Active CN109286748B (zh) 2017-07-19 2018-07-12 移动系统以及眼睛成像的方法

Country Status (3)

Country Link
US (1) US10805520B2 (zh)
EP (1) EP3430973A1 (zh)
CN (1) CN109286748B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
JP7363770B2 (ja) * 2018-03-28 2023-10-18 ソニーグループ株式会社 演算装置、演算方法およびプログラム
US11394863B2 (en) 2018-09-06 2022-07-19 Arlo Technologies, Inc. No-reference image quality assessment for iterative batch video analysis
MX2021003564A (es) * 2018-09-26 2021-05-27 Essilor Int Procedimiento para determinar al menos un parametro geometrico-morfologico de un sujeto en una postura natural para determinar un equipo de correccion de la vista.
EP3695775B1 (en) * 2019-02-18 2023-07-19 Associação Fraunhofer Portugal Research Smartphone-based handheld optical device and method for capturing non-mydriatic retinal images
US11308618B2 (en) 2019-04-14 2022-04-19 Holovisions LLC Healthy-Selfie(TM): a portable phone-moving device for telemedicine imaging using a mobile phone
US12014500B2 (en) 2019-04-14 2024-06-18 Holovisions LLC Healthy-Selfie(TM): methods for remote medical imaging using a conventional smart phone or augmented reality eyewear
US20220211267A1 (en) 2019-04-16 2022-07-07 Spect Inc. Device navigation and capture of media data
JP7348754B2 (ja) * 2019-06-03 2023-09-21 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
WO2021087353A1 (en) * 2019-10-30 2021-05-06 Arlo Technologies, Inc. No-reference image quality assessment for iterative batch video analysis
JP2021145785A (ja) * 2020-03-17 2021-09-27 ソニーグループ株式会社 プログラム、情報処理装置及び端末装置
US11388334B2 (en) * 2020-05-22 2022-07-12 Qualcomm Incorporated Automatic camera guidance and settings adjustment
US20220054006A1 (en) * 2020-08-19 2022-02-24 Digital Diagnostics Inc. Using infrared to detect proper eye alignment before capturing retinal images
US20220245811A1 (en) * 2021-02-01 2022-08-04 AI Optics Inc. Analysis of retinal imaging using video
WO2024010780A1 (en) * 2022-07-08 2024-01-11 Warby Parker Inc. Image capture devices, systems, and methods

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1885314A (zh) * 2006-07-11 2006-12-27 电子科技大学 一种虹膜图像预处理方法
CN102246185A (zh) * 2008-12-16 2011-11-16 虹膜技术公司 获取用于虹膜识别的高质量眼部图像的装置和方法
CN103188988A (zh) * 2010-08-27 2013-07-03 索尼公司 图像处理装置及方法
US9462945B1 (en) * 2013-04-22 2016-10-11 VisionQuest Biomedical LLC System and methods for automatic processing of digital retinal images in conjunction with an imaging device
CN106295626A (zh) * 2016-09-27 2017-01-04 普瑞斯康（北京)健康管理有限公司 虹膜镜头、虹膜拍摄装置及虹膜分析方法

Family Cites Families (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3825222B2 (ja) * 2000-03-24 2006-09-27 松下電器産業株式会社 本人認証装置および本人認証システムならびに電子決済システム
WO2003053228A2 (en) * 2001-12-21 2003-07-03 Sensomotoric Instruments Gmbh Method and apparatus for eye registration
US7401920B1 (en) * 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
US7652685B2 (en) * 2004-09-13 2010-01-26 Omnivision Cdm Optics, Inc. Iris image capture devices and associated systems
JP2005292542A (ja) * 2004-04-01 2005-10-20 Matsushita Electric Ind Co Ltd 目画像撮像装置および携帯端末装置
US20060008124A1 (en) * 2004-07-12 2006-01-12 Ewe Hong T Iris image-based recognition system
US7377643B1 (en) * 2004-08-13 2008-05-27 Q Step Technologies, Inc. Method and apparatus for eye imaging with position registration and constant pupil size
KR101308368B1 (ko) * 2006-03-03 2013-09-16 허니웰 인터내셔널 인코포레이티드 홍채 품질 측정을 갖는 홍채 인식 시스템
FR2900482B1 (fr) * 2006-04-28 2008-06-20 Sagem Defense Securite Procede d'identification d'une personne par analyse des cara cteristiques de ses cils
US9235733B2 (en) * 2006-08-11 2016-01-12 J. Douglas Birdwell Mobile biometrics information collection and identification
US7970179B2 (en) * 2006-09-25 2011-06-28 Identix Incorporated Iris data extraction
WO2009029765A1 (en) * 2007-09-01 2009-03-05 Global Rainmakers, Inc. Mirror system and method for acquiring biometric data
US9036871B2 (en) * 2007-09-01 2015-05-19 Eyelock, Inc. Mobility identity platform
US9002073B2 (en) * 2007-09-01 2015-04-07 Eyelock, Inc. Mobile identity platform
WO2009043047A1 (en) * 2007-09-28 2009-04-02 Eye Controls, Llc Systems and methods for biometric identification
JP2009193198A (ja) * 2008-02-13 2009-08-27 Oki Electric Ind Co Ltd 虹彩認証装置
US8820931B2 (en) 2008-07-18 2014-09-02 Doheny Eye Institute Optical coherence tomography-based ophthalmic testing methods, devices and systems
US8328356B2 (en) * 2008-11-06 2012-12-11 Clarity Medical Systems, Inc. Enabling measurement with a handheld eye imaging device
US10278579B2 (en) * 2008-11-17 2019-05-07 Eyes4Lives, Inc. Vision protection method and system thereof
JP5316017B2 (ja) * 2009-01-22 2013-10-16 日本電気株式会社 画像処理装置、生体認証装置、画像処理方法及びプログラム
US8364971B2 (en) * 2009-02-26 2013-01-29 Kynen Llc User authentication system and method
WO2011047214A2 (en) 2009-10-14 2011-04-21 Optimum Technologies, Inc. Portable retinal camera and image acquisition method
US8719584B2 (en) * 2010-10-26 2014-05-06 Bi2 Technologies, LLC Mobile, wireless hand-held biometric capture, processing and communication system and method for biometric identification
US20110170068A1 (en) * 2010-12-03 2011-07-14 Opticom Data Research Method and apparatus for self-examination of the eye
US8888288B2 (en) * 2011-02-23 2014-11-18 Nikoo Iravani Method and system for self-administering a visual examination using a mobile computing device
US8810713B2 (en) * 2011-07-13 2014-08-19 Olympus Imaging Corp. Image pickup apparatus and image pickup device for performing auto-focusing
US9307206B2 (en) * 2011-08-16 2016-04-05 iParse, LLC Automatic image capture
WO2013049778A1 (en) * 2011-09-30 2013-04-04 Intuitive Medical Technologies, Llc Optical adapter for ophthalmological imaging apparatus
US20130088583A1 (en) * 2011-10-07 2013-04-11 Aoptix Technologies, Inc. Handheld Iris Imager
IL215883A0 (en) 2011-10-24 2012-03-01 Iriss Medical Technologies Ltd System and method for indentifying eye conditions
KR101182922B1 (ko) * 2011-11-08 2012-09-13 아이리텍 잉크 홍채이미지를 이용한 보안이 강화된 잠금장치
GB2497553B (en) * 2011-12-13 2018-05-16 Irisguard Inc Improvements relating to iris cameras
US8639779B2 (en) * 2011-12-30 2014-01-28 Matthew Carnevale Remote exam viewing system
TW201406343A (zh) * 2012-08-01 2014-02-16 Altek Corp 眼底攝像裝置及其成像方法
US8437513B1 (en) * 2012-08-10 2013-05-07 EyeVerify LLC Spoof detection for biometric authentication
US20140268040A1 (en) * 2013-03-14 2014-09-18 Physical Sciences, Inc. Multimodal Ocular Imager
US20140341441A1 (en) * 2013-05-20 2014-11-20 Motorola Mobility Llc Wearable device user authentication
US20150025917A1 (en) * 2013-07-15 2015-01-22 Advanced Insurance Products & Services, Inc. System and method for determining an underwriting risk, risk score, or price of insurance using cognitive information
WO2015057315A1 (en) * 2013-09-04 2015-04-23 Kelly Joseph Michael Lawless Methods and systems for the detection of disease
US9582716B2 (en) * 2013-09-09 2017-02-28 Delta ID Inc. Apparatuses and methods for iris based biometric recognition
TWI549649B (zh) * 2013-09-24 2016-09-21 廣達電腦股份有限公司 頭戴式系統
US9905008B2 (en) * 2013-10-10 2018-02-27 University Of Rochester Automated fundus image field detection and quality assessment
JP2015090569A (ja) * 2013-11-06 2015-05-11 ソニー株式会社 情報処理装置及び情報処理方法
KR20150089283A (ko) * 2014-01-27 2015-08-05 엘지전자 주식회사 웨어러블 단말기 및 이를 포함하는 시스템
CN103839054B (zh) * 2014-03-14 2017-05-24 北京中科虹霸科技有限公司 一种支持虹膜识别的多功能移动智能终端传感器
KR101991496B1 (ko) * 2014-02-04 2019-06-20 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 허프 프로세서
JP6417676B2 (ja) * 2014-03-06 2018-11-07 ソニー株式会社 情報処理装置、情報処理方法、アイウェア端末および認証システム
US20150313462A1 (en) * 2014-05-04 2015-11-05 Alexander Reis Method and System of using Photorefractive effects to examine eyes using a portable device
WO2016001868A1 (en) * 2014-07-02 2016-01-07 Si14 S.P.A. A method for acquiring and processing images of an ocular fundus by means of a portable electronic device
US9282237B2 (en) * 2014-07-17 2016-03-08 Schlage Lock Company Llc Multifocal iris recognition device
US9901248B2 (en) * 2014-08-14 2018-02-27 Eyes4Lives, Inc. Vision protection method and system thereof
WO2016035901A1 (ko) * 2014-09-02 2016-03-10 삼성전자주식회사 홍채 인식하기 위한 방법 및 그 전자 장치
MX2017007139A (es) * 2014-12-03 2017-11-10 Princeton Identity Inc Sistema y metodo para un complemento biometrico de dispositivo movil.
WO2016154558A1 (en) * 2015-03-25 2016-09-29 The Board Of Trustees Of The Leland Stanford Junior University Modular adapters for mobile ophthalmoscopy
EP3277156A4 (en) * 2015-03-31 2018-12-26 Visunex Medical Systems Co. Ltd. A wireless imaging apparatus and related methods
EP3288439B1 (de) * 2015-04-30 2021-06-23 Oculocare Medical AG Verfahren und datenverarbeitungsprogramm zur bestimmung des sehvermögens eines benutzers
US10474892B2 (en) * 2015-05-26 2019-11-12 Lg Electronics Inc. Mobile terminal and control method therefor
CN108024768B (zh) * 2015-05-27 2021-02-05 斋藤粮三 可移动终端压力评估程序及包含该程序的可移动终端
US20160366317A1 (en) * 2015-06-12 2016-12-15 Delta ID Inc. Apparatuses and methods for image based biometric recognition
US20160364609A1 (en) * 2015-06-12 2016-12-15 Delta ID Inc. Apparatuses and methods for iris based biometric recognition
US20160374594A1 (en) * 2015-06-26 2016-12-29 Koninklijke Philips N.V. System for monitoring a dopaminergic activity
US10129450B2 (en) * 2015-10-02 2018-11-13 Tareq Issam Nabhan System and method for ophthalmological imaging adapted to a mobile processing device
JP2019506017A (ja) * 2015-11-06 2019-02-28 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーＦａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ， Ｌｌｃ オプティカル・フローを用いる眼球追跡
CN105930762A (zh) * 2015-12-02 2016-09-07 中国银联股份有限公司 一种眼球跟踪的方法及装置
US9526417B1 (en) * 2015-12-07 2016-12-27 Omnivision Technologies, Inc. Projector for adaptor-less smartphone eye imaging and associated methods
CN105310646B (zh) * 2015-12-09 2017-09-22 博奥颐和健康科学技术（北京）有限公司 基于白睛无影成像的人体健康状况在体分析系统
US20170188809A1 (en) * 2016-01-02 2017-07-06 Ram Peddada System and method for central vision assessment and tracking
GB2546273B (en) * 2016-01-12 2020-02-26 Sony Interactive Entertainment Europe Ltd Detection system
US10091414B2 (en) * 2016-06-24 2018-10-02 International Business Machines Corporation Methods and systems to obtain desired self-pictures with an image capture device
US10952603B2 (en) * 2016-07-13 2021-03-23 Carl Zeiss Meditec, Inc. Systems and methods for improved anterior segment OCT imaging
US20180028058A1 (en) * 2016-07-27 2018-02-01 Gabriela Roxana SAIDMAN Device for supporting an image-capturing apparatus for medical examination and method
KR20180014624A (ko) * 2016-08-01 2018-02-09 삼성전자주식회사 홍채 인증 시스템 및 방법
US10835120B2 (en) * 2016-08-23 2020-11-17 Welch Allyn, Inc. Extended medical test system
US20180078134A1 (en) * 2016-09-17 2018-03-22 Globechek, Llc Eye examination kiosk system and method for remote eye examination
US10925479B2 (en) * 2016-10-13 2021-02-23 Ronald Michael Kurtz Networked system of mobile communication platforms for nonpharmacologic constriction of a pupil
US10331942B2 (en) * 2017-05-31 2019-06-25 Facebook, Inc. Face liveness detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1885314A (zh) * 2006-07-11 2006-12-27 电子科技大学 一种虹膜图像预处理方法
CN102246185A (zh) * 2008-12-16 2011-11-16 虹膜技术公司 获取用于虹膜识别的高质量眼部图像的装置和方法
CN103188988A (zh) * 2010-08-27 2013-07-03 索尼公司 图像处理装置及方法
US9462945B1 (en) * 2013-04-22 2016-10-11 VisionQuest Biomedical LLC System and methods for automatic processing of digital retinal images in conjunction with an imaging device
CN106295626A (zh) * 2016-09-27 2017-01-04 普瑞斯康（北京)健康管理有限公司 虹膜镜头、虹膜拍摄装置及虹膜分析方法

Also Published As

Publication number Publication date
CN109286748A (zh) 2019-01-29
US20190028634A1 (en) 2019-01-24
US10805520B2 (en) 2020-10-13
EP3430973A1 (en) 2019-01-23

Similar Documents

Publication Publication Date Title
CN109286748B (zh) 移动系统以及眼睛成像的方法
US11583181B2 (en) Device and method for capturing, analyzing, and sending still and video images of the fundus during examination using an ophthalmoscope
US8908021B2 (en) Systems and methods for automatic control of a continuous action
WO2020238626A1 (zh) 图像状态确定方法、装置、设备、系统及计算机存储介质
JP6263617B2 (ja) 表示制御方法及び装置、電子機器
CN109285602B (zh) 用于自我检查用户眼睛的主模块、系统和方法
EP3721320B1 (en) Communication methods and systems
CN110430802B (zh) 利用虚拟现实的神经疾病诊断装置及方法
US9888847B2 (en) Ophthalmic examination system
US20220245811A1 (en) Analysis of retinal imaging using video
JP6507252B2 (ja) 機器操作装置、機器操作方法、及び電子機器システム
KR20220097585A (ko) 인공지능 기반의 자궁경부암 검진 서비스 시스템
AU2022200340B2 (en) Digital image screening and/or diagnosis using artificial intelligence
CN115019940A (zh) 基于眼部图像的消化道疾病的预测方法、装置及电子设备
WO2021186990A1 (ja) プログラム、情報処理装置及び端末装置
US20230418372A1 (en) Gaze behavior detection
US20220246298A1 (en) Modular architecture for a medical diagnostics device with integrated artificial intelligence capabilities
US20220211267A1 (en) Device navigation and capture of media data
KR101887296B1 (ko) 홍채 진단 시스템 및 그 시스템의 스트레스 진단 방법
Khan et al. The Cataract Detection App: Empowering Detection Anywhere, Anytime
JP2023035102A (ja) 検査装置、診断支援システム、及び診断支援プログラム
JP2023084775A (ja) めまいの診断装置並びに遠隔めまい診断プログラム及びシステム
KR20200098150A (ko) 시선추적 데이터 처리 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant