CN117915820A - 用于视力测试的系统和方法及其使用 - Google Patents

用于视力测试的系统和方法及其使用 Download PDF

Info

Publication number
CN117915820A
CN117915820A CN202280048208.3A CN202280048208A CN117915820A CN 117915820 A CN117915820 A CN 117915820A CN 202280048208 A CN202280048208 A CN 202280048208A CN 117915820 A CN117915820 A CN 117915820A
Authority
CN
China
Prior art keywords
user
distance
image
display screen
mobile device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280048208.3A
Other languages
English (en)
Inventor
D·H·戈德堡
T·A·达菲
D·J·德沙泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wobbi Park Co
Original Assignee
Wobbi Park Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wobbi Park Co filed Critical Wobbi Park Co
Publication of CN117915820A publication Critical patent/CN117915820A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/028—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing visual acuity; for determination of refraction, e.g. phoropters
    • A61B3/032—Devices for presenting test symbols or characters, e.g. test chart projectors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0033—Operational features thereof characterised by user input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A61B3/005—Constructional features of the display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/06—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing light sensitivity, e.g. adaptation; for testing colour vision
    • A61B3/066—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing light sensitivity, e.g. adaptation; for testing colour vision for testing colour vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

公开了用于视力测试的系统和方法及其使用。一种方法可以在至少具有处理器、相机和显示屏的移动装置上实现。所述方法可以包括：使用所述移动装置的所述相机捕获用户的至少一个图像；基于所述至少一个图像将所述用户交互地引导到距所述移动装置的所述显示屏的预定距离；在确定所述用户与所述显示屏相距所述预定距离时，在所述显示屏上呈现材料；以及响应于在所述显示屏上呈现的所述材料接收来自所述用户的输入。在所述显示屏上呈现的所述材料可以用于评估所述用户的视力的至少一个特性。还公开了移动装置和非暂时性机器可读介质，其上包含有用于评估用户视力的机器可执行指令。

Description

用于视力测试的系统和方法及其使用
相关申请的交叉引用
本申请要求于2021年7月7日提交的美国临时专利申请序列号63/219,327的优先权，其全部内容通过引用并入本文。
技术领域
本公开总体涉及视力测试的技术领域。更具体地，本公开涉及用于使用移动装置对用户执行视力测试的系统和方法，及其使用。
背景技术
以下包括可以有用于理解本发明的信息。这并不是承认本文具体或隐含引用的任何信息对于所描述或要求保护的发明是现有技术或必不可少的。本文提及的所有专利、专利申请、出版物和产品及其内容通过引用整体并入本文。
通常使用眼睛检查或视力测试来确定适当的镜片处方或对患者进行其他诊断。眼睛检查传统上由验光师等在办公室中进行，其中测试受试者位于距显示已知尺寸的视标的视力表的设定距离处。测试管理者能够从测试受试者的角度计算视标的感知尺寸，并根据测试结果得出关于受试者视力的结论。将眼睛检查程序从医生或技术人员的办公室转换到非传统位置(例如家中的自我管理测试)的努力受到与确定测试中使用的字符的感知尺寸相关联的困难的阻碍。先前公开的解决方案，诸如使用卷尺或计数步骤来确定距显示眼睛测试的计算机屏幕的距离，需要额外的设备或步骤，降低了结果的准确性，并且可能削弱用户对结果的置信度，使得在办公室外进行管理测试不太吸引人。
因此，需要开发一种用于进行眼睛检查或视力测试的改进的系统或方法，其将提高准确性、效率、可靠性、便利性和使用，同时减少或消除人为干预和/或人为错误。
发明内容
本文描述和要求保护的装置、系统、方法和机器可读存储介质具有许多属性和方面，包括但不限于在本发明内容中阐述或描述或引用的那些属性和方面。其不旨在是包括一切的，并且本文描述和要求保护的本发明不限于本发明内容中标识的特征或实施例或不受本发明内容中标识的特征或实施例的限制，其仅出于说明而非限制的目的而被包括。
在本公开的各种实施例中，提供了用于评估用户视力的系统和方法。这样的系统和方法可以用于确定用户与头戴式装置(诸如眼镜(eyeglasses)(或眼镜(spectacles))、太阳镜、虚拟现实耳机、护目镜、安全眼镜、智能眼镜(包括但不限于增强现实眼镜)和其他眼镜)之间的配合质量(诸如眼镜处方)。这样的系统和方法还提供了在家视力测试。
在一个示例中，公开了一种在至少具有处理器、相机和显示屏的移动装置上实现的用于评估用户视力的方法。所述方法可以包括：引导所述用户保持所述移动装置，使得所述用户和所述移动装置的所述显示屏都面向所述用户前方的镜子；使用所述移动装置的所述相机捕获所述移动装置在所述镜子中的反射的至少一个图像；基于至少一个图像将所述用户交互地引导到距所述镜子的预定距离；在确定所述用户与所述镜子相距所述预定距离时，在所述显示屏上呈现材料，其中在所述显示屏上呈现的所述材料用于评估所述用户的视力的至少一个特性；以及响应于在所述显示屏上呈现并在所述镜子中反射的所述材料接收来自所述用户的输入。
在一些方面，所述移动装置可以大致保持在大致竖直、水平和对角取向中的至少一者上。所述相机和所述显示屏可以位于所述移动装置的同一侧。
在一些方面，所述方法可以包括当捕获所述至少一个图像并且所述用户距所述镜子至少当前距离时在所述显示屏上呈现参考图案，以及基于所述相机的焦距、所述至少一个图像和所述参考图案的预定物理尺寸来确定所述用户和所述镜子之间的所述当前距离。可以基于所述当前距离将所述用户交互地引导到距所述镜子的所述预定距离。
在一些方面，确定所述当前距离可以包括预处理所述参考图案以生成包括所述参考图案的至少一个候选形状的二值图像，对所述至少一个图像中的所述参考图案执行定位，以及执行所述参考图案从所述至少一个图像的分割。
在一些方面，所述参考图案可以包括具有固定参考图案的静态纯色图案，并且所述至少一个图像可以包括所述参考图案在所述镜子中的图像反射。预处理所述参考图案可以包括计算所述图像和固定参考颜色之间的逐像素差异以生成差异图像，以及利用预定值对所述差异图像进行逆阈值处理以生成包括所述参考图案的至少一个候选形状的二值图像。
在一些方面，所述参考图案可以具有RGB分量为(0，255，255)的浅绿蓝颜色(aquacolor)，并且可以由黑色边界围绕。
在一些方面，所述参考图案可以包括具有以预定方式随时间变化的参考颜色的动态纯色图案。所述参考图案可以以预定帧速率循环通过多个图像帧，每个图像帧具有不同的颜色。所述至少一个图像可以包括所述参考图案的所述图像帧的完整循环，并且所述图像帧中的每一个可以是在相应时间帧期间所述参考图案在所述镜子中的反射的图像。在当前图像帧预处理所述参考图案可以包括：确定具有与当前图像帧的颜色互补的颜色的过去图像帧，将所述当前图像帧的色调通道与所述过去图像帧的色调通道进行比较以计算色调差，将所述色调差与所述当前图像帧的强度通道相乘以生成差异图像，以及利用预定值对所述差异图像进行阈值处理以生成包括所述参考图案的至少一个候选形状的所述二值图像。
在一些方面，执行所述参考图案的定位可以包括从所述至少一个图像分离所述参考图案的所述至少一个候选形状，基于与所述显示屏上呈现的所述参考图案的形状相关的至少一个标准过滤所述至少一个候选形状，以及基于所述过滤在所述至少一个图像中的每一个中确定包括所述参考图案的形状和围绕所述形状的边界的感兴趣区域(“ROI”)。
在一些方面，所述至少一个标准可以包括相对于封闭矩形的所述参考图案的形状具有在预定面积范围内的面积，所述封闭矩形具有1/3至3之间的纵横比，并且相对于所述封闭矩形的所述形状的填充因子为至少95％。
在一些方面，执行所述参考图案的分割可以包括：计算所述至少一个图像的强度通道的水平和竖直梯度；将所述ROI划分为四个重叠子区域：左子区域、右子区域、顶部子区域和底部子区域；对于所述左子区域和所述右子区域中的每一行，确定所述水平梯度具有最大大小的列，以基于大小阈值生成左边界点和右边界点；对于所述顶部子区域和所述底部子区域中的每一列，确定所述竖直梯度具有最大大小的行，以基于所述大小阈值生成顶部边界点和底部边界点；用线拟合所述边界点以确定所述参考图案的边缘；以及基于拟合线的交点来确定所述参考图案的角部。
在一些方面，确定所述当前距离可以包括基于所述参考图案的所确定边缘和角部来测量以像素为单位的所述参考图案的尺寸，基于以下来计算所述用户和所述镜子之间的所述当前距离：以像素为单位的所述相机的焦距，以像素为单位的所述参考图案的测量的尺寸，以及所述参考图案的预定物理尺寸。
在一些方面，可以基于所述移动装置的所述显示屏的物理尺寸来预先确定所述参考图案的预定物理尺寸。
在一些方面，所述至少一个图像可以包括在所述用户与所述镜子相距所述当前距离时的一个时间帧期间捕获的多个图像。确定所述当前距离可以包括预处理所述多个图像中的每一个中的所述参考图案，执行所述多个图像中的每一个中的所述参考图案的定位，执行所述参考图案从所述多个图像中的每一个的分割以生成多个分割的参考图案，测量以像素为单位的每个分割的参考图案的尺寸，基于以像素为单位的所述相机的焦距，以像素为单位的所述分割的参考图案的测量的尺寸和所述参考图案的预定物理尺寸，相对于每个分割的参考图案确定所述用户和所述镜子之间的估计当前距离，以生成多个估计当前距离，以及基于所述多个估计当前距离的聚合来计算所述用户和所述镜子之间的所述当前距离。所述聚合可以包括基于所述多个估计当前距离来计算平均值、加权平均值或中值。
在一些方面，交互地引导所述用户可以包括：在所述显示屏上呈现所述用户和所述镜子之间的所述当前距离的第一指示，当已到达所述预定距离时向所述用户提供第二指示，向所述用户提供在相对于所述镜子的方向上移动的指令，当所述参考图案的至少一部分被所述用户阻挡时向所述用户提供指令，以及当所述参考图案的至少一部分被所述用户阻挡时自动调整呈现在所述显示屏上的所述参考图案的尺寸。
在一些方面，所述方法可以包括：当所述输入包括所述用户的手势时，使用所述相机记录来自所述用户的所述输入的视频；当所述输入包括所述用户的语音时，使用所述移动装置的麦克风记录来自所述用户的所述输入的音频；以及基于记录的视频和音频来评估所述用户的视力的至少一个特性。
在一些方面，所述预定距离可以是预定距离范围内的距离。
在一些方面，所述预定距离可以与所述预定距离范围内的标称距离不同。
在一些方面，所述方法可以包括基于从所述用户接收的输入来确定所述用户的第一视敏度分数(acuity score)，以及至少部分地基于所述标称距离和所述预定距离的比率来确定所述用户的视敏度校正计算。
在另一示例中，公开了一种移动装置。所述移动装置可以包括：相机；显示屏；包括指令的存储器；以及联接到所述相机的处理器。所述处理器可以配置成执行所述指令以引导用户保持所述移动装置，使得所述用户和所述移动装置的所述显示屏都面向所述用户前方的镜子；使用所述相机捕获所述移动装置在所述镜子中的反射的至少一个图像；基于所述至少一个图像将所述用户交互地引导到距所述镜子的预定距离；在确定所述用户与所述镜子相距所述预定距离时，在所述显示屏上呈现材料；以及响应于在所述显示屏上呈现并在所述镜子中反射的所述材料接收来自所述用户的输入。在所述显示屏上呈现的所述材料可以用于评估所述用户的视力的至少一个特性。
在一些方面，所述移动装置可以由所述用户大致保持在大致竖直、水平和对角取向中的至少一个上，并且可以大致平行于所述镜子。所述相机和所述显示屏可以位于所述移动装置的同一侧。
在一些方面，所述处理器可以配置成执行指令以在捕获所述至少一个图像时并且在所述用户与所述镜子相距当前距离时在所述显示屏上呈现参考图案，并且基于以下来确定所述用户和所述镜子之间的所述当前距离：所述相机的焦距，所述至少一个图像，以及所述参考图案的预定物理尺寸。可以基于所述当前距离将所述用户交互地引导到距所述镜子的所述预定距离。
在一些方面，所述参考图案可以包括具有固定参考颜色的静态纯色图案，并且所述至少一个图像可以包括所述参考图案在所述镜子中的反射的图像。可以基于以下来确定所述当前距离：所述图像和所述固定参考颜色之间的逐像素差异，以生成差异图像，以及利用预定值对所述差异图像进行逆阈值处理以生成包括所述参考图案的至少一个候选形状的二值图像。
在一些方面，所述参考图案可以包括具有以预定方式随时间变化的参考颜色的动态纯色图案，所述参考图案可以以预定帧速率循环通过多个图像帧，每个图像帧具有不同的颜色，所述至少一个图像可以包括所述参考图案的所述图像帧的完整循环，并且所述图像帧中的每一个可以是在相应时间帧期间所述参考图案在所述镜子中的反射的图像。可以基于以下在当前图像帧确定所述当前距离：具有与所述当前图像帧的颜色互补的颜色的过去图像帧，基于所述当前图像帧的色调通道与所述过去图像帧的色调通道的比较的色调差，计算为所述色调差与所述当前图像帧的强度通道的乘积的差异图像，以及基于利用预定值对所述差异图像进行阈值处理生成的包括所述参考图案的至少一个候选形状的二值图像。
在一些方面，所述预定距离可以是预定距离范围内的距离。
在一些实施例中，所述预定距离可以不同于所述预定距离范围内的标称距离。
在一些方面，所述处理器可以配置成执行指令以基于从所述用户接收的输入来确定所述用户的第一视敏度分数，并且至少部分地基于所述标称距离与所述预定距离的比率来确定所述用户的视敏度校正计算。
在又一示例中，公开了一种在至少具有处理器、相机和显示屏的移动装置上实现的用于评估用户视力的方法。所述方法包括：使用所述移动装置的所述相机捕获所述用户的至少一个图像；基于所述至少一个图像将所述用户交互地引导到距所述移动装置的所述显示屏的预定距离；在确定所述用户与所述显示屏相距所述预定距离时，在所述显示屏上呈现材料，其中在所述显示屏上呈现的所述材料用于评估所述用户的视力的至少一个特性；以及响应于在所述显示屏上呈现的所述材料接收来自所述用户的输入。
在又一示例中，公开一种移动装置。所述移动装置可以包括：相机；显示屏；包括指令的存储器；以及联接到所述相机的处理器。所述处理器可以配置成执行所述指令以：使用所述相机捕获所述用户的至少一个图像；基于所述至少一个图像将所述用户交互地引导到距所述显示屏的预定距离；在确定所述用户与所述显示屏相距所述预定距离时，在所述显示屏上呈现材料，以及响应于在所述显示屏上呈现的所述材料接收来自所述用户的输入。在所述显示屏上呈现的所述材料可以用于评估所述用户的视力的至少一个特性。
在一些示例中，一种移动装置可以包括相机、显示屏、包括指令的存储器以及通信地联接到所述相机的处理器。所述处理器可以配置成执行所述指令以使用所述相机捕获用户的至少一个图像，基于所述至少一个图像将所述用户交互地引导到距所述显示屏的预定距离，在确定所述用户与所述显示屏相距所述预定距离时在所述显示屏上呈现用于评估所述用户的视力的至少一个特性的材料，以及响应于在所述显示屏上呈现的所述材料接收来自所述用户的输入。
在一些方面，所述移动装置可以保持抵靠大致竖直表面，所述相机和所述显示屏可以位于所述移动装置的同一侧，并且所述预定距离可以为约10英尺。
在一些方面，所述处理器可以配置成执行所述指令以估计所述用户的至少一个物理长度特征并且基于以下来确定从所述用户到所述移动装置的所述显示屏的当前距离：所述相机的焦距，所述至少一个图像以及所述至少一个物理长度特征。可以基于所述当前距离将所述用户交互地引导到距所述显示屏的所述预定距离。
在一些方面，所述至少一个物理长度特征可以包括所述用户的瞳孔距离(“PD”)。
在一些方面，所述至少一个图像可以包括当所述用户与所述显示屏相距所述当前距离时捕获的图像。可以通过以下方式确定所述当前距离：所述处理器执行指令以确定所述图像中的所述用户的瞳孔之间的以像素为单位的像素PD，并且基于以像素为单位的所述相机的焦距、以像素为单位的所述像素PD和物理PD来计算从所述用户到所述显示屏的所述当前距离。
在一些方面，所述至少一个图像可以包括当所述用户与所述显示屏相距初始距离时捕获的第一图像和当所述用户与所述显示屏相距所述当前距离时捕获的第二图像。所述当前距离可以大于初始距离并且比初始距离更接近所述预定距离。所述处理器可以通过以以下方式执行指令来确定所述当前距离：在所述第一图像中确定所述用户的第一特征的以像素为单位的第一长度和所述用户的第二特征的以像素为单位的第二长度；计算所述第二长度与所述第一长度之间的第一比率；在所述第二图像中确定所述用户的所述第二特征的以像素为单位的第三长度；以及基于以下来计算从所述用户到所述显示屏的所述当前距离：以像素为单位的所述相机的焦距，所述第一比率，以像素为单位的所述第三长度，以及所述第一特征的物理长度。
在一些方面，所述预定距离可以是预定距离范围内的距离，并且可以不同于标称距离。所述处理器可以配置成执行指令以基于从所述用户接收的输入来确定所述用户的第一视敏度分数，并且至少部分地基于所述标称距离与所述预定距离的比率来确定所述用户的视敏度校正计算。
其他概念涉及用于实现关于评估用户视力的本公开的软件。根据该概念，软件产品可以包括至少一个机器可读非暂时性介质和由所述介质承载的信息。由所述介质承载的信息可以是可执行程序代码数据，与所述可执行程序代码关联的参数，和/或与用户相关的信息、请求、内容、或与社交群组相关的信息等。
在一个示例中，公开了一种非暂时性机器可读介质，其上包含有用于评估用户的视力的机器可执行指令。所述机器可执行指令在由移动装置的处理器执行时可以使所述处理器执行一种方法。所述方法可以包括：使用所述移动装置的相机捕获用户的至少一个图像；基于所述至少一个图像将所述用户交互地引导到距所述移动装置的显示屏的预定距离；在确定所述用户与所述显示屏相距所述预定距离时，在所述显示屏上呈现材料；以及响应于在所述显示屏上呈现的所述材料接收来自所述用户的输入。在所述显示屏上呈现的所述材料可以用于评估所述用户的视力的至少一个特性。
在另一示例中，公开了一种非暂时性机器可读介质，其上包含有用于评估用户视力的机器可执行指令。所述机器可执行指令在由移动装置的处理器执行时可以使所述处理器执行一种方法。所述方法可以包括：引导用户保持所述移动装置，使得所述用户和所述移动装置的显示屏都面向所述用户前方的镜子；使用所述移动装置的相机捕获所述移动装置在所述镜子中的反射的至少一个图像；基于所述至少一个图像将所述用户交互地引导到距所述镜子的预定距离；在确定所述用户与所述镜子相距所述预定距离时，在所述显示屏上呈现材料；以及响应于在所述显示屏上呈现并在所述镜子中反射的所述材料接收来自所述用户的输入。在所述显示屏上呈现的所述材料可以用于评估所述用户的视力的至少一个特性。
在一些实施例中，所述预定距离是预定距离范围内的距离，并且不同于标称距离。所述方法可以包括基于从所述用户接收的输入来确定所述用户的第一视敏度分数，并且至少部分地基于所述标称距离与所述预定距离的比率来确定所述用户的视敏度校正计算。
在另一示例中，一种方法可以包括：使用移动装置的相机捕获用户的至少一个图像；基于所述至少一个图像将所述用户交互地引导到距所述移动装置的显示屏预定距离；在确定所述用户与所述显示屏相距所述预定距离时，在所述显示屏上呈现材料；以及响应于在所述显示屏上呈现的所述材料接收来自所述用户的输入。在所述显示屏上呈现的所述材料可以用于评估所述用户的视力的至少一个特性。
在一些实施例中，所述移动装置可以保持抵靠大致竖直表面，并且所述相机和所述显示屏可以位于所述移动装置的同一侧。
在一些方面，所述方法可以包括估计所述用户的至少一个物理长度特征，并且基于所述相机的焦距、所述至少一个图像和所述至少一个物理长度特征来确定从所述用户到所述移动装置的所述显示屏的当前距离。可以基于所述当前距离将所述用户交互地引导到距所述显示屏的所述预定距离。
在一些方面，所述至少一个物理长度特征可以包括所述用户的物理瞳孔距离(“PD”)。
在一些方面，基于以下中的至少一个来估计所述用户的所述物理PD：基于群体的物理PD的预定常数值；基于群体的物理虹膜直径的预定物理虹膜直径、所述至少一个图像中的以像素为单位的测量虹膜直径和所述至少一个图像中的所述用户的测量PD的组合；与所述用户的所述至少一个图像对准的深度图；以及在所述至少一个图像中并且具有作为尺寸参考的已知物理尺寸的对象。
在一些方面，所述至少一个图像可以包括当所述用户与所述显示屏相距所述当前距离时捕获的图像。确定所述当前距离可以包括确定所述图像中的所述用户的瞳孔之间的以像素为单位的像素PD，并且基于以像素为单位的所述相机的焦距、以像素为单位的所述像素PD和所述物理PD来计算从所述用户到所述显示屏的所述当前距离。
在一些方面，所述至少一个图像可以包括多个图像，每个图像在所述用户与所述显示屏相距所述当前距离时被捕获。确定所述当前距离可以包括：在所述多个图像中的每一个中，确定所述用户的瞳孔之间的以像素为单位的像素PD；相对于所述多个图像中的每一个，基于以下来确定从所述用户到所述显示屏的估计当前距离：以像素为单位的所述相机的焦距，以像素为单位的所述像素PD和所述物理PD，以生成多个估计当前距离；以及基于所述多个估计当前距离的聚合来计算从所述用户到所述显示屏的所述当前距离，其中所述聚合包括基于所述多个估计当前距离来计算平均值、加权平均值或中值。
在一些方面，所述至少一个物理长度特征可以包括所述用户的物理肩部宽度(“SW”)。
在一些方面，基于以下中的至少一个来估计所述用户的所述物理SW：基于群体的物理SW的预定常数值；与所述用户的所述至少一个图像对准的深度图，以及在所述至少一个图像中并且具有作为所述物理SW的尺寸参考的已知物理尺寸的对象。
在一些方面，所述至少一个图像可以包括当所述用户与所述显示屏相距所述当前距离时捕获的图像。确定所述当前距离可以包括确定所述图像中的所述用户的以像素为单位的像素SW，并且基于以下来计算从所述用户到所述显示屏的所述当前距离：以像素为单位的所述相机的焦距，以像素为单位的所述像素SW和所述物理SW。
在一些方面，所述至少一个图像可以包括多个图像，每个图像在所述用户与所述显示屏相距所述当前距离时被捕获。确定所述当前距离可以包括在所述多个图像中的每一个中确定所述用户的以像素为单位的像素SW；相对于所述多个图像中的每一个，基于以像素为单位的所述相机的焦距，以像素为单位的所述像素SW和所述物理SW，确定从所述用户到所述显示屏的估计当前距离，以生成多个估计当前距离；以及基于多个估计当前距离的聚合来计算从所述用户到所述显示屏的所述当前距离。所述聚合可以包括基于所述多个估计当前距离来计算平均值、加权平均值或中值。
在一些方面，所述至少一个图像可以包括当所述用户与所述显示屏相距初始距离时捕获的第一图像和当所述用户与所述显示屏相距所述当前距离时捕获的第二图像。所述当前距离可以大于所述初始距离并且比所述初始距离更接近所述预定距离。确定所述距离可以包括：在所述第一图像中确定所述用户的第一特征的以像素为单位的第一长度和所述用户的第二特征的以像素为单位的第二长度；计算所述第二长度与所述第一长度之间的第一比率；在所述第二图像中确定所述用户的所述第二特征的以像素为单位的第三长度；以及基于以下来计算从所述用户到所述显示屏的所述当前距离：以像素为单位的所述相机的焦距，所述第一比率，以像素为单位的所述第三长度，以及所述第一特征的物理长度。
在一些方面，所述至少一个图像可以包括当所述用户与所述显示屏相距初始距离时捕获的第一图像和当所述用户与所述显示屏相距所述当前距离时捕获的第二图像。所述当前距离可以大于所述初始距离并且比所述初始距离更接近所述预定距离。确定所述当前距离可以包括：在所述第一图像中确定所述用户的第一特征的以像素为单位的第一长度和所述用户的第二特征中的相应一个的均以像素为单位的多个第二长度；计算所述多个第二长度中的每一个与所述第一长度之间的相应比率；在所述第二图像中确定所述用户的每个相应第二特征的以像素为单位的相应第三长度；相对于每个相应第二特征，基于以下来确定从所述用户到所述显示屏的估计当前距离：以像素为单位的所述相机的焦距，所述相应比率，以像素为单位的相应第三长度，以及所述第一特征的物理长度，以生成多个估计当前距离；以及基于所述多个估计当前距离的聚合来计算从所述用户到所述显示屏的所述当前距离。所述聚合可以包括基于所述多个估计当前距离来计算平均值、加权平均值或中值。
在一些方面，所述第一特征可以包括所述用户的瞳孔距离(“PD”)，并且所述第二特征可以包括所述用户的肩部宽度、所述用户的头部宽度、所述用户的头部高度和所述用户的身体高度中的至少一个。
在一些方面，可以基于距所述显示屏已知距离处的参考对象的图像来预先确定所述相机的焦距。
在一些方面，交互地引导所述用户可以包括：在所述显示屏上呈现所述用户和所述移动装置之间的所述当前距离的第一指示；当已到达所述预定距离时向所述用户提供第二指示；向所述用户提供在相对于所述显示屏的方向上移动的指令；以及当所述用户的所述至少一个物理长度特征在所述至少一个图像中被阻挡时向所述用户提供指令。
在一些方面，所述预定距离可以是预定距离范围内的距离，并且不同于标称距离。所述方法可以包括基于从所述用户接收的输入来确定所述用户的第一视敏度分数，并且至少部分地基于所述标称距离与所述预定距离的比率来确定所述用户的视敏度校正计算。
在另一示例中，一种非暂时性机器可读介质可以具有包含在其上的机器可执行指令。所述机器可执行指令在由处理器执行时可以使所述处理器执行一种方法。所述方法可以包括：使用移动装置的相机捕获所述用户的至少一个图像；基于所述至少一个图像将所述用户交互地引导到距所述移动装置的显示屏的预定距离；在确定所述用户与所述显示屏相距所述预定距离时，在所述显示屏上呈现用于评估所述用户的视力的至少一个特性的材料；以及响应于在所述显示屏上呈现的所述材料接收来自所述用户的输入。
在一些方面，所述预定距离可以是预定距离范围内的距离，并且不同于标称距离。所述方法可以包括基于从所述用户接收的输入来确定所述用户的第一视敏度分数，并且至少部分地基于所述标称距离与所述预定距离的比率来确定所述用户的视敏度校正计算。
附加的新颖特征将部分地在下面的描述中阐述，并且部分地对于本领域技术人员在检查下面和附图时将变得显而易见，或者可以通过示例的生产或操作来了解。可以通过实践或使用在下面讨论的详细示例中阐述的方法、手段和组合的各个方面来实现和获得本公开的新颖特征。
附图说明
并入本文并形成说明书的一部分的附图示出了本公开的方面，并且与说明书一起进一步用于解释这些方面的原理并使相关领域的技术人员能够制造和使用这些方面。附图仅用于说明目的，示出了示例性非限制性实施例，并且不一定按比例绘制。
本专利或申请文件包含至少一个彩色附图。具有(一个或多个)彩色附图的本专利或专利申请公开的副本将在请求并支付必要费用后由专利局提供。
图1A示出了根据本公开的一些实施例的用于使用移动装置对用户进行视力测试的示例性环境。
图1B示出了根据本公开的一些实施例的移动装置的架构的一个示例。
图2是根据本公开的一些实施例的用于使用移动装置对用户进行视力测试的示例性过程的流程图。
图3示出了根据本公开的一些实施例的用于用户的面部特征定位的示例性方法。
图4示出了根据本公开的一些实施例的用于用户的身体特征定位的示例性方法。
图5示出了根据本公开的一些实施例的用于使用移动装置对用户进行视力测试的另一示例性环境。
图6是根据本公开的一些实施例的用于使用移动装置对用户进行视力测试的另一示例性过程的流程图。
图7示出了根据本公开的一些实施例的用于预处理静态图案而捕获的示例性图像。
图8示出了根据本公开的一些实施例的动态图案的示例性颜色循环。
图9示出了根据本公开的一些实施例的用于预处理动态图案而捕获的示例性图像。
图10示出了根据本公开的一些实施例的在执行参考图案的分割时的示例性可视化。
图11示出了根据本公开的一些实施例的用于检测参考图案的边缘的一个或多个线的示例性拟合。
图12示出了根据本公开的一些实施例的公开的方法的距离估计与基准真值距离(ground truth distance)之间的示例性比较。
图13示出了根据本公开的一些实施例的不同模拟图案长度尺寸的示例性均方误差结果。
图14示出了根据本公开的一些实施例的示例性视力测试屏，其可以在移动装置的显示器上。
具体实施方式
示例性实施例的该描述旨在结合附图阅读，附图被认为是整个书面描述的一部分。除非另外特别说明，否则单数的使用包括复数。除非另有说明，否则“或”的使用意指“和/或”。此外，术语“包括(including)”以及其他形式如“包括(includes)”和“包括(included)”的使用不是限制性的。此外，除非另外特别说明，否则诸如“元件”或“部件”的术语涵盖包括一个单元的元件和部件，以及包括一个以上子单元的元件和部件。另外，本文使用的章节标题仅用于组织目的，并且不应被解释为限制所描述的主题。
如本文所用，术语“约”或“大约”旨在限定其修饰的数值，表示这样的值在误差范围内是可变的。当没有叙述特定的误差范围(例如，对平均值的标准偏差)时，术语“约”或“大约”意指正与其一起使用的数字的数值的加或减10％。例如，“约50％”意指在45％至55％的范围内。范围在本文中可以表示为从“约”或“大约”一个特定值，和/或到“约”或“大约”另一个特定值。当表达这样的范围时，另一实施例包括从一个特定值和/或到另一个特定值。类似地，当通过使用先行词“约”或“大约”将值表示为近似值时，应当理解，该特定值形成另一实施例。将进一步理解，每个范围的端点相对于另一个端点和独立于另一个端点都是重要的。
提供以下描述作为一组代表性示例的可行教导。可以对本文描述的实施例进行许多改变，同时仍然获得有益的结果。下面讨论的一些期望的益处可以通过选择本文讨论的一些特征而不利用其他特征来获得。因此，本文描述的特征的许多修改和改编以及子集是可能的，并且在某些情况下甚至可能是期望的。因此，以下描述被提供为说明性的而非限制性的。
如本文所用，单数冠词如“一个”、“一种”和“该”的使用并不旨在排除该冠词对象的复数，除非上下文另有清楚和明确规定。
本公开提供了用于基于移动装置对用户进行视力测试的方法和系统。在一些实施例中，视力测试应用程序安装在用户的移动装置(例如，智能电话)上以指导用户进行视力测试。遵循来自测试应用程序或智能手机的指令，用户可以首先将智能手机放置在竖直表面上以保持智能手机竖直定位。测试应用程序可以估计从电话到用户的距离，并且交互地将用户引导到距电话的预定目标距离，例如，10英尺或3.3米，以进行视力测试。由于用户倾向于以步或半步的增量移动，因此可能难以让用户移动到精确的距离或期望的位置。在一些实施例中，预定目标距离可以是预定目标区，其可以从期望距离在一个或多个方向上延伸。例如，目标距离可以是10英尺，并且目标区可以是9-11英尺(例如，目标距离周围的一英尺半径)。本领域普通技术人员将理解，目标区可以大于或小于一英尺。如本文所述，测试应用程序可以配置成如果用户在目标区内但不位于目标距离处则调整视敏度分数。
一旦用户达到目标距离，测试应用程序就可以显示测试材料，例如视标，以供用户阅读。测试应用程序可以记录用户的响应，其随后可以由医生或应用程序本身评审。测试过程可以配置成确保在进行视力测试时用户位于目标距离(例如，10英尺或3.3米)处或者位于目标区内，所述目标区位于距电话一定距离处。在一个实施例中，电话的前置相机可以捕获用户的图像，并且可以使用计算机视觉来估计用户距电话的距离。在一个示例中，用户的瞳孔距离可以用作比例参考，并且可以基于捕获图像中的瞳孔位置和比例参考来估计用户距电话的距离。在另一示例中，可以通过测量用户的瞳孔距离与用户身体上的其他长度特征(诸如捕获图像中的用户肩部的宽度)之间的比率来估计用户距电话的距离。
在一些实施例中，可以在用户的移动装置(例如智能电话)上安装另一个视力测试应用程序以指导用户进行视力测试。遵循来自测试应用程序或智能电话的指令，用户定位在距镜子的目标距离(例如，5英尺或1.65米)处，并将智能电话保持抵靠用户的一只眼睛，其中电话的显示屏面向外。在一些实施例中，用户可以位于目标区内，所述目标区可以包括大于和/或小于目标距离的距离。电话可以在显示屏上呈现字母。用露出的眼睛，用户阅读反射在镜子中的字母以进行视力测试。测试过程可以配置成确保用户处于距镜子的指定目标距离处和/或目标区内。用户越靠近指定的目标距离，诸如例如距镜子大约5英尺或大约1.65米，视力测试结果将越准确。然而，如上所述并且如本文更详细描述，测试应用程序可以配置成如果用户位于目标区内，但是没有精确地定位在目标距离处，则确定视敏度校正。在一些实施例中，在用户执行视敏度测试之后但是在临床医师评审视敏度测试的分数之前，应用视敏度校正计算。然而，本领域普通技术人员将理解，可以改变执行视敏度校正计算的时间。
在一个实施例中，可以通过使电话显示特定图案并使用电话的前置相机(其指向镜子)捕获图案的反射的图像来估计用户的距离。当图案的物理尺寸和相机的焦距已知时，测试应用程序可以估计图像中图案的尺寸以确定用户距镜子的距离。通过连续地检测用户距镜子的距离，移动装置可以交互地将用户引导到正确位置(例如，精确地在目标距离处或在目标区内)以进行视力测试。
另外的新颖特征将部分地在下面的描述中阐述，并且部分地对于本领域技术人员在检查下面和附图时将变得显而易见，或者可以通过示例的生产或操作来了解。可以通过实践或使用在下面讨论的详细示例中阐述的方法、手段和组合的各个方面来实现和获得本公开的新颖特征。
图1A示出了根据本公开的实施例的用于使用移动装置110对用户进行视力测试的示例性环境100。如图1A中所示，示例性环境100可以包括站在场所中并且面向竖直定位的移动装置110的用户150。在一些实施例中，移动装置110可以被保持抵靠竖直表面，例如墙壁180。在其他实施例中，移动装置110可以由支撑机构、保持机构、拉动机构或任何固定机构固定，以使移动装置110以竖直取向定位。在其他实施例中，移动装置110可以以水平取向或对角取向定位。在一些实施例中，可以利用移动装置110中的加速度计和/或陀螺仪来评估移动装置110是否处于合适的取向，例如竖直地、水平地或对角地。
如图1A中所示，移动装置110可以包括相机124和显示屏168。相机124和显示屏168可以位于移动装置110的同一侧。移动装置110可以使用相机124捕获用户的图像，并且基于图像的分析来交互地将用户150引导到距显示屏168的预定距离D1。在一些实施例中，预定距离D1可以是约10英尺或约3.3米。
在确定用户150在距显示屏168预定距离D1处(或在目标区内)之后，移动装置110可以在显示屏168上呈现测试材料170。在显示屏168上呈现的材料170的每个项目可以具有用于评估用户视力的至少一个特性的尺寸。在一些实施例中，可以基于用户距显示屏168的估计距离来确定所呈现的项目(例如，视标)的尺寸。当用户不在距显示屏168的目标距离处时，所呈现的项目可以尺寸确定成对向规定的视角，例如，5弧分。然后移动装置110可以响应于在显示屏168上呈现的材料170而从用户150接收输入，并且记录输入用于用户150的视力测试。
在各种实施例中，移动装置110可以包括能够捕获图像和显示字符的任何移动装置。移动装置的示例包括但不限于移动或蜂窝电话、智能电话、个人数字助理(“PDA”)、膝上型计算机、平板计算机、音乐播放器、智能眼镜、智能手表和电子阅读器，仅举几个可能的装置。
图1B是移动装置110的架构的一个示例的框图。如图1B中所示，移动装置110可以包括一个或多个处理器，诸如(一个或多个)处理器102。(一个或多个)处理器102可以是任何中央处理单元(“CPU”)、微处理器、微控制器或用于执行指令的计算装置或电路。(一个或多个)处理器可以连接到通信基础设施104(例如，通信总线、交叉杆或网络)。根据该示例性移动装置110描述了各种软件实施例。
如图1B中所示，移动装置110可以包括显示器168，所述显示器向用户(例如，订户、商业用户、后端用户或其他用户)显示从通信基础设施104(或从未示出的帧缓冲器)接收的图形、视频、文本和其他数据。这样的显示器168的示例包括但不限于LCD屏幕、OLED显示器、电容式触摸屏和等离子体显示器，仅列出几种可能的显示器。移动装置110还可以包括主存储器108，诸如随机存取(“RAM”)存储器，并且还可以包括辅助存储器110。辅助存储器121可以包括更持久的存储器，举例来说，例如硬盘驱动器(“HDD”)112和/或可移动存储驱动器(“RSD”)114，表示磁带驱动器、光盘驱动器、固态驱动器(“SSD”)等。在一些实施例中，可移动存储驱动器114可以以本领域普通技术人员理解的方式从可移动存储单元(“RSU”)116读取和/或写入。可移动存储单元116表示磁带、光盘等，其可以由可移动存储驱动器114读取和写入。如本领域普通技术人员将理解的，可移动存储单元116可以包括其中存储有计算机软件和/或数据的有形和非瞬态机器可读存储介质。
在一些实施例中，辅助存储器110可以包括用于允许将计算机程序或其他指令加载到移动装置110中的其他装置。这样的装置可以包括例如可移动存储单元(“RSU”)118和对应的接口(“RSI”)120。这样的单元118和接口120的示例可以包括可移动存储器芯片(诸如可擦除可编程只读存储器(“EPROM”))、可编程只读存储器(“PROM”))、安全数字(“SD”)卡和相关联的插座，以及允许软件和数据从可移动存储单元118传送到移动装置110的其他可移动存储单元118和接口120。
移动装置110还可以包括扬声器122、振荡器123、相机124、发光二极管(“LED”)125、麦克风126、输入装置128、加速度计(未示出)和全球定位系统(“GPS”)模块129。相机124特征的示例包括但不限于光学图像稳定(“OIS”)、更大的传感器、明亮镜头、4K视频、光学变焦加原始(RAW)图像和HDR、具有多镜头的“散景模式”和多镜头夜间模式。相机124可以包括具有不同功能的一个或多个镜头。作为示例，相机124可以包括超宽传感器、摄远传感器、飞行时间传感器、宏传感器、兆像素(“MP”)传感器和/或深度传感器。如本文所述，相机124不限于单个相机。相机124可以包括相机系统，其包括多个不同类型的相机、传感器等。作为示例，发布了/>相机系统，其包括7MP前置“自拍”相机、红外发射器、红外相机、接近传感器、环境光传感器、泛光照明器和点投影仪，它们协作以获得深度图和关联图像。换句话说，移动装置110的相机124可以具有多个传感器、相机、发射器或其他关联部件，它们作为系统工作以获得供移动装置110使用的图像信息。
输入装置128的示例包括但不限于键盘、按钮、轨迹球或用户可通过其输入数据的任何其他接口或装置。在一些实施例中，输入装置128和显示器168可以集成到同一装置中。例如，显示器168和输入装置128可以是触摸屏，用户通过所述触摸屏使用手指、笔和/或触笔将数据输入到移动装置110中。
移动装置110还可以包括一个或多个通信接口169，其允许软件和数据在移动装置110和外部装置之间传送，举例来说，所述外部装置例如是另一移动装置，或可以通过Wi-Fi或互联网本地或远程连接的计算机。一个或多个通信接口169的示例可以包括但不限于调制解调器、网络接口(诸如以太网卡或无线卡)、通信端口、个人计算机存储卡国际协会(“PCMCIA”)插槽和卡、一个或多个个人组件互连(“PCI”)特快插槽和卡或其任何组合。一个或多个通信接口169还可以包括配置用于短程通信的无线接口，诸如近场通信(“NFC”)、蓝牙或用于经由另一无线通信协议进行通信的其他接口。
通过一个或多个通信接口169传送的软件和数据可以是信号的形式，其可以是电子的、电磁的、光学的或能够被通信接口169接收的其他信号。这些信号可以经由通信路径或信道提供给通信接口169。可以使用电线或电缆、光纤、电话线、蜂窝链路、射频(“RF”)链路或其他通信信道来实现信道。
在本申请中，术语“非暂时性计算机程序介质”和“非暂时性计算机可读介质”是指诸如可移动存储单元116、118或安装在硬盘驱动器112中的硬盘的介质。这些计算机程序产品可以向移动装置110提供软件。计算机程序(也称为“计算机控制逻辑”)可以存储在主存储器108和/或辅助存储器110中。还可以经由一个或多个通信接口169接收计算机程序。当由(一个或多个)处理器102执行时，这样的计算机程序使得移动装置110能够执行本文讨论的方法和系统的特征。
本说明书中描述的主题的实施例可以在系统中实现，所述系统包括例如作为数据服务器的后端部件，或者包括例如应用服务器的中间件部件，或者包括具有图形用户界面或Web浏览器的前端部件(例如，移动装置110)，用户可以通过所述图形用户界面或Web浏览器与本说明书中描述的主题的实现进行交互，或者包括一个或多个这样的后端、中间件或前端部件的任意组合。系统的部件可以通过数字数据通信(例如，通信网络)的任何形式或介质互连。通信网络可以包括数字数据通信的一个或多个通信网络或介质。通信网络的示例包括局域网(“LAN”)、无线LAN、RF网络、NFC网络(例如，“Wi-Fi”网络)、连接多个无线LAN的无线城域网(“MAN”)、(一个或多个)NFC通信链路和广域网(“WAN”)(例如，互联网)及其组合。根据本公开的各种实施例，通信网络可以包括互联网和经由一个或多个通信协议互连的任何一个或多个公共可访问网络，所述通信协议包括但不限于超文本传输协议(“HTTP”)和超文本传输协议安全(“HTTPS”)和安全套接字层/传输层安全(“SSL/TLS”)和传输控制协议/互联网协议(“TCP/IP”)。根据各种实施例的通信协议还可以包括促进使用射频识别(“RFID”)通信和/或NFC的数据传输的协议。此外，通信网络还可以包括一个或多个移动装置网络，诸如GSM或LTE网络或PCS网络，允许移动装置经由适用的通信协议(包括本文描述的那些通信协议)发送和接收数据。
本公开提供了使用单个移动装置而不使用附加装置执行用户的视力测试的方法。为了确保用户被定位在距移动装置的显示器(或显示屏)(诸如显示器168)的期望距离(例如，10英尺、8-12英尺等)处以进行视力测试，可以估计用户的至少一个物理长度特征以确定从用户到移动装置的显示器的当前距离。在一个实施例中，至少一个物理长度特征可以包括用户的物理瞳孔距离(“PD”)。
在一些实施例中，考虑具有PD p的受试者或用户。移动装置(例如移动装置110)可以使用焦距为f像素的相机(例如相机124)来捕获受试者的图像。捕获图像中的受试者的瞳孔之间的距离是以像素为单位的P。然后，可以使用以下等式来确定用户距相机的距离d：
该等式可以例如如下导出。为了使相机与受试者之间的距离d、受试者的PD p以及图像中的瞳孔之间的距离P相关，相机的针孔模型可以被认为如下：
其中(x，y，z)表示世界坐标中的点；(w，v)表示图像坐标中的对应点；K是由下式给出的3×3相机内参矩阵，
其中f是焦距，并且(ox，oy)是主点。在移动装置(诸如智能电话)的情况下，可以从操作系统或校准过程获得内部参数，诸如在Z.Zhang(2000)，“A flexible new techniquefor camera calibration”，IEEE Transactions on Pattern Analysis and MachineIntelligence，22(11)：1330-1134中描述的校准过程，其全部内容通过引用并入本文。[RT]是3×4外参矩阵，其中R是描述相机取向的3×3旋转矩阵，而T是描述相机位置的3×1列向量；并且zc是允许使用齐次坐标的任意常数。
如果沿着正z轴定向相机轴并使用相机中心坐标系，则可以获得R＝I和T＝[0 00]T。如果相机位于距受试者距离d处，并且光轴平分连接受试者瞳孔的线，则瞳孔位于世界坐标(-p/2，0，d)和(p/2，0，d)处。插入上述针孔相机等式，可以获得：
其中(uR，vR)是右瞳孔的图像坐标，并且(uL，υL)是左瞳孔的图像坐标。图像中瞳孔之间的距离由下式给出：
重新排列这些项，可以得到：
在一些实施例中，可以使用表示为X的捕获图像中的不同特征(例如，肩部宽度)来确定距离的距离d。这可能是因为可以比相关距离处的PD更可靠地检测该特征。在这种情况下，可以使用两步的过程。首先，可以从被认为足够接近以使瞳孔和附加特征容易定位的距离捕获图像1。移动装置可以从图像1提取或确定瞳孔之间的距离P1和附加特征长度X1。该特征之间的比率由下式给出：
移动装置可以从被认为接近视力测试的目标距离的距离捕获后续图像，图像2。移动装置可以从图像2提取或确定附加特征长度X2。然后可以通过下式确定距离的距离d：
可以对多个附加特征(y、z等)重复该过程，并且可以组合所得到的距离估计，可能借助从特征测量中的感知置信度导出的加权。
在一个示例中，受试者具有PD p＝60mm，并且移动装置的相机具有焦距f＝1400像素。可以在近距离图像1中捕获受试者。基于图像1，瞳孔之间的距离P1＝105像素和附加特征长度(肩部宽度)X1＝525像素，其分别对应于d1＝800mm的距离和x＝300mm的肩部宽度，给出特征比值r＝5。受试者可以向后移动并远离相机，并且可以相应地捕获图像2。基于图像2，附加特征长度(肩部宽度)X2＝127.3像素。插入上述等式，可以找到距离的距离d＝(5×60×1400)/127.3＝3300mm。
图2是根据本公开的一些实施例的用于使用移动装置(例如，图1A和1B中的移动装置110)对用户进行视力测试的示例性过程200的流程图。
在操作210，可以使用移动装置的相机捕获用户的至少一个图像。
在操作220，可以估计用户的至少一个物理长度特征。
在操作230，可以基于以下来确定从用户到移动装置的显示屏的当前距离：相机的焦距、至少一个图像和至少一个物理长度特征。
在操作240，可以基于当前距离将用户交互地引导到距移动装置的显示屏预定距离。如上所述，预定距离可以是目标距离或目标区内的距离。
在操作250，在确定用户与显示屏相距预定距离时，可以在显示屏上呈现材料。在一些实施例中，在显示屏上呈现的材料可以具有用于评估用户视力的至少一个特性的尺寸。
在操作260，可以响应于在显示屏上呈现的材料接收来自用户的输入；并且输入被记录用于用户的视力测试。可以根据本公开的不同实施例改变图2中所示的操作的顺序。
在一些实施例中，可以基于以下三个步骤来估计用户的距离：(1)PD的估计，(2)身体特征的估计，以及(3)距离的估计。
在一些实施例中，为了将图像导出的长度特征联系于从相机到受试者的距离，可以使用具有已知物理长度的至少一个特征。PD可以是该角色的自然候选者，因为瞳孔是在图像中直接定位的独特特征，并且存在估计PD的几种方式。
第一PD估计技术可以基于恒定的瞳孔距离，假设所有用户具有相同的PD。例如，PD的群体平均值约为62.5mm，并且群体标准偏差为3.5mm。因此可以使用群体平均值作为用户的PD，并估计该假设对距离估计的影响。
第二PD估计技术可以基于解剖学特征在人群中相同的假设。但是在该情况下，解剖学特征可以是虹膜的直径。在一个示例中，可以捕获用户的照片或图像，并且可以使用计算机视觉来定位和分割图像中的虹膜。然后，使用虹膜直径对应于12mm的群体平均值的假设来建立图像中的像素与毫米之间的比例关系。然后该比例可以用于将以像素为单位的瞳孔之间的距离转换为以毫米为单位的PD。0.5mm的群体标准偏差使得能够估计恒定虹膜直径的假设对距离估计的影响。
第三PD估计技术可以使用深度感测相机来捕获与二维(“2D”)图像对准的深度图。参见例如题为“用于测量瞳孔距离的系统和方法及其使用(System and Method forMeasuring Pupillary Distance and Uses Thereof)”的美国专利申请公报第2021/0393121号，其全部内容通过引用并入本文。计算机视觉可以用于定位瞳孔，并且深度图可以用于在三维(“3D”)世界坐标中定位瞳孔。深度图方法相对于建立的基准真值的平均误差为约0.75mm。
另一种PD估计技术可以依赖于使用信用卡作为尺寸参考。与上述PD估计方法不同，可归因于该方法的可变性可能更难以估计。存在若干可能的可变性来源，诸如卡不在与眼睛相同的深度处、卡不平行于图像平面以及分割卡的挑战。在一些实施例中，卡图像可以由订单处理助理(order-processing associate)审查，订单处理助理可以评估图像的质量并接受或拒绝它。
与这些方法相关的可变性总结在下表I中。
表I
用户身体特征的估计可以用于估计用户距离的方法中。近年来，用于定位身体特征的若干软件库已经变得可用。移动装置可以使用软件库来定位受试者的一个或多个身体特征，例如瞳孔距离、肩部宽度、头部高度、头部宽度、身体高度等。在一些实施例中，这些库可以基于卷积神经网络，尽管它们的底层实现不同。图3示出了根据本公开的一些实施例的用于面部特征定位的示例性方法。图4示出了根据本公开的一些实施例的用于身体特征定位的示例性方法。
所有特征定位库可能共有的一个特性是，即使当受试者静止不动时，身体特征的估计位置以及那些特征之间的距离也可能存在小的变化。出于该原因，移动装置可以配置成将多个测量值聚合成单个值，以减轻可变性。该聚合可以采取简单平均或计算中值的形式。这可以是对于特征比r和最终距离d两者的情况。对于30fps的标称帧速率，1秒或30帧的聚合时间可以导致可变性的显著减轻。
可以使用建模来理解公开的方法的行为，其中几个简化假设如下。PD p可以是已知的。观察到的长度特征可以被建模为正态随机变量，其中它们的平均值在标称长度处，并且它们的标准偏差与平均值成比例。瞳孔之间的距离P可以具有μP的平均值和σP＝cPμP的标准偏差。肩部之间的距离X可以具有μX的平均值和σX＝cXμX的标准偏差。受试者的肩部宽度(“SW”)和PD之间的比率r可以通过在N1帧上在距离d1处的P和X的观察进行平均并计算平均值的比率来估计。可以通过在N2帧上的观察进行平均来估计受试者的最终距离d。
可以找到距离估计的属性。例如，可以使用不确定性传播方法将标准偏差评估为目标距离的分数/>
首先，可以考虑距离估计的仅PD版本。在该情况下，唯一的可变性来源可以是目标距离处的瞳孔之间的距离的估计。可以发现：
接下来，可以考虑距离估计的版本，其中移动装置可以估计距离d1处的SW与PD之间的比率并且可以估计目标距离处的肩部之间的距离。比率步骤可能引入可以考虑的另外的可变性来源。总体可变性可以计算为：
在cP＝cN且N1＝N2′的情况下，仅PD方法估计可以具有比SW方法更小的可变性，原因是所有估计量可以具有相同的可变性，并且仅PD方法可以具有更少的估计量。然而，在cX＜cP且1>N2的情况下，SW方法会具有较低的可变性。另外，如果在距离d处无法检测到瞳孔，则SW方法可以提供其中在仅PD方法中原本将没有的选项。在所有这些情况下，可以假设所讨论的随机变量的估计是无偏的，这意味着估计的平均值可以等于随机变量的平均值。这可能导致距离的无偏估计，这在实践中可能不会发生。上述建模没有考虑特征定位库将系统地错误定位身体特征，并且错误定位的性质可能随距离而变化的可能性。
分析来自两个受试者的三个测试视频以确定公开的方法和测试应用的特征和特征检测库的组合。为了确定移动装置(在该情况下，智能电话)上的受试者的相机的视场，并且进而确定焦距，移动装置首先在距图像已知距离处捕获参考对象的图像。然后移动装置捕获具有两段的视频。在第一段中，受试者站在距相机大约0.8米处，使得他们的瞳孔和肩部都在视场中。在第二段中，他们站在3.3米的目标距离处，所述目标距离借助于激光测量来标记。
随后使用仅PD和SW算法处理视频，以便测量目标距离处的距离估计误差。为了隔离特征和特征检测库的效果，使用了受试者的自我报告的PD。在桌面平台上进行测试，理解移动平台上的定位性能将是相当的。在所有情况下，测试视频被分解成单个图像帧的序列，并且基于上述库将图像帧馈送到可执行软件中。单独的特征位置由库返回，有时伴随着特征位置的库的置信度的度量。在提供置信度度量的情况下，丢弃具有低置信度的特征。如果包括长度特征的点可用于给定帧，则它们用于确定该帧的长度特征。结果总结在下表II中，其示出了特征和特征估计库的各种组合的距离估计误差结果。两个受试者标记为A和B，其中受试者B提供两个记录，标记为B1和B2。表单元格标记为*:0-5％；**:5-10％；***:>10％。
表II
1.例如参见：
https://developer.apple.com/documentation/vision/vnDetectFacelandMarksRequest
2.例如参见：
https://developer.apple.com/documentation/vision/vndetecthumanBodyPoseRe quest
3.例如参见：
https://google.github.io/mediapipe/solutions/pose.html
4.例如参见：
https://www.tensorflow.org/lite/examples/pose_estimation/overview
通常，使用的Vision Framework face和Google的MediaPipe的仅PD方法显示出最大的希望。/>的具有肩部特征的Vision Framework body也提供了令人鼓舞的结果，即使在视频A上受试者的一个肩部被毛发遮挡。
本公开提供了基于身体特征的距离估计方法。可能存在一些值得强调和/或考虑的考虑因素。一个考虑因素可以是选择的特征检测库可以在不准确地反映将使用应用程序的条件的数据上进行训练。这可以涵盖用户的外观或他们正在使用应用程序的环境。为了补偿训练和使用之间的偏差，可以在各种条件下用不同的用户样本来测试应用程序。另一个问题可能是身体特征可能被头发或笨重的服装遮挡，这可以通过给用户的指令来减轻。
对于用户来说，找到安全的地方来放置移动装置可能是具有挑战性的，所述安全的地方也具有10英尺或3.3米的空间以使用户能够自由移动。将移动装置放置在距用户这样的距离处还可能使得用户难以听到来自应用程序的音频指令或应用程序难以记录用户的口头响应。虽然可以使用计算机视觉来精确地定位场景中的参考特征，但是该特征可能看起来很小，因此难以在3.3米的距离处定位。
本文公开的系统和方法可以通过使用户保持移动装置并在镜子中观看显示器的反射来克服这些挑战。图5示出了根据本公开的一些实施例的用于使用移动装置对用户进行视力测试的另一示例性环境500。如图5中所示，示例性环境500可以包括站在场所中并且竖直地且平行于镜子590保持移动装置510的用户550。在该示例中，镜子590可以竖直地定位，例如抵靠墙壁580。在一些实施例中，镜子590可以通过支撑机构、保持机构、拉动机构或任何固定机构固定，以使镜子590竖直地定位。
在各种实施例中，移动装置510可以包括能够捕获图像和显示字符的任何移动装置。移动装置的示例包括但不限于移动或蜂窝电话、智能电话、个人数字助理(“PDA”)、膝上型计算机、平板计算机、音乐播放器、智能眼镜、智能手表和电子阅读器，仅举几个可能的装置。在一些实施例中，图5所示的移动装置510可以具有与图1A和1B所示的移动装置110相同的结构，并且还可以包括处理器、相机和显示屏。相机和显示屏可以位于移动装置510的同一侧。因而，当移动装置510引导用户550定位在镜子前方并且使用面向外的移动装置510遮盖用户的一只眼睛时，用户550、移动装置510的相机和显示屏全部都会面向用户550前方的镜子590。
然后移动装置510可以使用相机捕获移动装置在镜子590中的反射的图像，并且基于图像的分析将用户550交互地引导到距镜子590预定距离D2。在一些实施例中，预定距离D2可以是约5英尺或约1.65米。在确定用户550与镜子590相距预定距离D2之后，移动装置510可以在移动装置510的显示屏上呈现测试材料512。在显示屏上呈现的材料512的每个项目可以具有用于评估用户视力的至少一个特性的尺寸。在一些实施例中，可以基于用户距镜子590的估计距离来确定呈现的项目(例如，视标)的尺寸。当用户不在距镜子590的目标距离处时，呈现的项目可以尺寸确定成对向(subtend)规定的视角，例如，1弧分、5弧分或其他视角。移动装置510可以响应于在显示屏上呈现并在镜子590中反射的材料而接收来自用户550的输入，并且可以记录输入用于用户550的视力测试。镜子590中的材料512的反射513可以是在显示屏上呈现的材料512的镜像。
为了确保准确的视敏度结果，可以将用户引导到预定位置或距显示器指定距离处。视力测试要求通常要求用户距测试材料的显示器约3.3米(或约10英尺)。在显示器可以在镜子中反射的情况下，用户可以距镜子3.3/2＝1.65米，因为镜子使用户的有效距离加倍。在一个公开的实施例中，移动装置可以显示已知尺寸的参考图案，并且移动装置的相机可以捕获图案在镜子中的反射。然后可以使用相机的焦距和图案的表观尺寸来计算用户与镜子之间的距离。
图6是根据本公开的一些实施例的用于使用移动装置(例如，图1A和1B中的移动装置110或图5中的移动装置510)对用户进行视力测试的另一示例性过程600的流程图。
在操作610，可以使用移动装置引导用户遮盖用户的一只眼睛，使得用户和移动装置的显示屏都面对用户前方的镜子。
在操作620，可以在移动装置的显示屏上呈现参考图案。
在操作630，可以使用移动装置的相机捕获镜子中的参考图案的反射的至少一个图像。
在操作640，可以基于以下来确定用户和镜子之间的当前距离：相机的焦距、至少一个图像和参考图案的预定物理尺寸。
在操作650，可以基于当前距离将用户交互地引导到距镜子预定距离。如上所述，预定距离可以是目标距离或目标区内的距离或位置。
在操作660，在确定用户与镜子相距预定距离时，可以在显示屏上呈现材料。在一些实施例中，在显示屏上呈现的材料可以具有用于评估用户视力的至少一个特性的尺寸。
在操作670，可以响应于在显示屏上呈现并在镜子中反射的材料而接收来自用户的输入；并且输入被记录用于用户的视力测试。可以根据本公开的不同实施例改变图6中所示的操作的顺序。
在一些实施例中，确定当前距离可以包括预处理参考图案以生成包括参考图案的至少一个候选形状的二值图像；在至少一个图像中执行参考图案的定位；以及执行参考图案从至少一个图像的分割。
参考图案可以设计成呈现易于从杂乱的环境中挑选出来的独特的参考图案。参考图案可以具有允许精确分割的明确限定的边界。存在用于实时图像处理和距离估计的至少两种类型的参考图案。参考图案的一个示例可以包括纯色静态图案。参考图案的另一示例可以包括动态图案，其可以循环通过若干颜色。每个图案的图像可以通过针对该图案定制的过程来处理。
使参考图案独特的一种方法可以是给予它不太可能出现在场景中的颜色。该特性与显示屏发射光而不是反射光的事实相结合，可以使图案易于从背景分割。在一个实施例中，移动装置可以使用由2mm宽的黑色边界围绕的纯浅绿蓝色图案(对应于RGB颜色(0，255，255))。当捕获图像时，移动装置可以计算捕获图像与参考颜色之间的逐像素差异。可以在国际照明委员会L*A*B*(“CIELAB”)颜色空间中计算该差异。在该颜色空间中，点对之间的欧几里德距离对应于它们对应颜色之间的感知差异。然后，可以以具有值25(从300的最大差异中)的逆阈值应用差异图像，以生成候选形状的二值图像。
图7示出了根据本公开的一些实施例的用于预处理静态图案而捕获的示例性图像。如图7中所示，图像710可以是保持显示纯色参考图案的电话的用户的图像；图像720示出了图像像素与参考颜色(RGB(0，255，255))之间的逐像素差异，其中色阶从0(黑色)变为最大差异300(白色)；并且图像730示出了以阈值25对图像720进行逆阈值处理的结果。
使图案在杂乱场景中突出的另一种方式可以是使图像以可预测的方式随时间变化。在一个实施例中，移动装置可以使用具有由2mm宽的黑色边界围绕的随时间变化纯色背景的动态图案。在一个实施例中，当色调变化时，饱和度和亮度可以被设定为最大值。在一个实施例中，动态图案可以以每秒30帧的帧速率循环通过12个不同的帧，使得颜色的完整循环每秒30/12＝2.5个循环发生。在下面的表III中列出了帧颜色的RGB分量，并且在图8中示出了颜色循环，其中标记了索引号。
表III
为了基于动态图案定位电话，可以将当前图像帧的色调通道与来自过去的图像帧进行比较。过去帧可以对应于循环中与当前帧中的颜色互补的颜色。在具有12种颜色的动态图案中，具有与当前帧互补的颜色的帧在过去可以是12/2＝6帧，相当于图8中的圆的相对侧。可以计算互补帧之间的色调差(考虑色调的圆形性质)，并且可以将结果乘以当前帧的强度通道(在0和1之间缩放)，从而确保选择具有大色调差和强强度的区域。为了找到候选形状，可以将门控色调差值与具有90°的值的阈值进行比较。在图9中给出了示例结果，图9示出了根据本公开的一些实施例的用于预处理动态图案而捕获的示例性图像。图9中的两个图像910、920在颜色循环中的相对点处以6帧间隔被捕获。图像930示出了色调差乘以强度通道，其中色阶从0(黑色)变为180°的最大差异(白色)。图像940示出了使用90°的阈值对图像930进行阈值处理的结果。
由于动态图案是闪烁的，因此可以考虑关于光敏性癫痫发作紊乱的可达性指南(accessibility guideline)。在一些实施例中，根据一个指南，闪烁可以每秒发生少于3次。在一些实施例中，动态图案按照指南每秒闪烁2.5次。可以降低图案闪烁频率。然而，如果用户在模式半循环的持续时间(例如，<0.2秒)内显著移动，则移动装置或测试应用程序可能无法定位动态图案。
可以基于来自上述场景的其余部分的容易检测的参考图案执行图案定位。可以使用连通分量标记来分离对应于候选图案位置的形状以定位场景中的图案。在一些实施例中，当图案具有矩形形状时，捕获图像中的图案的部分可以具有非矩形形状。这可能是由于当捕获图像时对图案的遮挡或者显示器不平行于相机的传感器平面。在图像坐标中，相对于捕获的图像中的图案形状的包围矩形可以被定义为完全包围非矩形图案形状的最小可能矩形(具有平行于图像边界的边)。在一些实施例中，可以随后根据一个或多个以下标准来过滤图案形状，如下所述。第一，对于矩形图案，包围矩形的面积可以在500至250000像素之间。这可以防止选择太大或太小的形状。第二，包围矩形的纵横比可以在1/3至3之间。这可以防止选择太宽或太窄的形状。第三，填充因子(即，图案形状的面积除以包围矩形的面积)可以是至少95％。这可以防止选择不是矩形或与期望的矩形形状偏离太多的形状。如果多个候选形状满足这些标准，则可以选择具有最高填充因子的候选形状。可以选择包括尺寸为W×H的包围矩形形状和边界为min(w，h)/2的感兴趣区域(“ROI”)。
在确定图案的近似位置之后，可以由移动装置执行图案分割以确定图案的精确边界。首先，移动装置可以计算强度通道的水平和竖直梯度，如图10中所示，其示出了根据本公开的一些实施例的当执行参考图案的分割时的示例性可视化。如图10中所示，图像1010示出了捕获图像的强度通道；图像1020示出了强度通道的水平梯度的可视化；并且图像1030示出了强度通道的竖直梯度的可视化。
接下来，移动装置可以将ROI细分为四个重叠的子区域：左半部、右半部、顶半部和底半部。然后可以分别搜索这四个区域以寻找图案的左边界、右边界、顶边界和底边界。对于左子区域和右子区域中的每一行，移动装置可以找到水平梯度具有最大大小的列。对于顶部和底部子区域中的每一列，移动装置可以找到竖直梯度具有最大大小的行。如果得到的点具有超过255(最大可能值的四分之一)的梯度大小，则它们被认为是边界点。可以通过在具有最大梯度大小的行/列的邻域中的四个点之间进行插值来以亚像素精度定位边界点。对于每个图案边界，可以使用线拟合过程用线鲁棒地拟合点。然后可以从线交点确定图案的角部。该过程在图11中示出，图11示出了根据本公开的一些实施例的用于检测参考图案的边缘和角部的线的示例性拟合。如图11中所示，可以执行线的鲁棒拟合以检测图案的矩形形状的边缘，所述图案可以是静态图案或动态图案。图11中的小点标识检测到的边界点；连接点的实线标识鲁棒拟合；并且大橙色点1110、1120、1130、1140标识推断的角部位置。
为了确定相机距图案的距离，可以考虑相机的针孔模型，如下：
其中(x，y，z)可以表示世界坐标中的点；(u，v)可以表示图像坐标中的对应点；K是3×3相机内参矩阵(其包括焦距)，[R T]可以是3×4外参矩阵，其中R是描述相机的取向的3×3旋转矩阵，且T可以是描述相机的位置的3×1列向量；并且zc可以是允许使用齐次坐标的任意常数。在不失一般性的情况下，图案驻留在x-y平面中，并且图案的中心可以是世界坐标系的原点。因此针孔相机等式可以变为：
其中w和h可以分别是图案的物理宽度和高度，并且图像坐标上的下标LL、LR、UR、UL可以分别对应于左下角、右下角、右上角和左上角。
因此，除了外参矩阵[R T]之外，等式的所有元素都是已知的。移动装置可以数值求解[R T]并确定距||T||的距离，该距离是给出相对于图案中心的相机位置的向量的长度。在一些实施例中，上述参考图案预处理、参考图案定位、参考图案分割和距离估计中的任何一个或全部可以在移动装置本地执行，或者在计算机或云服务器处远程执行。
已进行实验以表征上述方法的表现。在一个实施例中，进行实验以针对基准真值测量来评估所公开的方法并模拟改变图案尺寸的效果。创建了测试应用程序来显示动态图案并同时记录来自前置相机的视频。测试应用程序安装在安装于三脚架上的移动电话上，所述三脚架放置在几个距离处以执行以下步骤。
首先，使用激光测量来测量距镜子的基准真值距离。激光瞄准放置在镜子上的纸条以防止激光的强反射。其次，打开测试应用程序以记录视频，同时执行上述距离估计方法之一。然后，分析视频以便确定估计距离并将它们与基准真值值进行比较。对于移动电话和镜子之间的不同距离(例如1.4米、1.6米和1.8米)执行相同的过程。结果在图12中示出，图12示出了根据本公开的一些实施例的所公开的方法的距离估计与不同距离处的基准真值距离之间的示例性比较。如图12中所示，在任何测量距离处，百分比误差从不大于2.5％。
虽然当图案不被用户的手遮挡时距离估计方法可以最佳地工作，但是移动装置或测试应用程序可以选择图案的尺寸，使得有足够的空间供用户舒适地抓握电话而不遮挡图案。为了评估在距离估计误差变得不可接受地大之前图案可以有多小，根据一些实施例，使用3.3米的标称距离和焦距，以不同的图案尺寸模拟距离估计方法。为了建模角部定位中的不确定性，真实角部位置被标准偏差为2个像素的正态随机变量扰动。结果在图13中描绘，图13示出了根据本公开的一些实施例的不同模拟图案长度尺寸的示例性均方误差结果。对于每个距离，移动电话执行两个测量：(1)偏差平方，其捕获平均估计与基准真值之间的差异，以及(2)方差，其捕获距离估计偏离其平均值多少。将偏差平方和方差相加以给出均方误差(“MSE”)。将误差分解成偏差和方差是有用的，原因是可以采用不同的策略来减少它们。为了处理方差，移动装置可以配置成在连续帧上求平均以获得更稳定的测量，但这可能将滞后引入到估计中。为了处理偏差，电话可以配置成添加“模糊因子”以进行补偿，但是这可能增加复杂性。为了将测量值映射成更直观的单位，图13中的右侧竖直轴报告了等效百分比误差。
在一些实施例中，在用户位于预定距离(其可以是目标距离或目标区域内的位置)之后，用户可以用每只眼睛阅读视敏度图表，同时用户使用用户的电话(如图5所示)或用户的空闲手遮盖未使用的眼睛。在一些实施例中，视力测试应用程序可以在闭合反馈回路中采用上述距离估计过程，以将用户引导到距镜子1.65米的位置。如果用户太靠近镜子，则应用程序可以配置成指示用户向后移动。如果用户离镜子太远，则应用程序可以配置成指示用户向前移动。应用程序可以配置成使用可以叠加在图案上而不中断距离估计的音频指令和/或视觉指令。在一些实施例中，还可以使用触觉提示。
在一些实施例中，一旦用户就位，应用程序就可以在白色背景上显示单行五个黑色Sloan字母，间隔一个字母宽度。在一些实施例中，字母可以从C、D、H、K、N、O、R、S、V和Z的集合中随机选择，没有字母重复。字母可以尺寸确定成使得它们的高度对应于5弧分的角分辨率，其在3.3米处为4.8mm。字母可以水平反转，使得它们的反射正确地出现，以图14中所示为例，图14示出了根据本公开的一些实施例的示例性视力测试屏幕。在一些实施例中，视力测试屏幕可以具有1125×2346的分辨率，显示密度为458dpi，对应于62.4×135.1mm的屏幕尺寸。在视力测试屏幕上呈现的视标可以是4.8mm高，对应于87像素高。在一些实施例中，如果距离估计过程检测到用户的距离可接受地接近但不完全匹配目标距离(例如，在目标区内)，则可以重新调整视标以更紧密地匹配目标角分辨率。在一些实施例中，当查看视标时，用户可以将一个或多个响应传送到应用程序。移动装置可以分别使用电话的麦克风和相机来捕获视力测试的完整音频和/或视频，或者可以使用语音识别来自动解析用户的响应并计算他们的视敏度。
在一些实施例中，代替Sloan字母，视标可以是Landolt C-不同取向的理想化字母C。为了展示他们的视敏度，用户可以指示开口的位置。这些响应可以经由语音来传达。在一些实施例中，可以使用手势来表达响应，因为这防止用户必须在此刻区分左和右。手势可以由相机记录，并且离线手动解释或使用机器学习自动解释。在一些实施例中，可以使用语音和身体姿势(例如，手、手臂、腿等)的组合来传达用户响应。
移动装置可以记录用户输入并计算视敏度分数。在一些实施例中，移动装置可以将视敏度分数和用户输入两者存储在可以与用户简档或标识符相关联的一个或多个文件或对象中。如本领域普通技术人员将理解的，原始视敏度分数可以从用户输入计算，并且可以基于用户在假定标称视标尺寸和距离的情况下识别的视标的比例和尺寸来计算。
在一些实施例中，可以确定视敏度校正计算并将其应用于视敏度分数。如上文所指出的，视敏度校正计算可以在用户完成测试之后但是在医生、临床医生或其他专业人员复查分数之前应用于视敏度测试分数，但是本领域普通技术人员将理解，视敏度校正计算可以在其他时间被确定。确定视敏度校正计算的一个示例包括根据下式确定角分辨率θ：
其中θ*是标称(或目标)距离d*处的最小分辨率角(MAR)，并且d是用户实际执行视敏度测试的距离。
取上述等式两侧的以10为底的对数，得到：
其中A*是最初测量的视敏度(以logMAR测量)，而A是在距离d处受试者的校正视敏度。
虽然上面已经描述了本公开的各种实施例，但是应当理解，它们仅以示例的方式而不是以限制的方式呈现。同样地，各种图可以描绘示例架构或配置，其被提供以使本领域普通技术人员能够理解本公开的示例性特征和功能。然而，这样的人员将理解，本公开不限于所示的示例架构或配置，而是可以使用各种替代架构和配置来实现。另外，如本领域普通技术人员将理解的，一个实施例的一个或多个特征可以与本文描述的另一实施例的一个或多个特征组合。因此，本公开的广度和范围不应受任何上述示例性实施例的限制。
还应理解，本文中使用诸如“第一”、“第二”等名称对要素的任何引用通常不限制这些要素的数量或顺序。相反，这些名称在本文中用作区分两个或更多个要素或要素的实例的方便手段。因此，对第一要素和第二要素的引用并不意味着仅可以采用两个要素，或者第一要素必须以某种方式在第二要素之前。
本领域普通技术人员将进一步领会，结合本文公开的方面描述的各种说明性逻辑块、模块、处理器、装置、电路、方法和功能中的任何一个可以通过电子硬件(例如，数字实现、模拟实现或两者的组合)、固件、各种形式的程序或包含指令的设计代码(为方便起见，本文可以将其称为“软件”或“软件模块”)或这些技术的任何组合来实现。
为了清楚地说明硬件、固件和软件的这种可互换性，上面已经在其功能方面一般性地描述了各种说明性部件、块、模块、电路和步骤。这样的功能性是实施为硬件、固件还是软件还是这些技术的组合取决于特定应用和强加在整个系统上的设计约束。熟练技术人员可以针对每一特定应用以各种方式实施所描述的功能性，但这样的实施决策不会导致脱离本公开的范围。根据各种实施例，处理器、装置、部件、电路、结构、机器、模块等可以配置成执行本文描述的功能中的一个或多个功能。如本文关于指定操作或功能所使用的术语“配置成”或“配置用于”是指物理地构造、编程、布置和/或格式化以执行指定操作或功能的处理器、装置、部件、电路、结构、机器、模块、信号等。
此外，本领域普通技术人员将理解，本文描述的各种说明性逻辑块、模块、装置、部件和电路可以在集成电路(“IC”)内实现或由集成电路(“IC”)执行，所述集成电路可以包括数字信号处理器(“DSP”)、专用集成电路(“ASIC”)、现场可编程门阵列(“FPGA”)或其他可编程逻辑器件或其任何组合。逻辑块、模块和电路还可以包括天线和/或收发器以与网络内或装置内的各种部件通信。编程为执行本文中的功能的处理器将变成专门编程或专用处理器，并且可以实现为计算装置的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP内核的结合、或用于执行本文中描述的功能的任何其他合适的配置。
如果以软件实现，则可以将功能作为一个或多个指令或代码存储在计算机可读介质上。因此，本文公开的方法或算法的步骤可以实现为存储在计算机可读介质上的软件。计算机可读介质包括计算机存储介质和通信介质两者，所述通信介质包括可以启用以将计算机程序或代码从一处传送到另一处的任何介质。存储介质可以是可由计算机访问的任何可用介质。通过举例而非限制的方式，这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储装置、或者可以用于以指令或数据结构的形式存储期望的程序代码并且可以由计算机访问的任何其他介质。
在本文件中，本文使用的术语“模块”可以指用于执行本文描述的相关功能的软件、固件、硬件和这些元件的任何组合。另外，出于讨论的目的，各种模块被描述为分立模块；然而，对于本领域普通技术人员显而易见的是，可以组合两个或更多个模块以形成执行根据本公开的实施例的相关功能的单个模块。
对于本领域技术人员来说，对本公开中描述的实现方式的各种修改是显而易见的，并且在不脱离本公开的范围的情况下，本文定义的一般原理可以应用于其他实现方式。因此，本公开内容并不旨在限于本文所示出的实现方式，而是符合与本文所公开的新颖特征和原理相一致的最宽范围。

Claims (54)

1.一种在移动装置上实现的用于评估用户的视力的方法，所述移动装置至少具有处理器、相机和显示屏，所述方法包括：
引导所述用户保持所述移动装置，使得所述用户和所述移动装置的所述显示屏都面向镜子；
使用所述移动装置的所述相机捕获所述移动装置在所述镜子中的反射的至少一个图像；
基于所述至少一个图像将所述用户交互地引导到距所述镜子的预定距离；
在确定所述用户与所述镜子相距所述预定距离时，在所述显示屏上呈现材料，其中，在所述显示屏上呈现的所述材料用于评估所述用户的视力的至少一个特性；以及
响应于在所述显示屏上呈现并在所述镜子中反射的所述材料，接收来自所述用户的输入。
2.根据权利要求1所述的方法，其中：
所述移动装置由所述用户大致保持在竖直、水平或对角取向上，并且大致平行于所述镜子；并且
所述相机和所述显示屏位于所述移动装置的同一侧。
3.根据权利要求1所述的方法，还包括：
当捕获所述至少一个图像并且所述用户距所述镜子当前距离时，在所述显示屏上呈现参考图案；以及
基于所述相机的焦距、所述至少一个图像和所述参考图案的预定物理尺寸来确定所述用户和所述镜子之间的所述当前距离，
其中，基于所述当前距离将所述用户交互地引导到距所述镜子的所述预定距离。
4.根据权利要求3所述的方法，其中，确定所述当前距离包括：
预处理所述参考图案以生成包括所述参考图案的至少一个候选形状的二值图像；
对所述至少一个图像中的所述参考图案执行定位；以及
执行所述参考图案从所述至少一个图像的分割。
5.根据权利要求4所述的方法，其中：
所述参考图案包括具有固定参考图案的静态纯色图案；
所述至少一个图像包括所述参考图案在所述镜子中的反射的图像；并且
预处理所述参考图案包括：
计算所述图像和固定参考颜色之间的逐像素差异，以生成差异图像，以及
利用预定值对所述差异图像进行逆阈值处理，以生成包括所述参考图案的至少一个候选形状的二值图像。
6.根据权利要求5所述的方法，其中，所述参考图案具有RGB分量为(0，255，255)的浅绿蓝颜色，并且由黑色边界围绕。
7.根据权利要求4所述的方法，其中：
所述参考图案包括具有以预定方式随时间变化的参考颜色的动态纯色图案；
所述参考图案以预定帧速率循环通过多个图像帧，每个图像帧具有不同的颜色；
所述至少一个图像包括所述参考图案的所述图像帧的完整循环；
所述图像帧中的每一个是在相应时间帧期间所述参考图案在所述镜子中的反射的图像；并且
在当前图像帧预处理所述参考图案包括：
确定具有与所述当前图像帧的颜色互补的颜色的过去图像帧，
将所述当前图像帧的色调通道与所述过去图像帧的色调通道进行比较，以计算色调差异，
将所述色调差异与所述当前图像帧的强度通道相乘，以生成差异图像，以及
利用预定值对所述差异图像进行阈值处理，以生成包括所述参考图案的至少一个候选形状的所述二值图像。
8.根据权利要求4所述的方法，其中，执行所述参考图案的定位包括：
从所述至少一个图像分离所述参考图案的所述至少一个候选形状；
基于与所述显示屏上呈现的所述参考图案的形状相关的至少一个标准，过滤所述至少一个候选形状；以及
基于所述过滤，在所述至少一个图像中的每一个中确定包括所述参考图案的形状和围绕所述形状的边界的感兴趣区域(“ROI”)。
9.根据权利要求8所述的方法，其中，所述至少一个标准包括：
相对于封闭矩形的所述参考图案的形状具有在预定面积范围内的面积；
所述封闭矩形具有1/3至3之间的纵横比；并且
相对于所述封闭矩形的所述形状的填充因子为至少95％。
10.根据权利要求8所述的方法，其中，执行所述参考图案的分割包括：
计算所述至少一个图像的强度通道的水平和竖直梯度；
将所述ROI划分为四个重叠子区域：左子区域、右子区域、顶部子区域和底部子区域；
对于所述左子区域和所述右子区域中的每一行，确定所述水平梯度具有最大大小的列，以基于大小阈值生成左边界点和右边界点；
对于所述顶部子区域和所述底部子区域中的每一列，确定所述竖直梯度具有最大大小的行，以基于所述大小阈值生成顶部边界点和底部边界点；
用线拟合所述边界点，以确定所述参考图案的边缘；以及
基于拟合线的交点来确定所述参考图案的角部。
11.根据权利要求10所述的方法，其中，确定所述当前距离还包括：
基于所述参考图案的所确定边缘和角部来测量以像素为单位的所述参考图案的尺寸；以及
基于以像素为单位的所述相机的焦距、以像素为单位的所述参考图案的测量的尺寸以及所述参考图案的预定物理尺寸，来计算所述用户和所述镜子之间的所述当前距离。
12.根据权利要求11所述的方法，其中，基于所述移动装置的所述显示屏的物理尺寸，来预先确定所述参考图案的预定物理尺寸。
13.根据权利要求3所述的方法，其中：
所述至少一个图像包括在所述用户与所述镜子相距所述当前距离时的一个时间帧期间捕获的多个图像；并且
确定所述当前距离包括：
预处理所述多个图像中的每一个中的所述参考图案，
执行所述多个图像中的每一个中的所述参考图案的定位，
执行所述参考图案从所述多个图像中的每一个的分割，以生成多个分割的参考图案，
测量以像素为单位的每个分割的参考图案的尺寸，
基于以像素为单位的所述相机的焦距、以像素为单位的所述分割的参考图案的测量的尺寸和所述参考图案的预定物理尺寸，相对于每个分割的参考图案确定所述用户和所述镜子之间的估计当前距离，以生成多个估计当前距离，以及
基于所述多个估计当前距离的聚合，来计算所述用户和所述镜子之间的所述当前距离，其中，所述聚合包括基于所述多个估计当前距离来计算平均值、加权平均值或中值。
14.根据权利要求3所述的方法，其中，交互地引导所述用户包括：
在所述显示屏上呈现所述用户和所述镜子之间的所述当前距离的第一指示；
当已到达所述预定距离时，向所述用户提供第二指示；
向所述用户提供在相对于所述镜子的方向上移动的指令；
当所述参考图案的至少一部分被所述用户阻挡时，向所述用户提供指令；以及
当所述参考图案的至少一部分被所述用户阻挡时，自动调整呈现在所述显示屏上的所述参考图案的尺寸。
15.根据权利要求1所述的方法，还包括：
当所述输入包括所述用户的手势时，使用所述相机记录来自所述用户的所述输入的视频；
当所述输入包括所述用户的语音时，使用所述移动装置的麦克风记录来自所述用户的所述输入的音频；以及
基于记录的视频和音频，来评估所述用户的视力的至少一个特性。
16.根据权利要求1所述的方法，其中，所述预定距离是预定距离范围内的距离。
17.根据权利要求16所述的方法，其中，所述预定距离与所述预定距离范围内的标称距离不同。
18.根据权利要求17所述的方法，还包括：
基于从所述用户接收的输入来确定所述用户的第一视敏度分数；以及
至少部分地基于所述标称距离和所述预定距离的比率，来确定所述用户的视敏度校正计算。
19.一种移动装置，所述移动装置包括：
相机；
显示屏；
包括指令的存储器；以及
联接到所述相机的处理器，所述处理器配置成执行所述指令以：
引导用户保持所述移动装置，使得所述用户和所述移动装置的所述显示屏都面向所述用户前方的镜子，
使用所述相机，捕获所述移动装置在所述镜子中的反射的至少一个图像，
基于所述至少一个图像，将所述用户交互地引导到距所述镜子的预定距离，
在确定所述用户与所述镜子相距所述预定距离时，在所述显示屏上呈现材料，其中，在所述显示屏上呈现的所述材料用于评估所述用户的视力的至少一个特性，以及
响应于在所述显示屏上呈现并在所述镜子中反射的所述材料，接收来自所述用户的输入。
20.根据权利要求19所述的移动装置，其中：
所述移动装置由所述用户大致保持在竖直、水平或对角取向上，并且大致平行于所述镜子；并且
所述相机和所述显示屏位于所述移动装置的同一侧。
21.根据权利要求19所述的移动装置，其中，所述处理器还配置成执行指令以：
在捕获所述至少一个图像时并且在所述用户与所述镜子相距当前距离时，在所述显示屏上呈现参考图案；并且
基于所述相机的焦距、所述至少一个图像以及所述参考图案的预定物理尺寸，来确定所述用户和所述镜子之间的所述当前距离，其中，基于所述当前距离，将所述用户交互地引导到距所述镜子的所述预定距离。
22.根据权利要求21所述的移动装置，其中：
所述参考图案包括具有固定参考颜色的静态纯色图案；
所述至少一个图像包括所述参考图案在所述镜子中的反射的图像；并且
基于以下来确定所述当前距离：
所述图像和所述固定参考颜色之间的逐像素差异，以生成差异图像，以及
利用预定值对所述差异图像进行逆阈值处理，以生成包括所述参考图案的至少一个候选形状的二值图像。
23.根据权利要求21所述的移动装置，其中：
所述参考图案包括具有以预定方式随时间变化的参考颜色的动态纯色图案；
所述参考图案以预定帧速率循环通过多个图像帧，每个图像帧具有不同的颜色；
所述至少一个图像包括所述参考图案的所述图像帧的完整循环；
所述图像帧中的每一个是在相应时间帧期间所述参考图案在所述镜子中的反射的图像；并且
基于以下在当前图像帧确定所述当前距离：
具有与所述当前图像帧的颜色互补的颜色的过去图像帧，
基于所述当前图像帧的色调通道与所述过去图像帧的色调通道的比较的色调差异，
计算为所述色调差异与所述当前图像帧的强度通道的乘积的差异图像，以及
基于利用预定值对所述差异图像进行阈值处理而生成的包括所述参考图案的至少一个候选形状的二值图像。
24.根据权利要求19所述的移动装置，其中，所述预定距离是预定距离范围内的距离。
25.根据权利要求24所述的移动装置，其中，所述预定距离不同于所述预定距离范围内的标称距离。
26.根据权利要求25所述的移动装置，其中，所述处理器配置成执行指令以：
基于从所述用户接收的输入来确定所述用户的第一视敏度分数；以及
至少部分地基于所述标称距离与所述预定距离的比率，来确定所述用户的视敏度校正计算。
27.一种非暂时性机器可读介质，其上包含有机器可执行指令，其中，所述机器可执行指令在由处理器执行时使所述处理器执行一种方法，所述方法包括：
引导用户保持移动装置，使得所述用户和所述移动装置的显示屏都面向镜子；
使用所述移动装置的相机捕获所述移动装置在所述镜子中的反射的至少一个图像；
基于所述至少一个图像，将所述用户交互地引导到距所述镜子的预定距离；
在确定所述用户与所述镜子相距所述预定距离时，在所述显示屏上呈现材料，其中，在所述显示屏上呈现的所述材料用于评估所述用户的视力的至少一个特性；以及
响应于在所述显示屏上呈现并在所述镜子中反射的所述材料，接收来自所述用户的输入。
28.根据权利要求27所述的非暂时性机器可读介质，其中，所述预定距离是预定距离范围内的距离，并且所述预定距离不同于标称距离，所述方法包括：
基于从所述用户接收的输入来确定所述用户的第一视敏度分数；以及
至少部分地基于所述标称距离与所述预定距离的比率来确定所述用户的视敏度校正计算。
29.一种方法，所述方法包括：
使用移动装置的相机捕获用户的至少一个图像；
基于所述至少一个图像将所述用户交互地引导到距所述移动装置的显示屏预定距离；
在确定所述用户与所述显示屏相距所述预定距离时，在所述显示屏上呈现材料；以及
响应于在所述显示屏上呈现的所述材料接收来自所述用户的输入，
其中，在所述显示屏上呈现的所述材料用于评估所述用户的视力的至少一个特性。
30.根据权利要求29所述的方法，其中：
所述移动装置保持抵靠大致竖直表面；并且
所述相机和所述显示屏位于所述移动装置的同一侧。
31.根据权利要求29所述的方法，还包括：
估计所述用户的至少一个物理长度特征；并且
基于所述相机的焦距、所述至少一个图像和所述至少一个物理长度特征，来确定从所述用户到所述移动装置的所述显示屏的当前距离，
其中，基于所述当前距离将所述用户交互地引导到距所述显示屏的所述预定距离。
32.根据权利要求31所述的方法，其中，所述至少一个物理长度特征包括所述用户的物理瞳孔距离(“PD”)。
33.根据权利要求32所述的方法，其中，基于以下中的至少一个来估计所述用户的所述物理瞳孔距离：
基于群体的物理瞳孔距离的预定常数值；
基于群体的物理虹膜直径的预定物理虹膜直径、所述至少一个图像中的以像素为单位的测量虹膜直径和所述至少一个图像中的所述用户的测量瞳孔距离的组合；
与所述用户的所述至少一个图像对准的深度图；或
在所述至少一个图像中并且具有作为尺寸参考的已知物理尺寸的对象。
34.根据权利要求32所述的方法，其中：
所述至少一个图像包括当所述用户与所述显示屏相距所述当前距离时捕获的图像；并且
确定所述当前距离包括：
确定所述图像中的所述用户的瞳孔之间的以像素为单位的像素瞳孔距离，并且
基于以像素为单位的所述相机的焦距、以像素为单位的所述像素瞳孔距离和所述物理瞳孔距离，来计算从所述用户到所述显示屏的所述当前距离。
35.根据权利要求32所述的方法，其中：
所述至少一个图像包括多个图像，每个图像在所述用户与所述显示屏相距所述当前距离时被捕获；并且
确定所述当前距离包括：
在所述多个图像中的每一个中，确定所述用户的瞳孔之间的以像素为单位的像素瞳孔距离，
相对于所述多个图像中的每一个，基于以像素为单位的所述相机的焦距、以像素为单位的所述像素瞳孔距离和所述物理瞳孔距离，来确定从所述用户到所述显示屏的估计当前距离，以生成多个估计当前距离；以及
基于所述多个估计当前距离的聚合来计算从所述用户到所述显示屏的所述当前距离，其中，所述聚合包括基于所述多个估计当前距离来计算平均值、加权平均值或中值。
36.根据权利要求31所述的方法，其中，所述至少一个物理长度特征包括所述用户的物理肩部宽度(“SW”)。
37.根据权利要求36所述的方法，其中，基于以下的至少一个来估计所述用户的所述物理肩部宽度：
基于群体的物理肩部宽度的预定常数值；
与所述用户的所述至少一个图像对准的深度图；或
在所述至少一个图像中并且具有作为所述物理肩部宽度的尺寸参考的已知物理尺寸的对象。
38.根据权利要求36所述的方法，其中：
所述至少一个图像包括当所述用户与所述显示屏相距所述当前距离时捕获的图像；并且
确定所述当前距离包括：
确定所述图像中的所述用户的以像素为单位的像素肩部宽度，以及
基于以像素为单位的所述相机的焦距、以像素为单位的所述像素肩部宽度和所述物理肩部宽度，来计算从所述用户到所述显示屏的所述当前距离。
39.根据权利要求36所述的方法，其中：
所述至少一个图像包括多个图像，每个图像在所述用户与所述显示屏相距所述当前距离时被捕获；并且
确定所述当前距离包括：
在所述多个图像中的每一个中，确定所述用户的以像素为单位的像素肩部宽度；
相对于所述多个图像中的每一个，基于以像素为单位的所述相机的焦距、以像素为单位的所述像素肩部宽度和所述物理肩部宽度，确定从所述用户到所述显示屏的估计当前距离，以生成多个估计当前距离，以及
基于所述多个估计当前距离的聚合来计算从所述用户到所述显示屏的所述当前距离，其中，所述聚合包括基于所述多个估计当前距离来计算平均值、加权平均值或中值。
40.根据权利要求31所述的方法，其中，所述至少一个图像包括：
当所述用户与所述显示屏相距初始距离时捕获的第一图像，以及
当所述用户与所述显示屏相距所述当前距离时捕获的第二图像，其中，所述当前距离大于所述初始距离并且比所述初始距离更接近所述预定距离；并且
确定所述当前距离包括：
在所述第一图像中确定所述用户的第一特征的以像素为单位的第一长度和所述用户的第二特征的以像素为单位的第二长度，
计算所述第二长度与所述第一长度之间的第一比率，
在所述第二图像中确定所述用户的所述第二特征的以像素为单位的第三长度，以及
基于以像素为单位的所述相机的焦距、所述第一比率、以像素为单位的所述第三长度以及所述第一特征的物理长度，来计算从所述用户到所述显示屏的所述当前距离。
41.根据权利要求31所述的方法，其中，所述至少一个图像包括：
当所述用户与所述显示屏相距初始距离时捕获的第一图像，以及
当所述用户与所述显示屏相距所述当前距离时捕获的第二图像，其中，所述当前距离大于所述初始距离并且比所述初始距离更接近所述预定距离；并且
确定所述当前距离还包括：
在所述第一图像中确定所述用户的第一特征的以像素为单位的第一长度和所述用户的第二特征中的相应一个的均以像素为单位的多个第二长度，
计算所述多个第二长度中的每一个与所述第一长度之间的相应比率，
在所述第二图像中确定所述用户的每个相应第二特征的以像素为单位的相应第三长度，
相对于每个相应第二特征，基于以像素为单位的所述相机的焦距、所述相应比率、以像素为单位的相应第三长度以及所述第一特征的物理长度，来确定从所述用户到所述显示屏的估计当前距离，以生成多个估计当前距离，以及
基于所述多个估计当前距离的聚合来计算从所述用户到所述显示屏的所述当前距离，其中，所述聚合包括基于所述多个估计当前距离来计算平均值、加权平均值或中值。
42.根据权利要求41所述的方法，其中：
所述第一特征包括所述用户的瞳孔距离(“PD”)；并且
所述第二特征包括所述用户的肩部宽度、所述用户的头部宽度、所述用户的头部高度或者所述用户的身体高度中的至少一个。
43.根据权利要求31所述的方法，其中，基于距所述显示屏已知距离处的参考对象的图像来预先确定所述相机的焦距。
44.根据权利要求31所述的方法，其中，交互地引导所述用户包括：
在所述显示屏上呈现所述用户和所述移动装置之间的所述当前距离的第一指示；
当已到达所述预定距离时向所述用户提供第二指示；
向所述用户提供在相对于所述显示屏的方向上移动的指令；以及
当所述用户的所述至少一个物理长度特征在所述至少一个图像中被阻挡时向所述用户提供指令。
45.根据权利要求29所述的方法，其中，所述预定距离是预定距离范围内的距离，并且不同于标称距离，所述方法包括：
基于从所述用户接收的输入来确定所述用户的第一视敏度分数；以及
至少部分地基于所述标称距离与所述预定距离的比率来确定所述用户的视敏度校正计算。
46.一种移动装置，所述移动装置包括：
相机；
显示屏；
包括指令的存储器；以及
联接到所述相机的处理器，所述处理器配置成执行所述指令以：
使用所述相机捕获用户的至少一个图像，
基于所述至少一个图像将所述用户交互地引导到距所述显示屏的预定距离，
在确定所述用户与所述显示屏相距所述预定距离时，在所述显示屏上呈现用于评估所述用户的视力的至少一个特性的材料，以及
响应于在所述显示屏上呈现的所述材料，接收来自所述用户的输入。
47.根据权利要求46所述的移动装置，其中：
所述移动装置保持抵靠大致竖直表面；
所述相机和所述显示屏位于所述移动装置的同一侧；并且
所述预定距离为约10英尺。
48.根据权利要求46所述的移动装置，其中，所述处理器还执行所述指令以：
估计所述用户的至少一个物理长度特征；以及
基于所述相机的焦距、所述至少一个图像以及所述至少一个物理长度特征，来确定从所述用户到所述移动装置的所述显示屏的当前距离，
其中，基于所述当前距离将所述用户交互地引导到距所述显示屏的所述预定距离。
49.根据权利要求46所述的移动装置，其中，所述至少一个物理长度特征包括所述用户的瞳孔距离(“PD”)。
50.根据权利要求49所述的移动装置，其中：
所述至少一个图像包括当所述用户与所述显示屏相距所述当前距离时捕获的图像；并且
基于以下确定所述当前距离：
确定所述图像中的所述用户的瞳孔之间的以像素为单位的像素瞳孔距离，以及
基于以像素为单位的所述相机的焦距、以像素为单位的所述像素瞳孔距离和所述物理瞳孔距离，来计算从所述用户到所述显示屏的所述当前距离。
51.根据权利要求48所述的移动装置，其中，所述至少一个图像包括：
当所述用户与所述显示屏相距初始距离时捕获的第一图像，以及
当所述用户与所述显示屏相距所述当前距离时捕获的第二图像，其中，所述当前距离大于所述初始距离并且比所述初始距离更接近所述预定距离；并且
基于以下确定所述当前距离：
在所述第一图像中确定所述用户的第一特征的以像素为单位的第一长度和所述用户的第二特征的以像素为单位的第二长度，
计算所述第二长度与所述第一长度之间的第一比率，
在所述第二图像中确定所述用户的所述第二特征的以像素为单位的第三长度，以及
基于以像素为单位的所述相机的焦距、所述第一比率、以像素为单位的所述第三长度以及所述第一特征的物理长度，来计算从所述用户到所述显示屏的所述当前距离。
52.根据权利要求46所述的移动装置，其中，所述预定距离是预定距离范围内的距离，并且所述预定距离不同于标称距离，所述处理器配置成执行指令以：
基于从所述用户接收的输入，来确定所述用户的第一视敏度分数；以及
至少部分地基于所述标称距离与所述预定距离的比率，来确定所述用户的视敏度校正计算。
53.一种非暂时性机器可读介质，其上包含机器可执行指令，其中，所述机器可执行指令在由处理器执行时使所述处理器执行一种方法，所述方法包括：
使用移动装置的相机捕获用户的至少一个图像；
基于所述至少一个图像，将所述用户交互地引导到距所述移动装置的显示屏的预定距离；
在确定所述用户与所述显示屏相距所述预定距离时，在所述显示屏上呈现用于评估所述用户的视力的至少一个特性的材料；以及
响应于在所述显示屏上呈现的所述材料，接收来自所述用户的输入。
54.根据权利要求53所述的非暂时性机器可读介质，其中，所述预定距离是预定距离范围内的距离，并且所述预定距离不同于标称距离，所述方法包括：
基于从所述用户接收的输入来确定所述用户的第一视敏度分数；以及
至少部分地基于所述标称距离与所述预定距离的比率，来确定所述用户的视敏度校正计算。
CN202280048208.3A 2021-07-07 2022-07-06 用于视力测试的系统和方法及其使用 Pending CN117915820A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163219327P 2021-07-07 2021-07-07
US63/219,327 2021-07-07
PCT/US2022/036180 WO2023283217A2 (en) 2021-07-07 2022-07-06 Systems and methods for vision test and uses thereof

Publications (1)

Publication Number Publication Date
CN117915820A true CN117915820A (zh) 2024-04-19

Family

ID=84802081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280048208.3A Pending CN117915820A (zh) 2021-07-07 2022-07-06 用于视力测试的系统和方法及其使用

Country Status (7)

Country Link
US (1) US20230020578A1 (zh)
EP (1) EP4366600A2 (zh)
KR (1) KR20240032107A (zh)
CN (1) CN117915820A (zh)
CA (1) CA3225479A1 (zh)
IL (1) IL309875A (zh)
WO (1) WO2023283217A2 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116421135A (zh) * 2023-04-27 2023-07-14 北京京东拓先科技有限公司 视力测试方法、装置、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI108210B (fi) * 2000-03-24 2001-12-14 Markku Leinonen Menetelmä lukukyvyn mittaamiseksi ja apuväline sitä varten
GB2483168B (en) * 2009-10-13 2013-06-12 Pointgrab Ltd Computer vision gesture based control of a device
US9060718B2 (en) * 2012-02-13 2015-06-23 Massachusetts Institute Of Technology Methods and apparatus for retinal imaging
US9532709B2 (en) * 2015-06-05 2017-01-03 Jand, Inc. System and method for determining distances from an object
BR112023000418A2 (pt) * 2020-07-15 2023-01-31 Essilor Int Método e sistema para avaliação da acuidade visual de uma pessoa

Also Published As

Publication number Publication date
CA3225479A1 (en) 2023-01-12
EP4366600A2 (en) 2024-05-15
IL309875A (en) 2024-03-01
KR20240032107A (ko) 2024-03-08
US20230020578A1 (en) 2023-01-19
WO2023283217A3 (en) 2023-02-23
WO2023283217A2 (en) 2023-01-12

Similar Documents

Publication Publication Date Title
EP3195595B1 (en) Technologies for adjusting a perspective of a captured image for display
US11275453B1 (en) Smart ring for manipulating virtual objects displayed by a wearable device
US12108011B2 (en) Marker-based guided AR experience
US11887246B2 (en) Generating ground truth datasets for virtual reality experiences
JP6984071B1 (ja) 器具なしレンズメータシステム
US20240314461A1 (en) Visual-inertial tracking using rolling shutter cameras
US11508130B2 (en) Augmented reality environment enhancement
US11585724B2 (en) Fixtureless lensmeter system
JP2016530000A (ja) 顔特徴を測定するシステム及び方法
US20230020578A1 (en) Systems and methods for vision test and uses thereof
TWI603225B (zh) 液晶顯示器顯示視角的調整方法和裝置
US20240159621A1 (en) Calibration method of a portable electronic device
US20220103745A1 (en) Image capture eyewear with context-based sending
TW202005600A (zh) 瞳距運算裝置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination