CN114189623B - 基于光场的屈光图形生成方法、装置、设备及存储介质 - Google Patents

基于光场的屈光图形生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114189623B
CN114189623B CN202111023686.2A CN202111023686A CN114189623B CN 114189623 B CN114189623 B CN 114189623B CN 202111023686 A CN202111023686 A CN 202111023686A CN 114189623 B CN114189623 B CN 114189623B
Authority
CN
China
Prior art keywords
information
light field
image
fundus
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111023686.2A
Other languages
English (en)
Other versions
CN114189623A (zh
Inventor
崔焱
郭静云
黄叶权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shengda Tongze Technology Co ltd
Original Assignee
Shenzhen Shengda Tongze Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shengda Tongze Technology Co ltd filed Critical Shenzhen Shengda Tongze Technology Co ltd
Priority to CN202111023686.2A priority Critical patent/CN114189623B/zh
Publication of CN114189623A publication Critical patent/CN114189623A/zh
Application granted granted Critical
Publication of CN114189623B publication Critical patent/CN114189623B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/103—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining refraction, e.g. refractometers, skiascopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明实施例提出的基于光场的屈光图形生成方法、装置、设备以及存储介质，获取所述待测人眼眼底共轭面处的光场信息，所述光场信息为所述光场相机拍摄所述待测人眼的眼底图像时采集得到；基于所述光场信息，计算所述待测人眼眼底共轭面处的深度信息；基于所述深度信息，获得所述待测人眼眼底的屈光信息；基于所述屈光信息，生成所述待测人眼的屈光图形。本申请通过光场相机对待测人眼眼底图像进行一次拍摄，利用算法得出待测人眼的屈光信息，并通过屈光信息生成屈光图形；通过对待测人眼的一次曝光拍摄，抑制了眼睛的时变干扰，从而提高了屈光地图测量准确性，使屈光图形更能够准确反映出待测人眼的真实屈光数据。

Description

基于光场的屈光图形生成方法、装置、设备及存储介质
技术领域
本发明涉及屈光图形生成的技术领域，尤其涉及一种基于光场的屈光图形生成方法、装置、设备及存储介质。
背景技术
周边视网膜区域的屈光信息对近视防控非常重要。运用适当技术准确、快速地对周边屈光状态进行测量评估是并生成直观的屈光地形图，更又有利于对人眼的近视程度进行直观的判断。屈光地形图可用于提前和准确预判近视的发生、发展，科学评估各类近视防控方法的有效性，精准指导角膜塑形镜、多焦点接触镜验配、准分子激光手术等屈光性治疗，从而从根本上控制近视。
现有的屈光地形图获取方法是需要通过移动图像传感器像面，或者改变焦距的方法来获取一系列图像，基于图像序列的分析进行计算获得。或者采用验光仪或者像差仪的机械式扫描，在每个不同的机械位置上，进行相应的图像采集，从而实现大视场角范围的屈光测量。该方法中由于每个深度的眼底照片都需要单独曝光拍摄，需要对眼底进行多次曝光，增加了拍摄时间，一方面对被测者配合度提高了要求，另一方面，多次的曝光对人眼也存在光安全隐患。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种基于光场的屈光图形生成方法，旨在解决现有技术中获取到的屈光图形准确性较低的技术问题。
为实现上述目的，本发明提供一种基于光场的屈光图形生成方法，包括：
获取所述待测人眼眼底共轭面处的光场信息，所述光场信息为所述光场相机拍摄所述待测人眼的眼底图像时采集得到；
基于所述光场信息，计算所述待测人眼眼底共轭面处的深度信息；
基于所述深度信息，获得所述待测人眼眼底的屈光信息；
基于所述屈光信息，生成所述待测人眼的屈光图形。
可选地，所述获取所述待测人眼眼底共轭面处的光场信息的步骤，具体包括：
在所述光场相机拍摄当前待测人眼的眼底图像时，获取光线穿过所述光场相机的微透镜面的第一坐标信息、光线到达所述光场相机的传感器面的第二坐标信息、以及所述光线的强度信息；
基于所述第一坐标信息、所述第二坐标信息和所述强度信息，获取所述眼底图像对应的光场信息。
可选地，所述基于所述光场信息，计算所述待测人眼眼底共轭面处的深度信息的步骤，具体包括：
基于所述光场信息，获得聚焦度不同的第一眼底图像序列；
对所述第一眼底图像序列的聚焦度进行评价，获得所述第一眼底图像序列的清晰度序列；
基于所述清晰度序列，生成对应的清晰度曲线；
计算所述清晰度曲线中清晰度最大值对应的聚焦位置信息；
基于所述聚焦位置信息，获得所述待测人眼眼底共轭面处的深度信息。
可选地，所述基于所述光场信息，计算所述待测人眼眼底共轭面处的深度信息的步骤，具体包括：
基于所述光场信息，获得所述第二坐标信息相同的第二图像序列；
基于预设第一坐标信息，获得所述第二图像序列中的参考图像信息；
基于所述参考图像信息，对所述第二图像序列进行不同程度的偏移，获得多个偏移图像信息；
将所述多个偏移图像信息与所述参考图像信息进行比较，获得相识程度最大的偏移图像；
基于所述偏移图像，获得所述偏移图像对应的偏移量作为视差信息；
基于所述视差信息，获取所述待测人眼眼底共轭面的深度信息。
可选地，所述将所述多个偏移图像信息与所述参考图像信息进行比较，获得相识程度最大的偏移图像的步骤，具体包括：
将所述多个偏移图像信息与所述参考图像信息进行比较，获得多个匹配代价，所述匹配代价为所述偏移图像信息与所述参考图像信息的图像特征差；
获得最小所述匹配代价对应的所述偏移图像信息。
可选地，所述基于所述光场信息，计算所述待测人眼眼底共轭面的深度信息的步骤，具体包括：
基于所述光场信息，获得所述待测人眼眼底共轭面处的光场极线图；
基于所述光场极线图，获得所述眼底图像在水平方向的第一斜率信息和垂直方向上的第二斜率信息；
基于所述第一斜率信息和所述第二斜率信息，获得所述眼底图像在水平方向上的第一视差值信息和垂直方向上的第二视差值信息；
根据所述第一视差值信息和所述第二视差值信息，获得所述待测人眼眼底共轭面处的深度信息。
可选地，所述基于所述深度信息，计算所述眼底的屈光信息的步骤，具体包括：
基于所述成像模块的主透镜参数和所述深度信息，获得所述人眼的屈光信息。
此外，为实现上述目的，本发明实施例还提供一种基于光场的屈光图形生成装置，应用于光场相机，所述基于光场的屈光图形生成装置，具体包括：
光场采集模块，用于获取所述待测人眼眼底共轭面处的光场信息，所述光场信息为所述光场相机拍摄所述待测人眼的眼底图像时采集得到；
第一计算模块：用于基于所述光场信息，计算所述待测人眼眼底共轭面的深度信息；
第二计算模块：用于基于所述深度信息，获得所述待测人眼眼底的屈光信息；
生成模块：用于基于所述屈光信息，生成所述待测人眼的屈光图形。
此外，为实现上述目的，本发明实施例还提供一种终端设备，所述所述终端设备包括处理器，存储器以及存储在所述存储器中的计算机程序，所述计算机程序被处理器运行时实现如上任一项所述基于光场的屈光图形生成方法的步骤。
此外，为实现上述目的，本发明实施例还提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上任一项所述基于光场的屈光图形生成方法的步骤。
本发明实施例提出的基于光场的屈光图形生成方法、装置、设备以及存储介质，获取所述待测人眼眼底共轭面处的光场信息，所述光场信息为所述光场相机拍摄所述待测人眼的眼底图像时采集得到；基于所述光场信息，计算所述待测人眼眼底共轭面处的深度信息；基于所述深度信息，获得所述待测人眼眼底的屈光信息；基于所述屈光信息，生成所述待测人眼的屈光图形。本申请通过光场相机对待测人眼眼底图像进行一次拍摄，利用算法得出待测人眼的屈光信息，并通过屈光信息生成屈光图形；通过对待测人眼的一次曝光拍摄，抑制了眼睛的时变干扰，从而提高了屈光地图测量准确性，使屈光图形更能够准确反映出待测人眼的真实屈光数据。
附图说明
图1为本发明基于光场的屈光图形生成装置的功能模块示意图；
图2为本发明基于光场的屈光图形生成方法一实施例的流程示意图；
图3为本发明中光场相机双平面参数化表征示意图；
图4为本发明中基于微阵透镜的光场相机内部原理示意图；
图5为本发明中基于相机阵列的光场相机内部原理示意图；
图6为本发明中基于编码掩膜的光场相机内部原理示意图；
图7为本发明中光场相机数字重聚焦原理示意图；
图8为本发明中的光场极线示例图；
图9为本发明中眼底图像屈光信息采集原理示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提的主要解决方案是：获取所述待测人眼眼底共轭面处的光场信息，所述光场信息为所述光场相机拍摄所述待测人眼的眼底图像时采集得到；基于所述光场信息，计算所述待测人眼眼底共轭面处的深度信息；基于所述深度信息，获得所述待测人眼眼底的屈光信息；基于所述屈光信息，生成所述待测人眼的屈光图形。本申请通过光场相机对待测人眼眼底图像进行一次拍摄，利用算法得出待测人眼的屈光信息，并通过屈光信息生成屈光图形；通过对待测人眼的一次曝光拍摄，抑制了眼睛的时变干扰，从而提高了屈光地图测量准确性，使屈光图形更能够准确反映出待测人眼的真实屈光数据。
本发明实施例考虑到，相关技术中，获取待测人眼眼底的屈光图形时，需要通过变焦相机对眼底进行不同深度的多次拍摄，通过对清晰度处理来获取眼底区域的屈光分布，由于每个深度的眼底照片都需要单独曝光拍摄，需要对眼底进行多次拍摄，曝光时间较长，拍摄过程中会发生眼睛抖动，瞳孔收缩，影响测量精度，且多次曝光对人眼存在光安全隐患。
基于此，本发明实施例提出一种解决方案，运用光场相机只对待测人眼眼底进行一次曝光拍摄，避免了多次拍摄造成的精度误差，从而更准确的获取到待测人眼的屈光图形。
具体地，参照图1，图1为本发明基于光场的屈光图形生成装置所属终端设备的功能模块示意图。该基于光场的屈光图形生成装置可以为独立于终端设备的、能够进行眼底图像拍摄和数据处理的装置，其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为验光仪等智能移动终端，还可以为固定终端。
本实施例中，该终端应用控制装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。
存储器130中存储有操作系统以及终端应用控制程序，终端应用控制装置可以将拍摄到的眼底图像、拍摄过程中产生的光场数据等信息存储于该存储器130中；输出模块110可为显示屏、扬声器等。通信模块140可以包括WIFI模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。
其中，存储器130中的终端应用控制程序被处理器执行时实现以下步骤：
获取所述待测人眼眼底共轭面处的光场信息，所述光场信息为所述光场相机拍摄所述待测人眼的眼底图像时采集得到；
基于所述光场信息，计算所述待测人眼眼底共轭面处的深度信息；
基于所述深度信息，获得所述待测人眼眼底的屈光信息；
基于所述屈光信息，生成所述待测人眼的屈光图形。
进一步地，存储器130中的终端应用控制程序被处理器执行时实现以下步骤：
在所述光场相机拍摄当前待测人眼的眼底图像时，获取光线穿过所述光场相机的微透镜面的第一坐标信息、光线到达所述光场相机的传感器面的第二坐标信息、以及所述光线的强度信息；
基于所述第一坐标信息、所述第二坐标信息和所述强度信息，获取所述眼底图像对应的光场信息。
进一步地，存储器130中的终端应用控制程序被处理器执行时实现以下步骤：
基于所述光场信息，获得聚焦度不同的第一眼底图像序列；
对所述第一眼底图像序列的聚焦度进行评价，获得所述第一眼底图像序列的清晰度序列；
基于所述清晰度序列，生成对应的清晰度曲线；
计算所述清晰度曲线中清晰度最大值对应的聚焦位置信息；
基于所述聚焦位置信息，获得所述待测人眼眼底共轭面处的深度信息。
进一步地，存储器130中的终端应用控制程序被处理器执行时实现以下步骤：
基于所述光场信息，获得所述第二坐标信息相同的第二图像序列；
基于预设第一坐标信息，获得所述第二图像序列中的参考图像信息；
基于所述参考图像信息，对所述第二图像序列进行不同程度的偏移，获得多个偏移图像信息；
将所述多个偏移图像信息与所述参考图像信息进行比较，获得相识程度最大的偏移图像；
基于所述偏移图像，获得所述偏移图像对应的偏移量作为视差信息；
基于所述视差信息，获取所述待测人眼眼底共轭面的深度信息。
进一步地，存储器130中的终端应用控制程序被处理器执行时实现以下步骤：
将所述多个偏移图像信息与所述参考图像信息进行比较，获得多个匹配代价，所述匹配代价为所述偏移图像信息与所述参考图像信息的图像特征差；
获得最小所述匹配代价对应的所述偏移图像信息。
进一步地，存储器130中的终端应用控制程序被处理器执行时实现以下步骤：
基于所述光场信息，获得所述待测人眼眼底共轭面处的光场极线图；
基于所述光场极线图，获得所述眼底图像在水平方向的第一斜率信息和垂直方向上的第二斜率信息；
基于所述第一斜率信息和所述第二斜率信息，获得所述眼底图像在水平方向上的第一视差值信息和垂直方向上的第二视差值信息；
根据所述第一视差值信息和所述第二视差值信息，获得所述待测人眼眼底共轭面处的深度信息。
进一步地，存储器130中的终端应用控制程序被处理器执行时实现以下步骤：
基于所述成像模块的主透镜参数和所述深度信息，获得所述人眼的屈光信息。
本实施例通过上述方案，获取所述待测人眼眼底共轭面处的光场信息，所述光场信息为所述光场相机拍摄所述待测人眼的眼底图像时采集得到；基于所述光场信息，计算所述待测人眼眼底共轭面处的深度信息；基于所述深度信息，获得所述待测人眼眼底的屈光信息；基于所述屈光信息，生成所述待测人眼的屈光图形。本申请通过光场相机对待测人眼眼底图像进行一次拍摄，利用算法得出待测人眼的屈光信息，并通过屈光信息生成屈光图形；通过对待测人眼的一次曝光拍摄，抑制了眼睛的时变干扰，从而提高了屈光地图测量准确性，使屈光图形更能够准确反映出待测人眼的真实屈光数据。
基于上述终端设备架构但不限于上述架构，提出本发明方法实施例。
参照图2，图2为本发明基于光场的屈光图形生成方法一实施例的流程示意图。所述基于光场的屈光图形生成方法，包括
步骤S100，获取所述待测人眼眼底共轭面处的光场信息，所述光场信息为所述光场相机拍摄所述待测人眼的眼底图像时采集得到；
本实施例方法执行主体可以是一种基于光场的屈光图形生成装置，该屈光图形生成装置设置在PC、手机、平板电脑等移动终端设备上，此外，本实施例方法执行主体也可以是PC、手机等终端设备。本实施例以PC终端进行举例，在PC终端上设置有光场相机和屈光图形计算程序，并连接有外部输入设备例如鼠标、键盘等用于输入启动指令，以及输出设备例如显示器等用于显示屈光图形。
可以理解的是，基于光场的屈光图形生成装置中设置有光场相机，光场相机于屈光图形生成装置通信连接，用于拍摄眼底图像，并将拍摄过程中产生的光场信息传输至屈光图形生成装置，以生成屈光图形。应用光场相机对待测人眼眼底进行一次曝光拍摄，便可记录眼底共轭面附近的光场信息，其中光场信息具体包括眼底光线通过光场相机的微透镜平面和传感器平面的坐标信息，应用坐标信息来表征眼底图像在经过眼底成像系统之后反射出的光线在光场中的位置信息和角度信息，并结合具体光线的强弱度以此来表征反射光线的分布情况。
基于上述步骤S100，参照图3，图3为本发明中光场相机平面参数化表征示意图，提出本发明基于光场的屈光图形生成方法的另一实施例，所述步骤S100，具体包括
步骤S110，在所述光场相机拍摄当前待测人眼的眼底图像时，获取光线穿过所述光场相机的微透镜面的第一坐标信息、到达所述光场相机的传感器面的第二坐标信息、以及所述光线的强度信息；
步骤S120，基于所述第一坐标信息、所述第二坐标信息和所述强度信息，获取所述眼底图像对应的光场信息。
在本实施例中，光场相机双平面参数化表征示意图，在本实施例中，光场相机在对待测人眼的眼底图像进行一次曝光之后，有眼底反射回的光线，由于人的眼底包含有视网膜、脉络膜、视盘等组成，因为天生形态、屈光引导和肌肉牵引等因素，往往呈现个性化的形态；因此反射光线在经过眼底成像系统后，会反射出不同方向、不同强度、不同深度的光线。参照图3，光线穿过光场相机的微透镜平面(u,v)后，记录光线坐标，并以此来表示光场的角度分辨率，同时光线经过微透镜平面折射后，传输至传感器平面(x,y)中，记录传感器平面上的光线坐标，并以此来表征光场的空间分辨率，再结合传感器平面接收到的光线强度信息L，从而获取到眼底图像的光场信息L(x,y,u,v)。应用光场信息对眼底图像的光场分布进行记录，从而获取到眼底图像在光场相机中的分布情况。
在实际应用中，光场相机可以是三种不同的具体实现方式，例如参照图4，图4为本发明基于微透镜阵列的光场相机原理图，基于微透镜阵列的光场相机在进行眼底图像拍摄时，微透镜阵列可以同时捕获眼底共轭面附近光线的位置信息和方向信息。来自眼底某一目标点的各个方向的光线通过眼底成像系统中的主透镜汇聚到一个微透镜上，再通过微透镜阵列将图像传输至成像传感器上。由于光线经过成像系统后折射的方向不同，因此光线经过微透镜散射后，会呈现在对应多个传感器像元上，这些像元共同组成了一个“宏像素”。每个宏像素的坐标对应眼底的几何位置，用(x,y)表示，代表最终图像的空间分辨率。而宏像素中所覆盖的每个探测器像元则代表眼底某一目标点不同视角的信息，用(u,v)表示，代表角度分辨率。因此传感器每个像素的坐标可以用(x,y,u,v)表示，灰度值为L(x,y,u,v)，记录了眼底共轭面附近光场的四维信息。
此外，参照图5所示，图5位基于相机阵列的光场相机成像原理图，在进行曝光拍摄后，眼底处射出的光线从多个角度，经过眼底成像系统，分别进入多个相机镜头阵列，并分别被对应的成像传感器记录。每个相机传感器记录眼底共轭面附近的光场在不同角度的成像数据。如图5所示，眼底某一点A发出的光线，经过眼底成像系统，在各个相机传感器上分别成像，有A1，A2，A3，A4。相机阵列的光场相机得到眼底共轭面附近光场的四维光场信息表示为L(x,y,u,v)，其中(u,v)表示不同的相机，代表不同的视角信息。(x,y)表示每个相机传感器上的像素坐标，对应眼底的几何位置。
此外，参照图6所示，图6为基于编码掩膜的光场相机成像原理图，在传统眼底相机的成像光路中加入一片半透明的编码掩膜，掩膜上每个像素点的光线透过率都不一样，进入光圈的光线在到达成像传感器之前会被掩膜调制，经过掩膜调制后的光线到达成像传感器。利用提前学习好的光场字典，从单幅采集的调制图像就可以重建出完整的眼底共轭面光场，在应用掩膜上的坐标信息和传感器上的接收坐标，即可得到眼底图像的光场分布信息。
步骤S200，基于所述光场信息，计算所述待测人眼眼底共轭面处的深度信息；
可以理解的是，眼底共轭面处的深度信息即为眼底图像光线在经过眼底成像系统和光场相机的微透镜平面后，能够清晰成像的位置信息，即最清晰成像位置坐标信息；结合光场相机中读取到的光场信息L(x,y,u,v)，通过一系列的还原算法即可获取到最清晰成像的成像位置，从而获取到待测人眼眼底共轭面处的深度信息。
基于上述步骤S200，参照图7，图7为本发明中光场相机数字重聚焦原理示意图，提出本发明基于光场的屈光图形生成方法的另一实施例，所述步骤S200，具体包括：
步骤S211，基于所述光场信息，获得聚焦度不同的第一眼底图像序列；
根据光场相机采集到的四维光场信息L(x,y,u,v)，通过公式(1)可以得到传感器成像面处的二维眼底图像信息：
E(x,y)＝∫∫L(x,y,u,v) (1)
应用光场相机数字重聚焦原理，在光场成像系统中，四维光场信息的记录可以采用光线追踪的方式，对光线分布信息进行重采样和适当计算处理得到某一深度目标的清晰图像，其原理如图7所示。
图7中F为初始像距，当新的成像面移动到F'＝αF位置时，利用光线追踪和三角形形似原理，新的成像面处的光线LαF(x,y,u,v)实际上来自于初始成像面LF上某一处，如公式(2)所示。根据公式(1)，在新的成像面处的二维眼底图像信息用公式(3)求得。
LαF(x,y,u,v)＝LF[μ+(x-μ)/α,v+(x-μ)/α，u,v] (2)
EαF(x,y)＝∫∫LαF(x,y,u,v)dudv＝∫∫LF[μ+(x-μ)/α,v+(x-μ)/α，u,v]dudv (3)
其中，α表示不同的像距，通过设置不同的α值，得到不同像面位置F'＝αF，从而获得一系列不同聚焦程度的眼底图像，构成第一眼底图像序列。
步骤S212，对所述第一眼底图像序列的聚焦度进行评价，获得所述第一眼底图像序列的清晰度序列；
针对获取到的第一眼底图像序列结合光场相机中预设的清晰度算法对眼底图像序列中不同的眼底图像进行清晰度评价，具体可根据图像在传感器平面的聚焦成都，并应用评价函数进行评价分析。在实际应用中，可用的评价函数有基于灰度差的均方差函数、平均梯度函数、灰度差绝对值函数、最大灰度差函数、区域对比度函数、梯度能量函数、基于边缘检测的Sobel算子、Prewitt算子及拉普拉斯算子、基于信息论的信息熵函数等。基于评价函数对生成的眼底图像序列进行评价分析，从而获取到各个眼底图像对应的清晰度评价值，构成清晰度评价序列。
步骤S213，基于所述清晰度序列，生成对应的清晰度曲线；
步骤S214，计算所述清晰度曲线中清晰度最大值对应的聚焦位置信息；
根据获得的清晰度序列，生成眼底图像其中一个像素点对应的评价清晰度曲线，通过比较找到评价清晰度最大时对应的眼底图像信息，再根据上述公式(2)和公式(3)从而计算获取到最大清晰度时对应的眼底图像的聚焦位置F'm＝αmF，得到清晰度成像时的像距，也即眼底图像对应的眼底共轭像点的深度信息Z＝F'm。
步骤S215，基于所述聚焦位置信息，获得所述待测人眼眼底共轭面处的深度信息。
根据拍摄到的眼底图像，计算图像上其他像素点对应的眼底共轭像点的深度信息，并进行集合从而获取到待测人眼眼底共轭面的深度信息Z(x,y)。
基于上述步骤S200，提出本发明基于光场的屈光图形生成方法的另一实施例，所述步骤S200，具体包括：
步骤S221，基于所述光场信息，获得所述第二坐标信息相同的第二图像序列；
本实施例中，光场相机在进行一次拍摄时，对拍摄视角预设中心视角区域(uc,vc)，根据视角信息(u,v)对获取到的光场信息L(x,y,u,v)进行重新排列，构成不同视角的二维眼底图像序列I(u，v)(x,y)，并根据第二坐标(x,y)，对不同视角的二维眼底图像序列进行排序，从而获得一组第二坐标(x,y)相同的，不同视角的二维眼底图像序列。
步骤S222，基于预设第一坐标信息，获得所述第二图像序列中的参考图像信息；
针对眼底图像上任一像素点(x,y)，比对预设中心视角区域(uc,vc)从而获得二维眼底图像序列I(u，v)(x,y)中位于中心视角区域的参考图像信息和其余图像信息。
步骤S223，基于所述参考图像信息，对所述第二图像序列进行不同程度的偏移，获得多个偏移图像信息
将图像序列中除参考图像外的其余图像，应用亚像素偏移法，向参考图像进行不同程度的偏移，其中偏移量为预设参数，通过设置不同的偏移量从而得到一系列不同偏移量的偏移图像。
步骤S224，将所述多个偏移图像信息与所述参考图像信息进行比较，获得相识程度最大的偏移图像；
以中心视角图像I(uc，vc)(x,y)作为参考图像，比对偏移图像与参考图像的相似度，具体可根据各个图像的灰度信息、梯度信息或纹理特征等方面计算图像件的相识程度，可以理解的是，可以具体的数值进行相识度评估，通过等式将各个图像的各个参数进行计算，从而获取到相识度的数值，获取偏移图像信息中与参数图像最为相似的图像作为目标图像；
基于上述步骤S224，提出本发明基于光场的屈光图形生成方法的另一实施例，所述步骤S224，具体包括：
步骤S225，将所述多个偏移图像信息与所述参考图像信息进行比较，获得多个匹配代价，所述匹配代价为所述偏移图像信息与所述参考图像信息的图像特征差；
步骤S226，获得最小所述匹配代价对应的所述偏移图像信息。
根据图像信息中的灰度参数、梯度或纹理特征等数值，设置匹配代价来表征偏移图像与参考图像的相似度，如，匹配代价C(x,y,d)可以定义为：
Figure BDA0003240569560000131
其中，T(uc，vc)(x,y)和T’(u，v)(x,y)分别为参考图像和偏移图像在点(x,y)邻域区域内的灰度，梯度或纹理特征。
通过计算匹配，确定匹配代价C最小时的偏移量，获得所述眼底图像的视差信息；
步骤S227，基于所述偏移图像，获得所述偏移图像对应的偏移量作为视差信息；
步骤S228，基于所述视差信息，获取所述待测人眼眼底共轭面的深度信息。
通过相似度对比算法，确定出于参考图像信息最接近的偏移图像信息作为目标图像，并根据亚像素偏移原理，获取偏移图像的偏移量d，作为该像素点的视差值，根据视差值与深度信息的对应关系，结合公式(5)，可以计算出该像素点对应的眼底共轭像点的深度信息。
Z＝Bf/d (5)
其中，B为光场相机或微透镜的间距，f为光场相机或微透镜的焦距，Z为目标像素点的深度值。
通过对眼底图像上的各个点进行相应的转化计算，即可获得待测人眼眼底共轭面处的深度信息Z(x,y)。
基于上述步骤S200，参照图8，图8为本发明中的光场极线示例图，提出本发明基于光场的屈光图形生成方法的另一实施例，所述步骤S200，具体包括：
步骤S231，基于所述光场信息，获得所述待测人眼眼底共轭面处的光场极线图；
将光场中某一个水平和垂直视角上的所有图像的同一行和同一列像素堆叠成二维图像，生成水平方向和垂直方向的光场极线图分别为：
Figure BDA0003240569560000141
即固定四维光场信息L(x,y,u,v)中的两个维度，变化另外两个维度得到的二维切片图像。固定y，v维度时，令y＝y*，v＝v*，得到水平方向的光场极线图；固定x、u维度时，令x＝x*，k＝k*，得到垂直方向的光场极线图。
步骤S232，基于所述光场极线图，获得所述眼底图像在水平方向的第一斜率信息和垂直方向上的第二斜率信息；
针对获得的眼底图像中的任一像素点(x,y)，在水平方向和垂直方向的光场极线图上分别检测对应第一斜率信息SH和第二斜率信息SV。在实际应用中，检测直线斜率的方法可以为结构张量法、模板匹配法和稀疏分解法等。
步骤S233，基于所述第一斜率信息和所述第二斜率信息，获得所述眼底图像在水平方向上的第一视差值信息和垂直方向上的第二视差值信息；
步骤S234，根据所述第一视差值信息和所述第二视差值信息，获得所述待测人眼眼底共轭面处的深度信息
根据获得的第一斜率信息SH和第二斜率信息SV，由公式(7)可以得到该点的两个视差值dH和dV。最终，点(x，y)处的视差为d＝(dH+dV)/2，由公式Z＝Bf/d(5)可以得到该像素点对应的眼底共轭面的深度信息。
dH＝B/SH，dV＝B/SV (7)
其中，B为微透镜或光场相机的间距。
根据上述推导算法，计算出眼底图像上每个像素对应的深度值信息，即可以获得被测眼底共轭面的深度信息Z(x,y)。
步骤S300，基于所述深度信息，获得所述待测人眼眼底的屈光信息。
眼底共轭面的深度值即为眼底光线通过眼底成像系统折射后，在光场相机中呈现的最清晰图像的深度距离，获取到深度信息后，结合成像系统主透镜的相关参数，运用算法即可获取到所述待测人眼眼底的屈光信息。
基于步骤S300，参照图9，图9为本发明中眼底单点屈光信息采集原理图，提出本发明基于光场的屈光图形生成方法另一实施例，所述步骤S300，具体包括：
步骤S310，基于所述成像系统的主透镜参数和所述深度信息，获得所述人眼的屈光信息。
本实施例中，眼底上所有点在成像系统像方形成的面为眼底的成像共轭面，共轭面与不同位置的像面都有交叠，说明眼底上每个点的共轭像点落于前后不同的面上。如图9所示，眼底上三个点A，B，C分别在像方有A’，B’，C’三个共轭像点，三个共轭像点分别落于像距为Z1，Z2，Z3的三个像面上。那么眼底上的点A，B，C会分别在像距Z1，Z2，Z3的像面处成最清晰的像。像距Z与光焦度D有唯一的映射关系，像面Z是光焦度为D的光束的像面，若眼底上的点能在像距Z的像面上清晰成像，说明该点的出射光的光焦度为D。
根据透镜的参数，可以得到眼底屈光度D(x,y)与共轭面深度Z(x,y)的关系，如公式(8)所示，从而可以计算出眼底的屈光信息。
D(x,y)＝Z(x,y)-F/Z(x,y)·F (8)
其中，F为成像系统主透镜的焦距。
步骤S400，基于所述屈光信息，生成所述待测人眼的屈光图形。
根据上述步骤获得的屈光信息，结合屈光图形的预设图形规则，将待测人眼的屈光值绘制到屈光图形中，从而获取到对应的待测人眼的屈光地形图。
本实施例通过上述方案，获取所述待测人眼眼底共轭面处的光场信息，所述光场信息为所述光场相机拍摄所述待测人眼的眼底图像时采集得到；基于所述光场信息，计算所述待测人眼眼底共轭面处的深度信息；基于所述深度信息，获得所述待测人眼眼底的屈光信息；基于所述屈光信息，生成所述待测人眼的屈光图形。本申请通过光场相机对待测人眼眼底图像进行一次拍摄，利用算法得出待测人眼的屈光信息，并通过屈光信息生成屈光图形；通过对待测人眼的一次曝光拍摄，抑制了眼睛的时变干扰，从而提高了屈光地图测量准确性，使屈光图形更能够准确反映出待测人眼的真实屈光数据。
此外，本发明本发明实施例还提出一种基于光场的屈光图形生成装置，应用于光场相机，所述光场相机包括成像模块用于获取待测人眼的眼底图像，所述基于光场的屈光图形生成装置包括：
光场采集模块，用于获取所述待测人眼眼底共轭面处的光场信息，所述光场信息为所述光场相机拍摄所述待测人眼的眼底图像时采集得到；
第一计算模块：用于基于所述光场信息，计算所述待测人眼眼底共轭面的深度信息；
第二计算模块：用于基于所述深度信息，获得所述待测人眼眼底的屈光信息；
生成模块：用于基于所述屈光信息，生成所述待测人眼的屈光图形。
本实施例实现基于光场的屈光图形生成的原理及实施过程，请参照上述各实施例，在此不再赘述。
此外本发明实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的终端应用控制程序，所述终端应用控制程序被所述处理器执行时实现如上实施例所述的基于光场的屈光图形生成方法的步骤。
由于本终端应用控制程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
此外，本发明实施例还提出一种计算机存储介质，所述计算机存储介质上存储有终端应用控制程序，所述终端应用控制程序被处理器执行时实现如上所述的基于光场的屈光图形生成方法的步骤。
由于本终端应用控制程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本发明每个实施例的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种基于光场的屈光图形生成方法，其特征在于，应用于光场相机，所述光场相机包括成像模块用于获取待测人眼的眼底图像，所述基于光场的屈光图形生成方法包括以下步骤：
获取所述待测人眼眼底共轭面处的光场信息，所述光场信息为对所述待测人眼的眼底图像进行一次曝光拍摄采集得到；
基于所述光场信息，计算所述待测人眼眼底共轭面处的深度信息；
基于所述深度信息，获得所述待测人眼眼底的屈光信息；
基于所述屈光信息，生成所述待测人眼的屈光图形；
所述基于所述光场信息，计算所述待测人眼眼底共轭面处的深度信息，包括：
基于所述光场信息，获得第二坐标信息相同的第二图像序列；所述第二坐标信息为光线到达所述光场相机的传感器面的坐标信息；
基于预设第一坐标信息，获得所述第二图像序列中的参考图像信息；
基于所述参考图像信息，对所述第二图像序列进行不同程度的偏移，获得多个偏移图像信息；
将所述多个偏移图像信息与所述参考图像信息进行比较，获得相似程度最大的偏移图像；
基于所述偏移图像，将所述偏移图像对应的偏移量作为视差信息；
基于所述视差信息，获取所述待测人眼眼底共轭面的深度信息。
2.如权利要求1所述的基于光场的屈光图形生成方法，其特征在于，所述将所述多个偏移图像信息与所述参考图像信息进行比较，获得相似程度最大的偏移图像的步骤，具体包括：
将所述多个偏移图像信息与所述参考图像信息进行比较，获得多个匹配代价，所述匹配代价为所述偏移图像信息与所述参考图像信息的图像特征差；
获得最小所述匹配代价对应的所述偏移图像信息。
3.一种基于光场的屈光图形生成装置，其特征在于，应用于光场相机，所述光场相机包括成像模块用于获取待测人眼的眼底图像，所述基于光场的屈光图形生成装置，具体包括：
光场采集模块，用于获取所述待测人眼眼底共轭面处的光场信息，所述光场信息为所述光场相机拍摄所述待测人眼的眼底图像时采集得到；
第一计算模块，用于基于所述光场信息，计算所述待测人眼眼底共轭面的深度信息；
第二计算模块，用于基于所述深度信息，获得所述待测人眼眼底的屈光信息；
生成模块，用于基于所述屈光信息，生成所述待测人眼的屈光图形；
所述第一计算模块还用于基于所述光场信息，获得第二坐标信息相同的第二图像序列；基于预设第一坐标信息，获得所述第二图像序列中的参考图像信息；基于所述参考图像信息，对所述第二图像序列进行不同程度的偏移，获得多个偏移图像信息；将所述多个偏移图像信息与所述参考图像信息进行比较，获得相似程度最大的偏移图像；基于所述偏移图像，获得所述偏移图像对应的偏移量作为视差信息；基于所述视差信息，获取所述待测人眼眼底共轭面的深度信息；所述第二坐标信息为光线到达所述光场相机的传感器面的坐标信息。
4.一种终端设备，其特征在于，所述终端设备包括处理器，存储器以及存储在所述存储器中的计算机程序，所述计算机程序被处理器运行时实现如权利要求1或2所述基于光场的屈光图形生成方法的步骤。
5.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1或2所述基于光场的屈光图形生成方法的步骤。
CN202111023686.2A 2021-09-01 2021-09-01 基于光场的屈光图形生成方法、装置、设备及存储介质 Active CN114189623B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111023686.2A CN114189623B (zh) 2021-09-01 2021-09-01 基于光场的屈光图形生成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111023686.2A CN114189623B (zh) 2021-09-01 2021-09-01 基于光场的屈光图形生成方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114189623A CN114189623A (zh) 2022-03-15
CN114189623B true CN114189623B (zh) 2023-03-24

Family

ID=80539785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111023686.2A Active CN114189623B (zh) 2021-09-01 2021-09-01 基于光场的屈光图形生成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114189623B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116058786B (zh) * 2023-03-06 2023-07-07 北京鹰瞳科技发展股份有限公司 眼底屈光地形图的确定方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106236011A (zh) * 2015-09-17 2016-12-21 北京智谷睿拓技术服务有限公司 眼底图像获取方法和装置、眼底相机
CN110012196A (zh) * 2019-02-22 2019-07-12 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 一种光场相机重聚焦方法
CN110349132A (zh) * 2019-06-25 2019-10-18 武汉纺织大学 一种基于光场相机深度信息提取的织物瑕疵检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9456141B2 (en) * 2013-02-22 2016-09-27 Lytro, Inc. Light-field based autofocus
AU2018241253B2 (en) * 2017-03-30 2022-04-07 Integral Scopes Pty Ltd Ophthalmic imaging apparatus and system
US20210267451A1 (en) * 2018-07-06 2021-09-02 The Johns Hopkins University Computational lightfield ophthalmoscope
CN114828730A (zh) * 2019-12-16 2022-07-29 依视路国际公司 用于确定受试者的第一眼睛和第二眼睛的屈光特征的系统和方法
EP3861923A1 (en) * 2020-02-07 2021-08-11 Essilor International Method for determining at least one parameter of an eye of a person
CN112749610A (zh) * 2020-07-27 2021-05-04 腾讯科技（深圳）有限公司 深度图像、参考结构光图像生成方法、装置及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106236011A (zh) * 2015-09-17 2016-12-21 北京智谷睿拓技术服务有限公司 眼底图像获取方法和装置、眼底相机
CN110012196A (zh) * 2019-02-22 2019-07-12 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 一种光场相机重聚焦方法
CN110349132A (zh) * 2019-06-25 2019-10-18 武汉纺织大学 一种基于光场相机深度信息提取的织物瑕疵检测方法

Also Published As

Publication number Publication date
CN114189623A (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
CN110032278B (zh) 一种人眼感兴趣物体的位姿识别方法、装置及系统
US8366273B2 (en) Iris image definition estimation system using the astigmatism of the corneal reflection of a non-coaxial light source
US8879801B2 (en) Image-based head position tracking method and system
Brolly et al. Implicit calibration of a remote gaze tracker
KR101265377B1 (ko) 태스크-기반의 이미징 시스템
US20150029322A1 (en) Method and computations for calculating an optical axis vector of an imaged eye
JP5158842B2 (ja) 眼球運動計測方法および眼球運動計測装置
CN113808160B (zh) 视线方向追踪方法和装置
US20220100268A1 (en) Eye tracking device and a method thereof
CN113692527B (zh) 用于测量眼镜片的局部屈光力和/或屈光力分布的方法和装置
US20220148218A1 (en) System and method for eye tracking
CN114189623B (zh) 基于光场的屈光图形生成方法、装置、设备及存储介质
CN116958419A (zh) 一种基于波前编码的双目立体视觉三维重建系统和方法
Ahmad et al. 3D reconstruction of gastrointestinal regions using single-view methods
JP3711053B2 (ja) 視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体
CN114980800A (zh) 屈光图形生成方法、装置及计算机可读存储介质
KR20090110348A (ko) 물체 형상 생성 방법, 물체 형상 생성 장치 및 프로그램
US20230284933A1 (en) Portable three-dimensional image measuring device, three-dimensional image measuring method using same, and medical image matching system
CN112528714A (zh) 基于单光源的注视点估计方法、系统、处理器及设备
Ahmad et al. 3D reconstruction of gastrointestinal regions using shape-from-focus
CN116523809B (zh) 一种图像融合装置
KR102543172B1 (ko) 사용자 단말을 통한 인공지능에 기반한 피부진단용 데이터 수집 방법 및 시스템
TWI826988B (zh) 三維影像評估的系統以及方法
Motta et al. 3D papillary image capturing by the stereo fundus camera system for clinical diagnosis on retina and optic nerve
CN117137428A (zh) 眼前节的角膜厚度测量方法、装置、计算机设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant