CN112954296B - 基于双目视觉的眼底对焦方法、系统以及存储介质 - Google Patents

基于双目视觉的眼底对焦方法、系统以及存储介质 Download PDF

Info

Publication number
CN112954296B
CN112954296B CN202110161086.6A CN202110161086A CN112954296B CN 112954296 B CN112954296 B CN 112954296B CN 202110161086 A CN202110161086 A CN 202110161086A CN 112954296 B CN112954296 B CN 112954296B
Authority
CN
China
Prior art keywords
camera
fundus
pupil
distance
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110161086.6A
Other languages
English (en)
Other versions
CN112954296A (zh
Inventor
彭建中
曾亚光
韩定安
王雪花
周月霞
王茗祎
熊红莲
刘奕桦
刘桐生
林浩辉
秦晓萌
李秉尧
李晓
荘梓宽
张艳婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan University
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN202110161086.6A priority Critical patent/CN112954296B/zh
Publication of CN112954296A publication Critical patent/CN112954296A/zh
Application granted granted Critical
Publication of CN112954296B publication Critical patent/CN112954296B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本申请提供一种基于双目视觉的眼底对焦方法、系统以及存储介质。其中，基于双目视觉的眼底对焦方法包括：获取眼底相机的景深范围；建立第一测距相机、第二测距相机以及眼底相机的对应关系；控制第一测距相机以及第二测距相机分别对瞳孔进行图像采集，得到第一瞳孔图像以及第二瞳孔图像；对第一瞳孔图像以及第二瞳孔图像进行处理，并根据第一测距相机、第二测距相机，获取眼底相机与瞳孔之间的距离；根据距离与景深范围的关系，控制眼底相机对眼底信息进行采集。本申请能够实现对瞳孔的自动对焦并能够采集瞳孔的眼底信息。

Description

基于双目视觉的眼底对焦方法、系统以及存储介质
技术领域
本申请涉及医疗领域，具体涉及一种基于双目视觉的眼底对焦方法、系统以及存储介质。
背景技术
人眼视网膜是人体中可以在无创条件下直接观察到血管的组织，光学相干层析成像(oct)是一种新型的三维层析成像技术，通过扫描可以清晰地获得物体的三维图像，适用于眼底图像的拍摄，oct相机作为眼底相机的一种，具有光圈大、景深小的特点。基于机器视觉的测距技术对于oct相机对焦的智能化具有重要意义。
目前研究较多的测距技术是单目，双目和多目测距。而单目测距存在需要固定参照物、精度较低的特点，多目测距则存在操作较为繁琐、测量难度较大的问题，两种方法均不适用于用作oct相机的对焦。
现有技术中大多采用人工对焦方法，由于复杂的视网膜组织和对焦期间眼球可能出现的不断移动情况，人工对调焦过程难以把控，难以保证视网膜图像质量，且一般对于人工对焦方法的改进为通过拍摄不同位置的视网膜图像，测量各张图像的清晰度，基于清晰度调整对焦镜头的位置，再根据清晰度变化趋势确定系统的移动方向，把清晰度最高的图像确定为最佳的拍摄位置，此方法在实际拍摄过程中需要识别多张不同位置的视网膜图片，耗时较长，且在图像虚化严重时，移动眼底相机难以分析清晰度变化趋势，装置的稳定性较差，不利于实行大规模的眼底筛查。
发明内容
本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种基于双目视觉的眼底对焦方法，能够实现对瞳孔的自动对焦并能够采集瞳孔的眼底信息。
根据本申请第一方面实施例的基于双目视觉的眼底对焦方法，包括以下步骤：
获取眼底相机的景深范围；
建立第一测距相机、第二测距相机以及眼底相机的对应关系；
控制第一测距相机以及第二测距相机分别对瞳孔进行图像采集，得到第一瞳孔图像以及第二瞳孔图像；
对所述第一瞳孔图像以及所述第二瞳孔图像进行处理，得到所述第一瞳孔图像的第一圆心在像素坐标系中的坐标以及第二瞳孔图像的第二圆心在像素坐标系中的坐标；
根据所述第一测距相机、第二测距相机以及眼底相机的对应关系、所述第一圆心以及所述第二圆心在像素坐标系中的坐标，获取所述眼底相机与瞳孔之间的距离；
根据所述距离与所述景深范围的关系，控制所述眼底相机对眼底信息进行采集。
根据本申请第一方面实施例的基于双目视觉的眼底对焦方法，至少具有如下有益效果：控制第一测距相机以及第二测距相机分别对瞳孔进行图像采集，并将采集到的第一瞳孔图像以及第二瞳孔图像进行处理，根据第一测距相机、第二测距相机以及眼底相机的对应关系，得到眼底相机与瞳孔之间的距离，根据眼底相机与瞳孔的距离与景深范围的关系，对瞳孔进行调焦过程；控制眼底相机对眼底信息进行采集，完成眼底信息的采集过程。
根据本申请的一些实施例，基于双目视觉的眼底对焦方法还包括以下步骤：对所述第一测距相机进行标定，获取所述第一测距相机的内外参数以及畸变矩阵；对所述第二测距相机进行标定，获取所述第二测距相机的内外参数以及畸变矩阵。
根据本申请的一些实施例，所述根据所述距离与所述景深范围的关系，控制所述眼底相机对眼底信息进行采集，包括以下步骤：若所述距离在所述景深范围内，控制所述眼底相机对眼底信息进行采集；若所述距离在所述景深范围外，调整所述眼底相机的位置，以使所述距离在所述景深范围内，控制所述眼底相机对眼底信息进行采集。
根据本申请的一些实施例，所述对所述第一瞳孔图像以及所述第二瞳孔图像进行处理，得到所述第一瞳孔图像的第一圆心在像素坐标系中的坐标以及第二瞳孔图像的第二圆心在像素坐标系中的坐标，包括以下步骤：对所述第一瞳孔图像进行中值滤波以及反向二值图处理，得到与背景分离开的第一分离图像；检测所述第一分离图像的瞳孔边缘，并得到瞳孔的第一质心点；以所述第一质心点为种子点进行区域生长，得到第一生长区域；采用霍夫圆变换拟合所述第一生长区域，得到所述第一生长区域的第一圆心在像素坐标系中的坐标。
根据本申请的一些实施例，所述对所述第一瞳孔图像以及所述第二瞳孔图像进行处理，得到所述第一瞳孔图像的第一圆心在像素坐标系中的坐标以及第二瞳孔图像的第二圆心在像素坐标系中的坐标，还包括以下步骤：对所述第二瞳孔图像进行中值滤波以及反向二值图处理，得到与背景分离开的第二分离图像；检测所述第二分离图像的瞳孔边缘，并得到瞳孔的第二质心点；以所述第二质心点为种子点进行区域生长，得到第二生长区域；采用霍夫圆变换拟合所述第二生长区域，得到所述第二生长区域的第二圆心在像素坐标系中的坐标。
根据本申请的一些实施例，所述建立第一测距相机、第二测距相机以及眼底相机的对应关系为所述眼底相机的光心、所述第一测距相机的光心以及所述第二测距相机的光心位于同一直线上。
根据本申请的一些实施例，所述根据所述第一测距相机、第二测距相机以及眼底相机的对应关系、所述第一圆心以及所述第二圆心在像素坐标系中的坐标，获取所述眼底相机与瞳孔之间的距离，包括以下步骤：获取所述第一测距相机与所述第二测距相机的视差；其中，所述视差为所述视差为所述第一圆心的横坐标与所述第二圆心的横坐标的差值；根据所述视差，得到所述第一测距相机与所述第二测距相机的连线到所述瞳孔的距离；根据所述第一测距相机与所述第二测距相机的连线到所述瞳孔的距离，以及所述第一测距相机、第二测距相机以及眼底相机的对应关系，得到所述眼底相机与瞳孔的距离。
根据本申请第二方面实施例的基于双目视觉的眼底对焦系统，包括：
至少一个处理器，以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请第一方面实施例所述的基于双目视觉的眼底对焦方法。
根据本申请的第三方面实施例的计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如本申请第一方面实施例所述的基于双目视觉的眼底对焦方法。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
下面结合附图和实施例对本申请做进一步的说明，其中：
图1为本申请实施例的基于双目视觉的眼底对焦方法的步骤流程图；
图2为本申请实施例的基于双目视觉的眼底对焦方法的步骤流程图；
图3为本申请实施例的的根据距离与景深范围的关系，控制眼底相机对眼底信息进行采集的步骤流程图；
图4为本申请实施例的获取第一瞳孔图像的第一圆心在像素坐标系中的坐标的步骤流程图；
图5为本申请实施例的获取第二瞳孔图像的第二圆心在像素坐标系中的坐标的步骤流程图；
图6为本申请实施例的获取眼底相机与瞳孔之间的距离的步骤流程图；
图7为本申请实施例的基于双目视觉的眼底对焦系统的示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
在本申请的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
在本申请的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本申请的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本申请中的具体含义。
为了对本申请的技术特征、目的和效果有更加清晰的理解，先对照附图详细说明本申请的具体实施方式。
请参阅图1，本申请提供一种基于双目视觉的眼底对焦方法，包括以下步骤：
步骤S100，获取眼底相机的景深范围；
步骤S200，建立第一测距相机、第二测距相机以及眼底相机的对应关系；
步骤S300，控制第一测距相机以及第二测距相机分别对瞳孔进行图像采集，得到第一瞳孔图像以及第二瞳孔图像；
步骤S400，对第一瞳孔图像以及第二瞳孔图像进行处理，得到第一瞳孔图像的第一圆心在像素坐标系中的坐标以及第二瞳孔图像的第二圆心在像素坐标系中的坐标；
步骤S500，根据第一测距相机、第二测距相机以及眼底相机的对应关系、第一圆心以及第二圆心在像素坐标系中的坐标，获取眼底相机与瞳孔之间的距离；
步骤S600，根据距离与景深范围的关系，控制眼底相机对眼底信息进行采集。
具体地，控制第一测距相机以及第二测距相机分别对瞳孔进行图像采集，得到拍摄到瞳孔的第一瞳孔图像以及第二瞳孔图像，并将得到的第一瞳孔图像以及第二瞳孔图像进行处理，根据第一测距相机、第二测距相机以及眼底相机的对应关系，得到眼底相机与瞳孔之间的距离，根据眼底相机与瞳孔的距离与景深范围的关系，对瞳孔进行调焦过程；控制眼底相机对眼底信息进行采集，完成眼底信息的采集过程。
请参阅图2，基于双目视觉的眼底对焦方法还包括以下步骤：
步骤S710，对第一测距相机进行标定，获取第一测距相机的内外参数以及畸变矩阵；
步骤S720，对第二测距相机进行标定，获取第二测距相机的内外参数以及畸变矩阵。
具体地，设置棋盘格大小为3mm*3mm，并设定空间任意一点在像素坐标系的坐标为(u，v)，其在世界坐标系中对应的坐标为(Xw，Yw，Zw)；控制第一测距相机以及第二测距相机拍摄若干组不同位姿的棋盘格的图片，得到若干张第一标定图像以及若干张第二标定图像；使用matlab标定工具箱检测第一标定图像的每个角点在像素坐标系的坐标以及在世界坐标系的坐标，根据像素坐标系与世界坐标系的对应关系式，计算得到第一测距相机的内外参数以及畸变矩阵，以及使用matlab标定工具箱检测第二标定图像的每个角点在像素坐标系的坐标以及在世界坐标系的坐标，根据像素坐标系与世界坐标系的对应关系式，计算得到第二测距相机的内外参数以及畸变矩阵。
其中，像素坐标系与世界坐标系的对应关系式为：
Figure BDA0002936689730000051
其中，fx、fy、cx、cy、sx、sy为相机的内参数，R、T为相机的外参数、S*为畸变矩阵。
进一步地，标定完成后，将第一标定图像的每个角点与其相对应的第二标定图像的每个角点进行角点匹配，使第一标定图像的角点与其相对应的第二标定图像的角点处于同一条极线上，即能够使第一标定图像的角点与其相对应的第二标定图像的角点一一对应，最终使第一测距相机以及第二测距相机拍出来的图像在世界坐标系中的同一点匹配起来，完成立体匹配的过程。
请参阅图3，步骤S600包括以下步骤：
步骤S610，若距离在景深范围内，控制眼底相机对眼底信息进行采集；
步骤S620，若距离在景深范围外，调整眼底相机的位置，以使距离在景深范围内，控制眼底相机对眼底信息进行采集。
具体地，当瞳孔到眼底相机的距离在景深范围内，则瞳孔能在眼底相机内清晰成像，此时控制眼底相机对眼底信息进行采集；当瞳孔到眼底相机的距离在景深范围外，则需要进行调焦，调整眼底相机的位置，使瞳孔到眼底相机的距离在景深范围内，此时瞳孔能在眼底相机内清晰成像，控制眼底相机对眼底信息进行采集。
请参阅图4，步骤S400包括以下步骤：
步骤S410，对第一瞳孔图像进行中值滤波以及反向二值图处理，得到与背景分离开的第一分离图像；
步骤S420，检测第一分离图像的瞳孔边缘，并得到瞳孔的第一质心点；
步骤S430，以第一质心点为种子点进行区域生长，得到第一生长区域；
步骤S440，采用霍夫圆变换拟合第一生长区域，得到第一生长区域的第一圆心在像素坐标系中的坐标。
具体地，对第一瞳孔图像进行中值滤波，去除第一瞳孔图像上的噪点；对第一瞳孔图像进行反向二值图处理：设定阈值，若第一瞳孔图像中的像素值大于阈值，将像素值设为0；若第一瞳孔图像中的像素值小于阈值，将像素值设为1，将第一瞳孔图像中的瞳孔与其他部分分离开来；采用canny边缘算子提取第一瞳孔图像中的瞳孔边缘，得到瞳孔的第一质心点；以瞳孔的第一质心点为种子点进行区域生长，得到第一生长区域；采用霍夫圆变换拟合第一生长区域，得到第一生长区域的第一圆心在像素坐标系中的坐标，第一圆心在像素坐标系中的坐标为第一瞳孔图像中的瞳孔的位置。
请参阅图5，步骤S400还包括以下步骤：
步骤S450，对第二瞳孔图像进行中值滤波以及反向二值图处理，得到与背景分离开的第二分离图像；
步骤S460，检测第二分离图像的瞳孔边缘，并得到瞳孔的第二质心点；
步骤S470，以第二质心点为种子点进行区域生长，得到第二生长区域；
步骤S480，采用霍夫圆变换拟合第二生长区域，得到第二生长区域的第二圆心在像素坐标系中的坐标。
进一步地，对第二瞳孔图像进行中值滤波，去除第二瞳孔图像上的噪点；对第二瞳孔图像进行反向二值图处理：设定阈值，若第二瞳孔图像中的像素值大于阈值，将像素值设为0；若第二瞳孔图像中的像素值小于阈值，将像素值设为1，将第二瞳孔图像中的瞳孔与其他部分分离开来；采用canny边缘算子提取第二瞳孔图像中的瞳孔边缘，得到瞳孔的第二质心点；以瞳孔的第二质心点为种子点进行区域生长，得到第二生长区域；采用霍夫圆变换拟合第二生长区域，得到第二生长区域的第二圆心在像素坐标系中的坐标，第二圆心在像素坐标系中的坐标为第二瞳孔图像中的瞳孔的位置。
建立第一测距相机、第二测距相机以及眼底相机的对应关系为眼底相机的光心、第一测距相机的光心以及第二测距相机的光心位于同一直线上。具体地，眼底相机的光心、第一测距相机的光心以及第二测距相机的光心位于同一直线上，进一步地，眼底相机设置在第一测距相机与第二测距相机的连线上，且眼底相机设置在正对瞳孔的位置，能够使第一测距相机与第二测距相机的连线到瞳孔的距离等于眼底相机与瞳孔之间的距离。
请参阅图6，步骤S500包括以下步骤：
步骤S510，获取第一测距相机与第二测距相机的视差；其中，视差为第一圆心的横坐标与第二圆心的横坐标的差值；
步骤S520，根据视差，得到第一测距相机与第二测距相机的连线到瞳孔的距离；
步骤S530，根据第一测距相机与第二测距相机的连线到瞳孔的距离，以及第一测距相机、第二测距相机以及眼底相机的对应关系，得到眼底相机与瞳孔的距离。
具体地，根据获得到的第一圆心与第二圆心在像素坐标系的坐标，计算得到第一测距相机与第二测距相机的视差，视差公式为：
d＝xi-xr
其中，d为视差，xi与xr分别为第一圆心与第二圆心在像素坐标系中的横坐标，即瞳孔在第一测距相机与第二测距相机的成像平面的投影；
根据视差以及相似三角形原理，计算出瞳孔到第一测距相机与第二测距相机的连线的距离Z，公式为：
Figure BDA0002936689730000071
Figure BDA0002936689730000072
其中，T为第一测距相机与第二测距相机之间的距离，f为焦距，Z为瞳孔到第一测距相机与第二测距相机的连线的距离；
根据第一测距相机、第二测距相机以及眼底相机的对应关系，得到眼底相机与瞳孔的距离等于第一测距相机与第二测距相机的连线到瞳孔的距离，通过计算得到瞳孔到第一测距相机与第二测距相机的连线的距离，则得出眼底相机与瞳孔的距离。
下面以一个具体的实施例详细描述根据本申请实施例的基于双目视觉的眼底对焦方法。值得理解的是，下述描述仅是示例性说明，而不是对申请的具体限制。
对第一测距相机以及第二测距相机进行标定；且设置眼底相机的光心、第一测距相机的光心以及第二测距相机的光心位于同一直线上，即使眼底相机设置在第一测距相机与第二测距相机的连线上，且眼底相机设置在正对瞳孔的位置，能够使第一测距相机与第二测距相机的连线到瞳孔的距离等于眼底相机与瞳孔之间的距离；控制第一测距相机以及第二测距相机分别对瞳孔进行图像采集，得到拍摄到瞳孔的第一瞳孔图像以及第二瞳孔图像，并将得到的第一瞳孔图像以及第二瞳孔图像进行处理，即对第一瞳孔图像进行中值滤波，去除第一瞳孔图像上的噪点；对第一瞳孔图像进行反向二值图处理：设定阈值，若第一瞳孔图像中的像素值大于阈值，将像素值设为0；若第一瞳孔图像中的像素值小于阈值，将像素值设为1，将第一瞳孔图像中的瞳孔与其他部分分离开来；采用canny边缘算子提取第一瞳孔图像中的瞳孔边缘，得到瞳孔的第一质心点；以瞳孔的第一质心点为种子点进行区域生长，得到第一生长区域；采用霍夫圆变换拟合第一生长区域，得到第一生长区域的第一圆心在像素坐标系中的坐标，第一圆心在像素坐标系中的坐标为第一瞳孔图像中的瞳孔的位置，以及对第二瞳孔图像进行中值滤波，去除第二瞳孔图像上的噪点；对第二瞳孔图像进行反向二值图处理：设定阈值，若第二瞳孔图像中的像素值大于阈值，将像素值设为0；若第二瞳孔图像中的像素值小于阈值，将像素值设为1，将第二瞳孔图像中的瞳孔与其他部分分离开来；采用canny边缘算子提取第二瞳孔图像中的瞳孔边缘，得到瞳孔的第二质心点；以瞳孔的第二质心点为种子点进行区域生长，得到第二生长区域；采用霍夫圆变换拟合第二生长区域，得到第二生长区域的第二圆心在像素坐标系中的坐标，第二圆心在像素坐标系中的坐标为第二瞳孔图像中的瞳孔的位置；根据得到的第一圆心在在像素坐标系中的坐标以及第二圆心在像素坐标系中的坐标，计算出视差，视差为第一圆心与第二圆心在像素坐标系中的横坐标的差值，根据得出的视差以及相似三角形原理，得到瞳孔到第一测距相机与第二测距相机的连线的距离；并将此距离与眼底相机的景深范围作比较，当瞳孔到眼底相机的距离在景深范围内，则瞳孔能在眼底相机内清晰成像，此时控制眼底相机对眼底信息进行采集；当瞳孔到眼底相机的距离在景深范围外，则需要进行调焦，调整眼底相机的位置，使瞳孔到眼底相机的距离在景深范围内，此时瞳孔能在眼底相机内清晰成像，完成自动对焦的过程，此时控制眼底相机对眼底信息进行采集，完成眼底信息的采集过程。
可以理解的是，当第一测距相机以及第二测距相机对瞳孔完成一次图像采集，对采集到的第一瞳孔图像以及第二瞳孔图像进行处理并计算出瞳孔到第一测距相机与第二测距相机的连线的距离，比对此距离与眼底相机的景深范围后，控制眼底相机靠近或远离瞳孔的位置；不断重复以上步骤，直到瞳孔位于眼底相机的景深范围内，第一测距相机以及第二测距相机才停止图像采集，且当控制眼底相机移动时，不会对第一测距相机以及第二测距相机所采集的图像进行处理，即此时采集到的图像无效。
请参阅图7，本申请实施例的第二方面，提供了一种基于双目视觉的眼底对焦系统，该基于双目视觉的眼底对焦系统可以是任意类型的智能终端，如手机、平板电脑、个人计算机等。
进一步地，基于双目视觉的眼底对焦系统包括：一个或多个存储器；一个或多个处理器；一个或多个程序，程序被存储在存储器中，处理器执行一个或多个程序实现上述基于双目视觉的眼底对焦方法。图7中以一个处理器为例。
处理器和存储器可以通过总线或其他方式连接，图7以通过总线连接为例。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及信号，如本申请实施例中的基于双目视觉的眼底对焦系统对应的程序指令/信号。处理器通过运行存储在存储器中的非暂态软件程序、指令以及信号，从而执行各种功能应用以及数据处理，即实现上述方法实施例的基于双目视觉的眼底对焦方法。
存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储上述基于双目视觉的眼底对焦方法的相关数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该基于双目视觉的眼底对焦系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个信号存储在存储器中，当被一个或者多个处理器执行时，执行上述任意方法实施例中的基于双目视觉的眼底对焦方法。例如，执行以上描述的图1中的方法步骤S100至S600、图2中的方法步骤S710至S720、图3中的方法步骤S610至S620、图4中的方法步骤S410至S420、图5中的方法步骤S450至S480、图6中的方法步骤S510至S530。
本申请实施例的第三方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，被图7中的一个处理器执行，可使得上述一个或多个处理器执行上述方法实施例中的基于双目视觉的眼底对焦方法。例如，执行以上描述的图1中的方法步骤S100至S600、图2中的方法步骤S710至S720、图3中的方法步骤S610至S620、图4中的方法步骤S410至S420、图5中的方法步骤S450至S480、图6中的方法步骤S510至S530。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读信号、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读信号、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
上面结合附图对本申请实施例作了详细说明，但是本申请不限于上述实施例，在所述技术领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下作出各种变化。

Claims (7)

1.一种基于双目视觉的眼底对焦方法，其特征在于，包括：
获取眼底相机的景深范围；
建立第一测距相机、第二测距相机以及眼底相机的对应关系；
控制第一测距相机以及第二测距相机分别对瞳孔进行图像采集，得到第一瞳孔图像以及第二瞳孔图像；
对所述第一瞳孔图像以及所述第二瞳孔图像进行处理，得到所述第一瞳孔图像的第一圆心在像素坐标系中的坐标以及第二瞳孔图像的第二圆心在像素坐标系中的坐标；
根据所述第一测距相机、第二测距相机以及眼底相机的对应关系、所述第一圆心以及所述第二圆心在像素坐标系中的坐标，获取所述眼底相机与瞳孔之间的距离；
根据所述距离与所述景深范围的关系，控制所述眼底相机对眼底信息进行采集；
所述对所述第一瞳孔图像以及所述第二瞳孔图像进行处理，得到所述第一瞳孔图像的第一圆心在像素坐标系中的坐标以及第二瞳孔图像的第二圆心在像素坐标系中的坐标，包括：
对所述第一瞳孔图像进行中值滤波以及反向二值图处理，得到与背景分离开的第一分离图像；
检测所述第一分离图像的瞳孔边缘，并得到瞳孔的第一质心点；
以所述第一质心点为种子点进行区域生长，得到第一生长区域；
采用霍夫圆变换拟合所述第一生长区域，得到所述第一生长区域的第一圆心在像素坐标系中的坐标；
对所述第二瞳孔图像进行中值滤波以及反向二值图处理，得到与背景分离开的第二分离图像；
检测所述第二分离图像的瞳孔边缘，并得到瞳孔的第二质心点；
以所述第二质心点为种子点进行区域生长，得到第二生长区域；
采用霍夫圆变换拟合所述第二生长区域，得到所述第二生长区域的第二圆心在像素坐标系中的坐标。
2.根据权利要求1所述的基于双目视觉的眼底对焦方法，其特征在于，还包括：
对所述第一测距相机进行标定，获取所述第一测距相机的内外参数以及畸变矩阵；
对所述第二测距相机进行标定，获取所述第二测距相机的内外参数以及畸变矩阵。
3.根据权利要求1所述的基于双目视觉的眼底对焦方法，其特征在于，所述根据所述距离与所述景深范围的关系，控制所述眼底相机对眼底信息进行采集，包括：
若所述距离在所述景深范围内，控制所述眼底相机对眼底信息进行采集；
若所述距离在所述景深范围外，调整所述眼底相机的位置，以使所述距离在所述景深范围内，并控制所述眼底相机对眼底信息进行采集。
4.根据权利要求1所述的基于双目视觉的眼底对焦方法，其特征在于，所述建立第一测距相机、第二测距相机以及眼底相机的对应关系为所述眼底相机的光心、所述第一测距相机的光心以及所述第二测距相机的光心位于同一直线上。
5.根据权利要求4所述的基于双目视觉的眼底对焦方法，其特征在于，所述根据所述第一测距相机、第二测距相机以及眼底相机的对应关系、所述第一圆心以及所述第二圆心在像素坐标系中的坐标，获取所述眼底相机与瞳孔之间的距离，包括：
获取所述第一测距相机与所述第二测距相机的视差；其中，所述视差为所述第一圆心的横坐标与所述第二圆心的横坐标的差值；
根据所述视差，得到所述第一测距相机与所述第二测距相机的连线到所述瞳孔的距离；
根据所述第一测距相机与所述第二测距相机的连线到所述瞳孔的距离，以及所述第一测距相机、第二测距相机以及眼底相机的对应关系，得到所述眼底相机与瞳孔的距离。
6.一种基于双目视觉的眼底对焦系统，其特征在于，包括：
至少一个处理器，以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至5任一项所述的基于双目视觉的眼底对焦方法。
7.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至5任一项所述的基于双目视觉的眼底对焦方法。
CN202110161086.6A 2021-02-05 2021-02-05 基于双目视觉的眼底对焦方法、系统以及存储介质 Active CN112954296B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110161086.6A CN112954296B (zh) 2021-02-05 2021-02-05 基于双目视觉的眼底对焦方法、系统以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110161086.6A CN112954296B (zh) 2021-02-05 2021-02-05 基于双目视觉的眼底对焦方法、系统以及存储介质

Publications (2)

Publication Number Publication Date
CN112954296A CN112954296A (zh) 2021-06-11
CN112954296B true CN112954296B (zh) 2023-07-11

Family

ID=76242591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110161086.6A Active CN112954296B (zh) 2021-02-05 2021-02-05 基于双目视觉的眼底对焦方法、系统以及存储介质

Country Status (1)

Country Link
CN (1) CN112954296B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114098632B (zh) * 2022-01-27 2022-11-29 北京鹰瞳科技发展股份有限公司 用于对眼底相机中的马达进行控制的方法及其相关产品
CN115474895B (zh) * 2022-09-29 2024-05-28 山东探微医疗技术有限公司 一种oct眼底成像装置及方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5146261A (en) * 1989-08-28 1992-09-08 Asahi Kogaku Kogyo Kabushiki Kaisha Automatic focusing camera
CN104408409A (zh) * 2014-11-12 2015-03-11 重庆大学 一种适用于散光镜片环境下的瞳孔定位方法
CN105100617B (zh) * 2015-07-28 2018-08-24 深圳市万普拉斯科技有限公司 成像设备的对焦控制方法和成像装置
CN106204731A (zh) * 2016-07-18 2016-12-07 华南理工大学 一种基于双目立体视觉系统的多视角三维重建方法
CN107506705B (zh) * 2017-08-11 2021-12-17 西安工业大学 一种瞳孔-普尔钦斑视线跟踪与注视提取方法
CN109409223A (zh) * 2018-09-21 2019-03-01 昆明理工大学 一种虹膜定位方法
CN109685080B (zh) * 2018-12-27 2023-07-25 中国科学院大学 基于霍夫变换与区域生长的多尺度平面提取方法
CN109766818B (zh) * 2019-01-04 2021-01-26 京东方科技集团股份有限公司 瞳孔中心定位方法及系统、计算机设备及可读存储介质
CN110215186A (zh) * 2019-05-09 2019-09-10 南京览视医疗科技有限公司 一种自动对准定位眼底相机及其工作方法
CN111028205B (zh) * 2019-11-21 2023-03-31 佛山科学技术学院 一种基于双目测距的眼睛瞳孔定位方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于Hough变换的虹膜定位算法;孙雯雯;周茂霞;白成杰;;计算机与数字工程(第01期) *
基于改进轮廓跟踪的瞳孔快速检测;顾可可;付威威;董月芳;许一;陈文建;;红外技术(第06期) *
改进的快速虹膜定位算法;骆名猛;吴锡生;;计算机工程与应用(第17期) *

Also Published As

Publication number Publication date
CN112954296A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN109310314B (zh) 用于眼位偏斜测量的移动装置应用
CN112954296B (zh) 基于双目视觉的眼底对焦方法、系统以及存储介质
CN107357429B (zh) 用于确定视线的方法、设备和计算机可读存储介质
US20150029322A1 (en) Method and computations for calculating an optical axis vector of an imaged eye
CN108259887B (zh) 注视点校准方法及装置、注视点标定方法及装置
CN110916608B (zh) 一种屈光度检测装置
CN104939793A (zh) 基于液体透镜的可调焦3-d胶囊内窥镜系统
CN108742512B (zh) 眼睛成像方法及装置
KR20210122271A (ko) 눈 추적 장치 및 방법
CN104809424A (zh) 一种基于虹膜特征实现视线追踪的方法
CN111028205A (zh) 一种基于双目测距的眼睛瞳孔定位方法及装置
CN110215186A (zh) 一种自动对准定位眼底相机及其工作方法
CN110537897A (zh) 视线追踪方法和装置、计算机可读存储介质、电子设备
CN109189216B (zh) 一种视线检测的方法、装置和系统
CN115311405A (zh) 一种双目内窥镜的三维重建方法
JP3711053B2 (ja) 視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体
CN114373216B (zh) 用于眼前节octa的眼动追踪方法、装置、设备和存储介质
CN115997159B (zh) 使用移动设备确定眼睛旋转中心的位置的方法
CN113587895B (zh) 双目测距方法及装置
CN113610908B (zh) 一种用于单目内窥镜手术中的多基线融合的深度估计方法
CN115222876A (zh) 模型训练方法、眼球体结构重塑方法和装置及存储介质
CN115227979A (zh) 一种经颅磁刺激设备的控制装置、系统和设备
CN113384236A (zh) 一种眼部光学相干断层扫描的方法及其装置
JP2018149234A (ja) 注視点推定システム、注視点推定方法及び注視点推定プログラム
CN108230287B (zh) 一种眼前节图像的晶体区域的检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant