CN111028205B - 一种基于双目测距的眼睛瞳孔定位方法及装置 - Google Patents

一种基于双目测距的眼睛瞳孔定位方法及装置 Download PDF

Info

Publication number
CN111028205B
CN111028205B CN201911145885.3A CN201911145885A CN111028205B CN 111028205 B CN111028205 B CN 111028205B CN 201911145885 A CN201911145885 A CN 201911145885A CN 111028205 B CN111028205 B CN 111028205B
Authority
CN
China
Prior art keywords
image
coordinate system
pupil
center coordinates
circle center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911145885.3A
Other languages
English (en)
Other versions
CN111028205A (zh
Inventor
韩定安
林浩辉
曾亚光
王茗祎
谭海曙
熊红莲
秦晓萌
彭建中
曾锟
张章
李晓
李秉尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan University
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN201911145885.3A priority Critical patent/CN111028205B/zh
Publication of CN111028205A publication Critical patent/CN111028205A/zh
Application granted granted Critical
Publication of CN111028205B publication Critical patent/CN111028205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于双目测距的眼睛瞳孔定位方法及装置，方法包括：设定双目相机与瞳孔之间的参考距离；双目相机的左相机和右相机拍摄瞳孔的图像，得到第一图像和第二图像；分别对第一图像和第二图像进行霍夫变换圆检测得到像素坐标系下的圆心坐标并转换得到第一圆心坐标和第二圆心坐标；根据第一圆心坐标和第二圆心坐标得到瞳孔视差；根据距离数学模型得到瞳孔与双目相机之间的实时距离；根据实时距离和参考距离调整双目相机与瞳孔之间的距离。装置包括三维云台，双目相机，存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序。本发明主要用于医疗技术领域。

Description

一种基于双目测距的眼睛瞳孔定位方法及装置
技术领域
本发明涉及医疗检测技术领域，特别涉及一种基于双目测距的眼睛瞳孔定位方法及装置。
背景技术
目前眼科测量仪器中，多为人工手动移动测量，由于人工操作和失误，会使得眼科测量仪器发生偏移，这影响测量数据的精确性和稳定性。以一种双目测距装置及方法、包括该装置的加速器放疗系统[201711451990.0]为例。该方法通过两个光学传感器直接采集被测目标的数字图像，结合卡尔曼预测算法、模板匹配算法以及角点提取算法得到放射源到目标之间的实时距离。上述检测方法，提出了双目视觉实时测距的检测方法，上述检测方法无法准确的检测出眼部瞳孔与测量仪器之间的距离，继而无法对瞳孔进行准确定位。
发明内容
本发明的目的是提供一种基于双目测距的眼睛瞳孔定位方法及装置，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
本发明解决其技术问题的解决方案是：一方面，一种基于双目测距的眼睛瞳孔定位方法，包括：
步骤1、设定双目相机与瞳孔之间的参考距离；
步骤2、双目相机的左相机拍摄瞳孔的图像，得到第一图像，双目相机的右图像拍摄瞳孔的图像，得到第二图像；
步骤3、对第一图像进行霍夫变换圆检测得到像素坐标系下的圆心坐标，将像素坐标系下的圆心坐标转换为世界坐标系下的圆心坐标，将所述世界坐标系下的圆心坐标记为第一圆心坐标；对第二图像进行霍夫变换圆检测得到像素坐标系下的圆心坐标，将像素坐标系下的圆心坐标转换为世界坐标系下的圆心坐标，将所述世界坐标系下的圆心坐标记为第二圆心坐标；
步骤4、根据第一圆心坐标和第二圆心坐标得到瞳孔视差；
步骤5、根据距离数学模型得到瞳孔与双目相机之间的实时距离，所述距离数学模型为：
Figure BDA0002282186190000021
其中，d表示为瞳孔视差，T表示为双目相机光心的水平距离，Z表示表示瞳孔与双目相机之间的距离，f表示为双目相机的焦距，d、f、T和Z的单位均为mm；
步骤6、根据实时距离和参考距离调整双目相机与瞳孔之间的距离。
进一步，在步骤3中，对第一图像和第二图像进行霍夫变换圆检测前需要对第一图像和第二图像进行预处理，所述预处理的过程包括：中值滤波、高斯滤波和边缘提取。
进一步，在步骤3中，将像素坐标系下的圆心坐标转换为世界坐标系下的圆心坐标的方法包括：获取双目相机的畸变矩阵、相机内参数变量、旋转矩阵和平移矩阵；通过转换数学模型将像素坐标系下的圆心坐标转换为世界坐标系下的圆心坐标；所述转换数学模型为：
Figure BDA0002282186190000022
其中，S表示为畸变矩阵，fx、fy、cx、cy、sx、sy表示为相机内参数变量，sx表示为双目相机的感光传感器单元的横向尺寸，sy表示为双目相机的感光传感器单元的纵向尺寸，(cx，cy)表示为成像平面的主点坐标，fx＝f*sx，fy＝f*sy，R表示为旋转矩阵，T表示为平移矩阵，(XW，YW，ZW)为世界坐标系下的圆心坐标，(u，v)为像素坐标系下的圆心坐标。
另一方面，一种基于双目测距的眼睛瞳孔定位装置，所述装置包括：三维云台，双目相机，存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述双目相机放置在所述三维云台上，所述处理器执行所述计算机程序运行在以下单元中：
输入单元，用于输入双目相机与瞳孔之间的参考距离；
图像获取单元，用于包括：获取双目相机的左相机拍摄瞳孔的图像，记为第一图像；获取双目相机的右图像拍摄瞳孔的图像，记为第二图像；
图像处理单元，用于包括：对第一图像进行霍夫变换圆检测得到像素坐标系下的圆心坐标，将像素坐标系下的圆心坐标转换为世界坐标系下的圆心坐标，将所述世界坐标系下的圆心坐标记为第一圆心坐标；对第二图像进行霍夫变换圆检测得到像素坐标系下的圆心坐标，将像素坐标系下的圆心坐标转换为世界坐标系下的圆心坐标，将所述世界坐标系下的圆心坐标记为第二圆心坐标；
瞳孔视差计算单元，用于通过第一圆心坐标和第二圆心坐标得到瞳孔视差；
距离计算单元，用于根据距离数学模型得到瞳孔与双目相机之间的距离，所述距离数学模型为：
Figure BDA0002282186190000031
其中，d表示为瞳孔视差，T表示为双目相机光心的水平距离，Z表示表示瞳孔与双目相机之间的距离，f表示为双目相机的焦距，d、f、T和Z的单位均为mm；
输出单元，根据实时距离和参考距离输出用于控制三维云台的信号；
所述三维云台用于根据所述输出单元的输出信号调整双目相机与瞳孔之间的距离。
进一步，所述图像处理单元内设有预处理单元，所述预处理单元用于在第一图像和第二图像进行霍夫变换圆检测前，对第一图像和第二图像进行依次进行中值滤波、高斯滤波和边缘提取。
进一步，所述图像处理单元内还设有获取单元和转换单元；
所述获取单元用于获取双目相机的畸变矩阵、相机内参数变量、旋转矩阵和平移矩阵；
所述转换单元用于通过转换数学模型将像素坐标系下的圆心坐标转换为世界坐标系下的圆心坐标；所述转换数学模型为：
Figure BDA0002282186190000032
其中，S表示为畸变矩阵，fx、fy、cx、cy、sx、sy表示为相机内参数变量，sx表示为双目相机的感光传感器单元的横向尺寸，sy表示为双目相机的感光传感器单元的纵向尺寸，(cx，cy)表示为成像平面的主点坐标，fx＝f*sx，fy＝f*sy，R表示为旋转矩阵，T表示为平移矩阵，(XW，YW，ZW)为世界坐标系下的圆心坐标，(u，v)为像素坐标系下的圆心坐标。
本发明的有益效果是：本发明的方法通过拍摄瞳孔的图像，并对图像进行处理从而得到瞳孔与双目相机之间的实时距离，根据实时距离和参考距离调整双目相机与瞳孔之间的距离，实现对瞳孔的精确定位。由于本发明的装置是基于本发明的方法，因此，其也具有发明方法的有益效果，这里就不重复介绍了。
附图说明
为了更清楚地说明本发明创造实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单说明。显然，所描述的附图只是本发明创造的一部分实施例，而不是全部实施例，本领域的技术人员在不付出创造性劳动的前提下，还可以根据这些附图获得其他设计方案和附图。
图1是基于双目测距的眼睛瞳孔定位方法的步骤流程图；
图2是基于双目测距的眼睛瞳孔定位装置的单元连接示意图；
图3是第一图像进行霍夫变换圆检测后得到的图像；
图4是第二图像进行霍夫变换圆检测后得到的图像。
具体实施方式
本部分将详细描述本发明创造的具体实施例，本发明创造之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明创造的每个技术特征和整体技术方案，但其不能理解为对本发明创造保护范围的限制。
在本发明创造的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明创造的限制。
在本发明创造的描述中，如果具有“若干”之类的词汇描述，其含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。
本发明创造的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明创造中的具体含义。
实施例1，参考图1，一种基于双目测距的眼睛瞳孔定位方法，包括：
步骤1、设定双目相机与瞳孔之间的参考距离；
步骤2、双目相机的左相机拍摄瞳孔的图像，得到第一图像，双目相机的右图像拍摄瞳孔的图像，得到第二图像；
步骤3、对第一图像进行霍夫变换圆检测得到像素坐标系下的圆心坐标，将像素坐标系下的圆心坐标转换为世界坐标系下的圆心坐标，将所述世界坐标系下的圆心坐标记为第一圆心坐标；第一图像进行霍夫变换圆检测后得到的图像如图3所示。
步骤4、对第二图像进行霍夫变换圆检测得到像素坐标系下的圆心坐标，将像素坐标系下的圆心坐标转换为世界坐标系下的圆心坐标，将所述世界坐标系下的圆心坐标记为第二圆心坐标；第二图像进行霍夫变换圆检测后得到的图像如图4所示。
步骤5、根据第一圆心坐标和第二圆心坐标得到瞳孔视差；
步骤6、根据距离数学模型得到瞳孔与双目相机之间的距离。
所述距离数学模型为：
Figure BDA0002282186190000051
其中，d表示为瞳孔视差，T表示为双目相机光心的水平距离，Z表示表示瞳孔与双目相机之间的距离，f表示为双目相机的焦距，d、f、T和Z的单位均为mm；
步骤7、根据实时距离和参考距离调整双目相机与瞳孔之间的距离；具体为：通过参考距离和实时距离进行对比，使得实时距离趋向于参考距离。
在步骤3中，对第一图像进行霍夫变换圆检测前需要对第一图像进行预处理，所述预处理过程依次为：中值滤波、高斯滤波和边缘提取。
在步骤4中，对第二图像进行霍夫变换圆检测前需要对第二图像进行预处理，所述预处理过程依次为：中值滤波、高斯滤波和边缘提取。
在步骤3和步骤4中，将像素坐标系下的圆心坐标转换为世界坐标系下的圆心坐标的方法包括：获取双目相机的畸变矩阵、相机内参数变量、旋转矩阵和平移矩阵；通过转换数学模型将像素坐标系下的圆心坐标转换为世界坐标系下的圆心坐标；所述转换数学模型为：
Figure BDA0002282186190000061
其中，S表示为畸变矩阵，fx、fy、cx、cy、sx、sy表示为相机内参数变量，sx表示为双目相机的感光传感器单元的横向尺寸，sy表示为双目相机的感光传感器单元的纵向尺寸，(cx，cy)表示为成像平面的主点坐标，fx＝f*sx，fy＝f*sy，R表示为旋转矩阵，T表示为平移矩阵，(XW，YW，ZW)为世界坐标系下的圆心坐标，(u，v)为像素坐标系下的圆心坐标。
通过转换数字模型可以将像素坐标系下的圆心坐标转换为世界坐标系下的圆心坐标。其中，像素坐标系指的是图像的坐标系，其单位为像素；世界坐标系为物理空间中的坐标系，即现实的坐标系。通过转换数字模块可以得到在世界坐标系下，第一图像所对应的第一圆心坐标，第二图像所对应的第二圆心坐标。将第一圆心坐标和第二圆心坐标求差值即可得到瞳孔视差。然后将瞳孔视差代入到距离数学模型即可计算得到瞳孔与双目相机之间的实时距离。由于预先已经设定好双目相机与瞳孔之间的参考距离，因此，可以通过将实时距离与参考距离进行对比，从而调整双目相机，使得双目相机的实时距离等于参考距离。
通过拍摄瞳孔的图像，并对图像进行处理从而得到瞳孔与双目相机之间的实时距离，根据实时距离和参考距离调整双目相机与瞳孔之间的距离，实现对瞳孔的精确定位。
参考图2，一种基于双目测距的眼睛瞳孔定位装置，所述装置包括：三维云台，双目相机，存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述双目相机放置在所述三维云台上，所述处理器执行所述计算机程序运行在以下单元中：
输入单元，用于输入双目相机与瞳孔之间的参考距离；
图像获取单元，用于包括：获取双目相机的左相机拍摄瞳孔的图像，记为第一图像；获取双目相机的右图像拍摄瞳孔的图像，记为第二图像；
图像处理单元，用于包括：对第一图像进行霍夫变换圆检测得到像素坐标系下的圆心坐标，将像素坐标系下的圆心坐标转换为世界坐标系下的圆心坐标，将所述世界坐标系下的圆心坐标记为第一圆心坐标；对第二图像进行霍夫变换圆检测得到像素坐标系下的圆心坐标，将像素坐标系下的圆心坐标转换为世界坐标系下的圆心坐标，将所述世界坐标系下的圆心坐标记为第二圆心坐标；
瞳孔视差计算单元，用于通过第一圆心坐标和第二圆心坐标得到瞳孔视差；
距离计算单元，用于根据距离数学模型得到瞳孔与双目相机之间的距离，所述距离数学模型为：
Figure BDA0002282186190000071
其中，d表示为瞳孔视差，T表示为双目相机光心的水平距离，Z表示表示瞳孔与双目相机之间的距离，f表示为双目相机的焦距，d、f、T和Z的单位均为mm；
输出单元，根据实时距离和参考距离输出用于控制三维云台的信号；
所述三维云台用于根据所述输出单元的输出信号调整双目相机与瞳孔之间的距离。
所述图像处理单元内设有预处理单元、获取单元和转换单元，所述预处理单元用于在第一图像和第二图像进行霍夫变换圆检测前，对第一图像和第二图像进行依次进行中值滤波、高斯滤波和边缘提取。
所述获取单元用于获取双目相机的畸变矩阵、相机内参数变量、旋转矩阵和平移矩阵；
所述转换单元用于通过转换数学模型将像素坐标系下的圆心坐标转换为世界坐标系下的圆心坐标；所述转换数学模型为：
Figure BDA0002282186190000072
其中，S表示为畸变矩阵，fx、fy、cx、cy、sx、sy表示为相机内参数变量，sx表示为双目相机的感光传感器单元的横向尺寸，sy表示为双目相机的感光传感器单元的纵向尺寸，(cx，cy)表示为成像平面的主点坐标，fx＝f*sx，fy＝f*sy，R表示为旋转矩阵，T表示为平移矩阵，(XW，YW，ZW)为世界坐标系下的圆心坐标，(u，v)为像素坐标系下的圆心坐标。
转换单元可以将像素坐标系下的圆心坐标转换为世界坐标系下的圆心坐标。其中，像素坐标系指的是图像的坐标系，其单位为像素；世界坐标系为物理空间中的坐标系，即现实的坐标系。通过转换单元可以得到在世界坐标系下，第一图像所对应的第一圆心坐标，第二图像所对应的第二圆心坐标。通过瞳孔视差计算单元将第一圆心坐标和第二圆心坐标求差值即可得到瞳孔视差。然后通过距离计算单元将瞳孔视差代入到距离数学模型即可计算得到瞳孔与双目相机之间的实时距离。由于预先已经设定好双目相机与瞳孔之间的参考距离，因此，可以通过将实时距离与参考距离进行对比，输出单元输出控制三维云台的信号，三维云台在收到所述信号后，调整双目相机与瞳孔之间的距离，使得双目相机的实时距离等于参考距离。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种基于双目测距的眼睛瞳孔定位装置运行装置的控制中心，利用各种接口和线路连接整个一种基于双目测距的眼睛瞳孔定位装置可运行装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种基于双目测距的眼睛瞳孔定位装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
以上对本发明创造的较佳实施方式进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明创造精神的前提下还可做出种种的等同变型或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。

Claims (4)

1.一种基于双目测距的眼睛瞳孔定位方法，其特征在于，包括：
步骤1、设定双目相机与瞳孔之间的参考距离；
步骤2、双目相机的左相机拍摄瞳孔的图像，得到第一图像，双目相机的右图像拍摄瞳孔的图像，得到第二图像；
步骤3、对第一图像进行霍夫变换圆检测得到像素坐标系下的圆心坐标，将像素坐标系下的圆心坐标转换为世界坐标系下的圆心坐标，将所述世界坐标系下的圆心坐标记为第一圆心坐标；对第二图像进行霍夫变换圆检测得到像素坐标系下的圆心坐标，将像素坐标系下的圆心坐标转换为世界坐标系下的圆心坐标，将所述世界坐标系下的圆心坐标记为第二圆心坐标；
步骤4、根据第一圆心坐标和第二圆心坐标得到瞳孔视差；
步骤5、根据距离数学模型得到瞳孔与双目相机之间的实时距离，所述距离数学模型为：
Figure 793815DEST_PATH_IMAGE001
；
其中，d表示为瞳孔视差，T表示为双目相机光心的水平距离，Z表示表示瞳孔与双目相机之间的距离，f表示为双目相机的焦距，d、f、T和Z的单位均为mm；
步骤6、根据实时距离和参考距离调整双目相机与瞳孔之间的距离；
在步骤3中，将像素坐标系下的圆心坐标转换为世界坐标系下的圆心坐标的方法包括：获取双目相机的畸变矩阵、相机内参数变量、旋转矩阵和平移矩阵；通过转换数学模型将像素坐标系下的圆心坐标转换为世界坐标系下的圆心坐标；所述转换数学模型为：
Figure 757223DEST_PATH_IMAGE002
，
其中，S表示为畸变矩阵，fx、fy、cx、cy、sx、sy表示为相机内参数变量，sx表示为双目相机的感光传感器单元的横向尺寸，sy表示为双目相机的感光传感器单元的纵向尺寸，（cx，cy）表示为成像平面的主点坐标，fx=f*sx，fy=f*sy，R表示为旋转矩阵，T表示为平移矩阵，（XW，YW，ZW）为世界坐标系下的圆心坐标，（u，v）为像素坐标系下的圆心坐标。
2.根据权利要求1所述的一种基于双目测距的眼睛瞳孔定位方法，其特征在于：在步骤3中，对第一图像和第二图像进行霍夫变换圆检测前需要对第一图像和第二图像进行预处理，所述预处理的过程包括：中值滤波、高斯滤波和边缘提取。
3.一种基于双目测距的眼睛瞳孔定位装置，其特征在于：所述装置包括：三维云台，双目相机，存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述双目相机放置在所述三维云台上，所述处理器执行所述计算机程序运行在以下单元中：
输入单元，用于输入双目相机与瞳孔之间的参考距离；
图像获取单元，用于包括：获取双目相机的左相机拍摄瞳孔的图像，记为第一图像；获取双目相机的右图像拍摄瞳孔的图像，记为第二图像；
图像处理单元，用于包括：对第一图像进行霍夫变换圆检测得到像素坐标系下的圆心坐标，将像素坐标系下的圆心坐标转换为世界坐标系下的圆心坐标，将所述世界坐标系下的圆心坐标记为第一圆心坐标；对第二图像进行霍夫变换圆检测得到像素坐标系下的圆心坐标，将像素坐标系下的圆心坐标转换为世界坐标系下的圆心坐标，将所述世界坐标系下的圆心坐标记为第二圆心坐标；
瞳孔视差计算单元，用于通过第一圆心坐标和第二圆心坐标得到瞳孔视差；
距离计算单元，用于根据距离数学模型得到瞳孔与双目相机之间的距离，所述距离数学模型为：
Figure 289836DEST_PATH_IMAGE003
；
其中，d表示为瞳孔视差，T表示为双目相机光心的水平距离，Z表示表示瞳孔与双目相机之间的距离，f表示为双目相机的焦距，d、f、T和Z的单位均为mm；
输出单元，根据实时距离和参考距离输出用于控制三维云台的信号；
所述三维云台用于根据所述输出单元的输出信号调整双目相机与瞳孔之间的距离；
所述图像处理单元内还设有获取单元和转换单元；
所述获取单元用于获取双目相机的畸变矩阵、相机内参数变量、旋转矩阵和平移矩阵；
所述转换单元用于通过转换数学模型将像素坐标系下的圆心坐标转换为世界坐标系下的圆心坐标；所述转换数学模型为：
Figure 754315DEST_PATH_IMAGE004
，
其中，S表示为畸变矩阵，fx、fy、cx、cy、sx、sy表示为相机内参数变量，sx表示为双目相机的感光传感器单元的横向尺寸，sy表示为双目相机的感光传感器单元的纵向尺寸，（cx，cy）表示为成像平面的主点坐标，fx=f*sx，fy=f*sy，R表示为旋转矩阵，T表示为平移矩阵，（XW，YW，ZW）为世界坐标系下的圆心坐标，（u，v）为像素坐标系下的圆心坐标。
4.根据权利要求3所述的一种基于双目测距的眼睛瞳孔定位装置，其特征在于：所述图像处理单元内设有预处理单元，所述预处理单元用于在第一图像和第二图像进行霍夫变换圆检测前，对第一图像和第二图像进行依次进行中值滤波、高斯滤波和边缘提取。
CN201911145885.3A 2019-11-21 2019-11-21 一种基于双目测距的眼睛瞳孔定位方法及装置 Active CN111028205B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911145885.3A CN111028205B (zh) 2019-11-21 2019-11-21 一种基于双目测距的眼睛瞳孔定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911145885.3A CN111028205B (zh) 2019-11-21 2019-11-21 一种基于双目测距的眼睛瞳孔定位方法及装置

Publications (2)

Publication Number Publication Date
CN111028205A CN111028205A (zh) 2020-04-17
CN111028205B true CN111028205B (zh) 2023-03-31

Family

ID=70206085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911145885.3A Active CN111028205B (zh) 2019-11-21 2019-11-21 一种基于双目测距的眼睛瞳孔定位方法及装置

Country Status (1)

Country Link
CN (1) CN111028205B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112163519A (zh) * 2020-09-28 2021-01-01 浙江大华技术股份有限公司 图像映射处理方法、装置、存储介质及电子装置
CN112954296B (zh) * 2021-02-05 2023-07-11 佛山科学技术学院 基于双目视觉的眼底对焦方法、系统以及存储介质
CN113804142A (zh) * 2021-09-18 2021-12-17 深圳市汇泽激光科技有限公司 测距定位方法、测距定位装置以及测距定位设备
CN115471557B (zh) * 2022-09-22 2024-02-02 南京博视医疗科技有限公司 单目相机图像目标点三维定位方法、瞳孔定位方法及装置
CN115474895B (zh) * 2022-09-29 2024-05-28 山东探微医疗技术有限公司 一种oct眼底成像装置及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760848A (zh) * 2016-03-04 2016-07-13 蒋志平 一种基于环形模板卷积的瞳孔定位方法
CN110070057A (zh) * 2019-04-25 2019-07-30 河北机电职业技术学院 瞳距测量方法、装置、终端设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760848A (zh) * 2016-03-04 2016-07-13 蒋志平 一种基于环形模板卷积的瞳孔定位方法
CN110070057A (zh) * 2019-04-25 2019-07-30 河北机电职业技术学院 瞳距测量方法、装置、终端设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
眼球多参数测量系统研究;韩定安 等;《佛山科学技术学院学报(自然科学版)》;20180331;第36卷(第3期);第1-2页 *

Also Published As

Publication number Publication date
CN111028205A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN111028205B (zh) 一种基于双目测距的眼睛瞳孔定位方法及装置
CN111145238B (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
CN111354042B (zh) 机器人视觉图像的特征提取方法、装置、机器人及介质
CN110909693B (zh) 3d人脸活体检测方法、装置、计算机设备及存储介质
CN111091063B (zh) 活体检测方法、装置及系统
WO2020259271A1 (zh) 图像畸变校正方法和装置
CN108381549B (zh) 一种双目视觉引导机器人快速抓取方法、装置及存储介质
CN109377551B (zh) 一种三维人脸重建方法、装置及其存储介质
WO2012053521A1 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
US20220092819A1 (en) Method and system for calibrating extrinsic parameters between depth camera and visible light camera
CN106570899B (zh) 一种目标物体检测方法及装置
CN113034612B (zh) 一种标定装置、方法及深度相机
CN109716348B (zh) 独立地处理多个所关注的区域
WO2020119467A1 (zh) 高精度稠密深度图像的生成方法和装置
US20190108653A1 (en) Capture Device Calibration Methods and Systems
WO2019232793A1 (zh) 双摄像头标定方法、电子设备、计算机可读存储介质
CN111627070B (zh) 一种对旋转轴进行标定的方法、装置和存储介质
CN111627073B (zh) 一种基于人机交互的标定方法、标定装置和存储介质
CN112184811A (zh) 单目空间结构光系统结构校准方法及装置
CN111815715A (zh) 变焦云台摄像机的标定方法、装置及存储介质
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
KR20090110348A (ko) 물체 형상 생성 방법, 물체 형상 생성 장치 및 프로그램
JP2020034525A (ja) 情報処理装置及びその方法及びコンピュータプログラム
CN113587895A (zh) 双目测距方法及装置
CN109754365B (zh) 一种图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant