CN116958885B - 一种基于阅读视野的矫正眼镜佩戴舒适度评价方法和系统 - Google Patents

一种基于阅读视野的矫正眼镜佩戴舒适度评价方法和系统 Download PDF

Info

Publication number
CN116958885B
CN116958885B CN202311207315.9A CN202311207315A CN116958885B CN 116958885 B CN116958885 B CN 116958885B CN 202311207315 A CN202311207315 A CN 202311207315A CN 116958885 B CN116958885 B CN 116958885B
Authority
CN
China
Prior art keywords
edge
eye
reading
iris
extracting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311207315.9A
Other languages
English (en)
Other versions
CN116958885A (zh
Inventor
杨惠
张榆
李雯
龚宇航
袁尉
李元媛
郑秀娟
何凌
张劲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202311207315.9A priority Critical patent/CN116958885B/zh
Publication of CN116958885A publication Critical patent/CN116958885A/zh
Application granted granted Critical
Publication of CN116958885B publication Critical patent/CN116958885B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供了一种基于阅读视野的矫正眼镜佩戴舒适度评价方法和系统，涉及图像分析和处理领域。本发明提供的矫正眼镜的佩戴舒适度评价方法和评价系统，整套方案可行性高，可通过采集和输入受试者在佩戴眼镜进行阅读过程中的人像视频数据，自动提取眼睛中心点与眼镜镜片中心点并自动输出镜片评分进行舒适度评价，得分越高说明镜片越能为受试者提供清晰舒适的视野，从而为配镜师提供参考，帮助进一步设计和改良光学框架式矫正眼镜。本发明的技术方案对图像中的眼睛中心点与眼镜中心点识别准确度高，评价计算方法合理高效，适用于各种配镜场合下的佩戴舒适度自动计算和评价，可以有效提升对佩戴舒适度的客观评分准确度，方案高效实用客观准确。

Description

一种基于阅读视野的矫正眼镜佩戴舒适度评价方法和系统
技术领域
本发明涉及图像分析和处理领域，尤其是涉及基于阅读视野的矫正眼镜佩戴舒适度评价方法和系统。
背景技术
近视已成为目前全世界主要的公共卫生问题之一，且呈现出低龄化和重度化的趋势。对于儿童及青少年的近视防控已上升为我国的国家战略之一。光学框架眼镜是目前青少年近视矫正的常用方法。光学眼镜的配制是否能满足儿童及青少年近距离阅读的需要，对于儿童及青少年的学习生活有密切的影响。
现有技术中通常是由配镜工作人员进行人工观察，或眼镜佩戴者通过问卷或问题在主观上给出佩戴体验，而这些方法虽然成本较低，但是结果往往过于主观不够精确，部分情况下佩戴者在配镜现场的主观佩戴感受和真实佩戴舒适度是存在偏差的。
发明内容
本发明为了解决上述技术问题，提出一种基于阅读视野的矫正眼镜佩戴舒适度评价方法和系统，用于对配镜时眼镜佩戴舒适度进行自动、客观有效的评价输出。
一方面本发明提供了一种基于阅读视野的矫正眼镜佩戴舒适度评价方法，包括如下步骤：
S01，采集矫正眼镜佩戴受试者在阅读状态下的原始视频数据，并利用短时自适应双阈值对所述原始视频数据进行筛选，获得筛选后的有效阅读状态帧；
S02，基于边界双环与虹膜外环搜索方法对有效阅读状态帧提取眼部虹膜边缘区域；
S03，基于边缘柔化和曲率计算对虹膜拟合，并提取眼睛中心点；
S04，提取阅读状态下的眼镜镜片中心点；
S05，基于眼镜镜片中心点与眼睛中心点确定阅读视野范围，并根据阅读视野范围对眼镜佩戴舒适度进行评价。
另一方面本发明还提供了一种基于阅读视野的矫正眼镜佩戴舒适度评价系统，所述系统是基于前述矫正眼镜佩戴舒适度评价方法的步骤对应的模块单元组成的系统，用于对矫正眼镜佩戴舒适度进行自动评分评价。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
本发明针对矫正眼镜的佩戴舒适度提出了一种基于阅读视野的舒适度评价方法和评价系统，整套方案可行性高，可通过采集和输入受试者在佩戴眼镜进行阅读过程中的人像视频数据，自动提取眼睛中心点与眼镜中心点确定阅读视野并自动输出镜片评分进行舒适度评价，得分越高说明镜片越能为受试者提供清晰舒适的视野，从而为配镜师提供参考，帮助进一步设计和改良光学框架式矫正眼镜。本发明的技术方案对图像中的眼睛中心点与眼镜中心点识别准确度高，评价计算方法合理高效，适用于各种配镜场合下的佩戴舒适度自动计算和评价，可以有效提升对佩戴舒适度的客观评分准确度，方案高效实用客观准确。
附图说明
图1是本发明实施例提供的评价方法流程图。
图2是本发明实施例提供的EAR的计算过程示意图。
图3是本发明实施例提供的EAR序列以及波峰波谷示意图。
图4是本发明实施例提供的闭眼无效阅读状态帧的提取示意图。
图5是本发明实施例提供的非闭眼无效阅读状态的波峰提取示意图。
图6是本发明实施例提供的非闭眼无效阅读状态的高度差示意图。
图7是本发明实施例提供的非闭眼无效阅读状态的第二自适应阈值示意图。
图8是本发明实施例提供的非闭眼无效阅读状态提取结果示意图。
图9是本发明实施例提供的初始虹膜中心示意图。
图10是本发明实施例提供的眼部区域边缘示意图。
图11是本发明实施例提供的两次滤波后的虹膜边缘的外环示意图。
图12是本发明实施例提供的提取的虹膜边缘的外环示意图。
图13是本发明实施例提供的两次滤波后的虹膜边缘的内环示意图。
图14是本发明实施例提供的提取的虹膜边缘的内环示意图。
图15是本发明实施例提供的边缘柔化算子结构图，（a）、（b）、（c）、（d）分别表示四个方向的边缘柔化算子结构图。
图16是本发明实施例提供的边缘柔化前后的虹膜边缘区域结果对比：(a) 柔化前的虹膜边缘区域；(b) 柔化后的虹膜边缘区域。
图17是本发明实施例提供的曲率计算方法示意图。
图18是本发明实施例提供的眼睑去除前后对比：(a) 眼睑去除前；(b) 眼睑去除后。
图19是本发明实施例提供的眼中心提取结果示意图。
图20是本发明实施例提供的阅读过程中视野范围提取示意图。
具体实施方式
为了使本领域的人员更好地理解本发明的技术方案，下面结合本发明的附图，对本发明的技术方案进行清楚、完整的描述，基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它类同实施例，都应当属于本申请保护的范围。
以下实施例中将选取佩戴矫正眼镜时的眼部状态图像作为目标对象，从而对具体方案进行详细说明，在其他实施例中所述目标对象还可以是佩戴其他功能眼镜时的图像，或者类似场景中的采集图像，其仅仅是本发明技术方案所针对的分析对象，具体以适用于本发明方案并解决对应的技术问题为准。
实施例1
如图1所示，本实施例为一种基于阅读视野的矫正眼镜佩戴舒适度评价方法，包括如下步骤，
S01，采集矫正眼镜佩戴受试者在阅读状态下的原始视频数据，并利用短时自适应双阈值对所述原始视频数据进行筛选，获得筛选后的有效阅读状态帧。
本发明实施例中让受试者在佩戴矫正眼镜的状态下进行一段时间的阅读，并采集在阅读状态下、包含受试者眼部的视频图像作为原始视频数据，所述原始视频数据包含受试者在阅读过程中各个时刻的眼部状态，因此可以用于后续的眼部数据处理和分析。
由于在阅读过程中不可避免地会多次产生眨眼的情况。研究表明眨眼过程中人的视觉感知会受到抑制，因此在此期间无法获取到有效的阅读信息，可以将其称为无效阅读阶段，对该阶段进行眼镜佩戴效果分析没有实际意义。此前的相关研究多通过检测闭眼帧来代表眨眼阶段，但本发明通过分析认为实际的眨眼过程通常持续150-400ms，其中完全闭眼的时间至多只有整个眨眼过程的1/3，这表明在闭眼帧的前后仍存在着视觉感知受抑制的阶段，并且在这类阶段对应的时间内眼睛并未完全闭合，容易与阅读至下方文字时眼睛的低垂状态混淆，因此在步骤S01中首先需要对所有采集的原始视频数据进行初步筛选，剔除无效阅读阶段对应的数据，本实施例基于阅读过程中眼睛睁开程度的动态变化过程提出了一种基于短时自适应双阈值的筛选方法对阅读状态进行自动判别，实现有效阅读状态帧的精准筛选。
S101，采集阅读状态下的原始视频数据，将采集的原始视频数据利用眼睛睁开程度指标计算图像中人眼闭合程度，并以短阅读时段为单位进行划分。
为了对无效阅读阶段进行排除，本发明实施例采用眼睛睁开程度指标来判断当前图像帧中人眼是否处于完全闭眼的状态，从而将视频数据进行划分。
在一个优选实施例中所述眼睛睁开程度指标采用眼睛纵横比参数EAR，用于描述眼睛的睁开程度，如图2所示，眼睛纵横比参数EAR可由人脸68特征点中位于眼睑处的6个点计算得到，对应计算公式如下：
（1）
其中，w1代表P2和P6之间的距离，w2代表P3和P5之间的距离，代表P1和P4之间的距离。由公式（1）可计算代表眼睛宽度与长度之比的EAR值，其计算结果值与眼睛的睁开程度成正比。
所述人脸68特征点的具体识别方式以根据需要具体选择的可实现的现有方案为准，具体本实施例不做特别限定。
对原始视频数据中的每一帧利用上述公式计算眼睛纵横比参数EAR后，可以得到与原始视频中的帧序列对应的EAR序列，如图3所示。之后在EAR序列上按照一定的分帧参数进行分帧从而将视频数据划分为多个短阅读时段，并以短阅读时段为单位进行后续的数据处理。在一个优选实施例中以3.3秒作为帧长，1.65秒作为帧移进行分帧。上述分帧参数中的帧长为受试者阅读一到两行的平均时长，在这一短阅读时段中，受试者在正常阅读未眨眼的过程中，其眼睛睁开程度近似，因而与眨眼过程中的睁开程度差异明显，更便于提取。
S102，基于第一自适应阈值Ta提取视频数据中的闭眼无效阅读状态帧；
本发明将无效阅读状态分为闭眼无效阅读状态和非闭眼无效阅读状态。在一个短时阅读段中，由于闭眼无效阅读状态所对应的EAR值较小，在EAR序列中通常处于波谷的位置，因此通过提取波谷可获得该类帧。但是人在阅读的过程中通常眼睛的睁开程度会出现轻微的波动，从而造成一些小的干扰波谷。为了从所有的波谷中提取出能代表闭眼的波谷，本实施例提出了第一自适应阈值Ta用于提取有效波谷。
如图3所示，首先利用逐帧的差分法将一个短阅读时段的EAR曲线中所有的波峰和波谷提取出来，对每个波谷分别计算其与左右两个波峰之间的高度差，记为Hi(i=1,2,...,2n)，i为计数值，n为波谷个数。高度差Hi的值反映了EAR的变化情况，EAR值发生突变的位置（即眼睛阅读时发生眨眼的位置）可从高度差Hi的分布中获得。
本实施例中采用核密度估计方法计算高度差Hi的分布情况，其计算公式如下：
（2）
（3）
其中H表示概率密度函数的自变量，f表示由核密度估计方法计算得到的概率密度函数，︿表示估计，为带宽，/>表示与/>带宽对应的由核密度估计方法计算得到的概率密度函数估计， K指高斯核函数，/>指与/>带宽对应的高斯核函数，σ代表高度差Hi的标准差，i为计数值，n为波谷个数（i、n的参数说明在本发明中所有使用处的含义均相同，不再重复描述）。
在高度差Hi的核密度分布曲线中设定第一自适应阈值Ta用于提取有效波谷。如图4所示，将高度差Hi的核密度分布曲线中紧邻最大波峰的第一个波谷设为第一自适应阈值Ta，该阈值也代表相邻两帧之间EAR值差异发生突变时对应的高度差Hi的值。然后将所述EAR曲线中所有大于第一自适应阈值Ta的高度差Hi对应的波谷提取出来作为有效波谷，记为第一集合Thc，所述Thc表示闭眼无效阅读状态对应的闭眼无效阅读状态帧。
S103，基于第二自适应阈值Tb提取视频数据中的非闭眼无效阅读状态帧；
由于闭眼无效阅读状态帧周围存在同样受到视觉抑制的帧，称为非闭眼无效阅读状态对应的非闭眼无效阅读状态帧。为提取该类帧，本实施例提出了第二自适应阈值Tb，并基于第二自适应阈值Tb对非闭眼无效阅读状态提取，分别如图5-图8所示：
为避免由于连续眨眼造成的波峰干扰高度差Hi的计算，因此保留EAR序列中与相邻波谷差异大于Ta的波峰，记为第二集合Pkc，并删除其余波峰。基于第一集合Thc和第二集合Pkc重新计算高度差Hi，计算过程如下：
对于第一集合Thc中的每一个波谷，取其对应的两个高度差Hi中较小的高度差Hi的一半，将其设置为第二自适应阈值Tb，每组第一集合Thc中的一个波谷对应一个第二自适应阈值Tb。从每一组第一集合Thc的第一个波谷出发依次遍历：若该波谷距离相邻两侧波峰路径上的帧与当前波谷之间的EAR差值小于当前波谷对应的第二自适应阈值Tb，则认为这些帧属于非闭眼无效阅读状态帧。
S104，将闭眼无效阅读状态帧与非闭眼无效阅读状态帧剔除后，将其余帧作为筛选后的有效阅读状态帧。
在本发明中将原始采集视频数据中的闭眼无效阅读状态帧和非闭眼无效阅读状态帧共同归属为无效阅读状态帧，其余部分帧则归属为有效阅读状态帧，并将所有有效阅读状态帧用于后续步骤中进行眼中心提取。
步骤S02，基于边界双环搜索方法对有效阅读状态帧提取眼部虹膜边缘区域。
由于眼部区域在包含人脸的整体图像中的占比较少，其拥有的像素也较少。为最大程度的保留眼睛虹膜外环的边缘细节，以提高虹膜圆拟合的准确度，本实施例提出了一种基于边界双环结合虹膜外环搜索方法，用于对眼部的虹膜边缘区域进行提取。
步骤S201，对有效阅读状态帧提取初始虹膜区域和初始虹膜中心；
首先通过人脸特征点提取眼部感兴趣区域ROI，并取ROI区域的红色通道R0用于后续操作。
然后建立一个h×h的均值模板Mh，其结构如下：
所述h为R0的宽。
使用均值模板Mh从左至右对R0进行遍历。由于虹膜所在区域较暗，与其他区域有一定灰度差异，因此取遍历过程中灰度均值最低的部分（大小为h×h）作为初始虹膜区域，并取其中心O1作为初始虹膜中心，如图9所示。
步骤S202，基于边界双环对初始虹膜区域提取虹膜边缘区域。
若直接在R0的眼部整体边缘上搜索得到的虹膜ROI-O会丢失部分虹膜边缘部分的细节，导致搜索结果与真实虹膜外环存在差异。因此为了尽可能地保留虹膜ROI-O的边缘信息，本发明实施例提出了基于边界双环的虹膜边缘区域提取方法，通过将虹膜ROI-O所在的边缘区域提取出来后再进行圆拟合，从而提高虹膜拟合的准确度。所述基于边界双环对初始虹膜区域提取虹膜边缘区域的具体步骤如下：
S2021，提取眼部区域边缘；
通过高斯滤波及Canny算子提取R0的边缘作为眼部区域边缘，记为E0，如图10所示。
S2022，从眼部区域边缘提取虹膜边缘的外环；
对眼部区域边缘R0进行两次中值滤波，消除内部斑点，从而去除虹膜内部的干扰，中值滤波过程如公式（4）所示：
（4）。
其中，g1(x,y)表示中值滤波结果，f(x,y)为原始灰度图像，W为5×5中值滤波模板。p和q为W模板范围内的计数值，且p和q为整数，当p、q分别由-2取值到2时，涵盖了当前W模板所在位置的所有像素点。滤波后结果如图11所示。
对两次中值滤波后的RO使用Canny算子提取边缘，记为E1，在E1上提取虹膜边缘的外环，具体步骤如下：
（1）建立以O1为圆心、r∈[0,h-6]为半径的一组同心圆，将该组同心圆分别与E1重叠，并记录重合点；
（2）在的范围内移动圆心，并记录移动后的圆心坐标(xO,yO)，其中(xO1,yO1)为O1的坐标，遍历移动并记录数据直到移动全部完成；
（3）选择与E1重合点最多的圆，记为C1，将C1向外扩大3个像素作为提取的虹膜边缘的外环，记为ISo，提取到的虹膜边缘的外环ISo如图12所示。
S2023，从眼部区域边缘提取虹膜边缘的内环；
对RO进行两次伽马滤波，拉伸虹膜内部细节的同时减少虹膜外部的细节信息，从而去除虹膜外部的干扰。所述伽马滤波过程如下：
（5）
其中g2(x,y)表示伽马滤波结果，cg为伽马变换超参数，γ为伽马值。两次伽马滤波后结果如图13所示。
对两次伽马滤波后的RO使用Canny算子提取边缘，记为E2，在E2上提取虹膜边缘的内环，具体步骤如下：
（1）建立以O1为圆心、r∈[0,h-6]为半径的一组同心圆，将该组同心圆分别与E2重叠，并记录重合点；
（2）在的范围内移动圆心，并记录移动后的圆心坐标(xO,yO)，其中(xO1,yO1)为O1的坐标，遍历移动并记录数据直到移动全部完成；
（3）选择与E2重合点最多的圆，记为C2，将C2向内收缩3个像素作为提取的虹膜边缘内环，记为ISi，提取到的虹膜边缘的内环ISi如图14所示。
S2024，基于虹膜边缘的内环与虹膜边缘的外环提取虹膜边缘区域；
在E0上提取虹膜边缘的内环ISi与虹膜边缘的外环ISo中间部分对应的边缘部分E3，即为所求的虹膜边缘区域。
步骤S03，基于边缘柔化和曲率计算对虹膜进行拟合，并提取眼中心。
S301，对虹膜边缘区域进行边缘柔化。
由于虹膜边缘区域两侧的灰度差异较大，边缘附近的灰度过渡不均匀，不均匀的灰色过渡可能导致前述提取的虹膜边缘存在不连贯的锯齿状。为了去除不连贯点以便于后续的虹膜边界拟合，本实施例步骤提出了一种基于边缘柔化算子的边缘柔化方法。边缘柔化算子的结构如图15所示，图中1表示像素值为1，x表示目标像素所在位置。
对步骤S02获得的虹膜边缘区域E3，使用四个边缘柔化算子依次遍历图像中值为255的像素，遍历的具体过程为将边缘柔化算子中x的位置与目标像素对齐并按照下述遍历计算公式进行计算。如果四个算子的遍历结果中有至少一个为0，则当前像素x的值被设置为0。所述遍历计算公式如下：
，
，
，
，
（6）。
其中，j表示循环变量，其取值范围为｛-1，0，1｝。cella(mm,nn)、cellb(mm,nn)、cellc(mm,nn)、celld(mm,nn)分别表示图15中（a）、（b）、（c）、（d）所示的四个方向的边缘柔化算子, 其中mm与nn表示边缘柔化算子里的元素位置，mm取值为0或1,nn的取值为0、1、2中的一个。esa(x,y)、esb(x,y)、esc(x,y)、esd(x,y)分别代表四个算子遍历后的结果, E1(x,y)代表虹膜边缘图像中坐标为(x,y)的像素值, esall(x,y)是esa(x,y)、esb(x,y)、esc(x,y)、esd(x,y)的逻辑与结果，若esall(x,y)为0，则E1(x,y) 被设为0。
边缘柔化前后的虹膜边缘区域分别如图16中的（a）、（b）所示。
由图13可以看出，经过边缘柔化后，原虹膜边缘区域中一些呈明显锯齿状、或与周围边缘点不连贯的凸点被去除，柔化后的边缘更接近虹膜的真实形状，有利于提高后续圆拟合的准确度。
S302，基于曲率计算进行眼睑去除。
阅读过程中的虹膜会因眼睑的遮挡而不完整，因而上述步骤提取得到的虹膜边缘区域仍然有可能包括眼睑部分。由于虹膜边缘区域本身较小，其包含的眼睑部分近似于直线，通过曲率计算并删除曲率较小点即可实现对眼睑部分的去除。
由于本发明的处理对象为图像帧，而图像中的像素点为离散点，其曲率不能直接利用连续序列的曲率公式，因此本实施例利用相邻三点所确定的唯一圆周曲率代表中间点的曲率，如图17所示。
其中，A、B、C代表相邻的三点，圆O是ABC三点确定的唯一圆，a、b、c分别表示BC、AC、AB之间的距离，该圆的圆周曲率计算公式如下：
（7）
（8）
（9）
其中，k为计算所得B点曲率；θ为∠ABC；(xA,yA)、(xB,yB)、(xC,yC)分别为A、B、C三点坐标。
经过计算后将曲率为0的边缘点删除以实现眼睑部分的去除，眼睑部分去除前后的对比如图18的（a）、（b）所示。从图18可以看出，经眼睑去除后，原始边缘处位于上下方向的大部分眼睑点被去除，减少了眼睑对于虹膜拟合的影响。
S303，基于最小二乘法对虹膜进行拟合，将拟合圆的圆心作为提取的眼睛中心点。
本实施例中采用最小二乘法对上述步骤中得到的虹膜边缘区域的边缘点进行圆拟合，以进一步实现对眼中心的提取。在本实施例中，拟合的函数为圆形，如下式所示：
（10）
其中，Rf是拟合圆的半径，(xc,yc)是拟合圆的圆心，（x，y）为拟合圆上的点。对应的误差平方和计算公式如下：
（11）
其中，E为拟合曲线的误差平方和；Ri为第i个点到拟合圆圆心的欧氏距离；nr为参与拟合的离散点个数。
在拟合过程中，将参与拟合的离散点的质心作为拟合圆圆心的初始参数值，在该值的基础上向外遍历寻找使得误差平方和最小的值，即为拟合圆的圆心，在求得拟合圆圆心的基础上，计算所有离散点到圆心的欧式距离的平均值，作为拟合圆的半径，具体计算公式如下：
（12）
其中，Rfit为拟合圆半径，（xi，yi）为参与拟合的离散点的坐标。其余参数与前述公式相同。
将拟合圆的圆心作为所提取的眼中心Oe，眼中心提取的结果如图19所示。
步骤S04，提取阅读状态下的眼镜镜片中心点。
目前市面上常见的框架眼镜基本由四边形、圆形、椭圆形三大类组成，针对其形状特性，本实施例中采用基于形状判别的方法来进行眼镜镜片中心点的提取。
首先由Mask-RCNN网络对眼镜镜片ROI区域进行分割，该眼镜镜片ROI区域只包括镜片及其外围的部分，左右镜片分别对应一个眼镜镜片ROI区域，对分割得到的眼镜镜片ROI区域提取眼镜边缘部分，再对眼镜边缘部分进行角点检测，其计算公式如下：
（13）
（14）
（15）
其中，∆x、∆y是角点检测窗口移动的大小；M（x，y）为计算过程中的一个中间矩阵；λ1、λ2是M（x，y）的特征值；Ix(x,y)、Iy(x,y)为眼镜分割图像的偏导数；ω是以(x,y)为中心的检测窗口内的高斯加权函数；R(x,y)为求得的角点响应函数，R(x,y)越大，则对应像素点被认为是角点的可能性越大。
若眼镜边缘检测出角点，则说明眼镜为四边形状，连接位于对角的端点，两条连线的交点即为所求眼镜镜片中心点Og；若未检测出角点，则说明眼镜为圆形或椭圆形，根据其边缘所在位置得到镜框的外接矩形，该矩形的中心即为所求眼镜镜片中心点Og。
步骤S05，基于眼镜镜片中心点与眼睛中心点确定中心偏差度和视野范围屈光度有效系数，并根据中心偏差度和视野范围屈光度有效系数对眼镜佩戴舒适度进行评价。
根据前述步骤提取所有有效阅读状态帧的眼睛中心点Oe的位置，其形成的区域范围即为阅读过程中的视野范围WOe。基于视野范围WOe计算中心偏差度和视野范围屈光度有效系数，如图20所示，计算公式如下：
所述中心偏差度为眼镜镜片中心点Og到视野范围中心点Ow的偏离程度，偏离程度越小则眼镜的舒适度越高，其计算公式如下：
(16)
其中，Cd为计算得到的中心偏差度，是眼镜中心点Og的位置坐标，/>是视野范围中心点Ow的位置坐标，Ow通过提取视野范围WOe外接矩形的中心点得到。
所述视野范围屈光度有效系数是评估镜片在实际应用中屈光度有效性的参数，有效性越高则镜片舒适度越高。其计算过程如下：
按照图像分割得到的眼镜图像尺寸与真实的眼镜尺寸对视野范围WOe进行等比例缩放，得到在真实世界中的真实视野范围。根据配镜所需的屈光度dc与镜片实际的有效屈光度dt，所述视野范围屈光度有效系数的计算公式如下：
(17)
其中，Dv为计算得到的视野范围屈光度有效系数，i表示计数值，nW为内所有像素点的数量，dti为该点对应的有效屈光度。
结合所述中心偏差度和视野范围屈光度有效系数对当前佩戴的眼镜镜片评分计算如下式：
(18)
其中，score为计算得到的眼镜佩戴效果评分，其取值范围为(0,1]，并且score的取值越大表示佩戴舒适度越好。
实施例2
本实施例为一种基于阅读视野的矫正眼镜佩戴舒适度评价系统，所述系统是基于前述任一实施例中的矫正眼镜佩戴舒适度评价方法的步骤对应的模块单元组成的装置，以用于对矫正眼镜佩戴舒适度进行自动评分评价。
本发明针对矫正眼镜的佩戴舒适度提出了一种基于阅读视野的舒适度评价方法和评价系统，整套方案可行性高，可通过采集和输入受试者在佩戴眼镜进行阅读过程中的人像视频数据，自动提取眼睛中心点与眼镜中心点并自动输出镜片评分进行舒适度评价，得分越高说明镜片越能为受试者提供清晰舒适的视野，从而为配镜师提供参考，帮助进一步设计和改良光学框架式矫正眼镜。本发明的技术方案对图像中的眼睛中心点与眼镜中心点识别准确度高，评价计算方法合理高效，适用于各种配镜场合下的佩戴舒适度自动计算和评价，可以有效提升对佩戴舒适度的客观评分准确度，方案高效实用客观准确。
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (8)

1.一种基于阅读视野的矫正眼镜佩戴舒适度评价方法，其特征在于，包括如下步骤：
S01，采集矫正眼镜被佩戴在阅读状态下的原始视频数据，并利用短时自适应双阈值对所述原始视频数据进行筛选，获得筛选后的有效阅读状态帧；
S02，基于边界双环搜索方法对有效阅读状态帧提取眼部虹膜边缘区域；
S03，基于边缘柔化和曲率计算对虹膜拟合，并提取阅读状态下的眼睛中心点；
S04，提取阅读状态下的眼镜镜片中心点；
S05，基于眼镜镜片中心点与眼睛中心点确定中心偏差度和视野范围屈光度有效系数，并根据中心偏差度和视野范围屈光度有效系数对矫正眼镜佩戴舒适度进行评价；
所述步骤S01包括：
S101，采集阅读状态下的原始视频数据，将采集的原始视频数据利用眼睛睁开程度指标计算图像中人眼闭合程度，并以短阅读时段为单位进行划分；
S102，基于第一自适应阈值提取视频数据中的闭眼无效阅读状态帧；
S103，基于第二自适应阈值提取视频数据中的非闭眼无效阅读状态帧；
S104，将闭眼无效阅读状态帧与非闭眼无效阅读状态帧剔除后，将其余帧作为筛选后的有效阅读状态帧；
所述步骤S05具体包括：
将所有有效阅读状态帧对应的阅读状态下的眼睛中心点Oe形成的区域即为阅读过程中的视野范围WOe，基于视野范围WOe计算中心偏差度和视野范围屈光度有效系数，计算公式如下：
所述中心偏差度为眼镜镜片中心点Og到视野范围中心点Ow的偏离程度，偏离程度越小则眼镜的舒适度越高，其计算公式如下：
(16)
其中，为计算得到的中心偏差度，/>是眼镜镜片中心点Og的位置坐标，/>是视野范围中心点Ow的位置坐标，Ow通过提取视野范围WOe外接矩形的中心点得到；
所述视野范围屈光度有效系数为评估镜片在实际应用中屈光度的有效性，有效性越高则镜片舒适度越高，其计算过程如下：
按照视频图像中的眼镜图像尺寸与真实的眼镜真实尺寸对视野范围WOe进行等比例缩放，得到在真实世界中的真实视野范围，根据配镜所需的屈光度dc与镜片实际的有效屈光度dt，所述视野范围屈光度有效系数的计算公式如下：
(17)
其中，Dv为计算得到的视野范围屈光度有效系数，nW为内所有像素点的数量，dti为像素点对应的有效屈光度；
结合所述中心偏差度和视野范围屈光度有效系数对当前佩戴的眼镜镜片舒适度评分计算如下式：
(18)
其中，score为计算得到的眼镜佩戴舒适度评分，其取值范围为(0,1]，所述score的取值越大表示佩戴舒适度越好。
2.如权利要求1所述的一种基于阅读视野的矫正眼镜佩戴舒适度评价方法，其特征在于，所述步骤S101中的眼睛睁开程度指标为眼睛纵横比参数EAR，计算公式如下：
（1）
其中，w1代表P2和P6之间的距离，w2代表P3和P5之间的距离，代表P1和P4之间的距离，P1、P2、P3、P4、P5、P6是指人脸68特征点中位于眼睑处的6个点。
3.如权利要求2所述的一种基于阅读视野的矫正眼镜佩戴舒适度评价方法，其特征在于，所述步骤S102具体包括：
首先利用逐帧差分法将一个短阅读时段的EAR曲线中所有的波峰和波谷提取出来，对每个波谷分别计算其与左右两个波峰之间的高度差，记为Hi(i=1,2,...,2n)，i为计数值，n为波谷个数；
然后采用核密度估计方法计算高度差Hi的分布情况，其计算公式如下：
（2）
（3）
其中H表示概率密度函数的自变量，f表示由核密度估计方法计算得到的概率密度函数，︿表示估计，为带宽，/>表示与/>带宽对应的由核密度估计方法计算得到的概率密度函数估计， K指高斯核函数， />指与/>带宽对应的高斯核函数，σ代表高度差Hi的标准差，i为计数值，n为波谷个数；
将高度差Hi的核密度分布曲线中紧邻最大波峰的第一个波谷设为第一自适应阈值Ta，然后将所述EAR曲线中所有大于第一自适应阈值Ta的高度差Hi对应的波谷提取出来作为有效波谷，记为第一集合Thc，所述第一集合Thc表示闭眼无效阅读状态对应的闭眼无效阅读状态帧。
4.如权利要求3所述的一种基于阅读视野的矫正眼镜佩戴舒适度评价方法，其特征在于，所述步骤S103具体包括：
保留EAR序列中与相邻波谷差异大于第一自适应阈值Ta的波峰，记为第二集合Pkc，并删除其余波峰；
基于第一集合Thc和第二集合Pkc重新计算高度差Hi，计算过程如下：
对于第一集合Thc中的每一个波谷，取该波谷对应的两个高度差Hi中较小的高度差Hi的一半，将其设置为第二自适应阈值Tb，每组第一集合Thc中的一个波谷对应一个第二自适应阈值Tb；
从第一集合Thc的每一个波谷出发，若该波谷距离其相邻两侧波峰路径上的帧与当前波谷之间的EAR差值小于当前波谷对应的第二自适应阈值Tb，则认为这些帧属于非闭眼无效阅读状态帧。
5.如权利要求4所述的一种基于阅读视野的矫正眼镜佩戴舒适度评价方法，其特征在于，步骤S02包括：
S201，对有效阅读状态帧提取初始虹膜区域和初始虹膜中心；
S202，基于边界双环对初始虹膜区域提取虹膜边缘区域。
6.如权利要求5所述的一种基于阅读视野的矫正眼镜佩戴舒适度评价方法，其特征在于，所述步骤S202具体包括：
S2021，提取眼部区域边缘：通过高斯滤波及Canny算子提取眼部感兴趣区域ROI的红色通道R0的边缘作为眼部区域边缘，记为E0；
S2022，从眼部区域边缘E0提取虹膜边缘的外环：对眼部区域边缘R0进行两次中值滤波，对两次中值滤波后的RO使用Canny算子提取边缘，记为E1，并在E1上提取虹膜边缘的外环；
S2023，从眼部区域边缘提取虹膜边缘的内环：对眼部区域边缘RO进行两次伽马滤波,对两次伽马滤波后的RO使用Canny算子提取边缘，记为E2，并在E2上提取虹膜边缘的内环；
S2024，基于虹膜边缘的内环与虹膜边缘的外环提取虹膜边缘部分；
在E0上提取虹膜边缘的内环与虹膜边缘的外环中间部分对应的边缘部分E3，即为所提取的虹膜边缘区域。
7.如权利要求6所述的一种基于阅读视野的矫正眼镜佩戴舒适度评价方法，其特征在于，所述步骤S03具体包括：
S301，对虹膜边缘区域进行边缘柔化；
S302，基于曲率计算进行眼睑去除；
S303，基于最小二乘法对虹膜进行拟合，并将拟合圆的圆心作为提取的阅读状态下的眼睛中心点。
8.一种基于阅读视野的矫正眼镜佩戴舒适度评价系统，其特征在于，所述评价系统是基于权利要求1-7中任一矫正眼镜佩戴舒适度评价方法的步骤对应的模块单元组成的系统，以用于对矫正眼镜佩戴舒适度进行自动评价。
CN202311207315.9A 2023-09-19 2023-09-19 一种基于阅读视野的矫正眼镜佩戴舒适度评价方法和系统 Active CN116958885B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311207315.9A CN116958885B (zh) 2023-09-19 2023-09-19 一种基于阅读视野的矫正眼镜佩戴舒适度评价方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311207315.9A CN116958885B (zh) 2023-09-19 2023-09-19 一种基于阅读视野的矫正眼镜佩戴舒适度评价方法和系统

Publications (2)

Publication Number Publication Date
CN116958885A CN116958885A (zh) 2023-10-27
CN116958885B true CN116958885B (zh) 2023-12-05

Family

ID=88447715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311207315.9A Active CN116958885B (zh) 2023-09-19 2023-09-19 一种基于阅读视野的矫正眼镜佩戴舒适度评价方法和系统

Country Status (1)

Country Link
CN (1) CN116958885B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2628387A1 (en) * 1999-10-21 2001-04-26 Technolas Gmbh Ophthalmologische Systeme Iris recognition and tracking for optical treatment
CN104428709A (zh) * 2012-08-03 2015-03-18 依视路国际集团（光学总公司） 用于向佩戴者的眼睛提供可定制的眼镜片的方法及相关联的主动视觉系统
CN110346946A (zh) * 2019-06-25 2019-10-18 苏州科技大学 一种基于眼镜佩戴者个性化特征评价眼镜片的方法
CN110705468A (zh) * 2019-09-30 2020-01-17 四川大学 基于图像分析的眼动范围识别方法和系统
CN110785113A (zh) * 2017-06-30 2020-02-11 依视路国际公司 用于确定受试者的眼睛的眼睛转动中心的位置的方法以及相关装置
CN111513671A (zh) * 2020-01-20 2020-08-11 明月镜片股份有限公司 基于眼部图像的眼镜舒适度评价方法
WO2020216810A1 (de) * 2019-04-23 2020-10-29 Carl Zeiss Vision International Gmbh Verfahren und vorrichtung zum vermessen der lokalen brechkraft und/oder der brechkraftverteilung eines brillenglases

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1291633B1 (en) * 2001-09-06 2005-09-28 Hoya Corporation Method for evaluating binocular performance of spectacle lenses, method for displaying said performance and apparatus therefore
EP3115830B1 (en) * 2014-03-04 2023-11-22 Menicon Co., Ltd. Decentered type contact lens and decentered type contact lens set

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2628387A1 (en) * 1999-10-21 2001-04-26 Technolas Gmbh Ophthalmologische Systeme Iris recognition and tracking for optical treatment
CN104428709A (zh) * 2012-08-03 2015-03-18 依视路国际集团（光学总公司） 用于向佩戴者的眼睛提供可定制的眼镜片的方法及相关联的主动视觉系统
CN110785113A (zh) * 2017-06-30 2020-02-11 依视路国际公司 用于确定受试者的眼睛的眼睛转动中心的位置的方法以及相关装置
WO2020216810A1 (de) * 2019-04-23 2020-10-29 Carl Zeiss Vision International Gmbh Verfahren und vorrichtung zum vermessen der lokalen brechkraft und/oder der brechkraftverteilung eines brillenglases
CN110346946A (zh) * 2019-06-25 2019-10-18 苏州科技大学 一种基于眼镜佩戴者个性化特征评价眼镜片的方法
CN110705468A (zh) * 2019-09-30 2020-01-17 四川大学 基于图像分析的眼动范围识别方法和系统
CN111513671A (zh) * 2020-01-20 2020-08-11 明月镜片股份有限公司 基于眼部图像的眼镜舒适度评价方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于眼动仪评价配镜舒适程度的实验研究;樊碧月;武杰;项华中;胡义波;;光学技术(第02期);140-145 *

Also Published As

Publication number Publication date
CN116958885A (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN109377474B (zh) 一种基于改进Faster R-CNN的黄斑定位方法
US9089288B2 (en) Apparatus and method for non-invasive diabetic retinopathy detection and monitoring
CN107292877B (zh) 一种基于眼底图像特征的左右眼识别方法
CN103424891B (zh) 成像装置及方法
Ho et al. An atomatic fundus image analysis system for clinical diagnosis of glaucoma
US9468377B2 (en) Portable medical device and method for quantitative retinal image analysis through a smartphone
CN110279391B (zh) 便携红外相机视力检测算法
CN109840484B (zh) 一种基于边缘滤波、椭圆评价和瞳孔验证的瞳孔检测方法
US20230020160A1 (en) Method for determining a value of at least one geometrico-morphological parameter of a subject wearing an eyewear
CN113692527A (zh) 用于测量眼镜片的局部屈光力和/或屈光力分布的方法和装置
CN116019416A (zh) 一种对角膜塑形后地形图进行矫正效果评级的方法
CN109446935B (zh) 一种用于远距离行进中虹膜识别的虹膜定位方法
CN116958885B (zh) 一种基于阅读视野的矫正眼镜佩戴舒适度评价方法和系统
Mukherjee et al. Predictive diagnosis of glaucoma based on analysis of focal notching along the neuro-retinal rim using machine learning
CN115908237B (zh) 一种眼裂宽度的测量方法、装置和存储介质
US20220229313A1 (en) Toric contact lens stabilization design based on thickness gradients orthogonal to eyelid margin
CN116452571A (zh) 一种基于深度神经网络的图像识别方法
CN108230287B (zh) 一种眼前节图像的晶体区域的检测方法及装置
Athab et al. Disc and Cup Segmentation for Glaucoma Detection
CN110751064A (zh) 基于图像处理的眨眼次数分析方法和系统
Rezazadeh et al. Semi-automatic measurement of rigid gas-permeable contact lens movement in keratoconus patients using blinking images
KR101882181B1 (ko) 동심원 방향의 동공 영역 레이블링을 이용한 그레이디언트 기반 눈 검출 방법
CN117495864B (zh) 基于图像处理的影动方向计算系统及屈光度估计系统
Yang et al. Screening for refractive error with low-quality smartphone images
WO2010134889A1 (en) Methods and systems for pathological myopia detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant