CN112989939B - 一种基于视觉的斜视检测系统 - Google Patents

一种基于视觉的斜视检测系统 Download PDF

Info

Publication number
CN112989939B
CN112989939B CN202110170382.2A CN202110170382A CN112989939B CN 112989939 B CN112989939 B CN 112989939B CN 202110170382 A CN202110170382 A CN 202110170382A CN 112989939 B CN112989939 B CN 112989939B
Authority
CN
China
Prior art keywords
eye
pupil
image
module
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110170382.2A
Other languages
English (en)
Other versions
CN112989939A (zh
Inventor
陈健良
肖弘智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Sinomenia Information Technology Co ltd
Original Assignee
Foshan Sinomenia Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Sinomenia Information Technology Co ltd filed Critical Foshan Sinomenia Information Technology Co ltd
Priority to CN202110170382.2A priority Critical patent/CN112989939B/zh
Publication of CN112989939A publication Critical patent/CN112989939A/zh
Application granted granted Critical
Publication of CN112989939B publication Critical patent/CN112989939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02—Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/08—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing binocular or stereoscopic vision, e.g. strabismus
    • A61B3/085—Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing binocular or stereoscopic vision, e.g. strabismus for testing strabismus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于视觉的斜视检测系统，包括：图像采集模块，用于采集待检测图像；人脸检测模块，用于根据所述待检测图像识别人脸图像；眼部检测模块，用于根据所述人脸图像识别眼部图像并分别获取所述眼部图像中两只眼睛的轮廓特征点；第一计算模块，用于根据所述眼部图像分别计算两只眼睛的瞳孔中心坐标，第二计算模块；第一判断模块，用于判断差值的大小，当所述差值大于预设阈值时，则待测人员存在斜视。采用本发明，能够计算两只眼睛的瞳孔倾斜率并计算两只眼睛的瞳孔倾斜率的差值，当所述差值大于预设阈值时，则待测人员存在斜视，从而发出警示，及时及早发现并纠正。

Description

一种基于视觉的斜视检测系统
技术领域
本发明涉及图像处理领域，尤其涉及一种基于视觉的斜视检测系统。
背景技术
斜视(strabismus)是指两眼不能同时注视目标，属眼外肌疾病，可分为共同性斜视和麻痹性斜视两大类。共同性斜视以眼球无运动障碍、第一眼位和第二眼位斜视度相等为主要临床特征；麻痹性斜视则有眼球运动受限，复视，可为先天性，也可因外伤、或全身性疾病导致。
斜视多发群体为幼儿，幼儿间歇斜视具有一定的隐蔽性，不一定一直出现，初发阶段很难被注意到，到家长发现情况的时候往往已经到了比较严重的情况。幼儿斜视由于时间不长，部分患者可以通过自身调节或者接受专业眼部训练缓解斜视的发生。但若不及时处理或锻炼，长大以后可能会发展成成人斜视且失去自我调节能力转变成恒定斜视。因此，及时地发现斜视和提醒家长或学生至关重要！
发明内容
本发明所要解决的技术问题在于，提供一种基于视觉的斜视检测系统，能够检测出用户的眼睛是否存在斜视，从而能够及时及早地发现并纠正斜视。
为了解决上述技术问题，本发明提供了一种基于视觉的斜视检测系统，包括：图像采集模块，用于采集待检测图像；人脸检测模块，用于根据所述待检测图像识别人脸图像；眼部检测模块，用于根据所述人脸图像识别眼部图像并分别获取所述眼部图像中两只眼睛的轮廓特征点；第一计算模块，用于根据所述眼部图像分别计算两只眼睛的瞳孔中心坐标，第二计算模块，用于根据所述轮廓特征点和瞳孔中心坐标分别计算两只眼睛的瞳孔倾斜率并计算两只眼睛的瞳孔倾斜率的差值；第一判断模块，用于判断差值的大小，当所述差值大于预设阈值时，则待测人员存在斜视。
优选地，所述眼部检测模块根据所述人脸图像识别眼部图像并分别获取所述眼部图像中两只眼睛的轮廓特征点的步骤包括：将所述人脸图像输入预先构建好的眼部图像识别模型以获得眼部图像，其中，所述眼部图像识别模型为训练好的卷积神经网络或方向梯度直方图；根据所述眼部图像提取两只眼睛的轮廓特征点，其中，所述轮廓特征点包括左侧眼角点、上边缘左侧点、上边缘右侧点、右侧眼角点、下边缘右侧点以及下边缘左侧点。
优选地，所述第一计算模块包括：坐标计算单元，用于对所述眼部图像进行遮罩运算获取瞳孔中心，其中，循环整个所述眼部图像找到圆内所包含黑点数量最多的圆并将其圆心作为瞳孔中心。
优选地，所述基于视觉的斜视检测系统还包括：去除模块，用于去除所述眼部检测模块中获取的眼部图像中的非眼睛部分的图像像素点，其中，把所述左侧眼角点、上边缘左侧点、上边缘右侧点、右侧眼角点、下边缘右侧点、下边缘左侧点以及左侧眼角点依次连接以形成封闭区域，去除处于所述封闭区域以外的所有像素。
优选地，所述基于视觉的斜视检测系统还包括：高斯滤波模块，用于对所述眼部检测模块中获取的眼部图像进行高斯滤波降噪处理。
优选地，所述基于视觉的斜视检测系统还包括：二值化处理模块，用于对所述去除模块中获得的眼部图像进行自适应二值化处理。
优选地，所述基于视觉的斜视检测系统还包括：开运算模块，用于对所述二值化处理模块中获取的眼部图像进行开运算处理。
优选地，所述第一计算模块还包括：坐标优化单元，用于根据经过所述开运算模块过后的所述眼部图像获取瞳孔轮廓，并用于计算所述瞳孔轮廓的轮廓中心并将所述轮廓中心作为瞳孔中心，所述轮廓中心的坐标为(X，Y)，其中，X＝Xmin+(Xmax-Xmin)/2，Xmin为所述瞳孔轮廓上最小的横坐标，Xmax为所述瞳孔轮廓上最大的横坐标，Y＝Ymin+(Ymax-Ymin)/2，Ymin为所述瞳孔轮廓上最小的纵坐标，Ymax为所述瞳孔轮廓上最大的纵坐标。
优选地，所述基于视觉的斜视检测系统还包括：第二判断模块，用于判断进行遮罩运算获取的瞳孔中心是否处于所述瞳孔轮廓内，若是，则将所述轮廓中心定为最终的瞳孔中心，否则将所述遮罩运算获取的瞳孔中心定为最终的瞳孔中心。
优选地，所述第二计算模块包括：距离计算单元，用于计算的所述左侧眼角点到右侧眼角点的距离并作为眼睛宽度，计算所述上边缘左侧点和上边缘右侧点的中点到所述下边缘左侧点和下边缘右侧点的中点的距离并作为眼睛高度，计算所述左侧眼角点到瞳孔中心的距离并作为第一距离，计算所述上边缘左侧点和上边缘右侧点的中点到瞳孔中心的距离并作为第二距离；斜率计算单元，用于计算所述第一距离与眼睛宽度的比值并作为瞳孔水平倾斜率，计算所述第二距离与眼睛高度的比值并作为瞳孔垂直倾斜率；差值计算单元，用于计算两只眼睛的瞳孔水平倾斜率的差值并作为水平差值，计算两只眼睛的瞳孔垂直倾斜率的差值并作为垂直差值。
实施本发明的有益效果在于：
本发明，通过采集用户的待检测图像，通过深度学习和形态学图像处理方法混合算法对眼睛和瞳孔进行精确定位，并根据所述轮廓特征点和瞳孔中心坐标分别计算两只眼睛的瞳孔倾斜率并计算两只眼睛的瞳孔倾斜率的差值。当所述差值大于预设阈值时，则待测人员存在斜视，从而发出警示，及时及早发现并纠正。
附图说明
图1是本发明提供的基于视觉的斜视检测系统的示意框图；
图2是本发明提供的基于视觉的斜视检测系统的另一实施例的示意框图；
图3是本发明提供的第一计算模块的示意框图；
图4是本发明提供的第二计算模块的示意框图；
图5是本发明提供的眼部图像以及轮廓特征点的示意图；
图6是本发明提供的去除非眼睛部分前后的眼部图像的示意图；
图7是本发明提供的自适应二值化和开运算处理后的眼部图像的示意图；
图8是本发明提供的遮罩处理后的瞳孔图像；
图9是本发明提供的根据瞳孔轮廓处理后的瞳孔图像；
图10是本发明提供的根据遮罩处理和瞳孔轮廓处理后的瞳孔图像。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。仅此声明，本发明在文中出现或即将出现的上、下、左、右、前、后、内、外等方位用词，仅以本发明的附图为基准，其并不是对本发明的具体限定。
如图1所示，本发明提供了一种基于视觉的斜视检测系统，包括：图像采集模块1，用于采集待检测图像；人脸检测模块2，用于根据所述待检测图像识别人脸图像；眼部检测模块3，用于根据所述人脸图像识别眼部图像并分别获取所述眼部图像中两只眼睛的轮廓特征点；第一计算模块4，用于根据所述眼部图像分别计算两只眼睛的瞳孔中心坐标，第二计算模块5，用于根据所述轮廓特征点和瞳孔中心坐标分别计算两只眼睛的瞳孔倾斜率并计算两只眼睛的瞳孔倾斜率的差值；第一判断模块6，用于判断差值的大小，当所述差值大于预设阈值时，则待测人员存在斜视。
需要说明的是，本发明主要应用于智慧校园和远程教育等领域。图像采集模块1主要为智慧校园的视频监控设备，因此，可以将发现潜在斜视人员通过匹配学生基础信息发出斜视预警给教育管理人员、老师和家长。对斜视患儿进行长期跟踪。图像采集模块1还可以为远程教育设备，发现潜在斜视发出斜视预警。另外在学习或游戏时：通过学生家用电脑接入检测系统，在患儿日常使用电脑时进行图像采集，发现斜视发出斜视提醒。所述人脸检测模块2为训练好的深度神经网络模型如ncnn或mnn等，以输出人脸图像，其中人脸图像的外轮廓由人脸四角坐标点依次连接形成(p1，p2，p3，p4)，但不限于此。所述眼部检测模块3为预先构建好的眼部图像识别模型以获得眼部图像，其中，所述眼部图像识别模型为训练好的卷积神经网络或方向梯度直方图。具体地，
本发明可以使用家用设备，专业设备非必须选项，使用门槛较低；无需要训练，设备不需要经过专人摆放；可以融合到其他管理系统当中，作为辅助系统协助管理人员和家长对学生视力健康进行管理，及早发现斜视和跟踪斜视层度；无人值守，系统可以自动提醒用户/患者，无需家长或者老师在场；对图片数据进行记录和保存，方便后续医学介入时提供分析材料。
本发明，通过采集用户的待检测图像，通过深度学习和形态学图像处理方法混合算法对眼睛和瞳孔进行精确定位，并根据所述轮廓特征点和瞳孔中心坐标分别计算两只眼睛的瞳孔倾斜率并计算两只眼睛的瞳孔倾斜率的差值。当所述差值大于预设阈值时，则待测人员存在斜视，从而发出警示，及时及早发现并纠正。
优选地，所述眼部检测模块根据所述人脸图像识别眼部图像并分别获取所述眼部图像中两只眼睛的轮廓特征点的步骤包括：将所述人脸图像输入预先构建好的眼部图像识别模型以获得眼部图像，其中，所述眼部图像识别模型为训练好的卷积神经网络或方向梯度直方图；根据所述眼部图像提取两只眼睛的轮廓特征点，其中，所述轮廓特征点包括左侧眼角、上边缘左侧、上边缘右侧、右侧眼角、下边缘右侧以及下边缘左侧，如图5所示，所述轮廓特征点包括左侧眼角点1'、上边缘左侧点2'、上边缘右侧点3'、右侧眼角点4'、下边缘右侧点5'以及下边缘左侧点6'。
需要说明的是，本发明通过将所述人脸图像输入预先构建好的眼部图像识别模型以获得眼部图像，可以准确获取眼部图像，根据所述眼部图像提取两只眼睛的轮廓特征点，为后续的计算做准备。
如图3所示，更佳地，所述第一计算模块4包括：坐标计算单元41，用于对所述眼部图像进行遮罩运算获取瞳孔中心，其中，循环整个所述眼部图像找到圆内所包含黑点数量最多的圆并将其圆心作为瞳孔中心。
如图2所示，优选地，所述基于视觉的斜视检测系统还包括：去除模块7，用于去除所述眼部检测模块中获取的眼部图像中的非眼睛部分的图像像素点，其中，把所述左侧眼角点、上边缘左侧点、上边缘右侧点、右侧眼角点、下边缘右侧点、下边缘左侧点以及左侧眼角点依次连接以形成封闭区域，去除处于所述封闭区域以外的所有像素。
进一步地，所述基于视觉的斜视检测系统还包括：高斯滤波模块8，用于对所述眼部检测模块中获取的眼部图像进行高斯滤波降噪处理。
更佳地，所述基于视觉的斜视检测系统还包括：二值化处理模块9，用于对所述去除模块中获得的眼部图像进行自适应二值化处理。
优选地，所述基于视觉的斜视检测系统还包括：开运算模块10，用于对所述二值化处理模块中获取的眼部图像进行开运算处理。
需要说明的是，上述处理步骤总结如下：
对所述眼部图像进行高斯滤波降噪处理。图像采集过程中可能产生像素噪声，滤波可以去掉一定的小噪点使图像更为平滑
根据所述轮廓特征点去除经过高斯滤波降噪处理后所述眼部图像中的非眼睛部分的图像像素点。去除非眼球部分图像像素点，由上一步处理得出眼睛的具体位置，在进行进一步处理前，要把非眼球部分的图像清除，降低对后续处理步骤的影响。具体地，所述根据所述轮廓特征点去除经过高斯滤波降噪处理后所述眼部图像中的非眼睛部分的图像像素点的步骤包括：把所述左侧眼角点、上边缘左侧点、上边缘右侧点、右侧眼角点、下边缘右侧点、下边缘左侧点以及左侧眼角点依次连接以形成封闭区域，去除处于所述封闭区域以外的所有像素，图5为去除非眼睛部分前的眼部图像，图6为去除非眼睛部分后的眼部图像。
对去除非眼睛部分的所述眼部图像进行自适应二值化处理。为减少计算量，简化计算，对灰度图像进行自适应二值化。自适应二值化算法根据一般瞳孔占眼睛比例不超过50％确定二值化阈值，设定在一个合理的比例区间如30％-50％之间。即黑色点占眼球所有像素点的30％-50％之间，但不限于此。
对经自适应二值化处理的所述眼部图像进行开运算处理。图像膨胀和腐蚀处理:因为灯光、自然光等原因有时瞳孔上会有些小光斑，这些小光斑通过开运算可以去除面积较小的部分。如图7所示，图e为经过开运算过后的图像，可以去除小的光斑，但对于大的光斑无法去除。
对经过开运算处理的所述眼部图像进行遮罩运算获取瞳孔中心，其中，循环整个所述眼球图像找到圆内所包含黑点数量最多的圆并将其圆心作为瞳孔中心。具体地，计算瞳孔可能出现的范围：根据眼球宽度估算出瞳孔直径范围(一般选择的圆的直径为眼宽的0.4～0.6倍，但不限于此),通过遮罩运算，计算出最匹配的瞳孔中心可能出现的位置。如图8所示，图f中,圆7'内包含的黑点数量小于圆8'内的，因此圆8'更匹配，取其圆心作为瞳孔中心。当然也可以循环整个眼球图像找到匹配度最高的圆作为瞳孔中心点。
需要说明的是，如果出现多个匹配度最高的圆(一般由于选择的圆的直径过小导致)，则取这些圆的圆心的平均点作为瞳孔中心点，即，如果出现两个，则选择两个圆心连线的中点，如果三个点则选择三个点组成三角形的外心，以此类推，但不限于此。
如图3所示，更佳地，所述第一计算模块4还包括：坐标优化单元42，用于根据经过所述开运算模块过后的所述眼部图像获取瞳孔轮廓，并用于计算所述瞳孔轮廓的轮廓中心并将所述轮廓中心作为瞳孔中心，所述轮廓中心的坐标为(X，Y)，其中，X＝Xmin+(Xmax-Xmin)/2，Xmin为所述瞳孔轮廓上最小的横坐标，Xmax为所述瞳孔轮廓上最大的横坐标，Y＝Ymin+(Ymax-Ymin)/2，Ymin为所述瞳孔轮廓上最小的纵坐标，Ymax为所述瞳孔轮廓上最大的纵坐标。
需要说明的是，有些特别的情况下，外部光源对瞳孔二值化后影响很大。如图9所示，光斑10'在眼睛左侧面积很大，根据遮罩运算获取瞳孔中心会偏向右侧(匹配度最高的圆为10'，其圆心为遮罩运算获取的瞳孔中心)。这时，通过根据根据经过开运算过后的所述眼部图像获取瞳孔轮廓(11'为瞳孔轮廓，所有黑色点的外轮廓)，使用轮廓中心对瞳孔中心位置进行修正。瞳孔轮廓的中心的横坐标为X＝Xmin+(Xmax-Xmin)/2，纵坐标为Y＝Ymin+(Ymax-Ymin)/，其中，Xmin为所述瞳孔轮廓上最小的横坐标，Xmax为所述瞳孔轮廓上最大的横坐标，Ymin为所述瞳孔轮廓上最小的纵坐标，Ymax为所述瞳孔轮廓上最大的纵坐标。因此根据图g可以看出本例中轮廓中心明显要优于遮罩运算获取的瞳孔中心。
如图2所示，更佳地，所述基于视觉的斜视检测系统还包括第二判断模块11，所述第二判断模块11用于判断进行遮罩运算获取的瞳孔中心是否处于所述瞳孔轮廓内，若是，则将所述轮廓中心定为最终的瞳孔中心，否则将所述遮罩运算获取的瞳孔中心定为最终的瞳孔中心。
需要说明的是，有些情况下，外部光源影响很严重，轮廓法会出现比较大的偏差，这时候轮廓法得出的瞳孔中心将不再适用。比如当外部有几个大光源(常见于摄影棚)形成连续的高光区域使二值化以后瞳孔图片的轮廓非连续分布的，如图10所示，12'为匹配度最高的圆为，其圆心为遮罩运算获取的瞳孔中心。瞳孔轮廓分成上部轮廓14'和下部轮廓13'，这时如果选取任一轮廓的轮廓中心作为瞳孔中心，误差比较大。因此，判断进行遮罩运算获取的瞳孔中心是否处于所述瞳孔轮廓内，若是，则将对应瞳孔轮廓的轮廓中心定为最终的瞳孔中心，否则将所述遮罩运算获取的瞳孔中心定为最终的瞳孔中心。如图10所示，进行遮罩运算获取的瞳孔中心不处于任一所述瞳孔轮廓内，因此选择所述遮罩运算获取的瞳孔中心定为最终的瞳孔中心。
另外，后续优化方案可以用外直径为R D＝max((Xmax-Xmin),(Ymax-Ymin))的圆环计算所述瞳孔轮廓的轮廓中心，其中，Xmin为所述瞳孔轮廓上最小的横坐标，Xmax为所述瞳孔轮廓上最大的横坐标，Ymin为所述瞳孔轮廓上最小的纵坐标，Ymax为所述瞳孔轮廓上最大的纵坐标。以外直径的预设百分比(比如3-10％)作为所述圆环的宽度，将所述圆环与黑色像素点匹配，包含黑色像素点最多的所述圆环的圆环中心作为轮廓中心；针对特殊情况，包含黑色像素点最多的几个圆环的圆环中心可以认为是轮廓的中心点，这样有效解决眼睛向上或者向下看时瞳孔只有半只眼睛带来的误差。
如图4所示，优选地，所述第二计算模块5包括：距离计算单元51，用于计算的所述左侧眼角点到右侧眼角点的距离并作为眼睛宽度，计算所述上边缘左侧点和上边缘右侧点的中点到所述下边缘左侧点和下边缘右侧点的中点的距离并作为眼睛高度，计算所述左侧眼角点到瞳孔中心的距离并作为第一距离，计算所述上边缘左侧点和上边缘右侧点的中点到瞳孔中心的距离并作为第二距离；斜率计算单元52，用于计算所述第一距离与眼睛宽度的比值并作为瞳孔水平倾斜率，计算所述第二距离与眼睛高度的比值并作为瞳孔垂直倾斜率；差值计算单元53，用于计算两只眼睛的瞳孔水平倾斜率的差值并作为水平差值，计算两只眼睛的瞳孔垂直倾斜率的差值并作为垂直差值。
需要说明的是，本发明将预设阈值的取值范围为5％～20％，作为优选地，本发明选用8％作为最终的预设阈值，但不限于此。因此，通过计算后，获取用户的左右眼的水平差值或垂直差值大于8％，则判断用户出现斜视。
综上所述，本发明，通过采集用户的待检测图像，通过深度学习和形态学图像处理方法混合算法对眼睛和瞳孔进行精确定位，并根据所述轮廓特征点和瞳孔中心坐标分别计算两只眼睛的瞳孔倾斜率并计算两只眼睛的瞳孔倾斜率的差值。当所述差值大于预设阈值时，则待测人员存在斜视，从而发出警示，及时及早发现并纠正。本发明结合智慧校园和远程教育的终端设备对学生进行图像获取，更好地对学生进行斜视检测跟踪，以及后续的及时及早发现与治疗。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (6)

1.一种基于视觉的斜视检测系统，其特征在于，包括：
图像采集模块，用于采集待检测图像；
人脸检测模块，用于根据所述待检测图像识别人脸图像；
眼部检测模块，用于根据所述人脸图像识别眼部图像并分别获取所述眼部图像中两只眼睛的轮廓特征点，其中，所述轮廓特征点包括左侧眼角点、上边缘左侧点、上边缘右侧点、右侧眼角点、下边缘右侧点以及下边缘左侧点；
第一计算模块，用于根据所述眼部图像分别计算两只眼睛的瞳孔中心坐标；
所述第一计算模块包括坐标计算单元和坐标优化单元；
所述坐标计算单元用于对所述眼部图像进行遮罩运算获取瞳孔中心，其中，循环整个所述眼部图像找到圆内所包含黑点数量最多的圆并将其圆心作为瞳孔中心；
所述坐标优化单元用于根据经过开运算后的所述眼部图像获取瞳孔轮廓并用于计算所述瞳孔轮廓的轮廓中心，轮廓中心的坐标为(X，Y)，其中，X＝Xmin+(Xmax-Xmin)/2，Xmin为所述瞳孔轮廓上最小的横坐标，Xmax为所述瞳孔轮廓上最大的横坐标，Y＝Ymin+(Ymax-Ymin)/2，Ymin为所述瞳孔轮廓上最小的纵坐标，Ymax为所述瞳孔轮廓上最大的纵坐标；
所述坐标优化单元还用于用外直径为D＝max((Xmax-Xmin),(Ymax-Ymin))的圆环计算所述瞳孔轮廓的轮廓中心，其中，以外直径的预设百分比作为所述圆环的宽度，将所述圆环与黑色像素点匹配，包含黑色像素点最多的所述圆环的圆环中心作为轮廓中心；
第二判断模块，用于判断进行遮罩运算获取的瞳孔中心是否处于所述瞳孔轮廓内，若是，则将轮廓中心定为最终的瞳孔中心，否则将所述遮罩运算获取的瞳孔中心定为最终的瞳孔中心；
第二计算模块，用于根据所述轮廓特征点和瞳孔中心坐标分别计算两只眼睛的瞳孔倾斜率并计算两只眼睛的瞳孔倾斜率的差值；
所述第二计算模块包括：
距离计算单元，用于计算所述左侧眼角点到右侧眼角点的距离并作为眼睛宽度，计算所述上边缘左侧点和上边缘右侧点的中点到所述下边缘左侧点和下边缘右侧点的中点的距离并作为眼睛高度，计算所述左侧眼角点到瞳孔中心的距离并作为第一距离，计算所述上边缘左侧点和上边缘右侧点的中点到瞳孔中心的距离并作为第二距离；
斜率计算单元，用于计算所述第一距离与眼睛宽度的比值并作为瞳孔水平倾斜率，计算所述第二距离与眼睛高度的比值并作为瞳孔垂直倾斜率；
差值计算单元，用于计算两只眼睛的瞳孔水平倾斜率的差值并作为水平差值，计算两只眼睛的瞳孔垂直倾斜率的差值并作为垂直差值；
第一判断模块，用于判断差值的大小，当所述差值大于预设阈值时，则待测人员存在斜视。
2.如权利要求1所述的基于视觉的斜视检测系统，其特征在于，所述眼部检测模块根据所述人脸图像识别眼部图像并分别获取所述眼部图像中两只眼睛的轮廓特征点的步骤包括：
将所述人脸图像输入预先构建好的眼部图像识别模型以获得眼部图像，其中，所述眼部图像识别模型为训练好的卷积神经网络或方向梯度直方图。
3.如权利要求1所述的基于视觉的斜视检测系统，其特征在于，还包括：
去除模块，用于去除所述眼部检测模块中获取的眼部图像中的非眼睛部分的图像像素点，其中，把所述左侧眼角点、上边缘左侧点、上边缘右侧点、右侧眼角点、下边缘右侧点、下边缘左侧点以及左侧眼角点依次连接以形成封闭区域，去除处于所述封闭区域以外的所有像素。
4.如权利要求1所述的基于视觉的斜视检测系统，其特征在于，还包括：
高斯滤波模块，用于对所述眼部检测模块中获取的眼部图像进行高斯滤波降噪处理。
5.如权利要求3所述的基于视觉的斜视检测系统，其特征在于，还包括：
二值化处理模块，用于对所述去除模块中获得的眼部图像进行自适应二值化处理。
6.如权利要求5所述的基于视觉的斜视检测系统，其特征在于，还包括：开运算模块，用于对所述二值化处理模块中获取的眼部图像进行开运算处理。
CN202110170382.2A 2021-02-08 2021-02-08 一种基于视觉的斜视检测系统 Active CN112989939B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110170382.2A CN112989939B (zh) 2021-02-08 2021-02-08 一种基于视觉的斜视检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110170382.2A CN112989939B (zh) 2021-02-08 2021-02-08 一种基于视觉的斜视检测系统

Publications (2)

Publication Number Publication Date
CN112989939A CN112989939A (zh) 2021-06-18
CN112989939B true CN112989939B (zh) 2023-04-07

Family

ID=76349109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110170382.2A Active CN112989939B (zh) 2021-02-08 2021-02-08 一种基于视觉的斜视检测系统

Country Status (1)

Country Link
CN (1) CN112989939B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230097865A (ko) * 2021-12-24 2023-07-03 삼성전자주식회사 무자각 사시 진단 장치 및 그 동작 방법
CN114903424A (zh) * 2022-05-31 2022-08-16 上海商汤临港智能科技有限公司 眼睛类型检测方法及装置、计算机设备、存储介质
CN115409774A (zh) * 2022-07-13 2022-11-29 广州视景医疗软件有限公司 一种基于深度学习的眼检测方法及斜视筛查系统
CN116058879A (zh) * 2023-03-06 2023-05-05 潍坊医学院附属医院 一种基于眼科b超的检测系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201212093D0 (en) * 2012-07-06 2012-08-22 Iriss Medical Technologies Ltd Strabismus detection

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014055600A1 (en) * 2012-10-02 2014-04-10 University Hospitals Of Cleveland Apparatus and methods for diagnosis of strabismus
CN104463159B (zh) * 2014-12-31 2017-11-28 北京释码大华科技有限公司 一种定位虹膜的图像处理方法和装置
CN105095885B (zh) * 2015-09-06 2018-08-14 广东小天才科技有限公司 一种人眼状态的检测方法和检测装置
JP6536324B2 (ja) * 2015-09-30 2019-07-03 富士通株式会社 視線検出システム、視線検出方法および視線検出プログラム
CN109766818B (zh) * 2019-01-04 2021-01-26 京东方科技集团股份有限公司 瞳孔中心定位方法及系统、计算机设备及可读存储介质
CN110531853B (zh) * 2019-08-23 2021-01-19 西安交通大学 一种基于人眼注视点检测的电子书阅读器控制方法及系统
CN112258569B (zh) * 2020-09-21 2024-04-09 无锡唐古半导体有限公司 瞳孔中心定位方法、装置、设备及计算机存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201212093D0 (en) * 2012-07-06 2012-08-22 Iriss Medical Technologies Ltd Strabismus detection

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
甘立劲.基于图像处理的主动式数字斜视测量方法研究.《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》.2020,(第8期),第E073-91页. *

Also Published As

Publication number Publication date
CN112989939A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
CN112989939B (zh) 一种基于视觉的斜视检测系统
Ji et al. Fatigue state detection based on multi-index fusion and state recognition network
CN107292877B (zh) 一种基于眼底图像特征的左右眼识别方法
Roychowdhury et al. Optic disc boundary and vessel origin segmentation of fundus images
Lu et al. Automatic optic disc detection from retinal images by a line operator
US6320973B2 (en) Animal identification system based on irial granule analysis
EP1271394A2 (en) Method for automatically locating eyes in an image
CN106599804B (zh) 基于多特征模型的视网膜中央凹检测方法
CN107895157B (zh) 一种低分辨率图像虹膜中心精确定位的方法
CN104200192A (zh) 驾驶员注视检测系统
CN105224285A (zh) 眼睛开闭状态检测装置和方法
CN110705468B (zh) 基于图像分析的眼动范围识别方法和系统
CN104063700A (zh) 自然光照正面人脸图像中的眼睛中心点定位的方法
JP2008269182A (ja) 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム
Jiménez-Pinto et al. Face salient points and eyes tracking for robust drowsiness detection
CN112183502B (zh) 驾驶员的驾驶状态确定方法、计算机存储介质及电子设备
CN109543518A (zh) 一种基于积分投影的人脸器官精确识别方法
CN105046230B (zh) 基于图像的人眼角检测的方法及系统
Cheng et al. A fatigue detection system with eyeglasses removal
Pasupathy The neural basis of image segmentation in the primate brain
CN115423870A (zh) 一种瞳孔中心定位方法和装置
CN110115796B (zh) 基于N-range图像处理算法的眼动参数监测的疲劳检测及促醒系统
CN116030042B (zh) 一种针对医生目诊的诊断装置、方法、设备及存储介质
Alvarez-Betancourt et al. A fast iris location based on aggregating gradient approximation using QMA-OWA operator
CN110598521A (zh) 一种基于人脸图像智能分析的行为与生理状态识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant