CN110111316A - 基于眼部图像识别弱视的方法及系统 - Google Patents

基于眼部图像识别弱视的方法及系统 Download PDF

Info

Publication number
CN110111316A
CN110111316A CN201910344151.1A CN201910344151A CN110111316A CN 110111316 A CN110111316 A CN 110111316A CN 201910344151 A CN201910344151 A CN 201910344151A CN 110111316 A CN110111316 A CN 110111316A
Authority
CN
China
Prior art keywords
image
eye
convolutional neural
neural networks
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910344151.1A
Other languages
English (en)
Other versions
CN110111316B (zh
Inventor
程良伦
谢靓茹
胡可
黄国恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201910344151.1A priority Critical patent/CN110111316B/zh
Publication of CN110111316A publication Critical patent/CN110111316A/zh
Application granted granted Critical
Publication of CN110111316B publication Critical patent/CN110111316B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于眼部图像识别弱视的方法及系统，从获取的脸部图像中获取眼部区域图像；使用第一卷积神经网络对眼部区域图像提取特征，运算出眼部位置，使用第二卷积神经网络对眼部区域图像提取特征，得到特征图，并根据得到的眼部位置从特征图中获取眼部特征；对获得的眼部特征进行反卷积处理，使用第三卷积神经网络对反卷积处理得到的图像提取特征，运算出瞳孔位置，使用第四卷积神经网络对反卷积处理得到的图像提取特征，得到该图像的特征图，并根据得到的瞳孔位置从该图像中获取瞳孔特征；根据获得的瞳孔特征运算出眼部是否有弱视问题的结果。本发明方法及系统从脸部图像中提取出眼部瞳孔特征，根据眼部瞳孔特征判断眼部是否有弱视问题。

Description

基于眼部图像识别弱视的方法及系统
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种基于眼部图像识别弱视的方法及系统。
背景技术
弱视是指视觉发育期内由于单眼斜视、屈光参差、高度屈光不正以及形觉剥夺等异常视觉经验，而导致单眼或者双眼最佳矫正视力低于相应年龄正常儿童的眼部问题，弱视不同于近视、远视或者散光等眼部疾病，存在弱视问题眼球没有明显的器质性病变，是一种难以判断的眼部疾病。鉴于此，提出一种能够识别眼部弱视的方法，就成为本领域技术人员需要考虑和解决的技术问题。
发明内容
本发明的目的是提供一种基于眼部图像识别弱视的方法及系统，实现了根据眼部图像识别出弱视问题。
为实现上述目的，本发明提供如下技术方案：
一种基于眼部图像识别弱视的方法，包括：
从获取的脸部图像中获取眼部区域图像；
使用第一卷积神经网络对所述眼部区域图像提取特征，运算出眼部位置，使用第二卷积神经网络对所述眼部区域图像提取特征，得到所述眼部区域图像的特征图，并根据得到的眼部位置从所述特征图中获取眼部特征；
对获得的眼部特征进行反卷积处理，使用第三卷积神经网络对反卷积处理得到的图像提取特征，运算出瞳孔位置，使用第四卷积神经网络对反卷积处理得到的图像提取特征，得到该图像的特征图，并根据得到的瞳孔位置从该图像中获取瞳孔特征；
根据获得的瞳孔特征运算出眼部是否有弱视问题的结果。
优选的，使用依次级联的第五卷积神经网络、第六卷积神经网络和第七卷积神经网络对所述脸部图像处理，从所述脸部图像中获取眼部区域图像；
所述第五卷积神经网络用于对所述脸部图像运算处理，根据所述脸部图像计算出一系列将脸部框出的边界框以及一系列将眼部框出的边界框；
所述第六卷积神经网络用于对所述脸部图像运算处理，根据所述第五卷积神经网络输出的一系列将脸部框出的边界框筛选出更准确的将脸部框出的边界框，根据所述第五卷积神经网络输出的一系列将眼部框出的边界框筛选出更准确的将眼部框出的边界框；
所述第七卷积神经网络用于对所述脸部图像运算处理，根据所述第六卷积神经网络输出的一系列将脸部框出的边界框筛选出更准确的将脸部框出的边界框，根据所述第六卷积神经网络输出的一系列将眼部框出的边界框筛选出更准确的将眼部框出的边界框。
优选的，所述第五卷积神经网络具体用于根据边界框的回归值对获得的边界框进行校准，和/或使用非极大值抑制法合并重叠的边界框；
所述第六卷积神经网络具体用于根据边界框的回归值对获得的边界框进行校准，和/或使用非极大值抑制法合并重叠的边界框；
所述第七卷积神经网络具体用于根据边界框的回归值对获得的边界框进行校准，和/或使用非极大值抑制法合并重叠的边界框。
优选的，根据获得的瞳孔特征运算出眼部是否有弱视问题的结果包括：将获得的瞳孔特征输入到预先训练好的分类器内，由所述分类器输出眼部是否有弱视问题的结果。
优选的，训练所述分类器使用以下损失函数，表示为：
其中，LAMS表示损失函数，m用于反向传播时调节特征间的距离，n表示训练样本数，c表示分类的类别数，s表示缩放因子，cosθyi表示类yi的中心向量与其边界向量的余弦值，cosθj表示类j的中心向量与其边界向量的余弦值。
优选的，还包括：根据获取的所述脸部图像识别所述脸部图像对应用户的身份，具体包括：
使用预设卷积神经网络对所述脸部图像处理，计算得到用于描述所述脸部图像的特征表示；
计算所述脸部图像的特征表示与预先存储的已知身份用户的特征表示的差异量，根据两者的差异量判断所述脸部图像对应用户是否为已知身份用户，以识别所述脸部图像对应用户的身份。
优选的，在使用预设卷积神经网络对所述脸部图像处理之前还包括：对所述脸部图像进行相似性变换，使所述脸部图像的各脸部关键点位置与所述预设卷积神经网络要求的输入图像的各脸部关键点位置一致，变换矩阵表示为：
其中，s表示缩放因子，r11、r12、r21和r22表示旋转因子，tx和ty表示平移因子。
优选的，训练所述预设卷积神经网络的方法包括：
从训练数据集中抽样人脸图片；
使用预设卷积神经网络对抽样出的人脸图片计算用于描述图像的特征表示，根据图片的特征表示为图片找出符合要求的三元组，三元组包括图片、正样本和负样本；
根据得到的三元组计算三元组损失函数值，对预设卷积神经网络进行优化。
优选的，对获得的眼部特征进行反卷积处理包括：对获得的眼部特征进行反卷积处理而得到与原图像大小相同的图像，而后对得到的图像进行滑动步长为预设值的卷积处理，得到图像大小大于原图像的图像。
一种基于眼部图像识别弱视的系统，用于执行以上所述的基于眼部图像识别弱视的方法。
由上述技术方案可知，本发明所提供的基于眼部图像识别弱视的方法及系统，首先从获取的脸部图像中获取眼部区域图像，然后使用第一卷积神经网络对眼部区域图像提取特征，运算出眼部位置，使用第二卷积神经网络对眼部区域图像提取特征，得到眼部区域图像的特征图，并根据得到的眼部位置从特征图中获取眼部特征，而后对获得的眼部特征进行反卷积处理，使用第三卷积神经网络对反卷积处理得到的图像提取特征，运算出瞳孔位置，使用第四卷积神经网络对反卷积处理得到的图像提取特征，得到该图像的特征图，并根据得到的瞳孔位置从该图像中获取瞳孔特征，进一步根据获得的瞳孔特征运算出眼部是否存在弱视问题的结果。
本发明基于眼部图像识别弱视的方法及系统，从脸部图像中提取出眼部瞳孔特征，根据眼部瞳孔特征判断眼部是否有弱视问题，解决了现有技术存在的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于眼部图像识别弱视的方法流程图；
图2为本发明实施例中从脸部图像中获取眼部区域图像的处理流程图；
图3为本发明实施例中根据眼部区域图像获得眼部特征的处理流程图；
图4为本发明实施例中根据眼部图像获得瞳孔特征的处理流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
请参考图1，图1为本发明实施例提供的一种基于眼部图像识别弱视的方法流程图，由图可知，本实施例基于眼部图像识别弱视的方法包括以下步骤：
S10：从获取的脸部图像中获取眼部区域图像。
对于拍摄获得的用户的脸部图像，从获得的脸部图像中获取眼部区域图像。优选的请参考图2，图2为本实施例中从脸部图像中获取眼部区域图像的处理流程图，本实施例可使用依次级联的第五卷积神经网络200、第六卷积神经网络201和第七卷积神经网络202对脸部图像处理，从脸部图像中获取眼部区域图像。具体的，所述第五卷积神经网络200用于对所述脸部图像运算处理，根据所述脸部图像计算出一系列将脸部框出的边界框以及一系列将眼部框出的边界框；所述第六卷积神经网络201用于对所述脸部图像运算处理，根据所述第五卷积神经网络输出的一系列将脸部框出的边界框筛选出更准确的将脸部框出的边界框，根据所述第五卷积神经网络输出的一系列将眼部框出的边界框筛选出更准确的将眼部框出的边界框；所述第七卷积神经网络202用于对所述脸部图像运算处理，根据所述第六卷积神经网络输出的一系列将脸部框出的边界框筛选出更准确的将脸部框出的边界框，根据所述第六卷积神经网络输出的一系列将眼部框出的边界框筛选出更准确的将眼部框出的边界框。
具体的，第五卷积神经网络200会先将输入的图片按照不同的缩放比例，生成不同分辨率大小的图片，形成图片的特征金字塔，而后对各不同分辨率大小的图片进行运算处理，计算出一系列将脸部框出的边界框以及一系列将眼部框出的边界框。在实际应用中可根据应用需求，第五卷积神经网络还可根据输入的脸部图像能够计算出将其它脸部特征点框出的边界框，比如鼻子部位，左嘴角部位和右嘴角部位等。
第五卷积神经网络200具体用于根据边界框的回归值对获得的边界框进行校准。边界框的回归值表征了边界框内图像包含所要框出的特征的概率，根据各边界框的回归值可以对获得的边界框进行校准，将得到的边界框中不正确的边界框排除，将其中包含特征的概率较小的边界框排除。
第五卷积神经网络200还具体用于使用非极大值抑制法合并重叠的边界框，这样排除其中重叠的边界框，以获得更准确的将特征区域框出的边界框。使用非极大值抑制法合并边界框的方法具体包括以下步骤：
S20：将获得的所有边界框按照得分从高到低依次排列，选出得分最高的边界框，边界框的得分即边界框的回归值；
S21：遍历除得分最高的边界框之外其余的边界框，若边界框和当前得分最高的边界框的重叠面积大于预设阈值，则删除该得分最高的边界框；
S22：从剩余的边界框中重新选出得分最高的边界框，若只剩余一个边界框则将该边界框输出，若剩余不止一个边界框则进入步骤S21。
第六卷积神经网络201用于对脸部图像运算处理，对第五卷积神经网络输出的将脸部框出的边界框在网络内训练以及对输出的将眼部框出的边界框在网络内训练，第六卷积神经网络比第五卷积神经网络多了全连接层，能够对图像进行更为细化的处理。第六卷积神经网络201具体用于根据边界框的回归值对获得的边界框进行校准。根据边界框的回归值将得到的边界框中不正确的边界框排除，将其中包含特征的概率较小的边界框排除。第六卷积神经网络201还具体用于使用非极大值抑制法合并重叠的边界框，这样排除其中重叠的边界框，以获得更准确的将特征区域框出的边界框。使用非极大值抑制法合并重叠的边界框的方法可参考上文描述的过程。
第七卷积神经网络202用于对脸部图像运算处理，对第六卷积神经网络输出的将脸部框出的边界框在网络内训练以及对输出的将眼部框出的边界框在网络内训练。第七卷积神经网络202具体用于根据边界框的回归值对获得的边界框进行校准。根据边界框的回归值将得到的边界框中不正确的边界框排除，将其中包含特征的概率较小的边界框排除。第七卷积神经网络202还具体用于使用非极大值抑制法合并重叠的边界框，这样排除其中重叠的边界框，以获得更准确的将特征区域框出的边界框。使用非极大值抑制法合并重叠的边界框的方法可参考上文描述的过程。
优选的，可以采用多任务级联卷积神经网络(Multi-task CascadedConvolutional Network，MTCNN)来检测人脸以及脸部特征点部位，由MTCNN模型中的P-Net作为第五卷积神经网络，由MTCNN模型中的R-Net作为第六卷积神经网络，由MTCNN模型中的O-Net作为第七卷积神经网络。
输入的脸部图像经过第五卷积神经网络、第六卷积神经网络和第七卷积神经网络运算处理，最终输出的图像标记出了将脸部框出的边界框以及将眼部框出的边界框。
S11：使用第一卷积神经网络对所述眼部区域图像提取特征，运算出眼部位置，使用第二卷积神经网络对所述眼部区域图像提取特征，得到所述眼部区域图像的特征图，并根据得到的眼部位置从所述特征图中获取眼部特征。
可参考图3所示，图3为本实施例中根据眼部区域图像获得眼部特征的处理流程图。将眼部区域图像输入到第一卷积神经网络300内处理，检测出眼部位置，用以获得眼部的精确位置。并将眼部区域图像输入到第二卷积神经网络301内处理，得到特征图。本方法使用第二卷积神经网络这一深层网络得到一个粗糙的分割结果图即注意力图，得到一个眼部的大概位置，然后第一卷积神经网络这一浅层网络只需要关注这些大概位置，预测出精细的位置，不关注图像中其他部分，从而降低了学习难度。
S12：对获得的眼部特征进行反卷积处理，使用第三卷积神经网络对反卷积处理得到的图像提取特征，运算出瞳孔位置，使用第四卷积神经网络对反卷积处理得到的图像提取特征，得到该图像的特征图，并根据得到的瞳孔位置从该图像中获取瞳孔特征。
对通过前述步骤获得的眼部特征进行反卷积处理，将反卷积处理得到的图像分别输入到第三卷积神经网络和第四卷积神经网络内处理。可参考图4所示，图4为本实施例中根据眼部图像获得瞳孔特征的处理流程图。将反卷积处理得到的眼部图像输入到第三卷积神经网络400内处理，检测出瞳孔位置，用以获得瞳孔的精确位置。并将反卷积处理得到的眼部图像输入到第四卷积神经网络401内处理，得到特征图，根据瞳孔位置从特征图中获取瞳孔特征，而对眼部其它位置不关注。
优选的，对获得的眼部特征进行反卷积处理包括：对获得的眼部特征进行反卷积处理而得到与原图像大小相同的图像，而后对得到的图像进行滑动步长为预设值的卷积处理，得到图像大小大于原图像的图像。使用卷积神经网络对图像进行运算处理会损失图像包含的特征，本实施例中使用上述的上采样反卷积处理方法，能够扩大图像尺寸，通过填充图像内容使得图像内容变得丰富。
S13：根据获得的瞳孔特征运算出眼部是否有弱视问题的结果。
本方法中根据获得的瞳孔特征进行分类，将得到的瞳孔特征输入到预先训练好的分类器内，由所述分类器输出眼部是否有弱视问题的结果。预先训练好的分类器根据输入的瞳孔特征运算，运算输出眼部是否有弱视问题的结果。
在训练分类器模型时，训练样本确定了类别即训练样本具有标签。优选的可以先对样本进行归一化处理，这样使得后续数据处理较方便，其次也使得后续算法运行时收敛加快，具体可以使用L2归一化处理方法。在一次迭代训练中，根据预设损失函数计算由当前分类器模型运算出的分类结果与真实类别之间的差距，然后反向传输给之前的归一化处理过程和特征提取网络模型，更新其中参数，而后再正向传播再次计算损失函数值，如此进行多次迭代，直到损失函数值达到最小，从而得到训练好的分类器模型。
优选的，本实施例中可使用Amsoftmax loss损失函数，具体如下：
其中，LAMS表示损失函数，m用于反向传播时调节特征间的距离，n表示训练样本数，c表示分类的类别数，s表示缩放因子，cosθyi表示类yi的中心向量与其边界向量的余弦值，cosθj表示类j的中心向量与其边界向量的余弦值。
本方法训练分类器模型时使用Amsoftmax loss损失函数，使得人脸特征具有更大的类间距和更小的类内距，这样计算好处在于Amsoftmax的倍角计算是要通过倍角公式，反向传播时不方便求导，而只减m反向传播时导数不用变化。
本实施例基于眼部图像识别弱视的方法从脸部图像中提取出眼部瞳孔特征，根据眼部瞳孔特征判断眼部是否有弱视问题，解决了现有技术存在的问题。并且本实施例基于眼部图像识别弱视的方法中，从眼部区域图像提取眼部特征以及从眼部图像提取瞳孔特征的过程，采用了基于注意力机制提取特征的方法，能够降低学习难度，提高准确率。
进一步的，在实际应用中，在应用场景中采集获得用户的脸部图像之后，可以根据采集的用户脸部图像识别用户的身份。针对此本实施例基于眼部图像识别弱视的方法还包括：根据获取的所述脸部图像识别所述脸部图像对应用户的身份。具体包括以下过程：
S30：使用预设卷积神经网络对所述脸部图像处理，计算得到用于描述所述脸部图像的特征表示。
对采集获得的用户的人脸图像，可通过将人脸图像输入到上述依次级联的第五卷积神经网络、第六卷积神经网络和第七卷积神经网络对人脸图像处理，在脸部图像中标记出将脸部框出的边界框。
从人脸图像中提取出将脸部框出的边界框内图像，将脸部边界框内图像输入到预设卷积神经网络内，计算得到用于描述脸部图像的特征表示，本实施例方法中，预设卷积神经网络是基于深度卷积神经网络的图像映射方法和基于三联子损失函数训练的网络模型。将脸部图像输入到该预设卷积神经网络内处理，输出用于描述脸部图像的特征向量。
优选的，在将得到的脸部图像输入到预设卷积神经网络内处理之前，可先对脸部图像进行相似性变换，进行人脸对齐，使所述脸部图像的各脸部关键点位置与预设卷积神经网络要求的输入图像的各脸部关键点位置一致。相似性变换包括平移变换、旋转变换以及尺度变换，相当于是等距变换和均匀缩放的复合。示例性的，对脸部图像进行相似性变换所采用的变换矩阵S可以是3×3矩阵，表示为：
其中，左上角2×2矩阵为表示旋转变换的矩阵，s表示缩放因子，r11、r12、r21和r22表示旋转因子，tx和ty表示平移因子。该变换矩阵S包括旋转、沿x方向平移、沿y方向平移和缩放。图像经过相似性变换后长度比、夹角、虚圆点I、J保持不变。
通过对要输入的脸部图像进行相似性变换，将要输入到预设卷积神经网络内处理的脸部图像的脸部关键点(包括双眼、鼻尖、双嘴角)位置校准到与该网络要求的输入图像一致，使两者对齐，这样能够提高对图像的处理精度。
S31：计算所述脸部图像的特征表示与预先存储的已知身份用户的特征表示的差异量，根据两者的差异量判断所述脸部图像对应用户是否为已知身份用户，以识别所述脸部图像对应用户的身份。
本实施例中，计算脸部图像的特征向量与预先存储的已知身份用户脸部图像的特征向量的欧式距离，根据两者的欧式距离判断脸部图像对应用户与已知身份用户是否为同一用户。比如可以设置若计算的欧式距离小于等于1，则认为是同一用户；若计算的欧式距离大于1，则认为不是同一用户。
在具体实施时，训练预设卷积神经网络主要包括以下过程：
S40：从训练数据集中抽样人脸图片。
根据每一个batch要求抽样多少人，每个人抽样多少张图片，从训练数据集中抽样人脸图片。
S41：使用预设卷积神经网络对抽样出的人脸图片计算用于描述图像的特征表示，根据图片的特征表示为图片找出符合要求的三元组，三元组包括图片、正样本和负样本。
对于一目标图像为该目标图像找出三元组，表示为(anchor，pos，neg)，anchor表示目标图像，pos表示正样本，neg表示负样本，在尽可能多的三元组中找出使得anchor和pos的差异量小于anchor和neg的差异量的三元组。在训练预设卷积神经网络过程中，在每个MiniBatch训练时，需要选定合适的三元组计算三元组损失值，如果采用暴力的方法从所有样本中找出离目标图像最近的负样本和离目标图像最远的正样本，而后进行优化，查找时间太长，并且还会由于错误标签图像导致训练收敛困难。鉴于此可采用在线生成三元组的方式，在每个mini-batch中生成三元组时，找出所有的anchor-pos对，然后对每个anchor-pos对找出其hard neg样本。
S42：根据得到的三元组计算三元组损失函数值，对预设卷积神经网络进行优化。
根据得到的三元组计算三元组损失函数值，根据三元组损失函数值反向传播，不断对预设卷积神经网络的各个网络层的参数更新，以得到最优解，使损失函数达到最小。
示例性的，可以从训练集中先抽取B个样本，计算B个样本的特征表示，设B＝P*K，P是指其中有P个身份的人，每个身份的人有K张图片，总共会有PK(K-1)(PK-K)个三元组，PK个anchor，K-1个positive，PK-K个negative。将训练集分成不同的mini-batch，计算每个batch中的semi-hard triplets的损失函数值，然后取平均值得到反向传播的损失函数值，从而训练之前的网络层。
本实施例基于眼部图像识别弱视的方法能够根据脸部图像识别用户身份，进一步再根据从脸部图像中提取的眼部图像判断是否存在眼部弱视问题，提供了更多便利性。
相应的，本发明实施例还提供一种基于眼部图像识别弱视的系统，用于执行以上所述的基于眼部图像识别弱视的方法。
本实施例基于眼部图像识别弱视的系统，首先从获取的脸部图像中获取眼部区域图像，然后使用第一卷积神经网络对眼部区域图像提取特征，运算出眼部位置，使用第二卷积神经网络对眼部区域图像提取特征，得到眼部区域图像的特征图，并根据得到的眼部位置从特征图中获取眼部特征，而后对获得的眼部特征进行反卷积处理，使用第三卷积神经网络对反卷积处理得到的图像提取特征，运算出瞳孔位置，使用第四卷积神经网络对反卷积处理得到的图像提取特征，得到该图像的特征图，并根据得到的瞳孔位置从该图像中获取瞳孔特征，进一步根据获得的瞳孔特征运算出眼部是否有弱视问题的结果。
本实施例基于眼部图像识别弱视的系统，从脸部图像中提取出眼部瞳孔特征，根据眼部瞳孔特征判断眼部是否有弱视问题，解决了现有技术存在的问题。
以上对本发明所提供的一种基于眼部图像识别弱视的方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种基于眼部图像识别弱视的方法，其特征在于，包括：
从获取的脸部图像中获取眼部区域图像；
使用第一卷积神经网络对所述眼部区域图像提取特征，运算出眼部位置，使用第二卷积神经网络对所述眼部区域图像提取特征，得到所述眼部区域图像的特征图，并根据得到的眼部位置从所述特征图中获取眼部特征；
对获得的眼部特征进行反卷积处理，使用第三卷积神经网络对反卷积处理得到的图像提取特征，运算出瞳孔位置，使用第四卷积神经网络对反卷积处理得到的图像提取特征，得到该图像的特征图，并根据得到的瞳孔位置从该图像中获取瞳孔特征；
根据获得的瞳孔特征运算出眼部是否有弱视问题的结果。
2.根据权利要求1所述的基于眼部图像识别弱视的方法，其特征在于，使用依次级联的第五卷积神经网络、第六卷积神经网络和第七卷积神经网络对所述脸部图像处理，从所述脸部图像中获取眼部区域图像；
所述第五卷积神经网络用于对所述脸部图像运算处理，根据所述脸部图像计算出一系列将脸部框出的边界框以及一系列将眼部框出的边界框；
所述第六卷积神经网络用于对所述脸部图像运算处理，根据所述第五卷积神经网络输出的一系列将脸部框出的边界框筛选出更准确的将脸部框出的边界框，根据所述第五卷积神经网络输出的一系列将眼部框出的边界框筛选出更准确的将眼部框出的边界框；
所述第七卷积神经网络用于对所述脸部图像运算处理，根据所述第六卷积神经网络输出的一系列将脸部框出的边界框筛选出更准确的将脸部框出的边界框，根据所述第六卷积神经网络输出的一系列将眼部框出的边界框筛选出更准确的将眼部框出的边界框。
3.根据权利要求2所述的基于眼部图像识别弱视的方法，其特征在于，所述第五卷积神经网络具体用于根据边界框的回归值对获得的边界框进行校准，和/或使用非极大值抑制法合并重叠的边界框；
所述第六卷积神经网络具体用于根据边界框的回归值对获得的边界框进行校准，和/或使用非极大值抑制法合并重叠的边界框；
所述第七卷积神经网络具体用于根据边界框的回归值对获得的边界框进行校准，和/或使用非极大值抑制法合并重叠的边界框。
4.根据权利要求1所述的基于眼部图像识别弱视的方法，其特征在于，根据获得的瞳孔特征运算出眼部是否有弱视问题的结果包括：将获得的瞳孔特征输入到预先训练好的分类器内，由所述分类器输出眼部是否有弱视问题的结果。
5.根据权利要求4所述的基于眼部图像识别弱视的方法，其特征在于，训练所述分类器使用以下损失函数，表示为：
其中，LAMS表示损失函数，m用于反向传播时调节特征间的距离，n表示训练样本数，c表示分类的类别数，s表示缩放因子，cosθyi表示类yi的中心向量与其边界向量的余弦值，cosθj表示类j的中心向量与其边界向量的余弦值。
6.根据权利要求1-5任一项所述的基于眼部图像识别弱视的方法，其特征在于，还包括：根据获取的所述脸部图像识别所述脸部图像对应用户的身份，具体包括：
使用预设卷积神经网络对所述脸部图像处理，计算得到用于描述所述脸部图像的特征表示；
计算所述脸部图像的特征表示与预先存储的已知身份用户的特征表示的差异量，根据两者的差异量判断所述脸部图像对应用户是否为已知身份用户，以识别所述脸部图像对应用户的身份。
7.根据权利要求6所述的基于眼部图像识别弱视的方法，其特征在于，在使用预设卷积神经网络对所述脸部图像处理之前还包括：对所述脸部图像进行相似性变换，使所述脸部图像的各脸部关键点位置与所述预设卷积神经网络要求的输入图像的各脸部关键点位置一致，变换矩阵表示为：
其中，s表示缩放因子，r11、r12、r21和r22表示旋转因子，tx和ty表示平移因子。
8.根据权利要求6所述的基于眼部图像识别弱视的方法，其特征在于，训练所述预设卷积神经网络的方法包括：
从训练数据集中抽样人脸图片；
使用预设卷积神经网络对抽样出的人脸图片计算用于描述图像的特征表示，根据图片的特征表示为图片找出符合要求的三元组，三元组包括图片、正样本和负样本；
根据得到的三元组计算三元组损失函数值，对预设卷积神经网络进行优化。
9.根据权利要求1所述的基于眼部图像识别弱视的方法，其特征在于，对获得的眼部特征进行反卷积处理包括：对获得的眼部特征进行反卷积处理而得到与原图像大小相同的图像，而后对得到的图像进行滑动步长为预设值的卷积处理，得到图像大小大于原图像的图像。
10.一种基于眼部图像识别弱视的系统，其特征在于，用于执行权利要求1-9任一项所述的基于眼部图像识别弱视的方法。
CN201910344151.1A 2019-04-26 2019-04-26 基于眼部图像识别弱视的方法及系统 Active CN110111316B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910344151.1A CN110111316B (zh) 2019-04-26 2019-04-26 基于眼部图像识别弱视的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910344151.1A CN110111316B (zh) 2019-04-26 2019-04-26 基于眼部图像识别弱视的方法及系统

Publications (2)

Publication Number Publication Date
CN110111316A true CN110111316A (zh) 2019-08-09
CN110111316B CN110111316B (zh) 2023-07-18

Family

ID=67486848

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910344151.1A Active CN110111316B (zh) 2019-04-26 2019-04-26 基于眼部图像识别弱视的方法及系统

Country Status (1)

Country Link
CN (1) CN110111316B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717884A (zh) * 2019-08-30 2020-01-21 温州医科大学 一种基于眼前节断层成像技术的变化一致性参数用于表达角膜不规则性结构改变的方法
CN110969191A (zh) * 2019-11-07 2020-04-07 吉林大学 基于相似性保持度量学习方法的青光眼患病概率预测方法
CN111938567A (zh) * 2020-07-09 2020-11-17 上海交通大学 基于深度学习的眼科参数测量方法、系统及设备
CN112560709A (zh) * 2020-12-18 2021-03-26 汕头大学 一种基于辅助学习的瞳孔检测方法及系统
CN113011286A (zh) * 2021-03-02 2021-06-22 重庆邮电大学 基于视频的深度神经网络回归模型的斜视判别方法及系统
CN113936327A (zh) * 2021-12-17 2022-01-14 上海宝意医疗健康科技有限公司 弱视训练的监管方法及装置、计算机可读存储介质、终端
WO2022041396A1 (zh) * 2020-08-25 2022-03-03 复旦大学 一种基于眼表特征的新冠肺炎（covid-19）疾病患者风险筛查深度学习系统
CN114565755A (zh) * 2022-01-17 2022-05-31 北京新氧科技有限公司 图像分割方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799888A (zh) * 2011-05-27 2012-11-28 株式会社理光 人眼检测方法和人眼检测设备
US20140285768A1 (en) * 2011-10-24 2014-09-25 Iriss Medical Technologies Limited System and Method for Identifying Eye Conditions
CN105095885A (zh) * 2015-09-06 2015-11-25 广东小天才科技有限公司 一种人眼状态的检测方法和检测装置
CN107748858A (zh) * 2017-06-15 2018-03-02 华南理工大学 一种基于级联卷积神经网络的多姿态眼睛定位方法
CN108764048A (zh) * 2018-04-28 2018-11-06 中国科学院自动化研究所 人脸关键点检测方法及装置
CN109086713A (zh) * 2018-07-27 2018-12-25 腾讯科技（深圳）有限公司 眼部识别方法、装置、终端及存储介质
CN109344763A (zh) * 2018-09-26 2019-02-15 汕头大学 一种基于卷积神经网络的斜眼检测方法
CN109657591A (zh) * 2018-12-12 2019-04-19 东莞理工学院 基于级联卷积神经网络的面部识别方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799888A (zh) * 2011-05-27 2012-11-28 株式会社理光 人眼检测方法和人眼检测设备
US20140285768A1 (en) * 2011-10-24 2014-09-25 Iriss Medical Technologies Limited System and Method for Identifying Eye Conditions
CN105095885A (zh) * 2015-09-06 2015-11-25 广东小天才科技有限公司 一种人眼状态的检测方法和检测装置
CN107748858A (zh) * 2017-06-15 2018-03-02 华南理工大学 一种基于级联卷积神经网络的多姿态眼睛定位方法
CN108764048A (zh) * 2018-04-28 2018-11-06 中国科学院自动化研究所 人脸关键点检测方法及装置
CN109086713A (zh) * 2018-07-27 2018-12-25 腾讯科技（深圳）有限公司 眼部识别方法、装置、终端及存储介质
CN109344763A (zh) * 2018-09-26 2019-02-15 汕头大学 一种基于卷积神经网络的斜眼检测方法
CN109657591A (zh) * 2018-12-12 2019-04-19 东莞理工学院 基于级联卷积神经网络的面部识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FENG WANG 等: "Additive Margin Softmax for Face Verification", 《IEEE》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717884A (zh) * 2019-08-30 2020-01-21 温州医科大学 一种基于眼前节断层成像技术的变化一致性参数用于表达角膜不规则性结构改变的方法
CN110717884B (zh) * 2019-08-30 2022-02-22 温州医科大学 一种基于眼表结构变化一致性表达角膜不规则改变的方法
CN110969191B (zh) * 2019-11-07 2022-10-25 吉林大学 基于相似性保持度量学习方法的青光眼患病概率预测方法
CN110969191A (zh) * 2019-11-07 2020-04-07 吉林大学 基于相似性保持度量学习方法的青光眼患病概率预测方法
CN111938567A (zh) * 2020-07-09 2020-11-17 上海交通大学 基于深度学习的眼科参数测量方法、系统及设备
CN111938567B (zh) * 2020-07-09 2021-10-22 上海交通大学 基于深度学习的眼科参数测量方法、系统及设备
WO2022041396A1 (zh) * 2020-08-25 2022-03-03 复旦大学 一种基于眼表特征的新冠肺炎（covid-19）疾病患者风险筛查深度学习系统
CN112560709A (zh) * 2020-12-18 2021-03-26 汕头大学 一种基于辅助学习的瞳孔检测方法及系统
CN112560709B (zh) * 2020-12-18 2023-07-25 汕头大学 一种基于辅助学习的瞳孔检测方法及系统
CN113011286A (zh) * 2021-03-02 2021-06-22 重庆邮电大学 基于视频的深度神经网络回归模型的斜视判别方法及系统
CN113936327A (zh) * 2021-12-17 2022-01-14 上海宝意医疗健康科技有限公司 弱视训练的监管方法及装置、计算机可读存储介质、终端
CN113936327B (zh) * 2021-12-17 2022-04-15 上海宝意医疗健康科技有限公司 弱视训练的监管方法及装置、计算机可读存储介质、终端
CN114565755A (zh) * 2022-01-17 2022-05-31 北京新氧科技有限公司 图像分割方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110111316B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN110111316A (zh) 基于眼部图像识别弱视的方法及系统
CN110287846B (zh) 一种基于注意力机制的人脸关键点检测方法
CN109377448B (zh) 一种基于生成对抗网络的人脸图像修复方法
CN106815859B (zh) 基于尺度自适应相关滤波和特征点匹配的目标跟踪算法
CN106096538B (zh) 基于定序神经网络模型的人脸识别方法及装置
WO2021174819A1 (zh) 人脸遮挡检测方法及系统
CN108805040A (zh) 一种基于分块的有遮挡人脸识别算法
CN105279769B (zh) 一种联合多特征的层次粒子滤波跟踪方法
CN108520219A (zh) 一种卷积神经网络特征融合的多尺度快速人脸检测方法
CN109190446A (zh) 基于三元组聚焦损失函数的行人再识别方法
CN108961675A (zh) 基于卷积神经网络的跌倒检测方法
CN106228528B (zh) 一种基于决策图与稀疏表示的多聚焦图像融合方法
CN109598234A (zh) 关键点检测方法和装置
CN105139000B (zh) 一种去除眼镜痕迹的人脸识别方法及装置
CN110046574A (zh) 基于深度学习的安全帽佩戴识别方法及设备
CN106570447B (zh) 基于灰度直方图匹配的人脸照片太阳镜自动去除方法
CN108629336A (zh) 基于人脸特征点识别的颜值计算方法
CN110263768A (zh) 一种基于深度残差网络的人脸识别方法
CN107316029A (zh) 一种活体验证方法及设备
CN106991380A (zh) 一种基于掌静脉图像的预处理方法
CN108537181A (zh) 一种基于大间距深度度量学习的步态识别方法
CN110490067A (zh) 一种基于人脸姿态的人脸识别方法及装置
CN109426789A (zh) 手和图像检测方法和系统、手分割方法、存储介质和设备
CN108229432A (zh) 人脸标定方法及装置
WO2023279557A1 (zh) 基于眨眼同步及双目移动检测的伪造视频检验方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant