CN117373103B - 一种图像特征提取方法、装置、设备及存储介质 - Google Patents

一种图像特征提取方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117373103B
CN117373103B CN202311353832.7A CN202311353832A CN117373103B CN 117373103 B CN117373103 B CN 117373103B CN 202311353832 A CN202311353832 A CN 202311353832A CN 117373103 B CN117373103 B CN 117373103B
Authority
CN
China
Prior art keywords
image
line segment
edge
edge line
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311353832.7A
Other languages
English (en)
Other versions
CN117373103A (zh
Inventor
闫冠屹
胡飞扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jisu Optical Technology Co ltd
Original Assignee
Beijing Jisu Optical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jisu Optical Technology Co ltd filed Critical Beijing Jisu Optical Technology Co ltd
Priority to CN202311353832.7A priority Critical patent/CN117373103B/zh
Publication of CN117373103A publication Critical patent/CN117373103A/zh
Application granted granted Critical
Publication of CN117373103B publication Critical patent/CN117373103B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06V10/473—Contour-based spatial representations, e.g. vector-coding using gradient analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种图像特征提取方法、装置、设备及存储介质，通过各拍摄装置标定后的装置参数，将拍摄的第一图像和第二图像进行初步对齐处理；从第一图像的眼球区域中提取出多段第一边缘线段；从第二图像中提取出与每段第一边缘线段对应的第二边缘线段，得到多个线段集；使用多个线段集中梯度特征相似度大于设定相似度阈值的各个线段集，对第一图像和第二图像进行再对齐；从再对齐后的第一图像和第二图像中，提取出眼球特征。这样，图像间对齐的准确率高，过程简单直接，方便有效，计算量小，对于设备计算资源的依赖性低，可以有效实现对被遮挡点图像处信息的融合和补充，全面且准确的提取到所需的眼球信息。

Description

一种图像特征提取方法、装置、设备及存储介质
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种图像特征提取方法、装置、设备及存储介质。
背景技术
眼睛被称为人类心灵的窗户，其含有很多独特并且唯一的信息，逐渐成为人们生活、工作、学习中用于身份验证、信息验证的一种重要方式，例如虹膜识别，虹膜是位于黑色瞳孔和白色巩膜之间的圆环状部分，其包含有很多相互交错的斑点、细丝、冠状、条纹、隐窝等的细节特征。而且虹膜在胎儿发育阶段形成后，在整个生命历程中将是保持不变的。这些特征决定了虹膜特征的唯一性，同时也决定了身份识别的唯一性。因此，可以将眼睛的虹膜特征作为每个人的身份识别对象。
为了更好的能够识别眼睛信息，大多是使用红外相机配合其他光源(例如红外光源、可见光光源等)或者其他相机(例如双目相机)来获取图像，然后识别眼睛的特征，例如实现虹膜识别、瞳距调节、眼睛朝向的估计等基于眼球模型的相关功能，但是无论是搭配何种光源，均会红外相机拍摄的红外图像中存在干扰，而使用双目相机的方案中，由于眼睛是实时移动的，眼睛和各相机之间的位置和角度等是变化的，导致存在图像对位困难和对位不准确的问题。
发明内容
本公开实施例至少提供一种图像特征提取方法、装置、设备及存储介质。
本公开实施例提供了一种图像特征提取方法，应用于设置有红外拍摄装置和可见光拍摄装置的终端设备，所述方法包括：
通过所述红外拍摄装置和所述可见光拍摄装置的、标定后的装置参数，将所述可见光拍摄装置拍摄目标眼睛的第一图像和所述红外拍摄装置拍摄所述目标眼睛的第二图像进行初步对齐处理；
从所述第一图像的眼球区域中提取出多段第一边缘线段，所述第一边缘线段为单像素宽度的线段，且每个像素点的梯度值大于预设梯度阈值，所述第一边缘线段的线段长度大于预设长度阈值；
从所述第二图像中提取出与每段所述第一边缘线段对应的第二边缘线段，得到多个线段集，每个所述线段集包括一个所述第一边缘线段和与所述第一边缘线段对应的第二边缘线段；
使用所述多个线段集中梯度特征相似度大于设定相似度阈值的各个线段集，对所述第一图像和所述第二图像进行再对齐；
从再对齐后的所述第一图像和所述第二图像中，提取出眼球特征。
这样，通过拍摄装置标定后的参数将可见光图像和红外图像进行初步对齐，再通过梯度信息提取图像中的强信息特征，可以精确的将红外图像和可见光图像进行再次对齐，图像间对齐的准确率高，过程简单直接，方便有效，计算量小，对于设备计算资源的依赖性低，通过精确的图像对齐，使用对齐的图像进行眼球特征提取，可以有效实现对被遮挡点图像处信息的融合和补充，全面且准确的提取到所需的眼球信息。
一种可选的实施方式中，所述从所述第一图像的眼球区域中提取出多段第一边缘线段，包括：
从所述第一图像中识别出眼球区域图像；
对所述眼球区域图像进行边缘梯度特征提取处理，得到多段候选单像素边缘曲线段每段候选单像素边缘曲线段中每个像素点的梯度值大于预设梯度阈值；
将得到的多段候选单像素边缘曲线段中线段长度大于设定长度阈值的曲线段作为提取出的第一边缘线段。
这样，从第一图像的眼球区域图像中，提取梯度值和长度均满足要求的、单像素的第一边缘线段，有效利用第一图像中存在的纹理的高梯度信息，实现有效和明确的特征信息提取，信息提取准确有效，提取效率高，而且从眼球区域中提取特征，可以有效减少数据处理量，加快特征处理速度和特征提取效率。
一种可选的实施方式中，所述从所述第一图像的眼球区域中提取出多段第一边缘线段，包括：
确定所述第一图像中每个像素的梯度值；
基于每个像素的梯度值，对所述第一图像进行边缘特征提取处理，得到多段候选单像素边缘曲线段，每段候选单像素边缘曲线段中每个像素点的梯度值大于预设梯度阈值；
基于线段长度和线段位置，对得到的多段候选单像素边缘曲线段进行聚类，得到位于所述第一图像的眼球区域中的多段第一边缘线段。
这样，识别第一图像中每个像素的梯度值，再通过边缘特征提取和聚类，可以保证梯度信息识别的全面性，利用第一图像中存在的纹理的高梯度信息，实现有效和明确的特征信息提取，信息提取准确有效，提取效率高。
一种可选的实施方式中，所述从所述第二图像中提取出与每段所述第一边缘线段对应的第二边缘线段，得到多个线段集，包括：
针对每段所述第一边缘线段，在所述第一图像中划定出包含所述第一边缘线段的第一划分区域；
从所述第二图像中确定出与所述第一划分区域对应的第二划分区域，所述第一划分区域与所述第二划分区域在同一坐标系下的坐标相同；
针对所述第二划分区域中的图像进行边缘梯度特征提取处理，得到所述第一边缘线段对应的第二边缘线段，并得到对应的线段集。
这样，通过在两个图像中划分坐标相同的两个区域，可以通过位置有效进行信息对标，以识别出分别属于两个图像的两段边缘线段，对位精准，简单直接，快捷有效。
一种可选的实施方式中，所述使用所述多个线段集中梯度相似度大于设定相似度阈值的各个线段集，对所述第一图像和所述第二图像进行再次对齐，包括：
针对每个线段集，确定所述线段集中的第一边缘线段和第二边缘线段之间的梯度特征相似度；
筛选出梯度特征相似度大于设定相似度阈值的目标线段集；
基于筛选出的各个目标线段集，确定所述可见光拍摄装置和所述红外拍摄装置之间的单应性矩阵；
使用所述单应性矩阵对所述第一图像和所述第二图像进行再次对齐。
这样，通过使用梯度特征相似度高的第一边缘线段和第二边缘线段，可以精准的计算出两个图像之间进行变换的单应性矩阵，矩阵计算精准可靠，有利于对图像进行精细对齐。
一种可选的实施方式中，所述确定所述线段集中第一边缘线段和第二边缘线段之间的梯度特征相似度，包括：
从所述第一边缘线段中确定出连续排列的至少三个第一像素点，以及从所述第二边缘线段中确定出连续排列的至少三个第二像素点，所述至少三个第一像素点包括所述第一边缘线段中梯度值最大的像素点，所述至少三个第二像素点包括所述第二边缘线段中梯度值最大的像素点；
通过各个第一像素点的梯度值和梯度方向在世界坐标系下的角度值，生成所述第一边缘线段的第一梯度特征向量；
通过各个第二像素点的梯度值和梯度方向在世界坐标系下的角度值，生成所述第二边缘线段的第二梯度特征向量；
使用所述第一梯度特征向量和所述第二梯度特征向量，计算所述第一边缘线段和第二边缘线段之间的梯度特征相似度。
这样，借助梯度值和梯度方向计算梯度特征相似度，可以有效结合梯度和方向信息，实现两个图像间特征的精准匹配。
一种可选的实施方式中，所述基于筛选出的各个目标线段集，确定所述可见光拍摄装置和所述红外拍摄装置之间的单应性矩阵，包括：
从每个所述目标线段集中确定出一个像素点对，所述像素点对包括所述目标线段集中第一边缘线段上梯度值最大的第一目标像素点和第二边缘线段上梯度值最大的第二目标像素点；
若确定出的各个第一目标像素点中存在任意三个第一目标像素点位于同一条直线上，去除所述任意三个第一目标像素点中的一个，得到筛选后的目标像素点对，所述目标像素点对包括筛选后的第一目标像素点和该第一目标像素点对应的第二目标像素点；
使用得到的各个目标像素点对，计算所述可见光拍摄装置和所述红外拍摄装置之间的单应性矩阵。
这样，通过筛选不共线的像素点对计算单应性矩阵，准确率高，可以有效帮助图像实现精准对齐。
一种可选的实施方式中，所述从再对齐后的所述第一图像和所述第二图像中，提取出眼球特征，包括：
识别出所述第二图像的眼球区域中被光斑遮挡的遮挡像素点；
从所述第二图像的眼球区域中提取出除所述遮挡像素点之外的各个眼球像素点的特征信息；
从所述第一图像的眼球区域中提取出与所述遮挡像素点对应的补充像素点的特征信息，所述遮挡像素点和所述补充像素点对应眼球上的同一点；
将所述补充像素点的特征信息添加至各个眼球像素点的特征信息中，得到眼球特征。
一种可选的实施方式中，所述眼球特征包括瞳孔边缘特征，所述从再对齐后的所述第一图像和所述第二图像中，提取出眼球特征，包括：
从所述第二图像中提取出瞳孔边缘的多个特征点；
按照所述多个特征点沿瞳孔边缘的排列信息，确定出两个间隔特征点，两个所述间隔特征点之间不相邻，两个所述间隔特征点之间不存在任一特征点；
分别在所述第一图像中确定出与两个所述间隔特征点分别对应的第一信息点和第二信息点；
从所述第一图像的瞳孔边缘提取出位于所述第一信息点和所述第二信息点中之间的信息点；
按照所述信息点的位置信息，将所述信息点添加至所述多个特征点中，得到瞳孔特征的特征点集。
本公开实施例还提供一种终端设备，所述终端设备设置有红外拍摄装置和可见光拍摄装置，所述终端设备包括：
第一图像对齐模块，用于通过所述红外拍摄装置和所述可见光拍摄装置的、标定后的装置参数，将所述可见光拍摄装置拍摄目标眼睛的第一图像和所述红外拍摄装置拍摄所述目标眼睛的第二图像进行初步对齐处理；
第一线段提取模块，用于从所述第一图像的眼球区域中提取出多段第一边缘线段，所述第一边缘线段为单像素宽度的线段，且每个像素点的梯度值大于预设梯度阈值，所述第一边缘线段的线段长度大于预设长度阈值；
第二线段提取模块，用于从所述第二图像中提取出与每段所述第一边缘线段对应的第二边缘线段，得到多个线段集，每个所述线段集包括一个所述第一边缘线段和与所述第一边缘线段对应的第二边缘线段；
第二图像对齐模块，用于使用所述多个线段集中梯度特征相似度大于设定相似度阈值的各个线段集，对所述第一图像和所述第二图像进行再对齐；
眼球特征提取模块，用于从再对齐后的所述第一图像和所述第二图像中，提取出眼球特征。
一种可选的实施方式中，所述第一线段提取模块具体用于：
从所述第一图像中识别出眼球区域图像；
对所述眼球区域图像进行边缘梯度特征提取处理，得到多段候选单像素边缘曲线段每段候选单像素边缘曲线段中每个像素点的梯度值大于预设梯度阈值；
将得到的多段候选单像素边缘曲线段中线段长度大于设定长度阈值的曲线段作为提取出的第一边缘线段。
一种可选的实施方式中，所述第一线段提取模块具体用于：
确定所述第一图像中每个像素的梯度值；
基于每个像素的梯度值，对所述第一图像进行边缘特征提取处理，得到多段候选单像素边缘曲线段，每段候选单像素边缘曲线段中每个像素点的梯度值大于预设梯度阈值；
基于线段长度和线段位置，对得到的多段候选单像素边缘曲线段进行聚类，得到位于所述第一图像的眼球区域中的多段第一边缘线段。
一种可选的实施方式中，所述第二线段提取模块具体用于：
针对每段所述第一边缘线段，在所述第一图像中划定出包含所述第一边缘线段的第一划分区域；
从所述第二图像中确定出与所述第一划分区域对应的第二划分区域，所述第一划分区域与所述第二划分区域在同一坐标系下的坐标相同；
针对所述第二划分区域中的图像进行边缘梯度特征提取处理，得到所述第一边缘线段对应的第二边缘线段，并得到对应的线段集。
一种可选的实施方式中，所述第二图像对齐模块具体用于：
针对每个线段集，确定所述线段集中的第一边缘线段和第二边缘线段之间的梯度特征相似度；
筛选出梯度特征相似度大于设定相似度阈值的目标线段集；
基于筛选出的各个目标线段集，确定所述可见光拍摄装置和所述红外拍摄装置之间的单应性矩阵；
使用所述单应性矩阵对所述第一图像和所述第二图像进行再次对齐。
一种可选的实施方式中，所述第二图像对齐模块在用于确定所述线段集中第一边缘线段和第二边缘线段之间的梯度特征相似度时，具体用于：
从所述第一边缘线段中确定出连续排列的至少三个第一像素点，以及从所述第二边缘线段中确定出连续排列的至少三个第二像素点，所述至少三个第一像素点包括所述第一边缘线段中梯度值最大的像素点，所述至少三个第二像素点包括所述第二边缘线段中梯度值最大的像素点；
通过各个第一像素点的梯度值和梯度方向在世界坐标系下的角度值，生成所述第一边缘线段的第一梯度特征向量；
通过各个第二像素点的梯度值和梯度方向在世界坐标系下的角度值，生成所述第二边缘线段的第二梯度特征向量；
使用所述第一梯度特征向量和所述第二梯度特征向量，计算所述第一边缘线段和第二边缘线段之间的梯度特征相似度。
一种可选的实施方式中，所述第二图像对齐模块在用于基于筛选出的各个目标线段集，确定所述可见光拍摄装置和所述红外拍摄装置之间的单应性矩阵时，具体用于：
从每个所述目标线段集中确定出一个像素点对，所述像素点对包括所述目标线段集中第一边缘线段上梯度值最大的第一目标像素点和第二边缘线段上梯度值最大的第二目标像素点；
若确定出的各个第一目标像素点中存在任意三个第一目标像素点位于同一条直线上，去除所述任意三个第一目标像素点中的一个，得到筛选后的目标像素点对，所述目标像素点对包括筛选后的第一目标像素点和该第一目标像素点对应的第二目标像素点；
使用得到的各个目标像素点对，计算所述可见光拍摄装置和所述红外拍摄装置之间的单应性矩阵。
一种可选的实施方式中，所述眼球特征提取模块具体用于：
识别出所述第二图像的眼球区域中被光斑遮挡的遮挡像素点；
从所述第二图像的眼球区域中提取出除所述遮挡像素点之外的各个眼球像素点的特征信息；
从所述第一图像的眼球区域中提取出与所述遮挡像素点对应的补充像素点的特征信息，所述遮挡像素点和所述补充像素点对应眼球上的同一点；
将所述补充像素点的特征信息添加至各个眼球像素点的特征信息中，得到眼球特征。
一种可选的实施方式中，所述眼球特征包括瞳孔边缘特征，所述眼球特征提取模块具体用于：
从所述第二图像中提取出瞳孔边缘的多个特征点；
按照所述多个特征点沿瞳孔边缘的排列信息，确定出两个间隔特征点，两个所述间隔特征点之间不相邻，两个所述间隔特征点之间不存在任一特征点；
分别在所述第一图像中确定出与两个所述间隔特征点分别对应的第一信息点和第二信息点；
从所述第一图像的瞳孔边缘提取出位于所述第一信息点和所述第二信息点中之间的信息点；
按照所述信息点的位置信息，将所述信息点添加至所述多个特征点中，得到瞳孔特征的特征点集。
本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述图像特征提取方法中任一种可选的实施方式中的步骤。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述图像特征提取方法中任一种可选的实施方式中的步骤。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开的技术方案。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本公开方法所应用的终端设备的部分硬件结构示意图；
图2为本公开实施例提供的一种图像特征提取方法的流程图；
图3为第一图像的示意图；
图4为第二图像的示意图；
图5为第一图像和第二图像中瞳孔边缘提取点的融合比对示意图；
图6为第一图像和第二图像经过再对齐后瞳孔边缘点的融合比对示意图；
图7为本公开实施例提供的一种终端设备的示意图；
图8为本公开实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对齐进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
经研究发现，传统的使用红外相机配合其他光源(例如红外光源、可见光光源等)，或者使用带有红外相机的双目相机，来获取图像以识别眼睛特征，尤其是虹膜特征的时候，会存在反射的光点，影响重要的轮廓边缘的提取，最终影响了眼睛识别系统中特征提取的准确性，导致后续依赖特征信息的功能的结果的不准确，尤其是双目相机中，传统双目相机的图像融合的方案中，大多使用单应性矩阵进行图像融合的，而单应性矩阵适应的场景，是在相对两个相机位置固定不变的公共视野中的同一个平面作为基准，然后将两个图像中这个固定不变的平面中的图像内容进行融合，而具体到对拍摄眼睛图像进行融合的时候，眼睛是在实时转动的，相对于各相机之间的位置和角度是会发生变化的，进而使得依赖条件中的相对相机位置不变的公共平面的条件不存在了，导致各相机的图像对位困难，存在偏差，准确性差，还会存在发光点对红外图像产生影响。
基于上述研究，本公开提供了一种图像特征提取方法，通过拍摄装置标定后的参数将可见光图像和红外图像进行初步对齐，再通过梯度信息提取图像中的强信息特征，可以精确的将红外图像和可见光图像进行再次对齐，图像间对齐的准确率高，过程简单直接，方便有效，计算量小，对于设备计算资源的依赖性低，通过精确的图像对齐，使用对齐的图像进行眼球特征提取，可以有效实现对被遮挡点图像处信息的融合和补充，全面且准确的提取到所需的眼球信息。
可以理解的是，如果涉及需要获取用户的个人信息的话，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获取和使用到用户的个人信息。从而，使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
作为一种可选的但非限定性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式例如可以是弹窗的方式，弹窗中可以以文字的方式呈现提示信息。此外，弹窗中还可以承载供用户选择“同意”或者“不同意”向电子设备等提供个人信息的选择控件。
可以理解的是，上述通知和获取用户授权的过程仅是示意性的，不对本公开的实现方式构成限定，其他满足相关法律法规的方式也可应用于本公开的实现方式中。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种图像特征提取方法进行详细介绍，本公开实施例所提供的图像特征提取方法的执行主体一般为具有一定计算能力的电子设备，本实施方式中，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为计算设备、车载设备等。在一些可能的实现方式中，该图像特征提取方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面对本公开实施例提供的一种图像特征提取方法加以说明。
需要说明的是，本公开实施例提供的图像特征提取方法可以应用于终端设备上，如图1所示，图1为本公开方法所应用的终端设备的部分硬件结构示意图，如图1中所示，终端设备100设置有红外拍摄装置110和可见光拍摄装置120，所述红外拍摄装置110可以拍摄红外图像，所述可见光拍摄装置120可以拍摄可见光图像。
其中，所述红外拍摄装置110可以包括红外摄像头，或者是包括红外摄像头以及与红外摄像头适配的拍摄组件等，在此并不做限定。
同理的，所述可见光拍摄装置120可以包括可见光摄像头，或者是包括可见光摄像头以及与可见光摄像头适配的拍摄组件等，在此并不做限定。
所述终端设备100还可以包括处理器130，此外，还可以包括显示屏、电池、主板、蓝牙模块、wifi模块、通信模块等常规组件，在此不一一例举。
可以理解的，所述红外拍摄装置110和所述可见光拍摄装置120可以搭配形成双目摄像装置，也可以分开单独使用，所述红外拍摄装置110和所述可见光拍摄装置120拍摄的图像，可以发送给处理器130，处理器130可以直接对接收的图像进行处理，也可以将接收的图像发送给相应的处理模块进行处理，并不以此为限。
示例性的，所述终端设备100可以为手机、平板电脑、VR设备或者其他可穿戴设备等。
请参阅图2，图2为本公开实施例提供的一种图像特征提取方法的流程图。本公开实施例提供的图像特征提取方法，可以应用于如图1所示的终端设备，所述终端设备设置有红外拍摄装置和可见光拍摄装置。如图2中所示，所述图像特征提取方法包括以下步骤：
S101：通过所述红外拍摄装置和所述可见光拍摄装置的、标定后的装置参数，将所述可见光拍摄装置拍摄目标眼睛的第一图像和所述红外拍摄装置拍摄所述目标眼睛的第二图像进行初步对齐处理。
可以理解的，所述终端设备可以投入使用的话，其是已经通过各种测试，并且符合使用标准的，以所述红外拍摄装置和所述可见光拍摄装置为例，所述红外拍摄装置和所述可见光拍摄装置是已经通过标定的，例如红外拍摄装置和所述可见光拍摄装置的内参(例如交局、畸变系数等)、外参(两个拍摄装置之间的几何关系，和/或各相机与终端设备之间的几何关系、与全局坐标系之间的几何关系等，例如旋转矩阵和平移向量等)等均是已经标定完成的。对于所述红外拍摄装置和所述可见光拍摄装置的标定，可以使用现有的各种标定方法，例如张正友标定法等，在此不做任何限定。
因此，在该步骤中，对于标定后的所述红外拍摄装置和所述可见光拍摄装置，可以通过两者标定后的装置参数(例如外参和内参)，即可计算出所述红外拍摄装置和所述可见光拍摄装置两者之间标定后的初始单应性矩阵，进而，在所述可见光拍摄装置拍摄到目标眼睛的第一图像，以及所述红外拍摄装置拍摄到所述目标眼睛的第二图像之后，可以使用标定的装置参数所计算出的初始单应性矩阵，对所述第一图像和所述第二图像进行初步对齐处理，以将所述第一图像和所述第二图像转换到同一坐标系下。
其中，对所述第一图像和所述第二图像进行初步对齐处理，可以是将所述第一图像转换到所述第二图像的坐标下，也可以是将所述第二图像转换到所述第一图像的坐标下，还可以是将所述第一图像和所述第二图像均转换到所述终端设备的坐标下或者世界坐标系下(与上述的全局坐标系为同一坐标下，后文中的世界坐标系和全局坐标系，与此处相同，可以理解为同一坐标系，仅是叫法不同)，在此不做任何限定。此外，下文所述的再对齐，与此处的初步对齐类似，即能够将两个图像转换到同一坐标系下即可，而不限定如何转换或者具体转换到哪一个坐标系下。
示例性的，请参阅图3和图4，图3为第一图像的示意图，图4为第二图像的示意图，由图3和图4中可以看出，相较于所述第一图像，所述第二图像中由于光源和反光等问题，是存在一些光反射造成的光斑的，会导致提取虹膜信息、瞳孔信息等眼球信息的时候，造成干扰。
示例性的，请参阅图5，图5为第一图像和第二图像中瞳孔边缘提取点的融合比对示意图，如图5中所示，虽然通过拍摄装置标定后的装置参数对两个图像进行了初步对齐，但是对所述第一图像中的第一瞳孔边缘510和所述第二图像中的第二瞳孔边缘520之间进行比较发现，在实际位置上还是存在差异。
S202：从所述第一图像的眼球区域中提取出多段第一边缘线段，所述第一边缘线段为单像素宽度的线段，且每个像素点的梯度值大于预设梯度阈值，所述第一边缘线段的线段长度大于预设长度阈值。
在实际应用中，对于拍摄的所述第一图像和所述第二图像来讲，所述第二图像中可能存在反光造成的光斑，如果直接处理的话，会导致处理过程中存在误差。
因此，该步骤中，在将所述第一图像和所述第二图像进行初步对齐后，由于所述第一图像是可见光图像，其图像内容是清晰的，可以先对所述第一图像进行处理，具体，可以先对所述第一图像的内容识别和提取，借助图像中各像素的梯度值，通过相应的边缘提取算子等，例如Sobel算子、Prewitt算子、Roberts算子、Canny算子等，结合梯度进行边缘特征提取，以提取出所述第一图像的眼球区域中包含的多段第一边缘线段。
其中，提取出的所述第一边缘线段，为单像素宽度的线段，且每个像素点的梯度值大于预设梯度阈值，所述第一边缘线段的线段长度大于预设长度阈值。
S203：从所述第二图像中提取出与每段所述第一边缘线段对应的第二边缘线段，得到多个线段集，每个所述线段集包括一个所述第一边缘线段和与所述第一边缘线段对应的第二边缘线段。
该步骤中，由于已经对所述第一图像和所述第二图像进行了初步对齐，即将二者转换到了同一坐标下，进而在得到所述第一边缘线段之后，可以借助所述第一边缘线段的位置信息，例如所述第一边缘线段在转换后的、两个图像所在坐标系中的坐标信息，从所述第二图像中去提取在所述位置信息所对应的部分图像中的第二边缘线段，以此得到多个线段集，具体的，对于能够提取到对应的所述第二边缘线段的所述第一边缘线段来讲，每段所述第一边缘线段可以对应到一个所述线段集，即所述线段集中包括一个所述第一边缘线段和与所述第一边缘线段对应的第二边缘线段，相应的，由于是通过位置信息，即坐标信息进行线段匹配的，因此所述第二边缘线段在所述第二图像中所属的部分图像与所述第一边缘线段在所述第一图像中所属的部分图像的坐标相同。
示例性的，请参阅图6，图6为第一图像和第二图像经过再对齐后瞳孔边缘点的融合比对示意图，接图5所示的示例，经过再对齐之后的所述第一图像和所述第二图像，两者对位准确，所述第一图像中的第一瞳孔边缘和所述第二图像中的第二瞳孔边缘之间进行比较发现，两者已经能够很好的对应起来，基本吻合，在实际位置上基本不存在差异。
S204：使用所述多个线段集中梯度特征相似度大于设定相似度阈值的各个线段集，对所述第一图像和所述第二图像进行再对齐。
该步骤中，对于得到所述多个线段集来讲，即认为是得到了所述第一图像和所述第二图像上多个对应的点集，因此，通过两个图像上对应的各个点集，即所述多个线段集，可以使用所述多个线段集，重新计算所述可见光拍摄装置和所述红外拍摄装置在拍摄所述目标眼睛时，相对于所述目标眼睛所在平面，两个拍摄装置之间的转换关系，例如两者之间的单应性矩阵。
具体的，虽然是通过位置信息(坐标信息)，提取到的与所述第一边缘线段对应的第二边缘线段，但是由于两个图像仅是进行了初步对齐，两个图像之间还是存在着一定偏差的，假设在理想状况下，所述第一边缘线段是提取出的完整的一段线段，通过位置信息去提取所述第二边缘线段的时候，也应该是完整的一段线段，但是由于偏差的存在，会导致在所述第一边缘线段的位置信息下，所述第二线段可能仅是完整线段的一部分，因此，为了能够准确去进行图像对齐，可以通过所述线段集中各线段之间的梯度特征相似度对所述多个线段集进行筛选，对于梯度特征相似度大于设定相似度阈值的各个线段集来讲，可以认为其中的两个线段之间都相对完整，或者说包含的一致的对应点比较多，进而使用筛选出的各个线段集，可以计算出更为准确的单应性矩阵，或者其他的变换关系，来对所述第一图像和所述第二图像进行再对齐。
S205：从再对齐后的所述第一图像和所述第二图像中，提取出眼球特征。
该步骤中，在对所述第一图像和所述第二图像进行再对齐后，即可实现对所述第一图像和所述第二图像进行融合，进而提取所需的眼球特征。
下面，将结合一些具体实施例对上述的图像特征提取方法进行进一步的说明。
在一种可选的实施方式中，步骤S202包括：
从所述第一图像中识别出眼球区域图像；
对所述眼球区域图像进行边缘梯度特征提取处理，得到多段候选单像素边缘曲线段，每段候选单像素边缘曲线段中每个像素点的梯度值大于预设梯度阈值；
将得到的多段候选单像素边缘曲线段中线段长度大于设定长度阈值的曲线段作为提取出的第一边缘线段。
这里，可以通过图像内容识别等方式，或者是通过预先训练好的用于图像内容识别的神经网络等手段，对所述第一图像进行目标识别，先从所述第一图像中识别出眼球所在的区域，进而提取到眼球区域图像的内容，然后通过所述眼球区域图像中各个像素点的提取值，进行边缘梯度特征提取处理，再通过预定长度阈值，对提取出的多段候选单像素边缘曲线段进行筛选，最终提取到各段第一边缘线段。
其中，每段候选单像素边缘曲线段中每个像素点的梯度值大于预设梯度阈值。
这样，先识别眼球区域图像，再从眼球区域中提取梯度值和长度均满足要求的、单像素的第一边缘线段，有效利用第一图像中存在的纹理的高梯度信息，实现有效和明确的特征信息提取，信息提取准确有效，提取效率高，而且从眼球区域中提取特征，可以有效减少数据处理量，加快特征处理速度和特征提取效率。
在一种可选的实施方式中，步骤S202包括：
确定所述第一图像中每个像素的梯度值；
基于每个像素的梯度值，对所述第一图像进行边缘特征提取处理，得到多段候选单像素边缘曲线段，每段候选单像素边缘曲线段中每个像素点的梯度值大于预设梯度阈值；
基于线段长度和线段位置，对得到的多段候选单像素边缘曲线段进行聚类，得到位于所述第一图像的眼球区域中的多段第一边缘线段。
这里，在得到所述第一图像后，可以先计算所述第一图像中每个像素的梯度值，然后借助每个像素的梯度值进行边缘特征提取处理，可以提取到多段候选单像素边缘曲线段，再结合每段候选单像素边缘曲线段的线段长度和线段位置，进行聚类处理，聚类出位于所述第一图像的眼球区域内，并且长度大于设定长度阈值的多段第一边缘线段。
其中，每段候选单像素边缘曲线段中每个像素点的梯度值大于预设梯度阈值。
这样，先识别第一图像中每个像素的梯度值，再通过边缘特征提取和聚类，可以保证梯度信息识别的全面性，利用第一图像中存在的纹理的高梯度信息，实现有效和明确的特征信息提取，信息提取准确有效，提取效率高。
一种可选的实施方式中，步骤S203包括：
针对每段所述第一边缘线段，在所述第一图像中划定出包含所述第一边缘线段的第一划分区域；
从所述第二图像中确定出与所述第一划分区域对应的第二划分区域，所述第一划分区域与所述第二划分区域在同一坐标系下的坐标相同；
针对所述第二划分区域中的图像进行边缘梯度特征提取处理，得到所述第一边缘线段对应的第二边缘线段，并得到对应的线段集。
这里，针对每段所述第一边缘线段，均可以进行对应的第二边缘线段的提取，具体的，对于所述第一边缘线段，第一图像中划定出包含所述第一边缘线段的第一划分区域，例如可以通过画一个几何框框住所述第一边缘线段，在实际应用中，为了可以全面包含所述第一边缘线段，所述第一划分区域可以稍微大一些，这样，也可以更好的抵消所述第一图像和所述第二图像在初步对齐后存在的偏差。
然后，使用所述第一划分区域的位置信息等，例如所述第一划分区域的边缘上各点的坐标信息，去所述第二图像中相同的位置处，划分出一个与所述第一划分区域对应的第二划分区域，可以理解的，所述第一图像和所述第二图像经过初步对齐后，两者处于同一坐标系(如上述的任意一个坐标系)，因此所述第一划分区域与所述第二划分区域是处于同一坐标系下的，并且在同一坐标系下的坐标相同，然后，可以对所述第二图像中位于所述第二划分区域中的图像内容进行边缘梯度特征提取处理，即依据梯度值进行边缘特征提取，得到提取出的与所述第一边缘线段对应的第二边缘线段，继而可以得到对应的、包括所述第一边缘线段和对应的所述第二边缘线段的线段集。
一种可选的实施方式中，步骤S204包括：
针对每个线段集，确定所述线段集中的第一边缘线段和第二边缘线段之间的梯度特征相似度；
筛选出梯度特征相似度大于设定相似度阈值的目标线段集；
基于筛选出的各个目标线段集，确定所述可见光拍摄装置和所述红外拍摄装置之间的单应性矩阵；
使用所述单应性矩阵对所述第一图像和所述第二图像进行再次对齐。
这里，在对所述第一图像和所述第二图像进行精准的再对齐的时候，可以先通过每个线段集所包含的第一边缘线段和第二边缘线段中各像素点的梯度信息，来计算所述第一边缘线段和所述第二边缘线段之间的梯度相似度，以此来表征所述线段集的梯度相似度，进而通过预先设置的设定相似度阈值，可以筛选出梯度特征相似度大于设定相似度阈值的目标线段集。
进而可以通过各个目标线段集中的边缘线段，和/或边缘线段上的像素点，来进一步确定所述可见光拍摄装置和所述红外拍摄装置之间的单应性矩阵，这里的单应性矩阵是通过实时采集的图像，经过特征筛选后计算处理的，因此认为该单应性矩阵是准确的，足以表征所述可见光拍摄装置和所述红外拍摄装置，以及在拍摄所述目标眼睛时与所述目标眼睛所在平面之间的准确的几何关系，以此可以借助该单应性矩阵，实现对所述第一图像和所述第二图像进行再次对齐。
其中，对于确定所述线段集中第一边缘线段和第二边缘线段之间的梯度特征相似度，是使用所述第一边缘线段中各像素点的梯度信息和对应的所述第二边缘线段中各像素点的梯度信息，进行梯度特征相似度的计算，在实际使用中，可以是使用各段边缘线段中全部像素点的梯度信息计算，这样虽然可以全面计算两个线段之间的梯度特征相似度。
但是可以理解的，由于所述第一图像和所述第二图像在初步对齐后，两者之间是存在偏差的，也就是说，两个图像中的内容在位置上是存在偏差的，其中所述第一边缘线段是直接从所述第一图像中完整提取出的，然后通过划分区域的对应关系，从所述第二图像对应的划分区域中提取出对应的所述第二边缘线段，鉴于存在偏差的原因，会导致所述第二边缘线段可能不是一段完整的梯度特征线段，因此，使用提取出的两个边缘线段的全部像素点进行梯度特征相似度计算的话，可能是会存在误差的。
鉴于此，可以使用两个边缘线段中具有代表性的像素点去计算梯度特征相似度，不仅可以减少计算量和数据量，还可以消除由于初步对齐存在得偏差导致计算中存在的误差。
相应的，一种可选的实施方式中，对于确定所述线段集中第一边缘线段和第二边缘线段之间的梯度特征相似度，可以通过所述第一边缘线段和所述第二边缘线段中具有代表性的像素点进行计算，具体的，可以是先从所述第一边缘线段中确定出连续排列的至少三个第一像素点，以及从所述第二边缘线段中确定出连续排列的至少三个第二像素点，这里，可以先分别从所述第一边缘线段和所述第二边缘线段中确定出具有代表性的像素点，例如线段中梯度值最大的像素点，线段中处于转折位置处的点等等，然后通过具有像素点，分别向沿线段两处遍历，进而得到所述第一边缘线段上的至少三个第一像素点和所述第二边缘线段上的至少三个第二像素点。
接着，通过各个第一像素点的梯度值和梯度方向在世界坐标系下的角度值，生成所述第一边缘线段的第一梯度特征向量，以及通过各个第二像素点的梯度值和梯度方向在世界坐标系下的角度值，生成所述第二边缘线段的第二梯度特征向量。
然后，使用所述第一梯度特征向量和所述第二梯度特征向量，计算所述第一边缘线段和第二边缘线段之间的梯度特征相似度。
其中，所述至少三个第一像素点包括所述第一边缘线段中梯度值最大的像素点，所述至少三个第二像素点包括所述第二边缘线段中梯度值最大的像素点。
示例性的，以通过各段边缘线段中梯度值最大的像素点出发，来计算梯度特征相似度为例，对于第一边缘线段，可以遍历出其中梯度值最大的像素点P[i]，然后按照预设的数量，例如以以供选择5个像素点为例，可以沿第一边缘线段，从像素点P[i]的两侧分别选取两个像素点，而得到连续的5个像素点P[i-2]、P[i-1]、P[i]、P[i+1]和P[i+2]，然后分别获取到所选择的5个像素点中每个像素点的梯度方向在世界坐标系下的角度值，通过这5个像素点的梯度值和梯度方向的角度值，按照次序排列，从而可以构建出一个具有10个元素的特征向量，用于表征所述第一边缘线段的第一梯度特征向量，同理，同样的方式，可以得到用于表征所述第二边缘线段的第二梯度特征向量，通过两个梯度特征向量之间的计算，例如计算两个梯度特征向量之间的余弦相似度，以表征两个边缘线段之间的梯度特征相似度，具体的，如果计算出的梯度特征相似度大于设定相似度阈值(例如设定相似度阈值为0.95)，则可以认为两个边缘线段上各自的五个点之间是匹配，进而认为两个边缘线段是匹配的。
一种可选的实施方式中，对于基于筛选出的各个目标线段集，确定所述可见光拍摄装置和所述红外拍摄装置之间的单应性矩阵，可以是先从每个所述目标线段集中确定出一个像素点对，所述像素点对包括所述目标线段集中第一边缘线段上梯度值最大的第一目标像素点和第二边缘线段上梯度值最大的第二目标像素点。
然后，若确定出的各个第一目标像素点中存在任意三个第一目标像素点位于同一条直线上，去除所述任意三个第一目标像素点中的一个，得到筛选后的目标像素点对，所述目标像素点对包括筛选后的第一目标像素点和该第一目标像素点对应的第二目标像素点，这里，在得到各个第一目标像素点和各个第二目标像素点之后，可以遍历各个第一目标像素点，通过位置信息进行检测，以检测是否存在任意三个第一目标像素点位于同一条直线上，如果有的话，则可以去除其中一个，直至最后剩余的各个第一目标像素点中，不存在任意三个第一目标像素点位于同一条直线上，并且可以筛选出与剩下的各个第一目标像素点对应的第二目标像素点。
接着，就可以使用得到的各个目标像素点对，计算所述可见光拍摄装置和所述红外拍摄装置之间的单应性矩阵。
在一种可选的实施方式中，对于使用得到的各个目标像素点对，计算所述可见光拍摄装置和所述红外拍摄装置之间的单应性矩阵，可以是使用各个目标像素点对，确定出一个空间中平面的方程，例如通过每一个目标像素点对中的两个目标像素点，可以确定出一个明确的目标点，进而可以得到多个目标点，从其中任选三个目标点，可以通过所选的目标点，可以定义出空间中一个目标平面，例如可以用方程表示，进而可以得到该目标平面的法向量，并且可以知道空间的点到该目标平面之间的距离，在知道这些参量之后，可以使用可见光拍摄装置和红外拍摄装置的内参(交局、主点等)和外参(平移矩阵和旋转矩阵)，来计算两个拍摄装置相对于该目标平面的投影矩阵，
借助两个拍摄装置对于该目标平面上同一个点进行拍摄后的坐标变换，即可计算出两个拍摄装置之间的单应性矩阵，然后可以通过将单应性矩阵归一化处理，使得一些参数为1，从而得到准确通用的、两个拍摄装置间的、实时的单应性矩阵。
一种可选的实施方式中，步骤S205包括：
识别出所述第二图像的眼球区域中被光斑遮挡的遮挡像素点；
从所述第二图像的眼球区域中提取出除所述遮挡像素点之外的各个眼球像素点的特征信息；
从所述第一图像的眼球区域中提取出与所述遮挡像素点对应的补充像素点的特征信息，所述遮挡像素点和所述补充像素点对应眼球上的同一点；
将所述补充像素点的特征信息添加至各个眼球像素点的特征信息中，得到眼球特征。
这里，在对所述第一图像和所述第二图像之间的信息进行融合时，由于所述第二图像为红外图像，其中会存在因光源照射所产生的光斑，因此，可以先从所述第二图像中识别出被光斑遮挡的部分，对于所述第二图像的眼球区域中，则可以识别出被光斑遮挡的遮挡像素点，这样，可以提前剔除出被遮挡的遮挡像素点的信息，然后对所述第二图像的眼球区域进行眼部特征提取，得到出所述遮挡像素点之外的各个眼球像素点的特征信息。
由于所述第二图像中所述遮挡像素点的特征信息缺失，而经过再对齐后的所述第一图像和所述第二图像，两者之间的对位是准确的，两者之间的像素是一一对应的，因此可以从所述第一图像的眼球区域中找到与各个所述遮挡像素点对应的补充像素点，进而从所述第一图像中提取到所述补充像素点的特征信息，按照对应的位置，将将所述补充像素点的特征信息添加至各个眼球像素点的特征信息中，即可得到完整的眼球特征。
一种可选的实施方式中，所述眼球特征包括瞳孔边缘特征，在需要提取瞳孔边缘特征的情况下，步骤S205包括：
从所述第二图像中提取出瞳孔边缘的多个特征点；
按照所述多个特征点沿瞳孔边缘的排列信息，确定出两个间隔特征点，两个所述间隔特征点之间不相邻，两个所述间隔特征点之间不存在任一特征点；
分别在所述第一图像中确定出与两个所述间隔特征点分别对应的第一信息点和第二信息点；
从所述第一图像的瞳孔边缘提取出位于所述第一信息点和所述第二信息点中之间的信息点；
按照所述信息点的位置信息，将所述信息点添加至所述多个特征点中，得到瞳孔特征的特征点集。
这里，可以先从所述第二图像中提取出瞳孔边缘的多个特征点，可以理解的，如果瞳孔边缘存在光斑等干扰因素，是无法提取该部分的瞳孔边缘的像素点的，对于得到的多个特征点，按照其在瞳孔边缘上的排列信息(例如位置信息等)，可以筛选出之间存在间隔的两个间隔特征点，进而使用所述两个间隔特征点，可以去所述第一图像中进行匹配，得到各自对应的第一信息点和第二信息点，通过所述第一信息点和所述第二信息点，可以得到所述第一图像的瞳孔边缘上位于这两个信息点之间的信息点，从而将该信息点的信息添加到从所述第二图像中提取到的多个特征点中，就可以得到瞳孔特征的特征点集，进而得到瞳孔边缘信息。
这里，所述两个间隔特征点之间不相邻，可以是指按照瞳孔边缘上各个点的排列信息来讲，两个间隔特征点在瞳孔边缘上的位置是不连续的、不挨着的，可以理解的，对于瞳孔边缘来讲，其是由连续的多个像素点，按照圆形依次排列所形成的圆形边缘，对于每个像素点是可以提取到一个对应的特征点的，在不存在任何干扰的情况下，从瞳孔边缘上某一个像素点开始，可以依次提取到位置是连续排列成圆形的多个特征点的，而在瞳孔边缘上存在光斑等因素干扰的情况下，对应被遮挡的像素点则无法提取到相应的特征点，会导致所提取的多个特征点中，存在在瞳孔边缘位置上不连续的、不挨着的两个特征点，这两个特征点就是所述的两个间隔特征点。
示例性的，在实际应用中，可以从第二图像中的瞳孔边缘的图像出，以其中一点开始，按照顺时针或者逆时针的提取顺序，依次进行特征点提取，形成一个包含提取出的各个特征点，并且按照提取顺序排列的一个特征点列表，然后参照第二图像中瞳孔对应的图像内容，遍历图像中瞳孔的边缘点，借助位置信息等，检查瞳孔的边缘点与列表中相邻的特征点是否是在图像中相邻，假如不是相邻，则该点是一个断点，记该点为点A，列表中相邻的下个点为点B。对于这个点A找到在第一图像中距离这个点A最近的瞳孔边缘上的点C，然后找到点B在第一图像中距离最近的瞳孔边缘上的点D，则第一图像中瞳孔边缘上的点C和点D之间的点就是补充在点A到点B之间的瞳孔边缘点。可以按照这种方式来从第一张图中获取补充信息。
本公开实施例提供的图像特征提取方法，通过所述红外拍摄装置和所述可见光拍摄装置的、标定后的装置参数，将所述可见光拍摄装置拍摄目标眼睛的第一图像和所述红外拍摄装置拍摄所述目标眼睛的第二图像进行初步对齐处理；从所述第一图像的眼球区域中提取出多段第一边缘线段，所述第一边缘线段为单像素宽度的线段，且每个像素点的梯度值大于预设梯度阈值，所述第一边缘线段的线段长度大于预设长度阈值；从所述第二图像中提取出与每段所述第一边缘线段对应的第二边缘线段，得到多个线段集，每个所述线段集包括一个所述第一边缘线段和与所述第一边缘线段对应的第二边缘线段；使用所述多个线段集中梯度特征相似度大于设定相似度阈值的各个线段集，对所述第一图像和所述第二图像进行再对齐；从再对齐后的所述第一图像和所述第二图像中，提取出眼球特征。
这样，通过拍摄装置标定后的参数将可见光图像和红外图像进行初步对齐，再通过梯度信息提取图像中的强信息特征，可以精确的将红外图像和可见光图像进行再次对齐，图像间对齐的准确率高，过程简单直接，方便有效，计算量小，对于设备计算资源的依赖性低，通过精确的图像对齐，使用对齐的图像进行眼球特征提取，可以有效实现对被遮挡点图像处信息的融合和补充，全面且准确的提取到所需的眼球信息。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与图像特征提取方法对应的终端设备，由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像特征提取方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
请参阅图7，图7为本公开实施例提供的一种终端设备的示意图。本公开实施例提供的终端设备700上，设置有红外拍摄装置和可见光拍摄装置。如图7中所示，所述终端设备700包括：
第一图像对齐模块710，用于通过所述红外拍摄装置和所述可见光拍摄装置的、标定后的装置参数，将所述可见光拍摄装置拍摄目标眼睛的第一图像和所述红外拍摄装置拍摄所述目标眼睛的第二图像进行初步对齐处理。
第一线段提取模块720，用于从所述第一图像的眼球区域中提取出多段第一边缘线段，所述第一边缘线段为单像素宽度的线段，且每个像素点的梯度值大于预设梯度阈值，所述第一边缘线段的线段长度大于预设长度阈值。
第二线段提取模块730，用于从所述第二图像中提取出与每段所述第一边缘线段对应的第二边缘线段，得到多个线段集，每个所述线段集包括一个所述第一边缘线段和与所述第一边缘线段对应的第二边缘线段。
第二图像对齐模块740，用于使用所述多个线段集中梯度特征相似度大于设定相似度阈值的各个线段集，对所述第一图像和所述第二图像进行再对齐。
眼球特征提取模块750，用于从再对齐后的所述第一图像和所述第二图像中，提取出眼球特征。
一种可选的实施方式中，所述第一线段提取模块720具体用于：
从所述第一图像中识别出眼球区域图像；
对所述眼球区域图像进行边缘梯度特征提取处理，得到多段候选单像素边缘曲线段每段候选单像素边缘曲线段中每个像素点的梯度值大于预设梯度阈值；
将得到的多段候选单像素边缘曲线段中线段长度大于设定长度阈值的曲线段作为提取出的第一边缘线段。
一种可选的实施方式中，所述第一线段提取模块720具体用于：
确定所述第一图像中每个像素的梯度值；
基于每个像素的梯度值，对所述第一图像进行边缘特征提取处理，得到多段候选单像素边缘曲线段，每段候选单像素边缘曲线段中每个像素点的梯度值大于预设梯度阈值；
基于线段长度和线段位置，对得到的多段候选单像素边缘曲线段进行聚类，得到位于所述第一图像的眼球区域中的多段第一边缘线段。
一种可选的实施方式中，所述第二线段提取模块730具体用于：
针对每段所述第一边缘线段，在所述第一图像中划定出包含所述第一边缘线段的第一划分区域；
从所述第二图像中确定出与所述第一划分区域对应的第二划分区域，所述第一划分区域与所述第二划分区域在同一坐标系下的坐标相同；
针对所述第二划分区域中的图像进行边缘梯度特征提取处理，得到所述第一边缘线段对应的第二边缘线段，并得到对应的线段集。
一种可选的实施方式中，所述第二图像对齐模块740具体用于：
针对每个线段集，确定所述线段集中的第一边缘线段和第二边缘线段之间的梯度特征相似度；
筛选出梯度特征相似度大于设定相似度阈值的目标线段集；
基于筛选出的各个目标线段集，确定所述可见光拍摄装置和所述红外拍摄装置之间的单应性矩阵；
使用所述单应性矩阵对所述第一图像和所述第二图像进行再次对齐。
一种可选的实施方式中，所述第二图像对齐模块740在用于确定所述线段集中第一边缘线段和第二边缘线段之间的梯度特征相似度时，具体用于：
从所述第一边缘线段中确定出连续排列的至少三个第一像素点，以及从所述第二边缘线段中确定出连续排列的至少三个第二像素点，所述至少三个第一像素点包括所述第一边缘线段中梯度值最大的像素点，所述至少三个第二像素点包括所述第二边缘线段中梯度值最大的像素点；
通过各个第一像素点的梯度值和梯度方向在世界坐标系下的角度值，生成所述第一边缘线段的第一梯度特征向量；
通过各个第二像素点的梯度值和梯度方向在世界坐标系下的角度值，生成所述第二边缘线段的第二梯度特征向量；
使用所述第一梯度特征向量和所述第二梯度特征向量，计算所述第一边缘线段和第二边缘线段之间的梯度特征相似度。
一种可选的实施方式中，所述第二图像对齐模块740在用于基于筛选出的各个目标线段集，确定所述可见光拍摄装置和所述红外拍摄装置之间的单应性矩阵时，具体用于：
从每个所述目标线段集中确定出一个像素点对，所述像素点对包括所述目标线段集中第一边缘线段上梯度值最大的第一目标像素点和第二边缘线段上梯度值最大的第二目标像素点；
若确定出的各个第一目标像素点中存在任意三个第一目标像素点位于同一条直线上，去除所述任意三个第一目标像素点中的一个，得到筛选后的目标像素点对，所述目标像素点对包括筛选后的第一目标像素点和该第一目标像素点对应的第二目标像素点；
使用得到的各个目标像素点对，计算所述可见光拍摄装置和所述红外拍摄装置之间的单应性矩阵。
一种可选的实施方式中，所述眼球特征提取模块750具体用于：
识别出所述第二图像的眼球区域中被光斑遮挡的遮挡像素点；
从所述第二图像的眼球区域中提取出除所述遮挡像素点之外的各个眼球像素点的特征信息；
从所述第一图像的眼球区域中提取出与所述遮挡像素点对应的补充像素点的特征信息，所述遮挡像素点和所述补充像素点对应眼球上的同一点；
将所述补充像素点的特征信息添加至各个眼球像素点的特征信息中，得到眼球特征。
一种可选的实施方式中，所述眼球特征包括瞳孔边缘特征，所述眼球特征提取模块750具体用于：
从所述第二图像中提取出瞳孔边缘的多个特征点；
按照所述多个特征点沿瞳孔边缘的排列信息，确定出两个间隔特征点，两个所述间隔特征点之间不相邻，两个所述间隔特征点之间不存在任一特征点；
分别在所述第一图像中确定出与两个所述间隔特征点分别对应的第一信息点和第二信息点；
从所述第一图像的瞳孔边缘提取出位于所述第一信息点和所述第二信息点中之间的信息点；
按照所述信息点的位置信息，将所述信息点添加至所述多个特征点中，得到瞳孔特征的特征点集。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本公开实施例提供的终端设备，通过拍摄装置标定后的参数将可见光图像和红外图像进行初步对齐，再通过梯度信息提取图像中的强信息特征，可以精确的将红外图像和可见光图像进行再次对齐，图像间对齐的准确率高，过程简单直接，方便有效，计算量小，对于设备计算资源的依赖性低，通过精确的图像对齐，使用对齐的图像进行眼球特征提取，可以有效实现对被遮挡点图像处信息的融合和补充，全面且准确的提取到所需的眼球信息。
请参阅图8，图8为本公开实施例提供的一种计算机设备的结构示意图。对应于图2中所示的图像特征提取方法，本公开实施例还提供一种计算机设备800，包括：处理器810、存储器820和总线830，所述存储器820存储有所述处理器810可执行的机器可读指令，当计算机设备800运行时，所述处理器810与所述存储器820之间通过总线830通信，所述机器可读指令被所述处理器810执行时执行如图2中所示的图像特征提取方法的步骤。
其中，存储器820可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。
处理器810可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
可以理解的是，本申请实施例示意的结构并不构成对计算机设备800的具体限定。在本申请另一些实施例中，计算机设备800可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如图图2中所示的图像特征提取方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对齐限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对齐中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种图像特征提取方法，其特征在于，应用于设置有红外拍摄装置和可见光拍摄装置的终端设备，所述方法包括：
通过所述红外拍摄装置和所述可见光拍摄装置的、标定后的装置参数，将所述可见光拍摄装置拍摄目标眼睛的第一图像和所述红外拍摄装置拍摄所述目标眼睛的第二图像进行初步对齐处理；
从所述第一图像的眼球区域中提取出多段第一边缘线段，所述第一边缘线段为单像素宽度的线段，且每个像素点的梯度值大于预设梯度阈值，所述第一边缘线段的线段长度大于预设长度阈值；
从所述第二图像中提取出与每段所述第一边缘线段对应的第二边缘线段，得到多个线段集，每个所述线段集包括一个所述第一边缘线段和与所述第一边缘线段对应的第二边缘线段，所述第二边缘线段在所述第二图像中所属的部分图像与所述第一边缘线段在所述第一图像中所属的部分图像的坐标相同；
使用所述多个线段集中梯度特征相似度大于设定相似度阈值的各个线段集，对所述第一图像和所述第二图像进行再对齐；
从再对齐后的所述第一图像和所述第二图像中，提取出眼球特征。
2.根据权利要求1所述的方法，其特征在于，所述从所述第一图像的眼球区域中提取出多段第一边缘线段，包括：
从所述第一图像中识别出眼球区域图像；
对所述眼球区域图像进行边缘梯度特征提取处理，得到多段候选单像素边缘曲线段，每段候选单像素边缘曲线段中每个像素点的梯度值大于预设梯度阈值；
将得到的多段候选单像素边缘曲线段中线段长度大于设定长度阈值的曲线段作为提取出的第一边缘线段。
3.根据权利要求1所述的方法，其特征在于，所述从所述第一图像的眼球区域中提取出多段第一边缘线段，包括：
确定所述第一图像中每个像素的梯度值；
基于每个像素的梯度值，对所述第一图像进行边缘特征提取处理，得到多段候选单像素边缘曲线段，每段候选单像素边缘曲线段中每个像素点的梯度值大于预设梯度阈值；
基于线段长度和线段位置，对得到的多段候选单像素边缘曲线段进行聚类，得到位于所述第一图像的眼球区域中的多段第一边缘线段。
4.根据权利要求1所述的方法，其特征在于，所述从所述第二图像中提取出与每段所述第一边缘线段对应的第二边缘线段，得到多个线段集，包括：
针对每段所述第一边缘线段，在所述第一图像中划定出包含所述第一边缘线段的第一划分区域；
从所述第二图像中确定出与所述第一划分区域对应的第二划分区域，所述第一划分区域与所述第二划分区域在同一坐标系下的坐标相同；
针对所述第二划分区域中的图像进行边缘梯度特征提取处理，得到所述第一边缘线段对应的第二边缘线段，并得到对应的线段集。
5.根据权利要求1所述的方法，其特征在于，所述使用所述多个线段集中梯度相似度大于设定相似度阈值的各个线段集，对所述第一图像和所述第二图像进行再次对齐，包括：
针对每个线段集，确定所述线段集中的第一边缘线段和第二边缘线段之间的梯度特征相似度；
筛选出梯度特征相似度大于设定相似度阈值的目标线段集；
基于筛选出的各个目标线段集，确定所述可见光拍摄装置和所述红外拍摄装置之间的单应性矩阵；
使用所述单应性矩阵对所述第一图像和所述第二图像进行再次对齐。
6.根据权利要求5所述的方法，其特征在于，所述确定所述线段集中第一边缘线段和第二边缘线段之间的梯度特征相似度，包括：
从所述第一边缘线段中确定出连续排列的至少三个第一像素点，以及从所述第二边缘线段中确定出连续排列的至少三个第二像素点，所述至少三个第一像素点包括所述第一边缘线段中梯度值最大的像素点，所述至少三个第二像素点包括所述第二边缘线段中梯度值最大的像素点；
通过各个第一像素点的梯度值和梯度方向在世界坐标系下的角度值，生成所述第一边缘线段的第一梯度特征向量；
通过各个第二像素点的梯度值和梯度方向在世界坐标系下的角度值，生成所述第二边缘线段的第二梯度特征向量；
使用所述第一梯度特征向量和所述第二梯度特征向量，计算所述第一边缘线段和第二边缘线段之间的梯度特征相似度。
7.根据权利要求5所述的方法，其特征在于，所述基于筛选出的各个目标线段集，确定所述可见光拍摄装置和所述红外拍摄装置之间的单应性矩阵，包括：
从每个所述目标线段集中确定出一个像素点对，所述像素点对包括所述目标线段集中第一边缘线段上梯度值最大的第一目标像素点和第二边缘线段上梯度值最大的第二目标像素点；
若确定出的各个第一目标像素点中存在任意三个第一目标像素点位于同一条直线上，去除所述任意三个第一目标像素点中的一个，得到筛选后的目标像素点对，所述目标像素点对包括筛选后的第一目标像素点和该第一目标像素点对应的第二目标像素点；
使用得到的各个目标像素点对，计算所述可见光拍摄装置和所述红外拍摄装置之间的单应性矩阵。
8.根据权利要求1所述的方法，其特征在于，所述从再对齐后的所述第一图像和所述第二图像中，提取出眼球特征，包括：
识别出所述第二图像的眼球区域中被光斑遮挡的遮挡像素点；
从所述第二图像的眼球区域中提取出除所述遮挡像素点之外的各个眼球像素点的特征信息；
从所述第一图像的眼球区域中提取出与所述遮挡像素点对应的补充像素点的特征信息，所述遮挡像素点和所述补充像素点对应眼球上的同一点；
将所述补充像素点的特征信息添加至各个眼球像素点的特征信息中，得到眼球特征。
9.根据权利要求1所述的方法，其特征在于，所述眼球特征包括瞳孔边缘特征，所述从再对齐后的所述第一图像和所述第二图像中，提取出眼球特征，包括：
从所述第二图像中提取出瞳孔边缘的多个特征点；
按照所述多个特征点沿瞳孔边缘的排列信息，确定出两个间隔特征点，两个所述间隔特征点之间不相邻，两个所述间隔特征点之间不存在任一特征点；
分别在所述第一图像中确定出与两个所述间隔特征点分别对应的第一信息点和第二信息点；
从所述第一图像的瞳孔边缘提取出位于所述第一信息点和所述第二信息点中之间的信息点；
按照所述信息点的位置信息，将所述信息点添加至所述多个特征点中，得到瞳孔特征的特征点集。
10.一种终端设备，其特征在于，所述终端设备设置有红外拍摄装置和可见光拍摄装置，所述终端设备包括：
第一图像对齐模块，用于通过所述红外拍摄装置和所述可见光拍摄装置的、标定后的装置参数，将所述可见光拍摄装置拍摄目标眼睛的第一图像和所述红外拍摄装置拍摄所述目标眼睛的第二图像进行初步对齐处理；
第一线段提取模块，用于从所述第一图像的眼球区域中提取出多段第一边缘线段，所述第一边缘线段为单像素宽度的线段，且每个像素点的梯度值大于预设梯度阈值，所述第一边缘线段的线段长度大于预设长度阈值；
第二线段提取模块，用于从所述第二图像中提取出与每段所述第一边缘线段对应的第二边缘线段，得到多个线段集，每个所述线段集包括一个所述第一边缘线段和与所述第一边缘线段对应的第二边缘线段，所述第二边缘线段在所述第二图像中所属的部分图像与所述第一边缘线段在所述第一图像中所属的部分图像的坐标相同；
第二图像对齐模块，用于使用所述多个线段集中梯度特征相似度大于设定相似度阈值的各个线段集，对所述第一图像和所述第二图像进行再对齐；
眼球特征提取模块，用于从再对齐后的所述第一图像和所述第二图像中，提取出眼球特征。
11.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至9中任一项所述的图像特征提取方法的步骤。
12.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至9中任一项所述的图像特征提取方法的步骤。
CN202311353832.7A 2023-10-18 2023-10-18 一种图像特征提取方法、装置、设备及存储介质 Active CN117373103B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311353832.7A CN117373103B (zh) 2023-10-18 2023-10-18 一种图像特征提取方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311353832.7A CN117373103B (zh) 2023-10-18 2023-10-18 一种图像特征提取方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN117373103A CN117373103A (zh) 2024-01-09
CN117373103B true CN117373103B (zh) 2024-05-07

Family

ID=89397840

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311353832.7A Active CN117373103B (zh) 2023-10-18 2023-10-18 一种图像特征提取方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117373103B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108354584A (zh) * 2018-03-06 2018-08-03 京东方科技集团股份有限公司 眼球追踪模组及其追踪方法、虚拟现实设备
CN109426762A (zh) * 2017-08-22 2019-03-05 上海荆虹电子科技有限公司 一种生物识别系统、方法和生物识别终端
CN113378790A (zh) * 2021-07-08 2021-09-10 中国电信股份有限公司 视点定位方法、装置、电子设备和计算机可读存储介质
CN113553908A (zh) * 2021-06-23 2021-10-26 中国科学院自动化研究所 基于设备独有性感知的异质虹膜识别方法
CN114429670A (zh) * 2020-10-29 2022-05-03 北京七鑫易维信息技术有限公司 瞳孔检测方法、装置、设备及存储介质
CN114495247A (zh) * 2020-11-09 2022-05-13 深圳熙卓科技有限公司 一种虹膜定位方法、装置及设备
KR20220066739A (ko) * 2020-11-16 2022-05-24 주식회사 스마트디아그노시스 홍채 정보 추출 방법 및 장치
CN115542535A (zh) * 2021-06-30 2022-12-30 托比股份公司 眼动跟踪系统
CN115886721A (zh) * 2022-08-18 2023-04-04 上海佰翊医疗科技有限公司 一种眼球活动度的评估方法、系统和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6452617B2 (ja) * 2012-12-10 2019-01-16 エスアールアイ インターナショナルＳＲＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ バイオメトリク虹彩照合システム
CN109857254B (zh) * 2019-01-31 2020-06-05 京东方科技集团股份有限公司 瞳孔定位方法和装置、vr/ar设备以及计算机可读介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109426762A (zh) * 2017-08-22 2019-03-05 上海荆虹电子科技有限公司 一种生物识别系统、方法和生物识别终端
CN108354584A (zh) * 2018-03-06 2018-08-03 京东方科技集团股份有限公司 眼球追踪模组及其追踪方法、虚拟现实设备
CN114429670A (zh) * 2020-10-29 2022-05-03 北京七鑫易维信息技术有限公司 瞳孔检测方法、装置、设备及存储介质
CN114495247A (zh) * 2020-11-09 2022-05-13 深圳熙卓科技有限公司 一种虹膜定位方法、装置及设备
KR20220066739A (ko) * 2020-11-16 2022-05-24 주식회사 스마트디아그노시스 홍채 정보 추출 방법 및 장치
CN113553908A (zh) * 2021-06-23 2021-10-26 中国科学院自动化研究所 基于设备独有性感知的异质虹膜识别方法
CN115542535A (zh) * 2021-06-30 2022-12-30 托比股份公司 眼动跟踪系统
CN113378790A (zh) * 2021-07-08 2021-09-10 中国电信股份有限公司 视点定位方法、装置、电子设备和计算机可读存储介质
CN115886721A (zh) * 2022-08-18 2023-04-04 上海佰翊医疗科技有限公司 一种眼球活动度的评估方法、系统和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多任务学习的可见光与近红外虹膜融合研究;尤轩昂;计算机工程与应用;20221130;全文 *

Also Published As

Publication number Publication date
CN117373103A (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
CN109086691B (zh) 一种三维脸部活体检测方法、脸部认证识别方法及装置
US10387724B2 (en) Iris recognition via plenoptic imaging
CN110232369B (zh) 一种人脸识别方法和电子设备
US9366843B2 (en) Iris imaging apparatus and methods for configuring an iris imaging apparatus
CN109376592B (zh) 活体检测方法、装置和计算机可读存储介质
CN110852310B (zh) 三维人脸识别方法、装置、终端设备及计算机可读介质
EP3598385B1 (en) Face deblurring method and device
KR20190097640A (ko) 영상 정합 방법 및 장치
US10853631B2 (en) Face verification method and apparatus, server and readable storage medium
CN113205057B (zh) 人脸活体检测方法、装置、设备及存储介质
CN110956114A (zh) 人脸活体检测方法、装置、检测系统及存储介质
CN110866466A (zh) 一种人脸识别方法、装置、存储介质和服务器
TWI721786B (zh) 人臉校驗方法、裝置、伺服器及可讀儲存媒介
CN109948439B (zh) 一种活体检测方法、系统及终端设备
US11315360B2 (en) Live facial recognition system and method
CN111010554B (zh) 投影处理方法、装置、投影仪及可读存介质
WO2021008205A1 (zh) 图像处理
CN109683698B (zh) 支付验证方法、装置、电子设备和计算机可读存储介质
US20140161313A1 (en) Tracking device
CN109726613B (zh) 一种用于检测的方法和装置
CN108040244B (zh) 基于光场视频流的抓拍方法及装置、存储介质
CN110800020B (zh) 一种图像信息获取方法、图像处理设备及计算机存储介质
CN117373103B (zh) 一种图像特征提取方法、装置、设备及存储介质
CN108875472B (zh) 图像采集装置及基于该图像采集装置的人脸身份验证方法
CN113033243A (zh) 一种人脸识别方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant