CN116524581B - 一种人眼图像光斑分类方法、系统、设备及存储介质 - Google Patents
一种人眼图像光斑分类方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN116524581B CN116524581B CN202310814374.6A CN202310814374A CN116524581B CN 116524581 B CN116524581 B CN 116524581B CN 202310814374 A CN202310814374 A CN 202310814374A CN 116524581 B CN116524581 B CN 116524581B
- Authority
- CN
- China
- Prior art keywords
- light spot
- human eye
- eye image
- points
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 210000001747 pupil Anatomy 0.000 claims abstract description 103
- 238000001514 detection method Methods 0.000 claims abstract description 71
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000013145 classification model Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 description 22
- 230000006870 function Effects 0.000 description 19
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种人眼图像光斑分类方法、系统、设备及存储介质，包括：对采集的各个第一人眼图像中的所有第一光斑中心点以及第二预设数量的第一瞳孔轮廓点进行第一检测；基于第一检测结果建立第一无向图；利用各个第一无向图以及对应的第一检测结果生成相应的训练样例；对构建的第一光斑分类模型进行训练后，得到第二光斑分类模型；接收待处理的第二人眼图像；对所有第二光斑中心点以及第三预设数量的第二瞳孔轮廓点进行第二检测；基于第二检测结果建立第二人眼图像对应的第二无向图；将第二无向图输入所述第二光斑分类模型进行处理，得到所有的第二光斑中心点对应的第二光斑预测分类编号。本申请提高了预测分类编号结果准确性。
Description
技术领域
本发明实施例涉及计算机视觉技术领域，具体涉及一种人眼图像光斑分类方法、系统、设备及存储介质。
背景技术
多光源的眼动追踪系统中，多光源发出的光射向人眼，主要经角膜反射，最终打在摄像头感光器件上形成带有光斑的人眼图像，光斑与光源一一对应。具体应用中需要对人眼图像中的光斑进行分类编号，然而现有的光斑分类编号模型为多层感知机分类模型，仅能逐个对光斑进行分类，且由于每次被分类的光斑缺乏与其它光斑的相对位置信息，导致分类编号容易出现错误。
发明内容
为此，本发明实施例提供一种人眼图像光斑分类方法、系统、设备及存储介质，以解决目前人眼图像光斑分类准确率低的技术问题。
为了实现上述目的，本发明实施例提供如下技术方案：
根据本发明实施例的第一方面，本申请实施例提供了一种人眼图像光斑分类方法，所述方法包括：
构建第一光斑分类模型；
采集第一预设数量的带有光源标记的第一人眼图像；
对各个第一人眼图像中的所有第一光斑中心点以及第二预设数量的第一瞳孔轮廓点进行第一检测；
基于第一检测结果分别建立各个第一人眼图像对应的第一无向图；
利用各个第一无向图以及对应的第一检测结果生成相应的训练样例；
利用各个训练样例形成训练数据集，对所述第一光斑分类模型进行训练，得到训练后的第二光斑分类模型；
接收待处理的第二人眼图像；
对所述第二人眼图像中的所有第二光斑中心点以及第三预设数量的第二瞳孔轮廓点进行第二检测；
基于第二检测结果建立所述第二人眼图像对应的第二无向图；
将所述第二无向图输入所述第二光斑分类模型进行处理，得到所有的第二光斑中心点对应的第二光斑预测分类编号。
进一步地，对各个第一人眼图像中的所有第一光斑中心点以及第二预设数量的第一瞳孔轮廓点进行第一检测，包括：
对各个第一人眼图像中所有第一光斑中心点分别进行检测，得到对应的第一光斑中心点位置数据；
从各个第一人眼图像中分别选取第二预设数量的第一瞳孔轮廓点并进行检测，得到对应的第一瞳孔轮廓点位置数据；
基于所述光源标记以及第一预设编号规则，对各个第一人眼图像中所有第一光斑中心点进行类别编号，得到对应的第一光斑类别编号；
利用各个第一人眼图像对应的第一光斑类别编号，生成对应的第一光斑类别编号序列。
进一步地，所述第一预设编号规则包括：
基于所述光源标记判断所述第一光斑中心点是否存在对应的光源；
如果所述第一光斑中心点存在对应的光源，则对应的第一光斑类别编号与对应光源编号一致；
如果所述第一光斑中心点不存在对应的光源，则对应的第一光斑类别编号为0。
进一步地，基于第一检测结果分别建立各个第一人眼图像对应的第一无向图，包括：
将各个第一人眼图像对应的所有第一光斑中心点以及各个第一瞳孔轮廓点作为第一节点；
利用第二预设编号规则，对各个第一节点进行节点编号，得到对应的第一节点编号并生成相应的第一节点编号张量；
基于所有的第一光斑中心点位置数据以及各个第一瞳孔轮廓点位置数据分别为对应的第一光斑中心点以及第一瞳孔轮廓点赋予第一节点特征；
由所有的第一节点特征生成第一节点位置数据张量；
在两个第一光斑中心点之间、相邻的两个第一瞳孔轮廓点之间以及每个第一光斑中心点与各个第一瞳孔轮廓点之间，均通过第一无向边连接得到各个第一人眼图像对应的第一无向图；
针对每个第一无向图，利用所有第一无向边的各个起始点和各个终止点对应的第一节点编号，分别生成第一起始点张量和第一终止点张量。
进一步地，利用各个第一无向图以及第一检测结果生成相应的训练样例，包括：
针对每个第一无向图，从对应的第一检测结果中取出对应的第一光斑类别编号序列；
利用各个第一无向图与对应的第一光斑类别编号序列生成数据对；
将各个数据对作为对应的训练样例。
进一步地，对所述第二人眼图像中的所有第二光斑中心点以及第三预设数量的第二瞳孔轮廓点进行第二检测，包括：
对所述第二人眼图像中所有第二光斑中心点分别进行检测，得到对应的第二光斑中心点位置数据；
从所述第二人眼图像中分别选取第三预设数量的第二瞳孔轮廓点并进行检测，得到对应的第二瞳孔轮廓点位置数据。
进一步地，基于第二检测结果建立所述第二人眼图像对应的第二无向图，包括：
将所述第二人眼图像对应的所有第二光斑中心点以及各个第二瞳孔轮廓点作为第二节点；
利用第二预设编号规则，对各个第二节点进行节点编号，得到对应的第二节点编号并生成相应的第二节点编号张量；
基于所有的第二光斑中心点位置数据以及各个第二瞳孔轮廓点位置数据分别为对应的第二光斑中心点以及第二瞳孔轮廓点赋予第二节点特征；
由所有的第二节点特征生成第二节点位置数据张量；
在两个第二光斑中心点之间、相邻的两个第二瞳孔轮廓点之间以及每个第二光斑中心点与各个第二瞳孔轮廓点之间，均通过第二无向边连接得到所述第二人眼图像对应的第二无向图；
针对所述第二无向图，利用所有第二无向边的各个起始点和各个终止点对应的第二节点编号，分别生成第二起始点张量和第二终止点张量。
根据本发明实施例的第二方面，本申请实施例提供了一种人眼图像光斑分类系统，所述系统包括：
模型构建模块，用于构建第一光斑分类模型；
采集模块，用于采集第一预设数量的带有光源标记的第一人眼图像；
第一检测模块，用于对各个第一人眼图像中的所有第一光斑中心点以及第二预设数量的第一瞳孔轮廓点进行第一检测；
第一分析模块，用于基于第一检测结果分别建立各个第一人眼图像对应的第一无向图；利用各个第一无向图以及对应的第一检测结果生成相应的训练样例；
模型训练模块，用于利用各个训练样例形成训练数据集，对所述第一光斑分类模型进行训练，得到训练后的第二光斑分类模型；
接收模块，用于接收待处理的第二人眼图像；
第二检测模块，用于对所述第二人眼图像中的所有第二光斑中心点以及第三预设数量的第二瞳孔轮廓点进行第二检测；
第二分析模块，用于基于第二检测结果建立所述第二人眼图像对应的第二无向图；
执行模块，用于将所述第二无向图输入所述第二光斑分类模型进行处理，得到所有的第二光斑中心点对应的第二光斑预测分类编号。
根据本发明实施例的第三方面，提供了一种人眼图像光斑分类设备，所述设备包括：处理器和存储器；
所述存储器用于存储一个或多个程序指令；
所述处理器，用于运行一个或多个程序指令，用以执行如上任一项所述的一种人眼图像光斑分类方法的步骤。
根据本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的一种人眼图像光斑分类方法的步骤。
与现有技术相比，本申请实施例提供的一种人眼图像光斑分类方法、系统、设备及存储介质，利用图卷积神经网络作为模型主干网络，以无向图作为模型输入，在模型主干网络之后接全连接神经网络，以节点预测类别编号张量作为模型输出，对采集的人眼图像进行光斑中心点以及瞳孔轮廓点位置检测并构建无向图，利用无向图以及对应的第一光斑类别编号序列生成数据对并作为训练样例，对光斑分类模型进行训练，基于图机器学习模型实现光斑分类编号，可以针对输入的待处理人眼图像所有光斑一起进行检测并分类编号，在对光斑分类编号预测中充分考虑各个光斑之间的位置关系，极大提高了预测分类编号结果的准确性。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
图1为本发明实施例提供的一种人眼图像光斑分类系统的逻辑结构示意图；
图2为本发明实施例提供的一种人眼图像光斑分类方法的流程示意图；
图3为本发明实施例提供的对各个第一人眼图像中的所有第一光斑中心点以及第二预设数量的第一瞳孔轮廓点进行第一检测的流程示意图；
图4为本发明实施例提供的基于第一检测结果分别建立各个第一人眼图像对应的第一无向图的流程示意图；
图5为本发明实施例提供的第一无向图和第二无向图的网络拓扑图；
图6为本发明实施例提供的利用各个第一无向图以及第一检测结果生成相应的训练样例的流程示意图；
图7为本发明实施例提供的对第二人眼图像中的所有第二光斑中心点以及第三预设数量的第二瞳孔轮廓点进行第二检测的流程示意图；
图8为本发明实施例提供的基于第二检测结果建立所述第二人眼图像对应的第二无向图的流程示意图；
图9为本发明实施例提供的将所述第二无向图输入第二光斑分类模型进行处理的流程示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的目的在于：基于图机器学习模型实现光斑分类编号，提高了预测分类编号结果的准确性。
为了解决上述技术问题，如图1所示，本申请实施例提供了一种人眼图像光斑分类系统，其具体包括：模型构建模块1、采集模块2、第一检测模块3、第一分析模块4、模型训练模块5、接收模块6、第二检测模块7、第二分析模块8、执行模块9。
具体地，模型构建模块1用于构建第一光斑分类模型10；采集模块2用于采集第一预设数量的带有光源标记的第一人眼图像；第一检测模块3用于对各个第一人眼图像中的所有第一光斑中心点以及第二预设数量的第一瞳孔轮廓点进行第一检测；第一分析模块4用于基于第一检测结果分别建立各个第一人眼图像对应的第一无向图；利用各个第一无向图以及对应的第一检测结果生成相应的训练样例；模型训练模块5用于利用各个训练样例形成训练数据集，对第一光斑分类模型10进行训练，得到训练后的第二光斑分类模型11；接收模块6用于接收待处理的第二人眼图像；第二检测模块7用于对第二人眼图像中的所有第二光斑中心点以及第三预设数量的第二瞳孔轮廓点进行第二检测；第二分析模块8用于基于第二检测结果建立所述第二人眼图像对应的第二无向图；执行模块9用于将第二无向图输入第二光斑分类模型11进行处理，得到所有的第二光斑中心点对应的第二光斑预测分类编号。
与现有技术相比，本申请实施例提供的一种人眼图像光斑分类系统，利用图卷积神经网络作为模型主干网络，以无向图作为模型输入，在模型主干网络之后接全连接神经网络，以节点预测类别编号张量作为模型输出，对采集的人眼图像进行光斑中心点以及瞳孔轮廓点位置检测并构建无向图，利用无向图以及对应的第一光斑类别编号序列生成数据对并作为训练样例，对光斑分类模型进行训练，基于图机器学习模型实现光斑分类编号，可以针对输入的待处理人眼图像所有光斑一起进行检测并分类编号，在对光斑分类编号预测中充分考虑各个光斑之间的位置关系，极大提高了预测分类编号结果的准确性。
与上述公开的一种人眼图像光斑分类系统相对应，本发明实施例还公开了一种人眼图像光斑分类方法。以下结合上述描述的一种人眼图像光斑分类系统详细介绍本发明实施例中公开的一种人眼图像光斑分类方法。
如图2所示，以下对本申请实施例提供的一种人眼图像光斑分类方法具体步骤进行详细描述。
通过模型构建模块1构建第一光斑分类模型10。
在本发明实施例中，第一光斑分类模型10具体利用图卷积神经网络作为模型主干网络，以无向图作为模型输入；在模型主干网络之后接全连接神经网络，以节点预测类别编号张量作为模型输出。
上述描述中，无向图是“图”的一种类型，“图”是一种非线性的数据结构，具有如下一些基本概念：
图中的各个元素称之为顶点/节点；
顶点/节点和其它任一顶点/节点之间的关联关系称之为边；
一个顶点的边的数量称之为度。
“图”可以分为无向图和有向图，若两个顶点/节点之间的边没有方向，则称这条边为无向边（Edge，一般用用无序偶对来表示），如果图中任意两个顶点/节点之间的边都是无向边，则称该“图”为无向图。
通过采集模块2采集第一预设数量的带有光源标记的第一人眼图像。
具体地，在本发明实施例中，为了满足最终结果的准确性，第一预设数量需要达到万级数量级，例如，可以是5至10万个第一人眼图像。
通过第一检测模块3对各个第一人眼图像中的所有第一光斑中心点以及第二预设数量的第一瞳孔轮廓点进行第一检测。
参考图3，上述步骤具体包括：对各个第一人眼图像中所有第一光斑中心点分别进行检测，得到对应的第一光斑中心点位置数据；从各个第一人眼图像中分别选取第二预设数量的第一瞳孔轮廓点并进行检测，得到对应的第一瞳孔轮廓点位置数据；基于所述光源标记以及第一预设编号规则，对各个第一人眼图像中所有第一光斑中心点进行类别编号，得到对应的第一光斑类别编号；利用各个第一人眼图像对应的第一光斑类别编号，生成对应的第一光斑类别编号序列。
在本发明实施例中，针对采集的各个第一人眼图像，对于所有的第一光斑中心点均进行位置坐标检测，并对检测到的坐标进行归一化处理，得到对应第一光斑中心在像素坐标系下的归一化坐标数据，作为第一光斑中心点位置数据。例如，各个第一光斑中心点位置数据分别为[xg1, yg1], [xg2, yg2], ..., [xgn, ygn]，其中，xgn为第n个第一光斑中心点在像素坐标系下的归一化横坐标，ygn为第n个第一光斑中心点在像素坐标系下的归一化纵坐标。针对采集的各个第一人眼图像，选取第二预设数量的第一瞳孔轮廓点，第二预设数量可以根据具体需求进行人为设定，在本发明实施例中，第二预设数量至少为2个，对于第二预设数量的第一瞳孔轮廓点均进行位置坐标检测，并对检测到的坐标进行归一化处理，得到对应第一瞳孔轮廓点在像素坐标系下的归一化坐标数据，作为第一瞳孔轮廓点位置数据。例如，各个第一瞳孔轮廓点位置数据分别为[xp1, yp1], [xp2, yp2], ..., [xpm, ypm]，其中，xpm为第m个第一光斑中心点在像素坐标系下的归一化横坐标，ypm为第m个第一光斑中心点在像素坐标系下的归一化纵坐标。
进一步地，光源标记为第一人眼图像中各个第一光斑中心点对应的光源编号。第一预设编号规则具体包括：基于光源标记判断第一光斑中心点是否存在对应的光源；如果第一光斑中心点存在对应的光源，则对应的第一光斑类别编号与对应光源编号一致，光源编号范围为大于或等于1且小于或等于N，其中，N为灯板上的光源数量；如果第一光斑中心点不存在对应的光源，则对应的第一光斑类别编号为0。
通过第一分析模块4基于第一检测结果分别建立各个第一人眼图像对应的第一无向图。
参考图4，上述步骤具体包括：将各个第一人眼图像对应的所有第一光斑中心点以及各个第一瞳孔轮廓点作为第一节点；利用第二预设编号规则，对各个第一节点进行节点编号，得到对应的第一节点编号并生成相应的第一节点编号张量；基于所有的第一光斑中心点位置数据以及各个第一瞳孔轮廓点位置数据分别为对应的第一光斑中心点以及第一瞳孔轮廓点赋予第一节点特征；由所有的第一节点特征生成第一节点位置数据张量；在两个第一光斑中心点之间、相邻的两个第一瞳孔轮廓点之间以及每个第一光斑中心点与各个第一瞳孔轮廓点之间，均通过第一无向边连接得到各个第一人眼图像对应的第一无向图；针对每个第一无向图，利用所有第一无向边的各个起始点和各个终止点对应的第一节点编号，分别生成第一起始点张量和第一终止点张量。
在本发明实施例中，第一无向图的图网络包含多个第一节点和第一无向边。每个第一光斑中心点与第一瞳孔轮廓点在图网络中均用第一节点表示；第一瞳孔轮廓点的相邻节点之间用第一无向边连接表示，第一光斑中心点的节点与各个第一瞳孔轮廓点以及其余第一光斑中心点之间也用第一无向边连接表示，第一无向边是无向的；为第一节点赋予第一节点特征，每个第一节点被赋予的第一节点特征为第一节点所对应的第一光斑中心点或第一瞳孔轮廓点在像素坐标系下的归一化纵坐标。如上所述，由所有的第一节点特征生成第一节点位置数据张量为：[[xg1, yg1], [xg2, yg2], ..., [xgn, ygn]，[xp1, yp1], [xp2,yp2], ..., [xpm, ypm]]。
在本发明实施例中，第二预设编号规则包括：针对每个第一人眼图像，统计所有对应第一瞳孔轮廓点的第一轮廓点总数m 1以及所有对应第一光斑中心点的第一光斑总数n 1，其中，m 1和n 1为大于0；按照从0至m 1-1的次序对各个第一瞳孔轮廓点进行节点编号；按照从m 1至m 1+n 1-1的次序对各个第一光斑中心点进行节点编号。
具体的，按照上述第二预设编号规则，第一无向图的图网络中的每个第一节点均有对应的第一节点编号，m 1个第一瞳孔轮廓点对应的第一节点编号为[0, 1, 2, ..., m 1-1]，n 1个第一光斑中心点对应的第一节点编号为[m 1, m 1+1, m 1+2, ..., m 1+n 1-1]；由上述各个第一节点编号生成的第一节点编号张量为[0, 1, 2, ..., m 1-1, m 1, m 1+1, m 1+2,..., m 1+n 1-1]。在本发明实施例中，第一节点编号张量与第一节点位置数据张量的索引对应关系确定，即第一节点编号张量的第i个第一节点编号与第一节点位置数据张量中的第i个位置对应的第一光斑中心点位置数据/第一瞳孔轮廓点位置数据对应。
具体的，两个第一节点之间的边采用第一起始点张量与第一终止点张量表示。假设第一无向图的图网络中有6个第一瞳孔轮廓点和2个第一光斑中心点，那么其对应的第一节点编号张量为[0, 1, 2, 3, 4, 5, 6, 7]。第一起始点张量[0]与第一终止点张量[1]表示从第一节点编号为0的第一节点指向第一节点编号为1的第一节点的有向边。第一节点编号为0的第一节点与第一节点编号为1的第一节点之间的无向边等价于存在两条边，分别为从第一节点编号为0的第一节点指向第一节点编号为1的第一节点的有向边，以及从第一节点编号为1的第一节点指向第一节点编号为0的第一节点的有向边，用第一起始点张量[0,1]与第一终止点张量[1, 0]表示。按照前述第一节点间边的连接规则：“表示相邻的两个第一瞳孔轮廓点之间用边连接，表示两个第一光斑中心点之间以及每个第一光斑中心点与各个第一瞳孔轮廓点之间用边连接，并且边是无向的”，上述两个第一瞳孔轮廓点之间的第一无向边表示为：第一起始点张量[0, 0, 1, 1, 2, 2, 3, 3, 4, 4, 5, 5]与第一终止点张量[1, 5, 0, 2, 1, 3, 2, 4, 2, 5, 4, 0]；第一光斑中心点与其它节点（各个第一瞳孔轮廓点以及其余各个第一光斑中心点）之间的第一无向边表示为：第一起始点张量[0, 0,1, 1, 2, 2, 3, 3, 4, 4, 5, 5, 6, 6, 6, 6, 6, 6, 6, 7, 7, 7, 7, 7, 7, 7]，第一终止点张量[6, 7, 6, 7, 6, 7, 6, 7, 6, 7, 6, 7, 0, 1, 2, 3, 4, 5, 7, 0, 1, 2,3, 4, 5, 6]。最后，将上述第一起始点张量与上述第一终止点张量合并后，所有的第一无向边表示为：第一起始点张量[0, 0, 1, 1, 2, 2, 3, 3, 4, 4, 5, 5, 0, 0, 1, 1, 2,2, 3, 3, 4, 4, 5, 5, 6, 6, 6, 6, 6, 6, 6, 7, 7, 7, 7, 7, 7, 7]，第一终止点张量[1, 5, 0, 2, 1, 3, 2, 4, 2, 5, 4, 0, 6, 7, 6, 7, 6, 7, 6, 7, 6, 7, 6, 7, 0,1, 2, 3, 4, 5, 7, 0, 1, 2, 3, 4, 5, 6]。
上述第一节点编号张量、第一起始点张量、第一终止点张量、第一节点位置数据张量描述了整个第一无向图的图网络。第一无向图的图网络中各个第一节点与第一无向边的拓扑图如图5所示，其中，实心节点为表示第一瞳孔轮廓点的第一节点，空心节点为表示第一光斑中心点的第一节点，无箭头实线为连接两个第一节点之间的第一无向边。
通过第一分析模块4利用各个第一无向图以及对应的第一检测结果生成相应的训练样例。
参考图6，上述步骤具体包括：针对每个第一无向图，从对应的第一检测结果中取出对应的第一光斑类别编号序列；利用各个第一无向图与对应的第一光斑类别编号序列生成数据对；将各个数据对作为对应的训练样例。
在本发明实施例中，上述得到的训练样例为：{第一无向图，第一光斑类别编号序列}。这样每个第一人眼图像都会对应得到一个{第一无向图，第一光斑类别编号序列}，所有的训练样例便可得到训练数据集。
通过模型训练模块5利用各个训练样例形成训练数据集，对第一光斑分类模型10进行训练，得到训练后的第二光斑分类模型11。
具体地，通过第一光斑分类模型10对各个训练样例中第一无向图的进行光斑分类预测，得到第一光斑预测分类编号序列；基于第一光斑预测分类编号序列与训练样例中对应的第一光斑类别编号序列确定损失函数的参数，其中，损失函数为交叉熵损失。基于损失函数的参数，训练第一光斑分类模型10。具体的，根据损失函数的参数，使用反向传播算法计算神经网络模型中每个参数对损失函数的梯度。然后使用梯度下降法或其它优化算法更新网络中的参数。循环上述步骤，当达到最大迭代次数或训练轮数时，或损失函数收敛时，或准确率达到要求时，或人为早停时，终止训练。
通过接收模块6接收待处理的第二人眼图像。
通过第二检测模块7对第二人眼图像中的所有第二光斑中心点以及第三预设数量的第二瞳孔轮廓点进行第二检测。
参考图7，上述步骤具体包括：对第二人眼图像中所有第二光斑中心点分别进行检测，得到对应的第二光斑中心点位置数据；从第二人眼图像中分别选取第三预设数量的第二瞳孔轮廓点并进行检测，得到对应的第二瞳孔轮廓点位置数据。
在本发明实施例中，针对采集的第二人眼图像，对于所有的第二光斑中心点均进行位置坐标检测，并对检测到的坐标进行归一化处理，得到对应第二光斑中心在像素坐标系下的归一化坐标数据，作为第二光斑中心点位置数据。针对第二人眼图像，选取第三预设数量的第二瞳孔轮廓点，第三预设数量可以根据具体需求进行人为设定，在本发明实施例中，第三预设数量至少为2个，对于第三预设数量的第二瞳孔轮廓点均进行位置坐标检测，并对检测到的坐标进行归一化处理，得到对应第二瞳孔轮廓点在像素坐标系下的归一化坐标数据，作为第二瞳孔轮廓点位置数据。
通过第二分析模块8基于第二检测结果建立第二人眼图像对应的第二无向图。
参考图8，上述步骤具体包括：将第二人眼图像对应的所有第二光斑中心点以及各个第二瞳孔轮廓点作为第二节点；利用第二预设编号规则，对各个第二节点进行节点编号，得到对应的第二节点编号并生成相应的第二节点编号张量；基于所有的第二光斑中心点位置数据以及各个第二瞳孔轮廓点位置数据分别为对应的第二光斑中心点以及第二瞳孔轮廓点赋予第二节点特征；由所有的第二节点特征生成第二节点位置数据张量；在两个第二光斑中心点之间、相邻的两个第二瞳孔轮廓点之间以及每个第二光斑中心点与各个第二瞳孔轮廓点之间，均通过第二无向边连接得到第二人眼图像对应的第二无向图；针对第二无向图，利用所有第二无向边的各个起始点和各个终止点对应的第二节点编号，分别生成第二起始点张量和第二终止点张量。
在本发明实施例中，第二无向图的图网络包含多个第二节点和第二无向边。每个第二光斑中心点与第二瞳孔轮廓点在图网络中均用第二节点表示；第二瞳孔轮廓点的相邻节点之间用第二无向边连接表示，第二光斑中心点的节点与各个第二瞳孔轮廓点以及其余第二光斑中心点之间也用第二无向边连接表示，第二无向边是无向的；为第二节点赋予第二节点特征，每个第二节点被赋予的第二节点特征为第二节点所对应的第二光斑中心点或第二瞳孔轮廓点在像素坐标系下的归一化纵坐标。
在本发明实施例中，上述第二预设编号规则还包括：针对第二人眼图像，统计所有对应第二瞳孔轮廓点的第二轮廓点总数m 2以及所有对应第二光斑中心点的第二光斑总数n 2，其中，m 2和n 2均大于0；按照从0至m 2-1的次序对各个第二瞳孔轮廓点进行节点编号；按照从m 2至m 2+n 2-1的次序对各个第二光斑中心点进行节点编号。
通过执行模块9将第二无向图输入第二光斑分类模型11进行处理，得到所有的第二光斑中心点对应的第二光斑预测分类编号。
参考图9，以下对上述步骤进行详细描述。
利用第二节点位置数据张量确定第二无向图的特征矩阵X。
例如，在本发明实施例中，第二人眼图像中有两个第二光斑中心点，选取第二瞳孔轮廓点的数量为六个，经第二检测得到的两个第一光斑中心点位置数据分别为[xh1, yh1],[xh2, yh2]，[xh1, yh1], [xh2, yh2]表示两个光斑中心点分别在像素坐标系下的坐标，下标h表示光斑中心点，经第二检测得到的六个第二瞳孔轮廓点分别为[xq1, yq1], [xq2, yq2],[xq3, yq3], [xq3, yq3], [xq4, yq4], [xq5, yq5], [xq6, yq6]，[xq1, yq1], [xq2, yq2],[xq3, yq3], [xq3, yq3], [xq4, yq4], [xq5, yq5], [xq6, yq6] 表示六个瞳孔轮廓点在像素坐标系下的坐标，下标q表示瞳孔轮廓点，这样，得到的第二节点位置数据张量为[xh1,yh1], [xh2, yh2], [xq1, yq1], [xq2, yq2], [xq3, yq3], [xq3, yq3], [xq4, yq4], [xq5,yq5], [xq6, yq6]。[xh1, yh1], [xh2, yh2], 表示两个光斑中心点分别在像素坐标系下的坐标，下标h表示光斑中心点，[xq1, yq1], [xq2, yq2], [xq3, yq3], [xq3, yq3], [xq4, yq4],[xq5, yq5], [xq6, yq6]表示六个瞳孔轮廓点在像素坐标系下的坐标，下标q表示瞳孔轮廓点，与此对应，第二无向图的特征矩阵X表示为：
基于第二节点编号张量、第二起始点张量和第二终止点张量，生成第二无向图的邻接矩阵A。
在本发明实施例中，上述步骤具体包括：利用第二节点编号张量中的各个第二节点编号定位所述邻接矩阵A的行节点i和列节点j，使邻接矩阵A为一个K×K的矩阵，其中，K为所述第二节点的总数，i和j均小于或等于K，邻接矩阵A中第i行对应的元素表示与第二节点编号张量中的第i个第二节点编号对应的第二节点相关，邻接矩阵A中第j列的元素表示与第二节点编号张量中的第j个第二节点编号对应的第二节点相关；结合第二起始点张量和第二终止点张量，判断所述第二节点编号张量中的第i个和第j个第二节点编号对应的第二节点之间是否存在第二无向边；如果第二节点编号张量中的第i个和第j个第二节点编号对应的第二节点之间存在第二无向边，则将邻接矩阵A中第i行与第j列对应的元素的值确定为1；如果第二节点编号张量中的第i个和第j个第二节点编号对应的第二节点之间不存在所述第二无向边，则将邻接矩阵A中第i行与第j列对应的元素的值确定为0。
例如，第二无向图的图网络中各个第二节点与第二无向边的拓扑图如图5所示，其中，实心节点为表示第二瞳孔轮廓点的第二节点，空心节点为表示第二光斑中心点的第二节点，无箭头实线为连接两个第二节点之间的第二无向边。与此对应，第二无向图的邻接矩阵A表示为：
将邻接矩阵A输入图卷积操作公式进行n-1次图卷积操作，所述图卷积操作公式如下：
其中，n为图卷积神经网络的层数，n大于或等于2，A为邻接矩阵， 为邻接矩阵A行节点i和列节点j对应元素的值，D是度矩阵，/>为表示节点i的度数，即与节点i相邻的节点数量。对于本文的无向图来说，度矩阵是一个对角矩阵，每个元素/>等于邻接矩阵第i行的元素之和，/> ，W n-2是第n-2层可训练的权重矩阵，/>表示进行非线性变换的激活函数，在本发明实施例中，/>可以选择ReLU函数，H n-2是第n-2层的激活矩阵，
将邻接矩阵A和最后一次的图卷积操作输出结果输入第一输出层函数公式进行计算，得到第一输出结果Z，第一输出层函数公式如下：
其中，n为图卷积神经网络的层数，n大于或等于2，W n-1是第n-1层可训练的权重矩阵，H n-1是第n-1层的激活矩阵。
softmax函数是一种常用的输出层函数，常用来解决互斥标签的多分类问题。假设有若干输入，对应的输出为/>，softmax函数公式为：/>其中， k为0~n，n为输入xi的数量。
将第一输出结果输入第二输出层函数公式进行计算，得到第二节点类别编号张量，第二输出层函数公式如下：，Z是第一输出层函数的输出结果。“.”与“argmax()”表示对Z执行argmax()运算，argmax()功能为返回指定维度最大值的序号。Z.argmax(1)表示，对Z执行argmax运算，返回1维度的最大值的序号。
利用第二节点类别编号张量，得到所有的第二光斑中心点以及各个第二瞳孔轮廓点对应的第二光斑预测分类编号。
与现有技术相比，本申请实施例提供的一种人眼图像光斑分类方法，利用图卷积神经网络作为模型主干网络，以无向图作为模型输入，在模型主干网络之后接全连接神经网络，以节点预测类别编号张量作为模型输出，对采集的人眼图像进行光斑中心点以及瞳孔轮廓点位置检测并构建无向图，利用无向图以及对应的第一光斑类别编号序列生成数据对并作为训练样例，对光斑分类模型进行训练，基于图机器学习模型实现光斑分类编号，可以针对输入的待处理人眼图像所有光斑一起进行检测并分类编号，在对光斑分类编号预测中充分考虑各个光斑之间的位置关系，极大提高了预测分类编号结果的准确性。
另外，本发明实施例还提供了一种人眼图像光斑分类设备，所述设备包括：处理器和存储器；所述存储器用于存储一个或多个程序指令；所述处理器，用于运行一个或多个程序指令，用以执行如上任一项所述的一种人眼图像光斑分类方法的步骤。
另外，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述一种人眼图像光斑分类方法的步骤。
在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器（Digital Signal Processor，简称DSP）、专用集成电路（Application Specific Integrated Circuit，简称ASIC）、现场可编程门阵列（FieldProgrammable Gate Array，简称FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
其中，非易失性存储器可以是只读存储器（Read-Only Memory，简称ROM）、可编程只读存储器（Programmable ROM，简称PROM）、可擦除可编程只读存储器（Erasable PROM，简称EPROM）、电可擦除可编程只读存储器（Electrically EPROM，简称EEPROM）或闪存。
易失性存储器可以是随机存取存储器（Random Access Memory，简称RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器（Static RAM，简称SRAM）、动态随机存取存储器（Dynamic RAM，简称DRAM）、同步动态随机存取存储器（Synchronous DRAM，简称SDRAM）、双倍数据速率同步动态随机存取存储器（Double Data RateSDRAM，简称DDRSDRAM）、增强型同步动态随机存取存储器（EnhancedSDRAM，简称ESDRAM）、同步连接动态随机存取存储器（Synchlink DRAM，简称SLDRAM）和直接内存总线随机存取存储器（DirectRambus RAM，简称DRRAM）。
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。
Claims (9)
1.一种人眼图像光斑分类方法，其特征在于，所述方法包括：
构建第一光斑分类模型；
采集第一预设数量的带有光源标记的第一人眼图像；
对各个第一人眼图像中的所有第一光斑中心点以及第二预设数量的第一瞳孔轮廓点进行第一检测；
基于第一检测结果分别建立各个第一人眼图像对应的第一无向图；
利用各个第一无向图以及对应的第一检测结果生成相应的训练样例；
利用各个训练样例形成训练数据集，对所述第一光斑分类模型进行训练，得到训练后的第二光斑分类模型；所述第一光斑分类模型是以利用图卷积神经网络作为模型主干网络，以无向图作为模型输入，在模型主干网络之后接全连接神经网络，以节点预测类别编号张量作为模型输出；
接收待处理的第二人眼图像；
对所述第二人眼图像中的所有第二光斑中心点以及第三预设数量的第二瞳孔轮廓点进行第二检测；
基于第二检测结果建立所述第二人眼图像对应的第二无向图；
将所述第二无向图输入所述第二光斑分类模型进行处理，得到所有的第二光斑中心点对应的第二光斑预测分类编号；
对各个第一人眼图像中的所有第一光斑中心点以及第二预设数量的第一瞳孔轮廓点进行第一检测，包括：
对各个第一人眼图像中所有第一光斑中心点分别进行检测，得到对应的第一光斑中心点位置数据；
从各个第一人眼图像中分别选取第二预设数量的第一瞳孔轮廓点并进行检测，得到对应的第一瞳孔轮廓点位置数据；
基于所述光源标记以及第一预设编号规则，对各个第一人眼图像中所有第一光斑中心点进行类别编号，得到对应的第一光斑类别编号；
利用各个第一人眼图像对应的第一光斑类别编号，生成对应的第一光斑类别编号序列。
2.如权利要求1所述的一种人眼图像光斑分类方法，其特征在于，所述第一预设编号规则包括：
基于所述光源标记判断所述第一光斑中心点是否存在对应的光源；
如果所述第一光斑中心点存在对应的光源，则对应的第一光斑类别编号与对应光源编号一致；
如果所述第一光斑中心点不存在对应的光源，则对应的第一光斑类别编号为0。
3.如权利要求2所述的一种人眼图像光斑分类方法，其特征在于，基于第一检测结果分别建立各个第一人眼图像对应的第一无向图，包括：
将各个第一人眼图像对应的所有第一光斑中心点以及各个第一瞳孔轮廓点作为第一节点；
利用第二预设编号规则，对各个第一节点进行节点编号，得到对应的第一节点编号并生成相应的第一节点编号张量；
基于所有的第一光斑中心点位置数据以及各个第一瞳孔轮廓点位置数据分别为对应的第一光斑中心点以及第一瞳孔轮廓点赋予第一节点特征；
由所有的第一节点特征生成第一节点位置数据张量；
在两个第一光斑中心点之间、相邻的两个第一瞳孔轮廓点之间以及每个第一光斑中心点与各个第一瞳孔轮廓点之间，均通过第一无向边连接得到各个第一人眼图像对应的第一无向图；
针对每个第一无向图，利用所有第一无向边的各个起始点和各个终止点对应的第一节点编号，分别生成第一起始点张量和第一终止点张量。
4.如权利要求3所述的一种人眼图像光斑分类方法，其特征在于，利用各个第一无向图以及第一检测结果生成相应的训练样例，包括：
针对每个第一无向图，从对应的第一检测结果中取出对应的第一光斑类别编号序列；
利用各个第一无向图与对应的第一光斑类别编号序列生成数据对；
将各个数据对作为对应的训练样例。
5.如权利要求4所述的一种人眼图像光斑分类方法，其特征在于，对所述第二人眼图像中的所有第二光斑中心点以及第三预设数量的第二瞳孔轮廓点进行第二检测，包括：
对所述第二人眼图像中所有第二光斑中心点分别进行检测，得到对应的第二光斑中心点位置数据；
从所述第二人眼图像中分别选取第三预设数量的第二瞳孔轮廓点并进行检测，得到对应的第二瞳孔轮廓点位置数据。
6.如权利要求5所述的一种人眼图像光斑分类方法，其特征在于，基于第二检测结果建立所述第二人眼图像对应的第二无向图，包括：
将所述第二人眼图像对应的所有第二光斑中心点以及各个第二瞳孔轮廓点作为第二节点；
利用第二预设编号规则，对各个第二节点进行节点编号，得到对应的第二节点编号并生成相应的第二节点编号张量；
基于所有的第二光斑中心点位置数据以及各个第二瞳孔轮廓点位置数据分别为对应的第二光斑中心点以及第二瞳孔轮廓点赋予第二节点特征；
由所有的第二节点特征生成第二节点位置数据张量；
在两个第二光斑中心点之间、相邻的两个第二瞳孔轮廓点之间以及每个第二光斑中心点与各个第二瞳孔轮廓点之间，均通过第二无向边连接得到所述第二人眼图像对应的第二无向图；
针对所述第二无向图，利用所有第二无向边的各个起始点和各个终止点对应的第二节点编号，分别生成第二起始点张量和第二终止点张量。
7.一种人眼图像光斑分类系统，其特征在于，所述系统用以执行如权利要求1至6任一项所述的一种人眼图像光斑分类方法的步骤，所述系统包括：
模型构建模块，用于构建第一光斑分类模型；
采集模块，用于采集第一预设数量的带有光源标记的第一人眼图像；
第一检测模块，用于对各个第一人眼图像中的所有第一光斑中心点以及第二预设数量的第一瞳孔轮廓点进行第一检测；
第一分析模块，用于基于第一检测结果分别建立各个第一人眼图像对应的第一无向图；利用各个第一无向图以及对应的第一检测结果生成相应的训练样例；
模型训练模块，用于利用各个训练样例形成训练数据集，对所述第一光斑分类模型进行训练，得到训练后的第二光斑分类模型；
接收模块，用于接收待处理的第二人眼图像；
第二检测模块，用于对所述第二人眼图像中的所有第二光斑中心点以及第三预设数量的第二瞳孔轮廓点进行第二检测；
第二分析模块，用于基于第二检测结果建立所述第二人眼图像对应的第二无向图；
执行模块，用于将所述第二无向图输入所述第二光斑分类模型进行处理，得到所有的第二光斑中心点对应的第二光斑预测分类编号。
8.一种人眼图像光斑分类设备，其特征在于，所述设备包括：处理器和存储器；
所述存储器用于存储一个或多个程序指令；
所述处理器，用于运行一个或多个程序指令，用以执行如权利要求1至6任一项所述的一种人眼图像光斑分类方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述一种人眼图像光斑分类方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310814374.6A CN116524581B (zh) | 2023-07-05 | 2023-07-05 | 一种人眼图像光斑分类方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310814374.6A CN116524581B (zh) | 2023-07-05 | 2023-07-05 | 一种人眼图像光斑分类方法、系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116524581A CN116524581A (zh) | 2023-08-01 |
| CN116524581B true CN116524581B (zh) | 2023-09-12 |
Family
ID=87406800
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310814374.6A Active CN116524581B (zh) | 2023-07-05 | 2023-07-05 | 一种人眼图像光斑分类方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116524581B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116959086B (zh) * | 2023-09-18 | 2023-12-15 | 南昌虚拟现实研究院股份有限公司 | 一种视线估计方法、系统、设备及存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102902967A (zh) * | 2012-10-16 | 2013-01-30 | 第三眼（天津）生物识别科技有限公司 | 基于人眼结构分类的虹膜和瞳孔的定位方法 |
| CN102930252A (zh) * | 2012-10-26 | 2013-02-13 | 广东百泰科技有限公司 | 一种基于神经网络头部运动补偿的视线跟踪方法 |
| CN108596243A (zh) * | 2018-04-20 | 2018-09-28 | 西安电子科技大学 | 基于分级注视图和条件随机场的眼动注视图预测方法 |
| CN111783748A (zh) * | 2020-08-12 | 2020-10-16 | 汉王科技股份有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
| CN112380935A (zh) * | 2020-11-03 | 2021-02-19 | 深圳技术大学 | 面向自动驾驶的人机协同感知方法及系统 |
| CN112528714A (zh) * | 2019-09-19 | 2021-03-19 | 北京七鑫易维信息技术有限公司 | 基于单光源的注视点估计方法、系统、处理器及设备 |
| CN113190117A (zh) * | 2021-04-29 | 2021-07-30 | 南昌虚拟现实研究院股份有限公司 | 瞳孔、光斑定位方法、数据计算方法及相关装置 |
| CN113361459A (zh) * | 2021-06-29 | 2021-09-07 | 平安普惠企业管理有限公司 | 基于注视点识别的广告展示方法、装置、设备及存储介质 |
| CN114078278A (zh) * | 2020-08-20 | 2022-02-22 | Oppo广东移动通信有限公司 | 注视点定位方法与装置、电子设备和存储介质 |
| KR20220052031A (ko) * | 2020-10-20 | 2022-04-27 | (주)이루미에듀테크 | 온라인 학습능력 분석을 위한 시선추적 방법 및 시스템 |
| CN114462491A (zh) * | 2021-12-29 | 2022-05-10 | 浙江大华技术股份有限公司 | 一种行为分析模型训练方法、行为分析方法及其设备 |
| WO2022254782A1 (ja) * | 2021-06-02 | 2022-12-08 | ソニーグループ株式会社 | 視線検出装置、表示装置、視線検出システム、及び視線検出方法 |
| CN116051631A (zh) * | 2022-12-02 | 2023-05-02 | 南昌虚拟现实研究院股份有限公司 | 光斑标注方法及系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108197594B (zh) * | 2018-01-23 | 2020-12-11 | 北京七鑫易维信息技术有限公司 | 确定瞳孔位置的方法和装置 |
| CN110458122B (zh) * | 2019-08-15 | 2022-04-22 | 京东方科技集团股份有限公司 | 一种视线标校方法、显示装置的播放方法和视线标校系统 |
| CN111046717B (zh) * | 2019-10-11 | 2024-01-30 | 平安科技（深圳）有限公司 | 眼底图像黄斑中心定位方法、装置、电子设备及存储介质 |
-
2023
- 2023-07-05 CN CN202310814374.6A patent/CN116524581B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102902967A (zh) * | 2012-10-16 | 2013-01-30 | 第三眼（天津）生物识别科技有限公司 | 基于人眼结构分类的虹膜和瞳孔的定位方法 |
| CN102930252A (zh) * | 2012-10-26 | 2013-02-13 | 广东百泰科技有限公司 | 一种基于神经网络头部运动补偿的视线跟踪方法 |
| CN108596243A (zh) * | 2018-04-20 | 2018-09-28 | 西安电子科技大学 | 基于分级注视图和条件随机场的眼动注视图预测方法 |
| CN112528714A (zh) * | 2019-09-19 | 2021-03-19 | 北京七鑫易维信息技术有限公司 | 基于单光源的注视点估计方法、系统、处理器及设备 |
| CN111783748A (zh) * | 2020-08-12 | 2020-10-16 | 汉王科技股份有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
| CN114078278A (zh) * | 2020-08-20 | 2022-02-22 | Oppo广东移动通信有限公司 | 注视点定位方法与装置、电子设备和存储介质 |
| KR20220052031A (ko) * | 2020-10-20 | 2022-04-27 | (주)이루미에듀테크 | 온라인 학습능력 분석을 위한 시선추적 방법 및 시스템 |
| CN112380935A (zh) * | 2020-11-03 | 2021-02-19 | 深圳技术大学 | 面向自动驾驶的人机协同感知方法及系统 |
| CN113190117A (zh) * | 2021-04-29 | 2021-07-30 | 南昌虚拟现实研究院股份有限公司 | 瞳孔、光斑定位方法、数据计算方法及相关装置 |
| WO2022254782A1 (ja) * | 2021-06-02 | 2022-12-08 | ソニーグループ株式会社 | 視線検出装置、表示装置、視線検出システム、及び視線検出方法 |
| CN113361459A (zh) * | 2021-06-29 | 2021-09-07 | 平安普惠企业管理有限公司 | 基于注视点识别的广告展示方法、装置、设备及存储介质 |
| CN114462491A (zh) * | 2021-12-29 | 2022-05-10 | 浙江大华技术股份有限公司 | 一种行为分析模型训练方法、行为分析方法及其设备 |
| CN116051631A (zh) * | 2022-12-02 | 2023-05-02 | 南昌虚拟现实研究院股份有限公司 | 光斑标注方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于KINECT的人眼视线方向估测方法研究;宋金淼;王楠楠;王心瀚;段晓东;;大连民族大学学报(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116524581A (zh) | 2023-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI742382B (zh) | 透過電腦執行的、用於車輛零件識別的神經網路系統、透過神經網路系統進行車輛零件識別的方法、進行車輛零件識別的裝置和計算設備 | |
| WO2022083536A1 (zh) | 一种神经网络构建方法以及装置 | |
| CN112052787B (zh) | 基于人工智能的目标检测方法、装置及电子设备 | |
| CN107704857B (zh) | 一种端到端的轻量级车牌识别方法及装置 | |
| US20220319154A1 (en) | Neural network model update method, image processing method, and apparatus | |
| CA3098286C (en) | Method for distinguishing a real three-dimensional object from a two-dimensional spoof of the real object | |
| CN111291809B (zh) | 一种处理装置、方法及存储介质 | |
| WO2021238262A1 (zh) | 一种车辆识别方法、装置、设备及存储介质 | |
| KR20190021187A (ko) | 딥 러닝에 기반한 차량번호판 분류 방법, 시스템, 전자장치 및 매체 | |
| US20230153615A1 (en) | Neural network distillation method and apparatus | |
| CN113705769A (zh) | 一种神经网络训练方法以及装置 | |
| US10885620B2 (en) | Neural network image processing system | |
| CN116524581B (zh) | 一种人眼图像光斑分类方法、系统、设备及存储介质 | |
| CN110222718B (zh) | 图像处理的方法及装置 | |
| CN110991532A (zh) | 基于关系视觉注意机制的场景图产生方法 | |
| EP4139892A2 (en) | Method and apparatus for camera calibration | |
| WO2021217937A1 (zh) | 姿态识别模型的训练方法及设备、姿态识别方法及其设备 | |
| WO2021036397A1 (zh) | 目标神经网络模型的生成方法和装置 | |
| CN111598213A (zh) | 网络训练方法、数据识别方法、装置、设备和介质 | |
| CN111428854A (zh) | 一种结构搜索方法及结构搜索装置 | |
| Leroux et al. | Resource-constrained classification using a cascade of neural network layers | |
| CN112364974A (zh) | 一种基于激活函数改进的YOLOv3算法 | |
| WO2022063076A1 (zh) | 对抗样本的识别方法及装置 | |
| CN113569726B (zh) | 一种联合自动数据增广和损失函数搜索的行人检测方法 | |
| CN111079930B (zh) | 数据集质量参数的确定方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |