CN108197594A - 确定瞳孔位置的方法和装置 - Google Patents

确定瞳孔位置的方法和装置 Download PDF

Info

Publication number
CN108197594A
CN108197594A CN201810064311.2A CN201810064311A CN108197594A CN 108197594 A CN108197594 A CN 108197594A CN 201810064311 A CN201810064311 A CN 201810064311A CN 108197594 A CN108197594 A CN 108197594A
Authority
CN
China
Prior art keywords
network model
loss function
parameter
image
updated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810064311.2A
Other languages
English (en)
Other versions
CN108197594B (zh
Inventor
聂凤梅
刘伟
任冬淳
王健
杨孟
宫小虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 7Invensun Technology Co Ltd
Beijing Qixin Yiwei Information Technology Co Ltd
Original Assignee
Beijing Qixin Yiwei Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qixin Yiwei Information Technology Co Ltd filed Critical Beijing Qixin Yiwei Information Technology Co Ltd
Priority to CN201810064311.2A priority Critical patent/CN108197594B/zh
Publication of CN108197594A publication Critical patent/CN108197594A/zh
Priority to US16/349,799 priority patent/US10949991B2/en
Priority to PCT/CN2018/119882 priority patent/WO2019144710A1/zh
Priority to TW108102400A priority patent/TWI714952B/zh
Application granted granted Critical
Publication of CN108197594B publication Critical patent/CN108197594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种确定瞳孔位置的方法和装置。其中，该方法包括：获取包含瞳孔的待检测图像；基于半监督学习的预设模型获取与预设区域对应的二值图像，其中，预设区域为待检测图像中瞳孔所在的区域；获取二值图像的质心；根据二值图像的质心确定瞳孔的中心位置。本发明解决了现有技术不能对瞳孔中心进行精确定位的技术问题。

Description

确定瞳孔位置的方法和装置
技术领域
本发明涉及图像处理领域，具体而言，涉及一种确定瞳孔位置的方法和装置。
背景技术
VR(Virtual Reality，虚拟现实)技术是一种可以创建和体验虚拟世界的计算机技术，其在视线追踪领域得到了广泛的应用。
在实际应用中，VR设备可根据基于眼球的3D近似圆球模型中的瞳孔中心坐标和角膜反射，对注视点的远距离设备进行视线估计。目前对瞳孔中心进行定位时，多采用无监督学习的方法，即使用无标签的数据对模型进行训练，然而该方法只能大致确定瞳孔中心的位置，精度较差。
针对上述现有技术不能对瞳孔的中心位置进行精确定位的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种确定瞳孔位置的方法和装置，以至少解决现有技术不能对瞳孔中心进行精确定位的技术问题。
根据本发明实施例的一个方面，提供了一种确定瞳孔位置的方法，包括：获取包含瞳孔的待检测图像；基于半监督学习的预设模型获取预设区域对应的二值图像，其中，预设区域为待检测图像中瞳孔所在的区域；获取二值图像的质心；根据二值图像的质心确定瞳孔的中心位置。
根据本发明实施例的另一方面，还提供了一种确定瞳孔位置的装置，包括：第一获取模块，用于获取包含瞳孔的待检测图像；第二获取模块，用于基于半监督学习的预设模型获取预设区域对应的二值图像，其中，预设区域为待检测图像中瞳孔所在的区域；第三获取模块，用于获取二值图像的质心；确定模块，用于根据二值图像的质心确定瞳孔的中心位置。
根据本发明实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，程序执行确定瞳孔位置的方法。
根据本发明实施例的另一方面，还提供了一种处理器，该处理器用于运行程序，其中，程序运行时执行确定瞳孔位置的方法。
在本发明实施例中，采用半监督学习算法的方式，通过获取包含瞳孔的待检测图像，然后，基于半监督学习的预设模型获取与预设区域对应的二值图像以及二值图像的质心，并根据二值图像的质心确定瞳孔的中心位置，其中，预设区域为待检测图像中瞳孔所在的区域，达到了对瞳孔中心进行定位的目的，从而实现了准确确定瞳孔中心的位置的技术效果，进而解决了现有技术不能对瞳孔中心进行精确定位的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种确定瞳孔位置的方法流程图；
图2是根据本发明实施例的一种可选的二值图像的结构示意图；
图3(a)是根据本发明实施例的一种可选的无标签训练集的示意图；
图3(b)是根据本发明实施例的一种可选的有标签训练集的示意图；
图4是根据本发明实施例的一种可选的预设模型的构建流程图；以及
图5是根据本发明实施例的一种确定瞳孔位置的装置结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例，提供了一种确定瞳孔位置的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的确定瞳孔位置的方法流程图，如图1所示，该方法包括如下步骤：
步骤S102，获取包含瞳孔的待检测图像。
需要说明的是，图像采集设备可以采集到包含瞳孔的图像，即得到上述待检测图像。其中，上述待检测图像可以为一张，也可以为多张。在待检测图像为多张的情况下，图像采集设备采集到包含瞳孔的待检测图像集。另外，在图像采集设备采集到待检测图像之后，与图像采集设备连接的处理器可对待检测图像进行处理，以确定待检测图像中瞳孔的中心位置。
步骤S104，基于半监督学习的预设模型获取与预设区域对应的二值图像，其中，预设区域为待检测图像中瞳孔所在的区域。
需要说明的是，半监督学习是将有监督学习和无监督学习相结合的一种机器学习方法，使用半监督学习对预设模型进行训练，不仅可以对模型进行简化处理，还可以得到精度比较高的处理结果。另外，处理器在得到待检测图像之后，将待检测图像作为预设模型的输入，对应的预设模型的输出即为待检测图像中瞳孔所在区域的二值图像。
此外，还需要说明的是，二值图像是指每一个像素只有两种可能取值或灰度等级的图像。由于二值图像具有照样内存少、对比度高等优点，因此，在本申请中将包含多种灰度等级或多种颜色的待检测图像处理成取值少、灰度等级少的二值图像同样可以提高精度比较高的瞳孔中心，并且还提高了处理数据的速度。
另外，如果预设模型的输入为待检测图像集，则预设模型的输出为包含多张二值图像的二值图像集，其中，二值图像集中的每张图像均与待检测图像集中的图像相对应。
步骤S106，获取二值图像的质心。
需要说明的是，在得到待检测图像的二值图像之后，获取二值图像中瞳孔区域内的像素点的坐标，然后根据瞳孔区域的像素点的坐标进行加权求和，即得到二值图像的质心。
在一种可选的实施例中，如图2所示的一种可选的二值图像的结构示意图。其中，在图2中，黑色圆表示二值图像区域中的瞳孔区域。由于是二值图像，所以仅需要找出二值图像中灰度等级为0的像素点的坐标即可得到瞳孔区域内的像素点的坐标，并采用如下公式即可得到二值图像中瞳孔区域的质心：
在上式中，M为瞳孔区域内像素点的总数，i表示瞳孔区域内的像素点的下标，xi、yi表示瞳孔区域内第i个像素点的坐标，x和y表示质心的坐标。
步骤S108，根据二值图像的质心确定瞳孔的中心位置。
需要说明的是，在得到二值图像的质心之后，二值图像的质心即为瞳孔的中心位置。
基于上述步骤S102至步骤S108所限定的方案，可以获知，通过获取包含瞳孔的待检测图像，然后，基于半监督学习的预设模型获取与预设区域对应的二值图像以及二值图像的质心，并根据二值图像的质心确定瞳孔的中心位置，其中，预设区域为待检测图像中瞳孔所在的区域。
容易注意到的是，由于半监督学习包括无监督学习和有监督学习两个学习过程，因此，将有监督学习和无监督学习进行结合所得到的预设模型，可以克服现有技术中仅使用无监督学习或仅使用有监督学习无法对瞳孔进行精确定位的问题。另外，使用预设模型，将包含瞳孔的待检测图像转换为处理过程比较简单的二值图像，进而根据二值图像的质心可准确确定瞳孔中心的位置。此外，上述过程计算过程简单，提高了对瞳孔中心进行精确定位的速度。
由上述内容可知，本申请所提供的实施例可以达到对瞳孔中心进行定位的目的，从而实现了准确确定瞳孔中心的位置的技术效果，进而解决了现有技术不能对瞳孔中心进行精确定位的技术问题。
需要说明的是，在基于半监督学习的预设模型获取与预设区域对应的二值图像之前，需要构建预设模型，具体步骤如下：
步骤S10，获取多张待训练的图像中的第一类训练集和第二类训练集；
步骤S12，获取网络模型，其中，网络模型用于将多张待训练的图像从原始图像转换为二值图像；
步骤S14，构建网络模型的损失函数；
步骤S16，根据第一类训练图像集、第二类训练图像集以及网络模型的损失函数构建预设模型。
需要说明的是，多张待训练的图像组成待训练图像集，该待训练图像集包含第一类训练集和第二类训练集，其中，第一类训练集为无标签训练集，即原始图像与二值图像之间没有对应关系,如图3(a)所示的一种可选的无标签训练集的示意图；第二类训练集为有标签训练集，即原始图像与二值图像一一对应，如图3(b)所示的一种可选的有标签训练集的示意图。其中，在图3(a)和图3(b)中，x表示原始图像，y表示二值图像。
此外，还需要说明的是，上述网络模型为GAN(Generative AdversarialNetworks，即生成对抗网络)网络模型，该网络模型可以包括两个GAN网络，其中，一个GAN网络用于将图像由原始图像转换为二值图像，而另一个GAN网络用于将二值图像转换为原始图像。在得到上述网络模型之后，可基于该网络模型构建网络模型的损失函数，具体步骤如下：
步骤S140，获取网络模型的超参数；
步骤S142，在网络模型进行无监督学习的情况下，基于超参数确定网络模型的损失函数为第一损失函数和第二损失函数；
步骤S144，在网络模型进行有监督学习的情况下，基于超参数确定网络模型的损失函数为第三损失函数和第四损失函数。
需要说明的是，网络模型的超参数是指在机器学习的上下文中，在开始学习过程之前设置值的参数。在本申请中，网络模型的超参数至少包括如下：学习率、无监督学习与有监督学习的次数比率、批处理图像的数量以及对网络模型进行训练的训练轮数。
具体的，当对网络模型采用无监督学习时，第一损失函数为生成器的损失函数，第二损失函数为判别器的损失函数，其中，第一损失函数为：
lg＝λY||y-GA(GB(y))||+λX||x-GB(GA(x))||-DB(GB(y))-DA(GA(x))
第二损失函数为：
lDA＝DA(GA(x))-DA(y)
lDB＝DB(GB(x))-DB(x)
当对网络模型采用有监督学习时，第三损失函数为生成器的损失函数，第四损失函数为判别器的损失函数，其中，第四损失函数与第二损失函数相同，即在有监督学习和无监督学习的情况下，判别器的更新方式不变。由此，第三损失函数为：
lg＝λY||y-GA(x)||+λX||x-GB(y)||-DB(GB(y))-DA(GA(x))
在上述公式中，λY、λX为超参数，可通过经验确定；GA表示生成器A，GB表示生成器B，DB表示判别器B,DA表示判别器A。X、Y分别表示原始图像域和二值图像域，x、y分别表示X、Y域的图像。
需要说明的是，在得到网络模型以及第一类训练图像集和第二类训练图像集之后，即可构建预设模型，即构建预设模型的损失函数，具体方法包括如下步骤：
步骤S160，基于第一类训练图像集和第二类训练图像集对网络模型的判别器和生成器的参数进行更新，得到更新后的网络模型；
步骤S162，在在对网络模型的更新次数达到第一阈值的情况下，根据更新后的网络模型构建预设模型。
具体的，基于第一类训练图像集和第二类训练图像集对网络模型的判别器和生成器的参数进行更新，得到更新后的网络模型包括如下步骤：
步骤S1602，基于第一类训练图像集根据第二损失函数更新判别器的参数；
步骤S1604，基于第一类训练图像集根据第一损失函数更新生成器的参数；
步骤S1606，在对判别器和生成器的参数进行更新的次数达到第二阈值的情况下，基于第二类训练图像集根据第三损失函数更新生成器的参数；
步骤S1608，基于第二类训练图像集根据第四损失函数更新判别器的参数；
其中，在对判别器和生成器的参数进行更新的次数达到第三阈值的情况下，对网络模型的更新次数进行加一操作，直至网络模型的更新次数达到第一阈值为止。
需要说明的是，上述第一阈值为对网络模型进行训练的最大更新次数，第二阈值为基于无监督学习方式更新生成器的参数(即无监督学习方式下的生成器的参数)和判别器的参数(即无监督学习方式下的判别器的参数)的最大更新次数，第三阈值为基于有监督学习方式更新生成器的参数(即有监督学习方式下的生成器的参数)和判别器的参数(即有监督学习方式下的判别器的参数)的最大更新次数。
在一种可选的实施例中，如图4所示的一种可选的预设模型的构建流程图。其中，在图4中，第一阈值为n，第二阈值为n1，第三阈值为n2。具体的，在获取训练数据集之后，即在获取第一类训练图像集和第二类训练图像集之后，对网络模型的参数进行初始化处理，具体包括对网络模型的权重参数以及超参数进行初始化处理。在完成参数的初始化处理之后，使用无标签训练集(即第一类训练图像集)和梯度下降的方法通过无监督学习方式更新生成器的参数和判别器的参数，在生成器的参数和判别器的参数的更新次数达到第二阈值(即n1)的情况下，基于有监督学习方式更新，即使用有标签训练集(即第二类训练图像集)和梯度下降的方法通过有监督学习方式更新生成器的参数和判别器的参数。在生成器的参数和判别器的参数的更新次数达到第三阈值(即n2)的情况下，完成一次对网络模型的更新，停止对网络模型的训练。在对生成器和判别器的参数进行更新的次数达到第一阈值的情况下，以此时得到的生成器、和判别器来构建预设模型。
实施例2
根据本发明实施例，还提供了一种确定瞳孔位置的装置实施例，其中，图5是根据本发明实施例的确定瞳孔位置的装置结构示意图，如图5所示，该装置包括：第一获取模块501、第二获取模块503、第三获取模块505以及确定模块507。
其中，第一获取模块501，用于获取包含瞳孔的待检测图像；第二获取模块503，用于基于半监督学习的预设模型获取与预设区域对应的二值图像，其中，预设区域为待检测图像中瞳孔所在的区域；第三获取模块505，用于获取二值图像的质心；确定模块507，用于根据二值图像的质心确定瞳孔的中心位置。
需要说明的是，上述第一获取模块501、第二获取模块503、第三获取模块505以及确定模块507对应于实施例1中的步骤S102至步骤S108，四个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。
在一种可选的实施例中，确定瞳孔位置的装置还包括：第五获取模块、第六获取模块、第一构建模块以及第二构建模块。其中，第五获取模块，用于获取多张待训练的图像中的第一类训练集和第二类训练集；多张待训练的图像包括第一训练图像集和第二训练图像集；第六获取模块，用于获取网络模型，其中，网络模型用于将多张待训练的图像从原始图像转换为二值图像；第一构建模块，用于构建网络模型的损失函数；第二构建模块，用于根据第一类训练图像集、第二类训练图像集以及网络模型的损失函数构建预设模型。
需要说明的是，上述第五获取模块、第六获取模块、第一构建模块以及第二构建模块对应于实施例1中的步骤S10至步骤S16，四个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。
在一种可选的实施例中，第一构建模块包括：第七获取模块、第一确定模块以及第二确定模块。其中，第七获取模块，用于获取网络模型的超参数；第一确定模块，用于在网络模型进行无监督学习的情况下，基于超参数确定网络模型的损失函数为第一损失函数和第二损失函数；第二确定模块，用于在网络模型进行有监督学习的情况下，基于超参数确定网络模型的损失函数为第三损失函数和第四损失函数。
需要说明的是，上述第七获取模块、第一确定模块以及第二确定模块对应于实施例1中的步骤S140至步骤S144，三个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。
在一种可选的实施例中，第二构建模块包括：第一更新模块以及第三构建模块。其中，第一更新模块，用于基于第一类训练图像集和第二类训练图像集对网络模型的判别器和生成器的参数进行更新，得到更新后的网络模型；第三构建模块，用于在在对网络模型的更新次数达到第一阈值的情况下，根据更新后的网络模型构建预设模型。
需要说明的是，上述第一更新模块以及第三构建模块对应于实施例1中的步骤S160至步骤S162，两个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。
在一种可选的实施例中，第一更新模块包括：第二更新模块、第三更新模块、第四更新模块以及第五更新模块。其中，第二更新模块，用于基于第一类训练图像集根据第二损失函数更新判别器的参数；第三更新模块，用于基于第一类训练图像集根据第一损失函数更新生成器的参数；第四更新模块，用于在对判别器和生成器的参数进行更新的次数达到第二阈值的情况下，基于第二类训练图像集根据第三损失函数更新生成器的参数；第五更新模块，用于基于第二类训练图像集根据第四损失函数更新判别器的参数；其中，在对判别器和生成器的参数进行更新的次数达到第三阈值的情况下，对网络模型的判更新次数进行加一操作，直至网络模型的更新次数达到第一阈值为止。
需要说明的是，上述第二更新模块、第三更新模块、第四更新模块以及第五更新模块对应于实施例1中的步骤S1602至步骤S1608，四个模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。
实施例3
根据本发明实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，程序执行实施例1中的确定瞳孔位置的方法。
实施例4
根据本发明实施例的另一方面，还提供了一种处理器，该处理器用于运行程序，其中，程序运行时执行实施例1中的确定瞳孔位置的方法。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种确定瞳孔位置的方法，其特征在于，包括：
获取包含瞳孔的待检测图像；
基于半监督学习的预设模型获取与预设区域对应的二值图像，其中，所述预设区域为所述待检测图像中所述瞳孔所在的区域；
获取所述二值图像的质心；
根据所述二值图像的质心确定所述瞳孔的中心位置。
2.根据权利要求1所述的方法，其特征在于，在基于半监督学习的预设模型获取与预设区域对应的二值图像之前，所述方法还包括：
获取多张待训练的图像中的第一类训练集和第二类训练集；
获取网络模型，其中，所述网络模型用于将所述多张待训练的图像从原始图像转换为所述二值图像；
构建所述网络模型的损失函数；
根据所述第一类训练图像集、第二类训练图像集以及所述网络模型的损失函数构建所述预设模型。
3.根据权利要求2所述的方法，其特征在于，构建所述网络模型的损失函数包括：
获取所述网络模型的超参数；
在所述网络模型进行无监督学习的情况下，基于所述超参数确定所述网络模型的损失函数为第一损失函数和第二损失函数；
在所述网络模型进行有监督学习的情况下，基于所述超参数确定所述网络模型的损失函数为第三损失函数和第四损失函数。
4.根据权利要求3所述的方法，其特征在于，根据所述第一类训练图像集、第二类训练图像集以及所述网络模型的损失函数构建所述预设模型包括：
基于所述第一类训练图像集和所述第二类训练图像集对所述网络模型的判别器和生成器的参数进行更新，得到更新后的网络模型；
在对所述网络模型的更新次数达到第一阈值的情况下，根据更新后的网络模型构建所述预设模型。
5.根据权利要求4所述的方法，其特征在于，基于所述第一类训练图像集和所述第二类训练图像集对所述网络模型的判别器和生成器的参数进行更新，得到更新后的网络模型包括：
基于所述第一类训练图像集根据所述第二损失函数更新所述判别器的参数；
基于所述第一类训练图像集根据所述第一损失函数更新所述生成器的参数；
在对所述判别器和所述生成器的参数进行更新的次数达到第二阈值的情况下，基于所述第二类训练图像集根据所述第三损失函数更新所述生成器的参数；
基于所述第二类训练图像集根据所述第四损失函数更新所述判别器的参数；
其中，在对所述判别器和所述生成器的参数进行更新的次数达到第三阈值的情况下，对所述网络模型的更新次数进行加一操作，直至所述网络模型的更新次数达到所述第一阈值为止。
6.一种确定瞳孔位置的装置，其特征在于，包括：
第一获取模块，用于获取包含瞳孔的待检测图像；
第二获取模块，用于基于半监督学习的预设模型获取与预设区域对应的二值图像，其中，所述预设区域为所述待检测图像中所述瞳孔所在的区域；
第三获取模块，用于获取所述二值图像的质心；
确定模块，用于根据所述二值图像的质心确定所述瞳孔的中心位置。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第五获取模块，用于获取多张待训练的图像中的第一类训练集和第二类训练集；
第六获取模块，用于获取网络模型，其中，所述网络模型用于将所述多张待训练的图像从原始图像转换为所述二值图像；
第一构建模块，用于构建所述网络模型的损失函数；
第二构建模块，用于根据所述第一类训练图像集、第二类训练图像集以及所述网络模型的损失函数构建所述预设模型。
8.根据权利要求7所述的装置，其特征在于，所述第一构建模块包括：
第七获取模块，用于获取所述网络模型的超参数；
第一确定模块，用于在所述网络模型进行无监督学习的情况下，基于所述超参数确定所述网络模型的损失函数为第一损失函数和第二损失函数；
第二确定模块，用于在所述网络模型进行有监督学习的情况下，基于所述超参数确定所述网络模型的损失函数为第三损失函数和第四损失函数。
9.根据权利要求8所述的装置，其特征在于，所述第二构建模块包括：
第一更新模块，用于基于所述第一类训练图像集和所述第二类训练图像集对所述网络模型的判别器和生成器的参数进行更新，得到更新后的网络模型；
第三构建模块，用于在对所述网络模型的更新次数达到第一阈值的情况下，根据更新后的网络模型构建所述预设模型。
10.根据权利要求9所述的装置，其特征在于，所述第一更新模块包括：
第二更新模块，用于基于所述第一类训练图像集根据所述第二损失函数更新所述判别器的参数；
第三更新模块，用于基于所述第一类训练图像集根据所述第一损失函数更新所述生成器的参数；
第四更新模块，用于在对所述判别器和所述生成器的参数进行更新的次数达到第二阈值的情况下，基于所述第二类训练图像集根据所述第三损失函数更新所述生成器的参数；
第五更新模块，用于基于所述第二类训练图像集根据所述第四损失函数更新所述判别器的参数；
其中，在对所述判别器和所述生成器的参数进行更新的次数达到第三阈值的情况下，对所述网络模型的更新次数进行加一操作，直至所述网络模型的更新次数达到所述第一阈值为止。
11.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1至5中任意一项所述的确定瞳孔位置的方法。
12.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至5中任意一项所述的确定瞳孔位置的方法。
CN201810064311.2A 2018-01-23 2018-01-23 确定瞳孔位置的方法和装置 Active CN108197594B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810064311.2A CN108197594B (zh) 2018-01-23 2018-01-23 确定瞳孔位置的方法和装置
US16/349,799 US10949991B2 (en) 2018-01-23 2018-12-07 Method and apparatus for determining position of pupil
PCT/CN2018/119882 WO2019144710A1 (zh) 2018-01-23 2018-12-07 确定瞳孔位置的方法和装置
TW108102400A TWI714952B (zh) 2018-01-23 2019-01-22 確定瞳孔位置的方法和裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810064311.2A CN108197594B (zh) 2018-01-23 2018-01-23 确定瞳孔位置的方法和装置

Publications (2)

Publication Number Publication Date
CN108197594A true CN108197594A (zh) 2018-06-22
CN108197594B CN108197594B (zh) 2020-12-11

Family

ID=62590429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810064311.2A Active CN108197594B (zh) 2018-01-23 2018-01-23 确定瞳孔位置的方法和装置

Country Status (4)

Country Link
US (1) US10949991B2 (zh)
CN (1) CN108197594B (zh)
TW (1) TWI714952B (zh)
WO (1) WO2019144710A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144710A1 (zh) * 2018-01-23 2019-08-01 北京七鑫易维信息技术有限公司 确定瞳孔位置的方法和装置
CN111222374A (zh) * 2018-11-26 2020-06-02 广州慧睿思通信息科技有限公司 测谎数据处理方法、装置、计算机设备和存储介质
CN113762393A (zh) * 2021-09-08 2021-12-07 杭州网易智企科技有限公司 模型训练方法、注视点检测方法、介质、装置和计算设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116524581B (zh) * 2023-07-05 2023-09-12 南昌虚拟现实研究院股份有限公司 一种人眼图像光斑分类方法、系统、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0467577A2 (en) * 1990-07-16 1992-01-22 Sony Corporation Video image processing apparatus
CN105303185A (zh) * 2015-11-27 2016-02-03 中国科学院深圳先进技术研究院 虹膜定位方法及装置
CN106845425A (zh) * 2017-01-25 2017-06-13 迈吉客科技（北京）有限公司 一种视觉跟踪方法和跟踪装置
CN107273978A (zh) * 2017-05-25 2017-10-20 清华大学 一种三模型博弈的产生式对抗网络模型的建立方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6812688B2 (en) * 2001-12-12 2004-11-02 Tektronix, Inc. Signal acquisition method and apparatus using integrated phase locked loop
JP2008039596A (ja) * 2006-08-07 2008-02-21 Pioneer Electronic Corp 情報提供装置、情報提供方法、情報提供プログラム、および記録媒体
JP2010142428A (ja) * 2008-12-18 2010-07-01 Canon Inc 撮影装置及び撮影方法、プログラム、記録媒体
JP5436076B2 (ja) * 2009-07-14 2014-03-05 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN102129553A (zh) * 2011-03-16 2011-07-20 上海交通大学 基于单红外光源的人眼检测方法
JP5836634B2 (ja) * 2011-05-10 2015-12-24 キヤノン株式会社 画像処理装置及び方法
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
US9104908B1 (en) * 2012-05-22 2015-08-11 Image Metrics Limited Building systems for adaptive tracking of facial features across individuals and groups
CN103425970A (zh) * 2013-08-29 2013-12-04 大连理工大学 一种基于头部姿态的人机交互方法
US10048749B2 (en) * 2015-01-09 2018-08-14 Microsoft Technology Licensing, Llc Gaze detection offset for gaze tracking models
CN104732202A (zh) * 2015-02-12 2015-06-24 杭州电子科技大学 一种人眼检测中消除眼镜框影响的方法
CN105205453B (zh) 2015-08-28 2019-01-08 中国科学院自动化研究所 基于深度自编码器的人眼检测和定位方法
CN108197594B (zh) * 2018-01-23 2020-12-11 北京七鑫易维信息技术有限公司 确定瞳孔位置的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0467577A2 (en) * 1990-07-16 1992-01-22 Sony Corporation Video image processing apparatus
CN105303185A (zh) * 2015-11-27 2016-02-03 中国科学院深圳先进技术研究院 虹膜定位方法及装置
CN106845425A (zh) * 2017-01-25 2017-06-13 迈吉客科技（北京）有限公司 一种视觉跟踪方法和跟踪装置
CN107273978A (zh) * 2017-05-25 2017-10-20 清华大学 一种三模型博弈的产生式对抗网络模型的建立方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
吕刚: ""带干扰的验证码识别研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
陈秋香: ""基于瞳孔-角膜反射的视线跟踪算法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
马义德 等: ""基于PCNN的图像二值化及分割评价方法"", 《华南理工大学学报(自然科学版)》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144710A1 (zh) * 2018-01-23 2019-08-01 北京七鑫易维信息技术有限公司 确定瞳孔位置的方法和装置
US10949991B2 (en) 2018-01-23 2021-03-16 Beijing 7Invensun Technology Co., Ltd. Method and apparatus for determining position of pupil
CN111222374A (zh) * 2018-11-26 2020-06-02 广州慧睿思通信息科技有限公司 测谎数据处理方法、装置、计算机设备和存储介质
CN113762393A (zh) * 2021-09-08 2021-12-07 杭州网易智企科技有限公司 模型训练方法、注视点检测方法、介质、装置和计算设备
CN113762393B (zh) * 2021-09-08 2024-04-30 杭州网易智企科技有限公司 模型训练方法、注视点检测方法、介质、装置和计算设备

Also Published As

Publication number Publication date
CN108197594B (zh) 2020-12-11
TW201933050A (zh) 2019-08-16
US10949991B2 (en) 2021-03-16
TWI714952B (zh) 2021-01-01
US20200273198A1 (en) 2020-08-27
WO2019144710A1 (zh) 2019-08-01

Similar Documents

Publication Publication Date Title
CN110837803B (zh) 基于深度图网络的糖尿病视网膜病变分级方法
CN108197594A (zh) 确定瞳孔位置的方法和装置
CN108229381B (zh) 人脸图像生成方法、装置、存储介质和计算机设备
CN107657249A (zh) 多尺度特征行人重识别的方法、装置、存储介质及处理器
CN107408211A (zh) 用于物体的再识别的方法
CN110674869A (zh) 分类处理、图卷积神经网络模型的训练方法和装置
CN107609630A (zh) 一种基于人工蜂群的深度置信网络参数寻优方法及系统
CN109740721B (zh) 麦穗计数方法及装置
CN112748941B (zh) 基于反馈信息的目标应用程序的更新方法和装置
CN113450288B (zh) 基于深度卷积神经网络单图像去雨方法、系统和存储介质
JP2016139176A (ja) 画像処理装置、画像処理システム、画像処理方法、およびその画像処理プログラム
CN110874590B (zh) 基于适配器互学习模型的训练及可见光红外视觉跟踪方法
CN111625820A (zh) 一种基于面向AIoT安全的联邦防御方法
CN109919252A (zh) 利用少数标注图像生成分类器的方法
Capece et al. Implementation of a coin recognition system for mobile devices with deep learning
CN109063716A (zh) 一种图像识别方法、装置、设备及计算机可读存储介质
CN106709458A (zh) 一种人脸活体检测方法及装置
CN113987236B (zh) 基于图卷积网络的视觉检索模型的无监督训练方法和装置
CN111402156A (zh) 一种涂抹图像的复原方法、装置及存储介质和终端设备
CN110135428A (zh) 图像分割处理方法和装置
CN116089652B (zh) 视觉检索模型的无监督训练方法、装置和电子设备
CN115793717B (zh) 群体协同决策方法、装置、电子设备及存储介质
CN110110651B (zh) 基于时空重要性和3d cnn的视频中行为识别方法
CN106663186A (zh) 用于脸部识别的方法和系统
CN109697511B (zh) 数据推理方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant