CN110458122B - 一种视线标校方法、显示装置的播放方法和视线标校系统 - Google Patents

一种视线标校方法、显示装置的播放方法和视线标校系统 Download PDF

Info

Publication number
CN110458122B
CN110458122B CN201910754756.8A CN201910754756A CN110458122B CN 110458122 B CN110458122 B CN 110458122B CN 201910754756 A CN201910754756 A CN 201910754756A CN 110458122 B CN110458122 B CN 110458122B
Authority
CN
China
Prior art keywords
point
camera
sight line
human eye
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910754756.8A
Other languages
English (en)
Other versions
CN110458122A (zh
Inventor
闫桂新
楚明磊
张�浩
陈丽莉
董学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910754756.8A priority Critical patent/CN110458122B/zh
Publication of CN110458122A publication Critical patent/CN110458122A/zh
Priority to US16/935,327 priority patent/US11403757B2/en
Application granted granted Critical
Publication of CN110458122B publication Critical patent/CN110458122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种视线标校方法、显示装置的播放方法、视线标校系统、计算机可读存储介质和计算机设备，所述视线标校方法包括：S1：接收摄像头拍摄的用户的图像；S2：根据所述图像获取多个人脸特征点；S3：根据所述多个人脸特征点计算人眼中心点和瞳孔位置，从而获得人眼视线和摄像头视线；S4：判断所述人眼视线和摄像头视线是否重合，若重合则以该人眼视线和摄像头视线作为标校基准，否则跳转至S1。本发明提供的实施例根据定义的摄像头视线和人眼视线判断人眼是否注视摄像头，从而确定人眼注视摄像头时的标准状态，能够解决现有技术中的问题，实现无需标定摄像头即可准确地检测人眼视线，具有广泛的应用前景。

Description

一种视线标校方法、显示装置的播放方法和视线标校系统
技术领域
本发明涉及视线检测技术领域，特别是涉及一种视线标校方法、显示装置的播放方法、视线标校系统、计算机可读存储介质和计算机设备。
背景技术
视线检测是利用机械、电子、光学等各种检测手段获取使用者当前注视方向的技术。在人机交互领域中有着广泛的应用，如虚拟打字、疲劳驾驶检测、游戏、教育等。传统的视线检测方法利用电磁学、光学或视频图像处理的方法进行检测。基于视频图像的视线检测需要计算人眼与摄像头之间的对应关系，通过检测眼球的移动来判断视线的方向。但在使用这些算法时都未进行眼球与摄像头之间的校准，即未检测人眼注视摄像头的状态，这在进行实际检测时会造成一些误差。
发明内容
为了解决上述问题至少之一，本发明第一方面提供一种视线标校方法，包括：
S1：接收摄像头拍摄的用户的图像；
S2：根据所述图像获取多个人脸特征点；
S3：根据所述多个人脸特征点计算人眼中心点和瞳孔位置，从而获得人眼视线和摄像头视线；
S4：判断所述人眼视线和摄像头视线是否重合，若重合则以该人眼视线和摄像头视线作为标校基准，否则跳转至S1。
进一步的，所述S2：根据所述图像获取多个人脸特征点进一步包括：
S21：对所述图像进行人脸识别，若未识别出人脸则跳转至S1；
S22：对所述图像进行特征点检测获得多个人脸特征点。
进一步的，所述S3：根据所述多个人脸特征点计算人眼中心点和瞳孔位置，从而获得人眼视线和摄像头视线进一步包括：
S31：根据所述多个人脸特征点利用预设置的回归分类器检测出人眼中心点；
S32：根据所述多个人脸特征点检测瞳孔位置；
S33：将所述多个人脸特征点、人眼中心点和瞳孔位置的二维坐标转换为三维坐标；
S34：根据所述多个人脸特征点、人眼中心点和瞳孔位置的三维坐标利用预设置的三维眼球模型计算第一特征点、第二特征点和第三特征点并获得所述人眼视线和摄像头视线.
进一步的，所述S4：判断所述人眼视线和摄像头视线是否重合进一步包括：
判断所述第二特征点、第三特征点和摄像头中心点是否共线。
进一步的，在所述S33：将所述多个人脸特征点、人眼中心点和瞳孔位置的二维坐标转换为三维坐标之后，在所述S34：根据所述多个人脸特征点、人眼中心点和瞳孔位置的三维坐标利用预设置的三维眼球模型计算第一特征点、第二特征点和第三特征点并获得所述人眼视线和摄像头视线之前，所述视线标校方法还包括：
根据所述多个人脸特征点、人眼中心点和瞳孔位置的二维坐标计算对应的姿态角；
所述S34：根据所述多个人脸特征点、人眼中心点和瞳孔位置的三维坐标利用预设置的三维眼球模型计算第一特征点、第二特征点和第三特征点并获得所述人眼视线和摄像头视线进一步包括：
根据所述多个人脸特征点、人眼中心点和瞳孔位置的三维坐标和所述姿态角利用预设置的三维眼球模型计算第一特征点、第二特征点和第三特征点并获得所述人眼视线和摄像头视线。
本发明第二方面提供一种显示装置的播放方法，包括：
利用第一方面所述视线标校方法标校用户的人眼视线和摄像头的摄像头视线；
显示装置响应于输入的标校控制信号播放预设置的图像和/或视频。
本发明第三方面提供一种视线标校系统，包括摄像头和控制器，其中
所述控制器，配置为接收摄像头拍摄的用户的图像，根据所述图像获取多个人脸特征点，根据所述多个人脸特征点计算人眼中心点和瞳孔位置，从而获得人眼视线和摄像头视线，判断所述人眼视线和摄像头视线是否重合，若重合则以该人眼视线和摄像头视线作为标校基准。
进一步的，所述控制器包括视线计算单元和判断单元，其中
所述视线计算单元，包括人脸识别单元、特征点检测单元、检测单元、坐标转换单元和计算单元，其中
所述人脸识别单元，配置为对所述图像进行人脸识别；
所述特征点检测单元，配置为对所述图像进行特征点检测获得多个
人脸特征点；
所述检测单元，配置为根据所述多个人脸特征点利用预设置的回归
分类器检测出人眼中心点，根据所述多个人脸特征点检测瞳孔位置；
所述坐标转换单元，配置为将所述多个人脸特征点、人眼中心点和
瞳孔位置的二维坐标转换为三维坐标；
所述计算单元，配置为根据多个所述人脸特征点、人眼中心点和瞳
孔位置的三维坐标利用预设置的三维眼球模型计算第一特征点、第二特
征点和第三特征点并获得所述人眼视线和摄像头视线；
所述判断单元，配置为判断所述人眼视线和摄像头视线是否重合，若重合则以该人眼视线和摄像头视线作为标校基准。
本发明第四方面提供一种计算机可读存储介质，其上存储有计算机程序，
该程序被处理器执行时实现第一方面所述的方法；
或者
该程序被处理器执行时实现第二方面所述的方法。
本发明第五方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，
所述处理器执行所述程序时实现第一方面所述的方法
或者
所述处理器执行所述程序时实现第二方面所述的方法。
本发明的有益效果如下：
本发明公开了一种视线标校方法、显示装置的播放方法、视线标校系统、计算机可读存储介质和计算机设备，根据定义的摄像头视线和人眼视线判断人眼是否注视摄像头，从而确定人眼注视摄像头时的标准状态，根据该标准状态能够实现任意时刻对人眼和摄像头的标校，解决了现有视线估计中视线漂移或需要提前标定的复杂情况，实现无需标校摄像头即可准确地检测人眼视线，具有广泛的应用前景。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明。
图1示出本发明的一个实施例所述视线标校方法的流程图；
图2示出本发明的一个实施例所述视线检测的场景示意图；
图3示出本发明的一个实施例所述人脸特征点的示意图；
图4示出本发明的一个实施例所述获取人眼视线和摄像头视线的流程图；
图5a-5b示出本发明的一个实施例所述二维特征点和三维特征点的示意图；
图6示出本发明的一个实施例所述头部姿态的姿态角的示意图；
图7示出本发明的一个实施例所述头部姿态的示意图；
图8示出本发明的一个实施例所述显示装置的播放方法的流程图；
图9示出本发明的一个实施例所述视线标校系统的结构框图；
图10示出本发明的一个实施例所述的一种计算机设备的结构示意图。
具体实施方式
为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
视线检测技术通常根据计算眼球的移动情况来判断视线的方向，若在使用前未对眼球与摄像头之间进行校准则容易造成检测时的误差。同时，在视线检测领域中，摄像头通常作为一种被动式的图像获取装置，即当需要一幅图像时才会调用摄像头获取图像，否则摄像头处于等待状态。
为至少解决上述问题之一，本申请的发明人提出将摄像头作为一种主动获取图像的装置，即摄像头主动获取图像，当用户的人眼注视摄像头时，摄像头在第一时间获取人眼位置、注视方向等相关信息。将此刻三维空间内人眼注视摄像头的状态直接定义为一个标准状态，根据该状态及三维空间几何等信息进一步获得人眼视线。
如图1所示，本发明的一个实施例提供了一种视线标校方法，包括：S1：接收摄像头拍摄的用户的图像；S2：根据所述图像获取多个人脸特征点；S3：根据所述多个人脸特征点计算人眼中心点和瞳孔位置，从而获得人眼视线和摄像头视线；S4：判断所述人眼视线和摄像头视线是否重合，若重合则以该人眼视线和摄像头视线作为标校基准，否则跳转至S1。
在一个具体的示例中，如图2所示为视线检测的场景示意图，包括摄像头和以三维眼球模型模拟的待测用户的人眼。
在本实施例中，发明人提出以摄像头作为主动式获取图像的装置，则以摄像头中心为原点建立摄像头坐标系：首先对摄像头进行标定得到摄像头中心的坐标，然后以该坐标作为摄像头坐标系的三维空间原点，记作点O(0，0，0)。
在摄像头坐标系的基础上，根据摄像头拍摄的图片获取人脸特征点，根据人脸特征点计算人眼中心点和瞳孔位置，根据人眼中心点和瞳孔位置获取人眼视线和摄像头视线，并判断人眼视线和摄像头视线是否重合以确定人眼是否注视摄像头，具体步骤如下：
S1：接收摄像头拍摄的用户的图像。
在本实施例中，当用户出现在摄像头获取的图像范围之内时，控制器控制摄像头捕获用户图像，并接收该图像I(x,y)。
S2：根据所述图像获取多个人脸特征点。
具体包括：
S21：对所述图像进行人脸识别，若未识别出人脸则跳转至S1。
在本实施例中，使用Haar特征检测图像I(x,y)的人脸，若未识别出人脸则继续接收所述摄像头拍摄的图像，若识别出人脸对人脸图像Rface进行进一步检测。
S22：对所述图像进行特征点检测获得多个人脸特征点。
在本实施例中，如图3所示，使用ASM人脸特征点检测算法检测Rface中的68个人脸特征点。
S3：根据所述多个人脸特征点计算人眼中心点和瞳孔位置，从而获得人眼视线和摄像头视线。
如图4所示，具体包括：
S31：根据所述多个人脸特征点利用预设置的回归分类器检测出人眼中心点。
根据多个人脸特征点，将位于眼睛的特征点的编号提取出来以获得左右眼的轮廓。值得说明的是，由于左右眼看同一物体的时候情况类似，可以仅对一只眼睛进行检测，为提高检测精度，也可以对两只眼睛同时进行检测，本领域技术人员应当根据实际应用需求进行适当地检测，在此不再赘述。仍以对一只眼睛进行检测为例进行说明，将眼睛正对摄像头时的瞳孔中心定义为人眼中心点Oeye。
考虑到不同用户的眼睛形状不同，人眼中心点Oeye的位置也会不同，通过预设置的回归分类器检测出人眼中心点Oeye。
在本实施例中，所述回归分类器为预先构建的，具体步骤如下：
1)创建人眼库，采集大量用户的眼睛样本以获得人眼库的样本集合。需要注意的是，采集眼睛样本时需要采集被采集用户的头部及眼睛正对摄像头的头部图像。
2)分别使用ASM算法对每张人眼库中的图像进行眼部特征点检测，并手动标记瞳孔位置，即人眼中心点Oeye的位置。
3)将眼部的特征点及人眼中心点Oeye的位置作为特征，每张人脸图像对应一组特征，以此获得一个特征集合。将该特征集合作为输入，人眼中心点Oeye作为输出，通过adaboost算法训练特征集获得回归分类器。
将从图像I(x,y)中检测到的多个人脸特征点中的眼部的特征点输入到回归分类器中，得到人眼中心点Oeye的位置。
S32：根据所述多个人脸特征点检测瞳孔位置。
在本实施例中，对上述获得的眼睛轮廓的图像进行二值化处理，得到瞳孔的黑色区域，对该黑色区域进行垂直和水平积分投影，获得瞳孔位置Opupil，所述瞳孔位置Opupil为分别得到的垂直和水平积分投影的峰值。
S33：将所述多个人脸特征点、人眼中心点和瞳孔位置的二维坐标转换为三维坐标。
在本实施例中，所述多个人脸特征点、人眼中心点Oeye和瞳孔位置Opupil均为二维坐标，通过头部姿态估计计算各特征点在三维空间中对应的三维坐标。如图5a所示为二维图像上的特征点，采用PnP求解算法将二维图像上的特征点坐标转换为如图5b所示的三维空间中的对应点的三维坐标。
考虑到头部发生偏转时对各特征点位置的影响，在一个可选的实施例中，所述视线标校方法包括：根据所述多个人脸特征点、人眼中心点和瞳孔位置的二维坐标计算对应的姿态角。
在本实施例中，采用PnP求解算法根据二维图像上的特征点坐标计算出如图6所示姿态角，分别为三个轴向的偏航角、俯仰角和翻滚角。具体的，利用第三方开源库opencv中的solvepnp函数，将所述多个人脸特征点、人眼中心点和瞳孔位置的二维坐标作为输入，分别计算得到所述多个人脸特征点、人眼中心点和瞳孔位置对应的三维空间中的坐标及旋转角度，其中所述人眼中心点为
Figure BDA0002168382790000071
所述瞳孔位置为
Figure BDA0002168382790000072
通过采用姿态角计算所述人眼中心点和瞳孔位置能够提高对用户头部旋转的抗干扰性。
S34：根据所述多个人脸特征点、人眼中心点和瞳孔位置的三维坐标利用预设置的三维眼球模型计算第一特征点、第二特征点和第三特征点并获得所述人眼视线和摄像头视线。
在本实施例中，在获取所述姿态角的基础上，多个人脸特征点、人眼中心点和瞳孔位置的三维坐标和所述姿态角利用预设置的三维眼球模型计算第一特征点、第二特征点和第三特征点并获得所述人眼视线和摄像头视线。
如图2所示，所述三维眼球模型包括第一球体(图中大圆)和第二球体(图中小圆)，第一球体的第一球心C点为第一特征点；A点为眼球的黄斑，即人眼的视网膜中心，位于所述第一球体的表面；B点为位于所述第一球体的表面的眼球后极点。第二球体的第二球心D点为第二特征点，P点为位于第二球体表面的瞳孔中心。人眼视线为连接A点和D点的第一连线；第三特征点Q点为第一连线AD与第二球体的交点，即出瞳点；人眼光轴为连接B点和C点的第二连线；摄像头视线为连接所述摄像头中心O与出瞳点Q的第三连线。
在本实施例中，所述第一连线AD与第二连线BC形成夹角θ，所述夹角θ约为5度；第一球体的直径大于23mm且小于24mm，所述第二球体的直径为8mm。
在所述三维眼球模型的基础上，如图7所示为头部俯视图，其中大圆表示待测用户的头部轮廓，两个小圆分别表示待测用户的左右眼，H点为头部中心点，定义经过H点的直线L2为头部正向的方向，直线L2与待测用户的两眼中心连线垂直；定义经过H点的直线L1为待测用户的头部正对摄像头的方向，该方向与摄像头Z方向平行，在头部姿态中表示正方向。L1与L2的夹角α为通过solvepnp函数求解得到的头部绕Y轴方向的偏航角角度，即根据所述多个人脸特征点、人眼中心点和瞳孔位置的二维坐标计算对应的姿态角。以摄像头原点O为起始点，选取方向向量V1(0，0，-1)或其他可以表示此方向的任意向量表示L1的方向。根据偏航角角度α，计算L2的方向向量V2(sinα，0，-cosα)。将V2转变为单位向量，将待测用户的眼球直径设置为24mm，即图2所示的第一球体，将待测用户的眼睛的中心看作是在眼球表面上的点，从眼睛的中心出发沿着V2方向移动12mm即为第一特征点C，则第一特征点C点的三维坐标为
Figure BDA0002168382790000081
与上述计算第一特征点C相类似，将如图2所示的第二球体的直径设置为8mm，并根据瞳孔位置的三维坐标
Figure BDA0002168382790000082
计算得到D点坐标为
Figure BDA0002168382790000083
如图2所示，计算连接C点和D点的CD方向的向量VCD，根据夹角θ可计算得到DQ的方向向量并单位化为VDQ，从而计算得到Q点坐标。
Q3(x,y,z)＝D3(x,y,z)+4*VDQ。
在本实施例中，根据上述视网膜中心点A、二特征点D、第三特征点Q和摄像头中心O点获得人眼视线AD和摄像头视线OQ。
S4：判断所述人眼视线和摄像头视线是否重合，若重合则以该人眼视线和摄像头视线作为标校基准，否则跳转至S1。
在本实施例中，如图2所示，判断所述人眼视线和摄像头视线是否重合，由于所述第三特征点在所述人眼视线方向上，因此可以将判断所述人眼视线和摄像头视线是否重合具体转换为判断所述第二特征点、第三特征点和摄像头中心O点是否共线，若所述第二特征点、第三特征点和摄像头中心O点共线则表明所述待测用户的眼球注视所述摄像头，所述待测用户的眼球和摄像头完成了对人眼视线的标校，并以所述人眼视线和摄像头视线作为所述待测用户的眼球和摄像头的标校基准。
本实施例通过定义摄像头视线和人眼视线来判断人眼是否注视摄像头，从而标校人眼和摄像头，即当人眼注视摄像头时完成对人眼和摄像头的标校，同时以该人眼视线和摄像头视线作为标校基准，进一步实现对人眼视线的检测和追踪。因此，根据该标准状态能够实现任意时刻对人眼视线的标校，解决了现有技术中视线估计的视线漂移或需要提前标定的复杂情况，能够实现使用普通摄像头无需标定即可进行准确的视线检测，具有广泛的应用前景。
在上述视线标校方法的基础上，如图8所示，本申请的一个实施例还提供一种显示装置的播放方法，包括：利用上述视线标校方法标校用户的人眼视线和摄像头的摄像头视线；显示装置响应于输入的标校控制信号播放预设置的图像和/或视频。
在一个具体的示例中，安装在地铁中的广告栏的显示装置，所述广告栏上设置有摄像头，所述摄像头可以设置在显示装置上、也可以外接在显示装置上，以能够捕获到用户注视显示装置为准，根据上述视线标校方法，当所述摄像头拍摄的图像中存在用户并且用户注视摄像头则完成所述用户的人眼与所述摄像头的标校；当显示装置接收到已标校的标校控制信号后，播放显示装置中预存储的图像或者视频。换句话说，即检测用户是否注视显示装置，当判断用户注视显示装置时，显示装置显示预存储的例如图片广告的图像、或者显示与存储的例如视频广告的视频，从而实现根据用户的注视点播放广告，从而提高广告播放的实际效率，减小广告成本提高广告播放效率。
与上述实施例提供的视线标校方法相对应，本申请的一个实施例还提供一种应用上述视线标校方法的视线标校系统，由于本申请实施例提供的视线标校系统与上述几种实施例提供的视线标校方法相对应，因此在前述实施方式也适用于本实施例提供的视线标校系统，在本实施例中不再详细描述。
如图9所示，本申请的一个实施例还提供一种应用上述视线标校方法的视线标校系统，包括摄像头和控制器，所述控制器，配置为接收摄像头拍摄的用户的图像，根据所述图像获取多个人脸特征点，根据所述多个人脸特征点计算人眼中心点和瞳孔位置，从而获得人眼视线和摄像头视线，判断所述人眼视线和摄像头视线是否重合，若重合则以该人眼视线和摄像头视线作为标校基准。
在一个可选的实施例中，所述控制器包括视线计算单元和判断单元，其中所述视线计算单元，包括人脸识别单元、特征点检测单元、检测单元、坐标转换单元和计算单元，其中所述人脸识别单元，配置为对所述图像进行人脸识别；所述特征点检测单元，配置为对所述图像进行特征点检测获得多个人脸特征点；所述检测单元，配置为根据所述多个人脸特征点利用预设置的回归分类器检测出人眼中心点，根据所述多个人脸特征点检测瞳孔位置；所述坐标转换单元，配置为将所述多个人脸特征点、人眼中心点和瞳孔位置的二维坐标转换为三维坐标；所述计算单元，配置为根据多个所述人脸特征点、人眼中心点和瞳孔位置的三维坐标利用预设置的三维眼球模型计算第一特征点、第二特征点和第三特征点并获得所述人眼视线和摄像头视线；所述判断单元，配置为判断所述人眼视线和摄像头视线是否重合，若重合则以该人眼视线和摄像头视线作为标校基准。
本发明的一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现：S1：接收摄像头拍摄的用户的图像；S2：根据所述图像获取多个人脸特征点；S3：根据所述多个人脸特征点计算人眼中心点和瞳孔位置，从而获得人眼视线和摄像头视线；S4：判断所述人眼视线和摄像头视线是否重合，若重合则以该人眼视线和摄像头视线作为标校基准，否则跳转至S1。
本发明的另一个实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现：利用线标校方法标校用户的人眼视线和摄像头的摄像头视线；显示装置响应于输入的标校控制信号播放预设置的图像和/或视频。
在实际应用中，所述计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
如图10所示，本发明的另一个实施例提供的一种计算机设备的结构示意图。图10显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图10所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图10未显示，通常称为“硬盘驱动器”)。尽管图10中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图10所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图10中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的一种视线标校方法，或者实现本发明实施例所提供的一种显示装置的播放方法。
本发明公开了一种视线标校方法、显示装置的播放方法、视线标校系统、计算机可读存储介质和计算机设备，根据定义的摄像头视线和人眼视线判断人眼是否注视摄像头，从而确定人眼注视摄像头时的标准状态，根据该标准状态能够实现任意时刻对人眼和摄像头的标校，解决了现有视线估计中视线漂移或需要提前标定的复杂情况，实现无需标校摄像头即可准确地检测人眼视线，具有广泛的应用前景。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (10)

1.一种视线标校方法，其特征在于，包括：
S1：接收摄像头拍摄的用户的图像；
S2：根据所述图像获取多个人脸特征点；
S3：根据所述多个人脸特征点计算人眼中心点和瞳孔位置，从而获得人眼视线和摄像头视线，
包括：根据所述多个人脸特征点、人眼中心点和瞳孔位置的三维坐标，利用预设置的三维眼球模型计算视网膜中心点、第二特征点和第三特征点，根据所述视网膜中心点、第二特征点、第三特征点和摄像头中心点获得人眼视线和摄像头视线，其中，所述人眼中心点为眼睛正对所述摄像头时的瞳孔中心，所述三维眼球模型包括第一球体和第二球体，所述视网膜中心点位于所述第一球体的表面，所述第二特征点为所述第二球体的球心点，所述人眼视线为连接所述视网膜中心点和所述第二特征点的第一连线，所述第三特征点为所述第一连线与所述第二球体的交点，所述摄像头视线为连接所述摄像头中心与所述第三特征点的第三连线；
S4：判断所述人眼视线和摄像头视线是否重合，若重合则以该人眼视线和摄像头视线作为标校基准，否则跳转至S1。
2.根据权利要求1所述的视线标校方法，其特征在于，所述S2：根据所述图像获取多个人脸特征点进一步包括：
S21：对所述图像进行人脸识别，若未识别出人脸则跳转至S1；
S22：对所述图像进行特征点检测获得多个人脸特征点。
3.根据权利要求2所述的视线标校方法，其特征在于，所述S3：根据所述多个人脸特征点计算人眼中心点和瞳孔位置，从而获得人眼视线和摄像头视线进一步包括：
S31：根据所述多个人脸特征点利用预设置的回归分类器检测出人眼中心点；
S32：根据所述多个人脸特征点检测瞳孔位置；
S33：将所述多个人脸特征点、人眼中心点和瞳孔位置的二维坐标转换为三维坐标；
S34：根据所述多个人脸特征点、人眼中心点和瞳孔位置的三维坐标，利用预设置的三维眼球模型计算视网膜中心点、第二特征点和第三特征点，根据所述视网膜中心点、第二特征点、第三特征点和摄像头中心点获得人眼视线和摄像头视线。
4.根据权利要求3所述的视线标校方法，其特征在于，所述S4：判断所述人眼视线和摄像头视线是否重合进一步包括：
判断所述第二特征点、第三特征点和摄像头中心点是否共线。
5.根据权利要求4所述的视线标校方法，其特征在于，在所述S33：将所述多个人脸特征点、人眼中心点和瞳孔位置的二维坐标转换为三维坐标之后，在所述S34：根据所述多个人脸特征点、人眼中心点和瞳孔位置的三维坐标，利用预设置的三维眼球模型计算视网膜中心点、第二特征点和第三特征点，根据所述视网膜中心点、第二特征点、第三特征点和摄像头中心点获得人眼视线和摄像头视线之前，所述视线标校方法还包括：
根据所述多个人脸特征点、人眼中心点和瞳孔位置的二维坐标计算对应的姿态角；
所述S34：根据所述多个人脸特征点、人眼中心点和瞳孔位置的三维坐标，利用预设置的三维眼球模型计算视网膜中心点、第二特征点和第三特征点，根据所述视网膜中心点、第二特征点、第三特征点和摄像头中心点获得人眼视线和摄像头视线进一步包括：
根据所述多个人脸特征点、人眼中心点和瞳孔位置的三维坐标和所述姿态角利用预设置的三维眼球模型计算视网膜中心点、第二特征点和第三特征点，根据所述视网膜中心点、第二特征点、第三特征点和摄像头中心点获得人眼视线和摄像头视线。
6.一种显示装置的播放方法，其特征在于，包括：
利用权利要求1-5中任一项所述视线标校方法标校用户的人眼视线和摄像头的摄像头视线；
显示装置响应于输入的标校控制信号播放预设置的图像和/或视频。
7.一种视线标校系统，其特征在于，包括摄像头和控制器，其中
所述控制器，配置为接收摄像头拍摄的用户的图像，根据所述图像获取多个人脸特征点，根据所述多个人脸特征点计算人眼中心点和瞳孔位置，从而获得人眼视线和摄像头视线，包括：根据所述多个人脸特征点、人眼中心点和瞳孔位置的三维坐标，利用预设置的三维眼球模型计算视网膜中心点、第二特征点和第三特征点，根据所述视网膜中心点、第二特征点、第三特征点和摄像头中心点获得人眼视线和摄像头视线，其中，所述人眼中心点为眼睛正对所述摄像头时的瞳孔中心，所述三维眼球模型包括第一球体和第二球体，所述视网膜中心点位于所述第一球体的表面，所述第二特征点为所述第二球体的球心点，所述人眼视线为连接所述视网膜中心点和所述第二特征点的第一连线，所述第三特征点为所述第一连线与所述第二球体的交点，所述摄像头视线为连接所述摄像头中心与所述第三特征点的第三连线，判断所述人眼视线和摄像头视线是否重合，若重合则以该人眼视线和摄像头视线作为标校基准。
8.根据权利要求7所述的视线标校系统，其特征在于，所述控制器包括视线计算单元和判断单元，其中
所述视线计算单元，包括人脸识别单元、特征点检测单元、检测单元、坐标转换单元和计算单元，其中
所述人脸识别单元，配置为对所述图像进行人脸识别；
所述特征点检测单元，配置为对所述图像进行特征点检测获得多个人脸特征点；
所述检测单元，配置为根据所述多个人脸特征点利用预设置的回归分类器检测出人眼中心点，根据所述多个人脸特征点检测瞳孔位置；
所述坐标转换单元，配置为将所述多个人脸特征点、人眼中心点和瞳孔位置的二维坐标转换为三维坐标；
所述计算单元，配置为根据所述多个人脸特征点、人眼中心点和瞳孔位置的三维坐标，利用预设置的三维眼球模型计算视网膜中心点、第二特征点和第三特征点，根据所述视网膜中心点、第二特征点、第三特征点和摄像头中心点获得人眼视线和摄像头视线；
所述判断单元，配置为判断所述人眼视线和摄像头视线是否重合，若重合则以该人眼视线和摄像头视线作为标校基准。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，
该程序被处理器执行时实现如权利要求1-5中任一项所述的方法；
或者
该程序被处理器执行时实现如权利要求6所述的方法。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，
所述处理器执行所述程序时实现如权利要求1-5中任一所述的方法；
或者
所述处理器执行所述程序时实现如权利要求6所述的方法。
CN201910754756.8A 2019-08-15 2019-08-15 一种视线标校方法、显示装置的播放方法和视线标校系统 Active CN110458122B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910754756.8A CN110458122B (zh) 2019-08-15 2019-08-15 一种视线标校方法、显示装置的播放方法和视线标校系统
US16/935,327 US11403757B2 (en) 2019-08-15 2020-07-22 Sight line detection method and sight line detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910754756.8A CN110458122B (zh) 2019-08-15 2019-08-15 一种视线标校方法、显示装置的播放方法和视线标校系统

Publications (2)

Publication Number Publication Date
CN110458122A CN110458122A (zh) 2019-11-15
CN110458122B true CN110458122B (zh) 2022-04-22

Family

ID=68486903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910754756.8A Active CN110458122B (zh) 2019-08-15 2019-08-15 一种视线标校方法、显示装置的播放方法和视线标校系统

Country Status (2)

Country Link
US (1) US11403757B2 (zh)
CN (1) CN110458122B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027506B (zh) * 2019-12-19 2024-04-12 斑马网络技术有限公司 视线方向的确定方法、装置、电子设备及存储介质
CN113139892A (zh) * 2020-01-19 2021-07-20 株式会社理光 一种视线轨迹的计算方法、装置及计算机可读存储介质
CN113395438B (zh) * 2020-03-12 2023-01-31 Oppo广东移动通信有限公司 眼球追踪技术的图像校正方法及相关装置
CN111857329B (zh) 2020-05-26 2022-04-26 北京航空航天大学 注视点计算方法、装置及设备
US11227157B1 (en) * 2020-08-26 2022-01-18 Panasonic Intellectual Property Management Co., Ltd. System and method for gaze direction detection
CN112232255B (zh) * 2020-10-26 2022-11-01 北京鹰瞳科技发展股份有限公司 基于多模态数据的身份认证方法及设备
CN114578952B (zh) * 2020-11-17 2024-03-15 京东方科技集团股份有限公司 人机交互方法、系统、处理设备和计算机可读存储介质
CN112541400A (zh) * 2020-11-20 2021-03-23 小米科技(武汉)有限公司 基于视线估计的行为识别方法及装置、电子设备、存储介质
CN112667078B (zh) * 2020-12-24 2023-06-09 西安电子科技大学 基于视线估计的多屏场景下鼠标快速控制方法、系统及计算机可读介质
JP2022136843A (ja) * 2021-03-08 2022-09-21 本田技研工業株式会社 較正装置及び較正方法
CN113238652B (zh) * 2021-05-11 2023-07-14 北京字跳网络技术有限公司 视线估计方法、装置、设备及存储介质
CN113627267A (zh) * 2021-07-15 2021-11-09 中汽创智科技有限公司 一种视线检测方法、装置、设备及介质
CN113420721B (zh) * 2021-07-21 2022-03-29 北京百度网讯科技有限公司 标注图像关键点的方法和装置
CN113723293B (zh) * 2021-08-30 2024-01-05 中国科学院上海微系统与信息技术研究所 一种视线方向的确定方法、装置、电子设备及存储介质
CN114115527B (zh) * 2021-10-29 2022-11-29 北京百度网讯科技有限公司 增强现实ar信息显示方法、装置、系统及存储介质
CN116052261A (zh) * 2022-05-31 2023-05-02 荣耀终端有限公司 视线估计方法及电子设备
CN115170075B (zh) * 2022-07-06 2023-06-16 深圳警通人才科技有限公司 一种基于数字化平台技术的智慧办公系统
CN115790443B (zh) * 2022-11-16 2023-10-24 天津大学 一种基于辅助特征点的双目相位偏折测量方法及装置
CN116453198B (zh) * 2023-05-06 2023-08-25 广州视景医疗软件有限公司 一种基于头部姿态差异的视线校准方法和装置
CN116524581B (zh) * 2023-07-05 2023-09-12 南昌虚拟现实研究院股份有限公司 一种人眼图像光斑分类方法、系统、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1827035A (zh) * 2006-04-06 2006-09-06 赵阳 减少视野检查中被检者主观误差的方法和相关装置
CN103593044A (zh) * 2012-08-13 2014-02-19 鸿富锦精密工业（深圳）有限公司 电子装置校正系统及方法
CN106462231A (zh) * 2014-03-17 2017-02-22 Itu 商业发展公司 计算机实现的视线交互方法和装置
CN108182377A (zh) * 2017-11-21 2018-06-19 合肥工业大学 基于摄影测量技术的人眼视线检测方法及装置
CN109240497A (zh) * 2018-08-28 2019-01-18 北京航空航天大学青岛研究院 一种在虚拟现实场景中的眼动追踪自动校准方法
CN109544640A (zh) * 2018-11-05 2019-03-29 北京科技大学 一种视线追踪系统Kappa角标定方法及标定装置
CN110069124A (zh) * 2018-01-22 2019-07-30 简韶逸 双模式视线追踪方法与系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005063114A1 (ja) * 2003-12-25 2005-07-14 National University Corporation Shizuoka University 視線検出方法および装置ならびに三次元視点計測装置
JP4936491B2 (ja) * 2006-07-18 2012-05-23 株式会社国際電気通信基礎技術研究所 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
JP2009059257A (ja) * 2007-09-03 2009-03-19 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US10686972B2 (en) * 2013-09-03 2020-06-16 Tobii Ab Gaze assisted field of view control
US10846877B2 (en) * 2016-06-28 2020-11-24 Google Llc Eye gaze tracking using neural networks
US11157073B2 (en) * 2017-10-04 2021-10-26 Tectus Corporation Gaze calibration for eye-mounted displays

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1827035A (zh) * 2006-04-06 2006-09-06 赵阳 减少视野检查中被检者主观误差的方法和相关装置
CN103593044A (zh) * 2012-08-13 2014-02-19 鸿富锦精密工业（深圳）有限公司 电子装置校正系统及方法
CN106462231A (zh) * 2014-03-17 2017-02-22 Itu 商业发展公司 计算机实现的视线交互方法和装置
CN108182377A (zh) * 2017-11-21 2018-06-19 合肥工业大学 基于摄影测量技术的人眼视线检测方法及装置
CN110069124A (zh) * 2018-01-22 2019-07-30 简韶逸 双模式视线追踪方法与系统
CN109240497A (zh) * 2018-08-28 2019-01-18 北京航空航天大学青岛研究院 一种在虚拟现实场景中的眼动追踪自动校准方法
CN109544640A (zh) * 2018-11-05 2019-03-29 北京科技大学 一种视线追踪系统Kappa角标定方法及标定装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
3D human-machine interaction based on human eye detection;Xue Zhao-hong，et.al;《CHINESE JOURNAL OF LIQUID CRYSTALS AND DISPLAYS》;20181105;全文 *
基于瞳孔-角膜反射的视线跟踪算法研究;陈秋香;《中国优秀硕士学位论文全文数据库》;20151231;全文 *
头戴式视线跟踪算法研究;费舒;《中国优秀硕士学位论文全文数据库》;20161231;全文 *

Also Published As

Publication number Publication date
US20210049760A1 (en) 2021-02-18
US11403757B2 (en) 2022-08-02
CN110458122A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
CN110458122B (zh) 一种视线标校方法、显示装置的播放方法和视线标校系统
US20210295025A1 (en) Classifying facial expressions using eye-tracking cameras
CN108229284B (zh) 视线追踪及训练方法和装置、系统、电子设备和存储介质
US20180157332A1 (en) Systems and Methods for Tracking Motion and Gesture of Heads and Eyes
Zhao et al. An immersive system with multi-modal human-computer interaction
CN108230293A (zh) 确定人脸图像质量的方法和装置、电子设备和计算机存储介质
US10254831B2 (en) System and method for detecting a gaze of a viewer
Chen et al. Towards improving social communication skills with multimodal sensory information
JP7162079B2 (ja) 頭部のジェスチャーを介してディスプレイ装置を遠隔制御する方法、システムおよびコンピュータプログラムを記録する記録媒体
CN110555426A (zh) 视线检测方法、装置、设备及存储介质
KR20160046495A (ko) 외부 물체의 움직임과 연관된 이벤트에 응답하여 화면을 디스플레이하는 장치 및 방법
CN107736874B (zh) 一种活体检测的方法、装置、设备和计算机存储介质
JP2017129904A (ja) 情報処理装置、情報処理方法、及び記録媒体
CN111488775B (zh) 注视度判断装置及方法
CN109835260A (zh) 一种车辆信息显示方法、装置、终端和存储介质
Sidenko et al. Eye-tracking technology for the analysis of dynamic data
US20200311403A1 (en) Tracking System and Method
US20190369807A1 (en) Information processing device, information processing method, and program
Li et al. Real-time gaze estimation using a kinect and a HD webcam
CN109445598B (zh) 一种基于视觉的增强现实系统装置
Lee et al. Multi-modal user interaction method based on gaze tracking and gesture recognition
US10915740B2 (en) Facial mirroring in virtual and augmented reality
KR102330218B1 (ko) 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법
KR20200079748A (ko) 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법
JP2008046802A (ja) インタラクション情報出力装置、インタラクション情報出力方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant