CN109993029A - 注视点模型初始化方法 - Google Patents

注视点模型初始化方法 Download PDF

Info

Publication number
CN109993029A
CN109993029A CN201711481164.0A CN201711481164A CN109993029A CN 109993029 A CN109993029 A CN 109993029A CN 201711481164 A CN201711481164 A CN 201711481164A CN 109993029 A CN109993029 A CN 109993029A
Authority
CN
China
Prior art keywords
user
blinkpunkt
distance
default
initialization method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711481164.0A
Other languages
English (en)
Inventor
宫雅卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Irisian Photoelectric Technology Co Ltd
Original Assignee
Shanghai Irisian Photoelectric Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Irisian Photoelectric Technology Co Ltd filed Critical Shanghai Irisian Photoelectric Technology Co Ltd
Priority to CN201711481164.0A priority Critical patent/CN109993029A/zh
Publication of CN109993029A publication Critical patent/CN109993029A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Abstract

本发明公开了一种注视点模型初始化方法，一种注视点模型初始化方法，其特征在于，包括步骤：摄像头拍摄用户面部图像；通过所述面部图像检测用户距离与脸部姿态；确定距离转换系数以及姿态校正量；根据距离转换系数以及姿态校正量将当前用户眼部动作对应到初始模型进行注视点判断。本发明仅使用一颗普通的可见摄像头完成图像采集，通过图像处理，识别当前用户姿态和距离，确定校正量，可以适应用户不同的姿态和使用距离，在不增加硬件成本的条件下，实现更易用的注视点检测。

Description

注视点模型初始化方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种注视点模型初始化方法。
背景技术
现有的注视点检测技术，普遍需要约束用户位置和姿态，用户体验较差，限制应用范围；并且需要配合独立的硬件模块使用，例如：双摄像头、辅助光源、红外光源、红外摄像头，无法在普通计算机上实现注视点检测，提升使用成本。
发明内容
为了解决上述技术问题，通过计算机已有的硬件，完成注视点检测，本发明提出了一种注视点模型初始化方法。
为实现上述技术效果，本发明所述注视点模型初始化方法包括步骤：
摄像头拍摄用户面部图像；
通过所述面部图像检测用户距离与脸部姿态；
确定距离转换系数以及姿态校正量；
根据距离转换系数以及姿态校正量将当前用户眼部动作对应到初始模型进行注视点判断。
本发明注视点模型初始化方法的进一步改进在于，所述检测用户距离是通过画面中的瞳孔间距像素数与预设瞳孔间距所确定。
本发明注视点模型初始化方法的进一步改进在于，确定所述预设瞳孔间距包括步骤：
通过所述面部图像识别当前用户特征，包括年龄、性别；
匹配该用户特征下用户的预设瞳孔间距。
本发明注视点模型初始化方法的进一步改进在于，确定所述预设瞳孔间距包括步骤：
通过该用户身份数据查询当前用户特征，包括年龄、性别；
匹配该用户特征下用户的预设瞳孔间距。
本发明注视点模型初始化方法的进一步改进在于，所述预设瞳孔间距为65mm。
本发明注视点模型初始化方法，仅使用一颗普通的可见摄像头完成图像采集，通过图像处理，识别当前用户姿态和距离，确定校正量，可以适应用户不同的姿态和使用距离，在不增加硬件成本的条件下，实现更易用的注视点检测。
附图说明
图1为本发明注视点模型初始化方法的流程图。
具体实施方式
下面结合附图及具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明所述注视点模型初始化方法，基于显示模块、数据处理模块以及摄像头实现注视点检测。所述方法包括步骤：
建立初始模型：
电子设备启动摄像头，在预设位置处，以预设用户姿态采集用户面部图像，所述电子设备可以是手机、平板电脑或笔记本电脑，优选的在本实施例中，所述电子设备是笔记本电脑，笔记本电脑的摄像头位于屏幕上边框中间位置，所述预设位置在屏幕正前方30cm处，所述预设用户姿态为用户正面面对屏幕；采集过程中用户保持不动，眼部注视屏幕提示点，拍摄每一个提示点对应的图像，根据图像中眼睛位置和注视点位置，建立用户初始模型。
拍摄用户图像：
用户偏离预设位置使用笔记本电脑，笔记本进行注视点检测时，首先打开摄像头，拍摄用户图像。
分析用户姿态和使用距离：
根据用户图像中的脸部信息，分析用户面部姿态和距离，所述用户距离是通过画面中的瞳孔间距像素数与预设瞳孔间距来确定的，即计算机预设有摄像头的视角大小，根据瞳孔间距像素数可以得出瞳孔间距在摄像头整个画面中的比例，从而得到摄像头与用户双眼连线的夹角，预设瞳孔间距即认为是用户实际的瞳孔间距，根据三角函数关系计算出用户与设备间的距离。
所述预设瞳孔间距即为计算机判断得出的当前用户实际瞳孔间距，优选的，在本实施例中，确定所述预设瞳孔间距包括步骤：
通过所述面部图像识别当前用户特征，包括年龄、性别；
匹配该用户特征下用户的预设瞳孔间距。即针对男性和女性，成年人和儿童平均瞳孔间距不同的情况；根据年龄段和性别设置几组用户特征，并预先对每一组用户特征下用户的瞳孔间距进行测量，统计得出平均瞳孔间距，作为该组用户的预设瞳孔间距。识别当前用户所符合的用户特征，匹配得到该组用户的预设瞳孔间距。
进一步的，在另一是实例中确定所述预设瞳孔间距包括步骤：
通过该用户身份数据查询当前用户特征，包括年龄、性别；
匹配该用户特征下用户的预设瞳孔间距。
匹配校正参数：
通过当前用户的使用距离以及用户姿态，确定距离转换系数以及姿态校正量。
将当前用户图像对应到初始模型：
根据距离转换系数以及姿态校正量将当前用户图像的视线方向对应到初始模型，从而确定注视点。
以上结合附图及实施例对本发明进行了详细说明，本领域中普通技术人员可根据上述说明对本发明做出种种变化例。因而，实施例中的某些细节不应构成对本发明的限定，本发明将以所附权利要求书界定的范围作为本发明的保护范围。

Claims (5)

1.一种注视点模型初始化方法，其特征在于，包括步骤：
摄像头拍摄用户面部图像；
通过所述面部图像检测用户距离与脸部姿态；
确定距离转换系数以及姿态校正量；
根据距离转换系数以及姿态校正量将当前用户眼部动作对应到初始模型进行注视点判断。
2.根据权利要求1所述的注视点模型初始化方法，其特征在于所述检测用户距离是通过画面中的瞳孔间距像素数与预设瞳孔间距所确定。
3.根据权利要求2所述的注视点模型初始化方法，其特征在于确定所述预设瞳孔间距包括步骤：
通过所述面部图像识别当前用户特征，包括年龄、性别；
匹配该用户特征下用户的预设瞳孔间距。
4.根据权利要求2所述的注视点模型初始化方法，其特征在于确定所述预设瞳孔间距包括步骤：
通过该用户身份数据查询当前用户特征，包括年龄、性别；
匹配该用户特征下用户的预设瞳孔间距。
5.根据权利要求2所述的注视点模型初始化方法，其特征在于所述预设瞳孔间距为65mm。
CN201711481164.0A 2017-12-29 2017-12-29 注视点模型初始化方法 Pending CN109993029A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711481164.0A CN109993029A (zh) 2017-12-29 2017-12-29 注视点模型初始化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711481164.0A CN109993029A (zh) 2017-12-29 2017-12-29 注视点模型初始化方法

Publications (1)

Publication Number Publication Date
CN109993029A true CN109993029A (zh) 2019-07-09

Family

ID=67109829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711481164.0A Pending CN109993029A (zh) 2017-12-29 2017-12-29 注视点模型初始化方法

Country Status (1)

Country Link
CN (1) CN109993029A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110784600A (zh) * 2019-11-28 2020-02-11 西南民族大学 一种对人眼与手机距离进行检测的装置及方法
WO2023071884A1 (zh) * 2021-10-29 2023-05-04 Oppo广东移动通信有限公司 注视检测方法、电子设备的控制方法及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662476A (zh) * 2012-04-20 2012-09-12 天津大学 一种视线估计方法
US20140085451A1 (en) * 2012-09-24 2014-03-27 Fujitsu Limited Gaze detection apparatus, gaze detection computer program, and display apparatus
CN105759971A (zh) * 2016-03-08 2016-07-13 珠海全志科技股份有限公司 一种自动提示人眼离屏幕距离的方法和系统
CN106598221A (zh) * 2016-11-17 2017-04-26 电子科技大学 基于眼部关键点检测的3d视线方向估计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662476A (zh) * 2012-04-20 2012-09-12 天津大学 一种视线估计方法
US20140085451A1 (en) * 2012-09-24 2014-03-27 Fujitsu Limited Gaze detection apparatus, gaze detection computer program, and display apparatus
CN105759971A (zh) * 2016-03-08 2016-07-13 珠海全志科技股份有限公司 一种自动提示人眼离屏幕距离的方法和系统
CN106598221A (zh) * 2016-11-17 2017-04-26 电子科技大学 基于眼部关键点检测的3d视线方向估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
满毅等: "基于双眼模型的三维视线估计方法", 《机械科学与技术》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110784600A (zh) * 2019-11-28 2020-02-11 西南民族大学 一种对人眼与手机距离进行检测的装置及方法
WO2023071884A1 (zh) * 2021-10-29 2023-05-04 Oppo广东移动通信有限公司 注视检测方法、电子设备的控制方法及相关设备

Similar Documents

Publication Publication Date Title
CN108427503B (zh) 人眼追踪方法及人眼追踪装置
US11844608B2 (en) Posture analysis systems and methods
CN105184246B (zh) 活体检测方法和活体检测系统
Funes Mora et al. Eyediap: A database for the development and evaluation of gaze estimation algorithms from rgb and rgb-d cameras
CN105930821B (zh) 一种人眼识别跟踪的方法及将其应用于裸眼3d显示的装置
US20180365484A1 (en) Head-mounted display with facial expression detecting capability
US10165176B2 (en) Methods, systems, and computer readable media for leveraging user gaze in user monitoring subregion selection systems
US9195881B2 (en) Image transformation apparatus and method
US20110074822A1 (en) Viewing Direction Determination Method, Viewing Direction Determination Apparatus, Image Processing Method, Image Processing Apparatus, Display Device and Electronic Device
EP2634727A2 (en) Method and portable terminal for correcting gaze direction of user in image
CN106462242A (zh) 使用视线跟踪的用户界面控制
CN106415445A (zh) 用于观看者关注区域估计的技术
CN104793741A (zh) 带眼球跟踪虚拟现实成像系统和方法
CN109948435A (zh) 坐姿提醒方法及装置
JP5103682B2 (ja) インタラクティブ看板システム
CN107436681A (zh) 自动调节文字的显示大小的移动终端及其方法
CN110148092A (zh) 基于机器视觉的青少年坐姿及情绪状态的分析方法
CN109993029A (zh) 注视点模型初始化方法
CN110309693A (zh) 多层次状态侦测系统与方法
CN105095885A (zh) 一种人眼状态的检测方法和检测装置
US9536133B2 (en) Display apparatus and control method for adjusting the eyes of a photographed user
JPWO2022074865A5 (ja) 生体検知装置、制御方法、及びプログラム
CN112183200A (zh) 一种基于视频图像的眼动追踪方法和系统
EP3051386A1 (en) Eye tracking system and method
CN109348138A (zh) 光照调节方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190709

WD01 Invention patent application deemed withdrawn after publication