CN100342388C - 视觉跟踪智能控制方法 - Google Patents

视觉跟踪智能控制方法 Download PDF

Info

Publication number
CN100342388C
CN100342388C CNB031337643A CN03133764A CN100342388C CN 100342388 C CN100342388 C CN 100342388C CN B031337643 A CNB031337643 A CN B031337643A CN 03133764 A CN03133764 A CN 03133764A CN 100342388 C CN100342388 C CN 100342388C
Authority
CN
China
Prior art keywords
geometric center
cornea
computer
eye
control method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB031337643A
Other languages
English (en)
Other versions
CN1570949A (zh
Inventor
万众一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CNB031337643A priority Critical patent/CN100342388C/zh
Publication of CN1570949A publication Critical patent/CN1570949A/zh
Application granted granted Critical
Publication of CN100342388C publication Critical patent/CN100342388C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Position Input By Displaying (AREA)

Abstract

本发明通过计算机模式识别方法来实现实时跟踪眼睛视点移动变化的视觉跟踪控制方法。本方法主要是通过建立视角边界数据比例模型作为数据模仿标本，来实现眼睛注视点跟踪。本技术实现了计算机以主动感知方式来自动获取人对机指令信息，达到真正的人机交互使用的目的。使用者通过转转眼睛就可实现电脑操作的目的，因而本技术具有广阔的应用范围。

Description

视觉跟踪智能控制方法
技术领域
本发明涉及的是以计算机模式识别方法实时跟踪眼睛视点移动变化的视觉跟踪控制的实现方法。
背景技术
随着计算机模式识别技术的大力发展，以计算机控制方式实现人机指令信息智能交互一直是人们的企望。但如何根据眼睛视觉观察移动的特点，实现计算机实时跟踪眼睛视点变化、以达到由眼睛转动变化来直接控制计算机在眼睛注视点位置完成所需指令操作的目的，仍是人机交互技术的一大空白和难题。
发明内容
为弥补计算机在视觉感知方面存在的以模式识别技术实现实时跟踪眼睛视觉注视点变化的技术空白，本发明专利申请提供了一套以计算机控制来实现视觉跟踪智能控制方法的整体技术方案，该技术方案的主要技术内容是：
①、从头部图像中提取已设定为主观测眼的眼睛部件，确定其眼角膜几何中心；
②、将眼角膜几何中心与其被视范围几何中心相对应，确定此时的眼角膜几何中心的位置，再以偏离该被视范围几何中心最大距离的各边界点与眼角膜几何中心对应偏转量之间形成确定关系，从而构成眼角膜几何中心的视角边界数据比例模型；
③、将主观测眼部件的眼角膜几何中心的视觉注视点偏移量与视角边界数据比例模型按比例对应比较，以获取在被视范围内的实际视觉注视点；
④、由计算机在该视点位置进行所需指令处理。
本发明专利申请提供的计算机智能化视觉跟踪控制方法，改变了现有计算机通过键盘、鼠标等指令输入设备使计算机被动地取得指令的技术现状，而是通过对眼睛在被视范围内的注视点的实时跟踪，就可确定其真实的眼睛视觉观察点(简称视点)的位置，从而实现了计算机主动感知方式自动获取人对机指令信息，达到真正的人机交互使用的目的。本技术的应用为人们计算机使用提供了很多方便，使用者可以省去一些鼠标等类似操作，转转眼睛就可实现电脑操作的目的，如由计算机自动将其指针光标随眼睛视觉注视点的变化而移动控制使用，对正常人、特别是对部分残疾人都能够真正简单地操纵使用计算机，本技术还可应用于如由眼睛注视点来自动锁定实际操作目标来实现在该锁定目标所需的指令控制操作等，所以其应用范围非常广阔。
具体实施方式
本发明专利申请技术所公开的视点跟踪智能控制方法，其具体实现过程是：
1、首先确定使用者的主观测眼，再由摄像机来获得计算机所需的头部图像，由图像处理技术，包括有图像增强、平滑、边缘锐化、分割、特征抽取等方法，从头部图像中提取已设定为主观测眼的眼睛部件，确定其眼角膜几何中心。事实上以模式识别来完成上述过程的方法非常多，在此仅通过几个实例起到举一反三的作用。在该过程中，可通过图像的灰度简化方法，在简化后的图像中分割提取主观测眼部件，然后由人眼部件的二维图像中按几何图形近似处理方法，确定该眼部件的两三角形眼白的三角形顶点位置及两顶点间的距离、眼角膜两侧圆弧边缘，由两圆弧边缘来计算确定眼角膜的几何中心。
2、眼角膜几何中心即可视为瞳孔中心，由该瞳孔的变化来确定注视点的变化。使眼角膜几何中心注视被视范围的几何中心，以便确定此时眼角膜几何中心在摄取图像中的位置。事实上，眼角膜几何中心是随头部移动而移动的，可在计算机上作二维坐标按比例移动，从而消除其移动误差。
其次，由眼角膜几何中心注视该被视范围偏离其几何中心四周最大距离的各边界点，测定眼角膜几何中心的各偏转量与其被视范围的对应关系，确定眼角膜几何中心的偏转量数据在摄取图像中的边界框，从而构成眼角膜几何中心的视角边界数据比例模型。该视角边界数据比例模型则作为计算机跟踪眼睛注视点的一份数据标本，是作为实现实时注视点跟踪提供的媒介。
3、将主观测眼部件的眼角膜几何中心的视觉注视点偏移量与视角边界数据比例模型按方向、比例对应比较，从而获取注视点在被视范围内的对应点，即实际观测点。
4、由计算机在该视点位置进行所需指令处理。
根据本发明提供的控制方法，不同的使用者，还可将第1步所形成的主观测眼部件的特征图像及与其对应的视角边界数据比例模型保留起来，建立特征数据库，以便在今后的使用中将使用者的主观测眼部件与数据库中的各个眼部件进行比较，找出相同或最为近似的，然后按该相同或最为近似眼部件直接调取对应的视角边界数据比例模型，从而提高计算机的运算速度。

Claims (2)

1、一种视觉跟踪智能控制方法，其特征在于该方法为：
①、从头部图像中提取已设定为主观测眼的眼睛部件，确定其眼角膜几何中心；
②、将眼角膜几何中心与其被视范围几何中心相对应，确定此时的眼角膜几何中心的位置，再以偏离该被视范围几何中心最大距离的各边界点与眼角膜几何中心对应偏转量之间形成确定关系，从而构成眼角膜几何中心的视角边界数据比例模型；
③、将主观测眼部件的眼角膜几何中心的视觉注视点偏移量与视角边界数据比例模型按比例对应比较，以获取在被视范围内的实际视觉注视点；
④、由计算机在该视点位置进行所需指令处理。
2、根据权利要求1所述的控制方法，其特征在于以计算机二维坐标移动消除眼角膜几何中心随头部移动而移动的移动误差。
CNB031337643A 2003-07-18 2003-07-18 视觉跟踪智能控制方法 Expired - Fee Related CN100342388C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB031337643A CN100342388C (zh) 2003-07-18 2003-07-18 视觉跟踪智能控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB031337643A CN100342388C (zh) 2003-07-18 2003-07-18 视觉跟踪智能控制方法

Publications (2)

Publication Number Publication Date
CN1570949A CN1570949A (zh) 2005-01-26
CN100342388C true CN100342388C (zh) 2007-10-10

Family

ID=34470099

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB031337643A Expired - Fee Related CN100342388C (zh) 2003-07-18 2003-07-18 视觉跟踪智能控制方法

Country Status (1)

Country Link
CN (1) CN100342388C (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294180B (zh) * 2012-03-01 2017-02-15 联想(北京)有限公司 一种人机交互控制方法及电子终端
CN102708843B (zh) * 2012-05-15 2017-02-15 中兴通讯股份有限公司 一种终端图像处理方法及终端
CN103777351A (zh) * 2012-10-26 2014-05-07 鸿富锦精密工业（深圳）有限公司 多媒体眼镜
CN106845425A (zh) * 2017-01-25 2017-06-13 迈吉客科技（北京）有限公司 一种视觉跟踪方法和跟踪装置
CN110806885B (zh) * 2019-09-29 2021-05-25 深圳市火乐科技发展有限公司 Mcu固件更新方法、智能投影仪及相关产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4950069A (en) * 1988-11-04 1990-08-21 University Of Virginia Eye movement detector with improved calibration and speed
CN1060940A (zh) * 1990-07-24 1992-05-06 生物控制系统有限公司 眼睛操纵的控制器
JPH11110120A (ja) * 1997-10-07 1999-04-23 Canon Inc 視線情報入力装置及び視線情報入力方法
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
CN1357862A (zh) * 2000-12-06 2002-07-10 英业达股份有限公司 视窗的光标视觉点选方法及装置
JP2002282210A (ja) * 2001-03-27 2002-10-02 Japan Science & Technology Corp 視線検出方法及びその装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4950069A (en) * 1988-11-04 1990-08-21 University Of Virginia Eye movement detector with improved calibration and speed
CN1060940A (zh) * 1990-07-24 1992-05-06 生物控制系统有限公司 眼睛操纵的控制器
JPH11110120A (ja) * 1997-10-07 1999-04-23 Canon Inc 視線情報入力装置及び視線情報入力方法
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
CN1357862A (zh) * 2000-12-06 2002-07-10 英业达股份有限公司 视窗的光标视觉点选方法及装置
JP2002282210A (ja) * 2001-03-27 2002-10-02 Japan Science & Technology Corp 視線検出方法及びその装置

Also Published As

Publication number Publication date
CN1570949A (zh) 2005-01-26

Similar Documents

Publication Publication Date Title
Quek Eyes in the interface
Rautaray et al. Real time multiple hand gesture recognition system for human computer interaction
CA2880052C (en) Virtual controller for visual displays
Reale et al. A multi-gesture interaction system using a 3-D iris disk model for gaze estimation and an active appearance model for 3-D hand pointing
JP5016175B2 (ja) 顔画像処理システム
Park et al. Real-time 3D pointing gesture recognition for mobile robots with cascade HMM and particle filter
CN109145802B (zh) 基于Kinect的多人手势人机交互方法及装置
US20110018797A1 (en) Trajectory-based control method and apparatus thereof
DE112012006199T5 (de) Virtuelle Hand basierend auf kombinierten Daten
CN111639531A (zh) 一种基于手势识别的医学模型交互可视化方法及系统
CN104407694A (zh) 一种结合人脸和手势控制的人机交互方法及装置
Fang et al. Head-mounted display augmented reality in manufacturing: A systematic review
Wang et al. Immersive human–computer interactive virtual environment using large-scale display system
CN100342388C (zh) 视觉跟踪智能控制方法
CN103902192A (zh) 人机交互操作的触发控制方法和装置
US20220171520A1 (en) Pervasive 3D Graphical User Interface Configured for Machine Learning
Liu et al. CamType: assistive text entry using gaze with an off-the-shelf webcam
EP3309713B1 (en) Method and device for interacting with virtual objects
CN105929946B (zh) 一种基于虚拟界面的自然交互方法
Jain et al. Human computer interaction–Hand gesture recognition
Bérci et al. Vision based human-machine interface via hand gestures
Parihar et al. Hand Gesture Recognition: A Review
De Campos et al. Directing the attention of awearable camera by pointing gestures
Perez et al. Real-time iris detection on faces with coronal axis rotation
Babu et al. Touchless User Interface for Sketching Using Hand Gesture Recognition

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee