CN110488982B - 透过眼球追踪电子白板之装置 - Google Patents

透过眼球追踪电子白板之装置 Download PDF

Info

Publication number
CN110488982B
CN110488982B CN201910790915.XA CN201910790915A CN110488982B CN 110488982 B CN110488982 B CN 110488982B CN 201910790915 A CN201910790915 A CN 201910790915A CN 110488982 B CN110488982 B CN 110488982B
Authority
CN
China
Prior art keywords
electronic whiteboard
face
point
depth
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910790915.XA
Other languages
English (en)
Other versions
CN110488982A (zh
Inventor
林柏青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Interface Optoelectronics Shenzhen Co Ltd
Interface Technology Chengdu Co Ltd
General Interface Solution Ltd
Original Assignee
Interface Optoelectronics Shenzhen Co Ltd
Interface Technology Chengdu Co Ltd
General Interface Solution Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interface Optoelectronics Shenzhen Co Ltd, Interface Technology Chengdu Co Ltd, General Interface Solution Ltd filed Critical Interface Optoelectronics Shenzhen Co Ltd
Priority to CN201910790915.XA priority Critical patent/CN110488982B/zh
Priority to TW108131186A priority patent/TWI739149B/zh
Publication of CN110488982A publication Critical patent/CN110488982A/zh
Application granted granted Critical
Publication of CN110488982B publication Critical patent/CN110488982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Position Input By Displaying (AREA)
  • Drawing Aids And Blackboards (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种透过眼球追踪电子白板之装置，包括：一电子白板及一3D深度感测模组；其中，该3D深度感测模组设于该电子白板之上侧，与该电子白板电性连接，其可撷取用户脸部光讯号影像，经由深度影像的判读，定义出双瞳的深度信息，并同步萃取出脸部同深度位置之第三点，藉此三点构成之绝对平面，定义出正对该电子白板的人脸向量，再藉由视线映射函数进行补偿计算，补偿修正眼球实际移动的角度和人脸移动角度，而推算出视线落点在该电子白板上的位置，使该电子白板依据该视线落点，在相对应之位置上标记强调显示之内容细项，藉以让用户快速获取信息。

Description

透过眼球追踪电子白板之装置
技术领域
本发明系一种透过眼球追踪电子白板之设计，尤指一种藉由追踪眼球注视位置，在电子白板的显示窗口下，控制要标记强调显示之内容细项。
背景技术
按，随着智能的科技发展，传统的实体人机互动界面已无法满足使用者的需求。
请参阅第1图所示，以目前电子白板11搭配的人机互动界面为例，大多仍以实体直接触控屏幕12进行操控要标记之强调显示内容细项13，或者藉由一遥控器14进行遥控要标记之强调显示内容细项13，对于要读取该电子白板11显示之行事历上的讯息，仍需要藉由操作进行开启动作，较不直观。
由此可见，上述习用物品仍有诸多缺失，实非一良善之设计者，而亟待加以改良。
发明内容
有鉴于此，本案发明人本于多年从事相关产品之制造开发与设计经验，针对上述之目标，详加设计与审慎评估后，终得一确具实用性之本发明。
本发明之目的，在提供一种透过眼球追踪电子白板之装置，系藉由追踪眼球注视位置，在电子白板的显示窗口下，控制要标记之强调显示内容细项，让用户快速获取信息，提升用户的体验。
根据上述之目的，本发明之透过眼球追踪电子白板之设计，其主要系包括有：一电子白板及一3D深度感测模组；其中，该3D深度感测模组设于该电子白板之上侧，与该电子白板电性连接，其可撷取用户脸部光讯号影像，经由深度影像的判读，定义出双瞳的二点深度信息，并同步萃取出脸部同深度位置之第三点，藉由此三点构成之绝对平面，定义出正对该电子白板之屏幕的人脸向量，再藉由一视线映射函数进行补偿计算，补偿修正眼球实际移动的角度和人脸移动角度，而推算出视线落点在该电子白板之屏幕上的位置，使该电子白板依据该视线落点，在其屏幕相对应之位置上标记之强调显示内容细项；藉此，即可藉由追踪眼球注视位置，在电子白板的显示窗口下，控制要标记强调显示之内容细项，让用户快速获取信息。
为便于对本发明之目的、形状、构造装置特征及其功效，做更进一步之认识与了解，兹举实施例配合图式，详细说明如下：
附图说明
图1为习用藉由遥控器控制电子白板行事历显示之示意图。
图2、图3为本发明透过眼球追踪电子白板之装置之架构示意图。
图4A、4B为本发明依据人脸向量与瞳孔向量修正实际视线落点之示意图。
图5为本发明透过眼球追踪电子白板之装置之流程示意图。
附图标记：
电子白板20
屏幕21
行事历22
强调显示内容细项23
3D深度感测模组30
双瞳的二点深度信息(Z01、Z02)
第三点(Z03)
人脸向量(T0)
眼球实际移动的角度(θ1)
人脸移动角度(θ2)
人脸三维方位Tx、Ty、Tz
步骤101
步骤102
步骤103
步骤104
步骤105
步骤106
具体实施方式
本发明乃有关一种「透过眼球追踪电子白板之装置」，请参阅图2、图3、图4A、图4B、图5所示，本发明之透过眼球追踪电子白板之设计，其系藉由精准的感测眼球深度位置来进行追踪，再藉由电子白板20屏幕21回馈显示，其主要系包括有：一电子白板20及一3D深度感测模组30。
其中，该电子白板20具有一屏幕21。
该3D深度感测模组30设于该电子白板20之上侧，与该电子白板20电性连接，其可撷取用户脸部光讯号影像，经由深度影像的判读，定义出双瞳的二点深度信息(Z01、Z02)，并同步萃取出脸部同深度位置之第三点(Z03)，藉由此三点构成之绝对平面，定义出正对该电子白板之屏幕的人脸向量(T0)，再藉由一视线映射函数进行补偿计算，补偿修正眼球实际移动的角度(θ1)和人脸移动角度(θ2)，而推算出视线落点在该电子白板20之屏幕21上的位置，举例如第2B图中一维关系AB＝D tan(θ1+θ2)，使该电子白板20依据该视线落点，在其屏幕21相对应之位置上标记强调显示之内容细项23。
藉上述构件之组成，即可藉由追踪眼球注视位置，在电子白板20的显示窗口下，控制要标记强调显示之内容细项23，让用户快速获取信息。
复请参阅图2、图3、图4A、图4B所示，该正对该电子白板20之屏幕21的人脸向量(T0)，可做为正对屏幕21人脸向量基础，若人脸转向可即时回馈人脸三维方位Tx、Ty、Tz角度信息，再搭配瞳孔向量信息，修正视线落点。
复请参阅图2、图3、图4A、图4B所示，该屏幕21可供显示一行事历22，使该电子白板20依据该视线落点，在其屏幕21之行事历22相对应之位置上标记强调显示之内容细项23。
复请参阅图5所示，撷取影像运算流程，系依下列步骤进行处理：
步骤101：该电子白板20之屏幕21显示该行事历22。
步骤102：该3D深度感测模组30撷取用户脸部光讯号影像。
步骤103：该3D深度感测模组30经由深度影像的判读，定义出双瞳的二点深度信息(Z01、Z02)，并同步萃取出脸部同深度位置之第三点(Z03)，藉由此三点构成之绝对平面，定义出正对该电子白板之屏幕的人脸向量(T0)，而做脸部方向定义。
步骤104：由双瞳的二点深度信息(Z01、Z02)，做瞳孔位置定义。
步骤105：该3D深度感测模组30再藉由一视线映射函数进行补偿计算，补偿修正眼球实际移动的角度(θ1)和人脸移动角度(θ2)，而推算出视线落点在该电子白板20之屏幕21上的位置。
步骤106：使该电子白板20依据该视线落点，在其屏幕21相对应之位置上标记之强调显示内容细项23。
以上所述，仅为本发明最佳具体实施例，惟本发明之构造特征并不局限于此，任何熟悉该项技艺者在本发明领域内，可轻易思及之变化或修饰，皆可涵盖在以下本案之专利范围。

Claims (1)

1.一种透过眼球追踪电子白板之装置，其特征在于，包括：
电子白板，具有屏幕，所述屏幕系供显示行事历；及
3D深度感测模组，所述3D深度感测模组设于所述电子白板的上侧，与所述电子白板电性连接，其可撷取用户脸部光讯号影像，经由深度影像的判读，定义出双瞳的二点深度信息，并同步萃取出脸部同深度位置的第三点，藉由所述双瞳的二点深度信息以及所述第三点构成的绝对平面，定义出正对所述电子白板的所述屏幕的人脸向量，再藉由视线映射函数进行补偿计算，补偿修正眼球实际移动的角度和人脸移动角度，而推算出视线落点在所述电子白板的所述屏幕上的位置；
其中，所述电子白板依据所述视线落点，在其屏幕相对应的位置上标记强调显示的内容细项；
其中，所述正对所述电子白板的所述屏幕的人脸向量，系做为正对屏幕人脸向量基础，若人脸转向可即时回馈人脸三维方位角度信息，再搭配瞳孔向量信息，修正所述视线落点。
CN201910790915.XA 2019-08-26 2019-08-26 透过眼球追踪电子白板之装置 Active CN110488982B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910790915.XA CN110488982B (zh) 2019-08-26 2019-08-26 透过眼球追踪电子白板之装置
TW108131186A TWI739149B (zh) 2019-08-26 2019-08-30 透過眼球追蹤電子白板之裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910790915.XA CN110488982B (zh) 2019-08-26 2019-08-26 透过眼球追踪电子白板之装置

Publications (2)

Publication Number Publication Date
CN110488982A CN110488982A (zh) 2019-11-22
CN110488982B true CN110488982B (zh) 2023-06-02

Family

ID=68554163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910790915.XA Active CN110488982B (zh) 2019-08-26 2019-08-26 透过眼球追踪电子白板之装置

Country Status (2)

Country Link
CN (1) CN110488982B (zh)
TW (1) TWI739149B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114721144A (zh) * 2021-01-04 2022-07-08 宏碁股份有限公司 裸视立体显示器及其控制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840509A (zh) * 2010-04-30 2010-09-22 深圳华昌视数字移动电视有限公司 人眼观察视角的测量方法及装置
CN102662476A (zh) * 2012-04-20 2012-09-12 天津大学 一种视线估计方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101489467B (zh) * 2006-07-14 2011-05-04 松下电器产业株式会社 视线方向检测装置和视线方向检测方法
US9538133B2 (en) * 2011-09-23 2017-01-03 Jie Diao Conveying gaze information in virtual conference
JP6014931B2 (ja) * 2012-09-06 2016-10-26 公立大学法人広島市立大学 視線計測方法
US9519414B2 (en) * 2012-12-11 2016-12-13 Microsoft Technology Licensing Llc Smart whiteboard interactions
TW201533609A (zh) * 2014-02-20 2015-09-01 Utechzone Co Ltd 以輔助燈光相對位置為基礎之瞳孔定位方法、其系統以及其電腦程式產品
CN105362049A (zh) * 2014-08-22 2016-03-02 北京国宏康医疗电子仪器有限公司 一种低视力视功能训练方法
CN104391574A (zh) * 2014-11-14 2015-03-04 京东方科技集团股份有限公司 视线处理方法、系统、终端设备及穿戴式设备
US10048749B2 (en) * 2015-01-09 2018-08-14 Microsoft Technology Licensing, Llc Gaze detection offset for gaze tracking models
US10902635B2 (en) * 2016-08-12 2021-01-26 National University Corporation Shizuoka University Line-of-sight detection device
TWI659334B (zh) * 2016-12-12 2019-05-11 Industrial Technology Research Institute 透明顯示裝置、使用其之控制方法以及其之控制器
CN108829242A (zh) * 2018-05-22 2018-11-16 深圳奥比中光科技有限公司 智能终端及其非触控式操作方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840509A (zh) * 2010-04-30 2010-09-22 深圳华昌视数字移动电视有限公司 人眼观察视角的测量方法及装置
CN102662476A (zh) * 2012-04-20 2012-09-12 天津大学 一种视线估计方法

Also Published As

Publication number Publication date
TWI739149B (zh) 2021-09-11
CN110488982A (zh) 2019-11-22
TW202109241A (zh) 2021-03-01

Similar Documents

Publication Publication Date Title
US11714280B2 (en) Wristwatch based interface for augmented reality eyewear
US11262840B2 (en) Gaze detection in a 3D mapping environment
JP4681629B2 (ja) 表示デバイスのキャリブレーション方法及び装置
EP4172726A1 (en) Augmented reality experiences using speech and text captions
CN116724285A (zh) 用于控制虚拟和图形元素的微手势
CN102473041B (zh) 图像识别装置、操作判断方法以及程序
CN103294180B (zh) 一种人机交互控制方法及电子终端
CN104238739A (zh) 基于眼睛跟踪的可见度提高方法和电子装置
CN108027656B (zh) 输入设备、输入方法和程序
CN104808340A (zh) 头戴式显示装置及其控制方法
CN110488982B (zh) 透过眼球追踪电子白板之装置
CN103713387A (zh) 电子设备和采集方法
US11663793B2 (en) Geospatial image surfacing and selection
CN102981662A (zh) 手持装置和调整位置信息方法
CN110858095A (zh) 可由头部操控的电子装置与其操作方法
WO2022228056A1 (zh) 一种人机交互方法及设备
US20240103636A1 (en) Methods for manipulating a virtual object
US20240103712A1 (en) Devices, Methods, and Graphical User Interfaces For Interacting with Three-Dimensional Environments
US20240036336A1 (en) Magnified overlays correlated with virtual markers
CN117616367A (zh) 增强现实体验的策展的情境叠加
WO2024049580A1 (en) Authenticating a selective collaborative object
CN113617023A (zh) 程序、信息处理方法、信息处理装置以及信息处理系统
CN111754434A (zh) 一种远距ai视觉影像交互式阴影处理方法
KR20160002620U (ko) 홀로그래피 터치 방법 및 프로젝터 터치 방법
Hitchin A Study of Eye Tracking as an Input Device for Immersive Environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant