CN110488982A - 透过眼球追踪电子白板之装置 - Google Patents

透过眼球追踪电子白板之装置 Download PDF

Info

Publication number
CN110488982A
CN110488982A CN201910790915.XA CN201910790915A CN110488982A CN 110488982 A CN110488982 A CN 110488982A CN 201910790915 A CN201910790915 A CN 201910790915A CN 110488982 A CN110488982 A CN 110488982A
Authority
CN
China
Prior art keywords
electronic whiteboard
face
screen
depth
drop point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910790915.XA
Other languages
English (en)
Other versions
CN110488982B (zh
Inventor
林柏青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Interface Optoelectronics Shenzhen Co Ltd
Cheng Cheng Technology Chengdu Co Ltd
General Interface Solution Ltd
Original Assignee
Interface Optoelectronics Shenzhen Co Ltd
Cheng Cheng Technology Chengdu Co Ltd
General Interface Solution Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interface Optoelectronics Shenzhen Co Ltd, Cheng Cheng Technology Chengdu Co Ltd, General Interface Solution Ltd filed Critical Interface Optoelectronics Shenzhen Co Ltd
Priority to CN201910790915.XA priority Critical patent/CN110488982B/zh
Priority to TW108131186A priority patent/TWI739149B/zh
Publication of CN110488982A publication Critical patent/CN110488982A/zh
Application granted granted Critical
Publication of CN110488982B publication Critical patent/CN110488982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Drawing Aids And Blackboards (AREA)

Abstract

一种透过眼球追踪电子白板之装置，包括：一电子白板及一3D深度感测模组；其中，该3D深度感测模组设于该电子白板之上侧，与该电子白板电性连接，其可撷取用户脸部光讯号影像，经由深度影像的判读，定义出双瞳的深度信息，并同步萃取出脸部同深度位置之第三点，藉此三点构成之绝对平面，定义出正对该电子白板的人脸向量，再藉由视线映射函数进行补偿计算，补偿修正眼球实际移动的角度和人脸移动角度，而推算出视线落点在该电子白板上的位置，使该电子白板依据该视线落点，在相对应之位置上标记强调显示之内容细项，藉以让用户快速获取信息。

Description

透过眼球追踪电子白板之装置
技术领域
本发明系一种透过眼球追踪电子白板之设计，尤指一种藉由追踪眼球注视位置，在电子白板的显示窗口下，控制要标记强调显示之内容细项。
背景技术
按，随着智能的科技发展，传统的实体人机互动界面已无法满足使用者的需求。
请参阅第1图所示，以目前电子白板11搭配的人机互动界面为例，大多仍以实体直接触控屏幕12进行操控要标记之强调显示内容细项13，或者藉由一遥控器14进行遥控要标记之强调显示内容细项13，对于要读取该电子白板11显示之行事历上的讯息，仍需要藉由操作进行开启动作，较不直观。
由此可见，上述习用物品仍有诸多缺失，实非一良善之设计者，而亟待加以改良。
发明内容
有鉴于此，本案发明人本于多年从事相关产品之制造开发与设计经验，针对上述之目标，详加设计与审慎评估后，终得一确具实用性之本发明。
本发明之目的，在提供一种透过眼球追踪电子白板之装置，系藉由追踪眼球注视位置，在电子白板的显示窗口下，控制要标记之强调显示内容细项，让用户快速获取信息，提升用户的体验。
根据上述之目的，本发明之透过眼球追踪电子白板之设计，其主要系包括有：一电子白板及一3D深度感测模组；其中，该3D深度感测模组设于该电子白板之上侧，与该电子白板电性连接，其可撷取用户脸部光讯号影像，经由深度影像的判读，定义出双瞳的二点深度信息，并同步萃取出脸部同深度位置之第三点，藉由此三点构成之绝对平面，定义出正对该电子白板之屏幕的人脸向量，再藉由一视线映射函数进行补偿计算，补偿修正眼球实际移动的角度和人脸移动角度，而推算出视线落点在该电子白板之屏幕上的位置，使该电子白板依据该视线落点，在其屏幕相对应之位置上标记之强调显示内容细项；藉此，即可藉由追踪眼球注视位置，在电子白板的显示窗口下，控制要标记强调显示之内容细项，让用户快速获取信息。
为便贵审查委员能对本发明之目的、形状、构造装置特征及其功效，做更进一步之认识与了解，兹举实施例配合图式，详细说明如下：
附图说明
图1为习用藉由遥控器控制电子白板行事历显示之示意图。
图2、图3为本发明透过眼球追踪电子白板之装置之架构示意图。
图4A、4B为本发明依据人脸向量与瞳孔向量修正实际视线落点之示意图。
图5为本发明透过眼球追踪电子白板之装置之流程示意图。
附图标记：
电子白板20
屏幕21
行事历22
强调显示内容细项23
3D深度感测模组30
双瞳的二点深度信息(Z01、Z02)
第三点(Z03)
人脸向量(T0)
眼球实际移动的角度(θ1)
人脸移动角度(θ2)
人脸三维方位Tx、Ty、Tz
步骤101
步骤102
步骤103
步骤104
步骤105
步骤106
具体实施方式
本发明乃有关一种「透过眼球追踪电子白板之装置」，请参阅图2、图3、图4A、图4B、图5所示，本发明之透过眼球追踪电子白板之设计，其系藉由精准的感测眼球深度位置来进行追踪，再藉由电子白板20屏幕21回馈显示，其主要系包括有：一电子白板20及一3D深度感测模组30。
其中，该电子白板20具有一屏幕21。
该3D深度感测模组30设于该电子白板20之上侧，与该电子白板20电性连接，其可撷取用户脸部光讯号影像，经由深度影像的判读，定义出双瞳的二点深度信息(Z01、Z02)，并同步萃取出脸部同深度位置之第三点(Z03)，藉由此三点构成之绝对平面，定义出正对该电子白板之屏幕的人脸向量(T0)，再藉由一视线映射函数进行补偿计算，补偿修正眼球实际移动的角度(θ1)和人脸移动角度(θ2)，而推算出视线落点在该电子白板20之屏幕21上的位置，举例如第2B图中一维关系AB＝D tan(θ1+θ2)，使该电子白板20依据该视线落点，在其屏幕21相对应之位置上标记强调显示之内容细项23。
藉上述构件之组成，即可藉由追踪眼球注视位置，在电子白板20的显示窗口下，控制要标记强调显示之内容细项23，让用户快速获取信息。
复请参阅图2、图3、图4A、图4B所示，该正对该电子白板20之屏幕21的人脸向量(T0)，可做为正对屏幕21人脸向量基础，若人脸转向可即时回馈人脸三维方位Tx、Ty、Tz角度信息，再搭配瞳孔向量信息，修正视线落点。
复请参阅图2、图3、图4A、图4B所示，该屏幕21可供显示一行事历22，使该电子白板20依据该视线落点，在其屏幕21之行事历22相对应之位置上标记强调显示之内容细项23。
复请参阅图5所示，撷取影像运算流程，系依下列步骤进行处理：
步骤101：该电子白板20之屏幕21显示该行事历22。
步骤102：该3D深度感测模组30撷取用户脸部光讯号影像。
步骤103：该3D深度感测模组30经由深度影像的判读，定义出双瞳的二点深度信息(Z01、Z02)，并同步萃取出脸部同深度位置之第三点(Z03)，藉由此三点构成之绝对平面，定义出正对该电子白板之屏幕的人脸向量(T0)，而做脸部方向定义。
步骤104：由双瞳的二点深度信息(Z01、Z02)，做瞳孔位置定义。
步骤105：该3D深度感测模组30再藉由一视线映射函数进行补偿计算，补偿修正眼球实际移动的角度(θ1)和人脸移动角度(θ2)，而推算出视线落点在该电子白板20之屏幕21上的位置。
步骤106：使该电子白板20依据该视线落点，在其屏幕21相对应之位置上标记之强调显示内容细项23。
以上所述，仅为本发明最佳具体实施例，惟本发明之构造特征并不局限于此，任何熟悉该项技艺者在本发明领域内，可轻易思及之变化或修饰，皆可涵盖在以下本案之专利范围。

Claims (3)

1.一种透过眼球追踪电子白板之装置，其特征在于，包括：
一电子白板，具有一屏幕；及
一3D深度感测模组，该3D深度感测模组设于该电子白板之上侧，与该电子白板电性连接，其可撷取用户脸部光讯号影像，经由深度影像的判读，定义出双瞳的二点深度信息，并同步萃取出脸部同深度位置之第三点，藉由此三点构成之绝对平面，定义出正对该电子白板之屏幕的人脸向量，再藉由一视线映射函数进行补偿计算，补偿修正眼球实际移动的角度和人脸移动角度，而推算出视线落点在该电子白板之屏幕上的位置，使该电子白板依据该视线落点，在其屏幕相对应之位置上标记强调显示之内容细项。
2.如权利要求1所述之透过眼球追踪电子白板之装置，其中该正对该电子白板之屏幕的人脸向量，系做为正对屏幕人脸向量基础，若人脸转向可即时回馈人脸三维方位角度信息，再搭配瞳孔向量信息，修正视线落点。
3.如权利要求1所述之透过眼球追踪电子白板之装置，其中该屏幕系供显示一行事历，使该电子白板依据该视线落点，在其屏幕之行事历相对应之位置上标记强调显示之内容细项。
CN201910790915.XA 2019-08-26 2019-08-26 透过眼球追踪电子白板之装置 Active CN110488982B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910790915.XA CN110488982B (zh) 2019-08-26 2019-08-26 透过眼球追踪电子白板之装置
TW108131186A TWI739149B (zh) 2019-08-26 2019-08-30 透過眼球追蹤電子白板之裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910790915.XA CN110488982B (zh) 2019-08-26 2019-08-26 透过眼球追踪电子白板之装置

Publications (2)

Publication Number Publication Date
CN110488982A true CN110488982A (zh) 2019-11-22
CN110488982B CN110488982B (zh) 2023-06-02

Family

ID=68554163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910790915.XA Active CN110488982B (zh) 2019-08-26 2019-08-26 透过眼球追踪电子白板之装置

Country Status (2)

Country Link
CN (1) CN110488982B (zh)
TW (1) TWI739149B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114721144A (zh) * 2021-01-04 2022-07-08 宏碁股份有限公司 裸视立体显示器及其控制方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840509A (zh) * 2010-04-30 2010-09-22 深圳华昌视数字移动电视有限公司 人眼观察视角的测量方法及装置
CN102662476A (zh) * 2012-04-20 2012-09-12 天津大学 一种视线估计方法
JP2014052758A (ja) * 2012-09-06 2014-03-20 Hiroshima City Univ 視線計測方法
CN104391574A (zh) * 2014-11-14 2015-03-04 京东方科技集团股份有限公司 视线处理方法、系统、终端设备及穿戴式设备
CN107111753A (zh) * 2015-01-09 2017-08-29 微软技术许可有限责任公司 用于注视跟踪模型的注视检测偏移
CN108829242A (zh) * 2018-05-22 2018-11-16 深圳奥比中光科技有限公司 智能终端及其非触控式操作方法
US20190172222A1 (en) * 2016-08-12 2019-06-06 National University Corporation Shizuoka University Line-of-sight detection device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602007009990D1 (de) * 2006-07-14 2010-12-02 Panasonic Corp Sehachsenrichtungs-nachweisvorrichtung und sehlinienrichtungs-nachweisverfahren
US9538133B2 (en) * 2011-09-23 2017-01-03 Jie Diao Conveying gaze information in virtual conference
US9519414B2 (en) * 2012-12-11 2016-12-13 Microsoft Technology Licensing Llc Smart whiteboard interactions
TW201533609A (zh) * 2014-02-20 2015-09-01 Utechzone Co Ltd 以輔助燈光相對位置為基礎之瞳孔定位方法、其系統以及其電腦程式產品
CN105362049A (zh) * 2014-08-22 2016-03-02 北京国宏康医疗电子仪器有限公司 一种低视力视功能训练方法
TWI659334B (zh) * 2016-12-12 2019-05-11 Industrial Technology Research Institute 透明顯示裝置、使用其之控制方法以及其之控制器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101840509A (zh) * 2010-04-30 2010-09-22 深圳华昌视数字移动电视有限公司 人眼观察视角的测量方法及装置
CN102662476A (zh) * 2012-04-20 2012-09-12 天津大学 一种视线估计方法
JP2014052758A (ja) * 2012-09-06 2014-03-20 Hiroshima City Univ 視線計測方法
CN104391574A (zh) * 2014-11-14 2015-03-04 京东方科技集团股份有限公司 视线处理方法、系统、终端设备及穿戴式设备
CN107111753A (zh) * 2015-01-09 2017-08-29 微软技术许可有限责任公司 用于注视跟踪模型的注视检测偏移
US20190172222A1 (en) * 2016-08-12 2019-06-06 National University Corporation Shizuoka University Line-of-sight detection device
CN108829242A (zh) * 2018-05-22 2018-11-16 深圳奥比中光科技有限公司 智能终端及其非触控式操作方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114721144A (zh) * 2021-01-04 2022-07-08 宏碁股份有限公司 裸视立体显示器及其控制方法

Also Published As

Publication number Publication date
TWI739149B (zh) 2021-09-11
TW202109241A (zh) 2021-03-01
CN110488982B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
US20170060246A1 (en) Method for remotely sharing touch
US20160179225A1 (en) Paper Strip Presentation of Grouped Content
US9335838B2 (en) Tagging of written notes captured by a smart pen
US20170300746A1 (en) Organizing Written Notes Using Contextual Data
CN104238739A (zh) 基于眼睛跟踪的可见度提高方法和电子装置
JP2009284175A (ja) 表示デバイスのキャリブレーション方法及び装置
CN103365411A (zh) 信息输入设备、信息输入方法和计算机程序
CN103729074A (zh) 一种识别笔迹的装置、系统及方法
US10248652B1 (en) Visual writing aid tool for a mobile writing device
CN104536181A (zh) Fog工艺的对位方法及系统
US20160274670A1 (en) Gesture input apparatus, gesture input method, and program for wearable terminal
CN104714646A (zh) 一种基于立体视觉的3d虚拟触控人机交互方法
CN110488982A (zh) 透过眼球追踪电子白板之装置
US20150116284A1 (en) Smart Zooming of Content Captured by a Smart Pen
CA3048905A1 (en) Virtual slide stage (vss) method for viewing whole slide images
CN113112543A (zh) 一种基于视觉移动目标的大视场二维实时定位系统及方法
CN111399634A (zh) 一种手势引导物体识别的方法及装置
JP6915611B2 (ja) 情報処理装置、情報処理方法及びプログラム
US12026326B2 (en) Pen state detection circuit and method, and input system
CN105138130A (zh) 异地同场景内信息交流指示方法及系统
JP2016110383A (ja) 触覚伝達装置
TW202114409A (zh) 用於為目標設置可呈現的虛擬對象的方法和系統
US20150048155A1 (en) Touch positioning method utilizing optical identification (oid) technology, oid positioning system and oid reader
KR20220116818A (ko) 딥러닝 기반의 답안지 스캔을 통한 정보 추출 방법 및 그 장치
JP2012014237A (ja) 情報処理システム及び表示処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant