CN104571488B - 电子文件标记方法及装置 - Google Patents
电子文件标记方法及装置 Download PDFInfo
- Publication number
- CN104571488B CN104571488B CN201410054574.7A CN201410054574A CN104571488B CN 104571488 B CN104571488 B CN 104571488B CN 201410054574 A CN201410054574 A CN 201410054574A CN 104571488 B CN104571488 B CN 104571488B
- Authority
- CN
- China
- Prior art keywords
- user
- action
- mentioned
- module
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000009471 action Effects 0.000 claims abstract description 87
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 28
- 238000012937 correction Methods 0.000 claims description 58
- 210000001508 eye Anatomy 0.000 claims description 46
- 238000001514 detection method Methods 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 239000012634 fragment Substances 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 17
- 210000001747 pupil Anatomy 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 210000003128 head Anatomy 0.000 abstract description 2
- 230000004424 eye movement Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 230000004461 rapid eye movement Effects 0.000 description 4
- 230000005611 electricity Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Processing Or Creating Images (AREA)
- Document Processing Apparatus (AREA)
Abstract
本发明提供一种电子文件标记方法及装置。通过取像单元来获取使用者的图像序列，并对图像序列执行眼动追踪程序、点头检测程序与眨眼检测程序。取得使用者在产生第一特定动作时的视线落在电子文件的第一位置，并执行标记动作，以从第一位置开始并随着眼球的移动轨迹而在电子文件上进行标记，取得使用者在产生第二特定动作时的视线落在电子文件的第二位置，并于第二位置结束标记动作。
Description
技术领域
本发明涉及一种浏览电子文件的方法及装置，尤其涉及一种电子文件标记方法及装置。
背景技术
随着信息的数字化，越来越多传统信息界面被电子产品所取代。例如，数字相框和数码相机取代了传统的相片和底片，而例如个人数字助理（Personal Digital Assistant，PDA）、智能手机、阅读器等的电子产品，则成为了新一代的文件阅读平台。使用者可以通过在同一台携带型电子产品中存放多个电子书等电子文件，改善了传统携带纸本书籍的不便性。并且，通过携带型电子产品可随时来观看其中的电子书。
而目前也对应发展出几种针对电子书的控制方法。例如，美国专利号US7429108提出一种利用眼球追踪技术（gaze-tracking applications）的电子阅读记录器，能帮助使用者寻找上次阅读的段落。
发明内容
本发明提供一种电子文件标记方法及装置，通过点头动作或眨眼动作，并随着眼球的移动轨迹在电子文件上进行标记。
本发明的电子文件标记方法，包括：在显示单元显示电子文件；通过取像单元来获取使用者的图像序列；对图像序列执行眼动追踪程序、点头检测程序与眨眼检测程序，其中通过眼动追踪程序追踪使用者的眼球的移动轨迹，并通过点头检测程序与眨眼检测程序来检测使用者是否产生第一特定动作或第二特定动作；在检测到使用者产生第一特定动作时，通过眼动追踪程序取得使用者当下的视线落在电子文件的第一位置；执行标记动作，以从第一位置开始并随着眼球的移动轨迹而在电子文件上进行标记；在检测到使用者产生第二特定动作时，通过眼动追踪程序取得使用者当下的视线落在电子文件的第二位置；以及于在第二位置结束标记动作。
本发明的电子文件标记装置，包括：显示单元、取像单元、存储单元以及处理单元。显示单元用以显示电子文件。取像单元用以获取使用者的图像序列。存储单元用以存储电子文件与图像序列。处理单元耦接至显示单元、取像单元以及存储单元，其用以执行眼动追踪模块、点头检测模块与眨眼检测模块来分析图像序列。通过眼动追踪模块来追踪使用者的眼球的移动轨迹，并通过点头检测模块与眨眼检测模块来检测使用者是否产生第一特定动作或第二特定动作。在检测到使用者产生第一特定动作时，眼动追踪模块取得使用者当下的视线落在电子文件的第一位置，并且处理单元启动标记模块来执行标记动作，而自从第一位置开始并随着眼球的移动轨迹而在电子文件上进行标记。在检测到使用者产生第二特定动作时，眼动追踪模块取得使用者当下的视线落在电子文件的第二位置，并且标记模块于在第二位置结束标记动作。
在本发明的一实施例中，上述装置还包括：校正模块。校正模块依序接收多个校正图像，其中上述校正图像分别为使用者观看显示单元的多个校正点所获得。并且，校正模块依据各校正图像中的眼部区域的两个亮点位置，获得基准校正参数，其中上述两个亮点位置是在取像单元获取各校正图像时所形成。进而，校正模块基于上述校正图像而通过透视转换法来产生坐标转换矩阵，其中坐标转换矩阵是用以将眼部区域的坐标位置转换为显示单元的坐标位置。
在本发明的一实施例中，上述眼动追踪模块检测图像序列中的目前图像的该眼部区域，以获得在目前图像中的瞳孔位置；依据目前图像的眼部区域的两个亮点位置，获得比对校正参数；依据基准校正参数与比对校正参数，获得动态补正参数；依据目前图像中的上述两个亮点位置其中之一、瞳孔位置以及动态补正参数，计算眼球移动坐标；利用坐标转换矩阵，转换眼球移动坐标为对应于显示单元的视线落点坐标；以及记录视线落点坐标。
在本发明的一实施例中，上述第一特定动作与第二特定动作各自包括点头动作与眨眼动作至少其中之一，而第二特定动作与第一特定作动为相同或不相同。上述标记动作包括调整亮度、添加底线及添加底色至少其中之一。
在本发明的一实施例中，上述电子文件包括多个片段，而标记模块可依据各片段的观看频率，对各片段执行对应的标记动作。
基于上述，通过点头动作或眨眼动作，并随着眼球的移动轨迹在电子文件上进行标记。据此，利用眼动追踪，使用者不需手动即可进行对应的操作，相当便利。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图详细说明如下。
附图说明
图1是依照本发明一实施例的电子文件标记装置的方块图；
图2是依照本发明一实施例的存储单元的方块图；
图3是依照本发明一实施例的眼部区域的示意图；
图4是依照本发明一实施例的眼部物件的示意图；
图5是依照本发明一实施例的电子文件标记方法的流程图；
图6是依照本发明一实施例的电子文件标记装置的示意图。
附图标记说明：
100：电子文件标记装置；
110：取像单元；
120：显示单元；
130：存储单元；
140：处理单元；
201：眼动追踪模块；
202：点头检测模块；
203：眨眼检测模块；
204：标记模块；
205：校正模块；
410：眼部物件；
601：第一位置；
602：第二位置；
610：电子文件；
620：标记范围；
G1、G2：亮点位置；
S505～S545：电子文件标记方法各步骤。
具体实施方式
图1是依照本发明一实施例的电子文件标记装置的方块图。请参照图1，电子文件标记装置100包括取像单元110、显示单元120、存储单元130以及处理单元140。其中，处理单元140耦接至取像单元110、显示单元120及存储单元130。
取像单元110例如为摄像机或照相机，其具有电荷耦合元件（Charge coupleddevice，CCD）镜头、互补式金氧半导体（Complementary metal oxide semiconductortransistors，CMOS）镜头、或红外线镜头。取像单元110用以获取使用者的图像序列。
显示单元120例如为液晶显示器（Liquid-Crystal Display，LCD）、等离子显示器、真空荧光显示器、发光二极管（Light-Emitting Diode，LED）显示器、场发射显示器（FieldEmission Display，FED）及/或其他合适种类的显示器，在此并不限制其种类。
存储单元130例如是任意形式的固定式或可移动式随机存取存储器（RandomAccess Memory，RAM）、只读存储器（Read-Only Memory，ROM）、闪存（Flash memory）、硬盘或其他类似装置或这些装置的组合。存储单元130中包括了多份电子文件，并且可暂存由取像单元110所获取的图像序列。
处理单元140例如是中央处理单元（Central Processing Unit，CPU），或是其他可编程的一般用途或特殊用途的微处理器（Microprocessor）、数字信号处理器（DigitalSignal Processor，DSP）、可编程的控制器、特殊应用集成电路（Application SpecificIntegrated Circuits，ASIC）、可编程逻辑装置（Programmable Logic Device，PLD）或其他类似装置或这些装置的组合。
上述电子文件标记装置100例如为智能手机、阅读器、平板电脑、个人电脑等电子装置。取像单元110（例如，前置相机）例如设置在显示单元120（例如为触控荧幕）侧，藉此当显示单元120中显示有电子文件时，可通过取像单元110来获取正在观看电子文件的使用者的图像序列。之后，由处理单元140对所获取的图像序列执行眼动追踪程序、点头检测程序与眨眼检测程序。
举例来说，存储单元130中包括有用来对电子文件进行标记的电脑程序产品。此电脑程序产品基本上是由多数个程序码片段所组成的（例如建立组织图程序码片段、签核表单程序码片段、设定程序码片段、以及部署程序码片段），并且这些程序码片段在载入如电子文件标记装置100等的电子装置中并执行之后，即可实现对电子文件进行标记的功能。
图2是依照本发明一实施例的存储单元的方块图。请参照图2，存储单元130包括眼动追踪模块201、点头检测模块202、眨眼检测模块203、标记模块204以及校正模块205。上述各模块例如是由电脑程序语言所撰写的程序码片段，且上述程序码片段包括多个指令，通过处理单元140来执行上述程序码片段，进而来实现对电子文件进行标记的功能。而在其他实施例中，上述各模块也可以是由一个或多个晶体管或逻辑门等组合而成的硬件，且耦接至处理单元140，由处理单元140来驱动执行。
眼动追踪模块201用以对图像序列执行眼动追踪程序，以追踪使用者的眼球的移动轨迹。校正模块205用以在进行眼动追踪程序之前，进行校正程序。例如，在进行眼球位置的检测之前，可通过校正模块205依序接收多个校正图像，而利用这些校正图像来获得座标坐标转换矩阵。在此，上述校正图像分别为使用者观看显示单元120的多个校正点所获得。例如，以显示单元120左上、右上、左下、右下4个点作为校正点。在进行校正程序时，在显示单元120中提示使用者观看上述4个校正点，藉此获得4张校正图像。而校正模块205依据每一张校正图像中的眼部区域的两个亮点位置，来获得基准校正参数。
图3是依照本发明一实施例的眼部区域的示意图。在图3中包括两个亮点位置G1、G2。上述两个亮点位置G1、G2的形成是由于取像单元110中所设置的发光模块在眼球上所造成的反光。通过每一张校正图像中的两个亮点位置G1、G2的亮点位置，来获得基准校正参数。校正参数例如基于亮点位置G1、G2的一向量。之后，校正模块205基于校正图像而通过透视转换（perspective transformation）法来产生坐标转换矩阵，此坐标转换矩阵是用以将眼部区域的坐标位置转换为显示单元120的坐标位置。
眼动追踪模块201检测图像序列中的目前图像的眼部区域，以获得在目前图像中的瞳孔位置及两个亮点位置（底下称为亮点位置G1'、G2'）。并且，眼动追踪模块201依据目前图像的亮点位置G1'、G2'，获得比对校正参数，藉此进一步依据基准校正参数（C1）与比对校正参数（C2），来获得动态补正参数（C3）。例如，动态补正参数为基准校正参数与比对校正参数的比率，即，C3=C2/C1。之后，眼动追踪模块201再依据目前图像中的亮点位置G1'（或亮点位置G2'）、瞳孔位置（例如以瞳孔中心的坐标来进行计算）以及动态补正参数，计算眼球移动坐标。例如，眼球移动坐标为(X',Y')。而眼动追踪模块201利用坐标转换矩阵，转换眼球移动坐标(X',Y')为对应在显示单元120的视线落点坐标（例如，视线落点坐标为(Xs,Ys)），之后，记录视线落点坐标(Xs,Ys)。据此，通过所记录的多个视线落点坐标而可获得眼球的移动轨迹。
点头检测模块202用以对图像序列执行点头检测程序，以检测使用者是否产生点头动作。眨眼检测模块203用以对图像序列执行眨眼检测程序，以检测使用者是否产生眨眼动作。而搭配点头检测模块202与眨眼检测模块203可检测使用者是否产生第一特定动作或第二特定动作。上述第一特定动作包括眨眼动作与点头动作两者或者为两者的其中之一。
例如，点头检测模块202在图像中检测脸部的鼻孔区域，而获得鼻孔位置信息，并且由前后两张（或两张以上）图像的鼻孔位置信息来判断是否产生点头动作。另外，眨眼检测模块203在图像中检测眼部物件，如，可基于鼻孔区域来向上寻找眼部物件。在获得眼部物件之后，眨眼检测模块203基于眼部物件的尺寸来判断使用者是否闭眼。
例如，图4是依照本发明一实施例的眼部物件的示意图。图4所示为闭眼状态。例如，针对眼部区域的图像进行去杂点、边缘锐利化、二值化处理、再次边缘锐利化等处理后而获得如图4所示的眼部物件410。若眼部物件410的高度小于高度门限值（例如，高度门限值的范围界于5～7个像素），且眼部物件410的宽度大于宽度门限值（例如，宽度门限值的范围界于60～80个像素）时，判定眼部物件410为闭眼状态。若不符合上述条件，则一律判定为张眼状态。藉此，眨眼检测模块203可检测使用者是否产生眨眼动作。
标记模块204用以执行标记动作。标记动作例如为调整亮度、添加底线或添加底色等等。标记模块204在被启动之后，会随着眼球的移动轨迹来执行标记动作。
以上即搭配上述电子文件标记装置100来说明电子文件标记方法的详细步骤。
图5是依照本发明一实施例的电子文件标记方法的流程图。在步骤S505中，在显示单元120显示电子文件，如图6所示。图6是依照本发明一实施例的电子文件标记装置的示意图。在本实施例中，电子文件标记装置100为平板电脑，取像单元110设置于显示单元120侧。在显示单元120上显示有电子文件610。
接着，在步骤S510中，通过取像单元110来获取使用者的图像序列。即，通过取像单元110来拍摄正在观看电子文件610的使用者的图像。之后，在步骤S515中，对图像序列执行眼动追踪程序、点头检测程序与眨眼检测程序。即，通过眼动追踪模块201、点头检测模块202与眨眼检测模块203分别来分析图像序列，而通过眼动追踪程序追踪使用者的眼球的移动轨迹，并通过点头检测模块202与眨眼检测模块203来检测使用者是否产生第一特定动作或第二特定动作。
在此，第一特定动作例如为在两秒内依序执行点头动作一次与快速眨眼动作两次，而第二特定动作例如为在两秒内依序执行眨眼动作一次与点头动作一次。然，上述仅为举例说明，并不以此为限。此外，也可将第一特定动作与第二特定动作设定为相同的动作，并不局限其为不同的动作。
接着，在步骤S520，处理单元140判断是否产生第一特定动作。若尚未产生第一特定动作，则不执行后续动作；若产生第一特定动作，则执行步骤S525。
在步骤S525中，通过眼动追踪模块201取得使用者当下的视线落在电子文件610的第一位置601。也就是说，第一位置601为在使用者执行第一特定动作时的视线落点。接着，在步骤S530中，处理单元140启动标记模块204来执行标记动作，而从第一位置601开始并随着眼球的移动轨迹而在电子文件610上进行标记，如图6以斜线所示的标记范围620。
之后，在步骤S535中，处理单元140判断是否产生第二特定动作。若尚未产生第二特定动作，则不执行后续动作，继续通过标记模块204随着眼球的移动轨迹而在电子文件610上进行标记动作；若产生第二特定动作，则执行步骤S540。
在步骤S540中，通过眼动追踪模块201取得使用者当下的视线落在电子文件610的第二位置602。即，第二位置602为在使用者执行第二特定动作时的视线落点。最后，在步骤S545中，标记模块204在第二位置602结束标记动作。如图6所示，标记范围620由第一位置601开始直至第二位置602为止。
例如，使用者在阅读完某段感兴趣的内容时，可将其视线移至感兴趣内容的起始点，而对着取像单元110在两秒内依序执行点头动作一次与快速眨眼动作两次（第一特定动作），使得电子文件标记装置100来致能标记动作。接着，使用者移动视线来浏览感兴趣内容，并在浏览至到结束点时在两秒内依序执行眨眼动作一次与点头动作一次（第二特定动作），使得电子文件标记装置100来结束标记动作。据此，便完成了感兴趣内容的标记。
而在其他实施例中，倘若第一特定动作与第二特定动作相同，例如皆为快速执行眨眼动作两次，则以第一次检测到的快速眨眼动作两次为第一特定动作，第二次检测到的快速眨眼动作两次为第二特定动作。
另外，可将电子文件610的内容划分为多个片段（例如根据章节或段落进行分段），并且在使用者浏览电子文件610时，记录下每一个片段的观看频率，进而依据各片段的观看频率，对各片段执行对应的标记动作。举例来说，若片段的观看频率超过第一预设频率（3次）时，将片段的底色设为黄色。若片段的观看频率超过第二预设频率（5次）时，将片段的底色设为蓝色。在此仅为举例说明，应用方式并不局限于此。
综上所述，通过点头动作或眨眼动作，并利用眼动追踪而随着眼球的移动轨迹自动在电子文件上进行标记，使用者不需手动即可进行对应的操作，并且可针对其感兴趣的段落来进行重点标记，在辅助阅读方面提升了其便利性。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (12)
1.一种电子文件标记方法，其特征在于，包括：
执行校正程序，包括：
依序接收多个校正图像；
依据每一上述校正图像中的眼部区域的两个亮点位置，获得基准校正参数；以及
基于上述校正图像来产生坐标转换矩阵，其中该坐标转换矩阵是用以将该眼部区域的坐标位置转换为显示单元的坐标位置；
在该显示单元显示电子文件；
通过取像单元来获取使用者的图像序列；
对该图像序列执行眼动追踪程序、点头检测程序与眨眼检测程序，其中通过该眼动追踪程序追踪该使用者的眼球的移动轨迹，并通过该点头检测程序与该眨眼检测程序来检测该使用者是否产生第一特定动作或第二特定动作；
在检测到该使用者产生该第一特定动作时，通过该眼动追踪程序取得该使用者当下的视线落在该电子文件的第一位置；
执行标记动作，以从该第一位置开始并随着该眼球的移动轨迹而在该电子文件上进行标记；
在检测到该使用者产生第二特定动作时，通过该眼动追踪程序取得该使用者当下的视线落在该电子文件的第二位置；以及
在该第二位置结束该标记动作。
2.根据权利要求1所述的方法，其特征在于，
上述校正图像分别为该使用者观看该显示单元的多个校正点所获得；
上述两个亮点位置是在该取像单元获取每一上述校正图像时所形成；
而基于上述校正图像来产生坐标转换矩阵的步骤包括：基于上述校正图像而通过透视转换法来产生坐标转换矩阵。
3.根据权利要求1所述的方法，其特征在于，追踪该使用者的该眼球的该移动轨迹的步骤包括：
检测该图像序列中的目前图像的该眼部区域，以获得在该目前图像中的瞳孔位置；
依据该目前图像的该眼部区域的两个亮点位置，获得比对校正参数；
依据该基准校正参数与该比对校正参数，获得动态补正参数；
依据该目前图像中的上述两个亮点位置其中之一、该瞳孔位置以及该动态补正参数，计算眼球移动坐标；
利用该坐标转换矩阵，转换该眼球移动坐标为对应于该显示单元的视线落点坐标；以及
记录该视线落点坐标。
4.根据权利要求1所述的方法，其特征在于，该第一特定动作与该第二特定动作各自包括点头动作与眨眼动作至少其中之一，而该第二特定动作与该第一特定作动为相同或不相同。
5.根据权利要求1所述的方法，其特征在于，该标记动作包括调整亮度、添加底线及添加底色至少其中之一。
6.根据权利要求1所述的方法，其特征在于，该电子文件包括多个片段，该方法还包括：
依据每一上述片段的观看频率，对每一上述片段执行对应的该标记动作。
7.一种电子文件标记装置，包括：
显示单元，显示电子文件；
取像单元，获取使用者的图像序列；
存储单元，存储该电子文件与该图像序列；以及
处理单元，耦接至该显示单元、该取像单元以及该存储单元，且执行校正模块、眼动追踪模块、点头检测模块与眨眼侦测检测模块来分析该图像序列，其中通过该校正模块依序接收多个校正图像，依据每一上述校正图像中的眼部区域的两个亮点位置，获得基准校正参数，基于上述校正图像来产生坐标转换矩阵，其中该坐标转换矩阵是用以将该眼部区域的坐标位置转换为该显示单元的坐标位置；通过该眼动追踪模块追踪该使用者的眼球的移动轨迹，并通过该点头侦测检测模块与该眨眼侦测检测模块来侦测检测该使用者是否产生第一特定动作或第二特定动作；
其中，在检测到该使用者产生该第一特定动作时，该眼动追踪模块取得该使用者当下的视线落在该电子文件的第一位置，并且该处理单元启动标记模块来执行标记动作，而从该第一位置开始并随着该眼球的移动轨迹而在该电子文件上进行标记；在检测到该使用者产生第二特定动作时，该眼动追踪模块取得该使用者当下的视线落在该电子文件的第二位置，并且该标记模块在该第二位置结束该标记动作。
8.根据权利要求7所述的装置，其特征在于，
上述校正图像分别为该使用者观看该显示单元的多个校正点所获得，上述两个亮点位置是在该取像单元获取每一上述校正图像时所形成，上述坐标转换矩阵是基于上述校正图像而通过透视转换法而产生，且该坐标转换矩阵是用以将该眼部区域的坐标位置转换为该显示单元的坐标位置。
9.根据权利要求7所述的装置，其特征在于，该眼动追踪模块检测该图像序列中的目前图像的该眼部区域，以获得在该目前图像中的瞳孔位置；依据该目前图像的该眼部区域的两个亮点位置，获得比对校正参数；依据该基准校正参数与该比对校正参数，获得动态补正参数；依据该目前图像中的上述两个亮点位置其中之一、该瞳孔位置以及该动态补正参数，计算眼球移动坐标；利用该坐标转换矩阵，转换该眼球移动坐标为对应于该显示单元的视线落点坐标；以及记录该视线落点坐标。
10.根据权利要求7所述的装置，其特征在于，该第一特定动作与该第二特定动作各自包括点头动作与眨眼动作至少其中之一，而该第二特定动作与该第一特定作动为相同或不相同。
11.根据权利要求7所述的装置，其特征在于，该标记动作包括调整亮度、添加底线及添加底色至少其中之一。
12.根据权利要求7所述的装置，其特征在于，该电子文件包括多个片段，而该标记模块依据每一上述片段的观看频率，对每一上述片段执行对应的该标记动作。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW102138755 | 2013-10-25 | ||
| TW102138755A TWI489320B (zh) | 2013-10-25 | 2013-10-25 | 電子文件標記方法及裝置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104571488A CN104571488A (zh) | 2015-04-29 |
| CN104571488B true CN104571488B (zh) | 2018-03-23 |
Family
ID=52994802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410054574.7A Active CN104571488B (zh) | 2013-10-25 | 2014-02-18 | 电子文件标记方法及装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9207762B2 (zh) |
| JP (1) | JP2015084221A (zh) |
| CN (1) | CN104571488B (zh) |
| TW (1) | TWI489320B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016163150A (ja) * | 2015-02-27 | 2016-09-05 | 株式会社リコー | 通信端末、面談システム、通信方法及びプログラム |
| TWI617948B (zh) * | 2015-07-24 | 2018-03-11 | 由田新技股份有限公司 | 用於眼部追蹤的校正模組及其方法及電腦可讀取紀錄媒體 |
| US10444972B2 (en) | 2015-11-28 | 2019-10-15 | International Business Machines Corporation | Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries |
| CN106991649A (zh) * | 2016-01-20 | 2017-07-28 | 富士通株式会社 | 对摄像装置所捕获的文档图像进行校正的方法和装置 |
| US10929478B2 (en) * | 2017-06-29 | 2021-02-23 | International Business Machines Corporation | Filtering document search results using contextual metadata |
| CN107357430A (zh) * | 2017-07-13 | 2017-11-17 | 湖南海翼电子商务股份有限公司 | 自动记录阅读位置的方法与装置 |
| US10782776B2 (en) * | 2017-09-28 | 2020-09-22 | Nissan North America, Inc. | Vehicle display configuration system and method |
| CN110017520B (zh) * | 2019-04-15 | 2020-04-10 | 宁波奥克斯厨电制造有限公司 | 一种抽油烟机眼球追踪控制方法、装置及抽油烟机 |
| CN110333779B (zh) * | 2019-06-04 | 2022-06-21 | Oppo广东移动通信有限公司 | 控制方法、终端和存储介质 |
| CN110244848B (zh) * | 2019-06-17 | 2021-10-19 | Oppo广东移动通信有限公司 | 阅读控制方法及相关设备 |
| TWI802216B (zh) * | 2022-01-11 | 2023-05-11 | 崑山科技大學 | 以眼球追蹤凸顯授課重點的方法、電腦程式產品及電腦可讀取媒體 |
| CN114898749B (zh) * | 2022-05-30 | 2024-05-14 | 中国第一汽车股份有限公司 | 一种汽车电子手册交互方法、装置及车辆 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101495945A (zh) * | 2006-07-28 | 2009-07-29 | 皇家飞利浦电子股份有限公司 | 用于被凝视物品的信息显示的凝视交互 |
| CN102292690A (zh) * | 2009-01-22 | 2011-12-21 | 阿尔卡特朗讯美国公司 | 电子数据输入系统 |
| CN102822771A (zh) * | 2010-01-21 | 2012-12-12 | 托比技术股份公司 | 基于眼球跟踪器的上下文动作 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0655203B2 (ja) * | 1992-07-09 | 1994-07-27 | 株式会社エイ・ティ・アール視聴覚機構研究所 | 視線検出を用いた医療診断装置 |
| US6954193B1 (en) * | 2000-09-08 | 2005-10-11 | Apple Computer, Inc. | Method and apparatus for correcting pixel level intensity variation |
| US7483532B2 (en) * | 2003-07-03 | 2009-01-27 | Microsoft Corporation | RTP payload format |
| US9274598B2 (en) * | 2003-08-25 | 2016-03-01 | International Business Machines Corporation | System and method for selecting and activating a target object using a combination of eye gaze and key presses |
| US7365738B2 (en) * | 2003-12-02 | 2008-04-29 | International Business Machines Corporation | Guides and indicators for eye movement monitoring systems |
| JP2007102360A (ja) * | 2005-09-30 | 2007-04-19 | Sharp Corp | 電子書籍装置 |
| US7429108B2 (en) * | 2005-11-05 | 2008-09-30 | Outland Research, Llc | Gaze-responsive interface to enhance on-screen user reading tasks |
| JP2007141059A (ja) * | 2005-11-21 | 2007-06-07 | National Institute Of Information & Communication Technology | 読書支援システム及びプログラム |
| JP4649319B2 (ja) * | 2005-11-21 | 2011-03-09 | 日本電信電話株式会社 | 視線検出装置、視線検出方法、および視線検出プログラム |
| JP4884417B2 (ja) * | 2008-04-01 | 2012-02-29 | 富士フイルム株式会社 | 携帯型電子装置及びその制御方法 |
| TW201201087A (en) * | 2010-06-23 | 2012-01-01 | Acer Inc | Method for controlling cursor |
| KR20120053803A (ko) * | 2010-11-18 | 2012-05-29 | 삼성전자주식회사 | 시선 궤적을 이용한 컨텐츠 표시 장치 및 방법 |
| JP2014077814A (ja) * | 2011-02-14 | 2014-05-01 | Panasonic Corp | 表示制御装置および表示制御方法 |
| KR101773845B1 (ko) * | 2011-05-16 | 2017-09-01 | 삼성전자주식회사 | 휴대용 단말기에서 입력 처리 방법 및 장치 |
| KR101850035B1 (ko) * | 2012-05-02 | 2018-04-20 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
| US20140009395A1 (en) * | 2012-07-05 | 2014-01-09 | Asustek Computer Inc. | Method and system for controlling eye tracking |
-
2013
- 2013-10-25 TW TW102138755A patent/TWI489320B/zh active
-
2014
- 2014-02-18 CN CN201410054574.7A patent/CN104571488B/zh active Active
- 2014-04-14 US US14/251,648 patent/US9207762B2/en active Active
- 2014-10-20 JP JP2014213733A patent/JP2015084221A/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101495945A (zh) * | 2006-07-28 | 2009-07-29 | 皇家飞利浦电子股份有限公司 | 用于被凝视物品的信息显示的凝视交互 |
| CN102292690A (zh) * | 2009-01-22 | 2011-12-21 | 阿尔卡特朗讯美国公司 | 电子数据输入系统 |
| CN102822771A (zh) * | 2010-01-21 | 2012-12-12 | 托比技术股份公司 | 基于眼球跟踪器的上下文动作 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015084221A (ja) | 2015-04-30 |
| US20150116201A1 (en) | 2015-04-30 |
| TWI489320B (zh) | 2015-06-21 |
| US9207762B2 (en) | 2015-12-08 |
| CN104571488A (zh) | 2015-04-29 |
| TW201516755A (zh) | 2015-05-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104571488B (zh) | 电子文件标记方法及装置 | |
| CN104516498B (zh) | 记录阅读行为的方法及装置 | |
| US10671156B2 (en) | Electronic apparatus operated by head movement and operation method thereof | |
| KR102013928B1 (ko) | 영상 변형 장치 및 그 방법 | |
| US10635167B2 (en) | Smooth pursuit gaze tracking | |
| US9288388B2 (en) | Method and portable terminal for correcting gaze direction of user in image | |
| JP5859645B2 (ja) | 画像処理装置及び画像処理方法 | |
| US10254831B2 (en) | System and method for detecting a gaze of a viewer | |
| US20180063397A1 (en) | Wearable device, control method and non-transitory storage medium | |
| TW201520807A (zh) | 頭戴式顯示裝置及其登入方法 | |
| JP2014517429A (ja) | ユーザの眼球の動きによって操作可能なコンピュータ装置、およびそのコンピュータ装置を操作する方法 | |
| US9013591B2 (en) | Method and system of determing user engagement and sentiment with learned models and user-facing camera images | |
| CN112667078B (zh) | 基于视线估计的多屏场景下鼠标快速控制方法、系统及计算机可读介质 | |
| TW201324435A (zh) | 資訊處理裝置，資訊處理方法及程式 | |
| CN104571487A (zh) | 监控方法、装置及系统 | |
| JP2019058367A (ja) | 爪輪郭検出装置、爪輪郭検出方法及び爪輪郭検出プログラム | |
| US9979891B2 (en) | Electronic device and method for capturing photo based on a preview ratio between an area of a capturing target and and area of a preview image | |
| CN105474070A (zh) | 头戴式显示设备及其控制方法 | |
| CN106201284B (zh) | 用户界面同步系统、方法 | |
| US10757337B2 (en) | Information processing apparatus and information processing method to control exposure for imaging the eye | |
| US20240078846A1 (en) | Grid-Based Enrollment for Face Authentication | |
| CN108108024A (zh) | 动态手势获取方法及装置、显示装置 | |
| JP2015135645A (ja) | 情報表示制御装置、情報表示制御方法及びプログラム | |
| CN106468944A (zh) | 非接触式控制系统及方法 | |
| US10943109B2 (en) | Electronic apparatus, method for controlling thereof and the computer readable recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |