CN104516498B - 记录阅读行为的方法及装置 - Google Patents
记录阅读行为的方法及装置 Download PDFInfo
- Publication number
- CN104516498B CN104516498B CN201410016802.1A CN201410016802A CN104516498B CN 104516498 B CN104516498 B CN 104516498B CN 201410016802 A CN201410016802 A CN 201410016802A CN 104516498 B CN104516498 B CN 104516498B
- Authority
- CN
- China
- Prior art keywords
- fragment
- attentively
- eyeball
- watch
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 73
- 230000006399 behavior Effects 0.000 claims abstract description 27
- 239000012634 fragment Substances 0.000 claims description 124
- 238000012937 correction Methods 0.000 claims description 51
- 210000001508 eye Anatomy 0.000 claims description 40
- 238000012544 monitoring process Methods 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 19
- 230000003542 behavioural effect Effects 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000007596 consolidation process Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 12
- 210000001747 pupil Anatomy 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 2
- 238000013459 approach Methods 0.000 claims 2
- 230000004424 eye movement Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 4
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ophthalmology & Optometry (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Eye Examination Apparatus (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种记录阅读行为的方法及装置。基于眼动追踪程序来追踪使用者的眼球的移动轨迹，以在监测到眼球的视线离开电子文件的注视片段时，计算注视片段的阅读时间，或者当监测到眼球持续注视于电子文件，而注视片段已阅读完毕时，计算注视片段的阅读时间。并且，记录阅读时间至与注视片段相对应的存储空间。
Description
技术领域
本发明是有关于一种浏览电子文件的方法及装置，且特别是有关于一种基于眼动追踪的记录阅读行为的方法及装置。
背景技术
随着信息的数字化，愈来愈多传统信息界面被电子产品所取代。例如，数字相框和数字相机取代了传统的相片和底片，而例如个人数字助理（Personal Digital Assistant，PDA）、智能手机、阅读器等的电子产品，则成为了新一代的文件阅读平台。使用者可以通过在同一台便携型电子产品中存放多个电子书等电子文件，改善了传统携带纸本书籍的不便性。并且，通过便携型电子产品可随时来观看其中的电子书。
而目前亦对应发展出几种针对电子书的控制方法。例如，美国专利号US7429108（专利文献1）提出一种阅读位置标记的方法。专利文献1是一种利用眼球追踪技术(gaze-tracking applications)的电子阅读记录器，能帮助用户寻找上次阅读的段落。另外，美国专利号US2013/0054622（专利文献2）提出一种分析眼球运动轨迹来对文件评分的方法。专利文献2是依据使用者的眼球轨迹，来排序文件。当使用者进行检索时，系统会依据使用者兴趣特征参数，对被检索到的文件进行评分，然后依据分数高低，排序这些被检索到的文件。
发明内容
本发明提供一种记录阅读行为的方法及装置，基于眼动追踪分析来记录阅读时间。
本发明的记录阅读行为的方法，包括：在显示单元显示电子文件，其中电子文件包括多个片段；通过取像单元来获取使用者的图像序列；对图像序列执行眼动追踪程序，以追踪使用者的眼球的移动轨迹；在监测到眼球注视于上述片段中的其中一注视片段时，监测眼球的视线是否离开注视片段；当监测到眼球的视线离开注视片段时，计算注视片段的阅读时间；当监测到眼球持续注视于电子文件，而注视片段已阅读完毕时，计算注视片段的阅读时间；以及记录阅读时间至与注视片段相对应的存储空间。
本发明的记录阅读行为的装置，包括：显示单元、取像单元、存储单元及处理单元。显示单元用以显示电子文件，其中电子文件包括多个片段。取像单元用以获取使用者的图像序列。存储单元用以存储电子文件与图像序列。处理单元耦接显示单元、取像单元及存储单元，并且通过对图像序列执行眼动追踪程序，以追踪使用者的眼球的移动轨迹。在监测到眼球注视于上述片段中的其中一注视片段时，处理单元监测眼球的视线是否离开注视片段；当监测到眼球的视线离开注视片段时，处理单元计算注视片段的阅读时间，并记录阅读时间至与注视片段相对应的存储空间。当监测到眼球持续注视于电子文件，而注视片段已阅读完毕时，处理单元计算注视片段的阅读时间，并记录阅读时间至与注视片段相对应的存储空间。
在本发明的一实施例中，还包括一行为分析模块，其由处理单元来进行驱动。行为分析模块包括：眼动追踪模块，对图像序列执行眼动追踪程序，以追踪使用者的眼球的移动轨迹；计时模块，计算阅读时间；以及记录模块，记录阅读时间。
在本发明的一实施例中，上述行为分析模块还包括校正模块。校正模块依序接收多个校正图像，其中上述校正图像分别为使用者观看显示单元的多个校正点所获得；并依据每一校正图像中的眼部区域的两个亮点位置，获得基准校正参数，其中上述两个亮点位置是在取像单元获取每一校正图像时所形成，进而基于校正图像而通过透视转换（perspective transformation）法来产生坐标转换矩阵，其中坐标转换矩阵是用以将眼部区域的坐标位置转换为显示单元的坐标位置。
在本发明的一实施例中，上述眼动追踪模块监测图像序列中的目前图像的眼部区域，以获得在目前图像中的瞳孔位置；依据目前图像的眼部区域的两个亮点位置，获得比对校正参数；依据基准校正参数与比对校正参数，获得动态补正参数；依据目前图像中的上述两个亮点位置其中之一、所述瞳孔位置以及所述动态补正参数，计算眼球移动坐标；利用坐标转换矩阵，转换眼球移动坐标为对应于显示单元的视线落点坐标；以及记录视线落点坐标。
在本发明的一实施例中，上述行为分析模块还包括文件整理模块。文件整理模块基于眼球的视线最后停留的视线落点坐标，计算注视片段目前的已阅读比例。而记录模块还可在监测到眼球的视线离开注视片段，且注视片段尚未阅读完毕时，记录注视片段目前的已阅读比例与眼球的视线最后停留的视线落点坐标至与注视片段相对应的存储空间。另外，文件整理模块还可基于视线落点坐标判断注视片段是否已阅读完毕。当监测到眼球持续注视于电子文件，而注视片段已阅读完毕时，计时模块基于已记录的阅读时间，合计注视片段全部的阅读时间。
在本发明的一实施例中，上述记录模块还可记录阅读每一片段的次数。
在本发明的一实施例中，上述行为分析模块还包括身份识别模块，用以识别使用者的身份，并且判断使用者对应的识别信息是否存在于数据库。当使用者对应的识别信息不存在数据库时，身份识别模块记录识别信息并建立对应于识别信息的存储空间。
在本发明的一实施例中，上述行为分析模块还包括提示模块。提示模块用以在显示单元中显示每一片段所对应的阅读时间、已阅读比例以及使用者的识别名称。
在本发明的一实施例中，上述行为分析模块还包括标记模块。标记模块用以对每一片段进行标记动作，以将每一片段标记上一已阅读完毕标志或一未阅读完毕标志或一尚未阅读标志。
基于上述，可记录下使用者观看电子文件的各个片段所花费的阅读时间，进而可提升阅读的便利性。并且，利用眼动追踪，使用者不需手动即可进行对应的操作，相当便利。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是依照本发明一实施例的记录阅读行为的装置的方块图；
图2是依照本发明一实施例的记录阅读行为的装置的示意图；
图3是依照本发明一实施例的存储单元的方块图；
图4是依照本发明一实施例的记录阅读行为的方法流程图；
图5是依照本发明一实施例的眼部区域的示意图；
图6A～图6C是依照本发明一实施例所列举三种记录表格的示意图。
附图标记说明：
100：记录阅读行为的装置；
110：取像单元；
120：显示单元；
130：存储单元；
140：处理单元；
310：行为分析模块；
311：眼动追踪模块；
312：计时模块；
313：记录模块；
314：校正模块；
315：文件整理模块；
316：身份识别模块；
317：提示模块；
318：标记模块；
G1、G2：亮点位置；
610、620、630：记录表格；
611～613、621：栏位；
631～634：标签页；
M1～M3：标志；
S405～S435：记录阅读行为的方法各步骤。
具体实施方式
图1是依照本发明一实施例的记录阅读行为的装置的方块图。请参照图1，记录阅读行为的装置100包括取像单元110、显示单元120、存储单元130以及处理单元140。其中，处理单元140耦接至取像单元110、显示单元120及存储单元130。
取像单元110例如为摄影机或照相机，其具有电荷耦合元件（Charge coupleddevice，CCD）镜头、互补金属氧化物半导体晶体管（Complementary metal oxidesemiconductor transistors，CMOS）镜头、或红外线镜头。取像单元110用以获取使用者的图像序列。
显示单元120例如为液晶显示器（Liquid-Crystal Display，LCD）、等离子显示器、真空荧光显示器、发光二极管（Light-Emitting Diode，LED）显示器、场发射显示器（FieldEmission Display，FED）和/或其他合适种类的显示器，在此并不限制其种类。
存储单元130例如是任意型式的固定式或可移动式随机存取存储器（RandomAccess Memory，RAM）、只读存储器（Read-Only Memory，ROM）、快闪存储器（Flash memory）、硬盘或其他类似装置或这些装置的组合。存储单元130中包括了多份电子文件，并且暂存由取像单元110所获取的图像序列。
处理单元140例如是中央处理单元（Central Processing Unit，CPU），或是其他可程序化之一般用途或特殊用途的微处理器（Microprocessor）、数字信号处理器（DigitalSignal Processor，DSP）、可程序化控制器、专用集成电路（Application SpecificIntegrated Circuits，ASIC）、可程序化逻辑装置（Programmable Logic Device，PLD）或其他类似装置或这些装置的组合。
上述装置100例如为智能手机、阅读器、平板电脑、个人电脑等电子装置。举例来说，图2是依照本发明一实施例的记录阅读行为的装置的示意图。在图2中，记录阅读行为的装置100为阅读器，在显示单元120（例如为触控屏幕）侧设置有取像单元110（例如，前置相机）。在显示单元120显示电子文件，并通过取像单元110来获取图像序列，之后，由处理单元140（未示出）对所获取的图像序列执行眼动追踪程序，借此监测使用者眼球的移动轨迹，进而根据眼球的移动轨迹来判断使用者目前是否注视于电子文件或注视于电子文件的哪个位置。
在实际应用上，存储单元130包括有一用来记录阅读行为的电脑程序产品。此电脑程序产品基本上是由多数个程序码片段所组成的（例如建立组织图程序码片段、签核表单程序码片段、设定程序码片段、以及部署程序码片段），并且这些程序码片段在载入电子装置中并执行之后，即可完成记录阅读行为的方法步骤与上述装置100的功能。
举例来说，图3是依照本发明一实施例的存储单元的方块图。请参照图3，存储单元130包用以执行记录阅读行为方法的行为分析模块310。行为分析模块310例如是由电脑程序语言所撰写的程序码片段，且上述程序码片段包括多个指令。通过处理单元140来执行上述程序码片段，进而来实现基于眼动追踪来记录使用者阅读电子文件的行为。
行为分析模块310包括：眼动追踪模块311、计时模块312、记录模块313、校正模块314、文件整理模块315、身份识别模块316、提示模块317以及标记模块318。可以知道的是，上述行为分析模块310所包括的各模块仅为其中一中实施方式，并不以此为限。
眼动追踪模块311用以对图像序列执行眼动追踪程序，以追踪使用者的眼球的移动轨迹。计时模块312用以计算各片段的阅读时间。记录模块313用以将阅读时间记录至对应的存储空间。校正模块314用以在进行眼动追踪程序之前，进行一校正程序。文件整理模块315用以基于眼球的视线落点坐标，判断各片段是否已阅读完毕以及计算已阅读比例。身份识别模块316用以识别目前在使用装置100的使用者的身份。提示模块317用以在显示单元120中显示各片段阅读行为的相关信息。标记模块318用以对每一片段进行标记动作，以将每一片段标记上已阅读完毕标志或未阅读完毕标志或尚未阅读标志。
以下即结合上述图1及图3来详细说明记录阅读行为方法的各步骤。图4是依照本发明一实施例的记录阅读行为的方法流程图。请同时参照图1、图3及图4，在步骤S405中，在显示单元120显示电子文件。在此，电子文件包括多个片段（part），上述片段例如为章节（chapter）、段落（paragraph）、小节（section）等。由此，使用者便可通过记录阅读行为的装置100来阅读电子文件。
接着，在步骤S410中，通过取像单元110来获取使用者的图像序列。例如，取像单元110为前置相机，以拍摄使用者的脸部图像，或者取像单元110已经过调整而可直接拍摄使用者的眼部图像。
之后，在步骤S415中，处理单元140便可开始对图像序列执行眼动追踪（eyetracking）程序，以追踪使用者的眼球的移动轨迹。眼动追踪程序是用以测量眼球位置与眼球移动信息。目前眼动追踪包括通过视频拍摄设备来获取眼睛的位置、使用探测线圈（search coil）或者基于眼动电波图（electrooculogram）等方法。
举例来说，在进行眼球位置的监测之前，通过校正模块314来执行校正程序。校正模块314依序接收多个校正图像。在此，上述校正图像分别为使用者观看显示单元120的多个校正点所获得。例如，以显示单元120左上、右上、左下、右下4个点作为校正点。在进行校正程序时，在显示单元120中提示使用者观看上述4个校正点，由此获得4张校正图像。而校正模块314依据每一张校正图像中的眼部区域的两个亮点位置，来获得基准校正参数。
举例来说，图5是依照本发明一实施例的眼部区域的示意图。在图5中包括两个亮点位置G1、G2。上述两个亮点位置G1、G2的形成是由于取像单元110中所设置的发光模块在眼球上所造成的反光。藉由每一张校正图像中的两个亮点位置G1、G2，来获得基准校正参数。校正参数例如为基于亮点位置G1、G2的一向量。之后，校正模块314基于校正图像而通过透视转换（perspective transformation）法来产生坐标转换矩阵，此坐标转换矩阵是用以将眼部区域的坐标位置转换为显示单元120的坐标位置。
眼动追踪模块311监测图像序列中的目前图像的眼部区域，以获得在目前图像中的瞳孔位置及两个亮点位置（以下称为亮点位置G1'、G2'（为示出））。并且，眼动追踪模块311依据目前图像的亮点位置G1'、G2'，获得比对校正参数，由此进一步依据基准校正参数（C1）与比对校正参数（C2），来获得动态补正参数（C3）。例如，动态补正参数为基准校正参数与比对校正参数的比率，即，C3=C2/C1。之后，眼动追踪模块311再依据目前图像中的亮点位置G1'（或亮点位置G2'）、瞳孔位置（例如以瞳孔中心的坐标来进行计算）以及动态补正参数，计算眼球移动坐标。例如，眼球移动坐标为(X',Y')。而眼动追踪模块311利用坐标转换矩阵，转换眼球移动坐标(X',Y')为对应于所述显示单元的视线落点坐标（例如，视线落点坐标为(Xs,Ys)），之后，记录视线落点坐标(Xs,Ys)。据此，通过所记录的多个视线落点坐标而可获得眼球的移动轨迹。
然后，在步骤S420中，处理单元140监测眼球的视线是否离开当前正在注视的其中一片段。即，在通过眼动追踪模块311监测到眼球正注视于电子文件中的其中一片段（以下称为注视片段）时，进一步监测眼球的视线是否离开注视片段。例如，眼动追踪模块311依据所获得的视线落点坐标来判断眼球的视线是否已离开或仍位于注视片段。
当监测到眼球的视线离开注视片段时，如步骤S425所示，由计时模块312来计算注视片段的阅读时间。之后，在步骤S435中，通过记录模块313来记录阅读时间至与注视片段相对应的存储空间。举例来说，在存储单元130中，设置有一数据库（或表格），在数据库中，对应于电子文件的各个片段而分别设置一存储空间（或栏位）。
例如，倘若使用者从注视片段的初始位置开始阅读，则所记录的阅读时间是从初始位置至视线最后停留的视线落点位置所经过的时间。又例如，倘若使用者并非由注视片段的初始位置开始阅读，则计时模块312还可进一步去读取先前所记录的阅读时间，并与本次所计算的阅读时间进行加总来获得注视片段的阅读时间。
另外，在步骤S420之后，当监测到眼球的视线离开注视片段，且注视片段尚未阅读完毕时，还可通过文件整理模块315基于眼球的视线最后停留的视线落点坐标，计算注视片段目前的已阅读比例。并且，还可通过记录模块313将注视片段目前的已阅读比例与眼球的视线最后停留的视线落点坐标记录至与注视片段相对应的存储空间。
另一方面，当监测到眼球的视线持续注视于注视片段时，如步骤S430所示，进一步判断注视片段是否已阅读完毕。例如，文件整理模块315基于视线落点坐标来判断注视片段是否已阅读完毕。例如，在汇入电子文件至装置100时，可通过文件整理模块315去分析电子文件中所包括的多个片段（例如以章节为例），并将各章节的起始位置与结束位置记录下来。据此，文件整理模块315在获得视线落点坐标之后，便可得知注视片段是否已阅读完毕。
当监测到眼球持续注视于电子文件，且注视片段已阅读完毕时，执行步骤S420，通过计时模块312来计算注视片段的阅读时间。此时，所计算的阅读时间例如为合计注视片段全部的阅读时间。例如，计时模块312会自与此注视片段相对应的存储空间读取已记录的阅读时间，并基于已记录的阅读时间来合计注视片段全部的阅读时间（总阅读时间）。
而在上述注视片段已阅读完毕，并切换至另一片段时，通过计时模块312来重新进行计。例如，直到监测到眼球的视线离开另一片段或此另一片段已阅读完毕为止，计算另一片段的阅读时间。此外，记录模块313还可进一步记录阅读每一片段的次数。或者，记录模块313可记录浏览此电子文件的次数。
值得一提的是，还可利用身份识别模块316来识别使用者的身份。例如，在存储单元130中设置有一存储使用者身份的识别信息的数据库。而身份识别模块316利用瞳孔辨识技术来识别使用者的身份，并判断此使用者对应的识别信息是否存在于数据库。当使用者对应的识别信息不存在数据库时，记录识别信息并建立对应于识别信息的存储空间。
后续还可利用提示模块317在显示单元120中显示每一片段所对应的阅读时间、已阅读比例以及使用者的识别名称。例如，以表格方式来显示上述各种信息。以下举三种呈现关于电子文件各片段的阅读状态来进行说明。图6A～图6C是依照本发明一实施例所列举三种记录表格的示意图。
图6A的记录表格610是以单一使用者为例，并以图形标志来表示各片段为已阅读完毕、未阅读完毕、或尚未阅读。记录表格610包括三个栏位611、612、613，栏位611表示各个片段（在此以章节为例）。栏位612表示各章节的阅读状况。在本实施例中，以标志M1、M2（以圆饼图的方式来呈现已阅读比例）、M3分别代表已阅读完毕、未阅读完毕及尚未阅读。栏位613表示各章节的阅读时间。其中，第四章为尚未阅读。
图6B的记录表格620还进一步列出了观看各章节的使用者的识别名称，并且，将各片段的阅读状况以百分比来取代图形标志的使用。而记录表格620除了包括栏位611、612、613，还包括了栏位621。栏位621是用来记录观看各章节的使用者。如图6B所示，第一、第二、第三章是分别由使用者“A”、使用者“B”及使用者“C”来阅读。例如，在身份识别模块316辨识出目前正在浏览电子文件的使用者为首次识别出（数据库中尚无对应的识别信息）时，可进一步要求使用者输入其对应的名字、代号或昵称等识别名称，并将识别名称填入栏位621对应的章节中。
另外，图6C的记录表格630则针对不同的使用者而建立不同的标签页。在此以4个标签页631～634为例，标签页631对应至使用者“A”，标签页632对应至使用者“B”，标签页633对应至使用者“C”，标签页634对应至使用者“D”。每一个标签页皆包括有栏位611～613。
综上所述，通过上述实施例，利用取像单元来拍摄使用者的眼睛，利用眼动追踪程序来追踪眼球的视线落点坐标，进而判断目前注视的片段是否已阅读完毕，并在视线离开电子文件时进一步记录阅读时间。并且，还可针对不同使用者观看电子文件的各个片段各自所花费的阅读时间。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (19)
1.一种记录阅读行为的方法，其特征在于，包括：
在显示单元显示电子文件，其中所述电子文件包括多个片段；
通过取像单元来获取使用者的图像序列；
对所述图像序列执行眼动追踪程序，以追踪所述使用者的眼球的移动轨迹；
在监测到所述眼球注视于所述片段中的其中一注视片段时，监测所述眼球的视线是否离开所述注视片段；
当监测到所述眼球的视线离开所述注视片段时，计算所述注视片段的阅读时间，其中所述阅读时间是从所述眼球注视于所述注视片段的初始位置开始到所述眼球的视线离开所述注视片段时的时间；
当监测到所述眼球持续注视于所述电子文件，而所述注视片段已阅读完毕时，计算所述注视片段的所述阅读时间；以及
记录所述阅读时间至与所述注视片段相对应的存储空间。
2.根据权利要求1所述的方法，其特征在于，所述眼动追踪程序包括校正程序，而所述校正程序包括：
依序接收多个校正图像，其中所述校正图像分别为所述使用者观看所述显示单元的多个校正点所获得；
依据每一所述校正图像中的眼部区域的两个亮点位置，获得基准校正参数，其中上述两个亮点位置是在所述取像单元获取每一所述校正图像时所形成；以及
基于所述校正图像而通过透视转换法来产生坐标转换矩阵，其中所述坐标转换矩阵是用以将所述眼部区域的坐标位置转换为所述显示单元的坐标位置。
3.根据权利要求2所述的方法，其特征在于，追踪所述使用者的所述眼球的所述移动轨迹的步骤包括：
监测所述图像序列中的目前图像的所述眼部区域，以获得在所述目前图像中的瞳孔位置；
依据所述目前图像的所述眼部区域的两个亮点位置，获得比对校正参数；
依据所述基准校正参数与所述比对校正参数，获得动态补正参数；
依据所述目前图像中的上述两个亮点位置其中之一、所述瞳孔位置以及所述动态补正参数，计算眼球移动坐标；
利用所述坐标转换矩阵，转换所述眼球移动坐标为对应于所述显示单元的视线落点坐标；以及
记录所述视线落点坐标。
4.根据权利要求1所述的方法，其特征在于，还包括：
当监测到所述眼球的视线离开所述注视片段，且所述注视片段尚未阅读完毕时，记录所述注视片段目前的已阅读比例与所述眼球的视线最后停留的视线落点坐标至与所述注视片段相对应的所述存储空间。
5.根据权利要求4所述的方法，其特征在于，还包括：
基于所述阅读比例对每一所述片段进行标记动作，以将每一所述片段标记上已阅读完毕标志或未阅读完毕标志或尚未阅读标志。
6.根据权利要求1所述的方法，其特征在于，当监测到所述眼球持续注视于所述电子文件，而所述注视片段已阅读完毕时，计算所述注视片段的所述阅读时间包括：
基于自与所述注视片段相对应的所述存储空间读取已记录的所述阅读时间，合计所述注视片段全部的所述阅读时间。
7.根据权利要求1所述的方法，其特征在于，还包括：
记录阅读每一所述片段的次数。
8.根据权利要求1所述的方法，其特征在于，在所述显示单元显示所述电子文件的步骤之后，还包括：
识别所述使用者的身份；
判断所述使用者对应的识别信息是否存在于数据库；以及
当所述使用者对应的所述识别信息不存在所述数据库时，记录所述识别信息并建立对应于所述识别信息的所述存储空间。
9.根据权利要求8所述的方法，其特征在于，还包括：
在所述显示单元中显示每一所述片段所对应的所述阅读时间、已阅读比例以及所述使用者的识别名称。
10.一种记录阅读行为的装置，其特征在于，包括：
显示单元，显示电子文件，其中所述电子文件包括多个片段；
取像单元，获取使用者的图像序列；
存储单元，存储所述电子文件与所述图像序列；以及
处理单元，耦接所述显示单元、所述取像单元及所述存储单元，并且通过对所述图像序列执行眼动追踪程序，以追踪所述使用者的眼球的移动轨迹；
其中，在监测到所述眼球注视于所述片段中的其中注视片段时，所述处理单元监测所述眼球的视线是否离开所述注视片段；当监测到所述眼球的视线离开所述注视片段时，所述处理单元计算所述注视片段的阅读时间，并记录所述阅读时间至与所述注视片段相对应的存储空间，其中所述阅读时间是从所述眼球注视于所述注视片段的初始位置开始到所述眼球的视线离开所述注视片段时的时间；当监测到所述眼球持续注视于所述电子文件，而所述注视片段已阅读完毕时，所述处理单元计算所述注视片段的所述阅读时间，并记录所述阅读时间至与所述注视片段相对应的所述存储空间。
11.根据权利要求10所述的装置，其特征在于，还包括：行为分析模块，由所述处理单元来进行驱动，其中所述行为分析模块包括：
眼动追踪模块，对所述图像序列执行所述眼动追踪程序，以追踪所述使用者的所述眼球的所述移动轨迹；
计时模块，计算所述阅读时间；以及
记录模块，记录所述阅读时间。
12.根据权利要求11所述的装置，其特征在于，所述行为分析模块还包括校正模块，
其中，所述校正模块依序接收多个校正图像，其中所述校正图像分别为所述使用者观看所述显示单元的多个校正点所获得，并依据每一所述校正图像中的眼部区域的两个亮点位置，获得基准校正参数，其中上述两个亮点位置是在所述取像单元获取每一所述校正图像时所形成，进而基于所述校正图像而通过透视转换法来产生坐标转换矩阵，其中所述坐标转换矩阵是用以将所述眼部区域的坐标位置转换为所述显示单元的坐标位置。
13.根据权利要求12所述的装置，其特征在于，所述眼动追踪模块监测所述图像序列中的目前图像的所述眼部区域，以获得在所述目前图像中的瞳孔位置；依据所述目前图像的所述眼部区域的两个亮点位置，获得比对校正参数；依据所述基准校正参数与所述比对校正参数，获得动态补正参数；依据所述目前图像中的上述两个亮点位置其中之一、所述瞳孔位置以及所述动态补正参数，计算眼球移动坐标；利用所述坐标转换矩阵，转换所述眼球移动坐标为对应于所述显示单元的视线落点坐标；以及记录所述视线落点坐标。
14.根据权利要求11所述的装置，其特征在于，所述行为分析模块还包括：
文件整理模块，基于所述眼球的视线最后停留的视线落点坐标，计算所述注视片段目前的已阅读比例；
其中，所述记录模块还包括当监测到所述眼球的视线离开所述注视片段，且所述注视片段尚未阅读完毕时，记录所述注视片段目前的所述已阅读比例与所述眼球的视线最后停留的所述视线落点坐标至与所述注视片段相对应的所述存储空间。
15.根据权利要求14所述的装置，其特征在于，所述文件整理模块基于所述视线落点坐标判断所述注视片段是否已阅读完毕，
其中，当监测到所述眼球持续注视于所述电子文件，而所述注视片段已阅读完毕时，所述计时模块基于已记录的所述阅读时间，合计所述注视片段全部的所述阅读时间。
16.根据权利要求11所述的装置，其特征在于，所述记录模块还记录阅读每一所述片段的次数。
17.根据权利要求11所述的装置，其特征在于，所述行为分析模块还包括：
身份识别模块，识别所述使用者的身份，并且判断所述使用者对应的识别信息是否存在于数据库，
其中，当所述使用者对应的所述识别信息不存在所述数据库时，所述身份识别模块记录所述识别信息并建立对应于所述识别信息的所述存储空间。
18.根据权利要求17所述的装置，其特征在于，所述行为分析模块还包括：
提示模块，在所述显示单元中显示每一所述片段所对应的所述阅读时间、已阅读比例以及所述使用者的识别名称。
19.根据权利要求11所述的装置，其特征在于，所述行为分析模块还包括：
标记模块，对每一所述片段进行标记动作，以将每一所述片段标记上已阅读完毕标志或未阅读完毕标志或尚未阅读标志。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW102136043 | 2013-10-04 | ||
| TW102136043A TWI550438B (zh) | 2013-10-04 | 2013-10-04 | 記錄閱讀行爲的方法及裝置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104516498A CN104516498A (zh) | 2015-04-15 |
| CN104516498B true CN104516498B (zh) | 2018-03-09 |
Family
ID=52776638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410016802.1A Active CN104516498B (zh) | 2013-10-04 | 2014-01-14 | 记录阅读行为的方法及装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9672421B2 (zh) |
| JP (1) | JP5898747B2 (zh) |
| CN (1) | CN104516498B (zh) |
| TW (1) | TWI550438B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108734611A (zh) * | 2018-05-25 | 2018-11-02 | 武汉市华太培文教育科技有限公司 | 判断用户阅读熟悉度的系统及方法 |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9829972B2 (en) * | 2014-03-12 | 2017-11-28 | Lenovo (Singapore) Pte. Ltd. | Eye tracking for automatically updating document status |
| CN104820559B (zh) * | 2015-05-12 | 2018-03-13 | 亚太智媒（北京）科技有限公司 | 一种阅读进度定位方法及装置 |
| US10629086B2 (en) * | 2015-06-09 | 2020-04-21 | International Business Machines Corporation | Providing targeted, evidence-based recommendations to improve content by combining static analysis and usage analysis |
| CN104883622A (zh) * | 2015-06-23 | 2015-09-02 | 联想(北京)有限公司 | 一种显示处理方法及电子设备 |
| US10853823B1 (en) | 2015-06-25 | 2020-12-01 | Adobe Inc. | Readership information of digital publications for publishers based on eye-tracking |
| CN105159465B (zh) * | 2015-10-16 | 2019-08-30 | 北京京东尚科信息技术有限公司 | 用户阅读理解度监测方法及系统 |
| CN105528577B (zh) * | 2015-12-04 | 2019-02-12 | 深圳大学 | 基于智能眼镜的识别方法 |
| CN106169063B (zh) * | 2016-06-22 | 2019-11-26 | 江苏大学 | 一种自动识别用户阅读兴趣区的方法 |
| JP6691847B2 (ja) * | 2016-07-20 | 2020-05-13 | シュナイダーエレクトリックホールディングス株式会社 | 表示制御方法 |
| CN107291339B (zh) * | 2017-05-27 | 2020-04-14 | 北京集创北方科技股份有限公司 | 一种显示控制方法、计算机可读介质和电子设备 |
| TWI691941B (zh) * | 2018-02-13 | 2020-04-21 | 林俊毅 | 邏輯思考能力之檢測系統及其方法 |
| US10078954B1 (en) | 2018-03-14 | 2018-09-18 | Culin Tate | Reading tracking system |
| CN108498068A (zh) * | 2018-04-18 | 2018-09-07 | 北京中启睿宝教育科技有限公司 | 一种基于眼动特征的儿童共同注意分析方法 |
| CN108984489B (zh) * | 2018-07-17 | 2023-02-28 | 北京七鑫易维信息技术有限公司 | 用于电子文档的阅读方法、装置、终端设备及存储介质 |
| CN109118401A (zh) * | 2018-08-31 | 2019-01-01 | 北京中启睿宝教育科技有限公司 | 一种基于眼动特征的儿童阅读分析系统及方法 |
| CN110244848B (zh) * | 2019-06-17 | 2021-10-19 | Oppo广东移动通信有限公司 | 阅读控制方法及相关设备 |
| CN110287925A (zh) * | 2019-06-29 | 2019-09-27 | Oppo广东移动通信有限公司 | 阅读翻页控制方法及相关产品 |
| TWI737046B (zh) * | 2019-11-25 | 2021-08-21 | 石廷宇 | 線上訓練閱讀能力之方法及其系統 |
| JP6908297B2 (ja) * | 2019-12-25 | 2021-07-21 | Ｎｅｃプラットフォームズ株式会社 | 業務管理システム、業務管理方法、及び業務管理プログラム |
| CN111291972A (zh) * | 2020-01-17 | 2020-06-16 | 深圳大圆影业有限公司 | 一种基于大数据的全产业链的电影评价方法及系统 |
| CN112927784B (zh) * | 2021-03-16 | 2022-08-12 | 麦克奥迪(厦门)医疗大数据有限公司 | 一种数字化病理系统中病理切片浏览路径记录方法 |
| TWI779842B (zh) * | 2021-09-22 | 2022-10-01 | 宏碁股份有限公司 | 立體顯示裝置及其顯示方法 |
| TWI802216B (zh) * | 2022-01-11 | 2023-05-11 | 崑山科技大學 | 以眼球追蹤凸顯授課重點的方法、電腦程式產品及電腦可讀取媒體 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100338556C (zh) * | 2002-03-19 | 2007-09-19 | 电子图书系统有限公司 | 用于分析电子文档的读者的阅读模式的方法和系统 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002132632A (ja) | 2000-10-25 | 2002-05-10 | Fuji Xerox Co Ltd | 閲覧料金管理装置、閲覧料金管理システム、閲覧料金管理方法及びコンピュータ読み取り可能な記録媒体 |
| US7306337B2 (en) * | 2003-03-06 | 2007-12-11 | Rensselaer Polytechnic Institute | Calibration-free gaze tracking under natural head movement |
| US8271865B1 (en) | 2005-09-19 | 2012-09-18 | Google Inc. | Detection and utilization of document reading speed |
| US7429108B2 (en) * | 2005-11-05 | 2008-09-30 | Outland Research, Llc | Gaze-responsive interface to enhance on-screen user reading tasks |
| JP4399607B2 (ja) | 2006-02-13 | 2010-01-20 | 国立大学法人埼玉大学 | 視線制御表示装置と表示方法 |
| JP5089940B2 (ja) * | 2006-08-29 | 2012-12-05 | 株式会社トプコン | 眼球運動測定装置、眼球運動測定方法及び眼球運動測定プログラム |
| TWI398796B (zh) * | 2009-03-27 | 2013-06-11 | Utechzone Co Ltd | Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking |
| JP5558983B2 (ja) | 2010-09-15 | 2014-07-23 | Ｎｅｃカシオモバイルコミュニケーションズ株式会社 | 画面表示装置、画面表示制御方法及び画面表示制御プログラム並びに情報端末装置 |
| JP5535038B2 (ja) | 2010-11-02 | 2014-07-02 | シャープ株式会社 | 電子書籍表示装置、書籍一覧プログラムおよびコンピュータ読み取り可能な記録媒体 |
| CN102081503B (zh) * | 2011-01-25 | 2013-06-26 | 汉王科技股份有限公司 | 基于视线追踪自动翻页的电子阅读器及其方法 |
| CN102087582B (zh) * | 2011-01-27 | 2012-08-29 | 广东威创视讯科技股份有限公司 | 一种自动滚屏的方法及装置 |
| JP2013003740A (ja) | 2011-06-14 | 2013-01-07 | Sharp Corp | コンテンツ再生装置、コンテンツ再生方法およびコンテンツ再生プログラム |
| CN103782251A (zh) * | 2011-06-24 | 2014-05-07 | 汤姆逊许可公司 | 利用用户的眼球运动可操作的计算机设备和操作该计算机设备的方法 |
| US8719278B2 (en) | 2011-08-29 | 2014-05-06 | Buckyball Mobile Inc. | Method and system of scoring documents based on attributes obtained from a digital document by eye-tracking data analysis |
| US9026934B1 (en) * | 2011-09-29 | 2015-05-05 | Amazon Technologies, Inc. | Dynamic character biographies |
| US20140325407A1 (en) * | 2013-04-25 | 2014-10-30 | Microsoft Corporation | Collection, tracking and presentation of reading content |
| CN103268152A (zh) * | 2013-05-30 | 2013-08-28 | 苏州福丰科技有限公司 | 一种阅读方法 |
| US9697562B2 (en) * | 2013-06-07 | 2017-07-04 | International Business Machines Corporation | Resource provisioning for electronic books |
| CN103336576B (zh) * | 2013-06-28 | 2016-12-28 | 广州爱九游信息技术有限公司 | 一种基于眼动追踪进行浏览器操作的方法及装置 |
-
2013
- 2013-10-04 TW TW102136043A patent/TWI550438B/zh active
-
2014
- 2014-01-14 CN CN201410016802.1A patent/CN104516498B/zh active Active
- 2014-02-13 US US14/179,555 patent/US9672421B2/en not_active Expired - Fee Related
- 2014-10-01 JP JP2014202988A patent/JP5898747B2/ja active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100338556C (zh) * | 2002-03-19 | 2007-09-19 | 电子图书系统有限公司 | 用于分析电子文档的读者的阅读模式的方法和系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108734611A (zh) * | 2018-05-25 | 2018-11-02 | 武汉市华太培文教育科技有限公司 | 判断用户阅读熟悉度的系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI550438B (zh) | 2016-09-21 |
| US9672421B2 (en) | 2017-06-06 |
| TW201514759A (zh) | 2015-04-16 |
| CN104516498A (zh) | 2015-04-15 |
| JP2015079498A (ja) | 2015-04-23 |
| US20150097938A1 (en) | 2015-04-09 |
| JP5898747B2 (ja) | 2016-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104516498B (zh) | 记录阅读行为的方法及装置 | |
| CN103336576B (zh) | 一种基于眼动追踪进行浏览器操作的方法及装置 | |
| CN104571488B (zh) | 电子文件标记方法及装置 | |
| Zhong et al. | Regionspeak: Quick comprehensive spatial descriptions of complex images for blind users | |
| US8285006B2 (en) | Human face recognition and user interface system for digital camera and video camera | |
| CN109769397A (zh) | 生物识别认证的实现 | |
| CN107818180A (zh) | 视频关联方法、视频显示方法、装置及存储介质 | |
| CN109154860A (zh) | 情感/认知状态触发记录 | |
| CN109343700B (zh) | 眼动控制校准数据获取方法和装置 | |
| CN106415559A (zh) | 健康数据聚合器 | |
| US10169702B2 (en) | Method for searching relevant images via active learning, electronic device using the same | |
| CN102906671A (zh) | 手势输入装置及手势输入方法 | |
| CN106249909A (zh) | 语言输入校正 | |
| CN103782251A (zh) | 利用用户的眼球运动可操作的计算机设备和操作该计算机设备的方法 | |
| CN110162599A (zh) | 招聘面试方法、装置及计算机可读存储介质 | |
| US10726358B2 (en) | Identification of individuals and/or times using image analysis | |
| CN106406708A (zh) | 一种显示方法及移动终端 | |
| US11810136B2 (en) | Systems and methods for assessing implicit associations | |
| US20100068685A1 (en) | System for evaluating cognitive ability of a subject | |
| CN106096511A (zh) | 一种指纹拍照处理方法及装置 | |
| CN108986137A (zh) | 人体跟踪方法、装置及设备 | |
| CN106096043A (zh) | 一种拍照方法和移动终端 | |
| CN103946887A (zh) | 注视位置估计系统、注视位置估计系统的控制方法、注视位置估计装置、注视位置估计装置的控制方法、程序以及信息存储介质 | |
| CN110476180A (zh) | 用于提供基于文本阅读的奖励型广告服务的方法及用于实行该方法的用户终端 | |
| KR101700569B1 (ko) | 제스처 기반의 사용자 인증이 가능한 hmd 장치 및 상기 hmd 장치의 제스처 기반의 사용자 인증 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |