CN106897426A - 基于眼球追踪技术的特定数据生成系统及方法 - Google Patents

基于眼球追踪技术的特定数据生成系统及方法 Download PDF

Info

Publication number
CN106897426A
CN106897426A CN201710106603.3A CN201710106603A CN106897426A CN 106897426 A CN106897426 A CN 106897426A CN 201710106603 A CN201710106603 A CN 201710106603A CN 106897426 A CN106897426 A CN 106897426A
Authority
CN
China
Prior art keywords
information
customizing messages
eyeball tracking
eye
specific data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710106603.3A
Other languages
English (en)
Inventor
励放
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yu Kai Mdt Infotech Ltd
Original Assignee
Shanghai Yu Kai Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yu Kai Mdt Infotech Ltd filed Critical Shanghai Yu Kai Mdt Infotech Ltd
Priority to CN201710106603.3A priority Critical patent/CN106897426A/zh
Publication of CN106897426A publication Critical patent/CN106897426A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于眼球追踪技术的特定信息生成系统，包括：眼球追踪模块，用于在用户阅读信息时获取眼球追踪信息；特定信息锁定模块，用于基于眼球追踪信息及预设的标准锁定特定信息；以及特定数据生成模块，基于特定信息在数据库中检索、匹配、生成特定数据。

Description

基于眼球追踪技术的特定数据生成系统及方法
技术领域
本申请计算机领域，尤其涉及基于眼球追踪技术的特定数据生成系统及方法。
背景技术
在语言学习或者专业知识学习时，阅读文章信息资料是非常必要的，也是学好语言和专业技术必不可少的手段。在阅读阶段，难免会遇到新的单词、新的短语、新的专业术语等，而这些新的单词、新的短语、新的专业术语是学习者阅读的障碍。因此背诵、记忆、理解新的单词、新的短语、新的专业术语是学习好一种语言或者专业知识的基础。
以学习英语为例，以前学习者通过主动或被动的背诵单词来获得词汇量，但脱离文章单纯背诵词汇不仅效率较低，也不利于学习者深刻的理解词汇的含义和用法。所以现有的英语培训机构、学校等都提出了不同的英语单词记忆方法，推出了对应的培训教材、书籍等，以帮助英语学习者提高记忆效率，对应地，市场上也存在大量的英语学习书籍和电子设备。英语学得好的人，一般说来，都读过相当数量的书。然而，大部分英语学习人士都视英语阅读为苦事，因为在英语文章阅读过程中不可避免地会出现大量不认识的英文单词或短语。这些英文单词或短语打断了英语学习人士的阅读思路，影响阅读速度，甚至扼杀阅读的兴趣。
另一方面，在日常工作中，在阅读英文资料时，例如英文信函、设备的英文说明书、英文科技文章等等，会遇到各种不认识的单词和/或短语，每次遇到疑难词汇时，停下来查字典或搜索网络，同样会影响阅读速度，降低工作效率。
与此同时，随着科学技术的不断进步，很多仿生学、神经网络技术能很好跟踪用户的行为和习惯，如眼球追踪技术就可以发现和锁定用户阅读时眼部的特征信息。但目前还没有人基于这些特征信息来辅助语言学习或者专业知识学习提出过很好的解决方案。
现有技术的语言或专业知识学习以及工作辅助系统、方法或装置无法将用户阅读时的实时眼球追踪信息与用户的阅读障碍进行相关和/或匹配，不能在用户遇到阅读障碍时自动实时地提供学习和/或辅助资料。
发明内容
针对现有技术的不足，在一个实施例中，本申请提出一种基于眼球追踪技术的特定信息生成系统，包括：眼球追踪模块，用于在用户阅读信息时获取眼球追踪信息；特定信息锁定模块，用于基于眼球追踪信息及预设的标准锁定特定信息；以及特定数据生成模块，基于特定信息在数据库中检索、匹配、生成特定数据。
进一步地，所述的眼球追踪模块包括眼动信息获取单元，用于获取用户眼动信息；眼球追踪计算单元，用于计算获取与眼动信息实时匹配的用户界面显示信息；以及眼球追踪信息输出单元，用于将眼球追踪信息存储和/或输出到特定位置。
进一步地，所述的眼动信息获取单元为红外设备和图像采集设备。
进一步地，所述的眼动信息包括注视点持续时间、总注视时间、注视频率、平均眼跳幅度、回视次数、瞳孔直径、虹膜角度、眼球运动速度、眼球运动加速度中的一种或多种。
进一步地，所述的眼球追踪信息包括眼动信息和与眼动信息实时匹配的用户界面显示信息。
进一步地，所述的特定信息锁定模块包括眼球追踪信息接收单元，用于接收和/或调用眼球追踪信息；特定信息判定单元，基于预设的标准判定与眼动信息实时匹配的用户界面显示信息是否为特定信息。
进一步地，所述的特定信息锁定模块包括特定信息输出单元，用于将特定信息存储和/或输出到特定位置。
进一步地，所述的特定数据生成模块包括：特定信息接收单元，用于接收和/或调用特定信息；数据库，其中所述的数据库为单词和/或短语数据库，所述单词和/或短语数据库中存储一定量的英文单词或短语的难度值、读音、含义、用法、词族和/或例句信息；匹配单元，用于将所述特定信息在所述数据库中进行搜索和匹配；以及生成单元，用于利用数据库中存储的关于所述特定信息的信息形成特定数据。
进一步地，该系统还包括用户界面，用于向用户显示所述阅读信息并且实时或延时显示所述特定数据。
在另一个实施例中，本申请提供一种基于眼球追踪技术的特定数据生成方法，包括：向用户提供阅读信息；追踪用户阅读时的眼球追踪信息；基于眼球追踪信息以及预设的标准判断是否为特定信息；基于特定信息按照预先设定的标准在数据库检索、匹配、生成特定数据。
在该实施例中，进一步地，所述的阅读信息存储于阅读设备内。
在该实施例中，进一步地，所述的阅读信息是阅读设备基于信息对应的一维码、二维码的值、其他识别特征、链接下载的信息。
在该实施例中，进一步地，所述的阅读信息是阅读设备基于摄像功能获取的图片信息，通过字符识别方法将输入图像中的文字转换成文本格式的阅读信息。
在该实施例中，进一步地，所述的眼球追踪信息为用户在阅读时眼动信息，以及与眼动信息所实时对应的用户界面显示信息。
在该实施例中，进一步地，所述的眼动信息包括注视点持续时间、总注视时间、注视频率、平均眼跳幅度、回视次数、瞳孔直径、虹膜角度、眼球运动速度、眼球运动加速度中的一种或多种。
在该实施例中，进一步地，所述的预设的标准为眼球虹膜特征突变超过设定的阈值H。
在该实施例中，进一步地，所述的预设的标准为眼球运动速度小于设定的阈值V和/或注视点持续时间大于设定的阈值T。
在该实施例中，进一步地，所述的特定信息为基于眼球追踪信息锁定的单词或短语。
在该实施例中，进一步地，所述的特定数据为单词/短语的难度等级、读音、含义、用法、词族和/或例句信息。
在该实施例中，进一步地，所述的输出特定数据是在阅读设备的用户界面实时和或延时显示特定数据。
在该实施例中，进一步地，所述的输出特定数据是通过第三方软件发送特定数据至特定位置。
本发明公开的系统和方法能有效地提高单词学习和记忆效果。
附图说明
为了进一步阐明本发明的各实施例的以上和其它优点及特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。在附图中，为了清楚明了，相同或相应的部件将用相同或类似的标记表示。
图1示出根据本发明的一个实施例的基于眼球追踪技术的特定数据生成系统100的示意图。
图2示出根据本发明的一个实施例的用于眼球追踪信息追踪获取的眼球追踪模块200的示意图。
图3示出根据本发明的一个实施例的用于基于眼球追踪信息的特定信息锁定模块300的示意图。
图4示出根据本发明的一个实施例的基于特定信息生成输出数据的特定数据生成模块400的示意图。
图5示出根据本发明的一个实施例的基于眼球追踪技术的特定数据生成系统的交互系统500的示意图。
图6示出根据本发明的一个实施例的基于眼球追踪技术的特定数据生成方法的流程图600。
具体实施方式
在以下的描述中，参考各实施例对本发明进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、系统或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的结构、单元或操作以免使本发明的各实施例的诸方面晦涩。类似地，为了解释的目的，阐述了特定结构和配置，以便提供对本发明的实施例的全面理解。然而，本发明可在没有特定细节的情况下实施。此外，应理解附图中示出的各实施例是说明性表示且不一定按比例绘制。
在本说明书中，对“一个实施例”或“该实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。在本说明书各处中出现的短语“在一个实施例中”并不一定全部指代同一实施例。
本发明提出的一种基于眼球追踪技术的特定数据生成系统和方法，可以利用眼球追踪技术，确定用户眼球在阅读某种语言文章或若干段落时在遇到某个单词和/或短语时的眼球特征的变化、眼球运动速度的快慢、眼球运动停滞时间长短等信息，基于预设的阈值或算法，锁定特定的单词和/或短语；在数据库中搜索这些单词和/或短语并进行匹配；基于特定标准，挑选出若干单词和/或短语，利用这些单词和/或短语的读音、含义、用法、词族、例句等信息，生成特定的学习资料；通过用户界面实时、延时输出，或者基于第三方发送到特定位置。
通过本发明公开的系统和方法，当用户在阅读一种语言文章或段落时，可以对用户存在阅读障碍的单词和/或短语进行自动锁定，并实时或者延时输出该单词和/或短语的期望信息，从而有利于该语言阅读和学习，提高工作和学习的效率。
图1示出根据本发明的一个实施例的基于眼球追踪技术的特定数据生成系统100的示意图。该系统100可以被包含在终端和/或服务器中，或者被装配在网络节点上。
参照图1，基于眼球追踪技术的特定数据生成系统100进一步包括眼球追踪模块110、特定信息锁定模块120、特定数据生成模块130以及输出模块140。
眼球追踪模块110追踪用户的眼动信息，并基于眼动信息实时匹配终端设备的用户界面中所显示的信息，最终存储或输出到特定位置，以供进一步的应用模块调用。
图2示出的是眼球追踪模块200(110)进一步的构成示意图，眼球追踪模块200进一步包括眼动信息获取单元210、眼球追踪计算单元220以及眼球追踪信息输出单元230。
眼球追踪技术的基本原理是当人的眼睛看向不同方向时，眼部会有细微的变化，这些变化会产生可以提取的特征，计算机可以通过主动或被动的传感器来捕捉或扫描提取这些特征信号，从而实时追踪眼睛的变化，这类传感器及附属装置即为眼动信息获取单元210，具体可以是红外设备和/或图像采集设备，例如电子终端上的相机。
在通过眼球追踪技术跟踪用户的眼球特征过程中，主要关注的指标包括注视点持续时间、总注视时间、注视频率、平均眼跳幅度、回视次数、瞳孔直径、虹膜角度、运动速度、运动加速度等。
当词汇和/或句法难度增加时，语义通达和整合需要花费的时间增多，因此注视时间长。另外，注视次数、总注视时间、瞳孔直径随句法难度增加而增加。
通过对比研究发现，对英语专业与非英语专业大学生英语阅读进行眼球追踪，英语专业大学生阅读英文短文的内容的注视时间、注视次数、注视点持续时间均少于非英语专业学生。熟练程度不同的学习者在阅读时的眼动特征的差异直接反映出用户的能力不同。
在获取到眼动信息后，眼球追踪计算单元220通过预设的或训练的算法和/或程序进行基于眼动信息的计算、匹配，确定与眼动信息实时匹配的用户界面显示信息，眼动信息以及与眼动信息实时匹配的用户界面显示信息一起构成眼球追踪信息。例如，可通过眼球追踪技术，将注视点持续时间与用户界面显示信息中被注视部分进行实时匹配；将回视次数与用户界面显示信息的被回视部分进行实时匹配。
在获取和计算出上述的眼球追踪信息后，眼球追踪信息输出单元230可将其存储和/或输出到特定位置，以供后续的单元和/或模块等使用。
图3示出的是特定信息锁定模块300(120)进一步的构成示意图，特定信息锁定模块300进一步包括眼球追踪信息接收单元310、特定信息判定单元320。
眼球追踪信息接收单元310用于接收眼球追踪模块所获取和计算的眼球追踪信息；特定信息判定单元320使用预设的标准，调用上述眼动信息进行判断，确定与眼动信息实时匹配的用户界面显示信息是否为特定信息，在本发明的一个实施例中，该显示信息以及特定信息为一种语言的文章和/或段落中的一个或多个单词和/或短语，判断该单词和/或短语是否为特定信息包括判断与该单词和/或短语对应的注视点持续时间是否超过预定阈值，如果超过预定阈值，则判断该单词和/或短语为特定信息，否则该单词和/或短语不是特定信息。还可通过与该单词和/或短语对应的回视次数来判断该单词和/或短语是否为特定信息，如果与该单词和/或短语对应的回视次数超过N(N≥1)次，则判断该单词和/或短语为特定信息，否则该单词和/或短语不是特定信息。然而，本领域的技术人员应该意识到，本发明公开的判断标准不限于上述示例，只要能够推断出用户对某些显示信息不熟练的判断标准均落在本发明的保护范围内。
特定信息锁定模块300可以进一步可选的包括特定信息输出单元330，特定信息输出单元330用于将特定信息存储和/或输出到特定位置，以供后续的单元和/或模块等使用。
图4示出的是特定数据生成模块400(130)进一步的构成示意图，特定数据生成模块400进一步包括特定信息接收单元410、数据库420、匹配单元430以及生成单元440。
特定信息接收单元410用于接收和/或调用上述特定信息锁定模块所锁定的特定信息，在一个实施例中，该特定信息为单词和/或短语。
数据库420可以是易失性或非易失性存储器，例如，电可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM))和闪存设备；磁盘，诸如内部硬盘和可移除盘；磁光盘；以及CD-ROM和DVD-ROM盘等。在数据库420中存储有格式化的数据信息。在一个实施例中，该格式化的数据信息为单词和/或短语的数据信息，在单词和/或短语数据信息中按特定数据结构存储一定量的单词和/或短语的难度值、读音、含义、用法、词族和/或例句等信息。例如，在一个实施例中，单词和/或短语数据库可以是英文单词和/或短语表数据库，并且可根据需要和实际应用场景在每一词条下存储该词条的相关信息。
匹配单元430将提特定信息接收单元410接收的特定信息在数据库420中进行搜索和匹配，从而获得这些特定信息所对应的进一步信息数据，例如，在一个实施例中，进一步信息为单词和/或短语的难度等级、读音、含义、用法、词族和/或例句等信息数据。
生成单元440按照上述搜索和匹配后的进一步信息数据的全部或部分生成特定数据。例如，在一个实施例中，特定数据为单词和/或短语的读音、含义、用法、词族和/或例句等信息。
再返回到图1，基于眼球追踪技术的特定数据生成系统100的输出模块140是将上述生成的特定数据进行输出的单元，例如，可以是实时或延时输出该特定数据到用户界面和/或从服务器发送输出数据到指定位置(如邮箱、微信号等)的单元。
图5示出根据本发明的一个实施例的基于眼球追踪技术的特定数据生成的交互系统500。交互系统500包括客户端510和服务器520。
客户端510通信耦合到服务器520。客户端510可以是智能电话、可穿戴电子设备、计算机、平板电脑等包含有眼球追踪模块511(200)，能够进行信息输入、显示，并能将其传送到服务器520的任何设备。
服务器520可包含结合图1、图3、图4描述的特定信息锁定模块300(120)、特定数据生成模块400(130)。客户端510可通过通信网络利用多种已知传输协议中的任一种(例如，HTTP)经由网络接口设备向服务器520传输信息或从服务器520接收信息。通信网络的示例包括局域网(LAN)、广域网(WAN)、互联网、移动电话网、简易老式电话服务(POTS)网和无线数据网(例如，Wi-Fi、3G和4G LTE/LTE-A或WiMAX网络)。客户端510也可经由电线耦合至服务器520。
在本发明的一个实施例中，用户通过客户端510阅读一种语言的文章信息时，客户端眼球追踪模块511获取、计算并输出用户的眼动信息及与眼动信息实时匹配的用户界面显示的内容信息，即单词和/或短语，客户端在对该眼动信息及内容信息进行处理后提供给服务器520；服务器520基于客户端提供的眼动信息锁定该内容信息是否特定信息(特定的单词及短语)，并基于自身或第三方的数据库匹配生成特定数据后输出给客户端510。
本领域的技术人员应该意识到，图5中所示的客户端510和服务器520也可集成在同一计算设备内。
图6示出根据本发明的一个实施例的基于眼球追踪技术的特定数据生成方法的流程图600。
在步骤610，向用户提供阅读信息。在一个实施例中，该阅读信息可以是阅读设备内存储的信息。在另一个实施例中，该阅读信息也可以是阅读设备根据与某一种语言的文章/段落的信息对应的一维码、二维码的值以及其他识别特征或链接下载的信息。此外，在又一个实施例中，该阅读信息还可以是阅读设备通过摄像功能获取的图片信息，通过字符识别方法将输入图像中的文字转换成文本格式的阅读信息。
在步骤620，追踪用户阅读时的眼球追踪信息。该眼球追踪信息包括反应用户在阅读时的眼部变化的眼动信息，例如注视点持续时间、总注视时间、注视频率、平均眼跳幅度、回视次数、瞳孔直径、虹膜角度、运动速度、运动加速度等，以及与眼动信息实时匹配的用户界面的显示信息。在一个实施例中，该显示信息为一种语言的单词和/或短语。
在步骤630，基于眼球追踪信息及预设的标准判断与眼动信息实时匹配的用户界面所的显示信息是否为特定信息。当判断不是特定信息后，继续向用户提供阅读信息；当判断为特定信息后，继续向用户提供阅读信息的同时，输出该特定信息，并进入步骤640。在一个实施例中，判断是依据眼球追踪信息中的眼球虹膜特征的突变进行的，当突变大于某个阈值H时，即判定与该突变发生时实时对应的显示信息为特定信息；在另一个实施例中，判断是依据眼球运动速度和/或注视点持续时间进行的，当速度小于某个阈值P和/或注视点持续时间大于T时实时对应的显示信息为特定信息；除上述实施例的方法外，其他基于眼球虹膜的角度、眼球图像特征、运动速度、运动加速度、停滞时间等眼球追踪信息的单个、组合的各种算法也可以实现特定信息判断。
在步骤640，基于特定信息在数据库检索匹配生成特定数据。在一个实施例中，基于单词/短语信息在单词/短语数据库中检索匹配生成对应单词/短语的难度等级、读音、含义、用法、词族和/或例句等信息。
在步骤650，输出特定数据。在一个实施例中，在用户阅读一种语言文章/段落时，实时输出特定单词/短的含义、词族等信息到用户界面的特定位置。在另一个实施例中，在用户阅读完一种语言文章/段落后，延迟输出特定单词/短语的含义、词族等信息到用户界面的特定位置。在又一个实施例中，在用户阅读完一种语言文章/段落后，通过第三方软件发送特定单词/短语的含义、词族等信息至特定位置。
以上结合具体实施例描述了基于眼球追踪技术的特定信息生成方法和系统，可以应用于各种语言学习过程，如英语、法语、德语、葡萄牙语、西班牙语、阿拉伯语、汉语等；同样该方法还可以用于专业技术学习领域，如化学、生物等等。
尽管上文描述了本发明的各实施例，但是，应该理解，它们只是作为示例来呈现的，而不作为限制。对于相关领域的技术人员显而易见的是，可以对其做出各种组合、变型和改变而不背离本发明的精神和范围。因此，此处所公开的本发明的宽度和范围不应被上述所公开的示例性实施例所限制，而应当仅根据所附权利要求书及其等同替换来定义。

Claims (10)

1.一种基于眼球追踪技术的特定信息生成系统，包括：
眼球追踪模块，用于在用户阅读信息时获取眼球追踪信息；
特定信息锁定模块，用于基于眼球追踪信息及预设的标准锁定特定信息；以及
特定数据生成模块，基于特定信息在数据库中检索、匹配、生成特定数据。
2.如权利要求1所述的系统，其特征在于，所述的眼球追踪模块包括眼动信息获取单元，用于获取用户眼动信息；眼球追踪计算单元，用于计算获取与眼动信息实时匹配的用户界面显示信息；以及眼球追踪信息输出单元，用于将眼球追踪信息存储和/或输出到特定位置。
3.如权利要求2所述的系统，其特征在于，所述的眼动信息获取单元为红外设备和图像采集设备。
4.如权利要求2所述的系统，其特征在于，所述的眼动信息包括注视点持续时间、总注视时间、注视频率、平均眼跳幅度、回视次数、瞳孔直径、虹膜角度、眼球运动速度、眼球运动加速度中的一种或多种。
5.如权利要求2所述的系统，其特征在于，所述的眼球追踪信息包括眼动信息和与眼动信息实时匹配的用户界面显示信息。
6.如权利要求5所述的系统，其特征在于，所述的特定信息锁定模块包括眼球追踪信息接收单元，用于接收和/或调用眼球追踪信息；特定信息判定单元，基于预设的标准判定与眼动信息实时匹配的用户界面显示信息是否为特定信息。
7.如权利要求1所述的系统，其特征在于，所述的特定信息锁定模块包括特定信息输出单元，用于将特定信息存储和/或输出到特定位置。
8.如权利要求1所述的系统，其特征在于，所述的特定数据生成模块包括:
特定信息接收单元，用于接收和/或调用特定信息；
数据库，其中所述的数据库为单词和/或短语数据库，所述单词和/或短语数据库中存储一定量的英文单词或短语的难度值、读音、含义、用法、词族和/或例句信息；
匹配单元，用于将所述特定信息在所述数据库中进行搜索和匹配；以及
生成单元，用于利用数据库中存储的关于所述特定信息的信息形成特定数据。
9.如权利要求1所述的系统，其特征在于，还包括用户界面，用于向用户显示所述阅读信息并且实时或延时显示所述特定数据。
10.一种基于眼球追踪技术的特定数据生成方法，包括：
向用户提供阅读信息；
追踪用户阅读时的眼球追踪信息；
基于眼球追踪信息以及预设的标准判断是否为特定信息；
基于特定信息按照预先设定的标准在数据库检索、匹配、生成特定数据。
CN201710106603.3A 2017-02-27 2017-02-27 基于眼球追踪技术的特定数据生成系统及方法 Pending CN106897426A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710106603.3A CN106897426A (zh) 2017-02-27 2017-02-27 基于眼球追踪技术的特定数据生成系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710106603.3A CN106897426A (zh) 2017-02-27 2017-02-27 基于眼球追踪技术的特定数据生成系统及方法

Publications (1)

Publication Number Publication Date
CN106897426A true CN106897426A (zh) 2017-06-27

Family

ID=59184973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710106603.3A Pending CN106897426A (zh) 2017-02-27 2017-02-27 基于眼球追踪技术的特定数据生成系统及方法

Country Status (1)

Country Link
CN (1) CN106897426A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107065197A (zh) * 2017-06-20 2017-08-18 合肥工业大学 面向vr眼镜的人眼跟踪远程渲染实时显示方法及系统
CN108471486A (zh) * 2018-03-09 2018-08-31 浙江工业大学 一种适用于电子助视器的智能阅读操作方法及装置
CN108898102A (zh) * 2018-06-29 2018-11-27 上海小蚁科技有限公司 关注商品的确定方法及装置、存储介质、终端
CN109634422A (zh) * 2018-12-17 2019-04-16 广东小天才科技有限公司 一种基于眼动识别的背诵监控方法及学习设备
CN109686134A (zh) * 2019-02-18 2019-04-26 重庆工业职业技术学院 会计教学方法及系统
WO2020042541A1 (zh) * 2018-08-31 2020-03-05 深圳市沃特沃德股份有限公司 眼球追踪交互方法和装置
CN111079487A (zh) * 2019-05-22 2020-04-28 广东小天才科技有限公司 一种听写内容的获取方法及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294194A (zh) * 2013-04-28 2013-09-11 北京小米科技有限责任公司 一种基于眼球跟踪的翻译方法及系统
CN103336576A (zh) * 2013-06-28 2013-10-02 优视科技有限公司 一种基于眼动追踪进行浏览器操作的方法及装置
CN104360733A (zh) * 2014-10-27 2015-02-18 西北工业大学 基于眼控操作的翻译辅助方法
CN104866470A (zh) * 2015-05-28 2015-08-26 西安交通大学 一种基于用户眼球的单词查询方法
CN105260369A (zh) * 2014-07-15 2016-01-20 联想(北京)有限公司 一种辅助阅读的方法和电子设备
CN105807917A (zh) * 2016-02-29 2016-07-27 广东小天才科技有限公司 一种辅助用户识字的方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294194A (zh) * 2013-04-28 2013-09-11 北京小米科技有限责任公司 一种基于眼球跟踪的翻译方法及系统
CN103336576A (zh) * 2013-06-28 2013-10-02 优视科技有限公司 一种基于眼动追踪进行浏览器操作的方法及装置
CN105260369A (zh) * 2014-07-15 2016-01-20 联想(北京)有限公司 一种辅助阅读的方法和电子设备
CN104360733A (zh) * 2014-10-27 2015-02-18 西北工业大学 基于眼控操作的翻译辅助方法
CN104866470A (zh) * 2015-05-28 2015-08-26 西安交通大学 一种基于用户眼球的单词查询方法
CN105807917A (zh) * 2016-02-29 2016-07-27 广东小天才科技有限公司 一种辅助用户识字的方法及装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107065197A (zh) * 2017-06-20 2017-08-18 合肥工业大学 面向vr眼镜的人眼跟踪远程渲染实时显示方法及系统
CN108471486A (zh) * 2018-03-09 2018-08-31 浙江工业大学 一种适用于电子助视器的智能阅读操作方法及装置
CN108471486B (zh) * 2018-03-09 2019-10-18 浙江工业大学 一种适用于电子助视器的智能阅读操作方法及装置
CN108898102A (zh) * 2018-06-29 2018-11-27 上海小蚁科技有限公司 关注商品的确定方法及装置、存储介质、终端
WO2020042541A1 (zh) * 2018-08-31 2020-03-05 深圳市沃特沃德股份有限公司 眼球追踪交互方法和装置
CN109634422A (zh) * 2018-12-17 2019-04-16 广东小天才科技有限公司 一种基于眼动识别的背诵监控方法及学习设备
CN109634422B (zh) * 2018-12-17 2022-03-01 广东小天才科技有限公司 一种基于眼动识别的背诵监控方法及学习设备
CN109686134A (zh) * 2019-02-18 2019-04-26 重庆工业职业技术学院 会计教学方法及系统
CN111079487A (zh) * 2019-05-22 2020-04-28 广东小天才科技有限公司 一种听写内容的获取方法及电子设备

Similar Documents

Publication Publication Date Title
CN106897426A (zh) 基于眼球追踪技术的特定数据生成系统及方法
CN109447140B (zh) 一种基于神经网络深度学习的图像识别并推荐认知的方法
CN105068661B (zh) 基于人工智能的人机交互方法和系统
CN109416816B (zh) 支持交流的人工智能系统
US20170289619A1 (en) Method for positioning video, terminal apparatus and cloud server
KR102011870B1 (ko) 동영상 기반 구인구직 매칭 서버 및 방법
CN106649524B (zh) 一种改进型基于计算机云数据的深度学习智能应答系统
CN110488975B (zh) 一种基于人工智能的数据处理方法及相关装置
CN104142995B (zh) 基于视觉属性的社会事件识别方法
CN111638832A (zh) 信息展示方法、装置、系统、电子设备及存储介质
US20080052312A1 (en) Image-Based Face Search
CN111310019A (zh) 信息推荐方法、信息处理方法、系统及设备
CN105426850A (zh) 一种基于人脸识别的关联信息推送设备及方法
CN108920490A (zh) 辅助化妆的实现方法、装置、电子设备以及存储介质
CN108572733A (zh) 一种基于条件随机场的眼动行为视觉搜索目标预测方法
CN108922540B (zh) 与老人用户进行连续ai对话的方法及系统
CN113569037A (zh) 一种消息处理方法、装置以及可读存储介质
CN113395578A (zh) 一种提取视频主题文本的方法、装置、设备及存储介质
CN109902912A (zh) 一种基于性格特征的个性化图像美学评价方法
CN112183334A (zh) 一种基于多模态特征融合的视频深度关系分析方法
CN110213668A (zh) 视频标题的生成方法、装置、电子设备和存储介质
CN111144360A (zh) 多模信息识别方法、装置、存储介质及电子设备
CN110121033A (zh) 视频编目方法及装置
US20150146040A1 (en) Imaging device
CN110110218B (zh) 一种身份关联方法及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170627