CN106200905A - 信息处理方法及电子设备 - Google Patents

信息处理方法及电子设备 Download PDF

Info

Publication number
CN106200905A
CN106200905A CN201610482953.5A CN201610482953A CN106200905A CN 106200905 A CN106200905 A CN 106200905A CN 201610482953 A CN201610482953 A CN 201610482953A CN 106200905 A CN106200905 A CN 106200905A
Authority
CN
China
Prior art keywords
data
user
corresponding relation
coded sequence
acquisition time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610482953.5A
Other languages
English (en)
Other versions
CN106200905B (zh
Inventor
杨大业
宋建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201610482953.5A priority Critical patent/CN106200905B/zh
Publication of CN106200905A publication Critical patent/CN106200905A/zh
Priority to US15/587,872 priority patent/US10664689B2/en
Priority to DE102017114103.0A priority patent/DE102017114103A1/de
Application granted granted Critical
Publication of CN106200905B publication Critical patent/CN106200905B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • Game Theory and Decision Science (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种信息处理方法及电子设备，所述信息处理方法包括：采集用户眼睛的运动状态，形成眼动数据并记录第一采集时间；从所述眼动数据提取用户眼珠的位置数据；利用图像采集用户行为数据并记录第二采集时间；根据所述第一采集时间和所述第二采集时间，确定所述用户眼珠的位置数据与用户行为数据的对应关系；其中，所述对应关系用于根据用户眼睛的运动状态确定当前用户行为。

Description

信息处理方法及电子设备
技术领域
本发明涉及信息技术领域，尤其涉及一种信息处理方法及电子设备。
背景技术
人的视觉行为对于人的活动认知和分析具有重要潜力。随着头戴式眼追踪软硬件的成熟和价格下降，以及增强现实AR和虚拟现实技术VR的普及，其应用已经从过去专业的军事，工业应用快速推进到消费娱乐应用。其使用场景也由相对固定的场所，例如：设计室，实验室等，扩散到日常生活的场所，移动的应用场景越来越丰富，例如:游戏，教育等。甚至在不远的将来会和手机与眼睛一样的普及。
如何利用头戴式眼追踪技术的来更好的收集评估和研究人的行为，对于科学和商业领域具有巨大价值，尤其是收集某些隐性的用户状态。
在现有技术中，使用短时间眼跟踪获取的视觉行为信息来判断用户活动，主要问题是需要人为分类和管理，效率低且精确度低。
发明内容
有鉴于此，本发明实施例期望提供一种信息处理方法及电子设备，至少部分解决上述问题。
为达到上述目的，本发明的技术方案是这样实现的：
本发明实施例第一方面提供一种信息处理方法，包括：
采集用户眼睛的运动状态，形成眼动数据并记录第一采集时间；
从所述眼动数据提取用户眼珠的位置数据；
利用图像采集用户行为数据并记录第二采集时间；
根据所述第一采集时间和所述第二采集时间，确定所述用户眼珠的位置数据与用户行为数据的对应关系；
其中，所述对应关系用于根据用户眼睛的运动状态确定当前用户行为。
基于上述方案，所述方法还包括：
根据所述用户眼睛的位置数据进行编码，形成编码序列；
所述根据所述第一采集时间和所述第二采集时间，确定所述用户眼珠的位置数据与用户行为数据的对应关系，包括：
确定所述编码序列与所述用户行为数据的对应关系。
基于上述方案，所述确定所述编码序列与所述用户行为数据的对应关系，包括：
利用滑动窗口切分所述编码序列，形成词袋数据；
以所述词袋数据为数据处理单元，确定每一个所述滑动窗口内的预定编码词条；
建立所述预定编码词条与所述用户行为数据的对应关系。
基于上述方案，所述方法还包括：
分析所述用户行为数据，以不同用户行为为划分依据，确定在时间维度上的所述滑动窗口。
基于上述方案，所述以所述词袋数据为数据处理单元，确定每一个所述滑动窗口内的预定编码词条，包括：
统计每一个所述词袋数据中各个编码序列的出现频次信息及任意两个编码序列出现的关联性；
根据所述频次信息及所述关联性，确定所述预定编码词条。
本发明实施例第二方面提供一种电子设备，包括：
第一采集单元，用于采集用户眼睛的运动状态，形成眼动数据并记录第一采集时间；
提取单元，用于从所述眼动数据提取用户眼珠的位置数据；
第二采集单元，用于利用图像采集用户行为数据并记录第二采集时间；
确定单元，用于根据所述第一采集时间和所述第二采集时间，确定所述用户眼珠的位置数据与用户行为数据的对应关系；
其中，所述对应关系用于根据用户眼睛的运动状态确定当前用户行为。
基于上述方案，所述电子设备还包括：
编码单元，用于根据所述用户眼睛的位置数据进行编码，形成编码序列；
所述确定单元，用于确定所述编码序列与所述用户行为数据的对应关系。
基于上述方案，所述确定单元，具体用于利用滑动窗口切分所述编码序列，形成词袋数据；以所述词袋数据为数据处理单元，确定每一个所述滑动窗口内的预定编码词条；
建立所述预定编码词条与所述用户行为数据的对应关系。
基于上述方案，所述电子设备还包括：
分析单元，用于分析所述用户行为数据，以不同用户行为为划分依据，确定在时间维度上的所述滑动窗口。
基于上述方案，所述确定单元，具体用于统计每一个所述词袋数据中各个编码序列的出现频次信息及任意两个编码序列出现的关联性；根据所述频次信息及所述关联性，确定所述预定编码词条。
本发明实施例提供的信息处理方法及电子设备，会自动通过眼睛的运动状态的采集，眼珠的位置数据的提取；用户行为活动的记录，形成用户行为数据；再根据两种数据的采集时间的对应关系，建立眼睛的位置数据与用户行为数据的对应关系，这样电子设备就能够自动完成上述对应关系的采集和建立；相对于人工采集和分析，具有效率高及精确度高的特点。
附图说明
图1为本发明实施例提供的一种信息处理方法流程示意图；
图2为本发明实施例提供的另一种信息处理方法流程示意图；
图3为本发明实施例提供的一种电子设备的结构示意图；
图4为本发明实施例提供的又一种信息处理方法流程示意图。
具体实施方式
以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。
实施例一：
如图1所示，本实施例提供一种信息处理方法，包括：
步骤S110：采集用户眼睛的运动状态，形成眼动数据并记录第一采集时间；
步骤S120：从所述眼动数据提取用户眼珠的位置数据；
步骤S130：利用图像采集用户行为数据并记录第二采集时间；
步骤S140：根据所述第一采集时间和所述第二采集时间，确定所述用户眼珠的位置数据与用户行为数据的对应关系；
其中，所述对应关系用于根据用户眼睛的运动状态确定当前用户行为。
本实施例提供的信息处理方法可应用于各种电子设备中，例如包括能够采集用户眼部运动的电子设备中，例如眼动仪中。
在步骤S110中可以通过图像采集眼睛的运动状态，具体如，采集用户眼珠的运动状态。通过眼睛的运动采集，可以知道用户当前眼珠不懂，凝视某一个处，还是眨眼，还是眼珠从一个位置活动到另一个位置的扫视。并记录用户眼眼睛的运动状态发生的时间，对应于本实施例中的所述第一采集时间。
通常用户这些眼睛的运动状态，都能够表示用户的心里或身体的活动，与用户当前的活动相关。
在本实施例中为了方便记录所述眼睛的活动状态，统一采用用户的眼珠的位置数据来进行记录，这样一方面利用位置数据进行记录，一方面可以避免记录大量的图像数据导致的存储容量大的问题，同时通过位置数据的提取，快速的进行数据转换和提取，方便后续的直接应用。
在步骤S130中，将利用图像采集，采集用户行为活动，获得用户行为活动数据。这里的用户行为数据位除眼睛的运动状态以外的用户行为活动的用户行为数据，并记录各种用户行为数据的采集时间，该采集时间为第二采集时间。在本实施例中所述眼动数据和所述用户行为数据都可为实时采集的，所述第一采集时间和所述第二采集时间，对应的就是用户眼睛的活动及用户行为活动的发生时间。
在步骤S140，将根据第一采集时间和第二采集时间，将用户眼睛的运动状态，与用户行为活动进行匹配起来，在本实施例中具体将位置数据与用户行为数据建立对应关系。例如，通过采集用户在吃饭的时候的眼睛的运动状态，活动用户吃饭时的位置数据，同时采集用户吃饭的活动，后续可以对应关系的建立，例如，将第一采集时间和第二采集时间匹配，在同一采集时间的位置数据和用户行为数据是对应，就可以获知用户吃饭时用户的眼睛的运动状态或眼珠的位置数据。后续可以利用这种对应关系，可以通过观察用户的眼珠的运动状态，可以获知用户当前想干什么以及正在干什么。采用这种由电子设备自身来建立上述对应关系，相对于人工处理具有精确度高及效率高的特点。
值得注意的是：在本实施例中所述用户行为数据可为从采集的图像中根据用户的眼睛以外的身体运动状态获取的数据，相对于图像具有数据量小及方便存储和管理的特点。
实施例二：
如图1所示，本实施例提供一种信息处理方法，包括：
步骤S110：采集用户眼睛的运动状态，形成眼动数据并记录第一采集时间；
步骤S120：从所述眼动数据提取用户眼珠的位置数据；
步骤S130：利用图像采集用户行为数据并记录第二采集时间；
步骤S140：根据所述第一采集时间和所述第二采集时间，确定所述用户眼珠的位置数据与用户行为数据的对应关系；
其中，所述对应关系用于根据用户眼睛的运动状态确定当前用户行为。
所述方法还包括：
根据所述用户眼睛的位置数据进行编码，形成编码序列；
所述步骤S140可包括：
确定所述编码序列与所述用户行为数据的对应关系。
在本实施例中为了方便记录所述位置数据，会采用预设编码规则对所述位置数据进行编码，形成编码序列。
首先，将用户的眼珠可活动的范围，例如，用户眼睛内的区域，即视域划分为若干各区域；其次，记录用户眼睛所在区域的区域标识符，在结合各个眼睛动作的动作标识符、以及状态标识符就形成所述编码序列。
例如，用户眼睛凝视，眼珠是位于哪一个区域，记录该区域的区域标识，同时凝视时间长度，以数字记录凝视时间长度，并添加上表示是凝视的动作标识符，就记录了用户眼睛的凝视编码。例如，N标识凝视的动作标识符，用户的视域分以中心点为原点以直角坐标系划分为四个区域，分别按照逆时针方向以1、2、3及4为区域标识符，当前用户眼珠第一区域上凝视2秒，则对应的编码可为N12。其中，标识时长为2秒的2即为所述状态标识符。当然在进行视域划分时，除了所述直角坐标系划分，还可以以圆形坐标系，以角度进行扇形区域的划分，例如，每60度为对应一个区域。
再例如，用户眼睛眨眼，确定用户眨眼次数，确定状态标识符，并添加上表示是眨眼的动作标识符，就形成用户眼睛的眨眼次数。当然，还可以结合用户眨眼时，眼珠所在区域的区域标识符。
又例如，眼睛的扫视，可以记录用户眼珠从一个位置到另一个位置的位置，记录两个位置所对应的区域标识符，结合扫视的动作标识符，就可以完成对扫视的编码。
本实施例中可以利用动作标识符，再结合上述区域标识符及状态标识符的至少其中之一，进行编码，获得所述编码序列。当然，形成编码序列的方式不局限于上述任意一种，还可以采用其他方式进行编码。在本实施了中将位置数据转换成编码序列，一方面方面存储和管理，另一方面方便后续的数据处理，相当于提供了标准化和统一化的数据记录。
在本实施例中建立对应关系时，建立的编码序列与用户行为数据的对应关系。例如，用户在看开车，则会用户开车时的眼睛的运动状态，并形成上述编码序列，并通过用户行为记录存储下开车的关键词条，显然胡可以建立编码序列与开车这一词条的对应关系。后续，通过眼动仪或其他眼部采集设备，例如，VR或AR智能眼睛采集到用户眼睛的运动状态，得到上述编码序列时，通过所述对应关系就可以知道用户在开车。
实施例三：
如图1所示，本实施例提供一种信息处理方法，包括：
步骤S110：采集用户眼睛的运动状态，形成眼动数据并记录第一采集时间；
步骤S120：从所述眼动数据提取用户眼珠的位置数据；
步骤S130：利用图像采集用户行为数据并记录第二采集时间；
步骤S140：根据所述第一采集时间和所述第二采集时间，确定所述用户眼珠的位置数据与用户行为数据的对应关系；
其中，所述对应关系用于根据用户眼睛的运动状态确定当前用户行为。
所述方法还包括：
根据所述用户眼睛的位置数据进行编码，形成编码序列；
所述步骤S140可包括：
确定所述编码序列与所述用户行为数据的对应关系。
所述步骤S140具体可包括：
利用滑动窗口切分所述编码序列，形成词袋数据；
以所述词袋数据为数据处理单元，确定每一个所述滑动窗口内的预定编码词条；
建立所述预定编码词条与所述用户行为数据的对应关系。
在本实施例中对用户的眼动数据进行编码，获得很多个编码序列。具体哪些眼睛的动作是对应于一个用户行为活动的一个整体，在本实施例中可以利用滑动窗口进行切分，从而将1个或多个眼睛动作对应的编码序列划分到一个词袋中，形成词袋数据。隶属于同一个词袋的数据，作为后续建立编码序列与用户行为数据对应关系的一个基本处理单元，即对应于上述数据处理单元。即认为上述一个词袋内的所有编码序列整体对应于一个用户行为数据或用户行为活动。
利用词袋模型中的滑动窗口作为编码序列的切分，能够提高后续对应关系建立的精确度。在本实施例中所述滑动窗口的窗口长度可对应于正数倍于一个所述编码序列的长度。所述窗口长度可为根据历史记录中确定的编码序列与用户行为数据的对应关系中，数值关系确定的。例如，历史记录表面M个编码序列对应于一个用户行为数据，则所述窗口长度可为M个编码序列的长度。此时，所述滑动窗口可为编码长度窗口，但是具体实现时不局限于编码长度窗口。
实施例四：
如图1所示，本实施例提供一种信息处理方法，包括：
步骤S110：采集用户眼睛的运动状态，形成眼动数据并记录第一采集时间；
步骤S120：从所述眼动数据提取用户眼珠的位置数据；
步骤S130：利用图像采集用户行为数据并记录第二采集时间；
步骤S140：根据所述第一采集时间和所述第二采集时间，确定所述用户眼珠的位置数据与用户行为数据的对应关系；
其中，所述对应关系用于根据用户眼睛的运动状态确定当前用户行为。
所述方法还包括：
根据所述用户眼睛的位置数据进行编码，形成编码序列；
所述步骤S140可包括：
确定所述编码序列与所述用户行为数据的对应关系。
所述步骤S140具体可包括：
利用滑动窗口切分所述编码序列，形成词袋数据；
以所述词袋数据为数据处理单元，确定每一个所述滑动窗口内的预定编码词条；
建立所述预定编码词条与所述用户行为数据的对应关系。
所述方法还包括：
分析所述用户行为数据，以不同用户行为为划分依据，确定在时间维度上的所述滑动窗口。
在本实施例中所述滑动窗口可为时间维度上的时间滑动窗口，一个滑动窗口对应了所长时间。例如，编码序列依次按照时间顺序从早到晚排序，所述时间滑动窗口可能对应于P秒，则该滑动窗口内一次性包块时长为P秒内的所有编码序列。在本实施中在记录所述用行为数据时，会记录用户从一个行为到另一个行为的转换时间点，根据这些转换时间点，可以确定出所述时间滑动窗口的长度，通过时间滑动窗口的确定，就相当于确定了每一个词袋内包括的编码序列的个数，从而可以精确建立上述对应关系。
本实施例中所述预定编码词条可由一个或多个所述编码序列按照预设规则排列起来的词条。
实施例五：
如图1所示，本实施例提供一种信息处理方法，包括：
步骤S110：采集用户眼睛的运动状态，形成眼动数据并记录第一采集时间；
步骤S120：从所述眼动数据提取用户眼珠的位置数据；
步骤S130：利用图像采集用户行为数据并记录第二采集时间；
步骤S140：根据所述第一采集时间和所述第二采集时间，确定所述用户眼珠的位置数据与用户行为数据的对应关系；
其中，所述对应关系用于根据用户眼睛的运动状态确定当前用户行为。
所述方法还包括：
根据所述用户眼睛的位置数据进行编码，形成编码序列；
所述步骤S140可包括：
确定所述编码序列与所述用户行为数据的对应关系。
所述步骤S140具体可包括：
利用滑动窗口切分所述编码序列，形成词袋数据；
以所述词袋数据为数据处理单元，确定每一个所述滑动窗口内的预定编码词条；
建立所述预定编码词条与所述用户行为数据的对应关系。
所述以所述词袋数据为数据处理单元，确定每一个所述滑动窗口内的预定编码词条，包括：
统计每一个所述词袋数据中各个编码序列的出现频次信息及任意两个编码序列出现的关联性；
根据所述频次信息及所述关联性，确定所述预定编码词条。
例如，用户在看书时可能会出现哪些眼睛动作，且最常出现哪些眼睛动作，这些眼睛动作显然是与看书这一行为活动相关联的，故在本实施例中会统计一个词袋内各个编码序列的频次信息，选择频次信息较高的一个或多个编码序列与看书这一用户行为数据建立对应关系。当然，用户的眼睛动作是连续性，两个眼睛动作之间是有关联性，在本实施例中还会统计两个眼睛动作总是相邻出现或间隔预设动作出现的概率。例如，在看书时扫视和眨眼之间的关联关系是怎样的，扫视和凝视之间的关联关系是怎样的，都可以通过上述编码序列的关联性来表示。通过关联性的提取，实质上将用户眼睛动作的组合，与用户行为数据建立对应关系。故在本实施例中，会根据频次信息及关联性，确定所述预定编码词条。
本实施例中所述预定编码词条可由一个或多个所述编码序列按照预设规则排列起来的词条。例如，所述预定编码词条可包括两部分：
第一部分：
高频编码序列；S1个编码序列为频次信息最高的编码序列，且是频次信息从高到低排序。
第二部分：
编码序列之间的关联性，记录有关联性的两个编码序列，形成组合编码。一个组合编码内的两个编码序列表示该两个编码序列对应的眼睛动作出现有关联性。为了精确的表示关联性对应的关联度等参数，还引入了关联概率和间隔序列数等参数。例如，关联概率可为表示这两个编码序列对应的眼睛动作的总是一起出现的概率。所述间隔序列数据，表示这两个编码序列一起出现时平均间隔的编码序列个数或频次最高的间隔的编码序列数等。
当然所述预定编码词条的组成有很多种，以上仅是一个示例，具体实现时，不限于上述方式。
在本实施例中根据频次信息及关联性，确定的预定编码词条，至少从两个维度建立了用户的眼睛活动与用户其他部分身体活动的对应关系，具有精确度高的特点。
例如，如图2所示，首先采集眼动数据，然后进行编码，利用词袋模型表达及潜在狄氏配置模型建立对应关系，后续通过再次眼动数据的扫描及所述对应关系实现话题激活。
实施例六：
如图3所示，本实施例提供一种电子设备，包括：
第一采集单元110，用于采集用户眼睛的运动状态，形成眼动数据并记录第一采集时间；
提取单元120，用于从所述眼动数据提取用户眼珠的位置数据；
第二采集单元130，用于利用图像采集用户行为数据并记录第二采集时间；
确定单元140，用于根据所述第一采集时间和所述第二采集时间，确定所述用户眼珠的位置数据与用户行为数据的对应关系；
其中，所述对应关系用于根据用户眼睛的运动状态确定当前用户行为。
本实施例所述的电子设备可为任意一种可以进行图像采集的设备。
所述第一采集单元110和第二采集单元130都可对应于能够进行图像采集的照相机或摄像机。
所述提取单元120和所述确定单元140都可对应于处理器或处理电路。所述处理器可为中央处理器、微处理器、数字信号处理器、应用处理器或可编程阵列等，所述处理电路可包括专用集成电路，与所述照相机或摄像机连接，能够通过预定指令的执行，可实现位置数据的提取及对应关系的建立，具有实现简单、效率高及精确度高的特点。
实施例七：
如图3所示，本实施例提供一种电子设备，包括：
第一采集单元110，用于采集用户眼睛的运动状态，形成眼动数据并记录第一采集时间；
提取单元120，用于从所述眼动数据提取用户眼珠的位置数据；
第二采集单元130，用于利用图像采集用户行为数据并记录第二采集时间；
确定单元140，用于根据所述第一采集时间和所述第二采集时间，确定所述用户眼珠的位置数据与用户行为数据的对应关系；
其中，所述对应关系用于根据用户眼睛的运动状态确定当前用户行为。
所述电子设备还包括：
编码单元，用于根据所述用户眼睛的位置数据进行编码，形成编码序列；
所述确定单元140，用于确定所述编码序列与所述用户行为数据的对应关系。
本实施例所述的编码单元同样对应于处理器或处理电路。在本实施例中为了方便后续的处理，不仅会提取位置数据，还为了方便后续数据的处理，会对位置数据进行编码，形成编码序列。所述确定单元140具体建立的编码序列与用户行为数据的对应关系。
实施例八：
如图3所示，本实施例提供一种电子设备，包括：
第一采集单元110，用于采集用户眼睛的运动状态，形成眼动数据并记录第一采集时间；
提取单元120，用于从所述眼动数据提取用户眼珠的位置数据；
第二采集单元130，用于利用图像采集用户行为数据并记录第二采集时间；
确定单元140，用于根据所述第一采集时间和所述第二采集时间，确定所述用户眼珠的位置数据与用户行为数据的对应关系；
其中，所述对应关系用于根据用户眼睛的运动状态确定当前用户行为。
所述电子设备还包括：
编码单元，用于根据所述用户眼睛的位置数据进行编码，形成编码序列；
所述确定单元140，用于确定所述编码序列与所述用户行为数据的对应关系。
所述确定单元140，具体用于利用滑动窗口切分所述编码序列，形成词袋数据；以所述词袋数据为数据处理单元，确定每一个所述滑动窗口内的预定编码词条；建立所述预定编码词条与所述用户行为数据的对应关系。
在本实施例中，所述确定单元，通过滑动窗口形成词袋数据，确定预定编码词条，建立是预定编码词条与用户行为数据的对应关系，具有实现简便的特点。
实施例九：
如图3所示，本实施例提供一种电子设备，包括：
第一采集单元110，用于采集用户眼睛的运动状态，形成眼动数据并记录第一采集时间；
提取单元120，用于从所述眼动数据提取用户眼珠的位置数据；
第二采集单元130，用于利用图像采集用户行为数据并记录第二采集时间；
确定单元140，用于根据所述第一采集时间和所述第二采集时间，确定所述用户眼珠的位置数据与用户行为数据的对应关系；
其中，所述对应关系用于根据用户眼睛的运动状态确定当前用户行为。
所述电子设备还包括：
编码单元，用于根据所述用户眼睛的位置数据进行编码，形成编码序列；
所述确定单元140，用于确定所述编码序列与所述用户行为数据的对应关系。
所述确定单元140，具体用于利用滑动窗口切分所述编码序列，形成词袋数据；以所述词袋数据为数据处理单元，确定每一个所述滑动窗口内的预定编码词条；建立所述预定编码词条与所述用户行为数据的对应关系。
所述电子设备还包括：
分析单元，用于分析所述用户行为数据，以不同用户行为为划分依据，确定在时间维度上的所述滑动窗口。
本实施例中所述分析单元同样可对应于处理器或处理电路，该处理器或处理电路可以参见前述实施例中。本实施例中通过时间滑动窗口进行编码序列划分，通过滑动窗口的编码序列的切分，能够提升对应关系建立的精确性。
实施例十：
如图3所示，本实施例提供一种电子设备，包括：
第一采集单元110，用于采集用户眼睛的运动状态，形成眼动数据并记录第一采集时间；
提取单元120，用于从所述眼动数据提取用户眼珠的位置数据；
第二采集单元130，用于利用图像采集用户行为数据并记录第二采集时间；
确定单元140，用于根据所述第一采集时间和所述第二采集时间，确定所述用户眼珠的位置数据与用户行为数据的对应关系；
其中，所述对应关系用于根据用户眼睛的运动状态确定当前用户行为。
所述电子设备还包括：
编码单元，用于根据所述用户眼睛的位置数据进行编码，形成编码序列；
所述确定单元140，用于确定所述编码序列与所述用户行为数据的对应关系。
所述确定单元140，具体用于统计每一个所述词袋数据中各个编码序列的出现频次信息及任意两个编码序列出现的关联性；根据所述频次信息及所述关联性，确定所述预定编码词条。
本实施例中将通过统计词袋数据中各个编码序列的出现频次信息及任意编码序列出现的关联性，确定所述预定编码词条。显然，预定编码词条至少决定频次信息和出现关联性两个维度的信息，可以精确表达用户眼睛的运动状态，以提高对应关系的精确度。
以下结合上述实施例提供几个具体示例：
示例一：
通过眼跟踪设备获取一段较长时间(例如几个小时)内眼动数据(凝视、眨眼、扫视)的变化，获取离散时间的数据；
对获取的位置眼球位置数据(凝视、眨眼、扫视)进行编码；
通过结合词袋视觉行为表达模型和潜在狄氏配置话题模型来得到用户的日常活动，如:吃饭，阅读，开车，等。所述袋视觉行为表达模型和潜在狄氏配置话题模型为对用户行为活动进行分析，获得所述用户行为数据的一种方式，再结合编码，可以建立前述的对应关系。
示例二：
本示例提供一种信息处理方法，可包括：
眼跟踪系统采集长时间眼位置坐标，并获得注视点，眨眼和扫视时间离散数据；
对眼动特征数据进行编码:
1:扫视数据(方向，速度)通过K-Means算法获得K个聚类，每个聚类用一个编码代表。
2:注视数据通过时长来进行编码，例如:最长和最短时间确定上下限，然后均分获取N个区间，N个编码代表。这里的注视相当于前述的凝视。
3:注视区间的眨眼数据(次数)直接编码到注视数据后。
通过滑动窗口对编码流进行切分获得词袋数据。
潜在狄氏配置模型选出目前激活的活动，从而判断出用户的活动。
示例三：
如图4所示，本示例提供一种信息处理方法，包括：
S1：校准眼睛跟踪系统；
S2：获取眼睛注视，眨眼及扫视实时数据；
S3：眼动数据实时离散数据；
S4：眼动特征数据编码；
S5：眼动数据字母数字序列编码；
S6：滑动窗口切分编码序列；
S7：词袋数据；
S8：潜在狄氏配置模型滑动窗口编码序列；
S9：对应关系建立。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种信息处理方法，其特征在于，包括：
采集用户眼睛的运动状态，形成眼动数据并记录第一采集时间；
从所述眼动数据提取用户眼珠的位置数据；
利用图像采集用户行为数据并记录第二采集时间；
根据所述第一采集时间和所述第二采集时间，确定所述用户眼珠的位置数据与用户行为数据的对应关系；
其中，所述对应关系用于根据用户眼睛的运动状态确定当前用户行为。
2.根据权利要求1所述的方法，其特征在于，
所述方法还包括：
根据所述用户眼睛的位置数据进行编码，形成编码序列；
所述根据所述第一采集时间和所述第二采集时间，确定所述用户眼珠的位置数据与用户行为数据的对应关系，包括：
确定所述编码序列与所述用户行为数据的对应关系。
3.根据权利要求2所述的方法，其特征在于，
所述确定所述编码序列与所述用户行为数据的对应关系，包括：
利用滑动窗口切分所述编码序列，形成词袋数据；
以所述词袋数据为数据处理单元，确定每一个所述滑动窗口内的预定编码词条；
建立所述预定编码词条与所述用户行为数据的对应关系。
4.根据权利要求3所述的方法，其特征在于，
所述方法还包括：
分析所述用户行为数据，以不同用户行为为划分依据，确定在时间维度上的所述滑动窗口。
5.根据权利要求3所述的方法，其特征在于，
所述以所述词袋数据为数据处理单元，确定每一个所述滑动窗口内的预定编码词条，包括：
统计每一个所述词袋数据中各个编码序列的出现频次信息及任意两个编码序列出现的关联性；
根据所述频次信息及所述关联性，确定所述预定编码词条。
6.一种电子设备，其特征在于，包括：
第一采集单元，用于采集用户眼睛的运动状态，形成眼动数据并记录第一采集时间；
提取单元，用于从所述眼动数据提取用户眼珠的位置数据；
第二采集单元，用于利用图像采集用户行为数据并记录第二采集时间；
确定单元，用于根据所述第一采集时间和所述第二采集时间，确定所述用户眼珠的位置数据与用户行为数据的对应关系；
其中，所述对应关系用于根据用户眼睛的运动状态确定当前用户行为。
7.根据权利要求6所述的电子设备，其特征在于，
所述电子设备还包括：
编码单元，用于根据所述用户眼睛的位置数据进行编码，形成编码序列；
所述确定单元，用于确定所述编码序列与所述用户行为数据的对应关系。
8.根据权利要求7所述的电子设备，其特征在于，
所述确定单元，具体用于利用滑动窗口切分所述编码序列，形成词袋数据；以所述词袋数据为数据处理单元，确定每一个所述滑动窗口内的预定编码词条；
建立所述预定编码词条与所述用户行为数据的对应关系。
9.根据权利要求8所述的电子设备，其特征在于，
所述电子设备还包括：
分析单元，用于分析所述用户行为数据，以不同用户行为为划分依据，确定在时间维度上的所述滑动窗口。
10.根据权利要求8所述的电子设备，其特征在于，
所述确定单元，具体用于统计每一个所述词袋数据中各个编码序列的出现频次信息及任意两个编码序列出现的关联性；根据所述频次信息及所述关联性，确定所述预定编码词条。
CN201610482953.5A 2016-06-27 2016-06-27 信息处理方法及电子设备 Active CN106200905B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610482953.5A CN106200905B (zh) 2016-06-27 2016-06-27 信息处理方法及电子设备
US15/587,872 US10664689B2 (en) 2016-06-27 2017-05-05 Determining user activity based on eye motion
DE102017114103.0A DE102017114103A1 (de) 2016-06-27 2017-06-26 Bestimmung der Benutzeraktivität basierend auf der Augenbewegung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610482953.5A CN106200905B (zh) 2016-06-27 2016-06-27 信息处理方法及电子设备

Publications (2)

Publication Number Publication Date
CN106200905A true CN106200905A (zh) 2016-12-07
CN106200905B CN106200905B (zh) 2019-03-29

Family

ID=57461915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610482953.5A Active CN106200905B (zh) 2016-06-27 2016-06-27 信息处理方法及电子设备

Country Status (3)

Country Link
US (1) US10664689B2 (zh)
CN (1) CN106200905B (zh)
DE (1) DE102017114103A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110049724A (zh) * 2016-12-14 2019-07-23 三菱电机株式会社 状态估计装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI732342B (zh) * 2018-11-25 2021-07-01 宏達國際電子股份有限公司 傳輸眼球追蹤資訊的方法、頭戴式顯示器及電腦裝置
CN112622920A (zh) * 2020-12-28 2021-04-09 华北科技学院 一种辅助驾驶系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130243332A1 (en) * 2012-03-15 2013-09-19 O2 Micro Inc. Method and System for Estimating an Object of Interest
CN103324287A (zh) * 2013-06-09 2013-09-25 浙江大学 基于眼动和笔触数据的计算机辅助草图绘制的方法和系统
CN103500011A (zh) * 2013-10-08 2014-01-08 百度在线网络技术（北京）有限公司 眼动轨迹规律分析方法和装置
CN104504390A (zh) * 2015-01-14 2015-04-08 北京工业大学 一种基于眼动数据的网上用户状态识别方法和装置
CN104750232A (zh) * 2013-12-28 2015-07-01 华为技术有限公司 一种眼动跟踪方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8295542B2 (en) * 2007-01-12 2012-10-23 International Business Machines Corporation Adjusting a consumer experience based on a 3D captured image stream of a consumer response
WO2013033842A1 (en) * 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
US9096920B1 (en) * 2012-03-22 2015-08-04 Google Inc. User interface method
GB201322873D0 (en) * 2013-12-23 2014-02-12 Tobii Technology Ab Eye gaze determination
WO2015117905A1 (de) * 2014-02-04 2015-08-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. 3d-bildanalysator zur blickrichtungsbestimmung
AU2015297036B2 (en) * 2014-05-09 2017-09-28 Google Llc Systems and methods for discerning eye signals and continuous biometric identification
US20170350718A1 (en) * 2016-06-03 2017-12-07 Toyota Motor Sales, U.S.A., Inc. Information-attainment system based on monitoring an occupant

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130243332A1 (en) * 2012-03-15 2013-09-19 O2 Micro Inc. Method and System for Estimating an Object of Interest
CN103324287A (zh) * 2013-06-09 2013-09-25 浙江大学 基于眼动和笔触数据的计算机辅助草图绘制的方法和系统
CN103500011A (zh) * 2013-10-08 2014-01-08 百度在线网络技术（北京）有限公司 眼动轨迹规律分析方法和装置
CN104750232A (zh) * 2013-12-28 2015-07-01 华为技术有限公司 一种眼动跟踪方法及装置
CN104504390A (zh) * 2015-01-14 2015-04-08 北京工业大学 一种基于眼动数据的网上用户状态识别方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110049724A (zh) * 2016-12-14 2019-07-23 三菱电机株式会社 状态估计装置

Also Published As

Publication number Publication date
US20170372131A1 (en) 2017-12-28
CN106200905B (zh) 2019-03-29
DE102017114103A1 (de) 2017-12-28
US10664689B2 (en) 2020-05-26

Similar Documents

Publication Publication Date Title
CN110175514B (zh) 一种刷脸支付提示方法、装置及设备
CN105872477B (zh) 视频监控方法和视频监控系统
CN102668548B (zh) 视频信息处理方法和视频信息处理设备
CN106200905A (zh) 信息处理方法及电子设备
CN103211605B (zh) 一种心理测试系统及心理测试方法
CN104049761B (zh) 眼电检测方法及眼电检测装置
CN104065928A (zh) 一种行为模式统计装置与方法
CN106113038A (zh) 基于机器人的模式切换方法及装置
CN111643017B (zh) 基于日程信息的清扫机器人控制方法、装置和清扫机器人
CN108310759A (zh) 信息处理方法及相关产品
CN106055946A (zh) 一种身份识别系统及方法
CN100533438C (zh) 基于视频特征曲线的视频检索的方法
CN109726808B (zh) 神经网络训练方法和装置、存储介质及电子装置
CN110928282A (zh) 清扫机器人的控制方法及装置
Burelli et al. Towards adaptive virtual camera control in computer games
CN110070052A (zh) 一种基于人类演示视频的机器人控制方法、装置和设备
CN107247656A (zh) 一种机考中记录并统计考生鼠标行为的方法及系统
CN114223139A (zh) 界面切换方法、装置、可穿戴电子设备及存储介质
CN109492694A (zh) 一种用户属性分析方法、系统及相关设备
CN116186561B (zh) 基于高维时序图网络的跑步姿势识别纠正方法及系统
CN107529067A (zh) 视频的推荐方法和装置
CN106339658A (zh) 数据的处理方法和装置
CN104394435B (zh) 数字机顶盒开机检测方法和装置
CN106815264A (zh) 一种信息处理方法及系统
CN110427894A (zh) 一种人群异常运动监控方法、系统、设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant