CN108985164A - 基于物体运动状态的眼部关注预测方法 - Google Patents

基于物体运动状态的眼部关注预测方法 Download PDF

Info

Publication number
CN108985164A
CN108985164A CN201810597486.XA CN201810597486A CN108985164A CN 108985164 A CN108985164 A CN 108985164A CN 201810597486 A CN201810597486 A CN 201810597486A CN 108985164 A CN108985164 A CN 108985164A
Authority
CN
China
Prior art keywords
state
eye
user
close attention
dimensional screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810597486.XA
Other languages
English (en)
Inventor
佘莹莹
何豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN201810597486.XA priority Critical patent/CN108985164A/zh
Publication of CN108985164A publication Critical patent/CN108985164A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/197Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明一种基于物体运动状态的眼部关注预测方法,通过机器学习分类算法构建了针对不同运动状态物体的眼部关注状态预测模型,在获取用户在二维屏幕上的眼部专注点坐标数据和二维屏幕上的物体运动状态数据后,利用眼部关注状态预测模型可以预测用户的关注状态,并结合用户所处的实时环境信息,对用户的行为趋势与认知状态进行预测和分析,上述的预测结果可以应用到各种不同的交互介质中。

Description

基于物体运动状态的眼部关注预测方法
技术领域
本发明涉及一种基于物体运动状态的眼部关注预测方法。
背景技术
目前,与眼动交互相关的研究还处于一个相对初级的阶段,其拥有很大的发展潜力。现有的与眼动相关的应用方法存在以下缺陷:
1、局限于数据的采集和统计分析;
2、没有系统地将人的眼动行为与其所处的情境相结合;
3、缺少对用户情境认知状态的分析与描述;
4、没有很好地将人的眼动模式进行抽象化的模型分析。
因此,眼部运动状态所蕴含的信息还需要被更加深入地分析与挖掘。
发明内容
本发明的目的在于提供一种基于物体运动状态的眼部关注预测方法,是一种基于眼动交互的物体运动关注预测方法,利用机器学习算法训练出针对四种运动状态物体(静止、直线运动、曲线运动、随机出现)的眼部关注模型,利用构建的眼部关注模型来预测人眼当前关注的物体运动状态,并根据预测结果与人所处的情境相结合来预测人的行为趋势,根据该行为趋势预测结果,对人在所处环境的认知状态进行分析。
本发明一种基于物体运动状态的眼部关注预测方法,通过使用标签传播、决策树以及SVM三种机器学习分类算法来学习眼动状态与二维屏幕上的物体运动状态信息的关联性,构建针对不同运动状态物体的眼部关注状态预测模型,在获取用户在二维屏幕上的眼部专注点坐标数据和二维屏幕上的物体运动状态数据后,利用眼部关注状态预测模型来预测用户的关注状态,并结合用户所处的实时环境信息,对用户的行为趋势与认知状态进行预测和分析。
具体包括如下步骤:
步骤1、采集不同人在观察二维屏幕上物体处于静止、直线运动、曲线运动以及随机出现四个运动状态时的眼动状态,对眼动状态数据依据上述物体所处的运动状态进行标定;眼动状态数据和物体运动状态信息包括用户在二维屏幕上的注视点坐标、用户的关注状态、二维屏幕上的物体坐标、物体的运动状态、物体的颜色、物体的形状;
步骤2、将不同人在二维屏幕上的眼部关注点坐标以及二维屏幕上物体的运动坐标点将作为学习的特征,将用户的关注状态作为训练的预测标签放入到标签传播、决策树以及SVM三种机器学习分类算法中,训练出不同人针对四种不同运动状态物体的眼部关注状态预测模型;
步骤3、采集不同用户针对二维屏幕上不同运动状态的物体的眼部关注点坐标数据,利用眼部关注预测模型来预测用户的关注状态,即用户是否在关注这个物体;
步骤4、该眼部关注状态预测模型结合实时环境信息,对用户的行为趋势进行预测,并最终对用户的情境认知状态进行分析,所述的实时环境信息包括用户所关注的物体运动状态信息、用户眼部关注点坐标数据、交互情境信息。
本发明通过机器学习分类算法构建了针对不同运动状态物体的眼部关注状态预测模型,在获取用户在二维屏幕上的眼部专注点坐标数据,结合二维屏幕上的物体运动状态数据后,利用眼部关注状态预测模型可以预测用户的关注状态,并结合用户所处的实时环境信息,对用户的行为趋势与认知状态进行预测和分析,上述的预测结果可以应用到各种不同的交互介质中。本发明基于眼动交互预测用户的行为趋势方法实际上是对用户在环境中的认知状态进行一个维度的分析,其分析的来源为人眼所蕴藏的认知信息。
附图说明
图1为本发明的工作原理图。
具体实施方式
本发明一种基于物体运动状态的眼部关注预测方法,在运动学分析结果的支持下,得出物体在二维屏幕上的运动状态包括静止(物体保持静止)、直线运动(物体以直线的形式运动)、曲线运动(物体以曲线的形式运动)以及随机出现(物体随机出现在某个区域)四种,当人眼在关注这四种不同运动状态的物体时会出现不同的关注模式;通过使用标签传播、决策树以及SVM三种机器学习分类算法来学习眼动状态与二维屏幕上的物体运动状态信息的关联性,构建针对不同运动状态物体的眼部关注状态预测模型;通过获取用户在二维屏幕上的眼部专注点坐标数据,结合二维屏幕上的物体运动状态数据,利用眼部关注状态预测模型来预测用户的关注状态,并结合用户所处的实时环境信息,对用户的行为趋势与认知状态进行预测和分析,如图1所示,包括如下具体步骤:
步骤1、采集不同人的眼部在观察二维屏幕上物体处于静止、直线运动、曲线运动以及随机出现四个运动状态时的眼动状态,对眼动状态数据依据上述物体所处的运动状态进行标定;眼动状态数据和物体运动状态信息包括用户在二维屏幕上的注视点坐标、用户的关注状态、二维屏幕上的物体坐标、物体的运动状态、物体的颜色、物体的形状等;
步骤2、将不同人在二维屏幕上的眼部关注点坐标以及二维屏幕上物体的运动坐标点将作为学习的特征,将用户的关注状态作为训练的预测标签放入到标签传播、决策树以及SVM三种机器学习分类算法中,从而训练出不同人针对四种不同运动状态物体的眼部关注状态预测模型;
步骤3、采集不同用户针对二维屏幕上不同运动状态的物体的眼部关注点坐标数据,利用眼部关注预测模型预测用户的关注状态,即用户是否在关注这个物体;
步骤4、该眼部关注状态预测模型结合实时环境信息,对用户的行为趋势进行预测,并最终对用户的情境认知状态进行分析,所述的实时环境信息包括用户所关注的物体运动状态信息、用户眼部关注点坐标数据、交互情境信息(即环境中各个元素存在上下文关联信息),上述的预测结果可以应用到各种不同的交互介质中。
以上所述,仅是本发明较佳实施例而已,并非对本发明的技术范围作任何限制,故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰,均仍属于本发明技术方案的范围内。

Claims (2)

1.一种基于物体运动状态的眼部关注预测方法,其特征在于:通过使用标签传播、决策树以及SVM三种机器学习分类算法来学习眼动状态与二维屏幕上的物体运动状态信息的关联性,构建针对不同运动状态物体的眼部关注状态预测模型,在获取用户在二维屏幕上的眼部专注点坐标数据和二维屏幕上的物体运动状态数据后,利用眼部关注状态预测模型来预测用户的关注状态,并结合用户所处的实时环境信息,对用户的行为趋势与认知状态进行预测和分析。
2.根据权利要求1所述的一种基于物体运动状态的眼部关注预测方法,其特征在于包括如下步骤:
步骤1、采集不同人在观察二维屏幕上物体处于静止、直线运动、曲线运动以及随机出现四个运动状态时的眼动状态,对眼动状态数据依据上述物体所处的运动状态进行标定;眼动状态数据和物体运动状态信息包括用户在二维屏幕上的注视点坐标、用户的关注状态、二维屏幕上的物体坐标、物体的运动状态、物体的颜色、物体的形状;
步骤2、将不同人在二维屏幕上的眼部关注点坐标以及二维屏幕上物体的运动坐标点将作为学习的特征,将用户的关注状态作为训练的预测标签放入到标签传播、决策树以及SVM三种机器学习分类算法中,训练出不同人针对四种不同运动状态物体的眼部关注状态预测模型;
步骤3、采集不同用户针对二维屏幕上不同运动状态的物体的眼部关注点坐标数据,利用眼部关注预测模型来预测用户的关注状态,即用户是否在关注这个物体;
步骤4、该眼部关注状态预测模型结合实时环境信息,对用户的行为趋势进行预测,并最终对用户的情境认知状态进行分析,所述的实时环境信息包括用户所关注的物体运动状态信息、用户眼部关注点坐标数据、交互情境信息。
CN201810597486.XA 2018-06-11 2018-06-11 基于物体运动状态的眼部关注预测方法 Pending CN108985164A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810597486.XA CN108985164A (zh) 2018-06-11 2018-06-11 基于物体运动状态的眼部关注预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810597486.XA CN108985164A (zh) 2018-06-11 2018-06-11 基于物体运动状态的眼部关注预测方法

Publications (1)

Publication Number Publication Date
CN108985164A true CN108985164A (zh) 2018-12-11

Family

ID=64540232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810597486.XA Pending CN108985164A (zh) 2018-06-11 2018-06-11 基于物体运动状态的眼部关注预测方法

Country Status (1)

Country Link
CN (1) CN108985164A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269044A (zh) * 2021-04-27 2021-08-17 青岛小鸟看看科技有限公司 头戴式显示设备的显示控制方法、装置及头戴式显示设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130097011A1 (en) * 2011-10-14 2013-04-18 Microsoft Corporation Online Advertisement Perception Prediction
CN103324287A (zh) * 2013-06-09 2013-09-25 浙江大学 基于眼动和笔触数据的计算机辅助草图绘制的方法和系统
CN104504390A (zh) * 2015-01-14 2015-04-08 北京工业大学 一种基于眼动数据的网上用户状态识别方法和装置
CN106920129A (zh) * 2017-03-09 2017-07-04 山东师范大学 一种基于眼动追踪的网络广告效果测评系统及其方法
CN107562202A (zh) * 2017-09-14 2018-01-09 中国石油大学(北京) 基于视线追踪的工艺操作人员人为失误识别方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130097011A1 (en) * 2011-10-14 2013-04-18 Microsoft Corporation Online Advertisement Perception Prediction
CN103324287A (zh) * 2013-06-09 2013-09-25 浙江大学 基于眼动和笔触数据的计算机辅助草图绘制的方法和系统
CN104504390A (zh) * 2015-01-14 2015-04-08 北京工业大学 一种基于眼动数据的网上用户状态识别方法和装置
CN106920129A (zh) * 2017-03-09 2017-07-04 山东师范大学 一种基于眼动追踪的网络广告效果测评系统及其方法
CN107562202A (zh) * 2017-09-14 2018-01-09 中国石油大学(北京) 基于视线追踪的工艺操作人员人为失误识别方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269044A (zh) * 2021-04-27 2021-08-17 青岛小鸟看看科技有限公司 头戴式显示设备的显示控制方法、装置及头戴式显示设备

Similar Documents

Publication Publication Date Title
Huynh-The et al. Artificial intelligence for the metaverse: A survey
Arzate Cruz et al. A survey on interactive reinforcement learning: Design principles and open challenges
Bibri Data-driven smart sustainable cities of the future: An evidence synthesis approach to a comprehensive state-of-the-art literature review
Zhang et al. Study on artificial intelligence: The state of the art and future prospects
Martínez-Plumed et al. Futures of artificial intelligence through technology readiness levels
Nocentini et al. A survey of behavioral models for social robots
Baraka et al. Mobile service robot state revealing through expressive lights: formalism, design, and evaluation
Sinha et al. Robotics at workplace: An integrated Twitter analytics–SEM based approach for behavioral intention to accept
Ji et al. A survey of human action analysis in HRI applications
Chandrasegaran et al. The evolution, challenges, and future of knowledge representation in product design systems
Martinez-Maldonado et al. Interactive surfaces and learning analytics: Data, orchestration aspects, pedagogical uses and challenges
Mangano et al. How software designers interact with sketches at the whiteboard
Lerner et al. Fitting behaviors to pedestrian simulations
Chow et al. Case transfer: A design approach by artifacts and projection
Gupta et al. Generative AI: A systematic review using topic modelling techniques
Krishnaswamy et al. Generating a novel dataset of multimodal referring expressions
Nold Device studies of participatory sensing: Ontological politics and design interventions
Rogla et al. Procedural crowd generation for semantically augmented virtual cities
Salleh et al. Artificial intelligence augmented project management
CN108985164A (zh) 基于物体运动状态的眼部关注预测方法
Li et al. Empowering a creative city: engage citizens in creating street art through human-ai collaboration
Krishnaswamy et al. Affordance embeddings for situated language understanding
Wiethoff et al. A Media Architecture Approach for Designing the Next Generation of Urban Interfaces.
Kaye et al. Panel: voice assistants, UX design and research
CN108921199A (zh) 基于物体表征状态的眼部关注偏好预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181211