CN104391574A - 视线处理方法、系统、终端设备及穿戴式设备 - Google Patents

视线处理方法、系统、终端设备及穿戴式设备 Download PDF

Info

Publication number
CN104391574A
CN104391574A CN201410647528.8A CN201410647528A CN104391574A CN 104391574 A CN104391574 A CN 104391574A CN 201410647528 A CN201410647528 A CN 201410647528A CN 104391574 A CN104391574 A CN 104391574A
Authority
CN
China
Prior art keywords
user
sight line
eyeball
deflection angle
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410647528.8A
Other languages
English (en)
Inventor
代伟男
靳福江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Chengdu BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Chengdu BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Chengdu BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201410647528.8A priority Critical patent/CN104391574A/zh
Publication of CN104391574A publication Critical patent/CN104391574A/zh
Priority to US14/740,861 priority patent/US9760169B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Hardware Design (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供一种视线处理方法、系统、终端设备及穿戴式设备，该视线处理方法包括：分别采集用户的头部偏转角度和眼球偏转角度，根据用户的头部偏转角度和眼球偏转角度确定显示界面中用户视线所在位置，获取用户眼球的动作信息，识别所述眼球的动作信息对应的动作指令，根据识别出的动作指令对用户视线所在位置处的显示画面执行对应的操作。采用本发明，可以准确地定位用户视线所在位置，并对用户视线所在位置处的画面执行相应的操作，提高用户操作的便利性。

Description

视线处理方法、系统、终端设备及穿戴式设备
技术领域
本发明涉及视线检测领域，尤其涉及一种视线处理方法、系统、终端设备及穿戴式设备。
背景技术
近年来，视线检测技术已经引起越来越多的关注。在平板电脑领域中，人们期望通过使用视线检测而不是用手指在平板电脑的屏幕内选择对象的功能来提高便利性。同时，在智能电视领域，诸如频道切换和未使用时的断电功能，作为代替遥控器的新用户界面，视线检测已经引起关注。
现有的视线检测技术一般是通过眼球捕捉来定位用户的视线，并不能很好地满足视线定位需要，因为用户的视线位置除受眼球偏转角度的影响外，还受其他因素的影响，比如观看角度、观看距离等因素都会对用户的视线产生影响，因此，现有技术无法精确地对用户的视线位置进行定位。
发明内容
有鉴于此，本发明提供一种视线处理方法、系统、终端设备及穿戴式设备，可以准确地定位用户视线所在位置，进而方便用户对视线所在位置处的显示画面执行相应的操作。
为解决上述技术问题，本发明提供一种视线处理方法，包括：
采集步骤：分别采集用户的头部偏转角度和眼球偏转角度；
定位步骤：根据用户的头部偏转角度和眼球偏转角度确定显示界面中用户视线所在位置。
进一步地，所述采集步骤包括：
利用位于用户头部的微电子机械陀螺仪对用户的头部偏转角度进行检测，获取用户的头部偏转角度；
利用图像采集器采集用户眼球的图像，确定用户眼球的虹膜与巩膜的交界处，计算得到用户的眼球偏转角度。
进一步地，所述采集步骤还包括：
在所述图形采集器采集图像时，利用红外补光模块为所述图像采集器补充光线。
进一步地，所述采集步骤之前还包括：
设定步骤：设定用户的视线基准点，并在用户注视所述视线基准点时，获取用户的初始视线数据。
进一步地，所述初始视线数据包括有用户眼球的虹膜与巩膜的初始交界处，所述采集步骤具体为：
将用户眼球的虹膜与巩膜的交界处与所述初始交界处进行对比，计算得到用户的眼球偏转角度。
进一步地，所述定位步骤之后还包括：
获取步骤：获取用户眼球的动作信息；
识别步骤：识别所述眼球的动作信息对应的动作指令；
处理步骤：根据识别出的动作指令对用户视线所在位置处的显示画面执行对应的操作。
进一步地，所述采集步骤、定位步骤、获取步骤及识别步骤由一穿戴式设备执行，所述处理步骤由一终端设备执行，其中，所述识别步骤和所述处理步骤之间，还包括：
所述穿戴式设备将识别出的动作指令以及用户视线所在位置发送给所述终端设备。
本发明实施例还提供了一种视线处理系统，包括：
采集模块，用于分别采集用户的头部偏转角度和眼球偏转角度；
定位模块，用于根据用户的头部偏转角度和眼球偏转角度确定显示界面中用户视线所在位置。
进一步地，所述采集模块包括：
第一采集单元，用于利用位于用户头部的微电子机械陀螺仪对用户的头部偏转角度进行检测，获取用户的头部偏转角度；
第二采集单元，用于利用图像采集器采集用户眼球的图像，确定用户眼球的虹膜与巩膜的交界处，计算得到用户的眼球偏转角度。
进一步地，所述系统还包括：
设定模块，用于设定用户的视线基准点，并在用户注视所述视线基准点时，获取用户的初始视线数据。
进一步地，所述初始视线数据包括有用户眼球的虹膜与巩膜的初始交界处，
所述第二采集单元具体用于将用户眼球的虹膜与巩膜的交界处与所述初始交界处进行对比，计算得到用户的眼球偏转角度。
进一步地，所述系统还包括：
获取模块，用于获取用户眼球的动作信息；
识别模块，用于识别所述眼球的动作信息对应的动作指令；
处理模块，用于根据识别出的动作指令对用户视线所在位置处的显示画面执行对应的操作。
进一步地，所述采集模块、定位模块、获取模块及识别模块设置于一穿戴式设备中，所述处理模块设置于一终端设备中；
所述穿戴式设备还包括：主通信模块；
所述终端设备还包括：子通信模块和显示模块；
所述主通信模块，用于将识别出的动作指令以及用户视线所在位置发送给所述子通信模块；
所述子通信模块，用于接收所述主通信模块发送的识别出的动作指令以及用户视线所在位置；
所述显示模块，用于提供显示界面。
进一步地，所述系统还包括，
红外补光模块，用于为所述图像采集器补充光线。
本发明实施例还提供了一种穿戴式设备，包括：
采集模块，用于分别采集用户的头部偏转角度和眼球偏转角度；
定位模块，用于根据用户的头部偏转角度和眼球偏转角度确定显示界面中用户视线所在位置。
进一步地，所述设备还包括：
获取模块，用于获取用户眼球的动作信息；
识别模块，用于识别所述眼球的动作信息对应的动作指令；
主通信模块，用于将识别出的动作指令以及用户视线所在位置发送给一终端设备。
本发明实施例还提供了一种终端设备，包括：
显示模块，用于提供显示界面。
进一步地，所述设备还包括：
子通信模块，用于接收所述用户佩戴的穿戴式设备发送的动作指令以及用户视线所在位置；
处理模块，用于根据识别出的动作指令对用户视线所在位置处的显示画面执行对应的操作。
本发明的上述技术方案的有益效果如下：
本发明中，分别采集用户的头部偏转角度和眼球偏转角度，结合用户的头部偏转角度和眼球偏转角度来定位用户的视线，可以准确地定位用户视线所在位置，进而方便用户对视线所在位置处的显示画面执行相应的操作。
附图说明
图1为本发明的实施例一的视线处理方法的流程示意图；
图2为本发明的实施例二的视线处理方法的流程示意图；
图3为本发明的实施例三的视线处理方法的流程示意图；
图4为本发明的实施例四的视线处理方法的流程示意图；
图5为本发明的实施例五的视线处理系统的结构示意图；
图6为本发明的实施例六的视线处理系统的结构示意图；
图7为本发明的实施例七的可穿戴设备的结构示意图；
图8为本发明的实施例八的终端设备的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
实施例一
图1为本实施例的视线处理方法的流程示意图，如图1所示，本实施例包括：
步骤101：分别采集用户的头部偏转角度和眼球偏转角度；
具体地，可以利用位于用户头部的穿戴式设备来采集用户的头部偏转角度和眼球偏转角度。该穿戴式设备包括微电子机械陀螺仪和图像采集器，具体可以为头盔或者眼镜等，利用微电子机械陀螺仪对用户的头部偏转角度进行检测，获取用户的头部偏转角度；利用图像采集器比如摄像机等采集用户眼球的图像，对图像进行灰度化处理，确定用户眼球的虹膜与巩膜的交界处，计算得到用户的眼球偏转角度。具体地，可以先设定用户的视线基准点，并在用户注视所述视线基准点时，获取用户的初始视线数据，该初始视线数据包括有用户眼球的虹膜与巩膜的初始交界处，将用户眼球的虹膜与巩膜的交界处与该初始交界处进行对比，计算得到用户的眼球偏转角度。
进一步地，在图像采集器进行图像采集时，为了保证暗光条件下的识别率，还可以通过红外补光模块为图像采集器补充光线。
步骤102：根据用户的头部偏转角度和眼球偏转角度确定显示界面中用户视线所在位置。
具体地，在终端设备的显示界面上仅显示一个供用户观看的画面时，可以将该显示画面划分为n*m个区域，确定该显示画面中用户视线所在的区域；在终端设备的显示界面上显示多个供用户观看的画面时，确定用户视线所在的显示画面。
本实施例分别采集用户的头部偏转角度和眼球偏转角度，结合用户的头部偏转角度和眼球偏转角度来定位用户的视线，可以准确地定位用户视线所在位置，进而方便用户对视线所在位置处的显示画面执行相应的操作。
实施例二
进一步地，在实施例一的基础上，本实施例还可以根据定位结果，对用户视线所在位置处的画面执行操作。图2为本实施例的视线处理方法的流程示意图，如图2所示，本实施例包括：
步骤201：分别采集用户的头部偏转角度和眼球偏转角度；
具体地，可以利用位于用户头部的穿戴式设备来采集用户的头部偏转角度和眼球偏转角度。该穿戴式设备包括微电子机械陀螺仪和图像采集器，具体可以为头盔或者眼镜等，利用微电子机械陀螺仪对用户的头部偏转角度进行检测，获取用户的头部偏转角度；利用图像采集器比如摄像机等采集用户眼球的图像，对图像进行灰度化处理，确定用户眼球的虹膜与巩膜的交界处，计算得到用户的眼球偏转角度。具体地，可以先设定用户的视线基准点，并在用户注视所述视线基准点时，获取用户的初始视线数据，该初始视线数据包括有用户眼球的虹膜与巩膜的初始交界处，将用户眼球的虹膜与巩膜的交界处与该初始交界处进行对比，计算得到用户的眼球偏转角度。
进一步地，在图像采集器进行图像采集时，为了保证暗光条件下的识别率，还可以通过红外补光模块为图像采集器补充光线。
步骤202：根据用户的头部偏转角度和眼球偏转角度确定显示界面中用户视线所在位置；
具体地，在终端设备的显示界面上仅显示一个供用户观看的画面时，可以将该显示画面划分为n*m个区域，确定该显示画面中用户视线所在的区域；在终端设备的显示界面上显示多个供用户观看的画面时，确定用户视线所在的显示画面。
步骤203：获取用户眼球的动作信息；
具体地，可以利用图像采集器获取用户眼球的动作信息，用户眼球的动作信息包括但不限于：用户的视线停留在同一区域超过预设时间、用户进行眨眼动作、用户的瞳孔缩小、用户的瞳孔放大、用户进行眯眼动作，其中，在图像采集器采集不到用户眼球的虹膜边界图像时，即可判断用户闭眼，在图像采集器采集的用户眼球的虹膜面积减小时，即可判断用户眯眼。
步骤204：识别所述眼球的动作信息对应的动作指令；
具体地，可以预先创建一动作信息数据库，在该动作信息数据库中存储有眼球的动作信息与动作指令的对应关系，根据该动作信息数据库查找与获取的眼球的动作信息对应的动作指令。该动作信息数据库可以由生产厂商设定，还可以由用户进行个人设定；该动作信息数据库可以存储在显示供用户观看画面的终端设备中，还可以存储在用户佩戴的可穿戴设备中。
步骤205：根据识别出的动作指令对用户视线所在位置处的显示画面执行对应的操作。
具体地，可以在用户的视线停留在同一区域超过预设时间时，对该区域的画面进行放大，待用户的视线移开后复原该区域的画面；在用户进行眨眼动作时，关闭用户视线所在的画面；在用户的瞳孔缩小或用户进行眯眼动作时，调低用户视线所在画面的亮度；在用户的瞳孔放大或用户睁大眼睛时，调高用户视线所在画面的亮度。
现有提供显示界面的终端设备一般不会对亮度进行自动修正，更无法判断用户对亮度的舒适感受程度，通过本实施例的视线处理方法，可以根据用户对亮度的舒适感受程度来对显示画面的亮度进行调整，改善了用户的感受。另外，用户不用通过双手操作，可穿戴设备可以自动获取用户眼球的动作信息，之后终端设备可以通过获取的动作信息自动对对用户视线所在位置处的显示画面执行相应的操作，提高了用户操作的便利性。
实施例三
本实施例中，由可穿戴设备检测用户视线所在位置、获取用户眼球的动作信息、识别眼球的动作信息对应的动作指令，并将识别出的动作指令以及用户视线所在位置发送给终端设备。图3为本实施例的视线处理方法的流程示意图，如图3所示，本实施例包括：
步骤301：可穿戴设备分别采集用户的头部偏转角度和眼球偏转角度；
具体地，可以利用位于用户头部的穿戴式设备来采集用户的头部偏转角度和眼球偏转角度。该穿戴式设备包括微电子机械陀螺仪和图像采集器，具体可以为头盔或者眼镜等，利用微电子机械陀螺仪对用户的头部偏转角度进行检测，获取用户的头部偏转角度；利用图像采集器比如摄像机等采集用户眼球的图像，对图像进行灰度化处理，确定用户眼球的虹膜与巩膜的交界处，计算得到用户的眼球偏转角度。具体地，可以先设定用户的视线基准点，并在用户注视所述视线基准点时，获取用户的初始视线数据，该初始视线数据包括有用户眼球的虹膜与巩膜的初始交界处，将用户眼球的虹膜与巩膜的交界处与该初始交界处进行对比，计算得到用户的眼球偏转角度。
进一步地，在图像采集器进行图像采集时，为了保证暗光条件下的识别率，还可以通过红外补光模块为图像采集器补充光线。
步骤302：可穿戴设备根据用户的头部偏转角度和眼球偏转角度确定显示界面中用户视线所在位置；
具体地，在终端设备的显示界面上仅显示一个供用户观看的画面时，可以将该显示画面划分为n*m个区域，确定该显示画面中用户视线所在的区域；在终端设备的显示界面上显示多个供用户观看的画面时，可穿戴设备确定用户视线所在的显示画面。
步骤303：可穿戴设备获取用户眼球的动作信息；
具体地，可穿戴设备可以利用图像采集器获取用户眼球的动作信息，用户眼球的动作信息包括但不限于：用户的视线停留在同一区域超过预设时间、用户进行眨眼动作、用户的瞳孔缩小、用户的瞳孔放大、用户进行眯眼动作，其中，在图像采集器采集不到用户眼球的虹膜边界图像时，即可判断用户闭眼，在图像采集器采集的用户眼球的虹膜面积减小时，即可判断用户眯眼。
步骤304：可穿戴设备识别所述眼球的动作信息对应的动作指令；
具体地，可以预先创建一动作信息数据库，在该动作信息数据库中存储有眼球的动作信息与动作指令的对应关系，可穿戴设备根据该动作信息数据库查找与获取的眼球的动作信息对应的动作指令。该动作信息数据库可以由生产厂商设定，还可以由用户进行个人设定；该动作信息数据库存储在用户佩戴的可穿戴设备中。
步骤305：可穿戴设备将识别出的动作指令以及用户视线所在位置发送给终端设备，终端设备根据识别出的动作指令对用户视线所在位置处的显示画面执行对应的操作。
具体地，终端设备可以在用户的视线停留在同一区域超过预设时间时，对该区域的画面进行放大，待用户的视线移开后复原该区域的画面；在用户进行眨眼动作时，关闭用户视线所在的画面；在用户的瞳孔缩小或用户进行眯眼动作时，调低用户视线所在画面的亮度；在用户的瞳孔放大或用户睁大眼睛时，调高用户视线所在画面的亮度。
现有提供显示界面的终端设备一般不会对亮度进行自动修正，更无法判断用户对亮度的舒适感受程度，通过本实施例的视线处理方法，可以根据用户对亮度的舒适感受程度来对显示画面的亮度进行调整，改善了用户的感受。另外，用户不用通过双手操作，可穿戴设备可以自动获取用户眼球的动作信息，之后终端设备可以通过获取的动作信息自动对对用户视线所在位置处的显示画面执行相应的操作，提高了用户操作的便利性。
实施例四
本实施例中，由可穿戴设备检测用户视线所在位置、获取用户眼球的动作信息，并将获取的眼球的动作信息以及用户视线所在位置发送给终端设备，由终端设备识别眼球的动作信息对应的动作指令。图4为本实施例的视线处理方法的流程示意图，如图4所示，本实施例包括：
步骤401：可穿戴设备分别采集用户的头部偏转角度和眼球偏转角度；
具体地，可以利用位于用户头部的穿戴式设备来采集用户的头部偏转角度和眼球偏转角度。该穿戴式设备包括微电子机械陀螺仪和图像采集器，具体可以为头盔或者眼镜等，利用微电子机械陀螺仪对用户的头部偏转角度进行检测，获取用户的头部偏转角度；利用图像采集器比如摄像机等采集用户眼球的图像，对图像进行灰度化处理，确定用户眼球的虹膜与巩膜的交界处，计算得到用户的眼球偏转角度。具体地，可以先设定用户的视线基准点，并在用户注视所述视线基准点时，获取用户的初始视线数据，该初始视线数据包括有用户眼球的虹膜与巩膜的初始交界处，将用户眼球的虹膜与巩膜的交界处与该初始交界处进行对比，计算得到用户的眼球偏转角度。
进一步地，在图像采集器进行图像采集时，为了保证暗光条件下的识别率，还可以通过红外补光模块为图像采集器补充光线。
步骤402：可穿戴设备根据用户的头部偏转角度和眼球偏转角度确定显示界面中用户视线所在位置；
具体地，在终端设备的显示界面上仅显示一个供用户观看的画面时，可以将该显示画面划分为n*m个区域，确定该显示画面中用户视线所在的区域；在终端设备的显示界面上显示多个供用户观看的画面时，可穿戴设备确定用户视线所在的显示画面。
步骤403：可穿戴设备获取用户眼球的动作信息；
具体地，可穿戴设备可以利用图像采集器获取用户眼球的动作信息，用户眼球的动作信息包括但不限于：用户的视线停留在同一区域超过预设时间、用户进行眨眼动作、用户的瞳孔缩小、用户的瞳孔放大、用户进行眯眼动作，其中，在图像采集器采集不到用户眼球的虹膜边界图像时，即可判断用户闭眼，在图像采集器采集的用户眼球的虹膜面积减小时，即可判断用户眯眼。
步骤404：可穿戴设备将眼球的动作信息以及用户视线所在位置发送给终端设备，终端设备识别所述眼球的动作信息对应的动作指令；
具体地，可以预先创建一动作信息数据库，在该动作信息数据库中存储有眼球的动作信息与动作指令的对应关系，终端设备根据该动作信息数据库查找与获取的眼球的动作信息对应的动作指令。该动作信息数据库可以由生产厂商设定，还可以由用户进行个人设定；该动作信息数据库存储在提供显示界面的终端设备中。
步骤405：终端设备根据识别出的动作指令对用户视线所在位置处的显示画面执行对应的操作。
具体地，终端设备可以在用户的视线停留在同一区域超过预设时间时，对该区域的画面进行放大，待用户的视线移开后复原该区域的画面；在用户进行眨眼动作时，关闭用户视线所在的画面；在用户的瞳孔缩小或用户进行眯眼动作时，调低用户视线所在画面的亮度；在用户的瞳孔放大或用户睁大眼睛时，调高用户视线所在画面的亮度。
现有提供显示界面的终端设备一般不会对亮度进行自动修正，更无法判断用户对亮度的舒适感受程度，通过本实施例的视线处理方法，可以根据用户对亮度的舒适感受程度来对显示画面的亮度进行调整，改善了用户的感受。另外，用户不用通过双手操作，可穿戴设备可以自动获取用户眼球的动作信息，之后终端设备可以通过获取的动作信息自动对对用户视线所在位置处的显示画面执行相应的操作，提高了用户操作的便利性。
实施例五
本实施例还提供了一种视线处理系统，如图5所示，本实施例包括：
采集模块，用于分别采集用户的头部偏转角度和眼球偏转角度；
定位模块，用于根据用户的头部偏转角度和眼球偏转角度确定显示界面中用户视线所在位置。
进一步地，所述采集模块包括：
第一采集单元，用于利用位于用户头部的微电子机械陀螺仪对用户的头部偏转角度进行检测，获取用户的头部偏转角度；
第二采集单元，用于利用图像采集器采集用户眼球的图像，确定用户眼球的虹膜与巩膜的交界处，计算得到用户的眼球偏转角度。
进一步地，所述系统还包括：
设定模块，用于设定用户的视线基准点，并在用户注视所述视线基准点时，获取用户的初始视线数据。
进一步地，所述初始视线数据包括有用户眼球的虹膜与巩膜的初始交界处，
所述第二采集单元具体用于将用户眼球的虹膜与巩膜的交界处与所述初始交界处进行对比，计算得到用户的眼球偏转角度。
进一步地，所述系统还包括：
获取模块，用于获取用户眼球的动作信息；
识别模块，用于识别所述眼球的动作信息对应的动作指令；
处理模块，用于根据识别出的动作指令对用户视线所在位置处的显示画面执行对应的操作。
如图5所示，所述采集模块、定位模块、获取模块及识别模块设置于一穿戴式设备中，所述处理模块设置于一终端设备中；
所述穿戴式设备还包括：主通信模块；
所述终端设备还包括：子通信模块和显示模块；
所述主通信模块，用于将识别出的动作指令以及用户视线所在位置发送给所述子通信模块；
所述子通信模块，用于接收所述主通信模块发送的识别出的动作指令以及用户视线所在位置；
所述显示模块，用于提供显示界面。
进一步地，所述系统还包括，
红外补光模块，用于为所述图像采集器补充光线。
实施例六
本实施例还提供了一种视线处理系统，如图6所示，本实施例包括：
采集模块，用于分别采集用户的头部偏转角度和眼球偏转角度；
定位模块，用于根据用户的头部偏转角度和眼球偏转角度确定显示界面中用户视线所在位置。
进一步地，所述采集模块包括：
第一采集单元，用于利用位于用户头部的微电子机械陀螺仪对用户的头部偏转角度进行检测，获取用户的头部偏转角度；
第二采集单元，用于利用图像采集器采集用户眼球的图像，确定用户眼球的虹膜与巩膜的交界处，计算得到用户的眼球偏转角度。
进一步地，所述系统还包括：
设定模块，用于设定用户的视线基准点，并在用户注视所述视线基准点时，获取用户的初始视线数据。
进一步地，所述初始视线数据包括有用户眼球的虹膜与巩膜的初始交界处，
所述第二采集单元具体用于将用户眼球的虹膜与巩膜的交界处与所述初始交界处进行对比，计算得到用户的眼球偏转角度。
进一步地，所述系统还包括：
获取模块，用于获取用户眼球的动作信息；
识别模块，用于识别所述眼球的动作信息对应的动作指令；
处理模块，用于根据识别出的动作指令对用户视线所在位置处的显示画面执行对应的操作。
如图6所示，所述采集模块、定位模块、获取模块设置于一穿戴式设备中，所述处理模块及识别模块设置于一终端设备中；
所述穿戴式设备还包括：主通信模块；
所述终端设备还包括：子通信模块和显示模块；
所述主通信模块，用于将获取的用户眼球的动作信息以及用户视线所在位置发送给所述子通信模块；
所述子通信模块，用于接收所述主通信模块发送的获取的用户眼球的动作信息以及用户视线所在位置；
所述显示模块，用于提供显示界面。
进一步地，所述系统还包括，
红外补光模块，用于为所述图像采集器补充光线。
实施例七
本实施例还提供了一种穿戴式设备，如图7所示，本实施例包括：
采集模块，用于分别采集用户的头部偏转角度和眼球偏转角度；
定位模块，用于根据用户的头部偏转角度和眼球偏转角度确定显示界面中用户视线所在位置。
进一步地，所述设备还包括：
获取模块，用于获取用户眼球的动作信息；
识别模块，用于识别所述眼球的动作信息对应的动作指令；
主通信模块，用于将识别出的动作指令以及用户视线所在位置发送给一终端设备。
实施例八
本实施例还提供了一种终端设备，如图8所示，本实施例包括：
显示模块，用于提供显示界面。
进一步地，所述设备还包括：
子通信模块，用于接收所述用户佩戴的穿戴式设备发送的动作指令以及用户视线所在位置；
处理模块，用于根据识别出的动作指令对用户视线所在位置处的显示画面执行对应的操作。
此说明书中所描述的许多功能部件都被称为模块，以便更加特别地强调其实现方式的独立性。
本发明实施例中，模块可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块，举例来说，其可以被构建为对象、过程或函数。尽管如此，所标识模块的可执行代码无需物理地位于一起，而是可以包括存储在不同物理上的不同的指令，当这些指令逻辑上结合在一起时，其构成模块并且实现该模块的规定目的。
实际上，可执行代码模块可以是单条指令或者是许多条指令，并且甚至可以分布在多个不同的代码段上，分布在不同程序当中，以及跨越多个存储器设备分布。同样地，操作数据可以在模块内被识别，并且可以依照任何适当的形式实现并且被组织在任何适当类型的数据结构内。所述操作数据可以作为单个数据集被收集，或者可以分布在不同位置上(包括在不同存储设备上)，并且至少部分地可以仅作为电子信号存在于系统或网络上。
在模块可以利用软件实现时，考虑到现有硬件工艺的水平，所以可以以软件实现的模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能，所述硬件电路包括常规的超大规模集成(VLSI)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。
在本发明各方法实施例中，所述各步骤的序号并不能用于限定各步骤的先后顺序，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，对各步骤的先后变化也在本发明的保护范围之内。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (18)

1.一种视线处理方法，其特征在于，包括：
采集步骤：分别采集用户的头部偏转角度和眼球偏转角度；
定位步骤：根据用户的头部偏转角度和眼球偏转角度确定显示界面中用户视线所在位置。
2.根据权利要求1所述的视线处理方法，其特征在于，所述采集步骤包括：
利用位于用户头部的微电子机械陀螺仪对用户的头部偏转角度进行检测，获取用户的头部偏转角度；
利用图像采集器采集用户眼球的图像，确定用户眼球的虹膜与巩膜的交界处，计算得到用户的眼球偏转角度。
3.根据权利要求2所述的视线处理方法，其特征在于，所述采集步骤还包括：
在所述图形采集器采集图像时，利用红外补光模块为所述图像采集器补充光线。
4.根据权利要求1所述的视线处理方法，其特征在于，所述采集步骤之前还包括：
设定步骤：设定用户的视线基准点，并在用户注视所述视线基准点时，获取用户的初始视线数据。
5.根据权利要求4所述的视线处理方法，其特征在于，所述初始视线数据包括有用户眼球的虹膜与巩膜的初始交界处，所述采集步骤具体为：
将用户眼球的虹膜与巩膜的交界处与所述初始交界处进行对比，计算得到用户的眼球偏转角度。
6.根据权利要求1-5中任一项所述的视线处理方法，其特征在于，所述定位步骤之后还包括：
获取步骤：获取用户眼球的动作信息；
识别步骤：识别所述眼球的动作信息对应的动作指令；
处理步骤：根据识别出的动作指令对用户视线所在位置处的显示画面执行对应的操作。
7.根据权利要求6所述的视线处理方法，其特征在于，
所述采集步骤、定位步骤、获取步骤及识别步骤由一穿戴式设备执行，所述处理步骤由一终端设备执行，其中，所述识别步骤和所述处理步骤之间，还包括：
所述穿戴式设备将识别出的动作指令以及用户视线所在位置发送给所述终端设备。
8.一种视线处理系统，其特征在于，包括：
采集模块，用于分别采集用户的头部偏转角度和眼球偏转角度；
定位模块，用于根据用户的头部偏转角度和眼球偏转角度确定显示界面中用户视线所在位置。
9.根据权利要求8所述的视线处理系统，其特征在于，所述采集模块包括：
第一采集单元，用于利用位于用户头部的微电子机械陀螺仪对用户的头部偏转角度进行检测，获取用户的头部偏转角度；
第二采集单元，用于利用图像采集器采集用户眼球的图像，确定用户眼球的虹膜与巩膜的交界处，计算得到用户的眼球偏转角度。
10.根据权利要求8所述的视线处理系统，其特征在于，所述系统还包括：
设定模块，用于设定用户的视线基准点，并在用户注视所述视线基准点时，获取用户的初始视线数据。
11.根据权利要求10所述的视线处理系统，其特征在于，所述初始视线数据包括有用户眼球的虹膜与巩膜的初始交界处，
所述第二采集单元具体用于将用户眼球的虹膜与巩膜的交界处与所述初始交界处进行对比，计算得到用户的眼球偏转角度。
12.根据权利要求8-11中任一项所述的视线处理系统，其特征在于，所述系统还包括：
获取模块，用于获取用户眼球的动作信息；
识别模块，用于识别所述眼球的动作信息对应的动作指令；
处理模块，用于根据识别出的动作指令对用户视线所在位置处的显示画面执行对应的操作。
13.根据权利要求12所述的视线处理系统，其特征在于，
所述采集模块、定位模块、获取模块及识别模块设置于一穿戴式设备中，所述处理模块设置于一终端设备中；
所述穿戴式设备还包括：主通信模块；
所述终端设备还包括：子通信模块和显示模块；
所述主通信模块，用于将识别出的动作指令以及用户视线所在位置发送给所述子通信模块；
所述子通信模块，用于接收所述主通信模块发送的识别出的动作指令以及用户视线所在位置；
所述显示模块，用于提供显示界面。
14.根据权利要求8所述的视线处理系统，其特征在于，所述系统还包括，
红外补光模块，用于为所述图像采集器补充光线。
15.一种穿戴式设备，其特征在于，包括：
采集模块，用于分别采集用户的头部偏转角度和眼球偏转角度；
定位模块，用于根据用户的头部偏转角度和眼球偏转角度确定显示界面中用户视线所在位置。
16.根据权利要求15所述的穿戴式设备，其特征在于，所述设备还包括：
获取模块，用于获取用户眼球的动作信息；
识别模块，用于识别所述眼球的动作信息对应的动作指令；
主通信模块，用于将识别出的动作指令以及用户视线所在位置发送给一终端设备。
17.一种终端设备，其特征在于，包括：
显示模块，用于提供显示界面。
18.根据权利要求17所述的终端设备，其特征在于，所述设备还包括：
子通信模块，用于接收所述用户佩戴的穿戴式设备发送的动作指令以及用户视线所在位置；
处理模块，用于根据识别出的动作指令对用户视线所在位置处的显示画面执行对应的操作。
CN201410647528.8A 2014-11-14 2014-11-14 视线处理方法、系统、终端设备及穿戴式设备 Pending CN104391574A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201410647528.8A CN104391574A (zh) 2014-11-14 2014-11-14 视线处理方法、系统、终端设备及穿戴式设备
US14/740,861 US9760169B2 (en) 2014-11-14 2015-06-16 Line-of-sight processing method, line-of-sight processing system and wearable device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410647528.8A CN104391574A (zh) 2014-11-14 2014-11-14 视线处理方法、系统、终端设备及穿戴式设备

Publications (1)

Publication Number Publication Date
CN104391574A true CN104391574A (zh) 2015-03-04

Family

ID=52609486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410647528.8A Pending CN104391574A (zh) 2014-11-14 2014-11-14 视线处理方法、系统、终端设备及穿戴式设备

Country Status (2)

Country Link
US (1) US9760169B2 (zh)
CN (1) CN104391574A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104951084A (zh) * 2015-07-30 2015-09-30 京东方科技集团股份有限公司 视线追踪方法及装置
CN105138118A (zh) * 2015-07-31 2015-12-09 努比亚技术有限公司 实现人机交互的智能眼镜、方法以及移动终端
CN105279948A (zh) * 2015-10-28 2016-01-27 广东欧珀移动通信有限公司 红外信号发送装置
CN105631280A (zh) * 2015-07-28 2016-06-01 宇龙计算机通信科技(深圳)有限公司 图标控制方法、图标控制装置和终端
CN105677040A (zh) * 2016-02-17 2016-06-15 深圳创维数字技术有限公司 一种终端控制方法、装置及可穿戴设备
CN106200961A (zh) * 2016-07-10 2016-12-07 上海青橙实业有限公司 移动终端、可穿戴设备及输入方法
CN106339069A (zh) * 2015-07-08 2017-01-18 阿里巴巴集团控股有限公司 屏幕处理方法及装置
CN106372568A (zh) * 2015-07-22 2017-02-01 罗伯特·博世有限公司 用于对车辆乘客的视线进行预测的方法和装置
CN106708251A (zh) * 2015-08-12 2017-05-24 天津电眼科技有限公司 一种基于眼球追踪技术的智能眼镜控制方法
CN107515466A (zh) * 2017-08-14 2017-12-26 华为技术有限公司 一种眼球追踪系统和眼球追踪方法
CN108898102A (zh) * 2018-06-29 2018-11-27 上海小蚁科技有限公司 关注商品的确定方法及装置、存储介质、终端
CN109190425A (zh) * 2018-07-25 2019-01-11 维沃移动通信有限公司 一种信息识别方法及终端设备
CN109345542A (zh) * 2018-09-18 2019-02-15 重庆大学 一种穿戴式视觉注视目标定位装置及方法
CN109495608A (zh) * 2017-09-12 2019-03-19 珠海格力电器股份有限公司 一种信息呈现方法、装置及折叠移动终端
CN109508679A (zh) * 2018-11-19 2019-03-22 广东工业大学 实现眼球三维视线跟踪的方法、装置、设备及存储介质
CN109976889A (zh) * 2019-03-26 2019-07-05 孙涛 一种基于智能眼镜的多任务协同处理方法
CN110488982A (zh) * 2019-08-26 2019-11-22 业成科技（成都）有限公司 透过眼球追踪电子白板之装置
CN112043235A (zh) * 2020-07-13 2020-12-08 天津市眼科医院 一种便携式眼球静态旋转测量仪及利用其测量眼球旋转角度的方法
CN112083795A (zh) * 2019-06-12 2020-12-15 北京迈格威科技有限公司 对象控制方法及装置、存储介质和电子设备
CN112188288A (zh) * 2020-09-04 2021-01-05 青岛海尔科技有限公司 用于控制电视的方法及系统、装置、设备
CN112286350A (zh) * 2020-10-27 2021-01-29 珠海格力电器股份有限公司 设备控制方法及装置、电子设备、电子装置、处理器

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109474789B (zh) * 2018-10-30 2020-09-08 维沃移动通信（杭州）有限公司 补光灯的视场角调整方法和移动终端

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US6943754B2 (en) * 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
CN1293446C (zh) 2005-06-02 2007-01-03 北京中星微电子有限公司 一种非接触式目控操作系统和方法
US8696113B2 (en) * 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
JP4966816B2 (ja) 2007-10-25 2012-07-04 株式会社日立製作所 視線方向計測方法および視線方向計測装置
US8786675B2 (en) * 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
ES2880475T3 (es) * 2009-04-01 2021-11-24 Tobii Ab Sistema de representación visual con iluminadores para el seguimiento de la mirada
WO2012137801A1 (ja) * 2011-04-07 2012-10-11 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 入力装置及び入力方法並びにコンピュータプログラム
CA3164530C (en) * 2011-10-28 2023-09-19 Magic Leap, Inc. System and method for augmented and virtual reality
US20130258089A1 (en) * 2011-11-03 2013-10-03 Intel Corporation Eye Gaze Based Image Capture
US9183807B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Displaying virtual data as printed content
US8736692B1 (en) * 2012-07-09 2014-05-27 Google Inc. Using involuntary orbital movements to stabilize a video
CN103136519A (zh) 2013-03-22 2013-06-05 中国移动通信集团江苏有限公司南京分公司 一种基于虹膜识别的视线跟踪定位方法
US9979547B2 (en) * 2013-05-08 2018-05-22 Google Llc Password management
CN103293673B (zh) 2013-06-03 2015-04-01 卫荣杰 集成显示器和眼动仪和虹膜识别仪的帽子
US20150033266A1 (en) * 2013-07-24 2015-01-29 United Video Properties, Inc. Methods and systems for media guidance applications configured to monitor brain activity in different regions of a brain
CN103870738A (zh) 2014-04-10 2014-06-18 宫雅卓 基于虹膜识别的可穿戴式身份认证装置

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339069A (zh) * 2015-07-08 2017-01-18 阿里巴巴集团控股有限公司 屏幕处理方法及装置
CN106372568B (zh) * 2015-07-22 2021-06-29 罗伯特·博世有限公司 用于对车辆乘客的视线进行预测的方法和装置
CN106372568A (zh) * 2015-07-22 2017-02-01 罗伯特·博世有限公司 用于对车辆乘客的视线进行预测的方法和装置
CN105631280A (zh) * 2015-07-28 2016-06-01 宇龙计算机通信科技(深圳)有限公司 图标控制方法、图标控制装置和终端
CN105631280B (zh) * 2015-07-28 2018-08-24 宇龙计算机通信科技(深圳)有限公司 图标控制方法、图标控制装置和终端
CN104951084B (zh) * 2015-07-30 2017-12-29 京东方科技集团股份有限公司 视线追踪方法及装置
CN104951084A (zh) * 2015-07-30 2015-09-30 京东方科技集团股份有限公司 视线追踪方法及装置
CN105138118A (zh) * 2015-07-31 2015-12-09 努比亚技术有限公司 实现人机交互的智能眼镜、方法以及移动终端
CN106708251A (zh) * 2015-08-12 2017-05-24 天津电眼科技有限公司 一种基于眼球追踪技术的智能眼镜控制方法
CN105279948B (zh) * 2015-10-28 2018-01-26 广东欧珀移动通信有限公司 红外信号发送装置
CN105279948A (zh) * 2015-10-28 2016-01-27 广东欧珀移动通信有限公司 红外信号发送装置
CN105677040A (zh) * 2016-02-17 2016-06-15 深圳创维数字技术有限公司 一种终端控制方法、装置及可穿戴设备
CN106200961A (zh) * 2016-07-10 2016-12-07 上海青橙实业有限公司 移动终端、可穿戴设备及输入方法
CN107515466A (zh) * 2017-08-14 2017-12-26 华为技术有限公司 一种眼球追踪系统和眼球追踪方法
CN107515466B (zh) * 2017-08-14 2019-11-26 华为技术有限公司 一种眼球追踪系统和眼球追踪方法
US11598956B2 (en) 2017-08-14 2023-03-07 Huawei Technologies Co., Ltd. Eyeball tracking system and eyeball tracking method
US11067795B2 (en) 2017-08-14 2021-07-20 Huawei Technologies Co., Ltd. Eyeball tracking system and eyeball tracking method
CN109495608A (zh) * 2017-09-12 2019-03-19 珠海格力电器股份有限公司 一种信息呈现方法、装置及折叠移动终端
CN108898102A (zh) * 2018-06-29 2018-11-27 上海小蚁科技有限公司 关注商品的确定方法及装置、存储介质、终端
CN108898102B (zh) * 2018-06-29 2021-02-02 上海小蚁科技有限公司 关注商品的确定方法及装置、存储介质、终端
CN109190425A (zh) * 2018-07-25 2019-01-11 维沃移动通信有限公司 一种信息识别方法及终端设备
CN109190425B (zh) * 2018-07-25 2021-12-28 维沃移动通信有限公司 一种信息识别方法及终端设备
CN109345542A (zh) * 2018-09-18 2019-02-15 重庆大学 一种穿戴式视觉注视目标定位装置及方法
CN109508679B (zh) * 2018-11-19 2023-02-10 广东工业大学 实现眼球三维视线跟踪的方法、装置、设备及存储介质
CN109508679A (zh) * 2018-11-19 2019-03-22 广东工业大学 实现眼球三维视线跟踪的方法、装置、设备及存储介质
CN109976889A (zh) * 2019-03-26 2019-07-05 孙涛 一种基于智能眼镜的多任务协同处理方法
CN109976889B (zh) * 2019-03-26 2024-01-23 孙涛 一种基于智能眼镜的多任务协同处理方法
CN112083795A (zh) * 2019-06-12 2020-12-15 北京迈格威科技有限公司 对象控制方法及装置、存储介质和电子设备
CN110488982A (zh) * 2019-08-26 2019-11-22 业成科技（成都）有限公司 透过眼球追踪电子白板之装置
CN112043235A (zh) * 2020-07-13 2020-12-08 天津市眼科医院 一种便携式眼球静态旋转测量仪及利用其测量眼球旋转角度的方法
CN112043235B (zh) * 2020-07-13 2024-02-06 天津市眼科医院 一种便携式眼球静态旋转测量仪及利用其测量眼球旋转角度的方法
CN112188288A (zh) * 2020-09-04 2021-01-05 青岛海尔科技有限公司 用于控制电视的方法及系统、装置、设备
CN112286350A (zh) * 2020-10-27 2021-01-29 珠海格力电器股份有限公司 设备控制方法及装置、电子设备、电子装置、处理器

Also Published As

Publication number Publication date
US20160139664A1 (en) 2016-05-19
US9760169B2 (en) 2017-09-12

Similar Documents

Publication Publication Date Title
CN104391574A (zh) 视线处理方法、系统、终端设备及穿戴式设备
US20170351326A1 (en) Eye training system and computer program product
US20190269324A1 (en) Opthalmoscope Device
US11835726B2 (en) Image display method, AR glasses and storage medium
EP2710516B1 (en) Systems and methods for identifying gaze tracking scene reference locations
CN204791066U (zh) 一种用于移动终端的虹膜识别装置及包含其的移动终端
CN105468147A (zh) 一种预防近视的智能设备、系统及方法
CN104793741A (zh) 带眼球跟踪虚拟现实成像系统和方法
CN104238752B (zh) 一种信息处理方法及第一可穿戴式设备
CN103425443A (zh) 一种控制方法、系统和电子设备
WO2020020022A1 (zh) 视觉识别方法及其系统
CN105867605A (zh) 虚拟现实头盔的功能菜单翻页方法、装置及头盔
CN111710050A (zh) 一种用于虚拟现实设备的图像处理方法及装置
CN112666705A (zh) 一种眼动追踪设备及眼动追踪方法
CN105678976A (zh) 一种使用电脑人员的健康提醒辅助设备
CN104766056A (zh) 一种人机交互方法、装置及虚拟头戴设备
CN105759945A (zh) 穿戴设备控制系统及方法
CN106791792B (zh) 调节vr设备显示影像的方法及系统
CN107422844A (zh) 一种信息处理方法及电子设备
CN106249866A (zh) 视觉辅助眼镜及其图像识别方法
CN111988534B (zh) 一种基于多摄像头的画面拼接方法和装置
CN105380590A (zh) 一种具有眼位检测功能的设备及其实现方法
CN107105215A (zh) 呈现图像的方法和显示系统
CN111708166A (zh) 一种度数调节方法、装置和头戴显示设备
CN112651270A (zh) 一种注视信息确定方法、装置、终端设备及展示对象

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150304

RJ01 Rejection of invention patent application after publication