CN109725714B - 视线确定方法、装置、系统、以及头戴式眼动设备 - Google Patents

视线确定方法、装置、系统、以及头戴式眼动设备 Download PDF

Info

Publication number
CN109725714B
CN109725714B CN201811354296.1A CN201811354296A CN109725714B CN 109725714 B CN109725714 B CN 109725714B CN 201811354296 A CN201811354296 A CN 201811354296A CN 109725714 B CN109725714 B CN 109725714B
Authority
CN
China
Prior art keywords
relative
user
gaze
information
fixed object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811354296.1A
Other languages
English (en)
Other versions
CN109725714A (zh
Inventor
黄通兵
付阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 7Invensun Technology Co Ltd
Original Assignee
Beijing 7Invensun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing 7Invensun Technology Co Ltd filed Critical Beijing 7Invensun Technology Co Ltd
Priority to CN201811354296.1A priority Critical patent/CN109725714B/zh
Publication of CN109725714A publication Critical patent/CN109725714A/zh
Priority to US16/669,473 priority patent/US11112602B2/en
Priority to AU2019261701A priority patent/AU2019261701B2/en
Priority to EP19207178.5A priority patent/EP3654143B1/en
Application granted granted Critical
Publication of CN109725714B publication Critical patent/CN109725714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种视线确定方法、装置、系统、以及头戴式眼动设备。其中，该方法包括：获取用户相对于视线追踪模块的第一注视信息，其中，视线追踪模块靠近用户且能随用户移动；获取视线追踪模块与固定对象之间的相对参数；根据相对参数确定第一注视信息对应的第二注视信息，其中，第二注视信息为用户相对于固定对象的注视信息。本发明解决了现有技术无法准确确定驾驶员视线的技术问题。

Description

视线确定方法、装置、系统、以及头戴式眼动设备
技术领域
本发明涉及但不限于计算机领域，具体而言，涉及一种视线确定方法、装置、系统、以及头戴式眼动设备。
背景技术
现有的车辆用眼动仪，一般固定在车辆的仪表盘附近，用于检测驾驶员的视线，其眼动仪一般通过采集眼球运动数据来实现对眼睛的视线追踪。常见的眼动仪通过红外照射装置，照射驾驶员眼球，以在驾驶员角膜上产生光斑，然后利用这些光斑以及驾驶员的瞳孔图片计算驾驶员的注视方向。
但是，在车辆仪表盘附近设置眼动仪，会使眼动仪与离驾驶员的距离较远，在进行视线检测过程中因为环境杂光等干扰因素会给视线检测带来极大干扰因素。另外，由于眼动仪上设置的用于拍摄眼球运动的拍摄装置的拍摄范围有限制，对驾驶员在视线检测过程中的位置稳定性有一定要求。一旦驾驶员因为某种原因偏离预定的测试范围，将不能成功地完成对驾驶员进行视线检测。
针对上述现有技术无法准确确定驾驶员视线的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种视线确定方法、装置、系统、以及头戴式眼动设备，以至少解决现有技术无法准确确定驾驶员视线的技术问题。
根据本发明实施例的一个方面，提供了一种视线确定方法，包括：获取用户相对于视线追踪模块的第一注视信息，其中，所述视线追踪模块靠近所述用户且能随所述用户移动；获取所述视线追踪模块与固定对象之间的相对参数；根据所述相对参数确定所述第一注视信息对应的第二注视信息，其中，第二注视信息为所述用户相对于所述固定对象的注视信息。
进一步地，所述相对参数至少包括：所述视线追踪模块与所述固定对象之间的相对位置信息、所述视线追踪模块相对于所述固定对象的变换角度信息。
进一步地，根据所述相对参数确定所述第一注视信息对应的第二注视信息包括：确定所述第一注视信息的第一参考系，其中，所述第一参考系用于表示所述用户相对于所述视线追踪模块的注视视线；根据所述相对参数将所述第一参考系转换为第二参考系，其中，所述第二参考系用于表示所述用户相对于所述固定对象的注视视线；根据所述第二参考系，确定所述第一注视信息对应的所述第二注视信息。
进一步地，在根据所述相对参数确定所述第一注视信息对应的第二注视信息之后，所述方法还包括：确定所述相对参数和/或所述第二注视信息是否符合预定条件；在所述相对参数和所述第二注视信息不符合预定条件的情况下，判断所述用户的姿态不正确，并生成相应的应急指令，其中，所述应急指令用于控制所述固定对象。
进一步地，在根据所述相对参数确定所述第一注视信息对应的第二注视信息之后，所述方法还包括：确定所述相对参数和/或所述第二注视信息是否符合预定条件；在所述相对参数或所述第二注视信息不符合预定条件的情况下，判断所述用户的姿态不正确，并生成相应的应急指令，其中，所述应急指令用于控制所述固定对象。
进一步地，确定所述相对参数和/或所述第二注视信息是否符合预定条件包括以下至少之一：根据所述相对参数，判断所述用户是否处于第一预定区域，其中，在所述用户未处于所述第一预定区域的情况下，确定所述相对参数不符合预定条件；根据所述相对参数，统计用户未处于所述第一预定区域的第一持续时间，并判断所述第一持续时间是否高于第一时间阈值，其中，在所述第一持续时间高于所述第一时间阈值的情况下，确定所述相对参数不符合所述预定条件；根据所述第二注视信息，判断所述用户的视线是否处于第二预定区域，其中，在所述用户的视线未处于所述第二预定区域的情况下，确定所述第二注视信息不符合预定条件；根据所述第二注视信息，统计用户的视线未处于所述第二预定区域的第二持续时间，并确定所述第二持续时间是否高于第二时间阈值，其中，在所述第二持续时间高于所述第二时间阈值的情况下，确定所述第二注视信息不符合所述预定条件。
进一步地，在根据所述相对参数确定所述第一注视信息对应的第二注视信息之后，所述方法还包括：根据所述第二注视信息确定所述用户的注视点；根据所述注视点生成注视点控制指令，其中，所述注视点控制指令用于控制所述固定对象。
根据本发明实施例的另一个方面，还提供了一种视线确定装置，包括：第一获取单元，用于获取用户相对于视线追踪模块的第一注视信息，其中，所述视线追踪模块靠近所述用户且能随所述用户移动；第二获取单元，用于获取所述视线追踪模块与固定对象之间的相对参数；第一确定单元，用于根据所述相对参数确定所述第一注视信息对应的第二注视信息，其中，第二注视信息为所述用户相对于所述固定对象的注视信息。
根据本发明实施例的另一个方面，还提供了一种头戴式眼动设备，包括：视线追踪模块，用于获取用户相对于所述视线追踪模块的第一注视信息，所述视线追踪模块靠近所述用户且能随所述用户移动；定位模块，用于获取所述视线追踪模块与固定对象之间的相对参数；处理器，用于根据所述相对参数确定所述第一注视信息对应的第二注视信息，其中，第二注视信息为所述用户相对于所述固定对象的注视信息。
根据本发明实施例的另一个方面，还提供了一种视线确定系统，包括：头戴式眼动仪，用于获取用户相对于所述头戴式眼动仪的第一注视信息，其中，所述头戴式眼动仪靠近所述用户且能随所述用户移动；传感器，用于获取所述头戴式眼动仪与固定对象之间的相对参数；控制器，用于根据所述相对参数确定所述第一注视信息对应的第二注视信息，其中，第二注视信息为所述用户相对于所述固定对象的注视信息。
根据本发明实施例的另一个方面，还提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述所述的视线确定方法，或基于交通工具的视线确定方法。
根据本发明实施例的又一个方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述所述的视线确定方法，或基于交通工具的视线确定方法。
在本发明实施例中，视线追踪模块靠近用户且能随用户移动，获取用户相对于视线追踪模块的第一注视信息，和视线追踪模块与固定对象之间的相对参数，可以根据相对参数确定第一注视信息对应的第二注视信息，得到用户相对于固定对象的注视信息，进一步在固定对象为汽车等交通工具，用户为驾驶员的情况下，根据第二注视信息可以准确表示驾驶员相对于交通工具的视线，实现了准确确定驾驶员视线的技术效果，进而解决了现有技术无法准确确定驾驶员视线的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种视线确定方法的流程图；
图2是根据本发明实施例的一种视线确定装置的示意图；
图3是根据本发明实施例的一种头戴式眼动设备的示意图；
图4是根据本发明实施例的一种视线确定系统的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例，提供了一种视线确定方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种视线确定方法的流程图一，如图1所示，该方法包括如下步骤：
步骤S102，获取用户相对于视线追踪模块的第一注视信息，其中，视线追踪模块靠近用户且能随用户移动；
步骤S104，获取视线追踪模块与固定对象之间的相对参数；
步骤S106，根据相对参数确定第一注视信息对应的第二注视信息，其中，第二注视信息为用户相对于固定对象的注视信息。
在本发明实施例中，视线追踪模块靠近用户且能随用户移动，获取用户相对于视线追踪模块的第一注视信息，和视线追踪模块与固定对象之间的相对参数，可以根据相对参数确定第一注视信息对应的第二注视信息，得到用户相对于固定对象的注视信息，进一步在固定对象为汽车等交通工具，用户为驾驶员的情况下，根据第二注视信息可以准确表示驾驶员相对于交通工具的视线，实现了准确确定驾驶员视线的技术效果，进而解决了现有技术无法准确确定驾驶员视线的技术问题。
需要说明的是，固定对象可以是汽车等交通工具，也可以房间等封闭空间。在固定对象为交通工具的情况下，用户可以是交通工具的驾驶员。
在步骤S102提供的方案中，注视信息包括但不限于用户的视线和注视点，其中，注视信息包括：第一注视信息和第二注视信息。
可选地，视线追踪模块，用于采集用户眼球的图片等眼球信息，然后根据眼球信息可以确定用户的视线、注视点、以及注视深度。
可选地，视线追踪模块可以是眼镜式眼动仪。用户通过佩戴眼镜式眼动仪，即可通过眼镜式眼动仪获取用户的第一注视信息。
可选地，视线追踪模块，可以随用户的头部运动，根据视线追踪模块可以间接确定用户头部的位置、旋转角度、倾斜角度等头部参数。
在步骤S104提供的方案中，相对参数至少包括：视线追踪模块与固定对象之间的相对位置信息、视线追踪模块相对于固定对象的变换角度信息。
可选地，根据相对参数可以确定视线追踪模块相对于固定对象的位置。由于视线追踪模块可以随用户的头部运动，因此通过相对参数也可以进一步确定用户头部的头部参数。
例如，在固定对象为汽车的情况下，根据相对参数可以表示用户的头部相对于汽车的相对位置，以及头部的旋转、倾斜角度。
作为一种可选的实施例，根据相对参数确定第一注视信息对应的第二注视信息包括：确定第一注视信息的第一参考系，其中，第一参考系用于表示用户相对于视线追踪模块的注视视线；根据相对参数将第一参考系转换为第二参考系，其中，第二参考系用于表示用户相对于固定对象的注视视线；根据第二参考系，确定第一注视信息对应的第二注视信息。
本发明上述实施例，第一参考系是基于视线追踪模块建立的参考系，通过视线追踪模块获取的第一注视信息即为基于第一参考系的注视信息，通过第一参考系可以表示用户相对于视线追踪模块的注视视线，由于相对参数可以表示视线追踪模块与固定对象之间的相对关系，因此，根据相对参数可以对第一参考系进行参考系转换，得到用于表示用户相对于固定对象的注视视线的第二参考系，进而可以将基于第一参考系的第一注视信息转换为基于第二参考系的第二注视信息。
作为一种可选的示例，可以预先定义参考系，即定义第一参考系为W1，和第二参考系W2。已知第一注视信息在第一参考系W1中的表述为V1，已知眼球中心在第一参考系W1中表述为第一眼球位置C1。确定第一参考系W1与第二参考系W2的关系。例如，可以通过仪表盘上的图像传感器获取视线追踪模块在第二参考系W2中的空间位置G和朝向Vg。通过位置G和朝向Vg,可以获得第一参考系W1与第二参考系W2的参考系变换矩阵W。设C1′＝[C11]T,C2′＝[C21]T，V1′＝[V11]T，V2′＝[V21]T，可以根据预定关系C2′＝WC1′和V2′＝WV1′，求得C2′,V2′,进而求得第二参考系W2中的第二眼球位置C2，第二注视信息V2。
可选地，根据相对参数可以对第一参考系进行平移和旋转，实现第一参考系与第二参考系之间的参考系转换。
需要说明的是，参考系转换即为坐标系转换，第一参考系也可以称为第一坐标系，第二参考系也可以称为第二坐标系，第一参考系和第二参考系可以是基于视线追踪模块所建立的三维空间坐标系。
可选地，相对参数可以通过预定矩阵的形式表示，通过该预定矩阵可以进行第一参考系与第二参考系的转换，从而确定第一注视信息对应的第二注视信息。
作为一种可选的实施例，在根据相对参数确定第一注视信息对应的第二注视信息之后，方法还包括：确定相对参数或第二注视信息是否符合预定条件；在相对参数或第二注视信息不符合预定条件的情况下，判断用户的姿态不正确，并生成相应的应急指令，其中，应急指令用于控制固定对象。
作为一种可选的实施例，在根据相对参数确定第一注视信息对应的第二注视信息之后，方法还包括：确定相对参数或第二注视信息是否符合预定条件；在相对参数和第二注视信息不符合预定条件的情况下，判断用户的姿态不正确，并生成相应的应急指令，其中，应急指令用于控制固定对象。
需要说明的是，预定条件用于判断用户的姿态是否正确，当相对参数、第二注视信息、或相对参数和第二注视信息不符合预定条件的情况下，可以确定用户姿态不正确，进而生成应急指令，并根据应急指令对固定对象进行应急控制。
可选地，在固定对象为交通工具，用户为驾驶员的情况下，若驾驶员的姿态不正确，则可以根据应急指令对交通工具进行应急控制，避免出现危险。
可选地，应急指令包括：提示指令，用于控制交通工具发出提示信息以提醒驾驶员，例如，可以通过声、光报警设备提示驾驶员当前驾驶姿态不符合预定条件，催促驾驶员矫正驾驶姿势。
可选地，应急指令包括：自动驾驶指令，在驾驶员的驾驶姿态不正确的情况下，自动将交通工具的当前驾驶模式切换为自动驾驶模式，控制交通工具自动行驶。
可选地，应急指令包括：自动驾驶指令，在驾驶员的驾驶姿态不正确的情况下，交通工具可以根据该制动指令控制交通工具紧急制动。
作为一种可选的实施例，确定相对参数和/或第二注视信息是否符合预定条件包括以下至少之一：根据相对参数，判断用户是否处于第一预定区域，其中，在用户未处于第一预定区域的情况下，确定相对参数不符合预定条件；根据相对参数，统计用户未处于第一预定区域的第一持续时间，并判断第一持续时间是否高于第一时间阈值，其中，在第一持续时间高于第一时间阈值的情况下，确定相对参数不符合预定条件；根据第二注视信息，判断用户的视线是否处于第二预定区域，其中，在用户的视线未处于第二预定区域的情况下，确定第二注视信息不符合预定条件；根据第二注视信息，统计用户的视线未处于第二预定区域的第二持续时间，并确定第二持续时间是否高于第二时间阈值，其中，在第二持续时间高于第二时间阈值的情况下，确定第二注视信息不符合预定条件。
需要说明的是，在固定对象为汽车的情况下，第一预定区域可以是驾驶员在正确驾驶汽车的状态下，身体(如头部)应在的区域；第二预定区域可以是驾驶员在正确驾驶汽车的状态下，驾驶员相对于汽车的视线或注视点应在的区域。
可选地，根据相对参数可以确定用户的头部相对于固定对象的位置，进而判断用户的头部是否处于第一预定区域，当用户的头部处于第一预定区域的情况下，可以确定相对参数符合预定条件，也即确定用户的姿态正确；当用户的头部未处于第一预定区域的情况下，可以确定相对参数不符合预定条件，也即确定用户的姿态不正确。
例如，在固定对象为交通工具，用户为驾驶员的情况下，若驾驶员未处于驾驶位置，如弯腰拾物的，则确定驾驶员的姿态不正确。
可选地，根据相对参数可以统计用户的头部未处于第一预定区域的第一持续时间，进而判断第一持续时间是否高于第一时间阈值，当第一持续时间不高于第一时间阈值的情况下，可以确定相对参数符合预定条件，也即确定用户的姿态正确；当第一持续时间高于第一时间阈值的情况下，可以确定相对参数不符合预定条件，也即确定用户的姿态不正确。
可选地，第一时间阈值可以设置为10秒，在固定对象为交通工具，用户为驾驶员的情况下，若驾驶员未处于驾驶位置，如弯腰拾物的时间超过10秒，则确定驾驶员的姿态不正确
可选地，根据第二注视信息可以确定用户相对于固定对象的视线，进而判断用户的视线是否处于第二预定区域，当用户的视线处于第二预定区域的情况下，可以确定第二注视信息符合预定条件，也即确定用户的姿态正确；当用户的视线未处于第二预定区域的情况下，可以确定第二注视信息不符合预定条件，也即确定用户的姿态不正确。
例如，在固定对象为交通工具，用户为驾驶员的情况下，若驾驶员回头，或低头，则确定驾驶员的视线处于第二预定区域，确定驾驶员的姿态不正确。
可选地，根据第二注视信息可以统计用户的视线未处于第二预定区域的第二持续时间，进而判断第二持续时间是否高于第二时间阈值，当第二持续时间不高于第二时间阈值的情况下，可以确定第二注视信息符合预定条件，也即确定用户的姿态正确；当第二持续时间高于第二时间阈值的情况下，可以确定第二注视信息不符合预定条件，也即确定用户的姿态不正确。
可选地，第二时间阈值可以设置为10秒，在固定对象为交通工具，用户为驾驶员的情况下，若驾驶员回头，或低头，则确定驾驶员的视线处于第二预定区域的时间超过10秒，则确定驾驶员的姿态不正确。
作为一种可选的实施例，在根据相对参数确定第一注视信息对应的第二注视信息之后，方法还包括：根据第二注视信息确定用户的注视点；根据注视点生成注视点控制指令，其中，注视点控制指令用于控制固定对象。
采用本发明上述实施例，根据第二注视信息可以确定用户相对于固定对象的注视点，例如，在固定对象为汽车，用户为驾驶员的情况下，根据第二注视信息可以确定驾驶员相对于汽车的注视点，如驾驶员注视倒车镜、后视镜、中控台、显示器等，进而可以根据驾驶员的注视点，生成相应的注视点控制指令，并根据注视点控制指令用于控制汽车，例如在驾驶员注视显示器的情况下，可以根据注视点控制指令点亮显示器。
可选地，在固定对象为汽车，目标对象为驾驶员的情况下，且该汽车配置有眼控式显示设备，根据驾驶员的第二注视信息可以确定驾驶员相对于汽车的注视点，进而在注视点位于眼控式显示设备上的情况下，根据注视点在眼控式显示设备的位置生成对应的注视点控制指令，实现对汽车的眼动控制。
根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时执行上述任一项所述的视线确定方法和基于交通工具的视线确定方法。
根据本发明的又一个实施例，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述任一项所述的视线确定方法和基于交通工具的视线确定方法。
根据本发明实施例，还提供了一种视线确定装置实施例，需要说明的是，该视线确定装置可以用于执行本发明实施例中的视线确定方法，本发明实施例中的视线确定方法可以在该视线确定装置中执行。
图2是根据本发明实施例的一种视线确定装置的示意图，如图2所示，该装置包括：
第一获取单元21，用于获取用户相对于视线追踪模块的第一注视信息，其中，所述视线追踪模块靠近所述用户且能随所述用户移动；第二获取单元23，用于获取所述视线追踪模块与固定对象之间的相对参数；第一确定单元25，用于根据所述相对参数确定所述第一注视信息对应的第二注视信息，其中，第二注视信息为所述用户相对于所述固定对象的注视信息。
需要说明的是，该实施例中的第一获取单元21可以用于执行本申请实施例中的步骤S102，该实施例中的第二获取单元23可以用于执行本申请实施例中的步骤S104，该实施例中的第一确定单元25可以用于执行本申请实施例中的步骤S106。上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。
在本发明实施例中，视线追踪模块靠近用户且能随用户移动，获取用户相对于视线追踪模块的第一注视信息，和视线追踪模块与固定对象之间的相对参数，可以根据相对参数确定第一注视信息对应的第二注视信息，得到用户相对于固定对象的注视信息，进一步在固定对象为汽车等交通工具，用户为驾驶员的情况下，根据第二注视信息可以准确表示驾驶员相对于交通工具的视线，实现了准确确定驾驶员视线的技术效果，进而解决了现有技术无法准确确定驾驶员视线的技术问题。
作为一种可选的实施例，所述相对参数至少包括：所述视线追踪模块与所述固定对象之间的相对位置信息、所述视线追踪模块相对于所述固定对象的变换角度信息。
作为一种可选的实施例，所述第一确定单元包括：第一确定模块，用于确定所述第一注视信息的第一参考系，其中，所述第一参考系用于表示所述用户相对于所述视线追踪模块的注视视线；转换模块，用于根据所述相对参数将所述第一参考系转换为所述第二参考系，其中，所述第二参考系用于表示所述用户相对于所述固定对象的注视视线；第二确定模块，用于根据所述第二参考系，确定所述第一注视信息对应的所述第二注视信息。
作为一种可选的实施例，所述装置还包括：判断单元，用于在根据所述相对参数确定所述第一注视信息对应的第二注视信息之后，判断所述相对参数和/或所述第二注视信息是否符合预定条件；第二确定单元，用于在所述相对参数或所述第二注视信息不符合预定条件的情况下，确定所述用户的姿态不正确，并生成相应的应急指令，其中，所述应急指令用于控制所述固定对象。
作为一种可选的实施例，所述装置还包括：判断单元，用于在根据所述相对参数确定所述第一注视信息对应的第二注视信息之后，判断所述相对参数和/或所述第二注视信息是否符合预定条件；第二确定单元，用于在所述相对参数和所述第二注视信息不符合预定条件的情况下，确定所述用户的姿态不正确，并生成相应的应急指令，其中，所述应急指令用于控制所述固定对象。
作为一种可选的实施例，所述第二确定单元包括以下至少之一：第一判断模块，用于根据所述相对参数，判断所述用户是否处于第一预定区域，其中，在所述用户的未处于所述第一预定区域的情况下，确定所述相对参数不符合预定条件；第二判断模块，用于根据所述相对参数，统计用户的未处于所述第一预定区域的第一持续时间，并判断所述第一持续时间是否高于第一时间阈值，其中，在所述第一持续时间高于所述第一时间阈值的情况下，确定所述相对参数不符合所述预定条件；第三判断模块，用于根据所述第二注视信息，判断所述用户的视线是否处于第二预定区域，其中，在所述用户的视线未处于所述第二预定区域的情况下，确定所述第二注视信息不符合预定条件；第四判断模块，用于根据所述第二注视信息，统计用户的视线未处于所述第二预定区域的第二持续时间，并确定所述第二持续时间是否高于第二时间阈值，其中，在所述第二持续时间高于所述第二时间阈值的情况下，确定所述第二注视信息不符合所述预定条件。
作为一种可选的实施例，所述装置还包括：第三确定单元，用于在根据所述相对参数确定所述第一注视信息对应的第二注视信息之后，根据所述第二注视信息确定所述用户的注视点；生成单元，用于根据所述注视点生成注视点控制指令，其中，所述注视点控制指令用于控制所述固定对象。
图3是根据本发明实施例的一种头戴式眼动设备的示意图，如图3所示，该设备包括：视线追踪模块31，用于获取用户相对于所述视线追踪模块的第一注视信息，所述视线追踪模块靠近所述用户且能随所述用户移动；定位模块33，用于获取所述视线追踪模块与固定对象之间的相对参数；处理器35，用于根据所述相对参数确定所述第一注视信息对应的第二注视信息，其中，第二注视信息为所述用户相对于所述固定对象的注视信息。
在本发明实施例中，视线追踪模块靠近用户且能随用户移动，获取用户相对于视线追踪模块的第一注视信息，和视线追踪模块与固定对象之间的相对参数，可以根据相对参数确定第一注视信息对应的第二注视信息，得到用户相对于固定对象的注视信息，进一步在固定对象为汽车等交通工具，用户为驾驶员的情况下，根据第二注视信息可以准确表示驾驶员相对于交通工具的视线，实现了准确确定驾驶员视线的技术效果，进而解决了现有技术无法准确确定驾驶员视线的技术问题。
图4是根据本发明实施例的一种视线确定系统的示意图，如图4所示，包括：头戴式眼动仪41，用于获取用户相对于所述头戴式眼动仪的第一注视信息，其中，所述头戴式眼动仪靠近所述用户且能随所述用户移动；传感器43，用于获取所述视线追踪模块与固定对象之间的相对参数；控制器45，用于根据所述相对参数确定所述第一注视信息对应的第二注视信息，其中，第二注视信息为所述用户相对于所述固定对象的注视信息。
在本发明实施例中，头戴式眼动仪靠近用户且能随用户移动，获取用户相对于头戴式眼动仪的第一注视信息，和头戴式眼动仪与固定对象之间的相对参数，可以根据相对参数确定第一注视信息对应的第二注视信息，得到用户相对于固定对象的注视信息，进一步在固定对象为汽车等交通工具，用户为驾驶员的情况下，根据第二注视信息可以准确表示驾驶员相对于交通工具的视线，实现了准确确定驾驶员视线的技术效果，进而解决了现有技术无法准确确定驾驶员视线的技术问题。
可选地，传感器可以设置在头戴式眼动仪和固定对象上，用于在头戴式眼动仪和固定对象之间通信，并根据通信情况确定头戴式眼动仪与固定对象之间的相对参数。
可选地，控制器可以是汽车等交通工具的中央控制装置(如中控台)，通过控制器可以获取传感器传输的相对参数，以及头戴式眼动仪所获取的第一注视信息，进而中控制器可以根据第一注视信息和相对参数得到驾驶员相对于交通工具的第二注视信息。
可选地，传感器可以是红外传感器，可以分别在头戴式眼动设备和交通工具上设置红外摄像头和红外灯，进而根据红外摄像头和红外灯确定头戴式眼动设备相对于固定对象的相对参数。
作为一种可选的实施例，控制器，还用于根据第二注视信息确定用户的注视点，该视线确定系统还包括：眼控式显示设备，用于在注视点处于眼控式显示设备上的情况下，确定注视点对应的注视点控制指令，其中，注视点控制指令用于控制交通工具。
需要说明的是，眼控式显示设备可以是眼控式显示屏，可以预先在交通工具上设定眼控式显示屏所在区域，根据第二注视信息可以确定驾驶员的注视点是否处于眼控式显示屏所在区域。
可选地，眼控式显示屏内包括多个指令模块(如虚拟按键)，在根据注视点确定驾驶员注视某一指令模块(如虚拟按键)的情况下，可以生成该指令模块(如虚拟按键)所对应的注视点控制指令。
本发明还提供了一种可行实施例，该实施例提供了一种驾驶行为监测交通工具/危险驾驶行为预警方法。
本发明提出采用头戴式眼动仪，例如眼镜式眼动仪(即获取第一注视信息的设备，以下简称为“眼镜”)作为一级视线检测，并且在此基础上增加二级视线检测，即增设一对用于判断眼镜与车辆相对参数的发射或接收装置，通过检测眼镜的位置来间接地检测驾驶员的头部相对于车辆的相对参数，以及驾驶员相对于车辆的视线。并在得到检测结果之后，利用检测结果来控制车辆的行为，例如进行制动等。
本发明利用眼镜式眼动仪，可以近距离、高可靠地检测驾驶员的眼动信息，对注视方向、疲劳程度等做出量化的评估和判断，从而实现自动预警和预防性干预措施，同时在无法执行自动驾驶时将驾驶权交给状态可用的驾驶员(如没有瞌睡、没有疲劳等)，从而提高行驶安全性。
本发明提供的技术方案包括：视线追踪设备(如上述“眼镜”)和车辆控制设备。视线追踪设备用于监测驾驶员的视线，车辆控制设备用于响应“眼镜”的监测结果来对车辆进行控制。
驾驶员可以佩戴眼动仪(例如眼镜式眼动仪)“眼镜”，或者其他形式的视线追踪设备，通过“眼镜”式眼动仪来检测驾驶员的视线投影在“眼镜”所在坐标系上的视线(即第一注视信息)。这里，实现一级视线追踪，其监测结果仅用于表示显示驾驶员在第一参考系眼动仪所在坐标系上的视线，也就是说，仅用于表示显示驾驶员是在看“眼镜”上的哪个位置。
可选地，可以在车的中控台/方向盘附近(或者其他位置)安装传感器，通过传感器与“眼镜”之间的信息交互，来间接监测驾驶员的头部的相对参数。
可选地，可以在眼动仪上可以设置4个以上的红外灯作为参考点，则传感器可以是红外摄像头，通过传感器与“眼镜”配合，可以通过感知上述参考点来确定“眼镜”相对于车辆的相对参数，由此间接监测驾驶员的头部相对于车辆的参数，实现二级视线追踪，其监测结果用于表示驾驶员在车辆所在坐标系上的视线。
本发明上述实施例，根据现有技术的只利用一个坐标系而无法获知驾驶员相对于车辆所在坐标系上的视线的问题，可以通过在中控台/方向盘附近安装传感器，引入了驾驶员相对于车辆的坐标系(即第二参考系)，由此可以精确地将驾驶员的视线投影到车辆上，也就是，通过两重坐标系可以判断驾驶员相对于车辆的实际视线。
本发明上述实施例，一方面，可以通过定位驾驶员头部相对车辆位置，可以辅助进行驾驶行为检测(例如，判断驾驶员的动作，如身体倾斜、弯腰拾物、吸烟等)。另外，还可以精确地将驾驶员的视线投影到车辆所在的坐标系上，准确确定驾驶员在车辆上的注视点，进而根据该注视点，可以使驾驶员可以通过眼部来控制车辆，视线对车辆进行眼动控制的技术效果。
可选地，车辆上可以设置有用于对车辆进行控制的眼控式显示屏，该眼控式显示屏可以显示可供驾驶员进行操作的部件，例如空调、音响、收音机等，并且可以根据驾驶员的注视点，进行驾驶员与眼控式显示屏交互，进而对车辆进行控制，如打开空调、调节空调温度；打开音响、收音机、选择播放的曲目或者电台等。
可选第，上述红外摄像头和红外灯的组合，也可以替代为红外基站和红外接收器的组合。为了获得更大的感测区域，可以在车辆的中控台上设置红外基站，在眼动仪上设置红外接收器，这样可以降低头部(眼动仪)超出传感器的感测范围的可能性。
需要说明的是，传感器设置的位置不局限于中控台/方向盘附近。
可选地，可以传感器设置在中控台/方向盘附近，将红外灯设置在眼动仪上；也可以将传感器设置在眼镜上，将红外灯设置在中控台/方向盘附近。
可选地，车辆控制设备包括：判定单元，用于根据视线追踪设备的检测结果来判定驾驶员的当前状态，并将判定结果发送给汽车的中央控制单元，由中央控制单元控制车辆。
例如，当检测出驾驶员的头部偏离驾驶姿态较大，且驾驶员的视线朝向车辆下部时，有可能是驾驶员出现了身体不适导致身体倾斜。在此情况下，中央控制单元例如可以对车辆进行紧急制动，或者进行靠边停车，还可以生成提示音/灯光警告等。
本发明所提供的眼镜式眼动仪，技术相对成熟，佩戴舒适，可适配大多数戴眼镜的人群；并且眼镜式眼动仪可以随着驾驶员的头一起运动，和驾驶员姿态无关，使视线估计更加精确。
本发明所提供的眼镜式眼动仪，可以添加滤光镜片或镀膜，使眼镜式眼动仪的效果受到环境光的干扰少，尤其是交通工具行驶的过程中(对面大灯、阳光直射、隧道射灯、亮暗环境快速交替等)可以提高眼动检测的准确性。
本发明所提供的技术方案，可以应用在交通工具上，由于交通工具本身可以为眼镜式眼动仪提供电源和处理能力，因此，眼镜式眼动仪本身可以做得很小很轻，便于收纳(例如可以收纳在驾驶员的座椅头部靠背里面，有线/无线连接，有线充电/无线充电)。
本发明所提供的技术方案，可以在交通工具(如汽车)的中控台/方向盘附近，根据需要安装一个传感器，用于检测驾驶员的头部姿态(例如红外摄像头加眼动仪上的4个以上红外灯，或者红外基站加眼动仪上的红外接收器等)，与眼动仪组成一个系统，从而判断驾驶员的正确视线。还可以定位驾驶员头部相对车辆的相对参数，辅助进行驾驶行为检测(弯腰拾物、吸烟等)。
本发明所提供的头戴式眼动仪还包括：骨传导耳机、脑电波检测电极。
可选地，脑电波检测电极中至少由有两个电极能够与人体接触。
本发明所提供的技术方案，可以在驾驶员经常查看的地方，例如汽车主后视镜、左后视镜、右后视镜上，还有标记装置，该标记装置用于标定视线估算算法，完成对视线(或注视点)的校正，保证视线(或注视点)的准确性。
本发明所提供的技术方案，还带有声/光/方向盘震动/座椅震动等提醒装置，用于在目标对象不符合预定条件下，根据应急指令产生提醒信息。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种视线确定方法，其特征在于，包括：
获取用户相对于视线追踪模块的第一注视信息，其中，所述视线追踪模块靠近所述用户且能随所述用户移动；
获取所述视线追踪模块与固定对象之间的相对参数；
根据所述相对参数确定所述第一注视信息对应的第二注视信息，其中，第二注视信息为所述用户相对于所述固定对象的注视信息；
其中，所述相对参数根据红外传感器确定，所述红外传感器包括：红外摄像头和红外灯，分别设置在所述视线追踪模块和所述固定对象上；
其中，根据所述相对参数确定所述第一注视信息对应的第二注视信息包括：
确定所述第一注视信息的第一参考系，其中，所述第一参考系用于表示所述用户相对于所述视线追踪模块的注视视线；
根据所述相对参数将所述第一参考系转换为第二参考系，其中，所述第二参考系用于表示所述用户相对于所述固定对象的注视视线；
根据所述第二参考系，确定所述第一注视信息对应的所述第二注视信息。
2.根据权利要求1的方法，其特征在于，所述相对参数至少包括：所述视线追踪模块与所述固定对象之间的相对位置信息、所述视线追踪模块相对于所述固定对象的变换角度信息。
3.根据权利要求1的方法，其特征在于，在根据所述相对参数确定所述第一注视信息对应的第二注视信息之后，所述方法还包括：
确定所述相对参数和/或所述第二注视信息是否符合预定条件；
在所述相对参数和/或所述第二注视信息不符合预定条件的情况下，判断所述用户的姿态不正确，并生成相应的应急指令，其中，所述应急指令用于控制所述固定对象。
4.根据权利要求3的方法，其特征在于，确定所述相对参数和/或所述第二注视信息是否符合预定条件包括以下至少之一：
根据所述相对参数，判断所述用户是否处于第一预定区域，其中，在所述用户未处于所述第一预定区域的情况下，确定所述相对参数不符合预定条件；
根据所述相对参数，统计用户未处于所述第一预定区域的第一持续时间，并判断所述第一持续时间是否高于第一时间阈值，其中，在所述第一持续时间高于所述第一时间阈值的情况下，确定所述相对参数不符合所述预定条件；
根据所述第二注视信息，判断所述用户的视线是否处于第二预定区域，其中，在所述用户的视线未处于所述第二预定区域的情况下，确定所述第二注视信息不符合预定条件；
根据所述第二注视信息，统计用户的视线未处于所述第二预定区域的第二持续时间，并确定所述第二持续时间是否高于第二时间阈值，其中，在所述第二持续时间高于所述第二时间阈值的情况下，确定所述第二注视信息不符合所述预定条件。
5.根据权利要求1的方法，其特征在于，在根据所述相对参数确定所述第一注视信息对应的第二注视信息之后，所述方法还包括：
根据所述第二注视信息确定所述用户的注视点；
根据所述注视点生成注视点控制指令，其中，所述注视点控制指令用于控制所述固定对象。
6.一种视线确定装置，其特征在于，包括：
第一获取单元，用于获取用户相对于视线追踪模块的第一注视信息，其中，所述视线追踪模块靠近所述用户且能随所述用户移动；
第二获取单元，用于获取所述视线追踪模块与固定对象之间的相对参数；
第一确定单元，用于根据所述相对参数确定所述第一注视信息对应的第二注视信息，其中，第二注视信息为所述用户相对于所述固定对象的注视信息；
其中，所述相对参数根据红外传感器确定，所述红外传感器包括：红外摄像头和红外灯，分别设置在所述视线追踪模块和所述固定对象上；
其中，所述第一确定单元包括：
第一确定模块，用于确定所述第一注视信息的第一参考系，其中，所述第一参考系用于表示所述用户相对于所述视线追踪模块的注视视线；
转换模块，用于根据所述相对参数将所述第一参考系转换为第二参考系，其中，所述第二参考系用于表示所述用户相对于所述固定对象的注视视线；
第二确定模块，用于根据所述第二参考系，确定所述第一注视信息对应的所述第二注视信息。
7.一种头戴式眼动设备，其特征在于，包括：
视线追踪模块，用于获取用户相对于所述视线追踪模块的第一注视信息，所述视线追踪模块靠近所述用户且能随所述用户移动；
定位模块，用于获取所述视线追踪模块与固定对象之间的相对参数；
处理器，用于根据所述相对参数确定所述第一注视信息对应的第二注视信息，其中，第二注视信息为所述用户相对于所述固定对象的注视信息；
其中，所述相对参数根据红外传感器确定，所述红外传感器包括：红外摄像头和红外灯，分别设置在所述视线追踪模块和所述固定对象上；
其中，根据所述相对参数确定所述第一注视信息对应的第二注视信息包括：
确定所述第一注视信息的第一参考系，其中，所述第一参考系用于表示所述用户相对于所述视线追踪模块的注视视线；
根据所述相对参数将所述第一参考系转换为第二参考系，其中，所述第二参考系用于表示所述用户相对于所述固定对象的注视视线；
根据所述第二参考系，确定所述第一注视信息对应的所述第二注视信息。
8.一种视线确定系统，其特征在于，包括：
头戴式眼动仪，用于获取用户相对于所述头戴式眼动仪的第一注视信息，其中，所述头戴式眼动仪靠近所述用户且能随所述用户移动；
传感器，用于获取所述头戴式眼动仪与固定对象之间的相对参数；
控制器，用于根据所述相对参数确定所述第一注视信息对应的第二注视信息，其中，第二注视信息为所述用户相对于所述固定对象的注视信息；
其中，所述传感器是红外传感器，包括：红外摄像头和红外灯，分别设置在所述头戴式眼动仪和所述固定对象上，根据所述红外摄像头和所述红外灯确定所述头戴式眼动仪相对于所述固定对象的相对参数；
其中，根据所述相对参数确定所述第一注视信息对应的第二注视信息包括：
确定所述第一注视信息的第一参考系，其中，所述第一参考系用于表示所述用户相对于视线追踪模块的注视视线；
根据所述相对参数将所述第一参考系转换为第二参考系，其中，所述第二参考系用于表示所述用户相对于所述固定对象的注视视线；
根据所述第二参考系，确定所述第一注视信息对应的所述第二注视信息。
9.一种存储介质，其特征在于，存储介质包括存储的程序，其中，程序执行权利要求1至5中任意一项的视线确定方法。
10.一种处理器，其特征在于，处理器用于运行程序，其中，程序运行时执行权利要求1至5中任意一项的视线确定方法。
CN201811354296.1A 2018-11-14 2018-11-14 视线确定方法、装置、系统、以及头戴式眼动设备 Active CN109725714B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811354296.1A CN109725714B (zh) 2018-11-14 2018-11-14 视线确定方法、装置、系统、以及头戴式眼动设备
US16/669,473 US11112602B2 (en) 2018-11-14 2019-10-30 Method, apparatus and system for determining line of sight, and wearable eye movement device
AU2019261701A AU2019261701B2 (en) 2018-11-14 2019-11-05 Method, apparatus and system for determining line of sight, and wearable eye movement device
EP19207178.5A EP3654143B1 (en) 2018-11-14 2019-11-05 Method, apparatus and system for determining line of sight, and wearable eye movement device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811354296.1A CN109725714B (zh) 2018-11-14 2018-11-14 视线确定方法、装置、系统、以及头戴式眼动设备

Publications (2)

Publication Number Publication Date
CN109725714A CN109725714A (zh) 2019-05-07
CN109725714B true CN109725714B (zh) 2022-06-14

Family

ID=66295731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811354296.1A Active CN109725714B (zh) 2018-11-14 2018-11-14 视线确定方法、装置、系统、以及头戴式眼动设备

Country Status (4)

Country Link
US (1) US11112602B2 (zh)
EP (1) EP3654143B1 (zh)
CN (1) CN109725714B (zh)
AU (1) AU2019261701B2 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276334A (zh) * 2019-06-28 2019-09-24 海马汽车有限公司 一种针对用户车辆使用情况的分析方法及系统
TWI717843B (zh) * 2019-09-19 2021-02-01 宏碁股份有限公司 後視鏡控制方法與車用控制系統
CN111523474B (zh) * 2020-04-23 2023-09-26 维沃移动通信有限公司 目标对象追踪方法及电子设备
CN112380935B (zh) * 2020-11-03 2023-05-26 深圳技术大学 面向自动驾驶的人机协同感知方法及系统
CN112383826A (zh) * 2020-11-09 2021-02-19 中国第一汽车股份有限公司 车载娱乐终端的控制方法、装置、存储介质、终端及汽车
CN112925416A (zh) * 2021-02-24 2021-06-08 中国工商银行股份有限公司 用户视线跟踪方法、装置及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105700676A (zh) * 2014-12-11 2016-06-22 现代自动车株式会社 可佩戴眼镜及其控制方法、以及车辆控制系统
CN107765840A (zh) * 2016-08-22 2018-03-06 深圳纬目信息技术有限公司 一种基于双目测量的泛头戴式设备的视线追踪方法设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3917412A (en) 1972-04-11 1975-11-04 Us Navy Advanced helmet tracker using lateral photodetection and light-emitting diodes
WO1999009881A1 (en) 1997-08-22 1999-03-04 Massachusetts Institute Of Technology Apparatus and method for measuring vestibular ocular reflex function
US6091334A (en) 1998-09-04 2000-07-18 Massachusetts Institute Of Technology Drowsiness/alertness monitor
US7401920B1 (en) 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
WO2007097738A2 (en) 2005-01-26 2007-08-30 Wollf Robin Q Eye tracker/head tracker/camera tracker controlled camera/weapon positioner control system
EP2499964B1 (en) 2011-03-18 2015-04-15 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Optical measuring device and system
US8911087B2 (en) 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
US9665172B2 (en) 2013-09-03 2017-05-30 Tobii Ab Portable eye tracking device
EP3316231B1 (en) * 2014-01-06 2021-11-10 iOnRoad Technologies, Limited Alert generation correlating between head mounted imaging data and external device
JP6375715B2 (ja) * 2014-06-20 2018-08-22 株式会社デンソー 視線入力装置
CN106155288B (zh) * 2015-04-10 2019-02-12 北京智谷睿拓技术服务有限公司 信息获取方法、信息获取装置及用户设备
CN106296796B (zh) * 2015-06-04 2019-08-13 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
KR101655826B1 (ko) 2016-05-30 2016-09-08 현대자동차주식회사 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템
CN107357429B (zh) * 2017-07-10 2020-04-07 京东方科技集团股份有限公司 用于确定视线的方法、设备和计算机可读存储介质
CN108732764B (zh) * 2018-06-06 2024-05-31 北京七鑫易维信息技术有限公司 一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105700676A (zh) * 2014-12-11 2016-06-22 现代自动车株式会社 可佩戴眼镜及其控制方法、以及车辆控制系统
CN107765840A (zh) * 2016-08-22 2018-03-06 深圳纬目信息技术有限公司 一种基于双目测量的泛头戴式设备的视线追踪方法设备

Also Published As

Publication number Publication date
EP3654143B1 (en) 2021-09-08
AU2019261701B2 (en) 2021-05-27
US20200150427A1 (en) 2020-05-14
AU2019261701A1 (en) 2020-05-28
US11112602B2 (en) 2021-09-07
CN109725714A (zh) 2019-05-07
EP3654143A1 (en) 2020-05-20

Similar Documents

Publication Publication Date Title
CN109725714B (zh) 视线确定方法、装置、系统、以及头戴式眼动设备
JP5923180B2 (ja) 生体情報計測装置及びそれを用いた入力装置
JP5406328B2 (ja) 車両用表示装置、その制御方法及びプログラム
CN106687037B (zh) 用于检测瞬时睡眠的设备、方法和计算机程序
KR20130031120A (ko) 올바른 기기사용자세 유도 장치 및 방법
US9526448B2 (en) State estimation device and state estimation program
JP4497305B2 (ja) 運転者状態判定装置
JP6768390B2 (ja) 車両の乗員の視線方向を推定する方法および装置、ならびに車両の乗員に特有の頭部動作増強パラメータを決定する方法および装置
CN112960001A (zh) 驾驶模式的切换方法、装置、车辆及存储介质
CN109814448A (zh) 一种车载多模态控制方法及系统
CN109034108B (zh) 一种视线估计的方法、装置和系统
JP6187155B2 (ja) 注視対象物推定装置
CN109177922A (zh) 车辆启动方法、装置、设备及存储介质
CN105193402A (zh) 用于求取车辆的驾驶员的心率的方法
JP2022502757A (ja) 運転者注意状態推定
CN107010077B (zh) 用于将信息传输给机动车的驾驶员的方法和适应性的驾驶员协助系统
JP2011123653A (ja) 運転者覚醒度検査装置
JP2007068917A (ja) 視認状態判断装置、自動車、及び視認状態判断方法
JP5363208B2 (ja) 視認行動情報提示装置
CN117224103B (zh) 脊柱矫正方法、系统及存储介质
JP2012055428A (ja) 視線検出装置
JP2018075255A (ja) 状態推定装置、及び状態推定方法
JP4118773B2 (ja) 視線方向検出装置及び視線方向検出方法
CN114391129A (zh) 凝视方向的确定
JP2018183249A (ja) 視線検知装置、視線検知プログラムおよび視線検知方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant