CN112546613A - 一种设备控制方法、装置、设备及存储介质 - Google Patents

一种设备控制方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112546613A
CN112546613A CN202011534217.2A CN202011534217A CN112546613A CN 112546613 A CN112546613 A CN 112546613A CN 202011534217 A CN202011534217 A CN 202011534217A CN 112546613 A CN112546613 A CN 112546613A
Authority
CN
China
Prior art keywords
eye movement
fixation points
movement fixation
threshold value
adjacent eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011534217.2A
Other languages
English (en)
Other versions
CN112546613B (zh
Inventor
薛鸿
陈博
尹荣彬
张伟伟
汤永俊
张达明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FAW Group Corp
Original Assignee
FAW Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FAW Group Corp filed Critical FAW Group Corp
Priority to CN202011534217.2A priority Critical patent/CN112546613B/zh
Publication of CN112546613A publication Critical patent/CN112546613A/zh
Application granted granted Critical
Publication of CN112546613B publication Critical patent/CN112546613B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种设备控制方法、装置、设备及存储介质。该方法包括：在VR场景中，获取眼动注视点；根据两个相邻眼动注视点的位置变化确定目标指令；根据所述目标指令控制目标设备运动。通过本发明的技术方案，能够在VR场景中捕捉眼动注视信号以模拟远程控制平台，并在眼动注视与远程控制平台之间建立实时的数据传输通道，为用户提供沉浸的眼动操控体验。

Description

一种设备控制方法、装置、设备及存储介质
技术领域
本发明实施例涉及眼控交互领域，尤其涉及一种设备控制方法、装置、设备及存储介质。
背景技术
眼动追踪将人视觉获取信息的行为显性化，通过用户在界面上的注视行为轨迹和时间可以判断用户关注的元素被注意的程度。眼球追踪应用程序提供了更为轻松的通信和控制方式，改变了主流的人机交互，例如通过眼球注视可以增强游戏体验、预测用户交互行为等。因此，通过将眼球追踪应用到明确的命令与控制中，可以利用眼动注视引导机器设备进行交互与操控。
现有的眼控交互实现方案一般根据特定眼动行为完成具体区域、命令的控制，例如将用户注视点落在屏幕上不同的区域与不同的行为或指令相对应，根据不同的区域控制机器设备的多种行为，从而根据眼动行为推断用户意图，实现基于区域的眼控交互。然而，基于区域的眼控交互影响用户连贯的眼动操控体验，用户无法根据自身眼球注视的实时变化来观察机器设备的行为变化；另外，缺失将虚拟场景与眼动追踪相结合。
发明内容
本发明实施例提供一种设备控制方法、装置、设备及存储介质，以实现能够在VR场景中捕捉眼动注视信号以模拟远程控制平台，并在眼动注视与远程控制平台之间建立实时的数据传输通道，为用户提供沉浸的眼动操控体验。
第一方面，本发明实施例提供了一种设备控制方法，包括：
在VR场景中，获取眼动注视点；
根据两个相邻眼动注视点的位置变化确定目标指令；
根据所述目标指令控制目标设备运动。
进一步的，在VR场景中，获取眼动注视点，包括：
在VR场景中，获取左右方向上的眼动注视点的坐标和深度方向上的眼动注视点的坐标。
进一步的，在根据两个相邻眼动注视点的位置变化确定目标指令之前，还包括：
对所述眼动注视点进行滤波；
若两个相邻眼动注视点的坐标变化大于或等于预设阈值，则获取所述两个相邻眼动注视点。
进一步的，根据两个相邻眼动注视点的位置变化确定目标指令，包括：
获取左右方向上两个相邻眼动注视点的坐标差值；
若所述左右方向上两个相邻眼动注视点的坐标差值大于差值阈值，则确定目标指令为向右转；
若所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，则确定目标指令为向左转；
若所述左右方向上两个相邻眼动注视点的坐标差值等于差值阈值，则确定目标指令为停止。
进一步的，还包括：
获取深度方向上两个相邻眼动注视点的坐标差值；
若所述深度方向上两个相邻眼动注视点的坐标差值大于差值阈值，则确定目标指令为前进；
若所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，则确定目标指令为后退；
若所述深度方向上两个相邻眼动注视点的坐标差值等于差值阈值，则确定目标指令为停止。
进一步的，根据两个相邻眼动注视点的位置变化确定目标指令包括：
获取外部指令；
根据所述外部指令和两个相邻眼动注视点的位置变化确定目标指令。
进一步的，根据所述外部指令和两个相邻眼动注视点的位置变化确定目标指令，包括：
获取左右方向上两个相邻眼动注视点的坐标差值和深度方向上两个相邻眼动注视点的坐标差值；
若所述左右方向上两个相邻眼动注视点的坐标差值大于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值大于差值阈值，且所述外部指令为第一外部指令，则根据左右方向上两个相邻眼动注视点的坐标差值大于差值阈值确定目标指令为向右转；
若所述左右方向上两个相邻眼动注视点的坐标差值大于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，且所述外部指令为第一外部指令，则根据左右方向上两个相邻眼动注视点的坐标差值大于差值阈值确定目标指令为向右转；
若所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值大于差值阈值，且所述外部指令为第一外部指令，则根据所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，确定目标指令为向左转；
若所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，且所述外部指令为第一外部指令，则根据所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，确定目标指令为向左转；
若所述左右方向上两个相邻眼动注视点的坐标差值大于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值大于差值阈值，且所述外部指令为第二外部指令，则根据深度方向上两个相邻眼动注视点的坐标差值大于差值阈值确定目标指令为前进；
若所述左右方向上两个相邻眼动注视点的坐标差值大于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，且所述外部指令为第二外部指令，则根据深度方向上两个相邻眼动注视点的坐标差值大于差值阈值确定目标指令为前进；
若所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值大于差值阈值，且所述外部指令为第二外部指令，则根据所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，确定目标指令为后退；
若所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，且所述外部指令为第二外部指令，则根据所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，确定目标指令为后退。
第二方面，本发明实施例还提供了一种设备控制装置，该装置包括：
第一获取模块，用于在VR场景中，获取眼动注视点；
确定模块，用于根据两个相邻眼动注视点的位置变化确定目标指令；
控制模块，用于根据所述目标指令控制目标设备运动。
进一步的，所述第一获取模块，具体用于：
在VR场景中，获取左右方向上的眼动注视点的坐标和深度方向上的眼动注视点的坐标。
进一步的，还包括：
滤波模块，用于在根据两个相邻眼动注视点的位置变化确定目标指令之前，对所述眼动注视点进行滤波；
第二获取模块，用于若两个相邻眼动注视点的坐标变化大于或等于预设阈值，则获取所述两个相邻眼动注视点。
进一步的，所述确定目模块，包括：
第一获取单元，用于获取左右方向上两个相邻眼动注视点的坐标差值；
第一确定单元，用于若所述左右方向上两个相邻眼动注视点的坐标差值大于差值阈值，则确定目标指令为向右转；
第二确定单元，用于若所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，则确定目标指令为向左转；
第三确定单元，用于若所述左右方向上两个相邻眼动注视点的坐标差值等于差值阈值，则确定目标指令为停止。
进一步的，还包括：
第一获取单元，用于获取深度方向上两个相邻眼动注视点的坐标差值；
第四确定单元，用于若所述深度方向上两个相邻眼动注视点的坐标差值大于差值阈值，则确定目标指令为前进；
第五确定单元，用于若所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，则确定目标指令为后退；
第六确定单元，用于若所述深度方向上两个相邻眼动注视点的坐标差值等于差值阈值，则确定目标指令为停止。
进一步的，所述确定模块包括：
第三获取单元，用于获取外部指令；
第七确定单元，用于根据所述外部指令和两个相邻眼动注视点的位置变化确定目标指令。
进一步的，所述第七确定单元，具体用于：
获取左右方向上两个相邻眼动注视点的坐标差值和深度方向上两个相邻眼动注视点的坐标差值；
若所述左右方向上两个相邻眼动注视点的坐标差值大于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值大于差值阈值，且所述外部指令为第一外部指令，则根据左右方向上两个相邻眼动注视点的坐标差值大于差值阈值确定目标指令为向右转；
若所述左右方向上两个相邻眼动注视点的坐标差值大于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，且所述外部指令为第一外部指令，则根据左右方向上两个相邻眼动注视点的坐标差值大于差值阈值确定目标指令为向右转；
若所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值大于差值阈值，且所述外部指令为第一外部指令，则根据所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，确定目标指令为向左转；
若所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，且所述外部指令为第一外部指令，则根据所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，确定目标指令为向左转；
若所述左右方向上两个相邻眼动注视点的坐标差值大于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值大于差值阈值，且所述外部指令为第二外部指令，则根据深度方向上两个相邻眼动注视点的坐标差值大于差值阈值确定目标指令为前进；
若所述左右方向上两个相邻眼动注视点的坐标差值大于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，且所述外部指令为第二外部指令，则根据深度方向上两个相邻眼动注视点的坐标差值大于差值阈值确定目标指令为前进；
若所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值大于差值阈值，且所述外部指令为第二外部指令，则根据所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，确定目标指令为后退；
若所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，且所述外部指令为第二外部指令，则根据所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，确定目标指令为后退。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的设备控制方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的设备控制方法。
本发明实施例通过在VR场景中获取两个相邻眼动注视点的位置变化确定目标指令，根据所述目标指令控制目标设备运动，解决现有基于区域的眼控交互影响用户连贯的眼动操控体验，且无法根据自身眼球注视的实时变化来控制设备的行为变化问题，实现在VR场景中捕捉眼动注视信号以模拟远程控制平台，并在眼动注视与远程控制平台之间建立实时的数据传输通道，为用户提供沉浸的眼动操控体验。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例一中的一种设备控制方法的流程图；
图1a是本发明实施例一中的眼动注视点坐标系示意图；
图1b是本发明实施例一中的目标设备运动坐标系示意图；
图2是本发明实施例二中的一种设备控制方法的流程图；
图2a是本发明实施例二中的眼控实时交互控制系统框架的流程图；
图3是本发明实施例三中的一种设备控制装置的结构示意图；
图4是本发明实施例四中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例一
图1为本发明实施例一提供的一种设备控制方法的流程图，本实施例可适用于基于VR的眼控交互的情况，该方法可以由本发明实施例中的设备控制装置来执行，该装置可采用软件和/或硬件的方式实现，如图1所示，该方法具体包括如下步骤：
S110，在VR场景中，获取眼动注视点。
具体的，可以采用VR眼球追踪仪获取眼动注视点，并利用Runtime校准工具对眼动仪进行校准。利用SDK中的UpdateDepthGaze()函数获得具有左右方向、上下方向和深度方向的三维眼动注视点坐标。
示例性的，建立VR场景，在VR场景中设置一个模拟物体，如立体箭头，用于模拟真实环境的目标设备(例如小车)，箭头方向表示目标设备的运动方向，在远程控制平台中设置目标设备。建立手柄跟随脚本，将模拟物体的位置与旋转角度赋予手柄，将手柄放置在目标设备上，远程控制平台中的目标设备的移动和旋转可以体现在手柄上，将远程控制平台中目标设备的位置变化体现在VR场景的模拟物体的位置变化中。从而，在VR场景中捕捉眼动注视信号并模拟远程控制平台。
可选的，在VR场景中，获取眼动注视点，包括：
在VR场景中，获取左右方向上的眼动注视点的坐标和深度方向上的眼动注视点的坐标。
具体的，如图1a所示，眼动注视点的坐标系包括左右方向(x轴)、上下方向(y轴)和深度方向(z轴)三个维度。如图1b所示，由于通过人眼控制的目标设备运动处于水平地面，即目标设备的控制坐标系包括左右方向(x轴)和深度方向(z轴)两个维度，而人眼上下方向的注视变化不影响目标设备运动，因此，在VR场景中，VR眼球追踪仪获取左右方向上的眼动注视点的坐标和深度方向上的眼动注视点的坐标，即眼动注视点在左右方向和深度方向上的位置坐标为(x,z)。
S120，根据两个相邻眼动注视点的位置变化确定目标指令。
其中，目标指令是控制目标设备运动的指令，可以包括：前进、后退、左转和右转等。
具体的，目标设备控制系统接收两个相邻眼动注视点的位置坐标，根据两个相邻眼动注视点在不同方向的位置坐标的变化确定目标指令。
示例性的，若两个相邻眼动注视点在深度方向上位置坐标发生变化，则目标指令为向前运动或向后运动，若两个相邻眼动注视点在深度方向上位置坐标发生变化，则目标指令为向左转向或向右转向。
S130，根据所述目标指令控制目标设备运动。
具体的，目标设备控制系统根据所述目标指令控制目标设备运动。
本实施例的技术方案的具体步骤为：在VR眼球追踪模组与目标设备之间建立UDP通信，通过树莓派系统将用户在VR环境中眼球注视点的位置变化实时传输至目标设备端；根据两个相邻眼动注视点的位置变化对应的目标指令确定目标设备的运动方向，实现目标设备的运动控制。
本实施例的技术方案，通过在VR场景中获取两个相邻眼动注视点的位置变化确定目标指令，根据所述目标指令控制目标设备运动，能够在VR场景中捕捉眼动注视信号以模拟远程控制平台，并在眼动注视与远程控制平台之间建立实时的数据传输通道，为用户提供沉浸的眼动操控体验。
实施例二
图2为本发明实施例二中的一种设备控制方法的流程图，本实施例以上述实施例为基础进行优化，在本实施例中，在根据两个相邻眼动注视点的位置变化确定目标指令之前，还包括：对所述眼动注视点进行滤波；若两个相邻眼动注视点的坐标变化大于或等于预设范围，则获取所述两个相邻眼动注视点。
如图2所示，本实施例的方法具体包括如下步骤：
S210，在VR场景中，获取眼动注视点。
S220，对所述眼动注视点进行滤波。
具体的，可以利用卡尔曼滤波对所述眼动注视点进行滤波。
S230，若两个相邻眼动注视点的坐标变化大于或等于预设阈值，则获取所述两个相邻眼动注视点。
具体的，两个相邻眼动注视点的坐标分别为(x1,z1)和(x2,z2)，若两个相邻眼动注视点的坐标变化大于或等于预设阈值，即两个相邻眼动注视点的坐标分别为(x1,z1)和(x2,z2)满足：
Figure BDA0002852840790000121
或者，
Figure BDA0002852840790000122
则获取所述两个相邻眼动注视点。
其中，T为预设阈值，可以根据实际需求和经验值设定。c为接近于0的预设常数阈值，例如c的值设为0.0001，其作用是避免计算两个相邻眼动注视点的坐标变化的分母为0，导致坐标变化计算公式无意义。设定预设阈值的好处在于：由于人眼在追踪物体移动时，眼动注视点不可避免的会发生微小的波动。因此，若两个相邻眼动注视点的坐标变化小于预设阈值，则忽略眼动注视点的波动，认为眼动注视点未发生移动；若两个相邻眼动注视点的坐标变化大于或等于预设阈值，才获取所述两个相邻眼动注视点，以避免人眼注视点的正常波动而造成的不符合用户意图的目标指令。需要说明的是，在VR眼球追踪仪获取所述两个相邻眼动注视点之后，需要对眼动注视点的坐标进行格式转化为带有正负号且具有相同长度的数值，将所述数值发送至目标设备。目标设备接收并按位读取眼动注视点对应的数值。
S240，根据两个相邻眼动注视点的位置变化确定目标指令。
S250，根据所述目标指令控制目标设备运动。
可选的，根据两个相邻眼动注视点的位置变化确定目标指令，包括：
获取左右方向上两个相邻眼动注视点的坐标差值；
若所述左右方向上两个相邻眼动注视点的坐标差值大于差值阈值，则确定目标指令为向右转；
若所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，则确定目标指令为向左转；
若所述左右方向上两个相邻眼动注视点的坐标差值等于差值阈值，则确定目标指令为停止。
具体的，获取左右方向上两个相邻眼动注视点的坐标差值，即x2-x1，若所述左右方向上两个相邻眼动注视点的坐标差值大于差值阈值，则确定目标指令为向右转；若所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，则确定目标指令为向左转；若所述左右方向上两个相邻眼动注视点的坐标差值等于差值阈值，则确定目标指令为停止，即
Figure BDA0002852840790000131
其中，d1为差值阈值，可以根据实际需求设定。优选的，d1＝0，即若x2＞x1，则确定目标指令为向右转；若x2＜x1，则确定目标指令为向左转；若x2＝x1，则确定目标指令为停止。
可选的，还包括：
获取深度方向上两个相邻眼动注视点的坐标差值；
若所述深度方向上两个相邻眼动注视点的坐标差值大于差值阈值，则确定目标指令为前进；
若所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，则确定目标指令为后退；
若所述深度方向上两个相邻眼动注视点的坐标差值等于差值阈值，则确定目标指令为停止。
具体的，获取深度方向上两个相邻眼动注视点的坐标差值，即z2-z1，若所述深度方向上两个相邻眼动注视点的坐标差值大于差值阈值，则确定目标指令为向前进；若所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，则确定目标指令为向后退；若所述深度方向上两个相邻眼动注视点的坐标差值等于差值阈值，则确定目标指令为停止，即：
Figure BDA0002852840790000141
其中，d2为差值阈值，可以根据实际需求设定，d2可以等于d1，d2也可以不等于d1，本发明实施例对此不设限制。优选的，d2＝d1＝0，即若z2＞z1，则确定目标指令为向右转；若z2＜z1，则确定目标指令为向左转；若z2＝z1，则确定目标指令为停止。
可选的，根据两个相邻眼动注视点的位置变化确定目标指令包括：
获取外部指令；
根据所述外部指令和两个相邻眼动注视点的位置变化确定目标指令。
具体的，由于两个相邻眼动注视点往往会在深度方向和左右方向上同时发生的位置变化。因此，为了能够精确控制目标设备按照眼动注视点的变化而运动，目标设备通过UDP获取外部指令，所述外部指令包括眼动注视点的位置变化与目标设备的位置变化之间的对应关系。目标设备在收到外部指令和两个相邻眼动注视点的位置变化后，根据所述外部指令和两个相邻眼动注视点的位置变化确定目标指令，使得目标设备根据目标指令运动。
具体的，外部指令包括：第一外部指令和第二外部指令。第一外部指令为利用左右方向上眼动注视点的变化控制目标设备左转或右转，第二外部指令为利用深度方向上眼动注视点的变化控制小车前进或后退。
可选的，根据所述外部指令和两个相邻眼动注视点的位置变化确定目标指令包括：
获取左右方向上两个相邻眼动注视点的坐标差值和深度方向上两个相邻眼动注视点的坐标差值；
若所述左右方向上两个相邻眼动注视点的坐标差值大于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值大于差值阈值，且所述外部指令为第一外部指令，则根据左右方向上两个相邻眼动注视点的坐标差值大于差值阈值确定目标指令为向右转；
若所述左右方向上两个相邻眼动注视点的坐标差值大于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，且所述外部指令为第一外部指令，则根据左右方向上两个相邻眼动注视点的坐标差值大于差值阈值确定目标指令为向右转；
若所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值大于差值阈值，且所述外部指令为第一外部指令，则根据所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，确定目标指令为向左转；
若所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，且所述外部指令为第一外部指令，则根据所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，确定目标指令为向左转；
若所述左右方向上两个相邻眼动注视点的坐标差值大于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值大于差值阈值，且所述外部指令为第二外部指令，则根据深度方向上两个相邻眼动注视点的坐标差值大于差值阈值确定目标指令为前进；
若所述左右方向上两个相邻眼动注视点的坐标差值大于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，且所述外部指令为第二外部指令，则根据深度方向上两个相邻眼动注视点的坐标差值大于差值阈值确定目标指令为前进；
若所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值大于差值阈值，且所述外部指令为第二外部指令，则根据所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，确定目标指令为后退；
若所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，且所述外部指令为第二外部指令，则根据所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，确定目标指令为后退。
具体的，先获取左右方向上两个相邻眼动注视点的坐标差值和深度方向上两个相邻眼动注视点的坐标差值，若所述坐标差值不等于差值阈值，则获取外部指令，根据外部指令和所述差值阈值确定目标指令。
可选的，根据所述外部指令和两个相邻眼动注视点的位置变化确定目标指令，还包括：
获取左右方向上两个相邻眼动注视点的坐标差值和深度方向上两个相邻眼动注视点的坐标差值；
若所述外部指令为第一外部指令，且左右方向上两个相邻眼动注视点的坐标差值大于差值阈值，则确定目标指令为向右转；
若所述外部指令为第一外部指令，且左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，则确定目标指令为向左转；
若所述外部指令为第二外部指令，且深度方向上两个相邻眼动注视点的坐标差值大于差值阈值，则确定目标指令为前进；
若所述外部指令为第二外部指令，且所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，则确定目标指令为后退。
具体的，先获取外部指令，然后根据外部指令获取左右方向上两个相邻眼动注视点的坐标差值或者深度方向上两个相邻眼动注视点的坐标差值。根据所述差值阈值确定目标指令。
如图2a所示，本发明实施例的具体步骤在于：通过VR眼球追踪模组获取眼动注视点，基于SDK获取眼动注视点在左右方向和深度方向上的坐标并通过UDP传输方式传输至树莓派系统，从外部指令获取模块通过UDP传输方式获取外部指令，通过树莓派系统对眼动注视点坐标进行解析确定目标指令，将目标指令发送至目标设备，控制目标设备根据目标指令运动。
本实施例的技术方案，通过在VR场景中获取两个相邻眼动注视点的位置变化确定目标指令，根据所述目标指令控制目标设备运动，能够在VR场景中捕捉眼动注视信号以模拟远程控制平台，并在眼动注视与远程控制平台之间建立实时的数据传输通道，为用户提供沉浸的眼动操控体验。
实施例三
图3为本发明实施例三提供的一种设备控制装置的结构示意图。本实施例可适用于基于VR的眼控交互的情况，该装置可采用软件和/或硬件的方式实现，该装置可集成在任何提供设备控制的功能的设备中，如图3所示，所述设备控制的装置具体包括：第一获取模块310、确定模块320和控制模块330。
其中，第一获取模块310，用于在VR场景中，获取眼动注视点；
确定模块320，用于根据两个相邻眼动注视点的位置变化确定目标指令；
控制模块330，用于根据所述目标指令控制目标设备运动。
可选的，所述第一获取模块，具体用于：
在VR场景中，获取左右方向上的眼动注视点的坐标和深度方向上的眼动注视点的坐标。
可选的，还包括：
滤波模块，用于在根据两个相邻眼动注视点的位置变化确定目标指令之前，对所述眼动注视点进行滤波；
第二获取模块，用于若两个相邻眼动注视点的坐标变化大于或等于预设阈值，则获取所述两个相邻眼动注视点。
可选的，所述确定目模块，包括：
第一获取单元，用于获取左右方向上两个相邻眼动注视点的坐标差值；
第一确定单元，用于若所述左右方向上两个相邻眼动注视点的坐标差值大于差值阈值，则确定目标指令为向右转；
第二确定单元，用于若所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，则确定目标指令为向左转；
第三确定单元，用于若所述左右方向上两个相邻眼动注视点的坐标差值等于差值阈值，则确定目标指令为停止。
可选的，还包括：
第一获取单元，用于获取深度方向上两个相邻眼动注视点的坐标差值；
第四确定单元，用于若所述深度方向上两个相邻眼动注视点的坐标差值大于差值阈值，则确定目标指令为前进；
第五确定单元，用于若所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，则确定目标指令为后退；
第六确定单元，用于若所述深度方向上两个相邻眼动注视点的坐标差值等于差值阈值，则确定目标指令为停止。
可选的，所述确定模块包括：
第三获取单元，用于获取外部指令；
第七确定单元，用于根据所述外部指令和两个相邻眼动注视点的位置变化确定目标指令。
可选的，所述第七确定单元，具体用于：
获取左右方向上两个相邻眼动注视点的坐标差值和深度方向上两个相邻眼动注视点的坐标差值；
若所述左右方向上两个相邻眼动注视点的坐标差值大于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值大于差值阈值，且所述外部指令为第一外部指令，则根据左右方向上两个相邻眼动注视点的坐标差值大于差值阈值确定目标指令为向右转；
若所述左右方向上两个相邻眼动注视点的坐标差值大于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，且所述外部指令为第一外部指令，则根据左右方向上两个相邻眼动注视点的坐标差值大于差值阈值确定目标指令为向右转；
若所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值大于差值阈值，且所述外部指令为第一外部指令，则根据所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，确定目标指令为向左转；
若所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，且所述外部指令为第一外部指令，则根据所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，确定目标指令为向左转；
若所述左右方向上两个相邻眼动注视点的坐标差值大于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值大于差值阈值，且所述外部指令为第二外部指令，则根据深度方向上两个相邻眼动注视点的坐标差值大于差值阈值确定目标指令为前进；
若所述左右方向上两个相邻眼动注视点的坐标差值大于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，且所述外部指令为第二外部指令，则根据深度方向上两个相邻眼动注视点的坐标差值大于差值阈值确定目标指令为前进；
若所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值大于差值阈值，且所述外部指令为第二外部指令，则根据所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，确定目标指令为后退；
若所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，且所述外部指令为第二外部指令，则根据所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，确定目标指令为后退。
上述产品可执行本发明任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
本实施例的技术方案，在VR场景中获取两个相邻眼动注视点的位置变化确定目标指令，根据所述目标指令控制目标设备运动，能够在VR场景中捕捉眼动注视信号以模拟远程控制平台，并在眼动注视与远程控制平台之间建立实时的数据传输通道，为用户提供沉浸的眼动操控体验。
实施例四
图4为本发明实施例四中的一种计算机设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图4显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。另外，本实施例中的计算机设备12，显示器24不是作为独立个体存在，而是嵌入镜面中，在显示器24的显示面不予显示时，显示器24的显示面与镜面从视觉上融为一体。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的设备控制方法：在VR场景中，获取眼动注视点；根据两个相邻眼动注视点的位置变化确定目标指令；根据所述目标指令控制目标设备运动。
实施例五
本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的设备控制方法：在VR场景中，获取眼动注视点；根据两个相邻眼动注视点的位置变化确定目标指令；根据所述目标指令控制目标设备运动。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种设备控制方法，其特征在于，包括：
在VR场景中，获取眼动注视点；
根据两个相邻眼动注视点的位置变化确定目标指令；
根据所述目标指令控制目标设备运动。
2.根据权利要求1所述的方法，其特征在于，在VR场景中，获取眼动注视点，包括：
在VR场景中，获取左右方向上的眼动注视点的坐标和深度方向上的眼动注视点的坐标。
3.根据权利要求1所述的方法，其特征在于，在根据两个相邻眼动注视点的位置变化确定目标指令之前，还包括：
对所述眼动注视点进行滤波；
若两个相邻眼动注视点的坐标变化大于或等于预设阈值，则获取所述两个相邻眼动注视点。
4.根据权利要求1所述的方法，其特征在于，根据两个相邻眼动注视点的位置变化确定目标指令，包括：
获取左右方向上两个相邻眼动注视点的坐标差值；
若所述左右方向上两个相邻眼动注视点的坐标差值大于差值阈值，则确定目标指令为向右转；
若所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，则确定目标指令为向左转；
若所述左右方向上两个相邻眼动注视点的坐标差值等于差值阈值，则确定目标指令为停止。
5.根据权利要求4所述的方法，其特征在于，还包括：
获取深度方向上两个相邻眼动注视点的坐标差值；
若所述深度方向上两个相邻眼动注视点的坐标差值大于差值阈值，则确定目标指令为前进；
若所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，则确定目标指令为后退；
若所述深度方向上两个相邻眼动注视点的坐标差值等于差值阈值，则确定目标指令为停止。
6.根据权利要求1所述的方法，其特征在于，根据两个相邻眼动注视点的位置变化确定目标指令包括：
获取外部指令；
根据所述外部指令和两个相邻眼动注视点的位置变化确定目标指令。
7.根据权利要求6所述的方法，其特征在于，根据所述外部指令和两个相邻眼动注视点的位置变化确定目标指令包括：
获取左右方向上两个相邻眼动注视点的坐标差值和深度方向上两个相邻眼动注视点的坐标差值；
若所述左右方向上两个相邻眼动注视点的坐标差值大于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值大于差值阈值，且所述外部指令为第一外部指令，则根据左右方向上两个相邻眼动注视点的坐标差值大于差值阈值确定目标指令为向右转；
若所述左右方向上两个相邻眼动注视点的坐标差值大于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，且所述外部指令为第一外部指令，则根据左右方向上两个相邻眼动注视点的坐标差值大于差值阈值确定目标指令为向右转；
若所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值大于差值阈值，且所述外部指令为第一外部指令，则根据所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，确定目标指令为向左转；
若所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，且所述外部指令为第一外部指令，则根据所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，确定目标指令为向左转；
若所述左右方向上两个相邻眼动注视点的坐标差值大于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值大于差值阈值，且所述外部指令为第二外部指令，则根据深度方向上两个相邻眼动注视点的坐标差值大于差值阈值确定目标指令为前进；
若所述左右方向上两个相邻眼动注视点的坐标差值大于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，且所述外部指令为第二外部指令，则根据深度方向上两个相邻眼动注视点的坐标差值大于差值阈值确定目标指令为前进；
若所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值大于差值阈值，且所述外部指令为第二外部指令，则根据所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，确定目标指令为后退；
若所述左右方向上两个相邻眼动注视点的坐标差值小于差值阈值，所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，且所述外部指令为第二外部指令，则根据所述深度方向上两个相邻眼动注视点的坐标差值小于差值阈值，确定目标指令为后退。
8.一种设备控制装置，其特征在于，包括：
第一获取模块，用于在VR场景中，获取眼动注视点；
确定模块，用于根据两个相邻眼动注视点的位置变化确定目标指令；
控制模块，用于根据所述目标指令控制目标设备运动。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202011534217.2A 2020-12-22 2020-12-22 一种设备控制方法、装置、设备及存储介质 Active CN112546613B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011534217.2A CN112546613B (zh) 2020-12-22 2020-12-22 一种设备控制方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011534217.2A CN112546613B (zh) 2020-12-22 2020-12-22 一种设备控制方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112546613A true CN112546613A (zh) 2021-03-26
CN112546613B CN112546613B (zh) 2023-03-24

Family

ID=75032204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011534217.2A Active CN112546613B (zh) 2020-12-22 2020-12-22 一种设备控制方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112546613B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000016185A2 (en) * 1998-09-01 2000-03-23 Synthetic Environments, Inc. System and method for controlling host system interface with user point-of-interest data
WO2009107371A1 (ja) * 2008-02-28 2009-09-03 パナソニック株式会社 視線検出装置及び視線検出方法
CN107239144A (zh) * 2017-06-09 2017-10-10 歌尔股份有限公司 一种设备的输入方法和装置
WO2017219313A1 (en) * 2016-06-23 2017-12-28 SZ DJI Technology Co., Ltd. Systems and methods for controlling movable object behavior
CN109144267A (zh) * 2018-09-03 2019-01-04 中国农业大学 人机交互方法及装置
US20190220002A1 (en) * 2016-08-18 2019-07-18 SZ DJI Technology Co., Ltd. Systems and methods for augmented stereoscopic display
CN111309144A (zh) * 2020-01-20 2020-06-19 北京津发科技股份有限公司 三维空间内注视行为的识别方法、装置及存储介质
CN111736691A (zh) * 2020-06-01 2020-10-02 Oppo广东移动通信有限公司 头戴显示设备的交互方法、装置、终端设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000016185A2 (en) * 1998-09-01 2000-03-23 Synthetic Environments, Inc. System and method for controlling host system interface with user point-of-interest data
WO2009107371A1 (ja) * 2008-02-28 2009-09-03 パナソニック株式会社 視線検出装置及び視線検出方法
WO2017219313A1 (en) * 2016-06-23 2017-12-28 SZ DJI Technology Co., Ltd. Systems and methods for controlling movable object behavior
US20190220002A1 (en) * 2016-08-18 2019-07-18 SZ DJI Technology Co., Ltd. Systems and methods for augmented stereoscopic display
CN107239144A (zh) * 2017-06-09 2017-10-10 歌尔股份有限公司 一种设备的输入方法和装置
CN109144267A (zh) * 2018-09-03 2019-01-04 中国农业大学 人机交互方法及装置
CN111309144A (zh) * 2020-01-20 2020-06-19 北京津发科技股份有限公司 三维空间内注视行为的识别方法、装置及存储介质
CN111736691A (zh) * 2020-06-01 2020-10-02 Oppo广东移动通信有限公司 头戴显示设备的交互方法、装置、终端设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BIN LI等: "A Smart Eye Tracking System for Virtual Reality", 《2019 IEEE MTT-S INTERNATIONAL MICROWAVE BIOMEDICAL CONFERENCE (IMBIOC)》 *
陆柳杏等: "人机交互研究中的眼动追踪:主题、作用、动向", 《图书情报工作》 *

Also Published As

Publication number Publication date
CN112546613B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
US11181976B2 (en) Perception based predictive tracking for head mounted displays
US11403757B2 (en) Sight line detection method and sight line detection device
CN109727305B (zh) 虚拟现实系统画面处理方法、装置及存储介质
US20060119576A1 (en) Systems and methods for using a movable object to control a computer
US10488918B2 (en) Analysis of user interface interactions within a virtual reality environment
CN109968979B (zh) 车载投射处理方法、装置、车载设备及存储介质
US9395764B2 (en) Gestural motion and speech interface control method for 3d audio-video-data navigation on handheld devices
CN108776544B (zh) 增强现实中的交互方法及装置、存储介质、电子设备
US11995254B2 (en) Methods, devices, apparatuses, and storage media for mapping mouse models for computer mouses
CN110969687A (zh) 一种碰撞检测方法、装置、设备和介质
CN112083795A (zh) 对象控制方法及装置、存储介质和电子设备
US20060119574A1 (en) Systems and methods for using a movable object to control a computer
US11009963B2 (en) Sign language inputs to a vehicle user interface
CN106681506B (zh) 一种终端设备中非vr应用的交互方法及终端设备
CN113658249B (zh) 虚拟现实场景的渲染方法、装置、设备和存储介质
CN110096134B (zh) 一种vr手柄射线抖动矫正方法、装置、终端和介质
US20240233299A9 (en) Information processing apparatus and information processing method
CN112546613B (zh) 一种设备控制方法、装置、设备及存储介质
CN114849234A (zh) 虚拟镜头控制方法、装置、存储介质和电子设备
CN111124185B (zh) 设备的控制方法、装置、服务器和存储介质
CN114743433A (zh) 模拟飞行训练环境下威胁的多通道告警呈现方法及装置
CN108499102B (zh) 信息界面展示方法及装置、存储介质、电子设备
CN110908509B (zh) 多增强现实设备的协作方法及装置、电子设备、存储介质
KR101558094B1 (ko) 직관적인 핸드 모션에 기반한 멀티-모달 시스템 및 그 제어 방법
CN112243082B (zh) 一种跟踪拍摄方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant