CN109144267A - 人机交互方法及装置 - Google Patents

人机交互方法及装置 Download PDF

Info

Publication number
CN109144267A
CN109144267A CN201811020947.3A CN201811020947A CN109144267A CN 109144267 A CN109144267 A CN 109144267A CN 201811020947 A CN201811020947 A CN 201811020947A CN 109144267 A CN109144267 A CN 109144267A
Authority
CN
China
Prior art keywords
coordinate
user
sight
under
preset rules
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811020947.3A
Other languages
English (en)
Inventor
王庆
王述
霍昕
于景华
陈洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN201811020947.3A priority Critical patent/CN109144267A/zh
Publication of CN109144267A publication Critical patent/CN109144267A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提供一种人机交互方法及装置，该方法包括：按照预设频率，获取用户视线在相机坐标系下的第一坐标以及根据所述第一坐标获取所述用户视线在屏幕坐标系下的第二坐标；获取所述第二坐标形成的注视点轨迹，若所述注视点轨迹满足预设规则，则输出与所述预设规则相对应的交互操作指令。由于交互操作指令的输出是通过用户视线变化来实现的，无需用户手动参与，从而缓解了手部运动劳损，增强了人机交互的可扩展性。

Description

人机交互方法及装置
技术领域
本发明涉及计算机领域，特别是涉及一种人机交互方法及装置。
背景技术
随着电子技术和计算机技术的不断发展，各种各样的计算机设备为我们的日常工作、交流及沟通提供了多种实现方式，带来了便利。计算机最常用和最重要的设备之一是输入设备，如键盘、鼠标及触摸屏等，计算机需要通过输入设备接收用户的指令并执行相应的操作。
在输入设备中，鼠标是目前使用最多的且用途最广的设备之一。对鼠标的操作中，通过手来移动鼠标实现将鼠标指针指向某一对象，按下并松开鼠标左键一次实现单击操作，快速按下再放开鼠标左键两次实现双击操作以及上下滚动鼠标的滚轮实现界面的上翻和下翻操作。
由于目前的人机交互过程中，鼠标的使用频率非常高，长时间进行鼠标操作的人员极易引发手指腱鞘囊肿和腱鞘炎等疾病，不仅影响工作效率，更损害身心健康。在鼠标的使用过程中，滑动滚轮运动对腱鞘的劳损程度最大。因此，目前通过鼠标实现的人机交互方法容易成手部运动劳损。
发明内容
为了解决上述问题，本发明实施例提供一种人机交互方法及装置。
第一方面，本发明提供一种人机交互方法，包括：按照预设频率，获取用户视线在相机坐标系下的第一坐标以及根据所述第一坐标获取所述用户视线在屏幕坐标系下的第二坐标；获取所述第二坐标形成的注视点轨迹，若所述注视点轨迹满足预设规则，则输出与所述预设规则相对应的交互操作指令。
第二方面，本发明提供一种人机交互装置，包括：处理模块，用于按照预设频率，获取用户视线在相机坐标系下的第一坐标以及根据所述第一坐标获取所述用户视线在屏幕坐标系下的第二坐标；输出模块，用于获取所述第二坐标形成的注视点轨迹，若所述注视点轨迹满足预设规则，则输出与所述预设规则相对应的交互操作指令。
第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现本发明第一方面人机交互方法的步骤。
第四方面，本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明第一方面人机交互方法的步骤。
本发明实施例提供的人机交互方法，由于交互操作指令的输出是通过用户视线变化来实现的，无需用户手动参与，从而缓解了手部运动劳损，增强了人机交互的可扩展性。
附图说明
图1为本发明实施例提供的人机交互方法流程图；
图2为本发明实施例提供的人机交互装置结构图；
图3为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
计算机的应用领域已渗透到社会的各行各业，正在改变着传统的工作、学习和生活方式，推动着社会的发展。计算机需要通过输入设备接收用户的指令，并执行相应的操作。目前，鼠标是使用频率最高的输入设备之一。但是，长期高频率的使用鼠标操作，极易引发手指腱鞘囊肿和腱鞘炎等疾病，不利于身心健康。在鼠标的使用过程中，滑动滚轮运动对腱鞘的劳损程度最大。
为解决这一问题，本发明实施例提供一种人机交互方法。该方法可以用于用户与计算机交互的场景以实现如鼠标提供的相关操作，也可以用于其他场景，如用户与移动终端交互实现对触摸屏幕的滑动操作，本发明实施例对此不做具体限定。结合不同的使用场景，该方法可以由不同的设备执行，本发明实施例对此也不作具体限定。在用户与计算机交互的场景中，可由单独设立的装置执行或由集成到计算机中的一个硬件模块执行，在本发明实施例中的执行主体以单独设立的基于红外眼动仪的交互装置示例。
图1为本发明实施例提供的人机交互方法流程图，如图所示，本发明实施例提供一种人机交互方法，包括：
101，按照预设频率，获取用户视线在相机坐标系下的第一坐标以及根据第一坐标获取用户视线在屏幕坐标系下的第二坐标。
在执行101之前，还包括模板库的设置过程。模板库设置了用户视线在屏幕上形成的注视点的运动轨迹对应的预设规则，每一预设规则对应着相应的交互操作指令。若某时段注视点的运动轨迹满足模板库中的一项预设规则，则输出与该预设相对应的交互操作指令。
在101中，用户在与计算机进行交互时会注视计算机屏幕，用户视线在计算机屏幕上会形成一个注视点。通过交互装置获取用户注视屏幕时的注视矢量，注视矢量是用户视线在交互装置中红外眼动仪的相机坐标系下的向量表示。通过交互装置中的红外眼动仪，可以获取注视矢量在相机坐标系下的第一坐标为P(x,y,z)。用户视线在屏幕上的最终体现是一个注视点，需要将注视矢量转化为屏幕坐标系下的注视点的第二坐标P'(x',y',z')，第二坐标中的X轴坐标和Y轴坐标反应注视点在屏幕上的位置信息。
由于用户无法每次都注视到同一个点，一个注视点并不适用对应唯一的交互操作指令。另外，用户的视线会随着眼球的移动，在屏幕中会产生运动轨迹，需要实时采集用户视线在屏幕上注视点的信息。因此，采用以一定频率不断重复获取用户的视线信息在屏幕坐标系下的第二坐标，以便根据重复获取的第二坐标的点形成的轨迹来定义相应的输出指令，频率可根据需求预先设置。
102，获取第二坐标形成的注视点轨迹，若注视点轨迹满足预设规则，则输出与预设规则相对应的交互操作指令。
在102中，获取101中按照预设频率重复获取的第二坐标的轨迹，该轨迹与用户视线在屏幕坐标系下的注视点轨迹一致。模板库定义了用户视线在屏幕上形成的注视点的运动轨迹满足预设规则时，应输出的对应交互操作指令。实时将第二坐标形成的注视点轨迹，和模板库中的预设规则进行匹配。若第二坐标形成的注视点轨迹满足模板库中的预设规则，则将设置预设规则时对应的交互操作指令输出至计算机。
本实施例提供的人机交互方法，通过按照预设频率，获取用户视线在相机坐标系下的第一坐标以及根据第一坐标获取用户视线在屏幕坐标系下的第二坐标，并在第二坐标形成的注视点轨迹满足预设规则时，输出与预设规则相对应的交互操作指令。由于交互操作指令的输出是通过用户视线变化来实现的，无需用户手动参与，从而缓解了手部运动劳损，增强了人机交互的可扩展性。
基于上述实施例的内容，作为一种可选实施例，本发明实施例不对获取用户视线在相机坐标系下的第一坐标的方法作具体限定，包括但不限于：接收红外光线经瞳孔的反射光线和红外光线经角膜的反射光线；根据红外光线以及红外光线经瞳孔的反射光线，计算相机坐标系下的瞳孔中心坐标，并根据红外光线以及红外光线经角膜的反射光线，计算相机坐标系下的角膜曲率中心坐标；根据瞳孔中心坐标和角膜曲率中心坐标，获取用户视线在相机坐标系下的第一坐标。
交互装置中红外眼动仪能够发射红外光线，由于瞳孔和角膜对光线的折射率不同，交互装置接收到经瞳孔和角膜的反射光线的强度也不同，从而产生了亮度差异。利用计算机图形学方法，可根据发射时的红外光线以及红外光线经瞳孔的反射光线，计算相机坐标系下瞳孔中心坐标。根据眼球与红外眼动仪的几何关系、发射时的红外光线以及红外光线经角膜的反射光线，可计算在相机坐标系下角膜的曲率中心坐标。根据检测到的眼球与屏幕的空间关系、瞳孔中心坐标以及角膜的曲率中心坐标，可计算出相机坐标系下注视矢量的坐标，也即用户视线在相机坐标系下的第一坐标。
本实施例提供的人机交互方法，根据瞳孔中心坐标和角膜曲率中心坐标，获取用户视线在相机坐标系下的第一坐标，能够准确客观的获取视线的第一坐标。
基于上述实施例的内容，作为一种可选实施例，本发明实施例不对根据第一坐标获取用户视线在屏幕坐标系下的第二坐标作具体限定，包括但不限于根据相机坐标系到屏幕坐标系的转换矩阵以及相机坐标系原点到屏幕坐标系原点的平移矢量，获取视线在屏幕坐标系下的第二坐标。
相机坐标系OXYZ下，用户视线的第一坐标为P(X,Y,Z)。第一坐标与屏幕坐标系O'X'Y'下的第二坐标P'(X',Y',Z')的变换关系可用过下式描述：
其中R是一个3*3的转换矩阵，记为：
T为相机坐标系原点到屏幕坐标系原点的平移矢量，记为：T＝(Tx,Ty,Tz)T。
根据第一坐标P(X,Y,Z)、相机坐标系到屏幕坐标系的转换矩阵R以及相机坐标系原点到屏幕坐标系原点的平移矢量T，可计算得到视线在屏幕坐标系下的第二坐标P'(X',Y',Z')。
基于上述实施例的内容，作为一种可选实施例，本发明实施例不对预设规则作具体限定，包括但不限于：注视点轨迹在预设时长内X轴方向的坐标变化量满足第一预设阈值，以及注视点轨迹在预设时长内Y轴方向的坐标变化量满足第二预设阈值，以上两个条件中的至少任意一种。
具体地，通过用户视线的变化来实现输出操作指令，需对用户视线在屏幕坐标系下的注视点坐标变化轨迹进行定义，以匹配相应的交互操作指令。由于用户需要在屏幕上进行浏览操作，为避免正常浏览操作导致与交互操作指令之间的冲突，在预设规则中定义三个阈值：时长阈值，作为第一预设阈值的X轴方向坐标移动阈值以及作为第二预设阈值的Y轴方向移动阈值。将预设时长内X轴方向的坐标变化量满足第一预设阈值，以及预设时长内Y轴方向的坐标变化量满足第二预设阈值两个条件中的任一种，作为输出相应操作指令对应的预设规则。
本实施例提供的人机交互方法，通过将预设时长内X轴方向的坐标变化量满足第一预设阈值，以及预设时长内Y轴方向的坐标变化量满足第二预设阈值作为预设规则，消除了正常浏览操作带来的干扰。
基于上述实施例的内容，作为一种可选实施例，在交互操作为用户与计算机显示界面的交互操作的场景下，本发明实施例不对输出与预设规则相对应的交互操作指令作具体限定，包括但不限于：输出与预设规则相对应的界面上翻操作指令，或输出与预设规则相对应的界面下翻操作指令。
具体地，上翻操作对应着界面内容的向上移动，与鼠标向前滚轮操作一致；下翻操作对应着界面内容的向下移动，与鼠标向后滚轮操作一致。可将模板中的预设规则设置为，在预设时长阈值内，时长结束的注视点的X坐标减去时长开始的注视点的X坐标得到时长结束的注视点坐标的Y坐标减去时长开始的注视点的Y坐标得到若的绝对值小于预设阈值且的绝对值大于预设阈值，则对应上下翻操作，并根据值的正或负分别对应界面上翻操作或界面下翻操作。其中，X轴为屏幕坐标系下的水平坐标轴，Y轴为屏幕坐标系下的竖直坐标轴。若用户视线在屏幕坐标系下形成的轨迹满上述的上翻操作或下翻操作的预设规则，则输出相应的指令至计算机，实现代替鼠标滚轮操作的人机交互方式。
本实施例提供的人机交互方法，在用户与计算机显示界面的交互操作场景下，输出与预设规则相对应的界面上翻操作指令，或输出与预设规则相对应的界面下翻操作指令。通过视线在屏幕坐标系下形成的轨迹与预设规则的匹配，实现了对上翻操作和下翻操作的定义，从而能够代替鼠标的滚轮操作。
图2为本发明实施例提供的人机交互装置结构图，如图2所示，该人机交互装置包括：处理模块201和输出模块202。其中，处理模块201用于按照预设频率，获取用户视线在相机坐标系下的第一坐标以及根据第一坐标获取用户视线在屏幕坐标系下的第二坐标；输出模块202用于获取第二坐标形成的注视点轨迹，若注视点轨迹满足预设规则，则输出与预设规则相对应的交互操作指令。
用户在与计算机进行交互时会注视屏幕，用户视线在计算机屏幕上会形成一个注视点。处理模块201获取用户注视屏幕时的注视矢量，注视矢量是用户视线在交互装置中红外眼动仪的相机坐标系下的向量表示。通过处理模块201获取注视矢量在相机坐标系下的第一坐标为P(x,y,z)。用户视线在屏幕上的最终体现是一个注视点，需要将注视矢量转化为屏幕坐标系下的第二坐标P'(x',y',z')，第二坐标中的X轴坐标和Y轴坐标反应注视点在屏幕上的位置。由于用户无法每次都注视到同一个点，一个注视点并不适用对应唯一的操作指令。另外，用户的视线会随着眼球的移动，在屏幕中会产生运动轨迹，需要实时采集用户视线在屏幕上注视点的信息。因此，处理模块201以一定频率不断重复获取用户的视线信息在屏幕坐标系下的第二坐标，以便根据重复获取的第二坐标的点形成的轨迹来定义相应的输出指令，频率可根据需求预先设置。
输出模块202获取按照预设频率重复获取的第二坐标的轨迹，该轨迹与用户视线在屏幕坐标系下的注视点轨迹一致。模板库定义了用户视线在屏幕上形成的注视点的运动轨迹满足预设规则时，应输出的对应交互操作指令。输出模块202实时将第二坐标形成的注视点轨迹，和模板库中的预设规则进行匹配。若第二坐标形成的注视点轨迹满足模板库中的预设规则，输出模块202则将设置预设规则时对应的交互操作指令输出至计算机。
本发明实施例提供的装置实施例是为了实现上述各方法实施例的，具体流程和详细内容请参照上述方法实施例，此处不再赘述。
本发明实施例提供的人机交互装置，由于交互操作指令的输出是通过用户视线变化来实现的，无需用户手动参与，从而缓解了手部运动劳损，增强了人机交互的可扩展性。
图3为本发明实施例提供的一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、通信接口(Communications Interface)302、存储器(memory)303和总线304，其中，处理器301，通信接口302，存储器303通过总线304完成相互间的通信。通信接口302可以用于电子设备的信息传输。处理器301可以调用存储器303中的逻辑指令，以执行包括如下的方法：按照预设频率，获取用户视线在相机坐标系下的第一坐标以及根据第一坐标获取用户视线在屏幕坐标系下的第二坐标；获取第二坐标形成的注视点轨迹，若注视点轨迹满足预设规则，则输出与预设规则相对应的交互操作指令。
此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明上述各方法实施例的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令使计算机执行上述实施例所提供的人机交互方法，例如包括：按照预设频率，获取用户视线在相机坐标系下的第一坐标以及根据第一坐标获取用户视线在屏幕坐标系下的第二坐标；获取第二坐标形成的注视点轨迹，若注视点轨迹满足预设规则，则输出与预设规则相对应的交互操作指令。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种人机交互方法，其特征在于，包括：
按照预设频率，获取用户视线在相机坐标系下的第一坐标以及根据所述第一坐标获取所述用户视线在屏幕坐标系下的第二坐标；
获取所述第二坐标形成的注视点轨迹，若所述注视点轨迹满足预设规则，则输出与所述预设规则相对应的交互操作指令。
2.根据权利要求1所述的方法，其特征在于，所述获取用户视线在相机坐标系下的第一坐标，包括：
接收红外光线经瞳孔的反射光线和所述红外光线经角膜的反射光线；
根据所述红外光线以及所述红外光线经瞳孔的反射光线，计算所述相机坐标系下的瞳孔中心坐标，并根据所述红外光线以及所述红外光线经角膜的反射光线，计算所述相机坐标系下的角膜曲率中心坐标；
根据所述瞳孔中心坐标和所述角膜曲率中心坐标，获取所述用户视线在所述相机坐标系下的第一坐标。
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一坐标获取所述用户视线在屏幕坐标系下的第二坐标，包括：
根据所述第一坐标、所述相机坐标系到所述屏幕坐标系的转换矩阵以及所述相机坐标系原点到所述屏幕坐标系原点的平移矢量，获取所述视线在所述屏幕坐标系下的第二坐标。
4.根据权利要求1所述的方法，其特征在于，所述预设规则为以下两个条件中的至少任意一种，所述以下两个条件分别为：
所述注视点轨迹在预设时长内X轴方向的坐标变化量满足第一预设阈值，以及所述注视点轨迹在所述预设时长内Y轴方向的坐标变化量满足第二预设阈值。
5.根据权利要求1所述的方法，其特征在于，所述交互操作为用户与计算机显示界面的交互操作，相应地，所述输出与所述预设规则相对应的交互操作指令，包括：
输出与所述预设规则相对应的界面上翻操作指令，或输出与所述预设规则相对应的界面下翻操作指令。
6.一种人机交互装置，其特征在于，包括：
处理模块，用于按照预设频率，获取用户视线在相机坐标系下的第一坐标以及根据所述第一坐标获取所述用户视线在屏幕坐标系下的第二坐标；
输出模块，用于获取所述第二坐标形成的注视点轨迹，若所述注视点轨迹满足预设规则，则输出与所述预设规则相对应的交互操作指令。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述人机交互方法的步骤。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至5任一项所述人机交互方法的步骤。
CN201811020947.3A 2018-09-03 2018-09-03 人机交互方法及装置 Pending CN109144267A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811020947.3A CN109144267A (zh) 2018-09-03 2018-09-03 人机交互方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811020947.3A CN109144267A (zh) 2018-09-03 2018-09-03 人机交互方法及装置

Publications (1)

Publication Number Publication Date
CN109144267A true CN109144267A (zh) 2019-01-04

Family

ID=64826514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811020947.3A Pending CN109144267A (zh) 2018-09-03 2018-09-03 人机交互方法及装置

Country Status (1)

Country Link
CN (1) CN109144267A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109940611A (zh) * 2019-02-26 2019-06-28 深圳市越疆科技有限公司 轨迹复现方法、系统及终端设备
CN112546613A (zh) * 2020-12-22 2021-03-26 中国第一汽车股份有限公司 一种设备控制方法、装置、设备及存储介质
CN112732080A (zh) * 2020-12-30 2021-04-30 宇龙计算机通信科技(深圳)有限公司 一种操作指令生成方法、装置、存储介质及电子设备
CN113031757A (zh) * 2019-12-25 2021-06-25 大众问问(北京)信息科技有限公司 一种设备交互方法、装置及电子设备
CN113190164A (zh) * 2021-05-14 2021-07-30 歌尔股份有限公司 一种设备的操作方法、系统及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043952A (zh) * 2010-12-31 2011-05-04 山东大学 一种基于双光源的视线跟踪方法
US20170139478A1 (en) * 2014-08-01 2017-05-18 Starship Vending-Machine Corp. Method and apparatus for providing interface recognizing movement in accordance with user's view
CN107003752A (zh) * 2014-12-17 2017-08-01 索尼公司 信息处理装置、信息处理方法以及程序
CN107239144A (zh) * 2017-06-09 2017-10-10 歌尔股份有限公司 一种设备的输入方法和装置
CN107358217A (zh) * 2017-07-21 2017-11-17 北京七鑫易维信息技术有限公司 一种视线估计方法及装置
CN108027977A (zh) * 2015-12-01 2018-05-11 Jvc 建伍株式会社 视线检测装置以及视线检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043952A (zh) * 2010-12-31 2011-05-04 山东大学 一种基于双光源的视线跟踪方法
US20170139478A1 (en) * 2014-08-01 2017-05-18 Starship Vending-Machine Corp. Method and apparatus for providing interface recognizing movement in accordance with user's view
CN107003752A (zh) * 2014-12-17 2017-08-01 索尼公司 信息处理装置、信息处理方法以及程序
CN108027977A (zh) * 2015-12-01 2018-05-11 Jvc 建伍株式会社 视线检测装置以及视线检测方法
CN107239144A (zh) * 2017-06-09 2017-10-10 歌尔股份有限公司 一种设备的输入方法和装置
CN107358217A (zh) * 2017-07-21 2017-11-17 北京七鑫易维信息技术有限公司 一种视线估计方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109940611A (zh) * 2019-02-26 2019-06-28 深圳市越疆科技有限公司 轨迹复现方法、系统及终端设备
CN113031757A (zh) * 2019-12-25 2021-06-25 大众问问(北京)信息科技有限公司 一种设备交互方法、装置及电子设备
CN112546613A (zh) * 2020-12-22 2021-03-26 中国第一汽车股份有限公司 一种设备控制方法、装置、设备及存储介质
CN112732080A (zh) * 2020-12-30 2021-04-30 宇龙计算机通信科技(深圳)有限公司 一种操作指令生成方法、装置、存储介质及电子设备
CN113190164A (zh) * 2021-05-14 2021-07-30 歌尔股份有限公司 一种设备的操作方法、系统及设备

Similar Documents

Publication Publication Date Title
CN109144267A (zh) 人机交互方法及装置
Kelly et al. Recalibration of perceived distance in virtual environments occurs rapidly and transfers asymmetrically across scale
CN102662476B (zh) 一种视线估计方法
EP2791790B1 (en) Gaze activated content transfer system
Rantanen et al. A Wearable, Wireless Gaze Tracker with Integrated Selection Command Source for Human‐Computer Interaction
EP2879020B1 (en) Display control method, apparatus, and terminal
EP4026318A1 (en) Intelligent stylus beam and assisted probabilistic input to element mapping in 2d and 3d graphical user interfaces
CN105867603A (zh) 一种眼控方法及装置
CN103294180A (zh) 一种人机交互控制方法及电子终端
CN106846496A (zh) 基于混合现实技术的dicom影像查看系统及操作方法
CN110399836A (zh) 用户情绪识别方法、装置以及计算机可读存储介质
CN108763394A (zh) 面向协同交互的多用户眼动跟踪数据可视化方法和系统
US20240028129A1 (en) Systems for detecting in-air and surface gestures available for use in an artificial-reality environment using sensors at a wrist-wearable device, and methods of use thereof
US10852816B2 (en) Gaze-informed zoom and pan with manual speed control
TW201415376A (zh) 以自然影像進行的手勢辨識方法
Xu et al. Exploring visual techniques for boundary awareness during interaction in augmented reality head-mounted displays
CN113709302B (zh) 一种发光设备亮度调节方法、系统、电子设备及存储介质
US20240019938A1 (en) Systems for detecting gestures performed within activation-threshold distances of artificial-reality objects to cause operations at physical electronic devices, and methods of use thereof
US20230316634A1 (en) Methods for displaying and repositioning objects in an environment
CN215814080U (zh) 一种头眼双通道智能人机交互系统
Gota et al. Human-Computer Interaction using hand gestures
Deng Multimodal interactions in virtual environments using eye tracking and gesture control.
Ding et al. Robust gesture recognition method toward intelligent environment using Wi-Fi signals
CN103778405A (zh) 以自然影像进行的手势辨识方法
Joos et al. Exploring Trajectory Data in Augmented Reality: A Comparative Study of Interaction Modalities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190104

RJ01 Rejection of invention patent application after publication