CN105807915A - 虚拟鼠标的控制方法、控制装置以及头戴显示设备 - Google Patents

虚拟鼠标的控制方法、控制装置以及头戴显示设备 Download PDF

Info

Publication number
CN105807915A
CN105807915A CN201610101873.0A CN201610101873A CN105807915A CN 105807915 A CN105807915 A CN 105807915A CN 201610101873 A CN201610101873 A CN 201610101873A CN 105807915 A CN105807915 A CN 105807915A
Authority
CN
China
Prior art keywords
display device
virtual mouse
axle
mouse
coordinate value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610101873.0A
Other languages
English (en)
Inventor
张瑞生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Pico Technology Co Ltd
Original Assignee
Beijing Pico Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Pico Technology Co Ltd filed Critical Beijing Pico Technology Co Ltd
Priority to CN201610101873.0A priority Critical patent/CN105807915A/zh
Publication of CN105807915A publication Critical patent/CN105807915A/zh
Priority to US15/342,667 priority patent/US10289214B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device

Abstract

本发明公开一种虚拟鼠标的控制方法、控制装置及头戴显示设备，该虚拟鼠标的控制方法包括：利用设置在头戴显示设备中的传感器，采集用户的头部运动数据；对采集的头部运动数据进行计算，得到对应头戴显示设备的显示屏幕所在坐标系的二维坐标值；根据二维坐标值，控制头戴显示设备的虚拟鼠标在显示屏幕上执行相应的鼠标移动操作。本发明的虚拟鼠标的控制方法、控制装置直接根据用户的头部运动控制虚拟鼠标的移动，省略了外接物理鼠标。既使得头戴显示设备的输入控制更加准确，又便携了用户操作，提升了使用体验。此外，本发明的头戴显示设备采用了本发明的虚拟鼠标控制装置，因而也方便了用户控制，提高了产品的竞争力。

Description

虚拟鼠标的控制方法、控制装置以及头戴显示设备
技术领域
本发明涉及头戴显示设备技术领域，具体涉及一种虚拟鼠标的控制方法、控制装置以及头戴显示设备。
背景技术
目前，随着头戴显示设备(HeadMountDisplay，HMD)和虚拟现实技术的发展，用户对头戴显示设备的内容多样性的需求越来越迫切。现有的头戴式显示设备由于没有统一的标准，导致头戴显示设备支持的内容比较匮乏，通常只支持3D游戏等3D应用，而不能兼容2D应用。
如果能够在头戴显示设备上兼容2D应用无疑会大大丰富头戴显示设备的内容，然而头戴显示设备在使用时，需要佩戴到用户头部，显示屏被包裹在头戴显示设备内部，手指和显示屏相对分离，所以用户无法像通过物理鼠标操作PC机或通过触摸屏控制手机那样控制头戴显示设备。
以上可见，现有的头戴显示设备中缺乏便捷有效的用户控制方式，制约了2D应用在头戴显示设备上的发展。
发明内容
本发明提供了一种虚拟鼠标的控制方法、控制装置以及头戴显示设备，以解决现有的头戴显示设备中缺乏便捷有效的用户控制方式，制约了2D应用在头戴显示设备上发展的问题。
根据本发明的一个方面，提供了一种虚拟鼠标的控制方法，该方法包括：
利用设置在头戴显示设备中的传感器，采集用户的头部运动数据；
对采集到的头部运动数据进行计算，得到对应头戴显示设备的显示屏幕所在坐标系的二维坐标值；
根据得到的二维坐标值，控制头戴显示设备的虚拟鼠标在显示屏幕上执行相应的鼠标移动操作。
可选地，头戴显示设备上还设置有按键，该方法进一步包括：接收用户通过按键输入的单击控制信号或双击控制信号；
根据单击控制信号或双击控制信号，控制头戴显示设备的虚拟鼠标执行相应的鼠标确认操作。
可选地，利用设置在头戴显示设备中的传感器采集用户的头部运动数据包括：
利用设置在头戴显示设备中的三轴重力传感器、三轴陀螺仪采集得到用户头部运动的六轴数据；
或者，利用设置在头戴显示设备中的三轴重力传感器、三轴陀螺仪以及三轴地磁传感器采集得到用户头部运动的九轴数据。
可选地，对采集到的头部运动数据进行计算，得到对应头戴显示设备的显示屏幕所在坐标系的二维坐标值包括：
利用滤波算法对采集到的九轴数据或者六轴数据进行滤波处理得到对应的四元数，
利用四元数计算坐标偏移量；
根据虚拟鼠标在坐标系上预设的初始坐标值，以及坐标偏移量，计算得到九轴数据或者六轴数据对应的二维坐标值。
可选地，头戴显示设备启动后，在设定的初始坐标值对应显示屏幕的位置显示虚拟鼠标，根据得到的二维坐标值，控制头戴显示设备的虚拟鼠标在显示屏幕上执行相应的鼠标移动操作包括：
当根据用户的头部运动数据计算得到对应头戴显示设备的显示屏幕所在坐标系的二维坐标值时，控制头戴显示设备的虚拟鼠标在显示屏幕上，从初始坐标值对应的位置移动到该二维坐标值对应的位置，实现虚拟鼠标的移动。
根据本发明的另一个方面，提供了一种虚拟鼠标的控制装置，该装置包括：
数据采集单元，用于利用设置在头戴显示设备中的传感器，采集用户的头部运动数据，将头部运动数据发送给坐标值计算单元；
坐标值计算单元，用于对采集到的头部运动数据进行计算，得到对应头戴显示设备的显示屏幕所在坐标系的二维坐标值，将二维坐标值发送给虚拟鼠标控制单元；
虚拟鼠标控制单元，用于根据得到的二维坐标值，控制头戴显示设备的虚拟鼠标在显示屏幕上执行相应的鼠标移动操作。
可选地，该装置进一步包括：按键单元，
按键单元，用于接收用户通过按键输入的单击控制信号或双击控制信号并将单击或双击控制信号发送给虚拟鼠标控制单元；
虚拟鼠标控制单元还用于，根据单击控制信号或双击控制信号，控制头戴显示设备的虚拟鼠标执行相应的鼠标确认操作。
可选地，数据采集单元，具体用于利用设置在头戴显示设备中的三轴重力传感器、三轴陀螺仪采集得到用户头部运动的六轴数据；或者，用于利用设置在头戴显示设备中的三轴重力传感器、三轴陀螺仪以及三轴地磁传感器采集得到用户头部运动的九轴数据。
可选地，坐标值计算单元，具体用于利用滤波算法对采集到的九轴数据或者六轴数据进行滤波处理得到对应的四元数，利用四元数计算坐标偏移量，根据虚拟鼠标在坐标系上预设的初始坐标值，以及坐标偏移量，计算得到九轴数据或者六轴数据对应的二维坐标值。
根据本发明的又一个方面，还提供了一种头戴显示设备，该头戴显示设备包括：如本发明前述的虚拟鼠标的控制装置。
本发明的有益效果是：本发明的虚拟鼠标控制方法和控制装置通过利用头戴显示设备内置的传感器采集用户的头部运动数据，将得到的头部运动数据转换为对应显示屏幕上的二维坐标值，并基于二维坐标值控制虚拟鼠标移动，从而实现了一种利用用户头部运动控制虚拟鼠标的便捷控制方式，由于头戴显示设备使用时需要佩戴到用户头部，这样在使用过程中用户只需转动头部即可控制虚拟鼠标跟踪该头部运动并移动到相应的位置，从而方便了在头戴显示设备上兼容2D游戏等2D应用，大大丰富了头戴显示设备内容。另外，本发明实施例还提供了一种头戴显示设备，该头戴显示设备能够根据用户的头部运动控制虚拟鼠标，从而方便了兼容2D应用。与现有的头戴显示设备相比，控制方式更简单，兼容的内容更丰富，提高了产品的竞争力。
附图说明
图1是本发明的一个实施例的一种虚拟鼠标的控制方法的流程示意图；
图2是本发明另一个实施例的一种虚拟鼠标的控制方法的示意图；
图3是本发明一个实施例的一种虚拟鼠标的控制装置的结构框图；
图4是本发明一个实施例的一种头戴显示设备的结构框图。
具体实施方式
本发明的核心思想是：针对现有的头戴显示设备中，缺乏便捷有效的用户交互控制方式，制约了2D应用在头戴显示设备发展的问题。本发明考虑到头戴显示设备需要佩戴到用户头部的特点，提出了一种利用用户头部运动控制虚拟鼠标的方法，头戴显示设备的系统虚拟一个使用传感器控制的鼠标，然后利用传感器采集用户头部运动数据，并根据头部运动数据计算得到的二维坐标值控制虚拟鼠标的移动位置，再配合头戴显示设备的物理按键完成鼠标的点击确认等操控。如此，省略了在头戴显示设备上外接物理鼠标带来的操作不便，提升了用户使用体验。并且，由于采用头部运动控制虚拟鼠标的方式，也便捷了在头戴显示设备中兼容2D应用，丰富了头戴显示设备的内容。
以下实施例中以头戴显示设备中对虚拟鼠标的控制方法进行示意性说明，可以理解，本实施例的虚拟鼠标的控制方法不限于应用到这里的头戴显示设备，还可以应用到头戴式虚拟现实设备和头戴式增强现实设备，对此不作限制。
实施例一
图1是本发明的一个实施例的一种虚拟鼠标的控制方法的流程示意图，参见图1，该方法包括如下步骤：
步骤S11，利用设置在头戴显示设备中的传感器，采集用户的头部运动数据；
步骤S12，对采集到的头部运动数据进行计算，得到对应头戴显示设备的显示屏幕所在坐标系的二维坐标值；
步骤S13，根据得到的二维坐标值，控制头戴显示设备的虚拟鼠标在显示屏幕上执行相应的鼠标移动操作。本实施例的虚拟鼠标是相对于头戴显示设备外接的物理鼠标而言的。
由图1所示的方法可知，本实施例通过采集用户的头部运动数据，并将该头部运动数据转换为与显示屏幕对应的二维坐标值，并根据该二维坐标值控制头戴显示设备的虚拟鼠标移动到二维坐标值对应的显示屏幕位置，从而方便了用户在使用头戴显示设备玩2D游戏等2D应用时，只需要转动头部即可控制显示画面上虚拟鼠标的移动，大大提升了用户使用体验。
实施例二
图2是本发明另一个实施例的一种虚拟鼠标的控制方法的示意图，参见图2，本实施例的这种虚拟鼠标的控制方法是基于Android平台实现的，即该头戴显示设备安装了安卓Android操作系统，并且设置有传感器以及物理按键。
当头戴显示设备的系统开机启动后，系统首先控制在预设的初始坐标值对应显示屏幕的位置显示虚拟鼠标(如显示一个鼠标指针)，然后当佩戴该设备的用户转动头部时，传感器实时采集数据；
参见图2，步骤2.1，驱动层(Kernel)的驱动应用程序从头戴显示设备的九轴传感器中采集数据，得到用户头部运动的九轴数据，然后通过接口将该九轴数据上传给硬件抽象层；
为了保证采集到的用户头部运动数据更加精确，进而保证得到准确的二维坐标值，本实施例中头戴显示设备设置了三轴重力传感器(采集三轴线性加速度数据)、三轴陀螺仪(采集三轴角速度数据)以及三轴地磁传感器(三轴角度数据)，采集用户头部运动的九轴数据。需要说明的是，在本发明的其他实施例中，也可以只设置三轴重力传感器、三轴陀螺仪，采集用户头部运动的六轴数据，而不设置地磁传感器，对此不作限制。地磁传感器是利用被测物体在地磁场中的运动状态不同，通过感应地磁场的分布变化而指示被测物体的姿态和运动角度等信息的传感器。
参见图2，步骤2.2，硬件抽象层(HardwareAbstractionLayer,HAL)做算法实现，将采集到的九轴数据转换为对应显示屏幕所在平面为坐标系(XOY)的二维坐标值；
其中，数据转换算法具体为，利用滤波算法(如卡尔曼滤波算法)对采集到的九轴数据进行滤波处理得到对应的四元数，利用四元数计算坐标偏移量；根据虚拟鼠标在屏幕坐标系上预设的初始坐标值，以及坐标偏移量，计算得到九轴数据或者六轴数据对应的二维坐标值。其中，四元数是简单的超复数。四元数都是由实数加上三个虚数单位i、j、k组成，i、j、k的几何意义可以理解为一种旋转，其中i旋转代表X轴与Y轴相交平面中X轴正向向Y轴正向的旋转，j旋转代表Z轴与X轴相交平面中Z轴正向向X轴正向的旋转，k旋转代表Y轴与Z轴相交平面中Y轴正向向Z轴正向的旋转，-i、-j、-k分别代表i、j、k旋转的反向旋转。
即，数据转换算法的流程简写为：九轴数据→通过滤波算法→四元数(x,y,z,w)→取四元数的(x*cos(w),y*cos(w))作为对应显示屏幕的坐标偏移量→根据初始坐标值以及坐标偏移量，得出虚拟鼠标应当移动到的二维坐标值(X,Y)。
需要说明的是，如何将采集的九轴数据转换为对应的二维坐标值不是本发明的重点，并且为现有技术内容，具体实施时可以参考现有技术中算法的详细计算步骤，这里不再赘述。
在得到虚拟鼠标应当移动到的对应显示屏幕的二维坐标值后，系统控制头戴显示设备的虚拟鼠标的指针在显示屏幕上，从初始坐标值对应的位置移动到该二维坐标值对应的位置，实现虚拟鼠标的移动。接着配合捕获的按键控制信号，对该虚拟鼠标移动进行确认。
具体的，按键控制信号可以是用户输入的单击控制信号或双击控制信号，并根据单击控制信号或双击控制信号，控制头戴显示设备的虚拟鼠标执行相应的鼠标确认操作。例如，当系统收到用户输入的单击按键的控制信号时，控制选中虚拟鼠标指针指向的对象，当系统收到用户输入的双击按键的控制信号时，控制打开虚拟鼠标指针指向的对象。
参见图2，步骤2.3，硬件抽象层经安卓系统的鼠标接口将二维坐标值上报到框架层的输入管理器(InputManager)，输入管理器通知显示屏幕上二维(即2D)坐标值对应的应用，将鼠标移动和确认事件分发给应用层的具体应用。
步骤2.4，安卓应用在收到输入管理器发送的鼠标移动和确认事件后，不需要关心是否为虚拟鼠标，只需要响应该鼠标事件即可。
本实施例的这种虚拟鼠标的控制方法对应的一个具体应用场景为：头戴显示设备启动后再显示屏幕上显示桌面图标，然后检测到头部的运动(硬件抽象层对头部运动数据实时运算，得到二维坐标值)，根据头部运动选中一个应用图标(硬件抽象层将二维坐标值上传到框架层，框架层控制虚拟鼠标指针指向二维坐标值对应的应用图标)，接下来，当检测到用户按下头戴显示设备上的按键时，硬件抽象层将该鼠标确认操作通知给应用层应用图标对应的应用，最后打开并进入选中的应用。
实施例三
图3是本发明一个实施例的一种虚拟鼠标的控制装置的结构框图，参见图3，本实施例中的虚拟鼠标的控制装置30包括：
数据采集单元301，用于利用设置在头戴显示设备中的传感器，采集用户的头部运动数据，将头部运动数据发送给坐标值计算单元302；
坐标值计算单元302，用于对采集到的头部运动数据进行计算，得到对应头戴显示设备的显示屏幕所在坐标系的二维坐标值，将二维坐标值发送给虚拟鼠标控制单元303；
虚拟鼠标控制单元303，用于根据得到的二维坐标值，控制头戴显示设备的虚拟鼠标在显示屏幕上执行相应的鼠标移动操作。
在本发明的另一个实施例中，该装置进一步包括：按键单元，
按键单元，用于接收用户通过按键输入的单击控制信号或双击控制信号并将单击或双击控制信号发送给虚拟鼠标控制单元；
虚拟鼠标控制单元还用于，根据单击控制信号或双击控制信号，控制头戴显示设备的虚拟鼠标执行相应的鼠标确认操作。
在本发明的另一个实施例中，数据采集单元，具体用于利用设置在头戴显示设备中的三轴重力传感器、三轴陀螺仪采集得到用户头部运动的六轴数据；或者，利用设置在头戴显示设备中的三轴重力传感器、三轴陀螺仪以及三轴地磁传感器采集得到用户头部运动的九轴数据。
在本发明的另一个实施例中，坐标值计算单元，具体用于利用滤波算法对采集到的九轴数据或者六轴数据进行滤波处理得到对应的四元数，以及利用四元数计算坐标偏移量，根据虚拟鼠标在坐标系上预设的初始坐标值，以及坐标偏移量，计算得到九轴数据或者六轴数据对应的二维坐标值。
需要说明的是，本发明的这种虚拟鼠标的控制装置的工作过程是和前面描述的虚拟鼠标的控制方法的实现步骤对应的，具体的虚拟鼠标的控制装置的工作过程请参见前述虚拟鼠标的控制方法部分的相关内容说明，在此不再赘述。
实施例四
图4是本发明一个实施例的一种头戴显示设备的结构框图，参见图4，本实施例中的头戴显示设备包括：虚拟鼠标的控制装置401，该虚拟鼠标的控制装置401能够根据头戴显示设备内安装的传感器采集用户的头部运动数据，并对采集到的头部运动数据进行计算，得到对应头戴显示设备的显示屏幕所在坐标系的二维坐标值；然后根据得到的二维坐标值，控制头戴显示设备的虚拟鼠标在显示屏幕上执行相应的鼠标移动操作。
由此，与现有的头戴显示设备相比，本实施例的头戴显示设备提供了一种根据用户的头部运动控制虚拟鼠标的移动的控制方式，不需要外接物理鼠标，方便了用户操作，也使得头戴显示设备中能够兼容2D游戏等2D应用，丰富了头戴显示设备的内容，提高了头戴显示设备的竞争力。
综上可知，本发明的技术方案考虑到头戴显示设备需要佩戴到用户头部的特点，提出了一种利用用户头部运动控制虚拟鼠标的控制方式，头戴显示设备的系统虚拟一个使用传感器控制的鼠标，然后利用传感器采集用户头部运动数据，并根据头部运动数据计算得到的二维坐标值控制虚拟鼠标的移动位置，再配合头戴显示设备的物理按键完成鼠标的点击确认等操控。如此，省略了在头戴显示设备上外接物理鼠标带来的操作不便，提升了用户使用体验。此外，由于采用头部运动控制虚拟鼠标的用户交互方式，从而便捷了在头戴显示设备中兼容2D应用，丰富了头戴显示设备的内容，提高了产品的竞争力。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种虚拟鼠标的控制方法，其特征在于，该方法包括：
利用设置在头戴显示设备中的传感器，采集用户的头部运动数据；
对采集到的所述头部运动数据进行计算，得到对应所述头戴显示设备的显示屏幕所在坐标系的二维坐标值；
根据得到的所述二维坐标值，控制头戴显示设备的虚拟鼠标在所述显示屏幕上执行相应的鼠标移动操作。
2.根据权利要求1所述的方法，其特征在于，所述头戴显示设备上还设置有按键，该方法进一步包括：接收用户通过所述按键输入的单击控制信号或双击控制信号；
根据所述单击控制信号或双击控制信号，控制头戴显示设备的虚拟鼠标执行相应的鼠标确认操作。
3.根据权利要求1或2所述的方法，其特征在于，所述利用设置在头戴显示设备中的传感器采集用户的头部运动数据包括：
利用设置在头戴显示设备中的三轴重力传感器、三轴陀螺仪采集得到用户头部运动的六轴数据；
或者，利用设置在头戴显示设备中的三轴重力传感器、三轴陀螺仪以及三轴地磁传感器采集得到用户头部运动的九轴数据。
4.根据权利要求3所述的方法，其特征在于，所述对采集到的头部运动数据进行计算，得到对应所述头戴显示设备的显示屏幕所在坐标系的二维坐标值包括：
利用滤波算法对采集到的所述九轴数据或者所述六轴数据进行滤波处理得到对应的四元数，
利用所述四元数计算坐标偏移量；
根据虚拟鼠标在所述坐标系上预设的初始坐标值，以及所述坐标偏移量，计算得到所述九轴数据或者所述六轴数据对应的二维坐标值。
5.根据权利要求4所述的方法，其特征在于，所述头戴显示设备启动后，在设定的初始坐标值对应显示屏幕的位置显示虚拟鼠标，所述根据得到的所述二维坐标值，控制头戴显示设备的虚拟鼠标在所述显示屏幕上执行相应的鼠标移动操作包括：
当根据用户的头部运动数据计算得到对应所述头戴显示设备的显示屏幕所在坐标系的二维坐标值时，控制头戴显示设备的虚拟鼠标在显示屏幕上，从所述初始坐标值对应的位置移动到该二维坐标值对应的位置，实现虚拟鼠标的移动。
6.一种虚拟鼠标的控制装置，其特征在于，该装置包括：
数据采集单元，用于利用设置在头戴显示设备中的传感器，采集用户的头部运动数据，将头部运动数据发送给坐标值计算单元；
所述坐标值计算单元，用于对采集到的头部运动数据进行计算，得到对应所述头戴显示设备的显示屏幕所在坐标系的二维坐标值，将所述二维坐标值发送给虚拟鼠标控制单元；
所述虚拟鼠标控制单元，用于根据得到的所述二维坐标值，控制头戴显示设备的虚拟鼠标在所述显示屏幕上执行相应的鼠标移动操作。
7.根据权利要求6所述的装置，其特征在于，该装置进一步包括：按键单元，
所述按键单元，用于接收用户通过所述按键输入的单击控制信号或双击控制信号并将所述单击或双击控制信号发送给所述虚拟鼠标控制单元；
所述虚拟鼠标控制单元还用于，根据所述单击控制信号或双击控制信号，控制头戴显示设备的虚拟鼠标执行相应的鼠标确认操作。
8.根据权利要求6或7所述的装置，其特征在于，
所述数据采集单元，具体用于利用设置在头戴显示设备中的三轴重力传感器、三轴陀螺仪采集得到用户头部运动的六轴数据；或者，用于利用设置在头戴显示设备中的三轴重力传感器、三轴陀螺仪以及三轴地磁传感器采集得到用户头部运动的九轴数据。
9.根据权利要求8所述的装置，其特征在于，
所述坐标值计算单元，具体用于利用滤波算法对采集到的所述九轴数据或者所述六轴数据进行滤波处理得到对应的四元数，利用所述四元数计算坐标偏移量，根据虚拟鼠标在所述坐标系上预设的初始坐标值，以及所述坐标偏移量，计算得到所述九轴数据或者所述六轴数据对应的二维坐标值。
10.一种头戴显示设备，其特征在于，该头戴显示设备包括：如权利要求6至8中任一项所述的虚拟鼠标的控制装置。
CN201610101873.0A 2016-02-24 2016-02-24 虚拟鼠标的控制方法、控制装置以及头戴显示设备 Pending CN105807915A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610101873.0A CN105807915A (zh) 2016-02-24 2016-02-24 虚拟鼠标的控制方法、控制装置以及头戴显示设备
US15/342,667 US10289214B2 (en) 2016-02-24 2016-11-03 Method and device of controlling virtual mouse and head-mounted displaying device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610101873.0A CN105807915A (zh) 2016-02-24 2016-02-24 虚拟鼠标的控制方法、控制装置以及头戴显示设备

Publications (1)

Publication Number Publication Date
CN105807915A true CN105807915A (zh) 2016-07-27

Family

ID=56466294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610101873.0A Pending CN105807915A (zh) 2016-02-24 2016-02-24 虚拟鼠标的控制方法、控制装置以及头戴显示设备

Country Status (2)

Country Link
US (1) US10289214B2 (zh)
CN (1) CN105807915A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106648047A (zh) * 2016-09-14 2017-05-10 歌尔科技有限公司 用于虚拟现实设备的焦点定位方法、装置及虚拟现实设备
CN106843527A (zh) * 2017-01-20 2017-06-13 广州魅视电子科技有限公司 分布式kvm坐席协作管理系统
CN107959845A (zh) * 2017-11-13 2018-04-24 北京小鸟看看科技有限公司 图像数据传输的方法、装置、客户端装置及头戴显示设备
CN108389372A (zh) * 2018-02-12 2018-08-10 四川斐讯信息技术有限公司 一种头颈健康管理方法及系统
CN110221688A (zh) * 2019-05-06 2019-09-10 阿里巴巴集团控股有限公司 可穿戴设备、鼠标的控制方法及装置
CN110413120A (zh) * 2019-07-26 2019-11-05 武汉理工大学 一种头戴式鼠标
CN111580669A (zh) * 2020-05-12 2020-08-25 南京睿悦信息技术有限公司 虚拟现实和增强现实移动端平面应用的交互方法和装置
CN112947771A (zh) * 2021-01-11 2021-06-11 上海龙旗科技股份有限公司 一种实现空间轨迹输入的方法、装置及设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT201700112053A1 (it) * 2017-10-05 2019-04-05 Giovanni Saggio Sistema e metodo per usare la testa a fini di controllo e comando
CN108198246A (zh) * 2017-12-28 2018-06-22 重庆创通联达智能技术有限公司 一种显示三维图像的旋转控制方法和装置
CN110806796A (zh) * 2018-07-20 2020-02-18 北京君正集成电路股份有限公司 一种控制方法和装置
CN110806797A (zh) * 2018-07-20 2020-02-18 北京君正集成电路股份有限公司 一种基于头部运动对游戏进行控制的方法和装置
CN113282222B (zh) * 2021-04-23 2024-03-29 海南视联通信技术有限公司 一种光标控制方法和装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156537A (zh) * 2010-02-11 2011-08-17 三星电子株式会社 一种头部姿态检测设备及方法
CN102192740A (zh) * 2010-03-05 2011-09-21 精工爱普生株式会社 姿势信息计算装置、姿势信息计算系统及姿势信息计算法
CN102282527A (zh) * 2008-11-21 2011-12-14 伦敦健康科学中心研究公司 无手动指示器系统
CN203276168U (zh) * 2013-05-14 2013-11-06 上海理工大学 一种头戴式无线鼠标装置
CN103977539A (zh) * 2014-05-14 2014-08-13 首都医科大学 颈椎康复保健辅助训练系统
CN204576420U (zh) * 2015-04-29 2015-08-19 尼莫·图克 头戴式鼠标系统
CN104866105A (zh) * 2015-06-03 2015-08-26 深圳市智帽科技开发有限公司 头显设备的眼动和头动交互方法
CN105116544A (zh) * 2015-05-25 2015-12-02 谢培树 头操作的电子眼镜
CN105204642A (zh) * 2015-09-24 2015-12-30 小米科技有限责任公司 虚拟现实交互画面的调节方法和装置
CN105224064A (zh) * 2014-05-26 2016-01-06 吴玮玮 一种获取用户在鼠标操作中人体运动数据的方法与设备
CN105283825A (zh) * 2013-05-22 2016-01-27 微软技术许可有限责任公司 增强现实对象的身体锁定放置
CN105302404A (zh) * 2014-07-25 2016-02-03 深圳Tcl新技术有限公司 鼠标指针快速移动的方法及系统
CN105320820A (zh) * 2015-12-02 2016-02-10 上海航空电器有限公司 基于沉浸式虚拟现实平台的快速座舱设计系统及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7710395B2 (en) * 2004-07-14 2010-05-04 Alken, Inc. Head-mounted pointing and control device
US8970692B2 (en) * 2011-09-01 2015-03-03 Industrial Technology Research Institute Head mount personal computer and interactive system using the same
US8947323B1 (en) * 2012-03-20 2015-02-03 Hayes Solos Raffle Content display methods
US20150062164A1 (en) * 2013-09-05 2015-03-05 Seiko Epson Corporation Head mounted display, method of controlling head mounted display, computer program, image display system, and information processing apparatus
US10585478B2 (en) * 2013-09-13 2020-03-10 Nod, Inc. Methods and systems for integrating one or more gestural controllers into a head mounted wearable display or other wearable devices
US9588598B2 (en) * 2015-06-30 2017-03-07 Ariadne's Thread (Usa), Inc. Efficient orientation estimation system using magnetic, angular rate, and gravity sensors
US10026212B2 (en) * 2015-11-20 2018-07-17 Google Llc Electronic display stabilization using pixel velocities

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102282527A (zh) * 2008-11-21 2011-12-14 伦敦健康科学中心研究公司 无手动指示器系统
CN102156537A (zh) * 2010-02-11 2011-08-17 三星电子株式会社 一种头部姿态检测设备及方法
CN102192740A (zh) * 2010-03-05 2011-09-21 精工爱普生株式会社 姿势信息计算装置、姿势信息计算系统及姿势信息计算法
CN203276168U (zh) * 2013-05-14 2013-11-06 上海理工大学 一种头戴式无线鼠标装置
CN105283825A (zh) * 2013-05-22 2016-01-27 微软技术许可有限责任公司 增强现实对象的身体锁定放置
CN103977539A (zh) * 2014-05-14 2014-08-13 首都医科大学 颈椎康复保健辅助训练系统
CN105224064A (zh) * 2014-05-26 2016-01-06 吴玮玮 一种获取用户在鼠标操作中人体运动数据的方法与设备
CN105302404A (zh) * 2014-07-25 2016-02-03 深圳Tcl新技术有限公司 鼠标指针快速移动的方法及系统
CN204576420U (zh) * 2015-04-29 2015-08-19 尼莫·图克 头戴式鼠标系统
CN105116544A (zh) * 2015-05-25 2015-12-02 谢培树 头操作的电子眼镜
CN104866105A (zh) * 2015-06-03 2015-08-26 深圳市智帽科技开发有限公司 头显设备的眼动和头动交互方法
CN105204642A (zh) * 2015-09-24 2015-12-30 小米科技有限责任公司 虚拟现实交互画面的调节方法和装置
CN105320820A (zh) * 2015-12-02 2016-02-10 上海航空电器有限公司 基于沉浸式虚拟现实平台的快速座舱设计系统及方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106648047A (zh) * 2016-09-14 2017-05-10 歌尔科技有限公司 用于虚拟现实设备的焦点定位方法、装置及虚拟现实设备
CN106843527A (zh) * 2017-01-20 2017-06-13 广州魅视电子科技有限公司 分布式kvm坐席协作管理系统
CN107959845A (zh) * 2017-11-13 2018-04-24 北京小鸟看看科技有限公司 图像数据传输的方法、装置、客户端装置及头戴显示设备
CN107959845B (zh) * 2017-11-13 2020-09-08 北京小鸟看看科技有限公司 图像数据传输的方法、装置、客户端装置及头戴显示设备
CN108389372A (zh) * 2018-02-12 2018-08-10 四川斐讯信息技术有限公司 一种头颈健康管理方法及系统
CN110221688A (zh) * 2019-05-06 2019-09-10 阿里巴巴集团控股有限公司 可穿戴设备、鼠标的控制方法及装置
CN110221688B (zh) * 2019-05-06 2022-04-26 创新先进技术有限公司 可穿戴设备、鼠标的控制方法及装置
CN110413120A (zh) * 2019-07-26 2019-11-05 武汉理工大学 一种头戴式鼠标
CN111580669A (zh) * 2020-05-12 2020-08-25 南京睿悦信息技术有限公司 虚拟现实和增强现实移动端平面应用的交互方法和装置
CN112947771A (zh) * 2021-01-11 2021-06-11 上海龙旗科技股份有限公司 一种实现空间轨迹输入的方法、装置及设备

Also Published As

Publication number Publication date
US20170242495A1 (en) 2017-08-24
US10289214B2 (en) 2019-05-14

Similar Documents

Publication Publication Date Title
CN105807915A (zh) 虚拟鼠标的控制方法、控制装置以及头戴显示设备
KR101546654B1 (ko) 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치
Satriadi et al. Augmented reality map navigation with freehand gestures
US9436369B2 (en) Touch interface for precise rotation of an object
WO2012039140A1 (ja) 操作入力装置および方法ならびにプログラム
CN108427595B (zh) 虚拟现实中用户界面控件显示位置的确定方法及装置
Telkenaroglu et al. Dual-finger 3d interaction techniques for mobile devices
US20140022171A1 (en) System and method for controlling an external system using a remote device with a depth sensor
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
CN104081307A (zh) 图像处理装置、图像处理方法和程序
US9310851B2 (en) Three-dimensional (3D) human-computer interaction system using computer mouse as a 3D pointing device and an operation method thereof
CN114529691A (zh) 一种窗口控制方法、电子设备及计算机可读存储介质
Pandit et al. A simple wearable hand gesture recognition device using iMEMS
CN110717993B (zh) 一种分体式ar眼镜系统的交互方法、系统及介质
JP5658286B2 (ja) ３次元仮想環境におけるオブジェクトの動きの制御方法
Chen et al. An integrated framework for universal motion control
CN109643182A (zh) 信息处理方法、装置、云处理设备及计算机程序产品
Babic et al. Understanding and creating spatial interactions with distant displays enabled by unmodified off-the-shelf smartphones
WO2014014461A1 (en) System and method for controlling an external system using a remote device with a depth sensor
Olwal et al. Unit-A Modular Framework for Interaction Technique Design, Development and Implementation
EP4307090A1 (en) An information processing apparatus, method, computer program and system
CN111580734A (zh) 控制方法、装置、眼镜及存储介质
McDonald Using Image-Based Tracking for Smartphone-Based Interaction in Virtual Reality
CN117453037A (zh) 交互方法、头显设备、电子设备及可读存储介质
CN116301330A (zh) 一种实现mr交互的方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160727