CN108614637A - 智能终端及其感控方法、具有存储功能的装置 - Google Patents

智能终端及其感控方法、具有存储功能的装置 Download PDF

Info

Publication number
CN108614637A
CN108614637A CN201810170954.5A CN201810170954A CN108614637A CN 108614637 A CN108614637 A CN 108614637A CN 201810170954 A CN201810170954 A CN 201810170954A CN 108614637 A CN108614637 A CN 108614637A
Authority
CN
China
Prior art keywords
intelligent terminal
user
virtual reality
control method
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810170954.5A
Other languages
English (en)
Inventor
王凯迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huizhou TCL Mobile Communication Co Ltd
Original Assignee
Huizhou TCL Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huizhou TCL Mobile Communication Co Ltd filed Critical Huizhou TCL Mobile Communication Co Ltd
Priority to CN201810170954.5A priority Critical patent/CN108614637A/zh
Publication of CN108614637A publication Critical patent/CN108614637A/zh
Priority to PCT/CN2019/076648 priority patent/WO2019166005A1/zh
Priority to US16/976,773 priority patent/US20210041942A1/en
Priority to EP19761491.0A priority patent/EP3761154A4/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种智能终端及其感控方法、具有存储功能的装置，该感控方法包括：利用佩戴在用户头部的智能终端显示虚拟现实场景；获取智能终端的位姿数据；根据位姿数据确定用户的视线与虚拟现实场景的交点；针对虚拟现实场景中的处于交点位置处的显示内容执行相应的操作。通过本申请的感控方法可以更直观、灵活地对虚拟现实场景中的显示内容进行操作，提高了虚拟现实场景中用户操作的便捷性。

Description

智能终端及其感控方法、具有存储功能的装置
技术领域
本申请涉及虚拟现实领域，特别是涉及一种智能终端及其感控方法、具有存储功能的装置。
背景技术
虚拟现实(VR)技术是一种可以创建和体验虚拟世界的计算机仿真系统。它利用计算机模拟产生一个三维的虚拟世界，提供用户关于视觉、听觉、触觉等感官的模拟，让用户身临其境。虚拟现实通常需要头戴式显示器，当然，智能终端也可以通过外设来实现虚拟现实体验，如Google Cardboard以及三星Gear VR等等。
通常需要安装特定的VR应用，同时也需要相应的蓝牙外设来控制设备。由于智能终端上的应用，比如播放器、图库是为触摸屏幕的操作方式而设计的；当使用蓝牙外设进行控制时，有时需要左右移动很多次才能选中某个应用程序图标进行控制；有的界面没有设计应用程序图标获得焦点的状态，导致用户不知道焦点当前移动的位置而无法操作。
发明内容
本申请主要解决的技术问题是提供一种智能终端及其感控方法、具有存储功能的装置，通过该感控方法可以更直观、灵活地对虚拟现实场景中的显示内容进行操作，提高了虚拟现实场景中用户操作的便捷性。
为解决上述技术问题，本申请采用的第一个技术方案是：提供一种基于虚拟现实的感控方法，所述感控方法包括：利用佩戴在用户头部的智能终端显示虚拟现实场景；获取所述智能终端的位姿数据；根据所述位姿数据确定所述用户的视线与所述虚拟现实场景的交点；针对所述虚拟现实场景中的处于所述交点位置处的显示内容执行相应的操作。
为解决上述技术问题，本申请采用的第二个技术方案是：提供一种智能终端，所述智能终端包括处理器以及与所述处理器耦接的存储器；所述存储器上存储有所述处理器执行的程序指令以及所述处理器执行所述程序指令时所产生的中间数据；所述处理器在执行所述程序指令，能够实现本申请所述的感控方法。
为解决上述技术问题，本申请采用的第三个技术方案是：提供一种具有存储功能的装置，其上存储有程序指令，所述程序指令能够被执行以实现本申请所述的感控方法。
本申请的有益效果是：区别于现有技术，本申请基于虚拟现实的感控方法包括：利用佩戴在用户头部的智能终端显示虚拟现实场景；获取智能终端的位姿数据；根据位姿数据确定用户的视线与虚拟现实场景的交点；针对虚拟现实场景中的处于交点位置处的显示内容执行相应的操作。本申请的感控方法通过智能终端的位姿数据确定用户视线的方向，由此计算确定用户的视线方向与虚拟现实场景的交点位置，并对该交点位置处的显示内容执行相应的操作。结合人体头部的运动特征，更直观、灵活地对虚拟现实场景中显示内容进行操作，提高了虚拟现实场景中用户操作的便捷性。
附图说明
图1是本申请基于虚拟现实的感控方法一实施方式的流程示意图；
图2是本申请基于虚拟现实的感控方法一具体实施方式的流程示意图；
图3是本申请智能终端一实施方式的结构示意图；
图4是本申请具有存储功能的装置一实施方式的结构示意图。
具体实施方式
本申请提供一种智能终端及其感控方法、具有存储功能的装置，为使本申请的目的、技术方案和技术效果更加明确、清楚，以下对本申请进一步详细说明，应当理解此处所描述的具体实施条例仅用于解释本申请，并不用于限定本申请。
参阅图1，图1是本申请基于虚拟现实的感控方法一实施方式的流程示意图。在本实施方式中，该感控方法包括：
步骤101：利用佩戴在用户头部的智能终端显示虚拟现实场景。
在一个具体的应用场景中，智能终端设置在一VR眼镜内，用户佩戴该VR眼镜后可体验虚拟现实场景。
其中，智能终端可以为智能手机。
在本实施方式中，智能终端利用佩戴在用户头部的智能终端显示虚拟现实场景。
步骤102：获取智能终端的位姿数据。
在本实施方式中，当用户的视线发生变化时，用户的头部会跟随用户的视线方向发生相应地运动，进而会带动佩戴在用户头部的智能终端同步运动，例如，用户的头部转动或平移时智能终端也会同步转动或平移。
因此，可以根据智能终端的位姿数据确定用户的视线。智能终端获取智能终端的位姿数据。其中，位姿数据为位置数据和姿态数据的至少一种或组合。
具体地，智能终端通过位置传感器和/或运动传感器获取智能终端的位姿数据。运动传感器包括陀螺仪、加速度计和重力感应器，主要用于监测智能终端的运动，例如，倾斜和摇摆；位置传感器包括地磁场传感器，主要用于监测智能终端的位置，即，智能终端相对于世界坐标系的位置。
在一个具体的应用场景中，当用户的视角发生改变后，智能终端所显示的虚拟现实场景也会相应的发生改变，以增强用户的虚拟现实体验。具体而言，根据智能终端的位姿数据调整虚拟现实场景。例如，用户的视角向右移动时，虚拟现实场景便相应地向左移动；用户的视角向左移动时，虚拟现实场景便相应地向右移动。
步骤103：根据位姿数据确定用户的视线与虚拟现实场景的交点。
在其中的一个实施方式中，智能终端确定智能终端佩戴在用户头部时用户的视线与智能终端的预设参考方向之间的变换关系，并根据智能终端的位姿数据确定智能终端的预设参考方向的位姿描述，根据该预设参考方向的位姿描述和变换关系，确定用户的视线的位姿描述，并根据用户的视线的位姿描述确定用户的视线与虚拟现实场景的交点。
其中，智能终端的预设参考方向为预先定义的方向，可以根据实际情况设计。在其中的一个实施方式中，以智能终端显示屏幕所在的方向为预设参考方向，当然也可以以与智能终端显示屏幕所在的方向垂直的方向为预设参考方向。
在预设参考方向确定了之后，智能终端根据智能终端的位姿数据确定智能终端的预设参考方向的位姿描述，其中，预设参考方向的位姿描述表征智能终端的预设参考方向的平移量或旋转量。例如，当预设参考方向为智能终端显示屏幕所在的方向时，预设参考方向的位姿描述表征智能终端显示屏幕所在的方向的平移量或旋转量。具体地，智能终端将加速度传感器或角速度传感器的检测结果进行时间积分获取智能终端的预设参考方向的位姿描述。
智能终端根据其预设参考方向的位姿描述以及智能终端预设参考方向与用户视线之间的变换关系进而可以确定用户视线的位姿描述，即用户视线的方向。
在另一个实施方式中，智能终端将虚拟现实场景映射到空间模型中，其中空间模型是在世界坐标系下建立的；并根据智能终端的位姿数据计算用户的视线在世界坐标系下的位姿描述；根据位姿描述确定用户的视线与空间模型中的虚拟现实场景的交点。
具体地，智能终端将其传感器初始化，在智能终端接收到显示内容刷新的信号后，智能终端开始绘制显示界面，并读取传感器的初始数据，将虚拟现实场景映射到空间模型中，其中空间模型是在世界坐标系下建立的。并基于传感器的数据调整虚拟现实场景的显示内容，将该显示内容以3D形式显示。
在本实施方式中，智能终端根据旋转矩阵以及智能终端的位姿数据计算用户的视线在世界坐标系下的位姿描述。其中，用户的视线在世界坐标系下的位姿描述反映的是用户的视线在地球或真实环境的视角方向。在其中的一个实施方式中，智能终端为Android系统，智能终端可以依据SensorManager.getRotationMatrix函数计确定用户的视线在世界坐标系下的姿描述。
步骤104：针对虚拟现实场景中的处于交点位置处的显示内容执行相应的操作。
在本实施方式中，智能终端针对虚拟现实场景中的处于交点位置处的显示内容执行相应的操作。
具体地，智能终端依据用户的视线的位姿描述确定用户的视线与虚拟现实场景中显示的内容是否存在交点，并确定该交点是否与虚拟现实场景的图形控件重合；若与图形控件重合，则进一步确定是否接收到触发信号；若接收到触发信号，则向图形控件发出触控操作信号。若未接收到触发信号，则向图形控件发出悬浮操作信号。
其中，图形控件可以为某个应用程序对应的图标。
在一个具体的应用场景中，智能终端设置在一VR眼镜内，VR眼镜设置有至少一物理按键，物理按键设置于智能终端的触控屏幕上，在VR眼镜的物理按键被按下时，物理按键抵压智能终端的触控屏幕；智能终端确定智能终端的触控屏幕是否检测到由物理按键的抵压所产生的触发信号，若接收到触发信号，则向图形控件发出触控操作信号。若未接收到触发信号，则向图形控件发出悬浮操作信号。
下面简要说明一下前述的触控操作和悬浮操作。
用户主要通过触控智能终端的屏幕来操作应用程序，智能终端中有一套完整的机制保证操作事件传递到对应的组件。每个组件可以通过注册回调函数获取对屏幕的操作事件，然后执行相应的操作。在本实施方式中，通过用户的视线与虚拟现实场景的交点来选择待操作的图形控件，再根据VR眼镜的物理按键的状态确定对应的操作。
例如，智能终端为Android系统，操作事件封装在MotionEvent函数中，该函数描述了屏幕操作的动作代码和一系列的坐标值。其中，动作代码表示显示屏幕对应的位置被按下或弹起等引起的状态变化；坐标值描述位置变化以及其他的运动信息。
在本实施方式中，若VR眼镜的物理按键被按下，则表征显示屏幕对应的位置被按下或弹起，智能终端执行触控事件。智能终端确定与用户的视线和虚拟现实场景的交点重合的图形控件的坐标值，进而对图形控件执行触控操作，例如打开图形控件或关闭图形控件。
若VR眼镜的物理按键未被按下，则表征显示屏幕对应的位置未被按下或弹起，则智能终端执行悬浮操作。智能终端确定与用户的视线和虚拟现实场景的交点重合的图形控件的坐标值，进而对图形控件执行悬浮操作，即将图形控件显示为Hover(悬浮)状态。
为了更直观的说明上述实施方式的感控方法，请参阅图2，图2是本申请基于虚拟现实的感控方法一具体实施方式的流程示意图。
步骤201：利用佩戴在用户头部的智能终端显示虚拟现实场景。
其中，本步骤与图1中的步骤101相同，具体请参阅步骤101以及相关的文字描述，在此不再赘述。
步骤202：获取智能终端的位姿数据。
其中，本步骤与图1中的步骤102相同，具体请参阅步骤102以及相关的文字描述，在此不再赘述。
步骤203：根据位姿数据确定用户的视线与虚拟现实场景的交点，并确定交点是否与图形控件重合。
在其中的一个实施方式中，智能终端确定智能终端佩戴在用户头部时用户的视线与智能终端的预设参考方向之间的变换关系，并根据智能终端的位姿数据确定智能终端的预设参考方向的位姿描述，根据该预设参考方向的位姿描述和变换关系，确定用户的视线的位姿描述，并根据用户的视线的位姿描述确定用户的视线与虚拟现实场景的交点。
在另一个实施方式中，智能终端将虚拟现实场景映射到空间模型中，其中空间模型是在世界坐标系下建立的；并根据智能终端的位姿数据计算用户的视线在世界坐标系下的位姿描述；根据位姿描述确定用户的视线与空间模型中的虚拟现实场景的交点。
在用户的视线与虚拟现实场景不存在交点时，执行步骤202。
在用户的视线与虚拟现实场景存在交点时，确定该交点是否与虚拟现实场景的图形控件重合。若该交点与虚拟现实场景的任一图形控件均不重合则执行步骤202，若该交点与虚拟现实场景的任一图形控件重合则执行步骤204。
步骤204：确定智能终端的触控屏幕是否检测到由物理按键的抵压所产生的触发信号。
在本实施方式中，智能终端设置在一VR眼镜内，VR眼镜设置有至少一物理按键，物理按键设置于智能终端的触控屏幕上，在VR眼镜的物理按键被按下时，物理按键抵压智能终端的触控屏幕；智能终端确定智能终端的触控屏幕是否检测到由物理按键的抵压所产生的触发信号，若接收到触发信号，则执行步骤206；若未接收到触发信号，则执行步骤205。
步骤205：向图形控件发出悬浮操作信号。
步骤206：向图形控件发出触控操作信号。
其中，步骤203～步骤206与图1中的步骤103和步骤104相对应，具体请参阅步骤步骤103、步骤104以及相关的文字描述，在此不再赘述。
区别于现有技术，本申请基于虚拟现实的感控方法包括：利用佩戴在用户头部的智能终端显示虚拟现实场景；获取智能终端的位姿数据；根据位姿数据确定用户的视线与虚拟现实场景的交点；针对虚拟现实场景中的处于交点位置处的显示内容执行相应的操作。本申请的感控方法通过智能终端的位姿数据确定用户视线的方向，由此计算确定用户的视线方向与虚拟现实场景的交点位置，并对该交点位置处的显示内容执行相应的操作。结合人体头部的运动特征，更直观、灵活地对虚拟现实场景中的显示内容进行操作，提高了虚拟现实场景中用户操作的便捷性。
参阅图3，图3是本申请智能终端一实施方式的结构示意图。在本实施方式中，智能终端30包括处理器31以及与处理器31耦接的存储器32。
其中，智能终端为智能手机。
存储器32上存储有处理器31执行的程序指令以及处理器31执行程序指令时所产生的中间数据。处理器31在执行程序指令，能够实现本申请的基于虚拟现实的感控方法。
该感控方法包括：
在一个具体的应用场景中，智能终端30设置在一VR眼镜内，用户佩戴该VR眼镜后可体验虚拟现实场景。
其中，智能终端30可以为智能手机。
在本实施方式中，处理器31利用佩戴在用户头部的智能终端30显示虚拟现实场景。
在本实施方式中，当用户的视线发生变化时，用户的头部会跟随用户的视线方向发生相应地运动，进而会带动佩戴在用户头部的智能终端30同步运动，例如，用户的头部转动或平移时智能终端30也会同步转动或平移。
因此，可以根据智能终端30的位姿数据确定用户的视线。处理器31获取智能终端30的位姿数据。其中，位姿数据为位置数据和姿态数据的至少一种或组合。
具体地，处理器31通过位置传感器和/或运动传感器获取智能终端30的位姿数据。运动传感器包括陀螺仪、加速度计和重力感应器，主要用于监测智能终端30的运动，例如，倾斜和摇摆；位置传感器包括地磁场传感器，主要用于监测智能终端30的位置，即，智能终端30相对于世界坐标系的位置。
在一个具体的应用场景中，当用户的视角发生改变后，处理器31所显示的虚拟现实场景也会相应的发生改变，以增强用户的虚拟现实体验。具体而言，处理器31根据智能终端30的位姿数据调整虚拟现实场景。例如，用户的视角向右移动时，虚拟现实场景便相应地向左移动；用户的视角向左移动时，虚拟现实场景便相应地向右移动。
在其中的一个实施方式中，处理器31确定智能终端30佩戴在用户头部时用户的视线与智能终端30的预设参考方向之间的变换关系，并根据智能终端30的位姿数据确定智能终端30的预设参考方向的位姿描述，根据该预设参考方向的位姿描述和变换关系，确定用户的视线的位姿描述，并根据用户的视线的位姿描述确定用户的视线与虚拟现实场景的交点。
其中，智能终端30的预设参考方向为预先定义的方向，可以根据实际情况设计。在其中的一个实施方式中，以智能终端30显示屏幕所在的方向为预设参考方向，当然也可以以与智能终端30显示屏幕所在的方向垂直的方向为预设参考方向。
在预设参考方向确定了之后，处理器31根据智能终端30的位姿数据确定智能终端30的预设参考方向的位姿描述，其中，预设参考方向的位姿描述表征智能终端30的预设参考方向的平移量或旋转量。例如，当预设参考方向为智能终端30显示屏幕所在的方向时，预设参考方向的位姿描述表征智能终端30显示屏幕所在的方向的平移量或旋转量。具体地，处理器31将加速度传感器或角速度传感器的检测结果进行时间积分获取智能终端30的预设参考方向的位姿描述。
处理器31根据其预设参考方向的位姿描述以及智能终端30预设参考方向与用户视线之间的变换关系进而可以确定用户视线的位姿描述，即用户视线的方向。
在另一个实施方式中，处理器31将虚拟现实场景映射到空间模型中，其中空间模型是在世界坐标系下建立的；并根据智能终端30的位姿数据计算用户的视线在世界坐标系下的位姿描述；根据位姿描述确定用户的视线与空间模型中的虚拟现实场景的交点。
具体地，处理器31将智能终端30传感器初始化，在处理器31接收到显示内容刷新的信号后，处理器31开始绘制显示界面，并读取传感器的初始数据，将虚拟现实场景映射到空间模型中，其中空间模型是在世界坐标系下建立的。并基于传感器的数据调整虚拟现实场景的显示内容，将该显示内容以3D形式显示。
在本实施方式中，处理器31根据旋转矩阵以及智能终端30的位姿数据计算用户的视线在世界坐标系下的位姿描述。其中，用户的视线在世界坐标系下的位姿描述反映的是用户的视线在地球或真实环境的视角方向。在其中的一个实施方式中，智能终端30为Android系统，处理器31可以依据SensorManager.getRotationMatrix函数计确定用户的视线在世界坐标系下的姿描述。
在本实施方式中，处理器31针对虚拟现实场景中的处于交点位置处的显示内容执行相应的操作。
具体地，处理器31依据用户的视线的位姿描述确定用户的视线与虚拟现实场景中显示的内容是否存在交点，并确定该交点是否与虚拟现实场景的图形控件重合；若与图形控件重合，则进一步确定是否接收到触发信号；若接收到触发信号，则向图形控件发出触控操作信号。若未接收到触发信号，则向图形控件发出悬浮操作信号。
其中，图形控件可以为某个应用程序对应的图标。
在一个具体的应用场景中，智能终端30设置在一VR眼镜内，VR眼镜设置有至少一物理按键，物理按键设置于智能终端30的触控屏幕上，在VR眼镜的物理按键被按下时，物理按键抵压智能终端30的触控屏幕；处理器31确定智能终端30的触控屏幕是否检测到由物理按键的抵压所产生的触发信号，若接收到触发信号，则向图形控件发出触控操作信号。若未接收到触发信号，则向图形控件发出悬浮操作信号。
区别于现有技术，本申请基于虚拟现实的感控方法包括：利用佩戴在用户头部的智能终端显示虚拟现实场景；获取智能终端的位姿数据；根据位姿数据确定用户的视线与虚拟现实场景的交点；针对虚拟现实场景中的处于交点位置处的显示内容执行相应的操作。本申请的感控方法通过智能终端的位姿数据确定用户视线的方向，由此计算确定用户的视线方向与虚拟现实场景的交点位置，并对该交点位置处的显示内容执行相应的操作。结合人体头部的运动特征，更直观、灵活地对虚拟现实场景中的显示内容进行操作，提高了虚拟现实场景中用户操作的便捷性。
参阅图4，图4是本申请具有存储功能的装置一实施方式的结构示意图。在本实施方式中，具有存储功能的装置40上存储有程序指令41，程序指令41能够被执行以实现本申请的基于虚拟现实的感控方法。
关于感控方法前述已详尽描述，具体可参阅图1、图2以及相关的文字描述，在此不再赘述。
区别于现有技术，本申请基于虚拟现实的感控方法包括：利用佩戴在用户头部的智能终端显示虚拟现实场景；获取智能终端的位姿数据；根据位姿数据确定用户的视线与虚拟现实场景的交点；针对虚拟现实场景中的处于交点位置处的显示内容执行相应的操作。本申请的感控方法通过智能终端的位姿数据确定用户视线的方向，由此计算确定用户的视线方向与虚拟现实场景的交点位置，并对该交点位置处的显示内容执行相应的操作。结合人体头部的运动特征，更直观、灵活地对虚拟现实场景中的显示内容进行操作，提高了虚拟现实场景中用户操作的便捷性。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储装置中。
基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储装置中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的装置。
以上仅为本申请的实施方式，并非因此限制本申请的专利保护范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种基于虚拟现实的感控方法，其特征在于，所述感控方法包括：
利用佩戴在用户头部的智能终端显示虚拟现实场景；
获取所述智能终端的位姿数据；
根据所述位姿数据确定所述用户的视线与所述虚拟现实场景的交点；
针对所述虚拟现实场景中的处于所述交点位置处的显示内容执行相应的操作。
2.根据权利要求1所述的感控方法，其特征在于，所述根据所述位姿数据确定所述用户的视线与所述虚拟现实场景的交点的步骤包括：
确定所述智能终端佩戴在用户头部时所述用户的视线与所述智能终端的预设参考方向之间的变换关系；
根据所述位姿数据确定所述智能终端的预设参考方向的位姿描述；
根据所述预设参考方向的位姿描述和所述变换关系，确定所述用户的视线的位姿描述。
3.根据权利要求1所述的感控方法，其特征在于，所述根据所述位姿数据确定所述用户的视线与所述虚拟现实场景的交点的步骤包括：
将所述虚拟现实场景映射到空间模型中，其中所述空间模型是在世界坐标系下建立的；
根据所述智能终端的位姿数据计算所述用户的视线在所述世界坐标系下的位姿描述；
根据所述位姿描述确定所述用户的视线与所述空间模型中的虚拟现实场景的交点。
4.根据权利要求1所述的感控方法，其特征在于，所述针对所述虚拟现实场景中的处于所述交点位置处的显示内容执行相应的操作的步骤包括：
确定所述交点是否与所述虚拟现实场景的图形控件重合；
若与所述图形控件重合，则进一步确定是否接收到触发信号；
若接收到所述触发信号，则向所述图形控件发出触控操作信号。
5.根据权利要求4所述的感控方法，其特征在于，若未接收到所述触发信号，则向所述图形控件发出悬浮操作信号。
6.根据权利要求4所述的感控方法，其特征在于，所述智能终端设置在一VR眼镜内，所述VR眼镜设置有至少一物理按键，所述物理按键设置于所述智能终端的触控屏幕上，在所述VR眼镜的物理按键被按下时，所述物理按键抵压所述智能终端的触控屏幕；
所述确定是否接收到触发信号的步骤进一步包括：
确定所述智能终端的触控屏幕是否检测到由所述物理按键的抵压所产生的所述触发信号。
7.根据权利要求1所述的感控方法，其特征在于，所述位姿数据包括位置数据和姿态数据的至少一种或组合。
8.根据权利要求1所述的感控方法，其特征在于，所述获取所述智能终端的位姿数据的步骤进一步包括：
根据所述智能终端的位姿数据调整所述虚拟现实场景。
9.一种智能终端，其特征在于，所述智能终端包括处理器以及与所述处理器耦接的存储器；
所述存储器上存储有所述处理器执行的程序指令以及所述处理器执行所述程序指令时所产生的中间数据；
所述处理器在执行所述程序指令，能够实现如权利要求1～8任一项所述的感控方法。
10.一种具有存储功能的装置，其特征在于，其上存储有程序指令，所述程序指令能够被执行以实现如权利要求1～8任一项所述的感控方法。
CN201810170954.5A 2018-03-01 2018-03-01 智能终端及其感控方法、具有存储功能的装置 Pending CN108614637A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810170954.5A CN108614637A (zh) 2018-03-01 2018-03-01 智能终端及其感控方法、具有存储功能的装置
PCT/CN2019/076648 WO2019166005A1 (zh) 2018-03-01 2019-03-01 智能终端及其感控方法、具有存储功能的装置
US16/976,773 US20210041942A1 (en) 2018-03-01 2019-03-01 Sensing and control method based on virtual reality, smart terminal, and device having storage function
EP19761491.0A EP3761154A4 (en) 2018-03-01 2019-03-01 INTELLIGENT TERMINAL DEVICE, SENSOR CONTROL PROCESS FOR IT AND DEVICE WITH MEMORY FUNCTION

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810170954.5A CN108614637A (zh) 2018-03-01 2018-03-01 智能终端及其感控方法、具有存储功能的装置

Publications (1)

Publication Number Publication Date
CN108614637A true CN108614637A (zh) 2018-10-02

Family

ID=63658355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810170954.5A Pending CN108614637A (zh) 2018-03-01 2018-03-01 智能终端及其感控方法、具有存储功能的装置

Country Status (4)

Country Link
US (1) US20210041942A1 (zh)
EP (1) EP3761154A4 (zh)
CN (1) CN108614637A (zh)
WO (1) WO2019166005A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019166005A1 (zh) * 2018-03-01 2019-09-06 惠州Tcl移动通信有限公司 智能终端及其感控方法、具有存储功能的装置
CN110308794A (zh) * 2019-07-04 2019-10-08 郑州大学 具有两种显示模式的虚拟现实头盔及显示模式的控制方法
CN111651069A (zh) * 2020-06-11 2020-09-11 浙江商汤科技开发有限公司 虚拟沙盘的展示方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113608616A (zh) * 2021-08-10 2021-11-05 深圳市慧鲤科技有限公司 虚拟内容的显示方法及装置、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105912110A (zh) * 2016-04-06 2016-08-31 北京锤子数码科技有限公司 一种在虚拟现实空间中进行目标选择的方法、装置及系统
CN106681506A (zh) * 2016-12-26 2017-05-17 惠州Tcl移动通信有限公司 一种终端设备中非vr应用的交互方法及终端设备
CN107728776A (zh) * 2016-08-11 2018-02-23 成都五维译鼎科技有限公司 信息采集的方法、装置、终端及系统及用户终端

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5876607B1 (ja) * 2015-06-12 2016-03-02 株式会社コロプラ フローティング・グラフィカルユーザインターフェース
US10078377B2 (en) * 2016-06-09 2018-09-18 Microsoft Technology Licensing, Llc Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
CN108614637A (zh) * 2018-03-01 2018-10-02 惠州Tcl移动通信有限公司 智能终端及其感控方法、具有存储功能的装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105912110A (zh) * 2016-04-06 2016-08-31 北京锤子数码科技有限公司 一种在虚拟现实空间中进行目标选择的方法、装置及系统
CN107728776A (zh) * 2016-08-11 2018-02-23 成都五维译鼎科技有限公司 信息采集的方法、装置、终端及系统及用户终端
CN106681506A (zh) * 2016-12-26 2017-05-17 惠州Tcl移动通信有限公司 一种终端设备中非vr应用的交互方法及终端设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019166005A1 (zh) * 2018-03-01 2019-09-06 惠州Tcl移动通信有限公司 智能终端及其感控方法、具有存储功能的装置
CN110308794A (zh) * 2019-07-04 2019-10-08 郑州大学 具有两种显示模式的虚拟现实头盔及显示模式的控制方法
CN111651069A (zh) * 2020-06-11 2020-09-11 浙江商汤科技开发有限公司 虚拟沙盘的展示方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20210041942A1 (en) 2021-02-11
EP3761154A1 (en) 2021-01-06
WO2019166005A1 (zh) 2019-09-06
EP3761154A4 (en) 2022-01-05

Similar Documents

Publication Publication Date Title
CN108614637A (zh) 智能终端及其感控方法、具有存储功能的装置
CN109313511B (zh) 提供虚拟空间的方法、提供虚拟体验的方法、程序以及记录介质
US9335823B2 (en) Systems and methods for haptically-enabled conformed and multifaceted displays
KR102574170B1 (ko) 가상 캐릭터의 배치 제어 방법 및 디바이스와 저장 매체
CN107771309B (zh) 处理三维用户输入的方法
CN107132917B (zh) 用于虚拟现实场景中的手型显示方法及装置
US11194400B2 (en) Gesture display method and apparatus for virtual reality scene
WO2018192394A1 (zh) 虚拟现实场景的交互方法和装置、存储介质及电子装置
CN110869983B (zh) 模拟三维(3d)环境中的交互式输入控制
CN106999772B (zh) 使显示器与经由网络连接的多个控制器联动地进行画面操作的系统、程序以及方法
US10614590B2 (en) Apparatus for determination of interference between virtual objects, control method of the apparatus, and storage medium
CN109308115B (zh) 虚拟现实系统中显示用户移动的方法及相关装置
CN109725782B (zh) 一种实现虚拟现实的方法、装置及智能设备、存储介质
CN107930119A (zh) 信息处理方法、装置、电子设备及存储介质
CN108196686A (zh) 一种手部动作姿态捕捉设备、方法及虚拟现实交互系统
CN107168530A (zh) 虚拟场景中的对象处理方法和装置
CN108159697A (zh) 虚拟对象传送方法及装置、存储介质、电子设备
EP3499344A1 (en) Haptically-enabled peripheral usable for two-dimensional and three-dimensional tracking
CN108021227B (zh) 在虚拟现实中快速移动的方法及虚拟现实装置
US11617953B2 (en) Virtual object interaction scripts
CN106354249A (zh) 行走模拟系统和方法
CN114026606A (zh) 用于动态遮挡的快速手部网格划分
CN113661521A (zh) 计算机动画方法和系统
CN111399632A (zh) 用于依靠可穿戴设备而与虚拟现实互动的操作方法和其操作设备
CN110609615A (zh) 用于在增强现实中集成触觉覆盖的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181002