CN108268126A - 基于头戴式显示设备的交互方法及装置 - Google Patents
基于头戴式显示设备的交互方法及装置 Download PDFInfo
- Publication number
- CN108268126A CN108268126A CN201611270065.3A CN201611270065A CN108268126A CN 108268126 A CN108268126 A CN 108268126A CN 201611270065 A CN201611270065 A CN 201611270065A CN 108268126 A CN108268126 A CN 108268126A
- Authority
- CN
- China
- Prior art keywords
- hand
- head
- display apparatus
- mounted display
- held
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明提供一种基于头戴式显示设备的交互方法，包括以下步骤：获取全景图像；连接头戴式显示设备与手持式外设，确定所述手持式外设在所述全景图像对应的空间坐标系中的坐标；根据所述手持式外设在所述空间坐标系中的坐标，在所述头戴式显示设备的显示界面中显示所述手持式外设对应的标识。本发明同时提供一种基于头戴式显示设备的交互装置。本发明基于头戴式显示设备的交互方法及装置，能够使使用者在佩戴头戴式显示设备时，便捷地通过持握手持式外设对显示界面中的内容进行交互操作，显著地提升了头戴式显示设备使用者的操作体验。
Description
技术领域
本发明涉及智能可穿戴设备与人机交互技术领域，尤其涉及一种基于头戴式显示设备的交互方法及装置。
背景技术
虚拟现实(Virtual Reality，VR)技术通过计算机系统模拟出虚拟的三维世界，借助显示系统和交互系统，向使用者提供视觉、听觉、触觉等感官的模拟体验，同时使用者能够与虚拟场景进行互动交互，带给使用者身临其境的感受。因此，交互技术是虚拟现实系统实现的关键性技术之一，决定了使用者如何在虚拟世界中与目标进行互动。
现有技术方案中，头戴式显示设备通过检测使用者的头部动作，控制显示内容切换、光标或锚点移动等，从而完成视角转换、菜单选择或内容输入等基础的交互操作。然而，基于头部运动检测的交互操作方式，用户操作的复杂度高，操作精度低，无法适用于要求高精度、低时延的交互操作场景中。
发明内容
本发明的目的是提供一种基于头戴式显示设备的交互方法及装置，配合手持式外设，降低头戴式显示设备使用者进行交互操作的复杂度，提高交互操作效率。
有鉴于此，本发明一方面提供一种基于头戴式显示设备的交互方法，包括以下步骤：获取全景图像；连接头戴式显示设备与手持式外设，确定所述手持式外设在所述全景图像对应的空间坐标系中的坐标；根据所述手持式外设在所述空间坐标系中的坐标，在所述头戴式显示设备的显示界面中显示所述手持式外设对应的标识。
优选地，所述根据所述手持式外设在所述空间坐标系中的坐标，在所述头戴式显示设备的显示界面中显示所述手持式外设对应的标识的步骤之前，还包括：根据所述手持式外设的姿态确定所述手持式外设在所述全景图像上的虚拟投影点。
优选地，所述根据所述手持式外设在所述空间坐标系中的坐标，在所述头戴式显示设备的显示界面中显示所述手持式外设对应的标识的步骤，具体为：获取所述手持式外设的虚拟投影点在所述全景图像对应的空间坐标系中的坐标；根据所述头戴式显示设备当前显示界面中显示的全景图像区域对应的坐标区间，判断所述虚拟投影点坐标是否位于所述坐标区间内；若是，在所述头戴式显示设备的显示界面中，显示连接所述手持式外设坐标与所述虚拟投影点坐标的标识线。
优选地，所述在所述头戴式显示设备的显示界面中，显示连接所述手持式外设坐标与所述虚拟投影点坐标的标识线的步骤，具体为：当检测到所述手持式外设的第一端指向所述头戴式显示设备当前显示界面中显示的全景图像区域时，在所述头戴式显示设备的显示界面中，显示连接所述手持式外设坐标与所述虚拟投影点坐标的第一标识线；以及，当检测到所述手持式外设的第二端指向所述头戴式显示设备当前显示界面中显示的全景图像区域时，在所述头戴式显示设备的显示界面中，显示连接所述手持式外设坐标与所述虚拟投影点坐标的第二标识线。
优选地，所述第一标识线为实线，所述第二标识线为虚线。
本发明另一方面提供一种基于头戴式显示设备的交互装置，包括：图像获取模块：用于获取全景图像；外设连接模块：用于连接头戴式显示设备与手持式外设；坐标确定模块：用于确定所述手持式外设在所述全景图像对应的空间坐标系中的坐标；标识显示模块：用于根据所述手持式外设在所述空间坐标系中的坐标，在所述头戴式显示设备的显示界面中显示所述手持式外设对应的标识。
优选地，所述坐标确定模块，还用于：根据所述手持式外设的姿态确定所述手持式外设在所述全景图像上的虚拟投影点；以及，根据所述手持式外设在所述全景图像上的虚拟投影点，确定所述虚拟投影点在所述空间坐标系中的坐标。
优选地，所述标识显示模块，还包括：获取单元：用于获取所述手持式外设的虚拟投影点在所述全景图像对应的空间坐标系中的坐标；判断单元：用于根据头戴式显示设备当前显示界面中显示的全景图像区域对应的坐标区间，判断所述虚拟投影点坐标是否位于所述坐标区间内；显示单元：用于在所述头戴式显示设备的显示界面中，显示连接所述手持式外设坐标与所述虚拟投影点坐标的标识线。
优选地，所述显示单元，还用于：当所述手持式外设的第一端指向所述头戴式显示设备当前显示界面中显示的全景图像区域时，在所述头戴式显示设备的显示界面中显示连接所述手持式外设坐标与所述虚拟投影点坐标的第一标识线；以及，当所述手持式外设的第二端指向所述头戴式显示设备当前显示界面中显示的全景图像区域时，在所述头戴式显示设备的显示界面中显示连接所述手持式外设坐标与所述虚拟投影点坐标的第二标识线。
本发明还提供一种头戴式显示设备，包括上述基于头戴式显示设备的交互装置。
本发明基于头戴式显示设备的交互方法及装置，将手持式外设与头戴式显示设备连接，通过检测手持式外设的空间姿态，在头戴式显示设备的显示界面中显示对应的标识，从而通过手持式外设与显示界面中的内容进行交互操作。使用者在佩戴头戴式显示设备时，可以便捷地通过持握手持式外设对显示界面中的内容进行交互操作，显著地提升了头戴式显示设备使用者的操作体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图：
图1示出了本发明一个实施例的基于头戴式显示设备的交互方法的流程示意图；
图2示出了本发明实施例的头戴式显示设备的第一种交互界面的示意图；
图3示出了本发明实施例的头戴式显示设备的第二种交互界面的示意图；
图4示出了本发明一个实施例的基于头戴式显示设备的交互装置的结构示意图；
图5示出了本发明实施例的基于头戴式显示设备的交互装置的标识显示模块的结构示意图。
具体实施方式
为了能够更清楚地理解本发明的目的、特征和优点，下面结合附图和具体实施方式对本发明做进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，这仅仅是本发明的一些实施例，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
实施例一
图1示出了本发明一个实施例的基于头戴式显示设备的交互方法的流程示意图。
根据本发明实施例的基于头戴式显示设备的交互方法，如图1所示，包括：步骤S101，获取全景图像；步骤S102，连接头戴式显示设备与手持式外设，确定所述手持式外设在所述全景图像对应的空间坐标系中的坐标；步骤S103，根据所述手持式外设在所述空间坐标系中的坐标，在所述头戴式显示设备的显示界面中显示所述手持式外设对应的标识。
在上述技术方案中，头戴式显示设备可以向使用者呈现虚拟的360°全景图像，使用者佩戴头戴式显示设备时，通过头戴式显示设备的显示屏幕，使用者在某一时刻能够看到屏幕显示区域中显示的虚拟全景图像的部分区域，屏幕显示区域中显示的虚拟全景图像的部分区域经头戴式显示设备的光学系统放大后，与人类的自然视野范围相同或近似，从而令使用者感受身处虚拟场景环境的真实感。使用者通过控制指令可以控制显示屏幕中显示虚拟全景图像中的不同区域，从而浏览完整的虚拟全景图像，例如，使用者转动头部，根据使用者头部的转动方向与转动角度，调整显示屏幕中显示的虚拟全景图像的区域，结合听觉、触觉、动作等方面的交互体验，带给使用者置身虚拟环境中的沉浸感。
在上述技术方案中，优选地，所述步骤S103，具体地，根据所述手持式外设在所述空间坐标系中的坐标，在所述头戴式显示设备的显示界面中显示所述手持式外设对应的标识图像，与所述头戴式显示设备的显示界面中显示的图像叠加显示，所述手持式外设对应的标识图像可以以预设颜色进行显示，也可以以预设频率进行闪动显示。
实施例二
根据实施例一中的基于头戴式显示设备的交互方法，优选地，所述步骤S101，具体地，获取全景图像，所述全景图像可以是头戴式显示设备中预置的全景图像，例如，用于显示功能控件、菜单等的全景图像界面，也可以是通过数据服务器获取的全景图像，例如，通过全景相机拍摄的全景图像，此处不做限定。进一步地，确定所述全景图像对应的空间模型，根据所述全景图像的空间模型建立所述全景图像对应的空间坐标系。例如，获取球面全景图像，确定球面全景图像对应的空间球体模型，根据所述空间球体模型建立球面全景图像对应的球坐标系。
在上述技术方案中，优选地，所述步骤S102，具体地，连接头戴式显示设备与手持式外设，根据所述全景图像对应的空间坐标系，确定所述手持式外设在所述全景图像对应的空间坐标系中的坐标。优选地，通过蓝牙、WIFI等无线方式连接头戴式显示设备与手持式外设，例如手柄，确定所述全景图像对应的空间坐标系中预设的坐标点为所述手持式外设在所述空间坐标系中的坐标；进一步地，还可以确定所述全景图像对应的空间坐标系中的第一预设坐标点为用户左手握持所述手持式外设时所述手持式外设在所述空间坐标系中的坐标，以及确定所述全景图像对应的空间坐标系中的第二预设坐标点为用户右手握持所述手持式外设时所述手持式外设在所述空间坐标系中的坐标。
在上述技术方案中，优选地，所述步骤S103之前，还包括：根据所述手持式外设的姿态确定所述手持式外设在所述全景图像上的虚拟投影点。具体地，通过手持式外设中的传感器检测手持式外设的空间姿态，确定手持式外设在所述全景图像中对应的虚拟投影点。例如，在球面全景图像对应的球坐标系中，根据所述手持式设备的空间姿态，包括所述手持式设备的指向方向，通过初始化校准，确定手持式外设在所述球面全景图像中的虚拟投影点，以及确定虚拟投影点在所述球面全景图像对应的球坐标系中的球面坐标。
在上述技术方案中，所述步骤S103，具体为：获取所述手持式外设的虚拟投影点在所述全景图像对应的空间坐标系中的坐标；根据所述头戴式显示设备当前显示界面中显示的全景图像区域对应的坐标区间，判断所述虚拟投影点坐标是否位于所述坐标区间内；若是，在所述头戴式显示设备的显示界面中，显示连接所述手持式外设坐标与所述虚拟投影点坐标的标识线。具体地，使用者佩戴头戴式显示设备时，头戴式显示设备的显示屏幕中显示全景图像的部分图像区域，根据检测到的使用者头部转动动作，包括头部转动方向及转动幅度等，调整显示屏幕中显示的全景图像的图像区域，从而调整使用者的观看视角，观看全景图像的不同区域。通过预先获取所述手持式外设的虚拟投影点在所述全景图像对应的空间坐标系中的坐标，根据所述头戴式显示设备当前显示界面中显示的全景图像区域对应的坐标区间，判断所述虚拟投影点坐标是否位于所述坐标区间内，当所述虚拟投影点坐标位于所述坐标区间内时，在所述头戴式显示设备的显示界面中，显示连接所述手持式外设坐标与所述虚拟投影点坐标的标识线，从而在头戴式显示设备使用者的视野中呈现连接所述手持式外设与所述显示屏幕中的虚拟投影点的标识线。当佩戴头戴显示设备的使用者持握该手持式外设时，在使用者所沉浸的虚拟环境场景中呈现出手持式外设投射虚拟标识线到全景图像画面的效果。进一步地，通过持续检测手持式外设的姿态变化，调整手持式外设对应的虚拟投影点的在全景图像画面中的位置，通过虚拟投影点选取菜单选项、功能控件，实现人机交互操作。
在上述技术方案中，所述在所述头戴式显示设备的显示界面中，显示连接所述手持式外设坐标与所述虚拟投影点坐标的标识线的步骤，具体为：当检测到所述手持式外设的第一端指向所述头戴式显示设备当前显示界面中显示的全景图像区域时，在所述头戴式显示设备的显示界面中，显示连接所述手持式外设坐标与所述虚拟投影点坐标的第一标识线；以及，当检测到所述手持式外设的第二端指向所述头戴式显示设备当前显示界面中显示的全景图像区域时，在所述头戴式显示设备的显示界面中，显示连接所述手持式外设坐标与所述虚拟投影点坐标的第二标识线。具体地，手持式外设，如手柄，通常设计为具有适合人类手型的外形以便于使用者持握，通过手持式外设内部传感器检测所述手持式外设的空间姿态，包括手持式外设的空间指向，根据手持式外设的空间指向调整手持式外设对应的虚拟投影点在全景图像中的坐标。例如，使用者佩戴头戴式显示设备观看球面全景图像时，基于球面全景图像对应的空间球体模型，以空间球体模型的球心位置为虚拟观察点，在头戴式显示设备的显示屏中呈现与使用者当前视角对应的球面全景图像的图像区域。头戴式显示设备与手持式外设连接完成后，通过手持式外设内部的传感器检测手持外设的空间姿态，根据手持式外设的空间指向确定手持式外设在球面全景图像中对应的虚拟投影点。其中，手持式外设呈“棒状”，具有首端和尾端，当检测到手持式外设的首端指向所述球面全景图像的区域，即在空间球体模型中，手持式外设的尾端向首端虚拟连线的延长线到达所述头戴式显示设备当前显示的球面全景图像的图像区域时，在所述头戴式显示设备的显示界面中，显示连接所述手持式外设坐标与所述虚拟投影点坐标的标识线，优选地，如图2所示，该标识线为实线；同样地，当检测到手持式外设的尾端指向所述球面全景图像的区域，即在空间球体模型中，手持式外设的首端向尾端虚拟连线的延长线到达所述头戴式显示设备当前显示的球面全景图像的图像区域时，在所述头戴式显示设备的显示界面中，显示连接所述手持式外设坐标与所述虚拟投影点坐标的标识线，优选地，如图3所示，该标识线为虚线。
本发明实施例的基于头戴式显示设备的交互方法，将手持式外设与头戴式显示设备连接，通过检测手持式外设的空间姿态，在头戴式显示设备的显示界面中显示对应的标识，从而通过手持式外设与显示界面中的内容进行交互操作。本发明实施例的技术方案使头戴式显示设备的使用者在佩戴头戴式显示设备时，可以便捷地通过持握手持式外设对显示界面中的内容进行交互操作，有效地降低操作复杂度，显著地提升了头戴式显示设备使用者的操作体验。
实施例三
图4示出了本发明一个实施例的基于头戴式显示设备的交互装置的结构示意图。
根据本发明实施例的基于头戴式显示设备的交互装置200，如图4所示，包括：图像获取模块201：用于获取全景图像；外设连接模块202：用于连接头戴式显示设备与手持式外设；坐标确定模块203：用于确定所述手持式外设在所述全景图像对应的空间坐标系中的坐标；标识显示模块204：用于根据所述手持式外设在所述空间坐标系中的坐标，在所述头戴式显示设备的显示界面中显示所述手持式外设对应的标识。
在上述技术方案中，头戴式显示设备可以向使用者呈现虚拟的360°全景图像，使用者佩戴头戴式显示设备时，通过头戴式显示设备的显示屏幕，使用者在某一时刻能够看到屏幕显示区域中显示的虚拟全景图像的部分区域，屏幕显示区域中显示的虚拟全景图像的部分区域经头戴式显示设备的光学系统放大后，与人类的自然视野范围相同或近似，从而令使用者感受身处虚拟场景环境的真实感。使用者通过控制指令可以控制显示屏幕中显示虚拟全景图像中的不同区域，从而浏览完整的虚拟全景图像，例如，使用者转动头部，根据使用者头部的转动方向与转动角度，调整显示屏幕中显示的虚拟全景图像的区域，结合听觉、触觉、动作等方面的交互体验，带给使用者置身虚拟环境中的沉浸感。
在上述技术方案中，优选地，所述图像获取模块201，用于获取全景图像，所述全景图像可以是头戴式显示设备中预置的全景图像，例如，用于显示功能控件、菜单等的全景图像界面，也可以是通过远程服务器获取的全景图像，例如，通过全景相机拍摄的全景图像，此处不做限定。进一步地，确定所述全景图像对应的空间模型，根据所述全景图像的空间模型建立所述全景图像对应的空间坐标系。例如，获取球面全景图像，确定球面全景图像对应的空间球体模型，根据所述空间球体模型建立球面全景图像对应的球坐标系。
在上述技术方案中，优选地，外设连接模块202，连接头戴式显示设备与手持式外设，根据所述全景图像对应的空间坐标系，确定所述手持式外设在所述全景图像对应的空间坐标系中的坐标。优选地，外设连接模块202通过蓝牙、WIFI等无线方式连接头戴式显示设备与手持式外设，例如手柄，确定所述全景图像对应的空间坐标系中预设的坐标点为所述手持式外设在所述空间坐标系中的坐标；进一步地，还可以确定所述全景图像对应的空间坐标系中的第一预设坐标点为用户左手握持所述手持式外设时所述手持式外设在所述空间坐标系中的坐标，以及确定所述全景图像对应的空间坐标系中的第二预设坐标点为用户右手握持所述手持式外设时所述手持式外设在所述空间坐标系中的坐标。
在上述技术方案中，优选地，所述坐标确定模块203，还用于，根据所述手持式外设的姿态确定所述手持式外设在所述全景图像上的虚拟投影点；以及，根据所述手持式外设在所述全景图像上的虚拟投影点，确定所述虚拟投影点在所述空间坐标系中的坐标。具体地，坐标确定模块203通过手持式外设中的传感器检测到的手持式外设的空间姿态，确定手持式外设在所述全景图像中对应的虚拟投影点。例如，在球面全景图像对应的球坐标系中，根据所述手持式设备的空间姿态，包括所述手持式设备的指向方向，通过初始化校准，确定手持式外设在所述球面全景图像中的虚拟投影点，以及，确定虚拟投影点在所述球面全景图像对应的球坐标系中的球面坐标。
在上述技术方案中，优选地，所述标识显示模块204，如图5所示，还包括：获取单元2041：用于获取所述手持式外设的虚拟投影点在所述全景图像对应的空间坐标系中的坐标；判断单元2042：用于根据头戴式显示设备当前显示界面中显示的全景图像区域对应的坐标区间，判断所述虚拟投影点坐标是否位于所述坐标区间内；显示单元2043：用于在所述头戴式显示设备的显示界面中，显示连接所述手持式外设坐标与所述虚拟投影点坐标的标识线。具体地，使用者佩戴头戴式显示设备时，头戴式显示设备的显示屏幕中显示全景图像的部分图像区域，根据检测到的使用者的头部转动动作，包括头部转动方向及转动幅度等，调整显示屏幕中显示的全景图像的图像区域，从而调整使用者的观看视角，观看全景图像的不同区域。获取单元2041预先获取所述手持式外设的虚拟投影点在所述全景图像对应的空间坐标系中的坐标，判断单元2042根据所述头戴式显示设备当前显示界面中显示的全景图像区域对应的坐标区间，判断所述虚拟投影点坐标是否位于所述坐标区间内，当所述虚拟投影点坐标位于所述坐标区间内时，显示单元2043在所述头戴式显示设备的显示界面中显示连接所述手持式外设坐标与所述虚拟投影点坐标的标识线，从而在头戴式显示设备使用者的视野中呈现连接所述手持式外设与所述显示屏幕中的虚拟投影点的标识线。当佩戴头戴显示设备的使用者持握该手持式外设时，在使用者所沉浸的虚拟环境场景中呈现出手持式外设投射虚拟标识线到全景图像画面的效果。进一步地，头戴式显示设备200通过持续检测手持式外设的姿态变化，调整手持式外设对应的虚拟投影点的在全景图像画面中的位置，通过虚拟投影点选取菜单选项、功能控件，实现人机交互操作。
在上述技术方案中，优选地，所述显示单元2043，还用于：当所述手持式外设的第一端指向所述头戴式显示设备当前显示界面中显示的全景图像区域时，在所述头戴式显示设备的显示界面中显示连接所述手持式外设坐标与所述虚拟投影点坐标的第一标识线；以及，当所述手持式外设的第二端指向所述头戴式显示设备当前显示界面中显示的全景图像区域时，在所述头戴式显示设备的显示界面中显示连接所述手持式外设坐标与所述虚拟投影点坐标的第二标识线。具体地，手持式外设，如手柄，通常设计为具有适合人类手型的外形以便于使用者持握，获取手持式外设内部传感器检测到的所述手持式外设的空间姿态，包括手持式外设的空间指向，根据手持式外设的空间指向调整手持式外设对应的虚拟投影点在全景图像中的坐标。例如，使用者佩戴头戴式显示设备观看球面全景图像时，基于球面全景图像对应的空间球体模型，以空间球体模型的球心位置为虚拟观察点，在头戴式显示设备的显示屏中呈现与使用者当前视角对应的球面全景图像的图像区域。头戴式显示设备与手持式外设连接完成后，获取通过手持式外设内部的传感器检测到的手持外设的空间姿态，根据手持式外设的空间指向确定手持式外设在球面全景图像中对应的虚拟投影点。其中，手持式外设呈“棒状”，具有首端和尾端，当检测到手持式外设的首端指向所述球面全景图像的区域，即在空间球体模型中，手持式外设的尾端向首端虚拟连线的延长线到达所述头戴式显示设备当前显示的球面全景图像的图像区域时，在所述头戴式显示设备的显示界面中，显示连接所述手持式外设坐标与所述虚拟投影点坐标的标识线，优选地，该标识线为实线；同样地，当检测到手持式外设的尾端指向所述球面全景图像的区域，即在空间球体模型中，手持式外设的首端向尾端虚拟连线的延长线到达所述头戴式显示设备当前显示的球面全景图像的图像区域时，在所述头戴式显示设备的显示界面中，显示连接所述手持式外设坐标与所述虚拟投影点坐标的标识线，优选地，该标识线为虚线。
本发明实施例的基于头戴式显示设备的交互装置，通过将手持式外设与头戴式显示设备连接，获取手持式外设的空间姿态，在头戴式显示设备的显示界面中显示对应的标识，从而通过手持式外设与显示界面中的内容进行交互操作。本发明实施例的技术方案使头戴式显示设备的使用者在佩戴头戴式显示设备时，可以便捷地通过持握手持式外设对显示界面中的内容进行交互操作，有效地降低操作复杂度，显著地提升了头戴式显示设备使用者的操作体验。
再次声明，本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
本发明并不局限于前述的具体实施方式。本发明可以扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。
Claims (10)
1.一种基于头戴式显示设备的交互方法，其特征在于，包括以下步骤：
获取全景图像；
连接头戴式显示设备与手持式外设，确定所述手持式外设在所述全景图像对应的空间坐标系中的坐标；
根据所述手持式外设在所述空间坐标系中的坐标，在所述头戴式显示设备的显示界面中显示所述手持式外设对应的标识。
2.根据权利要求1所述的基于头戴式显示设备的交互方法，其特征在于，所述根据所述手持式外设在所述空间坐标系中的坐标，在所述头戴式显示设备的显示界面中显示所述手持式外设对应的标识的步骤之前，还包括：
根据所述手持式外设的姿态确定所述手持式外设在所述全景图像上的虚拟投影点。
3.根据权利要求2所述的基于头戴式显示设备的交互方法，其特征在于，所述根据所述手持式外设在所述空间坐标系中的坐标，在所述头戴式显示设备的显示界面中显示所述手持式外设对应的标识的步骤，具体为：
获取所述手持式外设的虚拟投影点在所述全景图像对应的空间坐标系中的坐标；
根据所述头戴式显示设备当前显示界面中显示的全景图像区域对应的坐标区间，判断所述虚拟投影点坐标是否位于所述坐标区间内；
若是，在所述头戴式显示设备的显示界面中，显示连接所述手持式外设坐标与所述虚拟投影点坐标的标识线。
4.根据权利要求3所述的基于头戴式显示设备的交互方法，其特征在于，所述在所述头戴式显示设备的显示界面中，显示连接所述手持式外设坐标与所述虚拟投影点坐标的标识线的步骤，具体为：
当检测到所述手持式外设的第一端指向所述头戴式显示设备当前显示界面中显示的全景图像区域时，在所述头戴式显示设备的显示界面中，显示连接所述手持式外设坐标与所述虚拟投影点坐标的第一标识线；以及，
当检测到所述手持式外设的第二端指向所述头戴式显示设备当前显示界面中显示的全景图像区域时，在所述头戴式显示设备的显示界面中，显示连接所述手持式外设坐标与所述虚拟投影点坐标的第二标识线。
5.根据权利要求4所述的基于头戴式显示设备的交互方法，其特征在于，所述第一标识线为实线，所述第二标识线为虚线。
6.一种基于头戴式显示设备的交互装置，其特征在于，包括：
图像获取模块：用于获取全景图像；
外设连接模块：用于连接头戴式显示设备与手持式外设；
坐标确定模块：用于确定所述手持式外设在所述全景图像对应的空间坐标系中的坐标；
标识显示模块：用于根据所述手持式外设在所述空间坐标系中的坐标，在所述头戴式显示设备的显示界面中显示所述手持式外设对应的标识。
7.根据权利要求6所述的基于头戴式显示设备的交互装置，其特征在于，所述坐标确定模块，还用于：根据所述手持式外设的姿态确定所述手持式外设在所述全景图像上的虚拟投影点；以及，根据所述手持式外设在所述全景图像上的虚拟投影点，确定所述虚拟投影点在所述空间坐标系中的坐标。
8.根据权利要求7所述的基于头戴式显示设备的交互装置，其特征在于，所述标识显示模块，还包括：
获取单元：用于获取所述手持式外设的虚拟投影点在所述全景图像对应的空间坐标系中的坐标；
判断单元：用于根据头戴式显示设备当前显示界面中显示的全景图像区域对应的坐标区间，判断所述虚拟投影点坐标是否位于所述坐标区间内；
显示单元：用于在所述头戴式显示设备的显示界面中，显示连接所述手持式外设坐标与所述虚拟投影点坐标的标识线。
9.根据权利要求8所述的基于头戴式显示设备的交互装置，其特征在于，所述显示单元，还用于：
当所述手持式外设的第一端指向所述头戴式显示设备当前显示界面中显示的全景图像区域时，在所述头戴式显示设备的显示界面中显示连接所述手持式外设坐标与所述虚拟投影点坐标的第一标识线；以及，
当所述手持式外设的第二端指向所述头戴式显示设备当前显示界面中显示的全景图像区域时，在所述头戴式显示设备的显示界面中显示连接所述手持式外设坐标与所述虚拟投影点坐标的第二标识线。
10.一种头戴式显示设备，其特征在于，包括权利要求6至9中任一项所述的基于头戴式显示设备的交互装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611270065.3A CN108268126B (zh) | 2016-12-30 | 2016-12-30 | 基于头戴式显示设备的交互方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611270065.3A CN108268126B (zh) | 2016-12-30 | 2016-12-30 | 基于头戴式显示设备的交互方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108268126A true CN108268126A (zh) | 2018-07-10 |
| CN108268126B CN108268126B (zh) | 2021-05-04 |
Family
ID=62771232
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611270065.3A Active CN108268126B (zh) | 2016-12-30 | 2016-12-30 | 基于头戴式显示设备的交互方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108268126B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120050162A1 (en) * | 2010-08-27 | 2012-03-01 | Canon Kabushiki Kaisha | Information processing apparatus for displaying virtual object and method thereof |
| CN104618712A (zh) * | 2015-02-13 | 2015-05-13 | 北京维阿时代科技有限公司 | 一种头戴式虚拟现实设备及包括该设备的虚拟现实系统 |
| CN105912110A (zh) * | 2016-04-06 | 2016-08-31 | 北京锤子数码科技有限公司 | 一种在虚拟现实空间中进行目标选择的方法、装置及系统 |
| CN105975061A (zh) * | 2016-04-26 | 2016-09-28 | 乐视控股（北京）有限公司 | 虚拟现实场景的控制方法、装置及手柄 |
-
2016
- 2016-12-30 CN CN201611270065.3A patent/CN108268126B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120050162A1 (en) * | 2010-08-27 | 2012-03-01 | Canon Kabushiki Kaisha | Information processing apparatus for displaying virtual object and method thereof |
| CN104618712A (zh) * | 2015-02-13 | 2015-05-13 | 北京维阿时代科技有限公司 | 一种头戴式虚拟现实设备及包括该设备的虚拟现实系统 |
| CN105912110A (zh) * | 2016-04-06 | 2016-08-31 | 北京锤子数码科技有限公司 | 一种在虚拟现实空间中进行目标选择的方法、装置及系统 |
| CN105975061A (zh) * | 2016-04-26 | 2016-09-28 | 乐视控股（北京）有限公司 | 虚拟现实场景的控制方法、装置及手柄 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108268126B (zh) | 2021-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105138135B (zh) | 头戴式虚拟现实设备及虚拟现实系统 | |
| US20160140930A1 (en) | Methods and systems for virtual and augmented reality | |
| JPWO2018043135A1 (ja) | 情報処理装置、情報処理方法、並びにプログラム | |
| JP7316282B2 (ja) | 拡張現実のためのシステムおよび方法 | |
| US11188144B2 (en) | Method and apparatus to navigate a virtual content displayed by a virtual reality (VR) device | |
| CN110851095B (zh) | 虚拟和增强现实中的多屏幕交互 | |
| CN107027015A (zh) | 基于增强现实的3d动向投影系统以及用于该系统的投影方法 | |
| CN109271021B (zh) | 头戴式设备的控制方法、装置、头戴式设备及存储介质 | |
| JP2017120556A (ja) | 操作用ヘッドマウントディスプレイ、操作用ヘッドマウントディスプレイの制御方法および操作用ヘッドマウントディスプレイのプログラム | |
| US11151804B2 (en) | Information processing device, information processing method, and program | |
| CN106327583A (zh) | 一种实现全景摄像的虚拟现实设备及其实现方法 | |
| CN112581571B (zh) | 虚拟形象模型的控制方法、装置、电子设备及存储介质 | |
| CN110140100B (zh) | 三维增强现实对象用户界面功能 | |
| WO2018146922A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| WO2017061890A1 (en) | Wireless full body motion control sensor | |
| JP6518645B2 (ja) | 情報処理装置および画像生成方法 | |
| JP2019040303A (ja) | ヘッドマウントデバイスを介して仮想空間をユーザに提供するための方法、プログラム及びコンピュータ | |
| JP2010049346A (ja) | 画像表示装置 | |
| WO2022176450A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN108268126A (zh) | 基于头戴式显示设备的交互方法及装置 | |
| CN108268123A (zh) | 基于头戴式显示设备的指令识别方法及装置 | |
| WO2021190421A1 (zh) | 基于虚拟现实的控制器光球追踪方法和虚拟现实设备 | |
| JP6159455B1 (ja) | 仮想空間を提供する方法、プログラム、および記録媒体 | |
| CN101281590B (zh) | 一种操作单元及包括所述操作单元的视频系统 | |
| CN108093222A (zh) | 一种手持式vr成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200707 Address after: No.18 Xilin 1st Street, Chenghua District, Chengdu, Sichuan 610051 Applicant after: Chengdu Ideal Zhimei Technology Co.,Ltd. Address before: Two Lu Tian Hua high tech Zone of Chengdu City, Sichuan province 610041 219 No. 2 Building 1 unit 1 floor No. 3 Applicant before: CHENGDU IDEALENS TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |