CN112947754B - 头戴设备交互模式的切换方法及系统 - Google Patents

头戴设备交互模式的切换方法及系统 Download PDF

Info

Publication number
CN112947754B
CN112947754B CN202110190095.8A CN202110190095A CN112947754B CN 112947754 B CN112947754 B CN 112947754B CN 202110190095 A CN202110190095 A CN 202110190095A CN 112947754 B CN112947754 B CN 112947754B
Authority
CN
China
Prior art keywords
standard deviation
data
tracking
interaction mode
handle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110190095.8A
Other languages
English (en)
Other versions
CN112947754A (zh
Inventor
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202110190095.8A priority Critical patent/CN112947754B/zh
Publication of CN112947754A publication Critical patent/CN112947754A/zh
Priority to PCT/CN2021/116300 priority patent/WO2022174575A1/zh
Priority to US17/816,411 priority patent/US11709543B2/en
Application granted granted Critical
Publication of CN112947754B publication Critical patent/CN112947754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0338—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of limited linear or angular displacement of an operating part of the device from a neutral position, e.g. isotonic or isometric joysticks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种头戴设备交互模式的切换方法及系统，头戴设备的交互模式包括可相互切换的手柄追踪交互模式以及裸手追踪交互模式；其中，切换方法包括：分别获取位置数据的标准差、姿态数据的标准差，以及IMU数据中的加速度计数据的标准差；判断位置数据的标准差、姿态数据的标准差以及加速度计数据的标准差是否符合第一预设条件；同时，实时获取第二预设时间内的加速度计数据的标准差，并判断加速度计数据的标准差是否符合第二预设条件；其中，当加速度计数据的标准差符合第二预设条件时，暂停裸手追踪交互模式，并启动手柄追踪交互模式。利用上述发明能够根据采集当前用户的标准差数据，灵活的对头戴设备的交互模式进行切换。

Description

头戴设备交互模式的切换方法及系统
技术领域
本发明涉及头戴一体设备技术领域，更为具体地，涉及一种头戴设备交互模式的切换方法及系统。
背景技术
目前，主流的VR/AR/MR头戴一体机设备，均能够同时支持手柄追踪控制器和手势识别交互，但是目前两种交互方式的使用切换需要人工手动设置切换，一般是在用户UI(User Interface，用户界面)中，设置手柄控制追踪器和手势识别两种交互方式的切换选项，通过用户手动切换设置。
由于，手柄追踪控制器和手势识别交互的计算处理资源在VR/AR/MR一体机设备上相对占用比较大，所以一般手柄追踪控制器的处理和手势识别交互的计算处理是异或处理，即当前系统在进行手柄追踪交互时，手势识别交互的处理模块会被系统暂停，或者当前系统在进行手势识别交互的处理模块时，手柄追踪交互的处理模块会被系统暂停。
可知，传统的处理机制是系统通过应用层接受一个控制指令，当前应该处理哪个模块，但在VR/AR/MR领域中，从多用户使用的数据来看，手柄控制追踪器的使用频率通常大于手势识别的使用频率，通过繁琐的人工手动切换两种交互方式的使用，严重影响了手势识别的使用频率，降低用户体验。
发明内容
鉴于上述问题，本发明的目的是提供一种头戴设备交互模式的切换方法及系统，以解决目前的头戴设备在模式交互过程中存在的操作繁琐、灵活性差、影响用户体验等问题。
本发明提供的头戴设备交互模式的切换方法，头戴设备的交互模式包括可相互切换的手柄追踪交互模式以及裸手追踪交互模式；其中，切换方法包括：获取手柄的6Dof追踪数据和IMU数据，6Dof追踪数据包括手柄的位置数据和姿态数据；分别获取位置数据的标准差、姿态数据的标准差，以及IMU数据中的加速度计数据的标准差；判断当前第一预设时间内位置数据的标准差、姿态数据的标准差以及加速度计数据的标准差是否符合第一预设条件；其中，当位置数据的标准差、姿态数据的标准差以及加速度计数据的标准差符合第一预设条件时，确定手柄追踪交互模式未启动，并启动裸手追踪交互模式；同时，实时获取第二预设时间内的加速度计数据的标准差，并判断加速度计数据的标准差是否符合第二预设条件；其中，当加速度计数据的标准差符合第二预设条件时，暂停裸手追踪交互模式，并启动手柄追踪交互模式。
此外，优选的技术方案是，判断位置数据的标准差、姿态数据的标准差以及加速度计数据的标准差是否符合第一预设条件的过程包括：判断位置数据的标准差和姿态数据的标准差是否均在第一预设阈值内，并当位置数据的标准差和姿态数据的标准差均在第一预设阈值内时，继续判断加速度计数据的标准差是否在第二预设阈值内；当位置数据的标准差和姿态数据的标准差均在第一预设阈值内，且加速度计数据的标准差在第二预设阈值内时，确定符合第一预设条件。
此外，优选的技术方案是，第一预设时间为1s～4s，第二预设时间为1s～4s；第一预设阈值为0.6，第二预设阈值为0.2。
此外，优选的技术方案是，判断加速度计数据的标准差是否符合第二预设条件的过程包括：判断加速度计数据的连续预设个数帧在第二预设时间内的标准差是否均大于第三预设阈值；当加速度计数据的连续预设个数帧在第二预设时间内的标准差均大于第三预设阈值，确定符合第二预设条件。
此外，优选的技术方案是，第二预设时间为1s～4s；第三预设阈值为0.03。
此外，优选的技术方案是，手柄追踪交互模式包括：手柄与头戴设备信号连接，通过手柄进行虚拟现实交互；裸手追踪交互模式包括：采集并识别裸手的手势信息及追踪信息，通过手势信息及追踪信息进行虚拟现实交互。
此外，优选的技术方案是，在头戴设备上设置有至少一个裸手追踪相机和至少两个环境追踪相机；其中，裸手追踪相机用于捕捉裸手的手势信息及追踪信息，环境追踪相机用于获取头戴设备相对所处物理环境的6DoF定位信息；裸手追踪相机和/或环境追踪相机包括：深度相机、双目红外相机、RGB相机或者单色相机。
此外，优选的技术方案是，在手柄内设置有至少两个手柄追踪控制器，手柄追踪控制器用于实时获取手柄相对头戴设备的6DoF追踪信息；其中，手柄追踪控制器包括超声波传感器、电磁传感器、光学传感器以及9轴惯性导航传感器。
此外，优选的技术方案是，还包括默认模式设定过程；其中，默认模式设定过程包括：通过与头戴设备连接的控制系统设定默认模式为手柄追踪交互模式或裸手追踪交互模式；此外，控制系统还用于控制手柄追踪交互模式与裸手追踪交互模式的切换。
根据本发明的另一方面，提供一种头戴设备交互模式的切换系统，包括：追踪数据和IMU数据获取单元，用于获取手柄的6Dof追踪数据和IMU数据，6Dof追踪数据包括手柄的位置数据和姿态数据；标准差获取单元，用于分别获取位置数据的标准差、姿态数据的标准差，以及IMU数据中的加速度计数据的标准差；第一预设条件判断单元，用于判断当前第一预设时间内位置数据的标准差、姿态数据的标准差以及加速度计数据的标准差是否符合第一预设条件；其中，当位置数据的标准差、姿态数据的标准差以及加速度计数据的标准差符合第一预设条件时，确定手柄追踪交互模式未启动，并启动裸手追踪交互模式；第二预设条件判断单元，用于实时获取第二预设时间内的加速度计数据的标准差，并判断加速度计数据的标准差是否符合第二预设条件；其中，当加速度计数据的标准差符合第二预设条件时，暂停裸手追踪交互模式，并启动手柄追踪交互模式。
利用上述头戴设备交互模式的切换方法及系统，通过判断位置数据的标准差、姿态数据的标准差以及加速度计数据的标准差是否符合第一预设条件，确定手柄追踪交互模式和裸手追踪交互模式的启动或关闭；同时，实时判断加速度计数据的标准差是否符合第二预设条件，确定裸手追踪交互模式和手柄追踪交互模式的启动或关闭，能够根据用户当前的动作或行为习惯，稳定、自然、流畅的进行交互模式切换，用户体验效果好、可适用范围广。
为了实现上述以及相关目的，本发明的一个或多个方面包括后面将详细说明的特征。下面的说明以及附图详细说明了本发明的某些示例性方面。然而，这些方面指示的仅仅是可使用本发明的原理的各种方式中的一些方式。此外，本发明旨在包括所有这些方面以及它们的等同物。
附图说明
通过参考以下结合附图的说明，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的头戴设备交互模式的切换方法的流程图；
图2为根据本发明实施例的头戴设备交互模式的切换系统的方框示意图；
图3为根据本发明实施例的电子装置的逻辑图。
在所有附图中相同的标号指示相似或相应的特征或功能。
具体实施方式
在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。
为详细描述本发明实施例的头戴设备交互模式的切换方法及系统，以下将结合附图对本发明的具体实施例进行详细描述。
图1示出了根据本发明实施例的头戴设备交互模式的切换方法的流程。
如图1所示，本发明实施例的头戴设备交互模式的切换方法，其中，头戴设备的交互模式包括可相互切换的手柄追踪交互模式以及裸手追踪交互模式；其中，切换方法的步骤包括：
S110：获取手柄的6Dof追踪数据和IMU数据，6Dof追踪数据包括手柄的位置数据和姿态数据；
S120：分别获取位置数据的标准差、姿态数据的标准差，以及IMU数据中的加速度计数据的标准差；
S130：判断当前第一预设时间内位置数据的标准差、姿态数据的标准差以及加速度计数据的标准差是否符合第一预设条件；
S140：当位置数据的标准差、姿态数据的标准差以及加速度计数据的标准差符合第一预设条件时，确定手柄追踪交互模式未启动，并启动裸手追踪交互模式。
具体地，判断第一预设时间内的位置数据的标准差、姿态数据的标准差以及加速度计数据的标准差是否符合第一预设条件的过程包括：
首先，判断位置数据的标准差和姿态数据的标准差是否均在第一预设阈值内，并当位置数据的标准差和姿态数据的标准差均在第一预设阈值内时，继续判断加速度计数据的标准差是否在第二预设阈值内；当位置数据的标准差和姿态数据的标准差均在第一预设阈值内，且加速度计数据的标准差在第二预设阈值内时，确定符合第一预设条件。
其中，第一预设时间可设置为1s～4s，优选为1.5s，；第一预设阈值为0.6，第二预设阈值为0.2。
需要说明的是，当上述位置数据的标准差、姿态数据的标准差以及加速度计数据的标准差不符合第一预设条件时，表示默认当前手柄追踪交互模式已经启动，此时不必启动裸手追踪交互模式。
S150：在上述对第一预设条件进行判断的过程中，实时获取第二预设时间内的加速度计数据的标准差，并判断加速度计数据的标准差是否符合第二预设条件。
S160：当加速度计数据的标准差符合第二预设条件时，暂停裸手追踪交互模式，并启动手柄追踪交互模式。否则，继续执行裸手追踪交互模式，并暂停手柄追踪交互模式。
具体地，判断加速度计数据的标准差是否符合第二预设条件的过程包括：判断加速度计数据的连续预设个数帧在第二预设时间内的标准差是否均大于第三预设阈值；当加速度计数据的连续预设个数帧在第二预设时间内的标准差均大于第三预设阈值，确定符合第二预设条件。
其中，第二预设时间可设置为1s～4s，优选为1.5s，第三预设阈值可设置为0.03，连续预设个数帧可选用连续3-10或者5-10帧等，优选为5帧，换言之，当加速度计数据的在连续5帧的1.5s时间内标准差都大于0.03时，可认为用户又开始使用手柄追踪交互模式，进而可暂停裸手追踪交互模式，并启动手柄追踪交互模式。
需要说明的是，上述第一预设时间、第二预设之间、第一预设阈值、第二预设阈值、第三预设阈值以及预设个数帧的相关数据均可根据具体的应用产品、应用环境或客户需求进行设置及调整，并不限于上述具体数值。
在本发明的一个具体实施方式中，手柄追踪交互模式包括：手柄与头戴设备信号连接，通过用于操作手柄进行虚拟现实交互，而裸手追踪交互模式包括：通过设置在头戴设备上的各相机，采集并识别裸手的手势信息及追踪信息，通过手势信息及追踪信息进行虚拟现实交互。
具体地，在头戴设备上设置有至少一个裸手追踪相机和至少两个环境追踪相机；其中，裸手追踪相机用于捕捉裸手的手势信息及追踪信息，环境追踪相机用于获取头戴设备相对所处物理环境的6DoF定位信息；上述裸手追踪相机和/或环境追踪相机包括：深度相机、双目红外相机、RGB相机或者单色相机等多种类型的相机，在具体应用中可灵活选取。
此外，在手柄内设置有至少两个手柄追踪控制器，手柄追踪控制器用于实时获取手柄相对头戴设备的6DoF追踪信息；其中，手柄追踪控制器包括超声波传感器、电磁传感器、光学传感器以及9轴惯性导航传感器等多种类型的传感器。
需要说明的是，在头戴设备启动之后，会进入一个默认的交互模式，该默认的交互模式可通过与头戴设备连接的控制系统进行设定。可知，本发明的头戴设备交互模式的切换方法，还包括默认模式设定过程：通过与头戴设备连接的控制系统设定默认模式为手柄追踪交互模式或裸手追踪交互模式；此外，控制系统还用于控制手柄追踪交互模式与裸手追踪交互模式的切换，当上述各参数的标准差满足第一预设条件时，通过控制系统启动裸手追踪交互模式，并对应关闭手柄追踪交互模式；当参数的标准差满足第二预设条件时，通过控制系统启动手柄追踪交互模式，并对应关闭裸手追踪交互模式。
本发明根据用户对手柄控制追踪器和手势识别的使用特征，提出了一种自动切换方式，用户想通过手柄控制追踪器(手柄追踪交互方式)进行虚拟现实交互时，系统可以自动实时触发手柄控制追踪器的追踪模块，用户想通过手势识别进行虚拟现实交互时，系统可以自动实时触发手势识别追踪模块(裸手追踪交互方式)，在整个环节过程中，不需要用户手动人工干预任何操作，两种方式的交互可以稳定，自然，流程进行实时切换。
与上述头戴设备交互模式的切换相对应，本发明还提供一种头戴设备交互模式的切换系统。
具体地，图2示出了根据本发明实施例的头戴设备交互模式的切换系统的示意逻辑。
如图2所示，本发明实施例的头戴设备交互模式的切换系统200，包括：
追踪数据和IMU数据获取单元210，用于获取手柄的6Dof追踪数据和IMU数据，6Dof追踪数据包括手柄的位置数据和姿态数据。
标准差获取单元220，用于分别获取位置数据的标准差、姿态数据的标准差，以及IMU数据中的加速度计数据的标准差。
第一预设条件判断单230元，用于判断当前第一预设时间内位置数据的标准差、姿态数据的标准差以及加速度计数据的标准差是否符合第一预设条件；其中，当位置数据的标准差、姿态数据的标准差以及加速度计数据的标准差符合第一预设条件时，确定手柄追踪交互模式未启动，并启动裸手追踪交互模式。
第二预设条件判断单元240，用于实时获取第二预设时间内的加速度计数据的标准差，并判断加速度计数据的标准差是否符合第二预设条件；其中，当加速度计数据的标准差符合第二预设条件时，暂停裸手追踪交互模式，并启动手柄追踪交互模式。
对应地，本发明还提供一种电子装置，图3示出了根据本发明实施例的电子装置的示意结构。
如图3所示，本发明的电子装置1可以是VR/AR/MR头戴式一体机设备、服务器、智能手机、平板电脑、便携计算机、桌上型计算机等具有运算功能的终端设备。其中，该电子装置1包括：处理器12、存储器11、网络接口14及通信总线15。
其中，存储器11包括至少一种类型的可读存储介质。所述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器11等的非易失性存储介质。在一些实施例中，所述可读存储介质可以是所述电子装置1的内部存储单元，例如该电子装置1的硬盘。在另一些实施例中，所述可读存储介质也可以是所述电子装置1的外部存储器11，例如所述电子装置1上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(Flash Card)等。
在本实施例中，所述存储器11的可读存储介质通常用于存储安装于所述电子装置1的头戴设备交互模式的切换程序10等。所述存储器11还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行头戴设备交互模式的切换程序10等。
网络接口14可选地可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该电子装置1与其他电子设备之间建立通信连接。
通信总线15用于实现这些组件之间的连接通信。
图1仅示出了具有组件11-15的电子装置1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
可选地，该电子装置1还可以包括用户接口，用户接口可以包括输入单元比如键盘(Keyboard)、语音输入装置比如麦克风(microphone)等具有语音识别功能的设备、语音输出装置比如音响、耳机等，可选地用户接口还可以包括标准的有线接口、无线接口。
可选地，该电子装置1还可以包括显示器，显示器也可以称为显示屏或显示单元。在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。显示器用于显示在电子装置1中处理的信息以及用于显示可视化的用户界面。
可选地，该电子装置1还包括触摸传感器。所述触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外，这里所述的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且，所述触摸传感器不仅包括接触式的触摸传感器，也可包括接近式的触摸传感器等。此外，所述触摸传感器可以为单个传感器，也可以为例如阵列布置的多个传感器。
在图1所示的装置实施例中，作为一种计算机存储介质的存储器11中可以包括操作系统以及头戴设备交互模式的切换程序10；处理器12执行存储器11中存储的头戴设备交互模式的切换程序10时实现如头戴设备交互模式的切换方法所示的步骤。
本发明还提供的计算机可读存储介质的具体实施方式与上述捏合手势检测识别程序方法、装置、系统的具体实施方式大致相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
如上参照附图以示例的方式描述根据本发明的头戴设备交互模式的切换方法、系统及电子装置。但是，本领域技术人员应当理解，对于上述本发明所提出的头戴设备交互模式的切换方法、系统及电子装置，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (10)

1.一种头戴设备交互模式的切换方法，其特征在于，所述头戴设备的交互模式包括可相互切换的手柄追踪交互模式以及裸手追踪交互模式；其中，所述切换方法包括：
获取手柄的6Dof追踪数据和IMU数据，所述6Dof追踪数据包括所述手柄的位置数据和姿态数据；
分别获取所述位置数据的标准差、所述姿态数据的标准差，以及所述IMU数据中的加速度计数据的标准差；
判断当前第一预设时间内所述位置数据的标准差、所述姿态数据的标准差以及所述加速度计数据的标准差是否符合第一预设条件；其中，
当所述位置数据的标准差、所述姿态数据的标准差以及所述加速度计数据的标准差符合所述第一预设条件时，确定所述手柄追踪交互模式未启动，并启动所述裸手追踪交互模式；同时，
实时获取第二预设时间内的所述加速度计数据的标准差，并判断所述加速度计数据的标准差是否符合第二预设条件；其中，
当所述加速度计数据的标准差符合所述第二预设条件时，暂停所述裸手追踪交互模式，并启动所述手柄追踪交互模式。
2.如权利要求1所述的头戴设备交互模式的切换方法，其特征在于，判断所述位置数据的标准差、所述姿态数据的标准差以及所述加速度计数据的标准差是否符合第一预设条件的过程包括：
判断所述位置数据的标准差和所述姿态数据的标准差是否均在第一预设阈值内，并当所述位置数据的标准差和所述姿态数据的标准差均在所述第一预设阈值内时，继续判断所述加速度计数据的标准差是否在第二预设阈值内；
当所述位置数据的标准差和所述姿态数据的标准差均在所述第一预设阈值内，且所述加速度计数据的标准差在所述第二预设阈值内时，确定符合所述第一预设条件。
3.如权利要求2所述的头戴设备交互模式的切换方法，其特征在于，
所述第一预设时间为1s～4s，所述第二预设时间为1s～4s；
所述第一预设阈值为0.6，所述第二预设阈值为0.2。
4.如权利要求1所述的头戴设备交互模式的切换方法，其特征在于，判断所述加速度计数据的标准差是否符合第二预设条件的过程包括：
判断所述加速度计数据的连续预设个数帧在所述第二预设时间内的标准差是否均大于第三预设阈值；
当所述加速度计数据的连续预设个数帧在所述第二预设时间内的标准差均大于所述第三预设阈值，确定符合所述第二预设条件。
5.如权利要求4所述的头戴设备交互模式的切换方法，其特征在于，
所述第二预设时间为1s～4s；
所述第三预设阈值为0.03。
6.如权利要求1所述的头戴设备交互模式的切换方法，其特征在于，
所述手柄追踪交互模式包括：所述手柄与所述头戴设备信号连接，通过所述手柄进行虚拟现实交互；
所述裸手追踪交互模式包括：采集并识别裸手的手势信息及追踪信息，通过所述手势信息及所述追踪信息进行虚拟现实交互。
7.如权利要求6所述的头戴设备交互模式的切换方法，其特征在于，
在所述头戴设备上设置有至少一个裸手追踪相机和至少两个环境追踪相机；其中，
所述裸手追踪相机用于捕捉所述裸手的手势信息及追踪信息，所述环境追踪相机用于获取所述头戴设备相对所处物理环境的6DoF定位信息；
所述裸手追踪相机和/或所述环境追踪相机包括：深度相机、双目红外相机、RGB相机或者单色相机。
8.如权利要求6所述的头戴设备交互模式的切换方法，其特征在于，
在所述手柄内设置有至少两个手柄追踪控制器，所述手柄追踪控制器用于实时获取所述手柄相对所述头戴设备的6DoF追踪信息；其中，
所述手柄追踪控制器包括超声波传感器、电磁传感器、光学传感器以及9轴惯性导航传感器。
9.如权利要求1所述的头戴设备交互模式的切换方法，其特征在于，还包括默认模式设定过程；其中，
所述默认模式设定过程包括：通过与所述头戴设备连接的控制系统设定所述默认模式为所述手柄追踪交互模式或所述裸手追踪交互模式；此外，
所述控制系统还用于控制所述手柄追踪交互模式与所述裸手追踪交互模式的切换。
10.一种头戴设备交互模式的切换系统，其特征在于，所述头戴设备的交互模式包括可相互切换的手柄追踪交互模式以及裸手追踪交互模式；所述切换系统包括：
追踪数据和IMU数据获取单元，用于获取手柄的6Dof追踪数据和IMU数据，所述6Dof追踪数据包括所述手柄的位置数据和姿态数据；
标准差获取单元，用于分别获取所述位置数据的标准差、所述姿态数据的标准差，以及所述IMU数据中的加速度计数据的标准差；
第一预设条件判断单元，用于判断当前第一预设时间内所述位置数据的标准差、所述姿态数据的标准差以及所述加速度计数据的标准差是否符合第一预设条件；其中，
当所述位置数据的标准差、所述姿态数据的标准差以及所述加速度计数据的标准差符合所述第一预设条件时，确定所述手柄追踪交互模式未启动，并启动所述裸手追踪交互模式；
第二预设条件判断单元，用于实时获取第二预设时间内的所述加速度计数据的标准差，并判断所述加速度计数据的标准差是否符合第二预设条件；其中，当所述加速度计数据的标准差符合所述第二预设条件时，暂停所述裸手追踪交互模式，并启动所述手柄追踪交互模式。
CN202110190095.8A 2021-02-18 2021-02-18 头戴设备交互模式的切换方法及系统 Active CN112947754B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110190095.8A CN112947754B (zh) 2021-02-18 2021-02-18 头戴设备交互模式的切换方法及系统
PCT/CN2021/116300 WO2022174575A1 (zh) 2021-02-18 2021-09-02 头戴设备交互模式的切换方法及系统
US17/816,411 US11709543B2 (en) 2021-02-18 2022-07-30 Switching method and system of interactive modes of head-mounted device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110190095.8A CN112947754B (zh) 2021-02-18 2021-02-18 头戴设备交互模式的切换方法及系统

Publications (2)

Publication Number Publication Date
CN112947754A CN112947754A (zh) 2021-06-11
CN112947754B true CN112947754B (zh) 2023-03-28

Family

ID=76244387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110190095.8A Active CN112947754B (zh) 2021-02-18 2021-02-18 头戴设备交互模式的切换方法及系统

Country Status (3)

Country Link
US (1) US11709543B2 (zh)
CN (1) CN112947754B (zh)
WO (1) WO2022174575A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112947754B (zh) 2021-02-18 2023-03-28 青岛小鸟看看科技有限公司 头戴设备交互模式的切换方法及系统
CN116185201A (zh) * 2023-03-07 2023-05-30 北京字跳网络技术有限公司 扩展现实交互方法、装置、电子设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105117016A (zh) * 2015-09-07 2015-12-02 众景视界（北京）科技有限公司 用于虚拟现实和增强现实交互控制中的交互手柄

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8423076B2 (en) * 2008-02-01 2013-04-16 Lg Electronics Inc. User interface for a mobile device
CN101604203A (zh) * 2008-06-12 2009-12-16 纬创资通股份有限公司 自动切换操作模式的手持式电子产品及控制方法
US10078377B2 (en) * 2016-06-09 2018-09-18 Microsoft Technology Licensing, Llc Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
US11580849B2 (en) * 2018-10-11 2023-02-14 Google Llc Wearable electronic systems having variable interactions based on device orientation
US11054923B2 (en) * 2019-10-11 2021-07-06 Finch Technologies Ltd. Automatic switching between different modes of tracking user motions to control computer applications
CN111857337A (zh) * 2020-07-10 2020-10-30 成都天翼空间科技有限公司 一种vr头控的切换方法
CN112947754B (zh) * 2021-02-18 2023-03-28 青岛小鸟看看科技有限公司 头戴设备交互模式的切换方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105117016A (zh) * 2015-09-07 2015-12-02 众景视界（北京）科技有限公司 用于虚拟现实和增强现实交互控制中的交互手柄

Also Published As

Publication number Publication date
US11709543B2 (en) 2023-07-25
CN112947754A (zh) 2021-06-11
US20220365589A1 (en) 2022-11-17
WO2022174575A1 (zh) 2022-08-25

Similar Documents

Publication Publication Date Title
CN108958633B (zh) 分屏显示方法、装置、存储介质及电子设备
US8443302B2 (en) Systems and methods of touchless interaction
US9223487B2 (en) Electronic apparatus, method of controlling the same, and related computer program
US9547391B2 (en) Method for processing input and electronic device thereof
CN112947754B (zh) 头戴设备交互模式的切换方法及系统
KR101972924B1 (ko) 휴대용 기기에서 부분 영역의 터치를 이용한 전체 영역 지정을 위한 방법 및 장치
EP2743846A2 (en) Information search method and device and computer readable recording medium thereof
JP4275151B2 (ja) ユーザが調整可能な閾値を用いる赤目補正方法及び装置
JP2019535055A (ja) ジェスチャに基づく操作の実施
CN110663018A (zh) 多显示器设备中的应用启动
EP2761401B1 (en) Methods, apparatuses, and computer program products for improving device behavior based on user interaction
CN105653265A (zh) 切换应用的方法、装置及终端设备
CN109814786B (zh) 图像存储方法及终端设备
CN111831182B (zh) 应用图标控制方法、装置及电子设备
US20180018084A1 (en) Display device, display method and computer-readable recording medium
JP2020507159A (ja) ピクチャプッシュの方法、移動端末および記憶媒体
CN107741814B (zh) 一种显示控制方法及移动终端
WO2017152590A1 (zh) 一种晃动移动终端更换壁纸的方法和装置
US20170161011A1 (en) Play control method and electronic client
EP3001294B1 (en) Mobile terminal and method for controlling the same
US9501220B2 (en) Device and method for extracting data on a touch screen
CN110069126B (zh) 虚拟对象的控制方法和装置
CN115237618A (zh) 请求处理方法、装置、计算机设备及可读存储介质
US20150309681A1 (en) Depth-based mode switching for touchless gestural interfaces
CN107885415A (zh) 屏幕显示控制方法、装置及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant