CN109144378B - 数据交互方法、装置、头戴设备和控制设备 - Google Patents
数据交互方法、装置、头戴设备和控制设备 Download PDFInfo
- Publication number
- CN109144378B CN109144378B CN201710464410.5A CN201710464410A CN109144378B CN 109144378 B CN109144378 B CN 109144378B CN 201710464410 A CN201710464410 A CN 201710464410A CN 109144378 B CN109144378 B CN 109144378B
- Authority
- CN
- China
- Prior art keywords
- head
- touch operation
- controller
- data
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000003993 interaction Effects 0.000 title claims abstract description 34
- 238000004590 computer program Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 description 12
- 239000011521 glass Substances 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000003238 somatosensory effect Effects 0.000 description 3
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明公开了一种数据交互方法、装置、头戴设备和控制设备，该方法包括：头戴设备接收来自控制器的控制界面数据，并根据控制界面数据在头戴设备的显示屏的预定位置呈现控制器的控制界面；在控制器接收到触控操作的情况下，头戴设备接收来自控制器的触控操作对应的触控操作数据；头戴设备将触控操作数据在控制界面上的位置呈现在头戴设备的显示屏上，以指示用户根据位置调整触控操作在控制器上的位置。通过本发明，用户可以根据头戴设备显示屏上触控操作的位置来调整在控制器上手指的触控位置，使得用户可以在佩戴头戴设备时盲操作控制器，系统性能大幅度提升，用户使用体验较好。
Description
技术领域
本发明涉及通讯领域，特别是涉及数据交互方法、装置、头戴设备和控制设备。
背景技术
随着现代高精尖技术的不断发展，智能科技逐渐融入人们的日常生活，潜移默化地改变着人们的生活和工作方式。某些具有探测摄影功能的智能设备与VR(VirtualReality，虚拟现实技术)/AR(Augmented Reality，增强现实技术)设备相结合，更是能带给客户全新的体验。比如，具有航拍功能的无人机与VR/AR设备相结合，能让用户的视角飞上天空，像鸟儿一样在空中自由飞翔；比如各类探测机器人与VR/AR设备相结合，让操控者身临其境般进入各类环境，完成探测任务。
现有的一些智能设备与VR/AR相结合后，使用感较好，但对这些智能设备的移动控制技术还存在一定的缺陷，以下以无人机为例进行说明。
当将智能手机作为操控器时，配备VR设备，实现无人机的体感飞行时，通常存在两种操控模式，即体感模式和指点模式。在体感模式下，操控者可以通过调整智能手机的倾斜角度来控制无人机的飞行姿态；在指点模式下，用户只需在地图上点击飞行目标，飞机就会以设定好的速度按直线飞行至目标位置，此模式下手机倾斜不会改变飞机姿态。VR设备的转动则是可以控制相机的拍摄角度。
在体感模式下带上VR眼镜，当某操作需要点击手机上的按键时，比如要让飞机悬停或返航，就需要摘下VR眼镜点击手机上的相应按钮才能实现。摘眼镜的过程将使得操控者错过一些飞机的飞行动态，具有安全隐患。目前的手机控制界面上有解锁按钮，解锁前可以避免误点现象的发生，但是解锁后也就是进行飞行控制时则没有相关的保护机制，这对于灵敏度很高的手机界面而言也存在一定安全隐患。
综上所述，当用户戴上VR眼镜后，用户无法完全感知当前无人机的飞行状态，很难再使用复杂遥控器对无人机进行遥控飞行；也无法准确获知飞行高度、速度、方向等飞行状态信息；要完成起飞、降落这些操作，需摘下眼镜才能完成，无法实现全程盲操。这些限制和不足都有可能造成安全事故的发生，也会给用户带来不好的使用体验。
发明内容
本发明提供一种数据交互方法、装置、头戴设备和控制设备，用以解决现有技术的如下问题：现有智能设备与VR/AR相结合使用时，用户需要使用智能设备控制VR/AR头戴设备对应的被控制设备，因此需要经常拿下VR/AR头戴设备间来操作智能设备，影响整个使用过程的感受，用户体验较差。
为解决上述技术问题，一方面，本发明提供一种数据交互方法，包括：头戴设备接收来自控制器的控制界面数据，并根据所述控制界面数据在所述头戴设备的显示屏的预定位置呈现所述控制器的控制界面；在所述控制器接收到触控操作的情况下，所述头戴设备接收来自所述控制器的所述触控操作对应的触控操作数据；所述头戴设备将所述触控操作数据在所述控制界面上的位置呈现在所述头戴设备的显示屏上，以指示用户根据所述位置调整所述触控操作在所述控制器上的位置。
可选的，所述头戴设备将所述触控操作数据在所述控制界面上的位置呈现在所述头戴设备的显示屏上之后，还包括：在所述控制器控制界面的控制按钮接收到触发操作的压力值大于预设压力阈值的情况下，所述头戴设备接收所述控制器发送的调整所述触控操作颜色的颜色数据，并根据所述颜色数据调整触控操作在所述头戴设备的显示屏上呈现的颜色。
可选的，根据所述颜色数据调整触控操作在所述头戴设备的显示屏上呈现的颜色之后，还包括：在所述控制按钮接收到压力值大于所述预设压力阈值的触发操作的时间超过预设时间的情况下，所述头戴设备接收来自所述控制器的控制指令，并将所述控制指令发送至被控制设备。
另一方面，本发明还提供一种数据交互方法，包括：在控制器与头戴设备建立连接后，所述控制器向所述头戴设备发送控制界面数据，以将所述控制器的控制界面呈现在所述头戴设备的显示屏上；所述控制器在接收到触控操作的情况下，将所述触控操作对应的触控操作数据发送至所述头戴设备，以在所述头戴设备的显示屏上呈现所述触控操作在所述控制界面上的位置。
可选的，将所述触控操作对应的触控操作数据发送至所述头戴设备之后，还包括：所述控制器检测所述触控操作对应的位置是否落在所述控制界面的预定控制按钮上；在所述位置处于所述预定控制按钮上的情况下，检测所述预定控制按钮对应位置的压力值是否大于预设压力阈值；在所述压力值大于所述预设压力阈值的情况下，调整所述触控操作的颜色，并将调整后的颜色数据发送至所述头戴设备，以在所述头戴设备的显示屏上呈现。
可选的，调整所述触控操作的颜色，并将调整后的颜色数据发送至所述头戴设备之后，还包括：检测所述压力值大于所述预设压力阈值的触控操作的按压时间是否超过预设时间；在所述按压时间超过所述预设时间的情况下，所述控制器通过所述头戴设备向所述被控制设备发送所述控制指令，以使所述被控制设备执行所述预定控制按钮对应的控制操作。
另一方面，本发明还提供一种数据交互装置，包括：接收模块，用于接收来自控制器的控制界面数据，并根据所述控制界面数据在所述头戴设备的显示屏的预定位置呈现所述控制器的控制界面；在所述控制器接收到触控操作的情况下，接收来自所述控制器的所述触控操作对应的触控操作数据；呈现模块，用于将所述触控操作数据在所述控制界面上的位置呈现在所述头戴设备的显示屏上，以指示用户根据所述位置调整所述触控操作在所述控制器上的位置。
可选的，所述接收模块，还用于在所述控制器控制界面的控制按钮接收到触发操作的压力值大于预设压力阈值的情况下，接收所述控制器发送的调整所述触控操作颜色的颜色数据；所述呈现模块，还用于根据所述颜色数据调整触控操作在所述头戴设备的显示屏上呈现的颜色。
可选的，所述接收模块，还用于在所述控制按钮接收到压力值大于所述预设压力阈值的触发操作的时间超过预设时间的情况下，接收来自所述控制器的控制指令，并将所述控制指令发送至被控制设备。
另一方面，本发明还提供一种数据交互装置，包括：发送模块，用于在控制器与头戴设备建立连接后，向所述头戴设备发送控制界面数据，以将所述控制器的控制界面呈现在所述头戴设备的显示屏上；在接收到触控操作的情况下，将所述触控操作对应的触控操作数据发送至所述头戴设备，以在所述头戴设备的显示屏上呈现所述触控操作在所述控制界面上的位置。
可选的，还包括：检测模块，用于检测所述触控操作对应的位置是否落在所述控制界面的预定控制按钮上；在所述位置处于所述预定控制按钮上的情况下，检测所述预定控制按钮对应位置的压力值是否大于预设压力阈值；执行模块，用于在所述压力值大于所述预设压力阈值的情况下，调整所述触控操作的颜色；所述发送模块，还用于将调整后的颜色数据发送至所述头戴设备，以在所述头戴设备的显示屏上呈现。
可选的，所述检测模块，还用于检测所述压力值大于所述预设压力阈值的触控操作的按压时间是否超过预设时间；所述发送模块，还用于在所述按压时间超过所述预设时间的情况下，通过所述头戴设备向所述被控制设备发送所述控制指令，以使所述被控制设备执行所述预定控制按钮对应的控制操作。
另一方面，本发明还提供一种头戴设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现上述数据交互方法的步骤。
另一方面，本发明还提供一种控制设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现上述数据交互方法的步骤。
通过本发明，用户可以根据头戴设备显示屏上触控操作的位置来调整在控制器上手指的触控位置，使得用户可以在佩戴头戴设备时盲操作控制器，系统性能大幅度提升，用户使用体验较好，解决了现有技术的如下问题：现有智能设备与VR/AR相结合使用时，用户需要使用智能设备控制VR/AR头戴设备对应的被控制设备，因此需要经常拿下VR/AR头戴设备间来操作智能设备，影响整个使用过程的感受，用户体验较差。
附图说明
图1是本发明第一实施例中数据交互方法的流程图；
图2是本发明第二实施例中数据交互方法的流程图；
图3是本发明第三实施例中数据交互装置的结构示意图；
图4是本发明第七实施例中AR界面及触点显示例图。
具体实施方式
为了解决现有技术的如下问题：现有智能设备与VR/AR相结合使用时，用户需要使用智能设备控制VR/AR头戴设备对应的被控制设备，因此需要经常拿下VR/AR头戴设备间来操作智能设备，影响整个使用过程的感受，用户体验较差；本发明提供了一种数据交互方法、装置、头戴设备和控制设备，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。
本发明第一实施例提供了一种数据交互方法，该方法的流程如图1所示，包括步骤S102至S106：
S102，头戴设备接收来自控制器的控制界面数据，并根据控制界面数据在头戴设备的显示屏的预定位置呈现控制器的控制界面。
本实施例的头戴设备是具有AR/VR功能的头戴设备，原有的头戴设备只是呈现被控制设备对应的图像，本实施例的头戴设备在接收控制器的信号时，还可以接收控制器的界面数据，并根据界面数据在头戴设备显示屏的预定位置呈现控制器上的控制界面。
具体实现时，上述的预定位置可以是在屏幕的左侧，也可以是在屏幕的下侧等，由于考虑到与控制器的控制界面保持一致，因此，优选按照控制器的控制界面上各个按钮的位置来等比例设置头戴设备显示的控制界面的各个按钮，例如，在头戴设备显示屏左下角按照1:1的比例显示控制器控制界面的按钮，或者，在头戴设备显示屏右侧按照2:1的比例显示控制器控制界面的按钮。
S104，在控制器接收到触控操作的情况下，头戴设备接收来自控制器的触控操作对应的触控操作数据。
当用户戴着头戴设备在操作控制器的控制界面时，控制器会将收到的触控操作实时的传送至头戴设备，此时，头戴设备就可以接收到用户的触控操作数据。
S106，头戴设备将触控操作数据在控制界面上的位置呈现在头戴设备的显示屏上，以指示用户根据位置调整触控操作在控制器上的位置。
头戴设备将触控操作数据在控制界面上的位置呈现在头戴设备的显示屏上，当用户在控制器的触控操作移动了位置，则头戴设备的显示屏上显示的触控操作位置也跟着变化。
通过上述方法，用户可以根据头戴设备显示屏上触控操作的位置来调整在控制器上手指的触控位置，使得用户可以在佩戴头戴设备时盲操作控制器，系统性能大幅度提升，用户使用体验较好，解决了现有技术的如下问题：现有智能设备与VR/AR相结合使用时，用户需要使用智能设备控制VR/AR头戴设备对应的被控制设备，因此需要经常拿下VR/AR头戴设备间来操作智能设备，影响整个使用过程的感受，用户体验较差。
在头戴设备将触控操作数据在控制界面上的位置呈现在头戴设备的显示屏上之后，控制器检测制界面的控制按钮接收到触发操作的压力值是否大于预设压力阈值。在控制器控制界面的控制按钮接收到触发操作的压力值大于预设压力阈值的情况下，控制器调整触控操作按钮的颜色，并向头戴设备发送触控操作颜色的颜色数据。头戴设备接收控制器发送的调整触控操作颜色的颜色数据，并根据颜色数据调整触控操作在头戴设备的显示屏上呈现的颜色。
在根据颜色数据调整触控操作在头戴设备的显示屏上呈现的颜色之后，控制器仍然在根据变化向头戴设备传送数据。
控制器检测控制按钮接收到压力值大于预设压力阈值的触发操作的时间是否超过预设时间。在控制按钮接收到压力值大于预设压力阈值的触发操作的时间超过预设时间的情况下，说明此时控制按钮被触发，此时，控制器向头戴设备发送用于控制被控制设备的控制指令。头戴设备接收来自控制器的控制指令，并将控制指令发送至被控制设备。
本发明第二实施例提供了一种数据交互方法，该方法的流程如图2所示，包括步骤S202至S204：
S202，在控制器与头戴设备建立连接后，控制器向头戴设备发送控制界面数据，以将控制器的控制界面呈现在头戴设备的显示屏上。
本实施例的头戴设备是具有AR/VR功能的头戴设备，原有的头戴设备只是呈现被控制设备对应的图像，本实施例的头戴设备在接收控制器的信号时，还可以接收控制器的界面数据，并根据界面数据在头戴设备显示屏的预定位置呈现控制器上的控制界面。
S204，控制器在接收到触控操作的情况下，将触控操作对应的触控操作数据发送至头戴设备，以在头戴设备的显示屏上呈现触控操作在控制界面上的位置。
当用户戴着头戴设备在操作控制器的控制界面时，控制器会将收到的触控操作实时的传送至头戴设备，此时，头戴设备就可以接收到用户的触控操作数据。头戴设备将触控操作数据在控制界面上的位置呈现在头戴设备的显示屏上，当用户在控制器的触控操作移动了位置，则头戴设备的显示屏上显示的触控操作位置也跟着变化。
在控制器将触控操作对应的触控操作数据发送至头戴设备之后，控制器进一步检测触控操作对应的位置是否落在控制界面的预定控制按钮上；在位置处于预定控制按钮上的情况下，检测预定控制按钮对应位置的压力值是否大于预设压力阈值。
在压力值大于预设压力阈值的情况下，调整触控操作的颜色，并将调整后的颜色数据发送至头戴设备，以在头戴设备的显示屏上呈现。
在控制器调整触控操作的颜色，并将调整后的颜色数据发送至头戴设备之后，还需要检测变化了颜色的触控操作对应位置的按钮是否被触发，则进一步检测压力值大于预设压力阈值的触控操作的按压时间是否超过预设时间；并在按压时间超过预设时间的情况下，控制器通过头戴设备向被控制设备发送控制指令，以使被控制设备执行预定控制按钮对应的控制操作。
本发明第三实施例提供了一种数据交互装置，该装置可以设置在头戴设备侧，该装置的结构示意如图3所示，包括：
接收模块10，用于接收来自控制器的控制界面数据，并根据控制界面数据在头戴设备的显示屏的预定位置呈现控制器的控制界面；在控制器接收到触控操作的情况下，接收来自控制器的触控操作对应的触控操作数据；呈现模块11，与接收模块10耦合，用于将触控操作数据在控制界面上的位置呈现在头戴设备的显示屏上，以指示用户根据位置调整触控操作在控制器上的位置。
本实施例的头戴设备是具有AR/VR功能的头戴设备，原有的头戴设备只是呈现被控制设备对应的图像，本实施例的数据交互装置在接收控制器的信号时，还可以接收控制器的界面数据，并根据界面数据在头戴设备显示屏的预定位置呈现控制器上的控制界面。
当用户戴着头戴设备在操作控制器的控制界面时，控制器会将收到的触控操作实时的传送至数据交互装置，此时，数据交互装置可以使头戴设备就可以接收到用户的触控操作数据。
具体实现时，上述的预定位置可以是在屏幕的左侧，也可以是在屏幕的下侧等，由于考虑到与控制器的控制界面保持一致，因此，优选按照控制器的控制界面上各个按钮的位置来等比例设置头戴设备显示的控制界面的各个按钮，例如，在头戴设备显示屏左下角按照1:1的比例显示控制器控制界面的按钮，或者，在头戴设备显示屏右侧按照2:1的比例显示控制器控制界面的按钮。
在呈现模块将触控操作数据在控制界面上的位置呈现在头戴设备的显示屏上，当用户在控制器的触控操作移动了位置，则头戴设备的显示屏上显示的触控操作位置也跟着变化。
具体实现时，上述接收模块，还用于在控制器控制界面的控制按钮接收到触发操作的压力值大于预设压力阈值的情况下，接收控制器发送的调整触控操作颜色的颜色数据；呈现模块，还用于根据颜色数据调整触控操作在头戴设备的显示屏上呈现的颜色。
上述接收模块，还用于在控制按钮接收到压力值大于预设压力阈值的触发操作的时间超过预设时间的情况下，接收来自控制器的控制指令，并将控制指令发送至被控制设备。
通过上述装置，用户可以根据头戴设备显示屏上触控操作的位置来调整在控制器上手指的触控位置，使得用户可以在佩戴头戴设备时盲操作控制器，系统性能大幅度提升，用户使用体验较好，解决了现有技术的如下问题：现有智能设备与VR/AR相结合使用时，用户需要使用智能设备控制VR/AR头戴设备对应的被控制设备，因此需要经常拿下VR/AR头戴设备间来操作智能设备，影响整个使用过程的感受，用户体验较差。
本发明第四实施例还提供了一种数据交互装置，该装置可以设置在控制设备中，例如设置在移动终端中，包括：
发送模块，用于在控制器与头戴设备建立连接后，向头戴设备发送控制界面数据，以将控制器的控制界面呈现在头戴设备的显示屏上；在接收到触控操作的情况下，将触控操作对应的触控操作数据发送至头戴设备，以在头戴设备的显示屏上呈现触控操作在控制界面上的位置。
上述装置还包括：检测模块，用于检测触控操作对应的位置是否落在控制界面的预定控制按钮上；在位置处于预定控制按钮上的情况下，检测预定控制按钮对应位置的压力值是否大于预设压力阈值；执行模块，与检测模块和发送模块耦合，用于在压力值大于预设压力阈值的情况下，调整触控操作的颜色；发送模块，还用于将调整后的颜色数据发送至头戴设备，以在头戴设备的显示屏上呈现。
具体的，上述检测模块，还用于检测压力值大于预设压力阈值的触控操作的按压时间是否超过预设时间；上述发送模块，还用于在按压时间超过预设时间的情况下，通过头戴设备向被控制设备发送控制指令，以使被控制设备执行预定控制按钮对应的控制操作。
本发明第五实施例还提供了一种头戴设备，至少包括存储器、处理器，存储器上存储有计算机程序，处理器在执行存储器上的计算机程序时实现如下步骤：
S1，接收来自控制器的控制界面数据，并根据控制界面数据在头戴设备的显示屏的预定位置呈现控制器的控制界面；
S2，在控制器接收到触控操作的情况下，接收来自控制器的触控操作对应的触控操作数据；
S3，将触控操作数据在控制界面上的位置呈现在头戴设备的显示屏上，以指示用户根据位置调整触控操作在控制器上的位置。
处理器在执行存储器上的将触控操作数据在控制界面上的位置呈现在头戴设备的显示屏上的计算机程序之后，还执行如下步骤：在控制器控制界面的控制按钮接收到触发操作的压力值大于预设压力阈值的情况下，接收控制器发送的调整触控操作颜色的颜色数据，并根据颜色数据调整触控操作在头戴设备的显示屏上呈现的颜色。
处理器在执行存储器上的根据颜色数据调整触控操作在头戴设备的显示屏上呈现的颜色的计算机程序之后，还执行如下步骤：在控制按钮接收到压力值大于预设压力阈值的触发操作的时间超过预设时间的情况下，接收来自控制器的控制指令，并将控制指令发送至被控制设备。
本发明第六实施例提供了一种控制设备，至少包括存储器、处理器，存储器上存储有计算机程序，处理器在执行存储器上的计算机程序时实现如下步骤：
S11，在控制器与头戴设备建立连接后，向头戴设备发送控制界面数据，以将控制器的控制界面呈现在头戴设备的显示屏上；
S12，在控制器接收到触控操作的情况下，将触控操作对应的触控操作数据发送至头戴设备，以在头戴设备的显示屏上呈现触控操作在控制界面上的位置。
处理器在执行存储器上的将触控操作对应的触控操作数据发送至头戴设备的计算机程序之后，还执行如下步骤：
检测触控操作对应的位置是否落在控制界面的预定控制按钮上；在位置处于预定控制按钮上的情况下，检测预定控制按钮对应位置的压力值是否大于预设压力阈值；
在压力值大于预设压力阈值的情况下，调整触控操作的颜色，并将调整后的颜色数据发送至头戴设备，以在头戴设备的显示屏上呈现。
处理器在执行存储器上的调整触控操作的颜色、并将调整后的颜色数据发送至头戴设备的计算机程序之后，还执行如下步骤：
检测压力值大于预设压力阈值的触控操作的按压时间是否超过预设时间；在按压时间超过预设时间的情况下，通过头戴设备向被控制设备发送控制指令，以使被控制设备执行预定控制按钮对应的控制操作。
现有应用于市场的，对VR场景主体移动的控制方式也不是很成熟。比如，以固定的移动路线控制场景变换，给予用户类似座观光车般的体验；或者需要其它复杂外接设备，以感知用户在现实中的移动方位，映射到VR场景中。现在家装市场和房地产市场上，有将VR技术应用于展示装饰样板间的例子。不过大多只能使用户在VR样板间的固定位置观看四周，并不能随意移动。在这种场景下，VR展示设备不能过于复杂，操作难度也需较低，能让用户快速上手进行体验。本实施例提供的数据交互方法可以满足上述需求。
针对以上问题，本发明第七实施例提出一种在VR/AR场景下对操控对象进行移动控制的数据交互方法，该方法将控制设备(例如手机)的显示屏幕投影到AR界面中，用户将能在飞行的同时，时刻掌握无人机的飞行状态信息。然后利用压力感知技术，实现用户在不摘AR设备的状态下，完成对控制设备的点击操作，实现全程不看控制设备的盲操；并且通过点击压力阈值的设置，将有效提高无人机飞行的安全性能，提升用户体验。
本实施例在实现时，将控制设备的控制界面和用户与控制屏幕的触点同时投影到VR/AR视角中，通过压感和长按区分触发点击和非触发接触，即能使用户在不看控制设备屏幕的情况下，快速点击到目标按键，也能极大程度上避免误点，消除安全隐患。上述方法的具体使用包括如下过程：
首先，开启设备，完成相关设备的关联操作；其次，佩戴VR/AR头显(头戴设备)，察看VR/AR场景界面与控制设备界面是否均已显示在VR/AR设备中；最后，若均正常显示，手指触摸控制屏幕，观察触摸点与目标点的位置偏离，快速调整到目标点，长时重压触发操作。
进一步，控制界面上还可以显示主体在场景中的速度、方向等信息，手持设备控制主体的位置移动，VR/AR设备控制场景中观看角度的变化。
下面主要以无人机控制为例，说明上述方法在实现时涉及到的各个设备的配置以及数据传输方式。
VR/AR设备(即头戴设备)兼顾基站的功能，其上有两根天线，一根使用2.4GHz频段的WiFi信号与控制设备(如手机)相连，另一根使用5.8GHz频段信号与无人机进行信号传输。当控制设备、无人机与VR/AR设备对频连接成功后对应指示灯亮起。
控制设备与VR/AR设备间传递的信息主要包括：操控界面各按钮状态、触点位置、按压力度以及时间。VR/AR设备获取这些信息以后即可在其界面中生成与控制设备同步的控制界面。
无人机与VR/AR设备间的传输数据有：VR/AR设备向无人机传输用户指定的飞行控制信息，无人机会向VR/AR设备传回实时拍摄图像信息，飞行高度、速度等信息，并显示到VR/AR界面和手机界面中。
当一切显示正常时，无人机起飞。
由于已经将控制设备的操控界面和手指与屏幕的触点投射到VR/AR设备界面中。因此，在用户开启无人机AR模式时，AR镜头中不仅显示无人机摄像头返回的航拍视频，还要在界面四周显示出手机上的各个控制按钮，如起飞、降落、悬停和无人机飞行方向控制条等；同时手指与手机屏幕的触点也需要同步显示到界面的对映位置。如图4中显示，图中触点为纯白色圆形。
当手指在控制设备屏幕上滑动时，VR/AR视角中的触点也将随之同步移动。
操控按钮和触点都对映手机界面中的位置同步显示到AR界面中，触点随手指移动而移动，操作者根据按钮在手机屏幕上的大概位置点中屏幕，观察触点与目标按钮的位置差距，再稍作移动触点即可准确调整到目标按钮上。界面中显示的触点颜色可以根据手指的压力大小调整透明度，压力越大显示越清晰，这样触点移动对航拍视频的显示影响较小。
触点移至目标按钮上后，重压并长按该按钮触发操作。
设定压力触发阈值和长按时长触发阈值。当手指在屏幕上移动时，一般压力不大不会超过压力触发阈值，此时触点可显示为具有一定透明度的白色。当重压屏幕，压力超过压力触发阈值时，触点颜色变为红色。如此时触点在某按钮上，则开始计算重压时长是否超过长按时长触发阈值，超时才触发该按钮功能，如起飞、下降、转向等功能。如触点没在功能按钮上，则不触发任何功能，操作者发现红色触点后，即会调整压力或抬起手指，避免误操作的出现。
在上述方法应用于控制带AR功能智能设备时，用户将无人机、手机和AR眼镜开机；利用手机WiFi与AR眼镜进行配对连接，无人机与AR眼镜自动连接，连接成功后指示灯亮起。用户佩戴AR眼镜，能够看到镜头中显示的手机控制界面与手指触点，移动手指以完成起飞、指点飞行等操作，飞行稳定后也可切换至体感飞行模式，进行体感操作，如AR眼镜上装有前置摄像头，也能切换回第一人称视角，在此视角中控制界面依然显示，让用户在各种情况下都能观看无人机的飞行数据。
在上述方法应用于VR场景时，例如家装市场和房地产市场，若使用本方案，除VR设备外，仅需增加一台具备压感功能的手机，即可实现用户在VR场景下的随意走动，并且操作简便易学易会。
使用本实施例的方法，可以使用户在VR/AR场景下，很方便的实现对操控对象的移动控制；通过压力感知和长按的双重控制，可以极大程度上避免误点击操作的发生。若应用于无人机飞行的场景，可提高无人机的安全性。
尽管为示例目的，已经公开了本发明的优选实施例，本领域的技术人员将意识到各种改进、增加和取代也是可能的，因此，本发明的范围应当不限于上述实施例。
Claims (10)
1.一种数据交互方法，其特征在于，包括：
头戴设备接收来自控制器的控制界面数据，并根据所述控制界面数据在所述头戴设备的显示屏的预定位置呈现所述控制器的控制界面；其中，所述头戴设备的显示屏还呈现被控制设备对应的图像；
在所述控制器接收到触控操作的情况下，所述头戴设备接收来自所述控制器的所述触控操作对应的触控操作数据；
所述头戴设备将所述触控操作数据在所述控制界面上的位置呈现在所述头戴设备的显示屏上，以指示用户根据所述位置调整所述触控操作在所述控制器上的位置；
所述头戴设备将所述触控操作数据在所述控制界面上的位置呈现在所述头戴设备的显示屏上之后，还包括：
在所述控制器控制界面的控制按钮接收到触发操作的压力值大于预设压力阈值的情况下，所述头戴设备接收所述控制器发送的调整所述触控操作颜色的颜色数据，并根据所述颜色数据调整触控操作在所述头戴设备的显示屏上呈现的颜色。
2.如权利要求1所述的数据交互方法，其特征在于，根据所述颜色数据调整触控操作在所述头戴设备的显示屏上呈现的颜色之后，还包括：
在所述控制按钮接收到压力值大于所述预设压力阈值的触发操作的时间超过预设时间的情况下，所述头戴设备接收来自所述控制器的与所述控制按钮对应的控制指令，并将所述控制指令发送至被控制设备。
3.一种数据交互方法，其特征在于，包括：
在控制器与头戴设备建立连接后，所述控制器向所述头戴设备发送控制界面数据，以将所述控制器的控制界面呈现在所述头戴设备的显示屏上；其中，所述头戴设备的显示屏还呈现被控制设备对应的图像；
所述控制器在接收到触控操作的情况下，将所述触控操作对应的触控操作数据发送至所述头戴设备，以在所述头戴设备的显示屏上呈现所述触控操作在所述控制界面上的位置；
将所述触控操作对应的触控操作数据发送至所述头戴设备之后，还包括：
所述控制器检测所述触控操作对应的位置是否落在所述控制界面的预定控制按钮上；
在所述位置处于所述预定控制按钮上的情况下，检测所述预定控制按钮对应位置的压力值是否大于预设压力阈值；
在所述压力值大于所述预设压力阈值的情况下，调整所述触控操作的颜色，并将调整后的颜色数据发送至所述头戴设备，以在所述头戴设备的显示屏上呈现。
4.如权利要求3所述的数据交互方法，其特征在于，调整所述触控操作的颜色，并将调整后的颜色数据发送至所述头戴设备之后，还包括：
检测所述压力值大于所述预设压力阈值的触控操作的按压时间是否超过预设时间；
在所述按压时间超过所述预设时间的情况下，所述控制器通过所述头戴设备向所述被控制设备发送与所述预定控制按钮对应的控制指令，以使所述被控制设备执行所述预定控制按钮对应的控制操作。
5.一种数据交互装置，其特征在于，包括：
接收模块，用于接收来自控制器的控制界面数据，并根据所述控制界面数据在头戴设备的显示屏的预定位置呈现所述控制器的控制界面；在所述控制器接收到触控操作的情况下，接收来自所述控制器的所述触控操作对应的触控操作数据；其中，所述头戴设备的显示屏还呈现被控制设备对应的图像；
呈现模块，用于将所述触控操作数据在所述控制界面上的位置呈现在所述头戴设备的显示屏上，以指示用户根据所述位置调整所述触控操作在所述控制器上的位置；
所述接收模块，还用于在所述控制器控制界面的控制按钮接收到触发操作的压力值大于预设压力阈值的情况下，接收所述控制器发送的调整所述触控操作颜色的颜色数据；
所述呈现模块，还用于根据所述颜色数据调整触控操作在所述头戴设备的显示屏上呈现的颜色。
6.如权利要求5所述的数据交互装置，其特征在于，
所述接收模块，还用于在所述控制按钮接收到压力值大于所述预设压力阈值的触发操作的时间超过预设时间的情况下，接收来自所述控制器的与所述控制按钮对应的控制指令，并将所述控制指令发送至被控制设备。
7.一种数据交互装置，其特征在于，包括：
发送模块，用于在控制器与头戴设备建立连接后，向所述头戴设备发送控制界面数据，以将所述控制器的控制界面呈现在所述头戴设备的显示屏上；其中，所述头戴设备的显示屏还呈现被控制设备对应的图像；在接收到触控操作的情况下，将所述触控操作对应的触控操作数据发送至所述头戴设备，以在所述头戴设备的显示屏上呈现所述触控操作在所述控制界面上的位置；
检测模块，用于检测所述触控操作对应的位置是否落在所述控制界面的预定控制按钮上；在所述位置处于所述预定控制按钮上的情况下，检测所述预定控制按钮对应位置的压力值是否大于预设压力阈值；
执行模块，用于在所述压力值大于所述预设压力阈值的情况下，调整所述触控操作的颜色；
所述发送模块，还用于将调整后的颜色数据发送至所述头戴设备，以在所述头戴设备的显示屏上呈现。
8.如权利要求7所述的数据交互装置，其特征在于，
所述检测模块，还用于检测所述压力值大于所述预设压力阈值的触控操作的按压时间是否超过预设时间；
所述发送模块，还用于在所述按压时间超过所述预设时间的情况下，通过所述头戴设备向所述被控制设备发送与所述预定控制按钮对应的控制指令，以使所述被控制设备执行所述预定控制按钮对应的控制操作。
9.一种头戴设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器在执行所述存储器上的计算机程序时实现权利要求1至2中任一项所述数据交互方法的步骤。
10.一种控制设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器在执行所述存储器上的计算机程序时实现权利要求3至4中任一项所述数据交互方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710464410.5A CN109144378B (zh) | 2017-06-19 | 2017-06-19 | 数据交互方法、装置、头戴设备和控制设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710464410.5A CN109144378B (zh) | 2017-06-19 | 2017-06-19 | 数据交互方法、装置、头戴设备和控制设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109144378A CN109144378A (zh) | 2019-01-04 |
| CN109144378B true CN109144378B (zh) | 2023-07-07 |
Family
ID=64804517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710464410.5A Active CN109144378B (zh) | 2017-06-19 | 2017-06-19 | 数据交互方法、装置、头戴设备和控制设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109144378B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111340962B (zh) * | 2020-02-24 | 2023-08-15 | 维沃移动通信有限公司 | 控制方法、电子设备及存储介质 |
| WO2022134301A1 (zh) * | 2020-12-25 | 2022-06-30 | 深圳市大疆创新科技有限公司 | 无人机及其控制方法、系统、手持控制设备、头戴设备 |
| CN113741772A (zh) * | 2021-08-30 | 2021-12-03 | 北京乐驾科技有限公司 | 适用于ar眼镜的控制方法及系统 |
| US11927752B2 (en) | 2022-02-16 | 2024-03-12 | Htc Corporation | Control method and mobile device in immersive system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103076678A (zh) * | 2011-10-26 | 2013-05-01 | 索尼公司 | 头戴式显示器和显示控制方法 |
| CN105411168A (zh) * | 2015-12-04 | 2016-03-23 | 上海斐讯数据通信技术有限公司 | 牙刷装置、牙膏自动推挤方法及系统 |
| CN105867609A (zh) * | 2015-12-28 | 2016-08-17 | 乐视移动智能信息技术（北京）有限公司 | 基于虚拟现实头盔观看视频的方法和装置 |
| CN106094203A (zh) * | 2016-06-16 | 2016-11-09 | 捷开通讯(深圳)有限公司 | Vr系统、用于控制vr设备的穿戴设备及其方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8789212B2 (en) * | 2011-09-13 | 2014-07-29 | Robert E. Cleva | Protective athletic headwear with open top |
-
2017
- 2017-06-19 CN CN201710464410.5A patent/CN109144378B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103076678A (zh) * | 2011-10-26 | 2013-05-01 | 索尼公司 | 头戴式显示器和显示控制方法 |
| CN105411168A (zh) * | 2015-12-04 | 2016-03-23 | 上海斐讯数据通信技术有限公司 | 牙刷装置、牙膏自动推挤方法及系统 |
| CN105867609A (zh) * | 2015-12-28 | 2016-08-17 | 乐视移动智能信息技术（北京）有限公司 | 基于虚拟现实头盔观看视频的方法和装置 |
| CN106094203A (zh) * | 2016-06-16 | 2016-11-09 | 捷开通讯(深圳)有限公司 | Vr系统、用于控制vr设备的穿戴设备及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109144378A (zh) | 2019-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11385645B2 (en) | Remote control method and terminal | |
| CN109144378B (zh) | 数据交互方法、装置、头戴设备和控制设备 | |
| US10972668B2 (en) | Display device and control method for display device | |
| EP2959352B1 (en) | Remote control method and terminal | |
| EP3360022B1 (en) | Method for displaying image and electronic device thereof | |
| US11025826B2 (en) | Display system, display device, and control method for display device | |
| KR102449439B1 (ko) | Hmd를 이용한 무인기 조종 장치 | |
| JP4012749B2 (ja) | 遠隔操縦システム | |
| CN113359807A (zh) | 一种无人机第一视角飞行的控制方法及系统、智能眼镜 | |
| Higuchi et al. | Flying head: A head-synchronization mechanism for flying telepresence | |
| CN113448343B (zh) | 用于设定飞行器的目标飞行路径的方法、系统和可读介质 | |
| US20220350330A1 (en) | Remote control method and terminal | |
| WO2017169841A1 (ja) | 表示装置および表示制御方法 | |
| JP7482923B2 (ja) | 無人航空機の制御装置およびその制御方法 | |
| CN108475064B (zh) | 用于设备控制的方法、设备和计算机可读存储介质 | |
| KR20180025416A (ko) | 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템 및 방법 | |
| US20230341875A1 (en) | Unmanned aerial vehicle, control method and control system thereof, handheld control device, and head-mounted device | |
| KR20170093389A (ko) | 무인 비행체 제어 방법 | |
| KR101973174B1 (ko) | 제스처 인식 기반 무인기 제어 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |