CN110362231A - 抬头触控设备、图像显示的方法及装置 - Google Patents

抬头触控设备、图像显示的方法及装置 Download PDF

Info

Publication number
CN110362231A
CN110362231A CN201910631006.1A CN201910631006A CN110362231A CN 110362231 A CN110362231 A CN 110362231A CN 201910631006 A CN201910631006 A CN 201910631006A CN 110362231 A CN110362231 A CN 110362231A
Authority
CN
China
Prior art keywords
touch
new line
control device
target object
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910631006.1A
Other languages
English (en)
Other versions
CN110362231B (zh
Inventor
马斌
王地宝
范兵
任军
闫龙阁
刘璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910631006.1A priority Critical patent/CN110362231B/zh
Publication of CN110362231A publication Critical patent/CN110362231A/zh
Application granted granted Critical
Publication of CN110362231B publication Critical patent/CN110362231B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

本发明公开了一种抬头触控设备、图像显示的方法及装置。其中，该实施例中的抬头触控设备的采集部件用于采集目标对象未接触到触摸屏时的悬空数据；触摸屏用于采集触摸信号；微控制器用于接收悬空数据，并根据该悬空数据计算出该目标对象的悬空位置；还用于检测触摸信号，并根据检测到的该触摸信号获取该目标对象的触摸位置；传输部件用于将以下至少一种信号传输至第三方设备：该悬空位置、该触摸信号、该触摸位置。实现了对操控屏幕的目标对象的全面采集，第三方设备可以相应的显示目标对象的位置，进而解决了相关技术中由于无法全面采集操控屏幕的目标对象的位置造成的无法将目标对象进行屏幕显示的技术问题。

Description

抬头触控设备、图像显示的方法及装置
技术领域
本发明涉及图像显示领域，具体而言，涉及一种抬头触控设备、图像显示的方法及装置。
背景技术
相关技术中，手机设备等移动终端投屏到大屏幕时，需要低头注视手机屏幕来进行操作，即用户无法通过直接观看大屏幕准确的控制手机设备上的运行的游戏或者其他应用程序。
相关技术中存在用于演示文稿Microsoft Office PowerPoint(又称为PPT)演示的空中鼠标方案，通过触控和按键的结合也能实现一定程度的抬头触摸。这种设备的缺陷在于手指必须始终按压触控设备，移动到目标坐标后，通过按键触摸来模拟触摸屏上的单机操作。空中鼠标方案存在以下缺点：改变了触控操作的习惯；相关技术中用户在手机上操作时，只有在需要点击时才按压屏幕，而空中鼠标必须始终按压屏幕，同时空中鼠标不支持多点触控。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种抬头触控设备、图像显示的方法及装置，以至少解决相关技术中由于无法全面采集操控屏幕的目标对象的位置造成的无法将目标对象进行屏幕显示的技术问题。
根据本发明实施例的一个方面，提供了一种抬头触控HUT设备，包括：采集部件，与控制电路板电连接，用于采集目标对象未接触到触摸屏时的悬空数据；所述触摸屏，设置在所述采集部件和所述控制电路板之间，与所述控制电路板电连接，用于采集触摸信号；所述控制电路板上设置有微控制器，用于分别控制所述采集部件和所述触摸屏，还用于接收所述采集部件反馈的所述目标对象的悬空数据，并根据所述悬空数据计算出所述目标对象的悬空位置；还用于检测所述触摸屏采集到的所述触摸信号，并根据检测到的所述触摸信号获取所述目标对象的触摸位置；传输部件，与所述微控制器电连接，用于将以下至少一种信号传输至运行有终端应用客户端的第三方设备：所述悬空位置、所述触摸信号、所述触摸位置，所述终端应用客户端用于控制虚拟对象完成在虚拟场景中设置的目标任务。
可选地，所述采集部件为红外触摸部件，所述红外触摸部件与控制电路板电连接，包括红外发射管和红外接收管，所述红外发射管用于发出红外光，所述红外接收管用于接收红外光，所述红外发射管位于所述红外接收管的相对位置；所述微控制器，还用于根据所述红外接收管接收到的红外光的强度计算电压值，并根据所述电压值确定所述目标对象所在的悬空位置。
可选地，所述红外触摸部件为框架结构，包括四条边框，所述四条边框中任一边框的任一位置中设置有红外发射管时，其正对边框的对应位置设置有红外接收管。
可选地，所述微控制器还用于在接收到所述悬空位置和/或所述触摸位置时，将所述悬空位置和/或所述触摸位置转换为二维向量，并传输所述二维向量至所述第三方设备。
可选地，所述采集部件为摄像头，所述摄像头与所述控制电路板电连接，用于采集目标对象未接触到所述触摸屏时的悬空图像；所述微控制器，还用于控制所述摄像头，以及接收来自所述摄像头采集的悬空图像，并计算出所述悬空图像中所述目标对象所在的悬空位置。
根据本申请的另一个实施例，还提供了一种信息传输的方法，包括：抬头触控HUT设备连接至第三方设备，其中，所述HUT设备具有控制所述第三方设备的权限；在所述HUT设备检测到触摸信号时，将所述触摸信号和对应触摸位置传输至所述第三方设备；在所述HUT设备未检测到所述触摸信号，但检测到与所述HUT设备关联的空间区域内存在目标对象时，采集所述目标对象所在的悬空位置，并将所述悬空位置传输至所述第三方设备。
可选地，所述第三方设备为移动终端，在所述HUT设备检测到触摸信号时，将所述触摸信号和对应触摸位置传输至所述移动终端，其中，所述移动终端将所述触摸位置同步显示至所述外接显示器；在所述HUT设备未检测到所述触摸信号，但检测到与所述HUT设备关联的空间区域内存在目标对象时，采集所述目标对象所在的悬空位置，并将所述悬空位置传输至所述移动终端，其中，所述移动终端将所述悬空位置同步显示至所述外接显示器。
可选地，所述第三方设备为虚拟现实VR或增强现实AR设备，所述VR或AR设备投影出虚拟键盘；在所述HUT设备接收到触摸信号时，传输所述触摸信号和触摸位置至所述AR或VR设备，其中，所述AR或VR设备将所述触摸位置投影至所述虚拟键盘上；在所述HUT设备未接收到触摸信号，但检测到与所述HUT设备关联的空间区域内存在目标对象时，采集所述目标对象所在的悬空位置，并传输所述悬空位置至所述AR或VR设备，其中，所述AR或VR设备将所述悬空位置映射至所述虚拟键盘上。
可选地，所述HUT设备通过内置触摸屏检测触摸信号，通过红外触摸部件获取所述目标对象所在的悬空位置，或者，通过摄像头获取所述目标对象所在的悬空位置。
根据本申请的另一个实施例，还提供了一种图像显示的方法，包括：移动终端连接至HUT设备，所述HUT设备具有控制所述移动终端的权限，所述移动终端将界面内容同步显示至外接显示器；接收到所述HUT设备传输的触摸信号和对应触摸位置，依据所述触摸信号控制运行于所述移动终端上的应用客户端，并同步显示所述触摸位置至所述外接显示器；接收到所述HUT设备传输的目标对象的悬空位置，并将所述悬空位置同步显示至所述外接显示器。
根据本申请的另一个实施例，还提供了一种图像显示的方法，包括：VR或AR设备连接至HUT设备，所述HUT设备具有控制所述VR或AR设备的权限，所述VR或AR设备投影出虚拟键盘；在接收到所述HUT设备传输的触摸信号和对应触摸位置时，依据所述触摸信号控制运行于所述VR或AR设备上的应用客户端，并将所述触摸位置投影至所述虚拟键盘上；在接收到所述HUT设备传输的目标对象的悬空位置时，将所述悬空位置映射至所述虚拟键盘上。
根据本申请的另一个实施例，还提供了一种信息传输的装置，应用于抬头触控HUT设备，包括：第一连接模块，用于连接至第三方设备，其中，所述HUT设备具有控制所述第三方设备的权限；第一传输模块，用于在检测到触摸信号时，将所述触摸信号和对应触摸位置传输至所述第三方设备；第二传输模块，用于在未检测到所述触摸信号，但检测到与所述HUT设备关联的空间区域内存在目标对象时，采集所述目标对象所在的悬空位置，并将所述悬空位置传输至所述第三方设备。
可选地，所述第三方设备为移动终端，所述第一传输模块还用于在检测到触摸信号时，将所述触摸信号和对应触摸位置传输至所述移动终端，其中，所述移动终端将所述触摸位置同步显示至所述外接显示器；所述第二传输模块还用于在未检测到所述触摸信号，但检测到与所述HUT设备关联的空间区域内存在目标对象时，采集所述目标对象所在的悬空位置，并将所述悬空位置传输至所述移动终端，其中，所述移动终端将所述悬空位置同步显示至所述外接显示器。
可选地，所述第三方设备为虚拟现实VR或增强现实AR设备，所述VR或AR设备投影出虚拟键盘；所述第一传输模块还用于在检测到触摸信号时，传输所述触摸信号和触摸位置至所述AR或VR设备，其中，所述AR或VR设备将所述触摸位置投影至所述虚拟键盘上；所述第二传输模块还用于在未检测到触摸信号，但检测到与所述HUT设备关联的空间区域内存在目标对象时，采集所述目标对象所在的悬空位置，并传输所述悬空位置至所述AR或VR设备，其中，所述AR或VR设备将所述悬空位置映射至所述虚拟键盘上。
可选地，所述装置还包括内置触摸屏、红外触摸部件和/或摄像头，所述内置触摸屏用于检测触摸信号，所述红外触摸部件用于阵获取所述目标对象所在的悬空位置，或者，所述摄像头用于获取所述目标对象所在的悬空位置。
根据本申请的另一个实施例，还提供了一种图像显示的装置，应用于移动终端，所述移动终端将界面内容同步显示至外接显示器，该装置包括：第二连接模块，用于连接至HUT设备，所述HUT设备具有控制所述移动终端的权限；第一接收模块，用于接收到所述HUT设备传输的触摸信号和对应触摸位置，以及用于依据所述触摸信号控制运行于所述移动终端上的应用客户端，并同步显示所述触摸位置至所述外接显示器；第二接收模块，用于接收到所述HUT设备传输的目标对象的悬空位置，并将所述悬空位置同步显示至所述外接显示器。
根据本申请的另一个实施例，还提供了一种图像显示的装置，应用于VR或AR设备，所述VR或AR设备投影出虚拟键盘，该装置包括：第三连接模块，用于连接至HUT设备，所述HUT设备具有控制所述VR或AR设备的权限；第三接收模块，用于在接收到所述HUT设备传输的触摸信号和对应触摸位置时，依据所述触摸信号控制运行于所述VR或AR设备上的应用客户端，并将所述触摸位置投影至所述虚拟键盘上；第四接收模块，用于在接收到所述HUT设备传输的目标对象的悬空位置时，将所述悬空位置映射至所述虚拟键盘上。
根据本发明实施例的又一方面，还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项实施例所述的方法。
根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述任一项所述的方法。
在本发明实施例中，设置了一种抬头触控HUT设备，该HUT设备包括采集部件，触摸屏，微控制器，控制电路板，传输部件，采集部件用于采集目标对象未接触到触摸屏时的悬空数据；该触摸屏用于采集触摸信号；该控制电路板上设置的微控制器用于分别控制该采集部件和该触摸屏，还用于接收该采集部件反馈的该目标对象的悬空数据，并根据该悬空数据计算出该目标对象的悬空位置；还用于检测该触摸屏采集到的该触摸信号，并根据检测到的该触摸信号获取该目标对象的触摸位置；传输部件用于将以下至少一种信号传输至运行有终端应用客户端的第三方设备：该悬空位置、该触摸信号、该触摸位置，该终端应用客户端用于控制虚拟对象完成在虚拟场景中设置的目标任务。采用上述方案，HUT设备的触摸屏可以采集用户手指的触摸位置，采集部件可以采集用户手指未接触触摸屏时的悬空位置，实现了对操控屏幕的目标对象的全面采集，HUT设备将触摸位置或悬空位置发送给第三方设备，第三方设备可以相应的显示目标对象的位置，进而解决了相关技术中由于无法全面采集操控屏幕的目标对象的位置造成的无法将目标对象进行屏幕显示的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据相关技术中的手游场景的示意图；
图2是根据相关技术中的手机外接显示器的示意图；
图3是根据本申请实施例中抬头触控的场景示意图；
图4是根据本申请实施例的抬头触控系统的架构示意图；
图5是根据本申请实施例的HUT的组成结构示意图；
图6是根据本申请实施例中的红外矩阵的示意图；
图7是根据本申请实施例的信息传输的方法流程图；
图8是根据本申请实施例的一种图像显示的方法流程图；
图9是根据本申请实施例的图像显示的方法流程图；
图10是根据本申请实施例的触控终端的示意图；
图11是根据本申请实施例的悬空定位示意图；
图12是根据本申请实施例的中的红外触控部件的装置结构图；
图13是根据本申请实施例的一种信息传输装置的结构示意图；
图14是根据本申请实施例的图像显示装置的结构示意图；
图15是根据本申请实施例的图像显示装置的结构示意图；
图16是根据本申请实施例的电子装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面对本申请实施例中的术语进行相应的说明。
抬头触控(Head Up Touch，简称为HUT)；
热区：用户交互(User Interface，简称为UI)界面上响应触发的区域；
盲操：用户操作UI界面时，手处于视野之外的操作方式；
手眼分离：眼睛看不到手指的动作；
投屏：手机等电子设备通过高清多媒体接口(High Definition MultimediaInterface，简称为HDMI)或无线等方式把屏幕图像同步显示在另外一块显示器上；
主机游戏：又叫console game或电视游戏，包含掌机游戏和家用机游戏。通常是指使用电视屏幕为显示器，在电视上执行家用主机的游戏
手游：是指运行于手机上的游戏软件；
手游主机化：是指在大屏幕上玩手机游戏，通过将手机投屏到大屏幕如电视机上进行游戏的方式。
在本申请实施例中，以手机游戏为例进行说明。图1是根据相关技术中的手游场景的示意图，如图1所示，用户通过触摸手机屏幕来完成游戏控制。相关技术中用户可以将手机屏幕外接显示器，图2是根据相关技术中的手机外接显示器的示意图，如图2所示，虽然连接有外接显示器，但是外接显示器上并未显示有用户的手指位置，用户仍然需要盯着手机屏幕进行操作，外接显示器可能更多的用于其他观众来观看。
针对上述问题，本发明中介绍了一种基于手指追踪和视觉反馈的抬头触摸输入设备。图3是根据本申请实施例中抬头触控的场景示意图，如图3所示，手机设备投屏到大屏幕时，HUT采集到手指的坐标位置，传输给手机，手机将手指的坐标映射到UI层并同步显示至外接屏幕，提供手指动作的视觉反馈，从而解决抬头操作时的手眼分离问题。给手游玩家带来主机游戏的体验。HUT设计的用以是让用户使用大屏幕操作时，不需要低头看到手指和触摸屏，始终保持抬头的姿势，降低低头和抬头之间忽略屏幕信息以及眼睛焦点不断调整产生的不适。
可选地，在本实施例中，抬头操控方法可以但不限于应用于第三方设备和HUT设备之间。上述应用客户端可以但不限于运行在第三方设备中，该第三方设备可以但不限于为手机、平板电脑、笔记本电脑、PC机等支持运行应用客户端的终端设备。上述HUT设备和第三方设备可以但不限于通过网络实现数据交互，上述网络可以包括但不限于无线网络或有线网络。其中，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于：广域网、城域网、局域网。上述仅是一种示例，本实施例中对此不作任何限定。
根据本申请实施例的方案，提供了一种抬头触控的系统，图4是根据本申请实施例的抬头触控系统的架构示意图，如图4所示，该系统40包括HUT设备402，第三方设备404，外接显示器406：
HUT设备402可以包括采集部件502、触摸屏504、微控制器506和传输部件508，采集部件502用于采集目标对象未接触到触摸屏504时的悬空数据；该触摸屏504用于采集触摸信号；微控制器506，用于分别控制该采集部件502和该触摸屏504，还用于接收该采集部件502反馈的该目标对象的悬空数据，并根据该悬空数据计算出该目标对象的悬空位置；还用于检测该触摸屏504采集到的该触摸信号，并根据检测到的该触摸信号获取该目标对象的触摸位置；传输部件508，与该微控制器506电连接，用于将以下至少一种信号传输至运行有终端应用客户端的第三方设备：该悬空位置、该触摸信号、该触摸位置。
第三方设备404连接至HUT设备402，第三方设备连接至外接显示器406，将自身的界面内容同步显示至外接显示器406；第三方设备404在接收到该HUT设备402传输的触摸信号和对应触摸位置，依据该触摸信号控制运行于该移动终端上的应用客户端，并同步显示该触摸位置至该外接显示器；第三方设备406在接收到该HUT设备402传输的目标对象的悬空位置，并将该悬空位置同步显示至该外接显示器406。第三方设备上也显示有上述触摸位置。
根据本申请的另一个实施例，还提供了一种抬头触控HUT设备，图5是根据本申请实施例的HUT的组成结构示意图，如图5所示，该HUT设备402包括：
采集部件502，与控制电路板5010电连接，用于采集目标对象未接触到触摸屏504时的悬空数据；目标对象可以是手指，在手指未接触到触摸屏，触摸屏无法采集手指所在的精确位置时，可以通过采集部件502采集手指悬空所在的空间位置，例如手机位于采集部件502形成的红外光矩阵中，通过检测哪里的红外光较弱确定红外光被手指阻挡，进一步确定手指所在的位置。
可选地，HUT设备从上到下可以依次设置有采集部件，触摸部件，控制电路板，而微控制器和传输部件可以集成在控制电路板上。
可选地，采集部件还可以是获取手指在空中的动作，依据动作生成控制信号进而控制第三方设备，例如，手指在空中划一圈表示打开第三方设备的游戏，即采集部件可以是具备类似相关技术中的体感检测的功能。
该触摸屏504，设置在该采集部件502和该控制电路板5010之间，与该控制电路板5010电连接，用于采集触摸信号；触摸屏504与采集部件502相比，其可以实现更为精确的位置采集。
触摸屏504可以是相关技术中的电容屏等，触摸屏和采集部件可以仅有物理连接，而没有电连接。
该控制电路板5010上设置有微控制器506，用于分别控制该采集部件和该触摸屏，还用于接收该采集部件反馈的该目标对象的悬空数据，并根据该悬空数据计算出该目标对象的悬空位置；还用于检测该触摸屏采集到的该触摸信号，并根据检测到的该触摸信号获取该目标对象的触摸位置；
微控制器506可以分别控制采集部件和触摸屏，例如控制二者的开闭，可以设置一些触发条件，在满足条件时，微控制器启动采集部件或触摸屏。触发条件可以是电源开关或者是否连接有第三方设备等。
传输部件508，与该微控制器506电连接，用于将以下至少一种信号传输至运行有终端应用客户端的第三方设备：该悬空位置、该触摸信号、该触摸位置，该终端应用客户端用于控制虚拟对象完成在虚拟场景中设置的目标任务。
HUT设备可以拥有控制第三方设备的权限，例如HUT设备接收到连续击打屏幕的触摸信号时，可以对应的控制第三方设备执行一定操作，例如连击表示控制第三方设备的关闭游戏应用。
可选地，上述实施例中的终端应用客户端可以是游戏程序，虚拟对象和虚拟场景即游戏人物和游戏场景。
可选地，该采集部件为红外触摸部件，该红外触摸部件与控制电路板电连接，包括红外发射管和红外接收管，该红外发射管用于发出红外光，该红外接收管用于接收红外光，该红外发射管位于该红外接收管的相对位置；红外发射管发出的红外光可以组成矩阵，例如图6所示，图6是根据本申请实施例中的红外矩阵的示意图，图中存在多条射线即为红外光，图中坐标(X3，Y3)为点即为手指触摸点，在手指进入该矩阵时，手指会阻挡红外光，红外接收管接收到的红外光的强度会减弱，相应的计算出矩阵的各个边的电压值，两条边中电压值低的直线形成的交点即可手指所在的悬空位置。
该微控制器，还用于根据该红外接收管接收到的红外光的强度计算电压值，并根据该电压值确定该目标对象所在的悬空位置。
可选地，该红外触摸部件为框架结构，包括四条边框，该四条边框中任一边框的任一位置中设置有红外发射管时，其正对边框的对应位置设置有红外接收管。此处的红外触摸部件可以由四个面组成一个框架，相邻两面可以设置有红外发射管，剩余两边可以设置有红外接收管。
可选地，该微控制器还用于在接收到该悬空位置和/或该触摸位置时，将该悬空位置和/或该触摸位置转换为二维向量，并传输该二维向量至该第三方设备。悬空位置在最初采集时一般是三维向量，是个立体的点，但是在本申请文件中可以忽略z轴，将其转换为x轴y轴表示的二维向量，最终显示在第三方设备或者外接显示器上。
可选地，该采集部件为摄像头，该摄像头与该控制电路板电连接，用于采集目标对象未接触到该触摸屏时的悬空图像；该微控制器，还用于控制该摄像头，以及接收来自该摄像头采集的悬空图像，并计算出该悬空图像中该目标对象所在的悬空位置。在采集部件为摄像头时，摄像头可以设置于HUT设备上，也可以独立设置，与HUT设备进行有线或无线连接，通过摄像头采集的图像或者视频确定手指所在的悬空位置。
根据本申请实施例还提供了一种可以运行于图5的HUT设备的信息传输方法，图7是根据本申请实施例的信息传输的方法流程图，如图7所示，包括以下步骤：
S702，抬头触控HUT设备连接至第三方设备，其中，该HUT设备具有控制该第三方设备的权限；
HUT设备与第三方设备可以通过蓝牙等无线连接，也可以通过有线连接。
S704，在该HUT设备检测到触摸信号时，将该触摸信号和对应触摸位置传输至该第三方设备；在检测到触摸信号时，相应地也会检测到悬空位置，但是此时的悬空位置仅作为参考，手指所在的位置主要以触摸信号对应的触摸位置为主。
S706，在该HUT设备未检测到该触摸信号，但检测到与该HUT设备关联的空间区域内存在目标对象时，采集该目标对象所在的悬空位置，并将该悬空位置传输至该第三方设备。
上述的步骤S704和S706之间不限定先后顺序。
采用上述方案，HUT设备可以采集用户手指的触摸位置，可以采集用户手指未接触触摸屏时的悬空位置，实现了对操控屏幕的目标对象的全面采集，HUT设备将触摸位置或悬空位置发送给第三方设备，第三方设备可以相应的显示目标对象的位置，进而解决了相关技术中由于无法全面采集操控屏幕的目标对象的位置造成的无法将目标对象进行屏幕显示的技术问题。
可选地，该第三方设备为移动终端，在该HUT设备检测到触摸信号时，将该触摸信号和对应触摸位置传输至该移动终端，其中，该移动终端将该触摸位置同步显示至该外接显示器；在该HUT设备未检测到该触摸信号，但检测到与该HUT设备关联的空间区域内存在目标对象时，采集该目标对象所在的悬空位置，并将该悬空位置传输至该移动终端，其中，该移动终端将该悬空位置同步显示至该外接显示器。
可选地，该第三方设备为虚拟现实(Virtual Reality)VR或增强现实(AugmentedReality)AR设备，该VR或AR设备投影出虚拟键盘；在该HUT设备检测到触摸信号时，传输该触摸信号和触摸位置至该AR或VR设备，其中，该AR或VR设备将该触摸位置投影至该虚拟键盘上；在该HUT设备未检测到触摸信号，但检测到与该HUT设备关联的空间区域内存在目标对象时，采集该目标对象所在的悬空位置，并传输该悬空位置至该AR或VR设备，其中，该AR或VR设备将该悬空位置映射至该虚拟键盘上。
可选地，该HUT设备通过内置触摸屏检测触摸信号，通过红外触摸部件获取该目标对象所在的悬空位置，或者，通过摄像头获取该目标对象所在的悬空位置。
根据本申请的另一个实施例，还提供了一种图像显示的方法，可以应用于移动终端，图8是根据本申请实施例的一种图像显示的方法流程图，如图8所示，包括：
S802，移动终端连接至HUT设备，该HUT设备具有控制该移动终端的权限，该移动终端将界面内容同步显示至外接显示器；
移动终端可以通过HDMI等方式与外接显示器进行连接。
S804，接收到该HUT设备传输的触摸信号和对应触摸位置，依据该触摸信号控制运行于该移动终端上的应用客户端，并同步显示该触摸位置至该外接显示器；
移动终端接收到触摸信号后，在识别触摸信号是否为双击单击等操作时，识别触摸位置，并将其显示在屏幕上，相应地，外接显示器同步显示有触摸位置。
S806，接收到该HUT设备传输的目标对象的悬空位置，并将该悬空位置同步显示至该外接显示器。
移动终端在接收到HUT设备传输的悬空位置后，将悬空位置映射成平面点向量，即二维向量，将其显示在屏幕上，相应地，外接显示器同步显示有悬空位置。
采用上述方案，移动终端接收到HUT设备的采集的手指的触摸位置或者悬空位置，将其对应进行界面显示，同时同步显示至外接显示器，实现了对操控屏幕的目标对象的全面采集，HUT设备将触摸位置或悬空位置发送给第三方设备，第三方设备可以相应的显示目标对象的位置，进而解决了相关技术中由于无法全面采集操控屏幕的目标对象的位置造成的无法将目标对象进行屏幕显示的技术问题，用户可以进行抬头操控，不必一直低头操作手机，从而拥有了主机游戏的体验。
根据本申请的另一个实施例，还提供了一种图像显示的方法，图9是根据本申请实施例的图像显示的方法流程图，如图9所示，包括以下步骤：
S902，VR或AR设备连接至HUT设备，该HUT设备具有控制该VR或AR设备的权限，该VR或AR设备投影出虚拟键盘；
S904，在接收到该HUT设备传输的触摸信号和对应触摸位置时，依据该触摸信号控制运行于该VR或AR设备上的应用客户端，并将该触摸位置投影至该虚拟键盘上；
S906，在接收到该HUT设备传输的目标对象的悬空位置时，将该悬空位置映射至该虚拟键盘上。
采用上述方案，VR或AR设备接收到HUT设备的采集的手指的触摸位置或者悬空位置，将其映射至虚拟键盘上，用户可以直接观看到自己手指所在的虚拟键盘的位置，可以精确操作键盘，避免按错键，进而解决了相关技术中由于无法全面采集操控屏幕的目标对象的位置造成的无法将目标对象进行屏幕显示的技术问题，同时，用户可以进行抬头操控，完全沉浸在虚拟世界中，不必频繁的观察手指的位置。
本申请实施例中的方案提供了一种HUT设备，HUT设备将手指悬空时的坐标映射到抬头看到的屏幕上，从而让抬头触摸的操作符合自然习惯，无需一直按压触控平面；基于红外矩阵定位手指，提供多点触摸能力。
从产品体验角度来说，相关技术中在手游外设领域从未有类似的设备。从技术上说，手指的实时追踪有很多种，但是无论红外线触摸屏还是基于摄像头图像采集，都不能完全解决本申请提出的技术问题。
本申请实施例中的方案可以用于AR/VR场景的虚拟键盘：虚拟键盘投影显示在用户面前，用户的手指在HUT设备表面的投影坐标将同步显示在虚拟键盘上，从而可以实现便捷的键盘文字录入。
本申请实施例的方案还可以用于手机投屏时：HUT设备将手指的位置映射到大屏幕上，从而实现全尺寸的抬头触摸，可以执行打字、精细的游戏操作。
以手机投屏大屏抬头触摸为例：
手持手机进行游戏时，可视范围受限于手机屏幕，要紧盯着小小的屏幕，姿势僵硬，容易疲劳，如图1所示.
基于HUT的手游大屏场景下，玩家可以安逸的坐在沙发上，用大屏幕进行游戏，如图3所示。
本申请实施例中的方案中包括HUT触控终端和抬头显示部分。
图10是根据本申请实施例的触控终端的示意图，如图10所示，触控终端可以包括底层的控制电路板，下层的电容触摸屏，上层的红外触摸部件。下层的触摸屏可以是相关技术中手机使用的电容触摸，上层可以通过红外触控部件来实现手指悬空定位，本示例采用红外矩阵检测手指在红外矩阵平面的坐标。
HUT设备需要识别手指状态和动作，状态包括悬空移动，按压移动，点击。
图11是根据本申请实施例的悬空定位示意图，如图11所示，基于技术可实现原则，采用红外触检测技术来识别手指的悬空移动，也可以采用11中的电容触控平面，来检测手指的按压移动，点击动作。
如图6所示，红外触摸部件四周密布着很多红外管。正常状态下，使能红外发射管后，从对应的红外接收管会得到一个电压值。如果有触摸，手指就会挡住红外光，这将会减少红外接收管得到的电压值。红外触控微控制器MCU(Microcontroller Unit，简称为MCU)进行高速行列扫描，计算相关的红外管电压值，从而得到触摸点位置。本红外触摸部件可以支持单点或者多点操作。红外触摸部件用于手指的模糊定位。可以通过下层的电容屏进行手指的精确定位，常见于操作游戏按钮和图标。
图12是根据本申请实施例的中的红外触控部件的装置结构图，如图12所示，由红外触摸技术IR Touch和触摸屏Cap Touch进行手指位置采集，微控制器，负责数据采集、处理和上报，MCU高速采集红外和电容触摸屏数据，并整理成私有通讯协议格式，然后通过蓝牙低功耗(Bluetooth Low Energy，简称为BLE)发送到手机。BLE是通讯模组，负责将数据发送到手机。BLE具体实现形式，可以是单独设置的模块，也可以是MCU自带功能块。可以通过惯性测量单元IMU(Inertial Measurement Unit)负责采集HUT设备运动姿态。Power负责给整个系统供电。
手指有两种状态：1)悬空2)按压。HUT设备能够对处于上述两种状态下的手指进行定位，并同步显示在屏幕上。
普通投屏时抬头看大屏时就无法进行精细的操作；而引入HUT抬头触控后，大屏会同步显示手指的位置，从而可以自如操作。手机通过HDMI输出图像到大屏幕,通过蓝牙连接到HUT设备。手机接收蓝牙数据,验证解包,得到红外触摸信号和电容触摸信号等，得到姿态，按键等事件，并将其转换成触摸事件、光标移动事件，从而控制游戏内容。
采用上述方案，提供了一种基于手指追踪和视觉反馈的抬头触摸输入设备。手机设备投屏到大屏幕时，需要低头注视手机屏幕来进行操作。本发明通过将手指的坐标映射到UI层，提供手指动作的视觉反馈，从而解决抬头操作时的手眼分离问题。给手游玩家带来主机游戏的体验。HUT设计的用以是让用户使用大屏幕操作时，不需要低头看到手指和触摸屏，始终保持抬头的姿势，降低低头和抬头之间忽略屏幕信息以及眼睛焦点不断调整产生的不适。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面，还提供了一种用于实施信息传输方法的信息传输装置，图13是根据本申请实施例的一种信息传输装置的结构示意图，应用于抬头触控HUT设备，如图13所示，该装置130包括：
第一连接模块1302，用于连接至第三方设备，其中，该HUT设备具有控制该第三方设备的权限；
第一传输模块1304，用于在检测到触摸信号时，将该触摸信号和对应触摸位置传输至该第三方设备；
第二传输模块1306，用于在未检测到该触摸信号，但检测到与该HUT设备关联的空间区域内存在目标对象时，采集该目标对象所在的悬空位置，并将该悬空位置传输至该第三方设备。
采用上述方案，HUT设备可以采集用户手指的触摸位置，可以采集用户手指未接触触摸屏时的悬空位置，实现了对操控屏幕的目标对象的全面采集，HUT设备将触摸位置或悬空位置发送给第三方设备，第三方设备可以相应的显示目标对象的位置，进而解决了相关技术中由于无法全面采集操控屏幕的目标对象的位置造成的无法将目标对象进行屏幕显示的技术问题。
可选地，该第三方设备为移动终端，该第一传输模块1304还用于在检测到触摸信号时，将该触摸信号和对应触摸位置传输至该移动终端，其中，该移动终端将该触摸位置同步显示至该外接显示器；
该第二传输模块1306还用于在未检测到该触摸信号，但检测到与该HUT设备关联的空间区域内存在目标对象时，采集该目标对象所在的悬空位置，并将该悬空位置传输至该移动终端，其中，该移动终端将该悬空位置同步显示至该外接显示器。
可选地，该第三方设备为虚拟现实VR或增强现实AR设备，该VR或AR设备投影出虚拟键盘；该第一传输模块1304还用于在检测到触摸信号时，传输该触摸信号和触摸位置至该AR或VR设备，其中，该AR或VR设备将该触摸位置投影至该虚拟键盘上；
该第二传输模块1306还用于在未检测到触摸信号，但检测到与该HUT设备关联的空间区域内存在目标对象时，采集该目标对象所在的悬空位置，并传输该悬空位置至该AR或VR设备，其中，该AR或VR设备将该悬空位置映射至该虚拟键盘上。
可选地，该装置还包括内置触摸屏、红外触摸部件和/或摄像头，该内置触摸屏用于检测触摸信号，该红外触摸部件用于阵获取该目标对象所在的悬空位置，或者，该摄像头用于获取该目标对象所在的悬空位置。
图14是根据本申请实施例的图像显示装置的结构示意图，如图14所示，该装置140应用于移动终端，该移动终端将界面内容同步显示至外接显示器，包括：
第二连接模块1402，用于连接至HUT设备，该HUT设备具有控制该移动终端的权限；
第一接收模块1404，用于接收到该HUT设备传输的触摸信号和对应触摸位置，以及用于依据该触摸信号控制运行于该移动终端上的应用客户端，并同步显示该触摸位置至该外接显示器；
第二接收模块1406，用于接收到该HUT设备传输的目标对象的悬空位置，并将该悬空位置同步显示至该外接显示器。
采用上述方案，接收到HUT设备的采集的手指的触摸位置或者悬空位置，将其对应进行界面显示，同时同步显示至外接显示器，实现了对操控屏幕的目标对象的全面采集，HUT设备将触摸位置或悬空位置发送给第三方设备，第三方设备可以相应的显示目标对象的位置，进而解决了相关技术中由于无法全面采集操控屏幕的目标对象的位置造成的无法将目标对象进行屏幕显示的技术问题，用户可以进行抬头操控，不必一直低头操作手机，从而拥有了主机游戏的体验。
图15是根据本申请实施例的图像显示装置的结构示意图，如图15所示，该装置应用于VR或AR设备，该VR或AR设备投影出虚拟键盘，该装置150包括：
第三连接模块1502，用于连接至HUT设备，该HUT设备具有控制该VR或AR设备的权限；
第三接收模块1504，用于在接收到该HUT设备传输的触摸信号和对应触摸位置时，依据该触摸信号控制运行于该VR或AR设备上的应用客户端，并将该触摸位置投影至该虚拟键盘上；
第四接收模块1506，用于在接收到该HUT设备传输的目标对象的悬空位置时，将该悬空位置映射至该虚拟键盘上。
采用上述方案，VR或AR设备接收到HUT设备的采集的手指的触摸位置或者悬空位置，将其映射至虚拟键盘上，用户可以直接观看到自己手指所在的虚拟键盘的位置，可以精确操作键盘，避免按错键，进而解决了相关技术中由于无法全面采集操控屏幕的目标对象的位置造成的无法将目标对象进行屏幕显示的技术问题，同时，用户可以进行抬头操控，完全沉浸在虚拟世界中，不必频繁的观察手指的位置。
根据本发明实施例的又一个方面，还提供了一种用于实施上述信息传输方法的电子装置，图16是根据本申请实施例的电子装置的结构示意图，如图16所示，该电子装置包括存储器1602和处理器1604，该存储器1602中存储有计算机程序，该处理器1604被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，抬头触控HUT设备连接至第三方设备，其中，该HUT设备具有控制该第三方设备的权限；
S2，在该HUT设备检测到触摸信号时，将该触摸信号和对应触摸位置传输至该第三方设备；
S3，在该HUT设备未检测到该触摸信号，但检测到与该HUT设备关联的空间区域内存在目标对象时，采集该目标对象所在的悬空位置，并将该悬空位置传输至该第三方设备。
可选地，本领域普通技术人员可以理解，图16所示的结构仅为示意，电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图16其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图16中所示更多或者更少的组件(如网络接口等)，或者具有与图16所示不同的配置。
其中，存储器1602可用于存储软件程序以及模块，如本发明实施例中的信息传输的方法和装置对应的程序指令/模块，处理器1604通过运行存储在存储器1602内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的信息传输的方法。存储器1602可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1602可进一步包括相对于处理器1604远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器1602具体可以但不限于用于触摸信号、触摸位置和悬空位置等信息。作为一种示例，如图16所示，上述存储器1602中可以但不限于包括上述信息传输的装置中的第一连接模块1302、第一传输模块1304、第二传输模块1306。此外，还可以包括但不限于上述信息传输的装置中的其他模块单元，本示例中不再赘述。
可选地，上述的传输装置1606用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1606包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1606为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
此外，上述电子装置还包括：显示器1608，用于显示上述待处理的订单信息；和连接总线1610，用于连接上述电子装置中的各个模块部件。
根据本发明的实施例的又一方面，还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，抬头触控HUT设备连接至第三方设备，其中，该HUT设备具有控制该第三方设备的权限；
S2，在该HUT设备检测到触摸信号时，将该触摸信号和对应触摸位置传输至该第三方设备；
S3，在该HUT设备未检测到该触摸信号，但检测到与该HUT设备关联的空间区域内存在目标对象时，采集该目标对象所在的悬空位置，并将该悬空位置传输至该第三方设备。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种抬头触控设备，其特征在于，包括：
采集部件，与控制电路板电连接，用于采集目标对象未接触到触摸屏时的悬空数据；
所述触摸屏，设置在所述采集部件和所述控制电路板之间，与所述控制电路板电连接，用于采集触摸信号；
所述控制电路板上设置有微控制器，用于分别控制所述采集部件和所述触摸屏，还用于接收所述采集部件反馈的所述目标对象的悬空数据，并根据所述悬空数据计算出所述目标对象的悬空位置；还用于检测所述触摸屏采集到的所述触摸信号，并根据检测到的所述触摸信号获取所述目标对象的触摸位置；
传输部件，与所述微控制器电连接，用于将以下至少一种信号传输至运行有终端应用客户端的第三方设备：所述悬空位置、所述触摸信号、所述触摸位置，所述终端应用客户端用于控制虚拟对象完成在虚拟场景中设置的目标任务。
2.根据权利要求1所述的抬头触控设备，其特征在于，
所述采集部件为红外触摸部件，所述红外触摸部件与控制电路板电连接，包括红外发射管和红外接收管，所述红外发射管用于发出红外光，所述红外接收管用于接收红外光，所述红外发射管位于所述红外接收管的相对位置；
所述微控制器，还用于根据所述红外接收管接收到的红外光的强度计算电压值，并根据所述电压值确定所述目标对象所在的悬空位置。
3.根据权利要求2所述的抬头触控设备，其特征在于，所述红外触摸部件为框架结构，包括四条边框，所述四条边框中任一边框的任一位置中设置有红外发射管时，其正对边框的对应位置设置有红外接收管。
4.根据权利要求1所述的抬头触控设备，其特征在于，所述微控制器还用于在接收到所述悬空位置和/或所述触摸位置时，将所述悬空位置和/或所述触摸位置转换为二维向量，并传输所述二维向量至所述第三方设备。
5.根据权利要求1所述的抬头触控设备，其特征在于，
所述采集部件为摄像头，所述摄像头与所述控制电路板电连接，用于采集目标对象未接触到所述触摸屏时的悬空图像；
所述微控制器，还用于控制所述摄像头，以及接收来自所述摄像头采集的悬空图像，并计算出所述悬空图像中所述目标对象所在的悬空位置。
6.一种信息传输的方法，其特征在于，包括：
抬头触控设备连接至第三方设备，其中，所述抬头触控设备具有控制所述第三方设备的权限；
在所述抬头触控设备检测到触摸信号时，将所述触摸信号和对应触摸位置传输至所述第三方设备；
在所述抬头触控设备未检测到所述触摸信号，但检测到与所述抬头触控设备关联的空间区域内存在目标对象时，采集所述目标对象所在的悬空位置，并将所述悬空位置传输至所述第三方设备。
7.根据权利要求6所述的方法，其特征在于，
所述第三方设备为移动终端，在所述抬头触控设备检测到触摸信号时，将所述触摸信号和对应触摸位置传输至所述移动终端，其中，所述移动终端将所述触摸位置同步显示至外接显示器；
在所述抬头触控设备未检测到所述触摸信号，但检测到与所述抬头触控设备关联的空间区域内存在目标对象时，采集所述目标对象所在的悬空位置，并将所述悬空位置传输至所述移动终端，其中，所述移动终端将所述悬空位置同步显示至所述外接显示器。
8.根据权利要求6所述的方法，其特征在于，
所述第三方设备为虚拟现实VR或增强现实AR设备，所述VR或AR设备投影出虚拟键盘；
在所述抬头触控设备检测到触摸信号时，传输所述触摸信号和触摸位置至所述AR或VR设备，其中，所述AR或VR设备将所述触摸位置投影至所述虚拟键盘上；
在所述抬头触控设备未检测到触摸信号，但检测到与所述抬头触控设备关联的空间区域内存在目标对象时，采集所述目标对象所在的悬空位置，并传输所述悬空位置至所述AR或VR设备，其中，所述AR或VR设备将所述悬空位置映射至所述虚拟键盘上。
9.一种图像显示的方法，其特征在于，包括：
移动终端连接至抬头触控设备，所述抬头触控设备具有控制所述移动终端的权限，所述移动终端将界面内容同步显示至外接显示器；
接收到所述抬头触控设备传输的触摸信号和对应触摸位置，依据所述触摸信号控制运行于所述移动终端上的应用客户端，并同步显示所述触摸位置至所述外接显示器；
接收到所述抬头触控设备传输的目标对象的悬空位置，并将所述悬空位置同步显示至所述外接显示器。
10.一种图像显示的方法，其特征在于，包括：
VR或AR设备连接至抬头触控设备，所述抬头触控设备具有控制所述VR或AR设备的权限，所述VR或AR设备投影出虚拟键盘；
在接收到所述抬头触控设备传输的触摸信号和对应触摸位置时，依据所述触摸信号控制运行于所述VR或AR设备上的应用客户端，并将所述触摸位置投影至所述虚拟键盘上；
在接收到所述抬头触控设备传输的目标对象的悬空位置时，将所述悬空位置映射至所述虚拟键盘上。
11.一种信息传输的装置，其特征在于，应用于抬头触控设备，包括：
第一连接模块，用于连接至第三方设备，其中，所述抬头触控设备具有控制所述第三方设备的权限；
第一传输模块，用于在检测到触摸信号时，将所述触摸信号和对应触摸位置传输至所述第三方设备；
第二传输模块，用于在未检测到所述触摸信号，但检测到与所述抬头触控设备关联的空间区域内存在目标对象时，采集所述目标对象所在的悬空位置，并将所述悬空位置传输至所述第三方设备。
12.一种图像显示的装置，其特征在于，应用于移动终端，所述移动终端将界面内容同步显示至外接显示器，该装置包括：
第二连接模块，用于连接至抬头触控设备，所述抬头触控设备具有控制所述移动终端的权限；
第一接收模块，用于接收到所述抬头触控设备传输的触摸信号和对应触摸位置，以及用于依据所述触摸信号控制运行于所述移动终端上的应用客户端，并同步显示所述触摸位置至所述外接显示器；
第二接收模块，用于接收到所述抬头触控设备传输的目标对象的悬空位置，并将所述悬空位置同步显示至所述外接显示器。
13.一种图像显示的装置，其特征在于，应用于VR或AR设备，所述VR或AR设备投影出虚拟键盘，该装置包括：
第三连接模块，用于连接至抬头触控设备，所述抬头触控设备具有控制所述VR或AR设备的权限；
第三接收模块，用于在接收到所述抬头触控设备传输的触摸信号和对应触摸位置时，依据所述触摸信号控制运行于所述VR或AR设备上的应用客户端，并将所述触摸位置投影至所述虚拟键盘上；
第四接收模块，用于在接收到所述抬头触控设备传输的目标对象的悬空位置时，将所述悬空位置映射至所述虚拟键盘上。
14.一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求6至10任一项中所述的方法。
15.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求6至10任一项中所述的方法。
CN201910631006.1A 2019-07-12 2019-07-12 抬头触控设备、图像显示的方法及装置 Active CN110362231B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910631006.1A CN110362231B (zh) 2019-07-12 2019-07-12 抬头触控设备、图像显示的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910631006.1A CN110362231B (zh) 2019-07-12 2019-07-12 抬头触控设备、图像显示的方法及装置

Publications (2)

Publication Number Publication Date
CN110362231A true CN110362231A (zh) 2019-10-22
CN110362231B CN110362231B (zh) 2022-05-20

Family

ID=68219191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910631006.1A Active CN110362231B (zh) 2019-07-12 2019-07-12 抬头触控设备、图像显示的方法及装置

Country Status (1)

Country Link
CN (1) CN110362231B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111193871A (zh) * 2020-01-13 2020-05-22 维沃移动通信有限公司 操作控制方法、电子设备及介质
CN111600977A (zh) * 2020-05-15 2020-08-28 魏天骋 一种以移动终端为数据处理器的共享装置
WO2020216156A1 (zh) * 2019-04-26 2020-10-29 华为技术有限公司 投屏方法和计算设备
CN112015508A (zh) * 2020-08-29 2020-12-01 努比亚技术有限公司 一种投屏交互控制方法、设备及计算机可读存储介质
CN113126756A (zh) * 2021-03-25 2021-07-16 维沃移动通信有限公司 应用交互方法及装置
CN114537417A (zh) * 2022-02-27 2022-05-27 重庆长安汽车股份有限公司 一种基于hud和触摸设备的盲操作方法、系统和车辆
CN114647356A (zh) * 2020-12-17 2022-06-21 美的集团股份有限公司 家电设备的控制操作指导方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201145890Y (zh) * 2007-11-01 2008-11-05 复旦大学 红外线摄像定位检测触摸屏系统
CN102339171A (zh) * 2011-05-31 2012-02-01 广州视睿电子科技有限公司 一种红外触摸系统及多点信号扫描计算方法
CN105573492A (zh) * 2015-11-25 2016-05-11 小米科技有限责任公司 交互式屏幕控制方法与装置
CN105900056A (zh) * 2014-01-10 2016-08-24 微软技术许可有限责任公司 辅助显示器的悬停敏感控制
CN107179876A (zh) * 2017-06-30 2017-09-19 吴少乔 基于虚拟现实系统的人机交互装置
CN108427194A (zh) * 2017-02-14 2018-08-21 深圳梦境视觉智能科技有限公司 一种基于增强现实的显示方法及设备
CN108475085A (zh) * 2017-05-16 2018-08-31 深圳市柔宇科技有限公司 头戴式显示设备及其交互输入方法
CN108646997A (zh) * 2018-05-14 2018-10-12 刘智勇 一种虚拟及增强现实设备与其他无线设备进行交互的方法
US20190086787A1 (en) * 2015-12-04 2019-03-21 Koc Universitesi Physical object reconstruction through a projection display system
CN109542283A (zh) * 2018-11-01 2019-03-29 佛吉亚好帮手电子科技有限公司 一种手势触控的多屏操作方法
CN109558061A (zh) * 2018-11-30 2019-04-02 维沃移动通信有限公司 一种操作控制方法及终端
CN109960449A (zh) * 2019-03-22 2019-07-02 深圳前海达闼云端智能科技有限公司 一种投屏显示方法及相关装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201145890Y (zh) * 2007-11-01 2008-11-05 复旦大学 红外线摄像定位检测触摸屏系统
CN102339171A (zh) * 2011-05-31 2012-02-01 广州视睿电子科技有限公司 一种红外触摸系统及多点信号扫描计算方法
CN105900056A (zh) * 2014-01-10 2016-08-24 微软技术许可有限责任公司 辅助显示器的悬停敏感控制
CN105573492A (zh) * 2015-11-25 2016-05-11 小米科技有限责任公司 交互式屏幕控制方法与装置
US20190086787A1 (en) * 2015-12-04 2019-03-21 Koc Universitesi Physical object reconstruction through a projection display system
CN108427194A (zh) * 2017-02-14 2018-08-21 深圳梦境视觉智能科技有限公司 一种基于增强现实的显示方法及设备
CN108475085A (zh) * 2017-05-16 2018-08-31 深圳市柔宇科技有限公司 头戴式显示设备及其交互输入方法
CN107179876A (zh) * 2017-06-30 2017-09-19 吴少乔 基于虚拟现实系统的人机交互装置
CN108646997A (zh) * 2018-05-14 2018-10-12 刘智勇 一种虚拟及增强现实设备与其他无线设备进行交互的方法
CN109542283A (zh) * 2018-11-01 2019-03-29 佛吉亚好帮手电子科技有限公司 一种手势触控的多屏操作方法
CN109558061A (zh) * 2018-11-30 2019-04-02 维沃移动通信有限公司 一种操作控制方法及终端
CN109960449A (zh) * 2019-03-22 2019-07-02 深圳前海达闼云端智能科技有限公司 一种投屏显示方法及相关装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020216156A1 (zh) * 2019-04-26 2020-10-29 华为技术有限公司 投屏方法和计算设备
CN111193871A (zh) * 2020-01-13 2020-05-22 维沃移动通信有限公司 操作控制方法、电子设备及介质
CN111193871B (zh) * 2020-01-13 2021-06-04 维沃移动通信有限公司 操作控制方法、电子设备及介质
CN111600977A (zh) * 2020-05-15 2020-08-28 魏天骋 一种以移动终端为数据处理器的共享装置
CN112015508A (zh) * 2020-08-29 2020-12-01 努比亚技术有限公司 一种投屏交互控制方法、设备及计算机可读存储介质
CN112015508B (zh) * 2020-08-29 2024-01-09 努比亚技术有限公司 一种投屏交互控制方法、设备及计算机可读存储介质
CN114647356A (zh) * 2020-12-17 2022-06-21 美的集团股份有限公司 家电设备的控制操作指导方法及装置
CN113126756A (zh) * 2021-03-25 2021-07-16 维沃移动通信有限公司 应用交互方法及装置
CN114537417A (zh) * 2022-02-27 2022-05-27 重庆长安汽车股份有限公司 一种基于hud和触摸设备的盲操作方法、系统和车辆

Also Published As

Publication number Publication date
CN110362231B (zh) 2022-05-20

Similar Documents

Publication Publication Date Title
CN110362231A (zh) 抬头触控设备、图像显示的方法及装置
JP6644035B2 (ja) 手袋インタフェースオブジェクト及び方法
CN108646997A (zh) 一种虚拟及增强现实设备与其他无线设备进行交互的方法
US10317997B2 (en) Selection of optimally positioned sensors in a glove interface object
CN107132917B (zh) 用于虚拟现实场景中的手型显示方法及装置
CN106200944A (zh) 一种对象的控制方法、控制装置和控制系统
CN113892074A (zh) 用于人工现实系统的手臂凝视驱动的用户界面元素选通
KR102147430B1 (ko) 가상 공간 멀티 터치 인터랙션 장치 및 방법
CN113841110A (zh) 具有用于选通用户界面元素的个人助理元素的人工现实系统
KR102021851B1 (ko) 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법
CN109857306A (zh) 截屏方法及终端设备
CN113892075A (zh) 用于人工现实系统的拐角识别手势驱动的用户界面元素选通
CN108646925B (zh) 一种分体式头戴显示器系统及交互方法
Zhang et al. Evaluation of hand-based interaction for near-field mixed reality with optical see-through head-mounted displays
Zhu et al. Keyboard before head tracking depresses user success in remote camera control
CN110717993A (zh) 一种分体式ar眼镜系统的交互方法、系统及介质
CN110244898A (zh) 控制终端设备的方法及终端设备
CN110888529B (zh) 虚拟现实场景控制方法、虚拟现实设备及其控制装置
CN111258482B (zh) 信息分享方法、头戴式设备及介质
KR101962464B1 (ko) 손동작 매크로 기능을 이용하여 다중 메뉴 및 기능 제어를 위한 제스처 인식 장치
JP2004046311A (ja) ３次元仮想空間におけるジェスチャ入力方法およびその装置
CN111246014B (zh) 通话方法、头戴式设备及介质
KR101574993B1 (ko) 모션 커맨드 입력 방식의 가상 대전 방법
WO2015023156A1 (ko) 모션 커맨드 입력 방식의 가상 대전 방법 및 컴퓨터 프로그램
CN111330243A (zh) 一种攀岩墙体感互动方法、控制系统、互动系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant