CN117883767A - 远控界面按键映射方法及系统 - Google Patents

远控界面按键映射方法及系统 Download PDF

Info

Publication number
CN117883767A
CN117883767A CN202311694034.0A CN202311694034A CN117883767A CN 117883767 A CN117883767 A CN 117883767A CN 202311694034 A CN202311694034 A CN 202311694034A CN 117883767 A CN117883767 A CN 117883767A
Authority
CN
China
Prior art keywords
key
mapping
handle
remote
virtual reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311694034.0A
Other languages
English (en)
Inventor
孙万昌
徐亦昶
梁慧敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202311694034.0A priority Critical patent/CN117883767A/zh
Publication of CN117883767A publication Critical patent/CN117883767A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/22—Setup operations, e.g. calibration, key configuration or button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1018—Calibration; Key and button assignment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供远控界面按键映射方法及系统，方法包括：建立虚拟现实设备与目标PC的数据连接，将远控PC的界面渲染到沉浸式虚拟场景的一面虚拟屏幕上；虚拟现实设备实时监测虚拟屏幕与手柄射线的碰撞信息及按键状态；虚拟现实设备实时将监测数据根据本申请的通信方式发向远控PC；远控PC获取虚拟现实数据并解析，根据用户设置信息判断对应交互响应；远控PC根据所判断的映射按键、按键组合数据及坐标数据等信息执行所确定的交互操作指令。本发明解决了按键生效确认困难、按键映射界面缺乏自定义功能、按键映射响应效率及准确率较低，导致的用户体验较差的技术问题。

Description

远控界面按键映射方法及系统
技术领域
本发明涉及虚拟现实Virtual Reality和计算机软件领域，具体涉及远控界面按键映射方法及系统。
背景技术
按键映射技术是一种用于将手柄按键或按键组合映射到PC设备的特定按键或按键组合的技术。当用户需要进行远程控制时，单纯的鼠标点击操作可能无法满足他们对PC远程控制界面的控制需求。这主要是因为鼠标点击只能提供有限的控制方式，而某些操作可能需要更多的功能按键或按键组合来实现。按键映射技术的背景正是为了解决这一问题而发展起来的。它允许用户通过手柄控制器或其他设备输入特定的按键或按键组合，以触发PC设备上的相应功能。按键映射技术允许用户在虚拟现实环境中使用手柄来替代鼠标点击，从而提供更多的控制选项和更灵活的操作方式。这种技术背后的理念是将手柄按键或按键组合与PC设备上的特定按键或按键组合进行映射，建立起一种直观且便捷的控制方式。用户可以根据自己的需求和习惯，通过手柄按下特定的按键或按键组合来实现PC设备上的各种操作，如打开应用程序、切换窗口、调整音量等。按键映射技术的发展源于对用户体验和操作灵活性的需求。它允许用户通过使用手柄等外部设备，在虚拟现实环境中更自由地控制PC设备，提供了一种更直观、更灵活的远程控制方式。
按键映射技术通常应用于虚拟现实环境中，通过手柄控制器进行操作。其主要结构和原理为：
①手柄控制器：用户使用手柄控制器进行操作，在虚拟现实环境下与PC设备连接。
②射线与屏幕交互检测：通过判断手柄射线与屏幕是否相交，确定按键映射关系是否生效。
③自定义按键映射关系：用户可以自定义按键或按键组合与PC设备对应按键或按键组合的映射关系。
其技术手段和方法步骤为：
①确定手柄射线与屏幕的交互方式和逻辑。
②用户在虚拟现实环境中使用手柄按下特定按键或按键组合。
③判断手柄射线是否与屏幕相交。
④若手柄射线与屏幕相交，则触发按键映射关系，PC设备执行对应的按键或按键组合功能。
目前按键映射技术在交互判断准确性和用户体验方面还存在缺陷。射线与屏幕相交的判断可能存在误差，导致按键映射关系生效的准确性受到影响。
中国专利说明书公布号为CN114527903A的现有发明专利申请文献《一种按键映射方法、电子设备及系统》根据本申请提供的方法，电子设备可以通过图像处理算法识别出游戏应用中的按键区域。另外，为了提高按键区域识别的精度，电子设备还可以结合用户对于该游戏画面的触控频率，对该图像处理算法进行校正。在识别出所有的按键区域后，用户可以将游戏应用中所有的虚拟按键与游戏手柄的物理按键一一进行匹配，建立映射关系，然后用户可以通过控制游戏手柄上的物理按键来触发游戏应用中的虚拟按键对应的功能，比如游戏中人物的移动、技能的施放、场景的切换等。但前述技术采用局域网或蓝牙方案实现连接，设备需现场进行配对，使用时控制设备与被控设备需在同一局域网下或在受限距离内才可使用映射功能，本申请所述按键映射技术只需用户在虚拟现实设备及远控PC登录相同账户，并保持联网状态，即可实现远程连接。且前述现有技术涉及的领域为终端技术领域，前述现有技术也并非用于虚拟现实领域的按键映射研究。
现有技术中，在应用场景和设备类型方面终端技术领域的按键映射通常是为了增强智能手机、平板电脑、电视遥控器等终端设备的用户体验。而虚拟现实领域的按键映射主要是为了在虚拟现实环境中控制头戴式显示器(如VR头盔)或手柄等特定设备；在操作方式方面，终端技术领域的按键映射通常以触摸屏、方向键、按钮或手势等为基础，将这些输入方式映射到终端设备上的相应功能。而虚拟现实领域的按键映射则更注重将物理手柄上的按键或手势映射到虚拟现实环境中的操作，例如在VR游戏中使用手柄来控制角色移动、进行武器切换等；在多模态控制方面：虚拟现实领域的按键映射可能需要涉及到多种不同类型的输入，如触摸、旋转、重力感应等。这是因为虚拟现实环境中的交互更加复杂，需要提供更多的控制方式和更细粒度的输入反馈。而在终端技术领域，通常只需要处理触摸或按键输入等有限的操作方式。在用户体验优化方面：在虚拟现实领域，按键映射的目标是提供一种自然且直观的用户体验，以减少用户的学习曲线并增强沉浸感。例如，通过将虚拟手柄上的按键映射到用户手中的实际手柄上，使用户能够直接感受到按键操作，提高操作的真实感和可控性。终端技术领域的按键映射也会关注用户体验，但更多地强调简化操作和提高用户效率。
综上，现有技术中按键生效确认困难、按键映射界面缺乏自定义功能、按键映射响应效率及准确率较低，导致的用户体验较差技术问题。
发明内容
本发明所要解决的技术问题在于：如何解决现有技术中按键生效确认困难、按键映射界面缺乏自定义功能、按键映射响应效率及准确率较低，导致的用户体验较差的技术问题。
本发明是采用以下技术方案解决上述技术问题的：远控界面按键映射方法包括：
S1、建立虚拟现实设备与目标PC的数据连接，以将远控PC的界面渲染至沉浸式虚拟场景的虚拟屏幕，远控PC的界面包括：人物移动信息、技能释放信息以及游戏场景调整信息；
S2、利用虚拟现实设备，根据射线投射算法、屏幕交互检测算法，实时监测虚拟屏幕与手柄射线的碰撞信息及按键状态，以得到监测状态数据，虚拟屏幕的显示画面包括：远控PC桌面、远控PC游戏应用程序用户界面；
S3、利用虚拟现实设备，以预置通信方式，将检测状态数据发送至远控PC，以使得远控PC执行设备相应功能；
S4、利用远控PC，获取并解析虚拟现实数据，根据用户设置信息判定对应的交互响应信息，其中，交互响应信息包括：映射按键、按键组合数据及坐标数据；对按键映射方案进行自定义设置，通过预置应用设置界面，输入虚拟现实设备的手柄按键输入操作、远控PC的键鼠按键，据以建立并存储映射关系；
S5、根据映射关系中的映射按键、按键组合数据及坐标数据，确定交互操作指令，利用远控PC，执行交互操作指令。
本发明采用的按键映射技术允许用户在虚拟现实环境中使用手柄来替代鼠标点击，从而提供更多的控制选项和更灵活的操作方式。这种技术背后的理念是将手柄按键或按键组合与PC设备上的特定按键或按键组合进行映射，建立起直观且便捷的控制方式。
在更具体的技术方案中，步骤S2中，在虚拟现实设备内的虚拟屏幕显示远控PC的界面时，将手柄射线与虚拟屏幕的交点坐标，传输至目标PC；在手柄射线与虚拟屏幕存在碰撞点时，禁用虚拟现实设备的手柄按键原始功能；利用远控PC触发鼠标滚轮输入操作。
本发明通过使用射线投射算法和屏幕交互检测算法，虚拟现实按键映射技术可以准确检测用户手柄射线与屏幕的交互情况，从而确定按键映射是否应生效。这提高了交互的准确性，减少了误操作和误映射的可能性，提高交互准确性。
在更具体的技术方案中，步骤S2中，实时监测数据包括：手柄射线及碰撞点、手柄射线与虚拟屏幕的交点坐标以及手柄按键状态。
本发明通过虚拟现实手柄-屏幕交互检测，利用射线投射算法和屏幕交互检测算法，准确检测用户手柄射线与屏幕的交互情况，以确定按键映射是否应该生效，使用户能够指定手柄上的按键或按键组合与PC设备上的对应按键或按键组合之间的映射关系。
在更具体的技术方案中，步骤S3包括：
S31、对虚拟现实设备上的不少于2个输入操作，与远控PC上的不少于2个输入响应之间，建立按键映射关系；
S32、利用远控PC，通过预置通信方式，接收虚拟现实设备发送的输入操作信号，以执行设备相应功能。
本发明通过接口通信与事件触发的技术，虚拟现实按键映射技术确保虚拟现实设备与PC设备之间的通信正常，并且能够实时触发PC设备上相应的按键事件。这使得用户的交互动作能够及时响应，提高了交互的连贯性和流畅性。
本发明采用的按键映射提供一种自然且直观的用户体验，以减少用户的学习曲线并增强沉浸感。本发明采用虚拟现实按键映射技术，将用户设计的按键映射方案进行存储，以备下次连接该设备时进行使用。用户无需每次重新设置按键映射，节省了操作时间和精力，提供了简便易用的操作体验。
在更具体的技术方案中，步骤S31中，按键映射方法，依靠分别安装于虚拟现实设备和目标PC的两个应用实现，使得用户在两个虚拟现实应用、以及目标PC应用，登录相同账户，以在目标PC的界面，利用虚拟屏幕在虚拟现实应用，呈现虚拟场景，以完成按键映射。
在更具体的技术方案中，步骤S32中，利用预置虚拟现实应用，将手柄射线与虚拟屏幕交点坐标，转换为目标PC可识别位置信息，并产生特定数据格式信号，发送特定数据格式信号至远控PC，利用虚拟现实设备内的虚拟屏幕，显示远控PC的界面。
在更具体的技术方案中，步骤S32包括：
S321、在远控PC中，通过函数OnStreamMessage接收输入操作信号的数据包；
S322、获取数据包中的射线与屏幕交点坐标，以根据预置数据结构，提取得到光标坐标信息，据以移动鼠标光标至目标处；
S323、对照GlobalVar.ButtonMap中的映射方案，触发特定的PC响应，以执行远控PC的设备相应功能。
经由本发明的实施，用户可以根据自己的需求和习惯，通过手柄按下特定的按键或按键组合来实现PC设备上的各种操作，如打开应用程序、切换窗口、调整音量等。按键映射技术的发展源于对用户体验和操作灵活性的需求。它允许用户通过使用手柄等外部设备，在虚拟现实环境中更自由地控制PC设备，提供了一种更直观、更灵活的远程控制方式。
在更具体的技术方案中，步骤S4中，利用交互响应信息，在虚拟现实设备的手柄射线与虚拟场景中的虚拟屏幕相交时，控制远控PC的鼠标光标位置，与手柄射线与虚拟屏幕的交点坐标动态一致。
在更具体的技术方案中，步骤S4包括：
S41、通过预置应用设置界面，输入虚拟现实设备手柄按键输入操作，与远控PC的键鼠按键的组合，据以建立映射关系；
S42、在用户进行远程控制时，按照映射关系，根据输入控制信号，触发远控PC的相应功能；
S43、建立手柄按键、按键组合，与远控PC的特定按键、按键组合的按键组合映射，也设置手柄鼠标切换状态。
本发明通过将虚拟手柄上的按键映射到用户手中的实际手柄上，使用户能够直接感受到按键操作，提高操作的真实感和可控性。终端技术领域的按键映射也会关注用户体验，但更多地强调简化操作和提高用户效率。
本发明在按键映射过程中，进行快速的响应和准确的映射转换。充分考虑用户在切换按键映射方案时的操作便捷性，以及按键映射对虚拟现实环境中角色动作的实时调整，优化了用户体验优化等技术问题。
本发明采用虚拟现实按键映射技术，为用户提供了一个可自定义的按键映射界面，使用户能够根据个人偏好和需求指定手柄上的按键或按键组合与PC设备上的对应按键或按键组合之间的映射关系。用户可以根据自己的习惯和喜好进行按键布局的定制，提高了用户体验的个性化和满意度，提供了个性化定制。
在更具体的技术方案中，远控界面按键映射系统包括：
界面渲染模块，用以建立虚拟现实设备与目标PC的数据连接，以将远控PC的界面渲染至沉浸式虚拟场景的虚拟屏幕，远控PC的界面包括：人物移动信息、技能释放信息以及游戏场景调整信息；
状态监测模块，用以利用虚拟现实设备，根据射线投射算法、屏幕交互检测算法，实时监测虚拟屏幕与手柄射线的碰撞信息及按键状态，以得到监测状态数据，虚拟屏幕的显示画面包括：远控PC桌面、远控PC游戏应用程序用户界面，状态监测模块与界面渲染模块连接；
状态数据传输模块，用以利用虚拟现实设备，以预置通信方式，将检测状态数据发送至远控PC，以使得远控PC执行设备相应功能，状态数据传输模块与状态监测模块连接；
映射建立及自定义模块，用以利用远控PC，获取并解析虚拟现实数据，根据用户设置信息判定对应的交互响应信息，其中，交互响应信息包括：映射按键、按键组合数据及坐标数据；对按键映射方案进行自定义设置，通过预置应用设置界面，输入虚拟现实设备的手柄按键输入操作、远控PC的键鼠按键，据以建立并存储映射关系，映射建立及自定义模块与状态数据传输模块连接；
交互操作执行模块，用以根据映射关系中的映射按键、按键组合数据及坐标数据，确定交互操作指令，利用远控PC，执行交互操作指令，交互操作执行模块与映射建立及自定义模块连接。
本发明相比现有技术具有以下优点：本发明采用的按键映射技术允许用户在虚拟现实环境中使用手柄来替代鼠标点击，从而提供更多的控制选项和更灵活的操作方式。这种技术背后的理念是将手柄按键或按键组合与PC设备上的特定按键或按键组合进行映射，建立起直观且便捷的控制方式。
本发明通过使用射线投射算法和屏幕交互检测算法，虚拟现实按键映射技术可以准确检测用户手柄射线与屏幕的交互情况，从而确定按键映射是否应生效。这提高了交互的准确性，减少了误操作和误映射的可能性，提高交互准确性。
本发明通过虚拟现实手柄-屏幕交互检测，利用射线投射算法和屏幕交互检测算法，准确检测用户手柄射线与屏幕的交互情况，以确定按键映射是否应该生效，使用户能够指定手柄上的按键或按键组合与PC设备上的对应按键或按键组合之间的映射关系。
本发明通过接口通信与事件触发的技术，虚拟现实按键映射技术确保虚拟现实设备与PC设备之间的通信正常，并且能够实时触发PC设备上相应的按键事件。这使得用户的交互动作能够及时响应，提高了交互的连贯性和流畅性。
本发明采用的按键映射提供一种自然且直观的用户体验，以减少用户的学习曲线并增强沉浸感。本发明采用虚拟现实按键映射技术，将用户设计的按键映射方案进行存储，以备下次连接该设备时进行使用。用户无需每次重新设置按键映射，节省了操作时间和精力，提供了简便易用的操作体验。
经由本发明的实施，用户可以根据自己的需求和习惯，通过手柄按下特定的按键或按键组合来实现PC设备上的各种操作，如打开应用程序、切换窗口、调整音量等。按键映射技术的发展源于对用户体验和操作灵活性的需求。它允许用户通过使用手柄等外部设备，在虚拟现实环境中更自由地控制PC设备，提供了一种更直观、更灵活的远程控制方式。
本发明通过将虚拟手柄上的按键映射到用户手中的实际手柄上，使用户能够直接感受到按键操作，提高操作的真实感和可控性。终端技术领域的按键映射也会关注用户体验，但更多地强调简化操作和提高用户效率。
本发明在按键映射过程中，进行快速的响应和准确的映射转换。充分考虑用户在切换按键映射方案时的操作便捷性，以及按键映射对虚拟现实环境中角色动作的实时调整，优化了用户体验优化等技术问题。
本发明采用虚拟现实按键映射技术，为用户提供了一个可自定义的按键映射界面，使用户能够根据个人偏好和需求指定手柄上的按键或按键组合与PC设备上的对应按键或按键组合之间的映射关系。用户可以根据自己的习惯和喜好进行按键布局的定制，提高了用户体验的个性化和满意度，提供了个性化定制。
本发明解决了现有技术中按键生效确认困难、按键映射界面缺乏自定义功能、按键映射响应效率及准确率较低，导致的用户体验较差的技术问题。
附图说明
图1为本发明实施例1的远控界面按键映射方法基本步骤示意图；
图2为本发明实施例2的远控界面按键映射方法实施步骤示意图；
图3为本发明实施例2的通过屏幕下方设置按钮呼出屏幕设置菜单界面示意图；
图4为本发明实施例2的屏幕设置菜单界面示意图；
图5为本发明实施例2的方案存档下拉菜单界面示意图；
图6a为本发明实施例2的设置VR端按键第一界面示意图；
图6b为本发明实施例2的设置VR端按键第二界面示意图；
图7a为本发明实施例2的设置PC端按键第一界面示意图；
图7b为本发明实施例2的设置PC端按键第二界面示意图；
图8为本发明实施例2的一行按键映射设置完毕界面示意图；
图9为本发明实施例2的手柄主键映射鼠标左键双击界面示意图；
图10为本发明实施例3的远控界面按键映射系统基本模块示意图；
图11为本发明实施例3的PC应用按键映射设置菜单示意图；
图12为本发明实施例3的VR应用按键映射设置菜单示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1所示，本发明提供的远控界面按键映射方法，包括以下基本步骤：
步骤S1、建立虚拟现实设备与目标PC的数据连接，将远控PC的界面渲染到沉浸式虚拟场景的一面虚拟屏幕上；
在本实施例中，虚拟现实设备的物理按键包括但不限于：扳机键、握把键、主键、次键、方向摇杆、Wi-Fi模块、和/或4G网络通信或5G网络通信。在本实施例中，主键包括但不限于：A键、X键；在本实施例中，次键包括但不限于：B键、Y键；
步骤S2、虚拟现实设备实时监测虚拟屏幕与手柄射线的碰撞信息及按键状态；
在本实施例中，前述步骤S1中所述的虚拟屏幕在虚拟环境中会被一层虚拟碰撞体包裹，虚拟碰撞体可以检测碰撞，在本实施例中，前述虚拟碰撞体包括但不限于：BOX型碰撞体、MESH型碰撞体，当用户手柄射线与虚拟屏幕的碰撞体相交时，会触发虚拟屏幕上挂载的脚本即时获取手柄射线与屏幕虚拟碰撞体碰撞交点在虚拟屏幕上的二维本地坐标，并根据屏幕尺寸进行归一化：
Mx＝Px/width+0.5f,
My＝Py/height+0.5f
其中，Mx为归一化后的x轴坐标信息，My为归一化后的y坐标信息，Px是屏幕获取的碰撞点在虚拟屏幕上的二维本地坐标x轴信息，Py是屏幕获取的碰撞点在虚拟屏幕上的二维本地坐标y轴信息，width为虚拟屏幕宽，height为虚拟屏幕高。
然后将处理后的碰撞点坐标信息与手柄扳机键、摇杆等物理按键状态按照本申请所提出的数据结构进行编码并发送。
在本实施例中，虚拟屏幕显示画面可为例如：远控PC的桌面、远控PC的游戏应用程序的用户界面；在本实施例中，前述游戏应用程序可为例如：台式电脑、平板电脑上的供用户消遣娱乐的应用程序；
步骤S3、虚拟现实设备实时将监测数据根据本申请的通信方式发向远控PC；
在本实施例中，虚拟现实设备上的多个输入操作与远控PC上的多个输入响应之间的映射关系建立完成后，远控PC通过特定通信方式收到的虚拟现实设备输入操作信号，执行远控PC设备相应的功能；
在本实施例中，虚拟现实应用对用户操作的实时检测数据包括但不限于：手柄射线及碰撞点、手柄射线与场景内虚拟屏幕的交点坐标以及手柄按键状态；在本实施例中，虚拟现实应用将手柄射线与虚拟屏幕的交点的坐标转换为目标PC可识别的位置信息，并产生特定数据格式的信号发送给所述远控PC；在本实施例中，按键触发信号是在虚拟现实设备参与按键映射的物理按键被用户按压时产生的；
步骤S4、远控PC获取虚拟现实数据并解析，根据用户设置信息判断对应交互响应；
在本实施例中，PC端根据数据结构解析出射线与屏幕碰撞点信息及按键信息，根据用户存储的映射关系，调用DLL中定义的对应方法。在本实施例中，针对鼠标光标移动，将调用方法：ZN8DllClass12simulateMoveEff。在本实施例中，前述被调用的方法，从预设区间接受两个参数，将光标移到对应的位置，前述两个参数代表目标位置相对屏幕宽或高的占比。在本实施例中，前述预设区间包括但不限于：[0,1]。
步骤S5、远控PC根据所判断的映射按键、按键组合数据及坐标数据等信息执行所确定的交互操作指令。
在本实施例中，采用按键映射方法，依靠分别安装于虚拟现实设备和目标PC的两个应用实现，用户在两个应用上通过登录相同的账户，实现目标PC界面以虚拟屏幕的形式在虚拟现实应用内的虚拟场景中呈现；
在本实施例中，远控PC执行虚拟现实设备输入操作对应的功能时，虚拟现实设备内虚拟屏幕显示远控PC设备界面。在本实施例中，该虚拟屏幕界面可为例如：远控PC桌面、远控PC的特定应用的用户界面；在本实施例中，前述虚拟屏幕画面包括但不限于：远控PC的游戏界面中人物的移动、技能释放以及游戏场景的改变。
在本实施例中，当虚拟现实设备内虚拟屏幕显示远控PC设备界面时，无论虚拟现实设备参与按键映射的物理按键是否被按下，射线与虚拟屏幕的交点信息将实时传输给目标PC。在本实施例中，远控PC在接收数据并解析后，会将鼠标光标移动至相应位置。即在虚拟现实设备手柄射线与虚拟场景中虚拟屏幕相交的期间，远控PC的鼠标光标位置将始终跟随手柄射线与虚拟屏幕的交点位置而移动。
在本实施例中，当手柄射线与虚拟屏幕有碰撞点时，虚拟现实设备手柄按键原功能将被禁用；在本实施例中，左手柄摇杆前推原在虚拟现实应用中控制用户在虚拟场景中的前进，当用户在按键映射功能中设定左手柄摇杆前推映射PC设备的鼠标滚轮上滚，则当手柄射线与虚拟屏幕有碰撞点时，用户前推左摇杆手柄，用户在虚拟场景中将不再前进，而是远控PC触发鼠标滚轮上滚的输入操作，可为例如：网页上翻。
在本实施例中，当用户第一次使用按键映射功能时，应用将以默认映射方案进行响应；
在本实施例中，用户可以对按键映射方案进行自定义设置，通过应用设置界面将虚拟现实设备手柄按键输入操作与远控PC键鼠按键输入建立映射关系；在本实施例中，将左手柄摇杆前推操作与键盘“W”键建立映射关系；
在本实施例中，用户可以对按键映射方案进行自定义设置，通过应用设置界面将虚拟现实设备手柄按键输入操作与远控PC键鼠按键组合输入建立映射关系；在本实施例中，将右手柄主键与与键盘“Ctrl”+“A”组合键建立映射关系；
在本实施例中，采用的按键映射技术是用于将手柄按键或按键组合映射到PC设备的特定按键或按键组合的技术。
在本实施例中，当用户需要进行远程控制时，单纯的鼠标点击操作可能无法满足他们对PC远程控制界面的控制需求。因为鼠标点击只能提供有限的控制方式，某些操作需要更多的功能按键或按键组合来实现。按键映射技术背景为解决前述问题而发展起来的。在本实施例中，案件映射技术允许用户通过手柄控制器或其他设备输入特定的按键或按键组合，以触发PC设备上的相应功能。
在本实施例中，按键映射技术允许用户在虚拟现实环境中使用手柄来替代鼠标点击，从而提供更多的控制选项和更灵活的操作方式。这种技术背后的理念是将手柄按键或按键组合与PC设备上的特定按键或按键组合进行映射，建立起一种直观且便捷的控制方式。
在本实施例中，用户可以根据自己的需求和习惯，通过手柄按下特定的按键或按键组合来实现PC设备上的各种操作；在本实施例中，前述操作包括但不限于：打开应用程序、切换窗口以及调整音量。
在本实施例中，按键映射技术的发展源于对用户体验和操作灵活性的需求。按键映射技术允许用户通过使用手柄等外部设备，在虚拟现实环境中更自由地控制PC设备，提供远程控制方式。
实施例2
如图2所示，在本实施例中，远控界面按键映射方法，还包括以下实施步骤：
步骤S1’、用户连接并配置设备；
在本实施例中，用户将VR设备与PC或其他终端设备进行连接，并进行必要的设置和配置；
步骤S2’、手柄输入检测；
在本实施例中，系统通过传感器检测用户手柄的位置、姿态和按键输入等信息；
步骤S3’、执行射线投射算法；
在本实施例中，根据手柄的位置和姿态，使用射线投射算法确定手柄射线与虚拟环境中的屏幕或物体的交点；
在本实施例中，基于先进射线投射算法和屏幕交互检测算法的精确手柄-屏幕交互检测方法，提供可自定义按键映射方案设计的界面和算法。在本实施例中，通过使用先进的射线投射算法和屏幕交互检测算法，准确地检测用户手柄射线与屏幕的交互情况，确定按键映射是否应该生效。
步骤S4’、按键映射设置；
在本实施例中，用户在系统中进行按键映射设置，将手柄上的按键与PC或其他设备的对应按键关联起来；
步骤S5’、触发按键事件；
在本实施例中，当手柄射线与屏幕或物体相交时，根据映射设置，系统触发与手柄按键对应的PC设备按键事件；
在本实施例中，实时触发PC设备按键事件：通过与PC设备的接口通信，将按键映射逻辑转化为PC设备上的相应按键事件，确保按键映射功能能够正常触发PC设备上的功能，实现虚拟现实环境与PC设备之间的无缝交互。
如图3所示，在本实施例中，用户连接好其他设备后，在远控屏幕下方有设备屏幕设置按钮。
步骤S6’、PC设备响应；
在本实施例中，PC设备接收到触发的按键事件后，执行相应的操作，例如键盘输入、鼠标点击或其他应用程序的响应。
步骤S7’、按键映射方案存档和切换；
如图4所示，在本实施例中，设置中有设置按键映射，点击后进行按键映射设置菜单。
如图5所示，在本实施例中，按键映射设置界面最上面是方案存档，用于存储默认方案和用户定义方案，用户可以通过右侧下三角点出下拉菜单，查看目前存储的映射方案并进行选择；下方按键设置有两列，分别对应手柄和PC按键。
如图6a及图6b所示，在本实施例中，左栏是VR端设置，框右有个加号，通过点击下拉菜单里的按键可以自动左侧输入框里添加按键字段，从而设置VR端按键或按键组合。
如图7a及图7b所示，在本实施例中，右栏是PC端设置，框右有一个加号，点击后出现虚拟键盘，在键盘上选择按键或按键组合。
如图8所示，在本实施例中，同一行就会建立映射，当手柄射线与屏幕相交时，VR端设置的按键或按键组合被按下，PC端设置的按键或按键组合就会响应触发。
如图9所示，在本实施例中，PC端设置的按键组合可以是相同按键重复按下，例如手柄主键对应鼠标左键被按下两次。
在本实施例中，系统提供存储不同按键映射方案的功能，用户可以根据需要选择和切换不同的按键映射方案。
在本实施例中，进行按键映射方案的存档和自动识别操作：将用户设计的按键映射方案进行存档，并在下次连接设备时自动加载最近使用的映射方案。
在本实施例中，可自定义的按键映射方案设计：提供一个直观、灵活的界面，使用户能够自定义手柄上的按键或按键组合与PC设备上的对应按键或按键组合之间的映射关系。
在本实施例中，VR Meet按键映射技术的工作原理是通过用户进行手柄和PC端按键映射的设置，当手柄射线与屏幕相交时，按键映射被触发，PC端根据映射响应相应的按键事件。这样可以实现用户在虚拟环境中对PC设备的控制。
在本实施例中，用户可以自定义针对PC设备连接的按键或按键组合映射关系，当手柄射线与屏幕相交时，用户在VR端通过手柄按下某个按键或按键组合，其原始功能将被替代为映射关系，远控的PC设备将触发所设定的对应按键或按键组合。当手柄射线与屏幕不相交时，映射关系不生效；
在本实施例中，左手柄摇杆前推原始功能是用户人物形象前进，如果屏幕按键映射将其映射到键盘“W”键，则当用户左手柄射线与屏幕相交时，前推摇杆，用户人物形象不再前移，按键效果被替换为PC触发“W”键，如果左手柄射线不与屏幕相交，左手柄摇杆前推保持人物前移功能不变，PC设备不会触发“W”键。
且用户可以对映射方案进行存档，下次连接该设备，默认以最后使用的映射方案开启按键映射功能。
实施例3
如图10所示，在本实施例中，远控界面按键映射系统10包括但不限于：电子设备100、电子设备200。电子设备100包括但不限于：搭载Windows操作系统的桌面型计算机、平板电脑、膝上型计算机、手持计算机以及笔记本电脑，包括：键盘、触控板或鼠标等外设，可通过有线或无线方式连接互联网。在本实施例中，电子设备200可为例如虚拟现实设备，其输入设备具有一个或多个物理按键，包括但不限于：摇杆按键、启动按键、扳机键、握把键、主键以及次键，并且具有Wi-Fi模块、和/或4G网络通信或5G网络通信。在本实施例中，前述主键包括但不限于：A键、X键；前述次键包括但不限于：B键、Y键。
在本实施例中，远控PC执行虚拟现实设备输入操作对应的功能时，虚拟现实设备内虚拟屏幕显示远控PC设备界面。在本实施例中，前述虚拟屏幕界面可为例如：远控PC桌面，或者远控PC的某个应用的用户界面。
在本实施例中，参见图10，建立虚拟现实设备与目标PC的数据连接后，远控PC的界面101将渲染到沉浸式虚拟场景的一面虚拟屏幕211上，同时，虚拟屏幕将根据所述远控PC的分辨率信息自动调整屏幕尺寸比例。
在本实施例中，虚拟现实设备中虚拟场景里的虚拟屏幕211所显示的界面可以是远控PC的桌面，也可以是远控PC运行的某个应用的用户界面。在本实施例中，该虚拟屏幕画面可为例如：远控PC的游戏界面中人物的移动、技能释放以及游戏场景的改变。在本实施例中，利用远控PC通过函数OnStreamMessage实现数据包的接收。接收到射线与屏幕交点坐标后，首先根据数据结构提取光标坐标信息并移动鼠标光标到目标处；然后通过对照GlobalVar.ButtonMap中的映射方案，触发特定的PC响应。
在本实施例中，用户可以通过设置界面对映射方案进行自定义设置。当用户第一次使用按键映射功能时，应用将以默认映射方案进行响应，默认映射方案包括：
{"LeftSwipeUp","W"},默认的，左手柄摇杆前推映射键盘“W”键
{"LeftSwipeDown","S"},默认的，左手柄摇杆回拉映射键盘“S”键
{"LeftSwipeLeft","A"},默认的，左手柄摇杆左摆映射键盘“A”
{"LeftSwipeRight","D"},默认的，左手柄摇杆右摆映射键盘“D”
{"LeftTriggerDown","LeftButtonPress"},默认的，左手柄扳机键按下映射鼠标左键按下
{"LeftGrabberDown","RightButton"},默认的，左手柄手柄握把键按下映射鼠标右键按下
{"LeftPrimaryButtonDown","DoubleClick"},默认的，左手柄主键按下映射鼠标左键进行双击动作
{"LeftPrimaryButtonUp","ReactivateDoubleClick"},默认的，左手柄主键按起映射鼠标左键从双击动作恢复
{"LeftSecondaryButtonDown","RightButton"},默认的，左手柄次键按下映射鼠标右键按下
{"LeftSecondaryButtonUp","ReactivateRightButton"},默认的，左手柄次键按起映射鼠标右键按起
{"LeftTriggerUp","LeftButtonRelease"},默认的，左手柄扳机键按起拉映射鼠标左键按起
{"LeftGrabberUp","ReactivateRightButton"},默认的，左手柄握把键按起映射鼠标右键按起
{"RightTriggerDown","LeftButtonPress"},默认的，右手柄扳机键按下映射鼠标左键按下
{"RightGrabberDown","RightButton"},默认的，右手柄握把键按下映射鼠标右键按下
{"RightTriggerUp","LeftButtonRelease"},默认的，右手柄扳机键按起映射鼠标左键按起
{"RightGrabberUp","ReactivateRightButton"},默认的，右手柄握把键按起映射鼠标右键按起
{"RightSwipeUp","ScrollUp"},默认的，右手柄摇杆上推映射鼠标滚轮上滚
{"RightSwipeDown","ScrollDown"},默认的，右手柄摇杆回拉映射鼠标滚轮下滚
{"RightPrimaryButtonDown","DoubleClick"},默认的，右手柄主键按下映射鼠标左键进行双击动作
{"RightPrimaryButtonUp","ReactivateDoubleClick"},默认的，右手柄主键按起映射鼠标左键从双击动作恢复
{"RightSecondaryButtonDown","RightButton"},默认的，右手柄次键按下映射鼠标右键按下
{"RightSecondaryButtonUp","ReactivateRightButton"}默认的，右手柄次键按起映射鼠标右键按起
在本实施例中，键为手柄按键状态，值为PC端的键鼠按键或组合按键动作。
在本实施例中，以处理左手柄trigger按下的响应为例：当左手柄trigger按下后，先检测ButtonMap里有没有关于LeftTriggerDown的键，如果有且其值属于鼠标映射，则调用HandleMouseEvent执行鼠标操作，根据不同的事件类型调用不同的dll函数；如果属于键盘映射，则将按键信息记录下后，待所有手柄按下处理完统一调用_ZN8DllClass11simulateKeyEPci进行模拟键盘按键。对于摇杆信息，进行鼠标按键模拟时，只要摇杆被移动就会触发；进行键盘模拟时，摇杆移动幅度必须超过一个阈值(0.4)才会触发模拟按键。
在本实施例中，虚拟现实应用对用户操作的实时检测数据包括但不限于：手柄射线及碰撞点、手柄射线与场景内虚拟屏幕的交点坐标、手柄按键状态。在本实施例中，按键触发信号是在虚拟现实设备参与按键映射的物理按键被用户按压时产生的。虚拟现实应用将手柄射线与虚拟屏幕的交点的坐标转换为目标PC可识别的位置信息，并产生特定数据格式的信号发送给所述远控PC。在虚拟现实和PC传输的数据过程中，PC根据本功能设计定义的特殊数据格式做出相应的模拟操作。传输的数据包含25字节，数据结构如下：
第0字节至第4字节：数据包类型，0代表手柄信息；
第4字节至第12字节：射线坐标；
第12字节至第13字节：手柄trigger键状态；
第13字节至第14字节：手柄grabber键状态；
第14字节至第15字节：手柄主键状态；
第15字节至第16字节：手柄次键状态；
第16字节至第24字节：摇杆坐标；
第24字节至第25字节：判断左右手柄；
其中，冒号左边是字节范围。
在本实施例中，当虚拟现实设备内虚拟屏幕显示远控PC设备界面时，无论虚拟现实设备参与按键映射的物理按键是否被按下，射线与虚拟屏幕的交点信息将实时传输给目标PC。远控PC在接收数据并解析后，会将鼠标光标移动至相应位置。确认光标位置函数通过接受两个范围在0到1的参数，将光标移到对应的位置。这两个参数代表目标位置相对屏幕宽或高的占比。即在虚拟现实设备手柄射线与虚拟场景中虚拟屏幕相交的期间，远控PC的鼠标光标位置将始终跟随手柄射线与虚拟屏幕的交点位置而移动。参见图10，远控PC将跟随虚拟现实场景内，用户手柄212的选择射线213与虚拟屏幕211的交点214的位置实时改变鼠标101的位置。这部分代码中，采样SendInput模拟鼠标，keybd_event模拟键盘。当手柄射线与虚拟屏幕有碰撞点时，虚拟现实设备手柄按键原功能将被禁用。
在本实施例中，左手柄摇杆前推原在虚拟现实应用中控制用户在虚拟场景中的前进，当用户在按键映射功能中设定左手柄摇杆前推映射PC设备的鼠标滚轮上滚，则当手柄射线与虚拟屏幕有碰撞点时，用户前推左摇杆手柄，用户在虚拟场景中将不再前进，而是所述远控PC触发鼠标滚轮上滚的输入操作。以左手柄为例，通过在Unity内判断射线与屏幕的碰撞点获得射线和屏幕的交汇点坐标。挂在屏幕上的脚本ScreenShare.cs将检测两个手柄射线是否在屏幕上，如果检测到手柄射线正处于屏幕范围内则获取手柄按键信息并调用sendMouseInfo发给客户端。同时禁用手柄按键原应用功能，如左手柄摇杆前推和后拉原本控制用户在虚拟场景中移动，当左手柄射线处于屏幕范围内时，摇杆控制用户在虚拟场景中移动的功能将被禁用，转而控制远控界面的鼠标滚轮的上滚和下滚。
如图11及图12所示，在本实施例中，用户可以通过PC应用进入PC端设置界面进行按键映射方案设定，也可以通过虚拟现实应用进入设置界面进行按键映射方案设定。在本实施例中，参见图11，展示PC应用按键映射设置菜单；参见图12，展示VR应用按键映射设置菜单。在本实施例中，用户可通过PC端应用设置按键映射方案，也可通过虚拟现实应用应用菜单呼出按键映射方案设置菜单。在本实施例中，设置菜单包括但不限于：鼠标映射、键盘映射、添加按钮、确定按钮、取消按钮。在虚拟现实设备上的多个输入操作与远控PC上的多个输入响应之间的映射关系建立完成后，远控PC通过本申请所述通信方式收到的虚拟现实设备输入操作信号，执行远控PC设备相应的功能。
在本实施例中，用户可以对按键映射方案进行自定义设置，通过应用设置界面将虚拟现实设备手柄按键输入操作与远控PC键鼠按键输入建立映射关系。在本实施例中，将左手柄摇杆前推操作与键盘“W”键建立映射关系，用户也可以将虚拟现实设备手柄按键输入操作与远控PC键鼠按键组合输入建立映射关系，在本实施例中，将右手柄主键与与键盘“Ctrl”+“A”组合键建立映射关系；用户可以通过每对映射右侧下三角点出下拉菜单，查看可选的按键并进行选择；下方按键设置有两列，分别对应手柄和PC按键。
在本实施例中，通过点击设置菜单上方的加号，可以添加新的映射对。通过点击下拉菜单里的按键可以自动左侧输入框里添加按键字段，从而设置新的虚拟现实端按键或按键组合。SettingsPage.cs中定义了UI生成的脚本：SettingsPage被激活时，读取按键映射并实例化mouseMapPrefab或者keyMapPrefab。形成映射方案后，当手柄射线与屏幕相交时，虚拟现实端设置的按键或按键组合被按下，PC端设置的按键或按键组合就会响应触发。
在一些实施例中，应用可以根据用户账号存储该项参数的设置和修改，以便于当电子设备100与电子设备200再次建立通信连接时，直接使用该项参数设置，而不必用户重新手动进行调试。比如，将用户映射方案以playfab用户数据的形式存在云端。用户呼出自定义设置UI时，应用将自动读取用户设置数据并将设置的值填充为对应的按键映射，以及调整相应的位置。当用户更改设置并确认时，用户云端设置数据也会随之更新。其中，可以用于用户进行设置的参数包括但不限于如下选项：VR设备按键、VR设备摇杆、PC鼠标按键、PC键盘按键等等，本申请对此不作限制。
综上，本发明采用的按键映射技术允许用户在虚拟现实环境中使用手柄来替代鼠标点击，从而提供更多的控制选项和更灵活的操作方式。这种技术背后的理念是将手柄按键或按键组合与PC设备上的特定按键或按键组合进行映射，建立起直观且便捷的控制方式。
本发明通过使用射线投射算法和屏幕交互检测算法，虚拟现实按键映射技术可以准确检测用户手柄射线与屏幕的交互情况，从而确定按键映射是否应生效。这提高了交互的准确性，减少了误操作和误映射的可能性，提高交互准确性。
本发明通过虚拟现实手柄-屏幕交互检测，利用射线投射算法和屏幕交互检测算法，准确检测用户手柄射线与屏幕的交互情况，以确定按键映射是否应该生效，使用户能够指定手柄上的按键或按键组合与PC设备上的对应按键或按键组合之间的映射关系。
本发明通过接口通信与事件触发的技术，虚拟现实按键映射技术确保虚拟现实设备与PC设备之间的通信正常，并且能够实时触发PC设备上相应的按键事件。这使得用户的交互动作能够及时响应，提高了交互的连贯性和流畅性。
本发明采用的按键映射提供一种自然且直观的用户体验，以减少用户的学习曲线并增强沉浸感。本发明采用虚拟现实按键映射技术，将用户设计的按键映射方案进行存储，以备下次连接该设备时进行使用。用户无需每次重新设置按键映射，节省了操作时间和精力，提供了简便易用的操作体验。
经由本发明的实施，用户可以根据自己的需求和习惯，通过手柄按下特定的按键或按键组合来实现PC设备上的各种操作，如打开应用程序、切换窗口、调整音量等。按键映射技术的发展源于对用户体验和操作灵活性的需求。它允许用户通过使用手柄等外部设备，在虚拟现实环境中更自由地控制PC设备，提供了一种更直观、更灵活的远程控制方式。
本发明通过将虚拟手柄上的按键映射到用户手中的实际手柄上，使用户能够直接感受到按键操作，提高操作的真实感和可控性。终端技术领域的按键映射也会关注用户体验，但更多地强调简化操作和提高用户效率。
本发明在按键映射过程中，进行快速的响应和准确的映射转换。充分考虑用户在切换按键映射方案时的操作便捷性，以及按键映射对虚拟现实环境中角色动作的实时调整，优化了用户体验优化等技术问题。
本发明采用虚拟现实按键映射技术，为用户提供了一个可自定义的按键映射界面，使用户能够根据个人偏好和需求指定手柄上的按键或按键组合与PC设备上的对应按键或按键组合之间的映射关系。用户可以根据自己的习惯和喜好进行按键布局的定制，提高了用户体验的个性化和满意度，提供了个性化定制。
本发明解决了现有技术中按键生效确认困难、按键映射界面缺乏自定义功能、按键映射响应效率及准确率较低，导致的用户体验较差的技术问题。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.远控界面按键映射方法，其特征在于，所述方法包括：
S1、建立虚拟现实设备与目标PC的数据连接，以将远控PC的界面渲染至沉浸式虚拟场景的虚拟屏幕，所述远控PC的界面包括：人物移动信息、技能释放信息以及游戏场景调整信息；
S2、利用所述虚拟现实设备，根据射线投射算法、屏幕交互检测算法，实时监测所述虚拟屏幕与手柄射线的碰撞信息及按键状态，以得到监测状态数据，所述虚拟屏幕的显示画面包括：远控PC桌面、远控PC游戏应用程序用户界面；
S3、利用所述虚拟现实设备，以预置通信方式，将所述检测状态数据发送至所述远控PC，以使得所述远控PC执行设备相应功能；
S4、利用所述远控PC，获取并解析虚拟现实数据，根据用户设置信息判定对应的交互响应信息，其中，所述交互响应信息包括：映射按键、按键组合数据及坐标数据；对按键映射方案进行自定义设置，通过预置应用设置界面，输入所述虚拟现实设备的手柄按键输入操作、所述远控PC的键鼠按键，据以建立并存储映射关系；
S5、根据所述映射关系中的所述映射按键、所述按键组合数据及所述坐标数据，确定交互操作指令，利用所述远控PC，执行所述交互操作指令。
2.根据权利要求1所述的远控界面按键映射方法，其特征在于，所述步骤S2中，在所述虚拟现实设备内的所述虚拟屏幕显示所述远控PC的界面时，将所述手柄射线与虚拟屏幕的交点坐标，传输至目标PC；在所述手柄射线与所述虚拟屏幕存在碰撞点时，禁用所述虚拟现实设备的手柄按键原始功能；利用所述远控PC触发鼠标滚轮输入操作。
3.根据权利要求1所述的远控界面按键映射方法，其特征在于，所述步骤S2中，所述实时监测数据包括：手柄射线及碰撞点、手柄射线与虚拟屏幕的交点坐标以及手柄按键状态。
4.根据权利要求1所述的远控界面按键映射方法，其特征在于，所述步骤S3包括：
S31、对所述虚拟现实设备上的不少于2个输入操作，与所述远控PC上的不少于2个输入响应之间，建立按键映射关系；
S32、利用所述远控PC，通过所述预置通信方式，接收所述虚拟现实设备发送的输入操作信号，以执行所述设备相应功能。
5.根据权利要求4所述的远控界面按键映射方法，其特征在于，所述步骤S31中，按键映射方法，依靠分别安装于虚拟现实设备和目标PC的两个应用实现，使得用户在两个虚拟现实应用、以及目标PC应用，登录相同账户，以在所述目标PC的界面，利用所述虚拟屏幕在所述虚拟现实应用，呈现虚拟场景，以完成按键映射。
6.根据权利要求4所述的远控界面按键映射方法，其特征在于，所述步骤S32中，利用预置虚拟现实应用，将所述手柄射线与所述虚拟屏幕交点坐标，转换为目标PC可识别位置信息，并产生特定数据格式信号，发送所述特定数据格式信号至所述远控PC，利用所述虚拟现实设备内的所述虚拟屏幕，显示所述远控PC的界面。
7.根据权利要求4所述的远控界面按键映射方法，其特征在于，所述步骤S32包括：
S321、在所述远控PC中，通过函数OnStreamMessage接收所述输入操作信号的数据包；
S322、获取所述数据包中的射线与屏幕交点坐标，以根据预置数据结构，提取得到光标坐标信息，据以移动鼠标光标至目标处；
S323、对照GlobalVar.ButtonMap中的映射方案，触发特定的PC响应，以执行所述远控PC的设备相应功能。
8.根据权利要求1所述的远控界面按键映射方法，其特征在于，所述步骤S4中，利用所述交互响应信息，在所述虚拟现实设备的手柄射线与虚拟场景中的所述虚拟屏幕相交时，控制所述远控PC的鼠标光标位置，与所述手柄射线与虚拟屏幕的交点坐标动态一致。
9.根据权利要求1所述的远控界面按键映射方法，其特征在于，所述步骤S4包括：
S41、通过预置应用设置界面，输入所述虚拟现实设备手柄按键输入操作，与所述远控PC的所述键鼠按键的组合，据以建立映射关系；
S42、在用户进行远程控制时，按照所述映射关系，根据输入控制信号，触发所述远控PC的相应功能；
S43、建立所述手柄按键、按键组合，与所述远控PC的特定按键、按键组合的按键组合映射，也设置手柄鼠标切换状态。
10.远控界面按键映射系统，其特征在于，所述系统包括：
界面渲染模块，用以建立虚拟现实设备与目标PC的数据连接，以将远控PC的界面渲染至沉浸式虚拟场景的虚拟屏幕，所述远控PC的界面包括：人物移动信息、技能释放信息以及游戏场景调整信息；
状态监测模块，用以利用所述虚拟现实设备，根据射线投射算法、屏幕交互检测算法，实时监测所述虚拟屏幕与手柄射线的碰撞信息及按键状态，以得到监测状态数据，所述虚拟屏幕的显示画面包括：远控PC桌面、远控PC游戏应用程序用户界面，所述状态监测模块与所述界面渲染模块连接；
状态数据传输模块，用以利用所述虚拟现实设备，以预置通信方式，将所述检测状态数据发送至所述远控PC，以使得所述远控PC执行设备相应功能，所述状态数据传输模块与所述状态监测模块连接；
映射建立及自定义模块，用以利用所述远控PC，获取并解析虚拟现实数据，根据用户设置信息判定对应的交互响应信息，其中，所述交互响应信息包括：映射按键、按键组合数据及坐标数据；对按键映射方案进行自定义设置，通过预置应用设置界面，输入所述虚拟现实设备的手柄按键输入操作、所述远控PC的键鼠按键，据以建立并存储映射关系，所述映射建立及自定义模块与所述状态数据传输模块连接；
交互操作执行模块，用以根据所述映射关系中的所述映射按键、所述按键组合数据及所述坐标数据，确定交互操作指令，利用所述远控PC，执行所述交互操作指令，所述交互操作执行模块与所述映射建立及自定义模块连接。
CN202311694034.0A 2023-12-08 2023-12-08 远控界面按键映射方法及系统 Pending CN117883767A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311694034.0A CN117883767A (zh) 2023-12-08 2023-12-08 远控界面按键映射方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311694034.0A CN117883767A (zh) 2023-12-08 2023-12-08 远控界面按键映射方法及系统

Publications (1)

Publication Number Publication Date
CN117883767A true CN117883767A (zh) 2024-04-16

Family

ID=90649646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311694034.0A Pending CN117883767A (zh) 2023-12-08 2023-12-08 远控界面按键映射方法及系统

Country Status (1)

Country Link
CN (1) CN117883767A (zh)

Similar Documents

Publication Publication Date Title
US11226722B2 (en) Information interaction method and apparatus, storage medium, and electronic apparatus
CN110559651A (zh) 云游戏的控制方法及装置、计算机存储介质、电子设备
CN105159687B (zh) 一种信息处理方法、终端及计算机存储介质
EP2908231A1 (en) Object suspension realizing method and device
CN107185232B (zh) 虚拟对象运动控制方法、装置、电子设备及存储介质
US20060143580A1 (en) Method and system for quick screen switching in a multi-monitor environment
TWI636382B (zh) 將觸控筆模擬為搖桿的觸控電子系統、觸控處理裝置與方法
CN108159697A (zh) 虚拟对象传送方法及装置、存储介质、电子设备
CN111840990B (zh) 输入控制方法、装置及电子设备
CN111389003A (zh) 游戏角色控制方法、装置、设备及计算机可读存储介质
CN112799576B (zh) 一种虚拟鼠标移动的方法及显示设备
CN105353883A (zh) 人机交互方法、人机交互系统和计算装置
CN105007377A (zh) 一种手机远程操控装置、系统及方法
US8327294B2 (en) Method and system to reduce workload and skills required in usage of mouse or other pointing devices
CN112274910A (zh) 虚拟按键配置方法、虚拟按键方法及相关装置
CN117883767A (zh) 远控界面按键映射方法及系统
CN110888529B (zh) 虚拟现实场景控制方法、虚拟现实设备及其控制装置
CN108897457B (zh) 触控装置组件以及触控系统
JP6695530B1 (ja) 情報処理システム及び情報処理方法
US20210170274A1 (en) Simulatively-touch method, simulatively-touch device, and touch control system
US20120011460A1 (en) System capable of simulating variety of output/input devices
JP2021033719A (ja) 情報処理システム及び情報処理方法
CN113797527B (zh) 一种游戏处理方法、装置、设备、介质及程序产品
TWM449618U (zh) 用於互動遊戲的可設定手持式電子系統
US11656742B1 (en) Hand control interfaces and methods in virtual reality environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination