CN115309259A - 一种vr与实机交互方法、系统、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种VR与实机交互方法、系统、电子设备及存储介质，方法包括：通过预设的监听服务获取目标主机上VR程序发送的事件消息，对事件消息进行解码，获取对应的操作指令，根据操作指令模拟触发本机中对应的应用程序的交互操作，获取应用程序的响应消息和反馈画面，将响应消息和反馈画面同步至VR程序中，以使VR程序将响应消息和反馈画面传输至对应的VR设备，完成用户的交互响应；本发明通过将本机中应用程序的画面传输至VR设备中，并与用户基于上述画面进行交互，从而使得VR设备可以与除对应VR程序以外的第三方应用程序进行交互，大大降低了VR程序的开发成本。

Description

一种VR与实机交互方法、系统、电子设备及存储介质

技术领域

本发明涉及虚拟现实人际交互技术领域，更具体地，涉及一种VR与实机交互方法、系统、电子设备及存储介质。

背景技术

虚拟现实技术是20世纪发展起来的一项全新的实用技术，通过将虚拟和现实相互结合，从而创建和体验虚拟世界的计算机仿真系统，进而使得用户沉浸到虚拟环境中，在虚拟现实世界中得到身临其境的感受。

近年来，随着虚拟现实技术的迅速发展，VR(Virtual Reality，虚拟现实技术)设备也逐步开始支持人手部的跟踪和识别，让手部动作能够在虚拟空间中定位，并跟踪到手指的动作,并支持通过手的动作和空间移动，来影响三维场景中的物体，也逐步在一些虚拟现实应用中出现。

在当前很多产品的设计中，为了能更加真实的还原现实中的实际场景，对应的交互设计越来越复杂，导致VR应用程序的开发成本也越来越高，故而，如何降低VR程序开发成本是我们亟待解决的技术问题。

发明内容

本发明针对现有技术中存在的技术问题，提供一种VR与实机交互方法、系统、电子设备及存储介质，解决实际中如何降低VR程序开发成本的技术问题。

根据本发明的第一方面，提供了一种VR与实机交互方法，包括：

通过预设的监听服务获取目标主机上VR程序发送的事件消息；

对所述事件消息进行解码，获取对应的操作指令；

根据所述操作指令模拟触发本机中对应的应用程序的交互操作，获取所述应用程序的响应消息和反馈画面；

将所述响应消息和所述反馈画面同步至所述VR程序中，以使所述VR程序将所述响应消息和所述反馈画面传输至对应的VR设备，完成用户的交互响应。

在上述技术方案的基础上，本发明还可以作出如下改进。

可选的，所述通过预设的监听服务获取目标主机上VR程序发送的事件消息的步骤之前，包括：

获取本机应用程序的实时画面；

将所述实时画面输出至目标主机的采集卡上，以使目标主机获取采集卡中的所述实时画面，并显示在目标主机的VR设备中。

可选的，所述将所述实时画面输出至目标主机的采集卡上的步骤，包括：

将所述实时画面通过第三方接口发送至目标主机。

可选的，所述根据所述操作指令模拟触发本机中对应的应用程序的交互操作，获取所述应用程序的响应指令和反馈画面的步骤，包括：

根据所述操作指令获取本机中对应的应用程序；

将所述操作指令输入至所述应用程序中，以使所述应用程序根据所述操作指令进行响应操作；

获取所述应用程序的响应消息和反馈画面。

可选的，所述将所述响应消息同步至所述VR程序中的步骤，包括：

将所述响应消息发送至所述目标主机，以使所述目标主机将所述响应消息发送至所述VR程序中。

可选的，所述将所述反馈画面同步至所述VR程序中的步骤，包括：

将所述反馈画面发送至所述采集卡中，以使所述目标主机获取所述采集卡中的所述反馈画面，并将所述反馈画面传输至VR设备中。

可选的，所述操作指令的类型包括：触控指令、鼠标指令、键盘指令和语音指令。

根据本发明的第二方面，提供一种VR与实机交互系统，包括：

消息获取模块，用于通过预设的监听服务获取目标主机上VR程序发送的事件消息；

消息解码模块，用于对所述事件消息进行解码，获取对应的操作指令；

响应获取模块，用于根据所述操作指令模拟触发本机中对应的应用程序的交互操作，获取所述应用程序的响应消息和反馈画面；

响应反馈模块，用于将所述响应消息和所述反馈画面同步至所述VR程序中，以使所述VR程序将所述响应消息和所述反馈画面传输至对应的VR设备，完成用户的交互响应。

根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现上述第一方面中任一VR与实机交互方法的步骤。

根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现上述第一方面中任一VR与实机交互方法的步骤。

本发明提供的一种VR与实机交互方法、系统、电子设备及存储介质，本发明通过预设的监听服务获取目标主机上VR程序发送的事件消息，对上述事件消息进行解码，获取对应的操作指令，根据上述操作指令模拟触发本机中对应的应用程序的交互操作，获取上述应用程序的响应消息和反馈画面，将上述响应消息和上述反馈画面同步至上述VR程序中，以使上述VR程序将上述响应消息和上述反馈画面传输至对应的VR设备，完成用户的交互响应；本发明通过监听服务获取VR程序中的操作指令，从而实现了将VR环境中的用户操作指令实时发送至本机中，并根据上述操作指令与本机中的应用程序进行模拟交互，使得上述应用程序根据上述操作指令反馈响应消息和反馈画面，从而实现了用户在VR环境中操作本机应用程序的目的，并通过将上述响应消息和上述反馈画面同步至VR设备中，进而实现了用户可以通过VR设备操作其他服务器上应用程序的目的，解决了VR设备只能操作VR程序的问题，降低了VR程序的开发成本，由于VR设备中只显示上述应用程序的画面和响应消息，故而，大大的降低了VR程序对计算机设备的性能要求，提升了用户的使用体验。

附图说明

图1为本发明提供的一种VR与实机交互方法流程图；

图2为本发明提供的VR与实机交互消息流向时序图；

图3为本发明提供的一种可能的应用场景的示意图；

图4为本发明提供的一种VR与实机交互系统结构示意图；

图5为本发明提供的一种可能的电子设备的硬件结构示意图；

图6为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1为本发明提供的一种VR与实机交互方法流程图，如图1所示，方法包括：

步骤S100：通过预设的监听服务获取目标主机上VR程序发送的事件消息；

需要说明的是，本实施例方法的执行主体可以是具有数据处理、网络通信及程序运行功能的计算机终端设备，例如：电脑、平板电脑等；也可以是具有相同相似功能的服务器设备，还可以是具有相似功能的云服务器，本实施例对此不做限制。为了便于理解，本实施例及下述各实施例将以服务器设备为例进行说明。

可以理解的是，上述预设的监听服务可以是运行在上述服务器上的一个监听程序，其主要用于监听其他服务器发送过来的事件消息，并使得上述服务器可以通过上述监听程序获取到上述事件消息，上述监听程序的启动方式可以是在每次测试验证时由测试人员手动启动的，也可以是系统设定跟随测试应用启动而启动的，本实施例对此不作限制。

应理解的是，上述目标主机可以是具有数据处理、网络通信及程序运行功能的计算机终端设备或者云服务器设备，也可以是运行在本服务器中的虚拟机上的虚拟设备，上述目标主机上部署有上述VR程序。

还可以理解的是，上述事件消息可以是指上述VR程序发送的交互操作，上述交互操作是由连接到VR程序上的VR设备获取用户的操作信息，上述获取方式可以是通过VR手柄获取的，也可以是通过跟踪用户手的移动轨迹获取的，还可以是通过收集用户的语音信息获取的，本实施例对此不作限制。

还应理解的是，上述交互操作经过上述目标主机的消息转换，即可将上述交互操作转换为上述事件消息。

在具体实现中，用户通过VR设备发送操作指令，目标主机上的VR应用程序获取到上述操作指令后，将操作指令转化成事件消息，并将时间消息发送至上述服务器中。

步骤S200：对所述事件消息进行解码，获取对应的操作指令；

需要说明的是，上述解码的过程可以是上述服务器根据与目标主机约定密钥规则进行的解码操作。

在具体实现中，上述服务器在接收到上述事件消息后，对上述事件消息进行解码，获取上述事件消息中的操作指令。

步骤S300：根据所述操作指令模拟触发本机中对应的应用程序的交互操作，获取所述应用程序的响应消息和反馈画面；

需要说明的是，上述模拟触发的过程可以是上述服务器以用户操作时间的先后顺序调用上述应用程序中的接口，从而实现上述应用程序的交互操作与用户一致。

可以理解的是，上述本机指的是上述服务器，本机中对应的应用程序可以是运行在上述服务器中的应用程序。

应理解的是，上述响应消息可以是上述应用程序接收到上述交互操作指令后，执行操作指令给出的响应消息，其响应消息包括但不限于：检测通过、检测不通过。

还可以理解的是，上述反馈画面可以是上述应用程序接收到上述交互操作指令后，执行操作指令后显示屏上显示的画面，其画面可以是一段时间内特定的几帧画面，也可以是一段时间内的全部画面形成的视频流，本实施例对此不作限制。

在具体实现中，上述服务器获取到上述操作指令后，根据上述操作指令的触发时间先后顺序，调用上述服务器中与上述操作指令对应的应用程序的交互接口，使得上述应用程序作出响应，获取对应的响应消息和反馈画面。

步骤S400：将所述响应消息和所述反馈画面同步至所述VR程序中，以使所述VR程序将所述响应消息和所述反馈画面传输至对应的VR设备，完成用户的交互响应。

在具体实现中，上述服务器通过调用上述VR程序的接口将获取到的响应消息和反馈画面发送到目标主机的VR程序中，上述VR程序接收到上述响应消息和反馈画面后，更新VR设备场景中的画面信息，并将上述响应消息反馈给用户。

可以理解的是，基于背景技术中的缺陷，本发明实施例提出了一种VR与实机交互方法。通过预设的监听服务获取目标主机上VR程序发送的事件消息，对上述事件消息进行解码，获取对应的操作指令，根据上述操作指令模拟触发本机中对应的应用程序的交互操作，获取上述应用程序的响应消息和反馈画面，将上述响应消息和上述反馈画面同步至上述VR程序中，以使上述VR程序将上述响应消息和上述反馈画面传输至对应的VR设备，完成用户的交互响应；本发明实施例通过监听服务获取VR程序中的操作指令，从而实现了将VR环境中的用户操作指令实时发送至本机中，并根据上述操作指令与本机中的应用程序进行模拟交互，使得上述应用程序根据上述操作指令反馈响应消息和反馈画面，从而实现了用户在VR环境中操作本机应用程序的目的，并通过将上述响应消息和上述反馈画面同步至VR设备中，进而实现了用户可以通过VR设备操作其他服务器上应用程序的目的，解决了VR设备只能操作VR程序的问题，降低了VR程序的开发成本，由于VR设备中只显示上述应用程序的画面和响应消息，故而，大大的降低了VR程序对计算机设备的性能要求，提升了用户的使用体验。

在一种可能的实施例中，为了进一步降低画面的传输效率，提高用户的使用体验，所述通过预设的监听服务获取目标主机上VR程序发送的事件消息的步骤之前，包括：

步骤S01：获取本机应用程序的实时画面；

步骤S02：将所述实时画面输出至目标主机的采集卡上，以使目标主机获取采集卡中的所述实时画面，并显示在目标主机的VR设备中。

需要说明的是，上述采集卡是指捕获视频、音频等模拟信号并将其数字化导入计算机进行数字处理的捕获设备，主要用于图像采集、视频采集、音频采集等。

在具体实现中，服务器实时获取上述应用程序的画面，并将上述画面发送至目标主机的采集卡上，目标主机通过上述采集卡获取上述实时画面，并将上述实时画面显示在于目标主机连接的VR设备中。

在本发明实施例中，通过使用采集卡硬件，将服务器应用程序的响应画面传输至目标主机的VR设备中，从而实现了低延迟、高可用响应画面传输，进而大大的提高了用户的使用体验。

在一种可能的实施例方式中，为了降低实现成本，所述将所述实时画面输出至目标主机的采集卡上的步骤，包括：

步骤S021：将所述实时画面通过第三方接口发送至目标主机。

需要说明的是，上述第三方接口可以是指以录屏和/或直播的方式提供的接口，例如通过录屏和/或直播软件实现将实时画面传输到上述目标主机中。

在具体实现中，通过在上述服务器上部署一套录屏软件或直播软件，将上述应用程序的响应画面实时转换为视频流服务，并发送至目标主机。

在本发明实施例中，通过使用第三方接口替代上述采集卡的方式进行画面的实时传输，从而降低了本发明方法的实施成本，故而，为用户带来了物美价廉的用户体验。

在一种可能的实施例方式中，为了便于理解，所述根据所述操作指令模拟触发本机中对应的应用程序的交互操作，获取所述应用程序的响应指令和反馈画面的步骤，包括：

步骤S301：根据所述操作指令获取本机中对应的应用程序；

需要说明的是，上述操作指令中包含有待访问的目标应用程序，上述服务器获取上述操作指令后，通过读取上述操作指令中的目标应用程序，来确定上述操作指令需要访问的是上述服务器中哪一个应用程序。

步骤S302：将所述操作指令输入至所述应用程序中，以使所述应用程序根据所述操作指令进行响应操作；

步骤S303：获取所述应用程序的响应消息和反馈画面。

在具体实现中，上述服务器将上述操作指令发送给上述应用程序，上述应用程序在接收到上述操作指令后，执行对应的操作指令，并生成对应的响应消息和反馈画面。

在本发明实施例中，通过将操作指令发送至本机中对应的应用程序，从而使得应用程序响应上述操作指令，从而实现了通过VR设备操作第三方应用程序的目的，使得用户不用单独开发VR程序就可以在VR场景中操作第三方应用，进而降低了用户的VR程序的开发成本，实现了企业研发过程中的降本增效。

在一种可能的实施例方式中，为了便于理解，所述将所述响应消息同步至所述VR程序中的步骤，包括：

步骤S401：将所述响应消息发送至所述目标主机，以使所述目标主机将所述响应消息发送至所述VR程序中。

在一种可能的实施例方式中，所述将所述反馈画面同步至所述VR程序中的步骤，包括：

步骤S402：将所述反馈画面发送至所述采集卡中，以使所述目标主机获取所述采集卡中的所述反馈画面，并将所述反馈画面传输至VR设备中。

在一种可能的实施例方式中，所述操作指令的类型包括：触控指令、鼠标指令、键盘指令和语音指令。

在一种可能的实施例方式中，为了进一步说明VR场景中与实机交互的详细步骤，参见图2，图2为本发明提供的VR与实机交互消息流向时序图。

图2中，用户A为使用VR设备的用户，VR设备A是与服务器A连接的VR穿戴设备，服务器A上部署有VR程序，服务器B上部署有用于检测的应用程序。

在上述应用场景中，服务器B首先获取应用程序中画面的视频流文件，并将上述视频流文件发送给服务器A上，服务器A上的VR程序获取到上述视频流文件后，将上述视频流文件还原成上述应用程序的画面，将上述应用程序的画面显示在VR设备A中，用户通过VR设备A即可看到上述应用程序的实时画面，用户A通过手势、VR手柄和/或语音的方式操作VR场景中的应用程序时，VR设备A获取用户A的操作指令并发送给服务器A，服务器A再接收到操作指令后，将操作指令加密转换成事件消息，并将事件消息发送给服务器B，服务器B上的应用程序接收到事件消息后，解析该事件消息，获取其中的操作指令，并根据上述操作指令，生成响应消息和响应视频流文件，服务器B再将上述响应消息和响应视频流文件发送给服务器A，服务器A根据响应消息和视频流文件更新VR场景中的画面，并将响应消息反馈给用户A，即可实现用户A通过VR设备操作检测应用程序的目的。

在一种可能的应用场景中，参见图3，图3为本发明提供的一种可能的应用场景的示意图。

在上述应用场景中，主机A上运行有VR应用程序，主机B上运行有待检测的待检应用程序，在VR虚拟环境中可以模拟出车辆内部的实际场景，用于增强用户的真实体验，并且还可以融入车辆外部的特定场景，例如：

场景一：为了获取车辆行驶中的导航切换场景时的用户体验，主机B上部署的是实际车辆中的导航程序，主机B的导航程序将车辆行驶过程中的导航画面通过主机A和VR设备镜像至VR虚拟环境中，用户可以通过手势或语音发送导航指令，在用户通过手势或语音发送打开导航指令时，VR设备和主机A将上述打开导航指令发送至主机B，主机B在接收到打开导航指令时，主机B启动导航程序，并将导航程序的显示界面镜像至VR虚拟环境中，同时模拟出车辆行驶时，导航界面的自动切换，进而检测上述过程中，导航程序响应用户指令成功率等相关指标。

场景二：为了获取车辆的音乐播放程序的用户体验，主机B上部署的是实际车辆中的音乐播放程序，用户在通过手势或者语音发送打开音乐播放程序指令时，VR设备通过主机A将上述指令发送至主机B，主机B接收到上述打开指令后启动音乐播放程序，并将启动界面镜像至VR虚拟环境中，在用户通过音乐播放程序界面操作音乐播放器时，统计用户操作的误操作等相关指标。

场景三：为了获取车辆碰撞时用户的形态特征，从而优化车辆安全系统的场景，主机B上部署有碰撞程序，主机B的碰撞程序将车辆的行驶画面通过主机A和VR设备镜像至VR虚拟环境中，在预先设定的时间，主机B将碰撞的场景更新至VR虚拟环境中，为了提高场景的真实性还可以借助实际碰撞的声音、座椅设备的晃动等来加强场景的真实性，以使用户在VR虚拟环境中做出真是的碰撞反应，并通过VR设备记录用户的形态特征。

图4为本发明实施例提供的一种VR与实机交互系统结构示意图，如图4所示，一种VR与实机交互系统，包括消息获取模块100、消息解码模块200、响应获取模块300和响应反馈模块400，其中：

获取模块100，用于通过预设的监听服务获取目标主机上VR程序发送的事件消息；消息解码模块200，用于对所述事件消息进行解码，获取对应的操作指令；响应获取模块300，用于根据所述操作指令模拟触发本机中对应的应用程序的交互操作，获取所述应用程序的响应消息和反馈画面；响应反馈模块400，用于将所述响应消息和所述反馈画面同步至所述VR程序中，以使所述VR程序将所述响应消息和所述反馈画面传输至对应的VR设备，完成用户的交互响应。

可以理解的是，本发明提供的一种VR与实机交互系统与前述各实施例提供的VR与实机交互方法相对应，VR与实机交互系统的相关技术特征可参考VR与实机交互方法的相关技术特征，在此不再赘述。

请参阅图5，图5为本发明实施例提供的电子设备的实施例示意图。如图5所示，本发明实施例提供了一种电子设备，包括存储器1310、处理器1320及存储在存储器1310上并可在处理器1320上运行的计算机程序1311，处理器1320执行计算机程序1311时实现以下步骤：通过预设的监听服务获取目标主机上VR程序发送的事件消息；对所述事件消息进行解码，获取对应的操作指令；根据所述操作指令模拟触发本机中对应的应用程序的交互操作，获取所述应用程序的响应消息和反馈画面；将所述响应消息和所述反馈画面同步至所述VR程序中，以使所述VR程序将所述响应消息和所述反馈画面传输至对应的VR设备，完成用户的交互响应。

请参阅图6，图6为本发明提供的一种计算机可读存储介质的实施例示意图。如图6所示，本实施例提供了一种计算机可读存储介质1400，其上存储有计算机程序1411，该计算机程序1411被处理器执行时实现如下步骤：通过预设的监听服务获取目标主机上VR程序发送的事件消息；对所述事件消息进行解码，获取对应的操作指令；根据所述操作指令模拟触发本机中对应的应用程序的交互操作，获取所述应用程序的响应消息和反馈画面；将所述响应消息和所述反馈画面同步至所述VR程序中，以使所述VR程序将所述响应消息和所述反馈画面传输至对应的VR设备，完成用户的交互响应。

本发明提供的一种VR与实机交互方法、系统、电子设备及存储介质，本发明通过预设的监听服务获取目标主机上VR程序发送的事件消息，对上述事件消息进行解码，获取对应的操作指令，根据上述操作指令模拟触发本机中对应的应用程序的交互操作，获取上述应用程序的响应消息和反馈画面，将上述响应消息和上述反馈画面同步至上述VR程序中，以使上述VR程序将上述响应消息和上述反馈画面传输至对应的VR设备，完成用户的交互响应；本发明通过监听服务获取VR程序中的操作指令，从而实现了将VR环境中的用户操作指令实时发送至本机中，并根据上述操作指令与本机中的应用程序进行模拟交互，使得上述应用程序根据上述操作指令反馈响应消息和反馈画面，从而实现了用户在VR环境中操作本机应用程序的目的，并通过将上述响应消息和上述反馈画面同步至VR设备中，进而实现了用户可以通过VR设备操作其他服务器上应用程序的目的，解决了VR设备只能操作VR程序的问题，降低了VR程序的开发成本，由于VR设备中只显示上述应用程序的画面和响应消息，故而，大大的降低了VR程序对计算机设备的性能要求，提升了用户的使用体验。

需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种VR与实机交互方法，其特征在于，所述方法包括：

通过预设的监听服务获取目标主机上VR程序发送的事件消息；

对所述事件消息进行解码，获取对应的操作指令；

根据所述操作指令模拟触发本机中对应的应用程序的交互操作，获取所述应用程序的响应消息和反馈画面；

将所述响应消息和所述反馈画面同步至所述VR程序中，以使所述VR程序将所述响应消息和所述反馈画面传输至对应的VR设备，完成用户的交互响应。

2.根据权利要求1所述的VR与实机交互方法，其特征在于，所述通过预设的监听服务获取目标主机上VR程序发送的事件消息的步骤之前，包括：

获取本机应用程序的实时画面；

将所述实时画面输出至目标主机的采集卡上，以使目标主机获取采集卡中的所述实时画面，并显示在目标主机的VR设备中。

3.根据权利要求2所述的VR与实机交互方法，其特征在于，所述将所述实时画面输出至目标主机的采集卡上的步骤，包括：

将所述实时画面通过第三方接口发送至目标主机。

4.根据权利要求1所述的VR与实机交互方法，其特征在于，所述根据所述操作指令模拟触发本机中对应的应用程序的交互操作，获取所述应用程序的响应指令和反馈画面的步骤，包括：

根据所述操作指令获取本机中对应的应用程序；

将所述操作指令输入至所述应用程序中，以使所述应用程序根据所述操作指令进行响应操作；

获取所述应用程序的响应消息和反馈画面。

5.根据权利要求1所述的VR与实机交互方法，其特征在于，所述将所述响应消息同步至所述VR程序中的步骤，包括：

将所述响应消息发送至所述目标主机，以使所述目标主机将所述响应消息发送至所述VR程序中。

6.根据权利要求1所述的VR与实机交互方法，其特征在于，所述将所述反馈画面同步至所述VR程序中的步骤，包括：

将所述反馈画面发送至所述采集卡中，以使所述目标主机获取所述采集卡中的所述反馈画面，并将所述反馈画面传输至VR设备中。

7.根据权利要求1所述的VR与实机交互方法，其特征在于，所述操作指令的类型包括：触控指令、鼠标指令、键盘指令和语音指令。

8.一种VR与实机交互系统，其特征在于，包括

消息获取模块，用于通过预设的监听服务获取目标主机上VR程序发送的事件消息；

消息解码模块，用于对所述事件消息进行解码，获取对应的操作指令；

响应获取模块，用于根据所述操作指令模拟触发本机中对应的应用程序的交互操作，获取所述应用程序的响应消息和反馈画面；

响应反馈模块，用于将所述响应消息和所述反馈画面同步至所述VR程序中，以使所述VR程序将所述响应消息和所述反馈画面传输至对应的VR设备，完成用户的交互响应。

9.一种电子设备，其特征在于，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求1-7任一项所述的VR与实机交互方法的步骤。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如权利要求1-7任一项所述的VR与实机交互方法的步骤。

Images