CN109857258A - 一种虚拟远程遥控方法及装置、系统 - Google Patents

Abstract

本申请涉及一种虚拟远程遥控方法及装置、系统，所述方法包括如下步骤：获取待控制设备的空间状态信息，并根据所述空间状态信息模拟出所述待控制设备的虚拟形态。获取所述待控制设备的周围的环境图像，并根据所述环境图像模拟出所述待控制设备的虚拟环境。获取正在远程遥控所述待控制设备的用户的空间位置，并根据所述空间位置确定在所述虚拟环境中所述虚拟形态相对于所述用户的显示视角。获取所述用户的操作信息，并根据所述操作信息驱动所述待控制设备执行与所述操作信息对应的动作，且以所述显示视角显示所述虚拟形态在所述虚拟环境中做出的相应动作。利用虚拟现实技术以及定位跟踪设备，可以使用户完成更加精细的远程遥控；提升执行效率。

Description

一种虚拟远程遥控方法及装置、系统

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种虚拟远程遥控方法及装置、系统。

背景技术

当前对于设备的远程操控，常常使用一些简单的手段来进行，如键盘、鼠标或是类似遥控器的控制手柄等，然而这些方式并不适用于一些复杂的任务。而且在用户端往往对待控制设备的空间及状态显示简单、单一，因此用户不能具体地、直观地了解到设备情况，从而降低了远程遥控的准确度和效率。

发明内容

本发明为了解决上述技术问题提供一种虚拟远程遥控方法。

本发明解决上述技术问题的技术方案如下：一种虚拟远程遥控方法，包括如下步骤：

获取待控制设备的空间状态信息，并根据所述空间状态信息模拟出所述待控制设备的虚拟形态。

获取所述待控制设备的周围的环境图像，并根据所述环境图像模拟出所述待控制设备的虚拟环境。

获取正在远程遥控所述待控制设备的用户的空间位置，并根据所述空间位置确定在所述虚拟环境中所述虚拟形态相对于所述用户的显示视角。

获取所述用户的操作信息，并根据所述操作信息驱动所述待控制设备执行与所述操作信息对应的动作，且以所述显示视角显示所述虚拟形态在所述虚拟环境中做出的相应动作。

本发明的有益效果是，通过对待控制设备及其环境进行模拟，得到虚拟环境及待控制设备的虚拟形态，并在虚拟环境中结合用户的实际定位显示待控制设备状态，为用户在远程提供了非常直观、便捷的操控方式，使得远程遥控更加容易上手；并且利用虚拟现实技术以及定位跟踪设备，可以使用户完成更加精细的远程遥控；提升执行效率。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述空间状态信息包括所述待控制设备的空间信息和工作状态信息。

所述形态模拟模块具体用于，在所述虚拟环境中建立所述待控制设备的虚拟模型，并根据所述空间信息确定所述虚拟模型的方位信息，根据所述工作状态信息确定所述虚拟模型的工作状态；再根据所述虚拟模型、所述方位信息以及所述工作状态确定所述虚拟形态。

采用上述进一步方案的有益效果是，通过获取待控制设备空间信息和工作状态信息，能够全面得知控制状态的情况，以便用户在远程更精准地控制。

进一步，所述待控制设备包括父部件和至少一个子部件，所述获取待控制设备的空间状态信息中的所述空间信息具体实现为：

获取所述待控制设备的父部件的空间信息，并以所述父部件的空间信息为参考来确定每个所述子部件的空间信息。

采用上述进一步方案的有益效果是，通过以父部件作为参考点确定各个子部件的空间状态信息，可更便捷、准确地获取各个部件的位置，避免了在每个部件上设置定位装置的繁琐操作。

进一步，所述父部件与所述子部件为层级关系，其中，在所述层级关系中，所述父部件为一个层级，多个所述子部件为另一个层级，所述父部件为所述子部件的上级。

采用上述进一步方案的有益效果是，通过引入父部件和子部件的层级关系，能够在虚拟环境中更好的模拟待控制设备的运动方式。

进一步，所述空间信息包括所述子部件相对于所述父部件的位移值和旋转度。

采用上述进一步方案的有益效果是，通过采集子部件相对于所述父部件的位移值和旋转度作为待控制设备的空间信息，进一步提高了对待控制设备的控制的精度。

本发明为了解决上述技术问题提供一种虚拟远程遥控装置。

其技术方案为：一种虚拟远程遥控装置，包括：

形态模拟模块，用于获取待控制设备的空间状态信息，并根据所述空间状态信息模拟出所述待控制设备的虚拟形态。

环境模拟模块，用于获取所述待控制设备的周围的环境图像，并根据所述环境图像模拟出所述待控制设备的虚拟环境。

用户定位模块，用于获取正在远程遥控所述待控制设备的用户的空间位置，并根据所述空间位置确定在所述虚拟环境中所述虚拟形态相对于所述用户的显示视角。

虚拟控制模块，用于获取所述用户的操作信息，并根据所述操作信息驱动所述待控制设备执行与所述操作信息对应的动作，且以所述显示视角显示所述虚拟形态在所述虚拟环境中做出的相应动作。

进一步，所述空间状态信息包括所述待控制设备的空间信息和工作状态信息。

所述根据所述空间状态信息模拟出所述待控制设备的虚拟形态具体实现为:

在所述虚拟环境中建立所述待控制设备的虚拟模型，并根据所述空间信息确定所述虚拟模型的方位信息，根据所述工作状态信息确定所述虚拟模型的工作状态；再根据所述虚拟模型、所述方位信息以及所述工作状态确定所述虚拟形态。

进一步，所述待控制设备包括父部件和至少一个子部件，所述形态模拟模块具体用于：

获取所述待控制设备的父部件的空间信息，并以所述父部件的空间信息为参考点来确定每个所述子部件的空间信息。

进一步，所述父部件与所述子部件为层级关系，其中，在所述层级关系中，所述父部件为一个层级，多个所述子部件为另一个层级，所述父部件为所述子部件的上级。

进一步，所述空间信息包括所述子部件相对于所述父部件的位移值和旋转度。

本发明为了解决上述技术问题提供一种虚拟远程遥控系统。

其技术方案为：一种虚拟远程遥控系统，包括图像采集设备、待控制设备、控制器、服务器、显示设备和定位跟踪设备。

所述控制器分别与所述图像采集设备和所述待控制设备连接，所述显示设备与所述定位跟踪设备连接，所述服务器分别与所述控制器和所述显示设备通信连接。

所述图像采集设备用于采集环境信息。

所述控制器用于获取所述待控制设备的空间状态信息和所述环境信息，并对所述待控制设备进行控制。

所述定位跟踪设备用于获取用户的空间位置和操作信息。

所述服务器用于接收并管理所述环境信息、所述空间状态信息、所述操作信息和所述空间位置。

所述显示设备用于显示根据所述环境信息、所述空间状态信息、所述操作信息和所述空间位置模拟出的所述待控制设备以虚拟形态在虚拟环境中执行的动作。

附图说明

图1为本发明实施例提供的一种虚拟远程遥控方法的流程示意图；

图2为本发明实施例提供的一种虚拟远程遥控系统的结构示意图；

图3为本发明实施例提供的控制器的结构示意图；

图4为本发明实施例提供的一种虚拟远程遥控系统的工作流程示意图；

图5为本发明实施例提供的一种虚拟远程遥控装置的结构示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，本发明实施例提供的一种虚拟远程遥控方法，包括如下步骤：

获取待控制设备的空间状态信息，并根据所述空间状态信息模拟出所述待控制设备的虚拟形态。

获取所述待控制设备的周围的环境图像，并根据所述环境图像模拟出所述待控制设备的虚拟环境。

获取正在远程遥控所述待控制设备的用户的空间位置，并根据所述空间位置确定在所述虚拟环境中所述虚拟形态相对于所述用户的显示视角。

获取所述用户的操作信息，并根据所述操作信息驱动所述待控制设备执行与所述操作信息对应的动作，且以所述显示视角显示所述虚拟形态在所述虚拟环境中做出的相应动作。

在实际应用场景中，如图2所示，实现上述方法的系统可包括待控制设备、图像采集设备、控制器、服务器、显示设备以及定位跟踪设备。

其中，待控制设备为被用户虚拟远程遥控设备；图像采集设备是用来采集周围环境的图像信息，该图像采集设备可以作为待控制设备的一部分或者是独立开来；控制器可以作为待控制设备的一个子模块或者是独立的一个模块，是用于与待控制设备沟通的桥梁；服务器用于统一管理设备信息、用户信息以及对于用户与设备之间的消息中转分发；显示设备用于显示虚拟的场景以及虚拟设备，用户就在该虚拟场景里面对待控制设备进行远程遥控；定位跟踪设备用于获取用户在真实空间中的位置以及操作。

其中，具体地，待控制设备与控制器之间可通过有线或无线连接，以进行数据的传输交互；控制器与服务器可通过无线连接，以进行数据的传输交互；显示设备与服务器可通过无线连接，以进行数据的传输交互；显示设备与定位跟踪设备可通过有线或无线连接，以进行数据的传输交互。

具体地，如图3所示，所述控制器的结构示意图，包括：网络模块、后台解析模块以及设备交互模块。

网络模块用于接收用户远程遥控而发出的空间信息、状态信息信号以及发送待控制设备的空间信息、状态信息以及环境图像等网络信号，所述网络信号可包括无线信号或者有线信号。

后台解析模块主要用于两个方面：一方面用于解析处理从网络模块接收到的更新设备空间信息和状态信息的控制消息；另一方面用于解析处理从设备交互模块收集到的各种设备相关的空间信息和状态信息。

需要说明的是，接收到的更新设备空间信息和状态信息的控制消息是用户在虚拟场景里面对虚拟设备所进行的各项操作而产生的，处于真实环境中的待控制设备是无法识别这些控制信息的，需要后台解析模块将这些控制信息归类处理，转换为待控制设备可以理解的控制指令，再经由设备交互模块将这些指令派发到待控制设备，完成远程遥控。

其中，设备交互模块负责与待控制设备通信交互，包括：收集待控制设备的空间信息、状态信息、发送后台解析模块提供的控制指令等。

如图2所示，本发明实施例提供的一种虚拟远程遥控系统，包括图像采集设备、待控制设备、控制器、服务器、显示设备和定位跟踪设备。

所述控制器分别与所述图像采集设备和待控制设备连接，所述显示设备与所述定位跟踪设备连接，所述服务器分别与所述控制器和所述显示设备通信连接。

所述图像采集设备用于采集环境信息。

所述控制器用于获取所述待控制设备的空间状态信息和所述环境信息，并对待控制设备进行控制。

所述定位跟踪设备用于获取用户的空间位置和操作信息。

所述服务器用于接收并管理所述环境信息、所述空间状态信息、所述操作信息和所述空间位置。

所述显示设备用于显示根据所述环境信息、所述空间状态信息、所述操作信息和所述空间位置模拟的所述待控制设备以虚拟形态在虚拟环境中执行的动作。

在实际应用时，如图4所示，其工作流程如下：

S1，所述控制器获取所述待控制设备的空间状态信息，所述空间状态信息用于表征所述待控制设备各个子部件在真实环境里的空间位置及其状态。

值得说明的是，随着远程遥控的技术越来越成熟，可以被远程遥控的设备也越来越多样化，所述待控制设备可以从简单的如一个开关到复杂的如机器人。

完成虚拟远程遥控所需的信息也随着设备的不同而不同，大致可以归类为空间信息与状态信息。所述空间信息用于表征所述待控制设备各个子部件相对于父部件的位置信息，如位移值、旋转度等。所述状态信息用于表征所述待控制设备各个子部件当前与空间位置无关的各种状态，如灯光的明暗等。

S2，所述图像采集设备获取周边的环境图像，所述环境图像用于表征所述图像采集设备所在的空间真实环境。

所述图像采集设备可以为摄像头，实时拍摄其所在的空间场景的画面，并发送至所述控制器。

值得说明的是，环境图像并不是远程虚拟遥控所必需的，但是把设备周边的真实环境模拟出来可以增加用户的体验感。

S3，所述控制器上传从所述待控制设备获取到的空间、状态信息以及从所述图像采集设备获取到的环境图像。

值得说明的是，所述控制器可以上传信息到服务器或者直接到显示设备，然而在一种较优的实施方式中，服务器是必不可少的。

在应用到服务器时，具体实施可如下：为所有可以被虚拟远程遥控设备在服务器上注册一个唯一的设备ID，同样的，为所有想要虚拟远程遥控用户也在服务器上注册一个唯一的用户ID，这样就可以根据这些ID获取到对应设备的信息或用户的信息。通过这种方式，用户可以很轻松的在不同的设备之间切换来进行虚拟远程遥控。例如，用户A选择设备X作为虚拟远程遥控设备，当用户A想要待控制设备Y时，直接选择设备Y作为当前控制的设备就可以了。

由于有些设备可能很复杂，有很多的子部件要操作，远程遥控人员可能需要在不同的子部件之间切换并遥控，如果有多个人员分工协作，可以极大的提高效率。服务器的存在让这一需求成为可能，例如，用户A选择设备X 作为虚拟远程遥控设备，用户B也选择设备X作为虚拟远程遥控设备。用户 A和用户B同时待控制设备X，双方共享设备的空间信息、状态信息及环境图像。

由上述可知：使用服务器的好处是：1)便于信息的统一管理，用户和设备信息一目了然；2)一个用户可以很轻松的在多台设备之间切换并远程遥控；3)多个用户也可以同时控制一个设备便于协同操作。

S4，所述显示设备接收到所述控制器获取到的空间、状态信息以及从所述图像采集设备获取到的环境图像，并在虚拟场景中模拟出该环境的虚拟环境及所述待控制设备的虚拟形态。所述虚拟环境用于表征所述待控制设备所在的空间真实环境在虚拟场景里的表现形式，所述虚拟形态用于表征所述待控制设备在虚拟场景中的空间及状态信息。

作为一种实施方式，所述显示设备可以为显示终端，例如计算机、VR、 AR或MR眼镜等。

要模拟出所述待控制设备的虚拟形态，首先需要有一个所述待控制设备的三维模型。通过常用的3D图形软件(如Maya、3ds max)对该所述待控制设备进行计算机的三维建模，然后将建好的3D模型导入到虚拟现实系统中，进行相关的程序设计及相关修改。

所述待控制设备的三维模型应该根据实际虚拟远程遥控需求进行相应的修改。例如，如果所述待控制设备的某一部件是可以活动且能被虚拟远程遥控，则在三维模型里面该子部件也应该是以“组件”的形式存在，这样程序才可以控制该部件的空间信息。同样的，如果该子部件也有状态信息改变的需求，则三维模型也需要提供能反应该状态改变的方法。

接收到所述待控制设备的空间信息及状态信息，用户就可以完成相应的虚拟远程遥控操作了。但是该实施例将环境图像在虚拟场景里面显示出来，是为了让用户觉得自己仿佛就处于设备中来操控该设备，给用户一种更加真实的体验感。

S5，所述定位跟踪设备定位并接收用户的空间位置及操作信息。

作为一种实施方式，所述定位跟踪设备可以为带空间定位的VR设备等。

该定位跟踪设备会以当前用户所处空间中的某一点作为原点，并计算出该用户与原点的偏移位置。同时可以接收用户通过输入设备如VR手柄等发出的操作信息。

S6，所述显示设备接收从定位跟踪设备发出的用户的空间位置信息及操作信息。

具体地，所述显示设备接收到用户的空间位置信息后，在虚拟场景里面显示该用户对应位置的视角图像。用户可以在虚拟场景里面移动到任意想去的位置，可以全方位观察整个设备运转的情况。

用户可以在虚拟场景里面自由操作虚拟设备。例如，选择某个部件，移动该部件到相应的位置、旋转该部件或者是改变该部件的状态。这些操作不仅会实时的更新虚拟场景里面虚拟设备的空间信息和状态信息，而且会将这些更新后的空间信息及状态信息上传至服务器。具体细节请参照下面的步骤。

S7，所述显示设备将用户在虚拟场景里面操作虚拟设备所产生的空间信息及状态信息上传至服务器。

具体地，所述显示设备可以上传空间信息及状态信息到服务器或者直接到控制器。正如之前步骤所述，好的实施方式服务器是必不可少的。具体请参见之前的说明，这里不再重复赘述。

显示设备在上传设备的空间信息以及状态信息时，会将设备的唯一标识符一并上传，如设备ID。服务器在接收到这些信息时，会根据设备的唯一标识符查找该设备，并且将这些空间信息以及状态信息分发到该设备所属的控制器。

步骤S8：所述控制器从服务器上接收到所述待控制设备的空间信息以及状态信息。

具体地，所述控制器接收到这些信息后，因为这些空间信息以及状态信息是所述待控制设备所无法“理解”的东西，需要将这些信息转化为所述待控制设备可以“理解”的控制指令并发送。所述控制指令用于驱动所述待控制设备并完成相应的操控。

作为一种实施方式，所述控制器在转化空间信息以及状态信息之前，可以与所述待控制设备当前的空间信息以及状态信息作比较，如果一致则无需其他操作。

步骤S9：所述控制器将转化后的控制指令发送给所述待控制设备。

所述待控制设备接收到这些控制指令后，完成相应的操作。至此整个虚拟遥控流程结束。

如图5所示，本实施例提供一种虚拟远程遥控装置，该装置包括：

形态模拟模块，用于获取待控制设备的空间状态信息，并根据所述空间状态信息模拟出所述待控制设备的虚拟形态。

环境模拟模块，用于获取所述待控制设备的周围的环境图像，并根据所述环境图像模拟出所述待控制设备的虚拟环境。

用户定位模块，用于获取正在远程遥控所述待控制设备的用户的空间位置，并根据所述空间位置确定在所述虚拟环境中所述虚拟形态相对于所述用户的显示视角。

虚拟控制模块，用于获取所述用户的操作信息，并根据所述操作信息驱动所述待控制设备执行与所述操作信息对应的动作，且以所述显示视角显示所述虚拟形态在所述虚拟环境中做出的相应动作。

可选地，所述空间状态信息包括所述待控制设备的空间信息和工作状态信息。

所述形态模拟模块具体用于，在所述虚拟环境中建立所述待控制设备的虚拟模型，并根据所述空间信息确定所述虚拟模型的方位信息，根据所述工作状态信息确定所述虚拟模型的工作状态；再根据所述虚拟模型、所述方位信息以及所述工作状态确定所述虚拟形态。

可选地，所述待控制设备包括父部件和至少一个子部件，所述形态模拟模块具体用于：

获取所述待控制设备的父部件的空间信息，并以所述父部件的空间信息为参考来确定每个所述子部件的空间信息。

在实际应用中，例如待控制设备包括了多个部件，可将多个部件按照位置关系构成的一个整体的空间形状，并以接近该空间形状的几何中心处的一个部件作为父部件，其余所有部件作为子部件，再以父部件作为空间坐标原点，其余子部件即可以将父部件作为参考点得到相应的坐标。

可选地，所述父部件与所述子部件为层级关系，其中，在所述层级关系中，所述父部件为一个层级，多个所述子部件为另一个层级，所述父部件为所述子部件的上级。

需要说明的是，将父部件与子部件设置为层级关系，即将待控制设备的部件划分为层级结构，例如，在确定待控制设备中各个部件的空间位置时，可选取出多个父部件作为多个参考点，每个父部件对应确定多个子部件的位置，因此可将作为参考点的多个父部件作为同一层级的元素，并作为多个子部件的上级，从而构建出层级结构，以便模拟时区分各个部件之间的关系。

可选地，所述空间信息包括所述子部件相对于所述父部件的位移值和旋转度。

综上所述,本实施例提供的一种虚拟远程遥控方法及装置、系统，基于虚拟现实技术利用计算机完成三维建模，对真实世界的物品、场景等进行模拟仿真，提供给用户直观、身临其境的体验效果。通过定位跟踪设备与虚拟现实技术的结合，用户可以非常直观、身临其境的观看并远程遥控设备，使得远程遥控更加容易上手。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种虚拟远程遥控方法，其特征在于，包括如下步骤：

获取待控制设备的空间状态信息，并根据所述空间状态信息模拟出所述待控制设备的虚拟形态；

获取所述待控制设备的周围的环境图像，并根据所述环境图像模拟出所述待控制设备的虚拟环境；

获取正在远程遥控所述待控制设备的用户的空间位置，并根据所述空间位置确定在所述虚拟环境中所述虚拟形态相对于所述用户的显示视角；

获取所述用户的操作信息，并根据所述操作信息驱动所述待控制设备执行与所述操作信息对应的动作，且以所述显示视角显示所述虚拟形态在所述虚拟环境中做出的相应动作。

2.根据权利要求1所述的虚拟远程遥控方法，其特征在于，所述空间状态信息包括所述待控制设备的空间信息和工作状态信息；

所述根据所述空间状态信息模拟出所述待控制设备的虚拟形态具体实现为:

在所述虚拟环境中建立所述待控制设备的虚拟模型，并根据所述空间信息确定所述虚拟模型的方位信息，根据所述工作状态信息确定所述虚拟模型的工作状态；再根据所述虚拟模型、所述方位信息以及所述工作状态确定所述虚拟形态。

3.根据权利要求2所述的虚拟远程遥控方法，其特征在于，所述待控制设备包括父部件和至少一个子部件，所述获取待控制设备的空间状态信息中的所述空间信息具体实现为：

获取所述待控制设备的父部件的空间信息，并以所述父部件的空间信息为参考来确定每个所述子部件的空间信息。

4.根据权利要求3所述的虚拟远程遥控方法，其特征在于，所述父部件与所述子部件为层级关系，其中，在所述层级关系中，所述父部件为一个层级，多个所述子部件为另一个层级，所述父部件为所述子部件的上级。

5.根据权利要求3或4所述的虚拟远程遥控方法，其特征在于，所述空间信息包括所述子部件相对于所述父部件的位移值和旋转度。

6.一种虚拟远程遥控装置，其特征在于，包括：

形态模拟模块，用于获取待控制设备的空间状态信息，并根据所述空间状态信息模拟出所述待控制设备的虚拟形态；

环境模拟模块，用于获取所述待控制设备的周围的环境图像，并根据所述环境图像模拟出所述待控制设备的虚拟环境；

用户定位模块，用于获取正在远程遥控所述待控制设备的用户的空间位置，并根据所述空间位置确定在所述虚拟环境中所述虚拟形态相对于所述用户的显示视角；

虚拟控制模块，用于获取所述用户的操作信息，并根据所述操作信息驱动所述待控制设备执行与所述操作信息对应的动作，且以所述显示视角显示所述虚拟形态在所述虚拟环境中做出的相应动作。

7.根据权利要求6所述的虚拟远程遥控装置，其特征在于，所述空间状态信息包括所述待控制设备的空间信息和工作状态信息；

所述形态模拟模块具体用于，在所述虚拟环境中建立所述待控制设备的虚拟模型，并根据所述空间信息确定所述虚拟模型的方位信息，根据所述工作状态信息确定所述虚拟模型的工作状态；再根据所述虚拟模型、所述方位信息以及所述工作状态确定所述虚拟形态。

8.根据权利要求7所述的虚拟远程遥控装置，其特征在于，所述待控制设备包括父部件和至少一个子部件，所述形态模拟模块具体用于：

获取所述待控制设备的父部件的空间信息，并以所述父部件的空间信息为参考来确定每个所述子部件的空间信息。

9.根据权利要求8所述的虚拟远程遥控装置，其特征在于，所述空间信息包括所述子部件相对于所述父部件的位移值和旋转度。

10.一种虚拟远程遥控系统，其特征在于，包括图像采集设备、待控制设备、控制器、服务器、显示设备和定位跟踪设备；

所述控制器分别与所述图像采集设备和所述待控制设备连接，所述显示设备与所述定位跟踪设备连接，所述服务器分别与所述控制器和所述显示设备通信连接；

所述图像采集设备用于采集环境信息；

所述控制器用于获取所述待控制设备的空间状态信息和所述环境信息，并对所述待控制设备进行控制；

所述定位跟踪设备用于获取用户的空间位置和操作信息；

所述服务器用于接收并管理所述环境信息、所述空间状态信息、所述操作信息和所述空间位置；

所述显示设备用于显示根据所述环境信息、所述空间状态信息、所述操作信息和所述空间位置模拟出的所述待控制设备以虚拟形态在虚拟环境中执行的动作。