CN107305425A - 一种基于虚拟现实技术的远程操作设备与方法 - Google Patents

Abstract

本发明公开了一种基于虚拟现实技术的远程操作设备与方法，可以实现对机械设备的远程操作。设备由以下几个部分构成：全景相机、虚拟现实头戴显示器、以及远程操作子系统，其中远程操作子系统包括现场机械设备、远程操作平台、数据传输通道；方法是在机械设备处放置全景相机，采集全景画面与立体环境声，通过信号传输通道实时传至远程操作平台旁的虚拟现实头戴显示器，操作人员依据获得的机械设备周围情况，对远程操作平台进行操作，最终通过信号传输系统，实现对现场机械设备的控制。利用本发明可以使操作人员在远程范围获得身临其境的视觉听觉体验，进而做出合理判断与操作，是一种简单、高效的实现机械设备远程操作的设备与方法。

Description

一种基于虚拟现实技术的远程操作设备与方法

技术领域

本发明涉及虚拟现实远程操作技术，特别涉及一种利用全景相机与虚拟现实设备实现机械设备远程操作的设备与方法，属于虚拟现实技术的开发与应用领域。

技术背景

在一些特殊行业，例如煤矿、金属非金属矿山、危险化学品等行业，工作人员需要长时间暴露在恶劣的工作环境中，例如矿山行业高粉尘、高噪音，危险化学品行业的有毒有害化学物质等，长时间处于这些环境中，会给工作人员的身体带来伤害，甚至得各种职业病，例如尘肺病等；更有甚者，在矿山行业还有诸如瓦斯爆炸、煤与瓦斯突出、岩爆等强动力灾害，会给灾害附近的工作人员带来生命危险。因此，为了改变这种情况，最好的办法就是让这些行业的工作人员可以不用在危险的工作环境中，而是在远离危险工作地点的地方工作，通过技术手段实现远程操作，甚至自动化操作来避免危险环境造成的危害。

为了推行机械化和自动化，减少危险行业工作环境对工作人员造成的危害，国家安全监管总局发布了《关于开展“机械化换人、自动化减人”科技强安专项行动的通知》，里面对于煤矿、金属非金属矿山、危险化学品、烟花爆竹等行业的“机械化换人、自动化减人”工作做了明确与要求，但是对于煤矿、金属非金属矿山的生产、掘进等工作没有做出无人化的要求，因此无法达到危险工作场景的无人化，工作人员仍然需要暴露在恶劣甚至危险的工作环境中。为了避免对于工作人员的这些危害，实现彻底的无人化，最有效的办法是使用远程操作设备与方法，能够完全避免恶劣甚至危险的工作场景对工作人员造成的危害。

发明内容

为了解决目前特殊行业，例如矿山开采、掘进工作场景，工作人员需要暴露在恶劣甚至危险的工作环境这个问题，实现这些场景正常工作时的完全无人化目标，本发明公开了一种基于虚拟现实技术的远程操作设备与方法，可以实现操作人员对机械设备的远程操作，同时由于全景相机和虚拟现实头戴显示器的使用，远程操作人员能够获得如同现场操作机械设备的真实体验。

本发明是一种基于虚拟现实技术的远程操作设备与方法，其特征是：该设备由全景相机、 虚拟现实头戴显示器、以及远程操作子系统等部分组成。

如上所述，该设备使用的全景相机，拥有多个围绕在一个中心点的朝外的副相机，并保证所有副相机的视角加在一起能达到横向360°、纵向180°，同时能够对周围的环境声音及进行采集。

如上所述，全景相机放置的位置应该在对机械设备进行现场操作时操作人员眼睛处或其周围，目的是保证远程操作时通过虚拟现实头戴显示器看到的视角与现场操作时的视角相同。

如上所述，全景相机需要满足具体行业的特殊需求，例如用在煤矿井下，则需要满足矿井对机电设备的防爆等要求。

如上所述，虚拟现实头戴显示器可以将全景相机捕捉的全景画面、记录的立体环境音，通过数据传输通道实时传递给远程操作者，同时通过陀螺仪等传感器可以感知操作者头部转动与移动，进而改变头戴显示器中的画面视角与立体声，使远程操作者获得接近现场操作时的视觉和听觉。

如上所述，远程操作子系统包括三部分，分别是现场机械设备、数据传输通道、远程操作平台。

如上所述，远程操作子系统与现场操作机械设备的不同之处在于，其将机械设备与操作平台拆分出来，机械设备留在现场，操作平台放置在远程操作地点。

如上所述，远程操作子系统的数据传输通道传递的数据包括：全景相机拍摄的全景画面数据与立体声数据，操作者在远程操作平台进行的操作数据等。

本发明的优点为：

①本发明通过将机械设备与操作平台的分离，并加上数据传输通道的简单方法实现了机械设备的远程操作；

②本发明通过全景相机和虚拟现实头戴显示器使远程操作者拥有与现场操作同样的视觉、听觉等感官体验，进而提高远程操作的可靠性；

③本发明能够避免操作者受到现场恶劣甚至危险的工作环境的影响；

附图说明

图1是普通的机械设备、操作平台及操作人员示意图；

图2是基于虚拟现实技术的远程操作设备与远程操作人员示意图；

图3是基于虚拟现实技术的远程操作方法的流程图。

具体实施方式

本发明基于虚拟现实技术，主要是利用全景相机来捕捉现场机械设备操作人员的全景视角和立体声音，将数据传输到远处的虚拟现实头戴显示器，使远程操作人员能够获得真实场景下操作机械设备时的视觉和听觉，据此对远程操作平台进行操作，进而控制现场的机械设备进行正常的工作。本发明的远程操作子系统是基于原有的机械设备，将其执行部件与操作平台分开，分别放置在现场与远程操作处，中间由数据传输通道连接。由于本发明使用了虚拟现实技术，因此远程操作人员可以在远处获得犹如现场版的视觉和听觉体验，避免了由于远程操作时无法获得现场完全情况所导致的错误操作，是一种理想的远程操作设备与方法。

本发明的基于虚拟现实技术的远程操作设备与方法由三部分组成，分别是：全景相机、虚拟现实头戴显示器、以及远程操作子系统，其中远程操作子系统包括机械设备、操作平台、与数据传输通道。

全景相机与普通相机的最大区别，在于全景相机的视角覆盖相机四周的整个球形全景，原理是全景相机拥有多个围绕在一个中心点的朝外的副相机，副相机数量需保证所有副相机的视角加在一起能达到横向360°、纵向180°。在拍照或摄像时，全景相机包含的所有副相机同时拍摄照片或录制视频，将同一时刻的全景视角内的所有内容都记录下来。然后，全景相机或相关软件还能将所有副相机拍摄到的单一视角照片或视频通过算法进行拼接，就得到了所需的全景照片或视频的素材。拼接的算法与副相机的数量、的角度及相互位置关系有关。全景相机放置的位置应该在对机械设备进行现场操作时操作人员眼睛处或其周围，目的是保证远程操作时通过虚拟现实头戴显示器看到的视角与现场操作时的视角相同。全景相机在井下场景使用时，需要满足特殊的需求，例如在煤矿井下使用，全景相机需要满足煤矿的防爆要求，但是相机的成像原理不变。

虚拟现实头戴显示器，主要由以下四类组件构成：①处理器、内存、储存器、电源或者电池等设备运行必备硬件，负责提供虚拟现实设备所需的运行、计算与储存能力；②陀螺仪、加速度传感器、地磁传感器、摄像头、鼠标、键盘等使用者输入设备，其中陀螺仪、加速度传感器和地磁传感器负责监测使用者头部的转动与移动；③位于使用者眼睛前方的显示器、耳机或扬声器等输出设备，负责将处理后的画面与声音传递给使用者，帮助使用者获得身临其境的沉浸式体验；④另外还有头戴式虚拟现实设备正常运行需要的其他辅助组件，例如将设备固定在使用者头上的头戴式外壳，虚拟现实设备显示器与人眼之间的透镜等等。虚拟现实头戴显示器形式可以是一体式设备，也可以是分离式设备：一体式设备例如市面上Oculus公司的Oculus Rift设备，单独硬件就可以实现虚拟现实的功能；分离式设备是指运算、输入、输出、辅助等各个功能性组件之间相互组合，组成不同的部件，所有部件组合后才能实现虚拟现实功能。目前比较成熟的方法是利用智能手机作为运算、输入、输出设备，在外面单独配置一个有透镜的头部固定装置，例如市面上的Samsung Galaxy系列手机与Gear VR设备配合使用。

虚拟现实头戴显示器展示的全景画面和立体声都是由全景相机在现场机械设备旁非远程操作时操作人员所在位置拍摄和录制的，同时借助数据传输通道实时地将全景画面和立体声数据传送至远处虚拟现实头戴显示器，因此头戴显示器的使用者可以获得如同在全景相机现场的视觉和听觉体验，进而获得完全的现场信息，有助于进行远程操作时的合理性和有效性。

远程操作子系统包括三部分，分别是现场机械设备、数据传输通道、远程操作平台。现场机械设备与正常机械设备的区别是去掉了操作部件，或者原有操作部件为备用部分，仅在远程操作出现问题需要在现场机械设备本身处操作时才使用。远程操作平台与现场机械设备原有的操作部件完全相同或相近，以便远程操作人员能够用正常现场操作的方法与技术对现场机械设备进行远程操作。数据传输通道可以是有线或者无线的方式，传输的数据包括：全景相机拍摄的全景画面数据与立体声数据，操作者在远程操作平台进行的操作数据等。

为了更加清晰地描述该设备与方法的实施方式，结合示意图进行描述。

图1展示了正常的机械设备11、操作平台12与操作人员13。可以看到，机械设备11与操作平台12一般是一体的，操作人员13通过对操作平台12进行操作，进而控制机械设备11。

图2展示了本发明基于虚拟现实技术的远程操作设备与方法，包括如下几个部分：现场机械设备21、远程操作平台22、现场备用操作平台23、数据传输通道24、全景相机25、虚拟现实头戴显示器26与远程操作人员27。其中现场机械设备21、现场备用操作平台23与全景相机25是在放置在现场的，远程操作平台22、虚拟现实头戴显示器26与远程操作人员27位于现场外的远程地点，数据传输通道24位于现场和远程地点之间，用来进行数据传输。现场机械设备21与正常机械设备11之间，最大的区别是没有直接的操作平台12，需要通过远程操作平台22进行操作，同时拥有现场备用操作平台23，为了防止远程操作失效或紧急情况需要进行现场操作；远程操作平台22与现场操作平台12之间的操作方式、原理都相同，只不过通过远程操作平台22进行的操作需要通过数据传输通道24传输至现场机械设备21；远程操作人员27与现场操作人员13相比，最大的区别在于现场操作人员13在现场直接通过视觉、听觉获得现场情况，进而做出判断，在现场操作平台12上进行合理操作，而远程操作人员27是通过虚拟现实头戴显示器26获得现场的全景画面与立体声音，进而做出判断，在远程操作 平台22进行合理操作；而虚拟现实头戴显示器26的全景画面与立体声音数据来自位于现场的全景相机25，并通过数据传输通道24进行实时传输，保证远程操作人员27能够实时通过视觉、听觉获得现场的真实信息，而虚拟现实头戴显示器26又保证远程操作人员27能够通过转动、移动头部等动作改变显示器视角，进而获得现场任意角度的画面。

图3展示了本发明基于虚拟现实技术的远程操作方法的技术流程，其中：

步骤S31，利用全景相机在现场采集全景视频与立体声音，由于全景相机包含朝向多个方向的相机，所有相机的取景范围加起来一次性可以达到横向360°、纵向180°，因此在同一时间就可以将全景相机周围的球形的全景场景一次性记录下来；全景相机的位置应该位于非远程正常操作机械设备时，操作人员头部的位置。

步骤S32，将全景相机捕捉的视频画面与音频立体声音数据进行实时传递，通过数据传输通道传送至远程地点的操作人员佩戴的虚拟现实头戴显示器内。

步骤S33，远程操作人员通过虚拟现实头戴显示器，能够看到、听到现场全景相机拍摄的全景画面与立体声音，同时由于虚拟现实头戴显示器的特性，远程操作人员能够通过头部转动、移动等方式来改变显示器显示画面的视角，进而获得如同在现场的视觉与听觉体验，进而做出合理判断，对远程操作平台进行正确操作。

步骤S34，远程操作平台将远程操作人员的操作转化为信号与数据，通过数据传输通道传递至现场机械设备。

步骤S35，现场机械设备接收到远程操作平台传来的操作信号与数据，开始执行相关操作指令。

通过该发明以上的步骤与流程，操作人员就能够利用全景相机、虚拟现实头戴显示器、远程操作子系统来实现对机械设备的远程操作，避免操作人员身处恶劣甚至危险的现场工作环境中，实现对特殊行业从业人员的人身保护。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本方法的技术人员在本发明披露的方法范围内，可轻易想到的改动或变化，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (8)

1.一种基于虚拟现实技术的远程操作设备与方法，其特征是：由全景相机、虚拟现实头戴显示器、以及远程操作子系统等部分组成。

2.如权利要求1所述的基于虚拟现实技术的远程操作设备与方法，其特征在于：该设备使用的全景相机，拥有多个围绕在一个中心点的朝外的副相机，并保证所有副相机的视角加在一起能达到横向360°、纵向180°，同时能够对周围的环境声音及进行采集。

3.如权利要求1、2所述的基于虚拟现实技术的远程操作设备与方法，其特征在于：全景相机放置的位置应该在对机械设备进行现场操作时操作人员眼睛处或其周围，目的是保证远程操作时通过虚拟现实头戴显示器看到的视角与现场操作时的视角相同。

4.如权利要求1、2、3所述的基于虚拟现实技术的远程操作设备与方法，其特征在于：全景相机需要满足具体行业的特殊需求，例如用在煤矿井下，则需要满足矿井对机电设备的防爆等要求。

5.如权利要求1所述的基于虚拟现实技术的远程操作设备与方法，其特征在于：虚拟现实头戴显示器可以将全景相机捕捉的全景画面、记录的立体环境音，通过数据传输通道实时传递给远程操作者，同时通过陀螺仪等传感器可以感知操作者头部转动与移动，进而改变头戴显示器中的画面视角与立体声，使远程操作者获得接近现场操作时的视觉和听觉。

6.如权利要求1所述的基于虚拟现实技术的远程操作设备与方法，其特征在于：远程操作子系统包括三部分，分别是现场机械设备、数据传输通道、远程操作平台。

7.如权利要求1、6所述的基于虚拟现实技术的远程操作设备与方法，其特征在于：远程操作子系统与现场操作机械设备的不同之处在于，其将机械设备与操作平台拆分出来，机械设备留在现场，操作平台放置在远程操作地点。

8.如权利要求1、6、7所述的基于虚拟现实技术的远程操作设备与方法，其特征在于，远程操作子系统的数据传输通道传递的数据包括：全景相机拍摄的全景画面数据与立体声数据，操作者在远程操作平台进行的操作数据等。