CN108873898A - 一种基于实时数据交互的沉浸式远程驾驶控制系统及方法 - Google Patents

Abstract

本发明涉及一种基于实时数据交互的沉浸式远程驾驶控制系统，包括感知系统、岸端通讯中心、远程控制中心和虚拟驾驶操作系统，感知系统与岸端通讯中心电连接，岸端通讯中心与远程控制中心电连接，远程控制中心与虚拟驾驶操作系统电连接，感知系统与岸端通讯中心相连实时更新最新数据信息，远程控制中心将数据信息发送给虚拟驾驶操作系统后由其进行数据处理和VR显示，驾驶者通过发出操控指令并借助岸端通讯中心遥控船舶控制系统。本发明的有益效果是：操作员可以在重构的场景中时刻清楚地观察周围情况，增强安全性，为了针对传输链路不稳定的问题，在上一数据的基础上进行了数据帧间补足，保证画面的流畅性。

Description

一种基于实时数据交互的沉浸式远程驾驶控制系统及方法

技术领域

本发明涉及船舶远程驾驶控制技术领域，具体涉及一种基于实时数据交互的沉浸式远程驾驶控制系统及方法。

背景技术

通常来说，远程驾驶设备是一种集合感知系统、通讯系统、显示系统、控制系统的综合性驾驶设备。它可以通过环境信息感知、状态信息反馈将所操控设备的信息通过无线通讯传输到控制中心，控制中心通过一系列手段将信息综合起来并呈现给远程操控人员。操控者根据收到的信息做出驾驶决策，并通过远程控制完成所属设备的各种行为。我们可以利用远程驾驶便捷性、安全性的特点，将该种设备广泛应用于高危区域和驾驶不便的情况(如高强度长途货运/航运与酒后驾驶等)，使驾驶行为更加安全便利。

现如今，远程驾驶主要应用于汽车与船舶驾驶上，而真正投入生产实现盈利的产品几乎为零，阻碍这一设备发展的主要原因有以下三点：一是信息感知的实时性和准确性得不到保障，不能满足驾驶操作者对路况或航道信息的需求，远程驾驶的信息感知往往是利用多种感应设备对环境和本身的信息进行感知，而这些信息往往存在误报或彼此冲突的情况，这就需要设计者寻找理想的方式在众多信息中分辨出有效信息并将其提取出来呈现给驾驶者；二是远程无线传输的稳定高效一直未能达到实际驾驶的期望水准，无线传输的延迟与传输速率一直是制约远程驾驶的重要阻碍之一，如果不能实现信息数据的实时稳定传输，驾驶者收到的信息可能会与实际信息存在较大的时间差，同时也可能在无线传输中发生丢包等情况导致信息不连贯，使驾驶者无法做出正确决策；三是显示系统的形式未能实现对驾驶信息优化，目前的远程驾驶平台大部分是采用屏幕显示的方式将远程收集的视频信息展现在操作员面前，这就造成了操作员依然受困于现实状态的影响来进行驾驶决策，不能充分发挥出远程驾驶中获取信息广度扩展的优势。以上三个问题使得远程驾驶本身的驾驶操作性并未高于实际驾驶操作性，而信息获取和无线通讯又会进一步威胁到远程驾驶的安全性。由此可见，如何设计一款基于实时数据交互、远程无线传输快速稳定、信息显示更加全面丰富的远程驾驶平台成为了整个远程驾驶领域至关重要的难题。

发明内容

本发明所要解决的技术问题是提供一种基于实时数据交互的沉浸式远程驾驶控制系统及方法，以克服上述现有技术中的不足。

本发明解决上述技术问题的技术方案如下：一种基于实时数据交互的沉浸式远程驾驶控制系统，包括安装于船舶上的感知系统、安装于岸基上的岸端通讯中心、远程控制中心和虚拟驾驶操作系统；

感知系统，用于实时采集动态船舶信息；

岸端通讯中心，用于测量船舶相对岸基的位置信息，接收感知系统所采集的动态船舶信息；

远程控制中心，用于接收岸端通讯中心所获取到的数据信息；

虚拟驾驶操作系统，包括数据处理主机、VR设备和体感平台设备；

数据处理主机，用于接收远程控制中心所获取到的数据信息，并依次对信息进行预处理、算法计算、帧间数据补足、图像渲染操作，获得水况障碍图，同时向VR设备发送控制指令；

VR设备，根据数据处理主机中预建的虚拟场景，在VR中呈现出与实际场景相同的地图，并依靠3D建模仿照实际情况建立相应的驾驶船与其他航行船；

体感平台设备，操作员坐在体感平台设备上加装的操作驾驶器，通过驾驶器上的操作舵与档位输入操控指令，下达的指令在经过数据处理主机时，利用数学模型计算船体姿态、水波造成的船舶摇晃，六自由度座椅根据计算得到的数据完成对整个船舶颠簸过程的远距离再现；

数据处理主机，还用于将操作员在操控器上所做出的操控指令发送给远程控制中心，再由远程控制中心将操控指令发送给岸端通讯中心，然后岸端通讯中心将操控指令发送给船舶控制系统，实现船岸信息交互，船舶控制系统接收操控指令后分别对发动机、舵机进行操控。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述感知系统包括船载激光设备、船载差分GPS设备、雷达设备、视频设备和信息综合系统；

船载激光设备，用于采集船舶周围环境信息；

船载差分GPS设备，用于采集各时刻船舶的经纬度位置以及确定船舶航向；

雷达设备，用于采集船舶周围物体信息；

视频设备，用于采集船舶周围图像信息；

信息综合系统，该系统包含船载主机PLC与供电设备，负责接收激光设备、GPS设备、雷达设备、视频设备所获取到的信息，并对信息进行整合，得到动态船舶信息。

进一步，所述岸端通讯中心包括岸基雷达、数据接收天线以及网络传输设备，

岸基雷达，用于测量船舶相对岸基的位置信息；

数据接收天线，用于接收经信息综合系统整合后所获得的动态船舶信息，同时用于将操控指令发送给船舶控制系统，实现船岸信息交互；

网络传输设备，用于将岸基雷达所获取的信息和数据接收天线所获取的信息传送到远程控制中心，并接收回传消息。

进一步，所述数据处理主机内导入有前期试航情况下的大量数据，分析GPS的连续多个位置信息，以本船的位置信息与航向信息为特征值，分别计算其真实性的似然关系，最后应用证据推理规则合成从而实现组合判断，以及在雷达与激光的多帧连续图像中，以数据样本中的位移和方向两特征值作为相对独立的判断依据，使用证据理论得出合理的判断准则，最终以此标准对得到的信息进行准确性检验，另外，对在数据在时间和空间两个维度上融合。

进一步，所述数据处理主机在进行算法计算、帧间数据补足操作时，先采用帧间数据补足将船载激光设备、雷达设备和船载差分GPS设备在帧时刻点获得的图像数据以对前后图像运算的方法得出，再采用双线性差值算法对所得同一时刻的多种数据格式信息进行图像格式的统一，使之转化为同一分辨率的图片，并根据像素点与我船的相对距离附以权重计算最终得到融合后的水况障碍图。

进一步，所述预处理指对错误信息进行甄别。

本发明的有益效果是：

1)使用虚拟现实技术，操作员可以在重构的场景中时刻清楚地观察周围情况，大大增强了不良天气下的能见度较低时的安全性，也为夜航不力的现状提出了新的解决方案；

2)远程驾驶保证了高危工作领域驾驶人员的安全性，也为船舶操作员提供了便捷性。同时，该平台还可以为驾驶模拟与考核提供重要帮助；

3)利用实时数据交互，获取了船舶及其周围环境的信息，只需调用数据库即可查找到船舶近期的航行情况，为研究船舶航行做出了贡献；

4)为了针对传输链路不稳定的问题，在上一数据的基础上进行了数据帧间补足，保证画面的流畅性。

一种基于实时数据交互的沉浸式远程驾驶控制方法，包括如下步骤：

S1、船载激光设备、船载差分GPS设备、雷达设备、视频设备分别将获取到的信息发送至信息综合系统，并由信息综合系统进行整合，得到动态船舶信息；

S2、数据接收天线接收经信息综合系统整合后所获得的动态船舶信息，同时，岸基雷达测量船舶相对岸基的位置信息，最终由网络传输设备将岸基雷达所获取的信息和数据接收天线所获取的信息传送到远程控制中心；

S3、数据处理主机接收远程控制中心所获取的信息和数据接收天线所获取的信息，并对信息进行预处理、算法计算、帧间数据补足等操作，获得水况障碍图，同时向VR设备与体感平台设备发送控制指令，VR设备根据控制指令在虚拟场景中构造出与实际场景相同的地图，并依靠3D建模仿照实际情况建立相应的驾驶船与其他航行船，体感平台设备，操作员坐在体感平台设备上加装的操作驾驶器，通过驾驶器上的操作舵与档位输入操控指令，下达的指令在经过数据处理主机时，利用数学模型计算船体姿态、水波造成的船舶摇晃，并通过六自由度座椅完成整个船舶颠簸过程的远距离再现；

S4、数据处理主机再将操作员在驾驶器上所做出的操控指令发送给远程控制中心，然后远程控制中心将操控指令发送给岸端通讯中心，岸端通讯中心再将操控指令发送给船舶控制系统，船舶控制系统根据操控指令分别对发动机、舵机进行操控，即完成船舶远程驾驶。

采用上述进一步的有益效果是：

1)使用虚拟现实技术，操作员可以在重构的场景中时刻清楚地观察周围情况，大大增强了不良天气下的能见度较低时的安全性，也为夜航不力的现状提出了新的解决方案；

2)远程驾驶保证了高危工作领域驾驶人员的安全性，也为船舶操作员提供了便捷性。同时，该平台还可以为驾驶模拟与考核提供重要帮助；

3)利用实时数据交互，获取了船舶及其周围环境的信息，只需调用数据库即可查找到船舶近期的航行情况，为研究船舶航行做出了贡献；

4)为了针对传输链路不稳定的问题，在上一数据的基础上进行了数据帧间补足，保证画面的流畅性。

附图说明

图1为本发明所述基于实时数据交互的沉浸式远程驾驶控制系统的结构示意图；

图2为本发明所述基于实时数据交互的沉浸式远程驾驶控制方法的流程图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，一种基于实时数据交互的沉浸式远程驾驶控制系统，包括感知系统1、岸端通讯中心2、远程控制中心3和虚拟驾驶操作系统4，其中，感知系统1安装于船舶上，岸端通讯中心2安装于岸基上，感知系统1与岸端通讯中心2电连接，岸端通讯中心2与远程控制中心3电连接，远程控制中心3与虚拟驾驶操作系统4电连接，感知系统1与岸端通讯中心2相连实时更新最新数据信息，远程控制中心3将数据信息发送给虚拟驾驶操作系统4后由其进行数据处理和VR显示，驾驶者通过发出操控指令并借助岸端通讯中心2遥控船舶控制系统5，最终实现船舶的沉浸式远程驾驶功能。

感知系统1，用于实时采集动态船舶信息，其中，感知系统1包括船载激光设备110、船载差分GPS设备120、雷达设备130、视频设备140和信息综合系统150；

船载激光设备110，用于采集船舶周围环境信息，主要利用激光雷达发射激光束并接收反射光的方式测量周围环境是否有物体阻挡，其具备的分辨率高、抗有源干扰能力强、体积小的特性十分适合船舶近距离的航行测量，同时船载激光设备会按频次向周围发射激光，接收到反射光后由内置的处理器计算结果，得到.pcap格式的光斑点阵，从而获知周围情况；

船载差分GPS设备120即为全球定位系统，用于接收并解析太空中数个卫星回传电波中的轨道信息及各时刻信息，计算出船载差分GPS设备120所在位置的经度、纬度、水平高度及移动速度，利用船载差分GPS设备120的差分特性能以度分秒形式获取各时刻船舶的经纬度位置从而做出精确定位，并通过差分特性利用其相对位置确定船舶航向；

雷达设备130，用于采集船舶周围物体信息，其采集原理是：通过发射机将电磁波能量向外辐射，之后利用雷达天线接收反射波并送至处理机，从而提取物体信息，雷达在航海定位、引航、避让等多个领域均发挥了重要作用，其优秀的距离分辨力广泛应用于各类船舶的中远距离观测；

视频设备140，利用摄像头和数传天线实时采集及传输船舶周围图像信息，从而将真实可靠的视觉信息完整提取给驾驶人员，以上四种设备各具特色，在此系统的综合使用时通常遵循“远距离观测依靠雷达设备、近距离观测依靠激光设备、定位与航向依靠GPS设备、信息冲突或不足时依靠视频设备”的方案进行架构，将这种算法写入信息综合系统150中，从而得到准确性极高的动态船舶信息；

信息综合系统150，信息综合系统150包含船载主机PLC与供电设备，负责接收船载激光设备110、船载差分GPS设备120、雷达设备130、视频设备140所获取到的信息，并对信息进行整合，得到动态船舶信息。

岸端通讯中心2，用于测量船舶相对岸基的位置信息，接收感知系统1所采集的动态船舶信息。

岸端通讯中心2包括岸基雷达210、数据接收天线220以及网络传输设备230，岸基雷达210，用于测量船舶相对岸基的位置信息，从而对整体信息加以修正；

数据接收天线220，用于接收经信息综合系统150整合后所获得的动态船舶信息，同时用于将操控指令发送给船舶控制系统5，实现船岸信息交互；

网络传输设备230，用于将岸基雷达210所获取的信息和数据接收天线220所获取的信息传送到远程控制中心3，并接收回传消息；

远程控制中心3，用于接收岸端通讯中心2所获取到的数据信息。

虚拟驾驶操作系统4，包括数据处理主机410、VR设备420和体感平台设备430；

数据处理主机410，用于接收远程控制中心3所获取到的数据信息，并对信息进行预处理、算法计算、帧间数据补足、图像渲染操作，获得水况障碍图，同时向VR设备420与体感平台设备430发送控制指令；

VR设备420，运用虚拟现实技术，根据控制指令在虚拟场景中构造出与实际场景相同的地图，并依靠3D建模仿照实际情况建立相应的驾驶船与其他航行船，通过实时的我船位置数据、姿态数据和VR视角信息进行环境再现，达到在虚拟场景中远程驾驶实际船舶的效果；

体感平台设备430，操作员坐在体感平台设备上加装的操作驾驶器，通过操作舵与档位输入控制指令，下达的指令在经过数据处理主机时，利用数学模型计算船体姿态、水波造成的船舶摇晃(即六自由度的速度与加速度)，并通过六自由度座椅完成整个船舶颠簸过程的远距离再现，给驾驶者一种身临其境、亲自驾驶的感受，六自由度座椅可以通过纵倾、横摇、航向、横移、前冲、升降6个姿态数据实时模拟当前时刻的船舶姿态，由于如实模拟船舶颠簸的现实情况会造成操作员的驾驶不适甚至晕船，此处采取一种以选择性等比缩放得到的缓冲数据代替实时数据的方法实现姿态模拟，在平稳驾驶(即未人为调整航向与驱动力)情况下，只有水流、风等外界条件会对船舶造成影响，此时横移、前冲两种数据对船舶影响不大不予考虑，并对其余四个自由度作等倍缩小处理，避免对操作员造成身体负担，而当船舶自身航向、驱动力发生变化时，则分别引入横移、前冲两姿态辅助前四种姿态参数模拟实际情况造成的重心偏移与顿挫感，使模拟驾驶体验更为真实；

数据处理主机410，还用于将操作员在操控器上所做出的操控指令发送给远程控制中心3，再由远程控制中心3将操控指令发送给岸端通讯中心2，然后岸端通讯中心2将操控指令发送给船舶控制系统5，实现船岸信息交互，船舶控制系统5接收操控指令后分别对发动机、舵机进行操控，即可完成船舶驾驶。

数据处理主机410内导入有前期试航情况下的大量数据，分析GPS的连续多个位置信息，以本船的位置信息与航向信息为特征值，分别计算其真实性的似然关系，最后应用证据推理规则合成从而实现组合判断，以及在雷达与激光的多帧连续图像中，以数据样本中的位移和方向两特征值作为相对独立的判断依据，使用证据理论得出合理的判断准则，最终以此标准对得到的信息进行准确性检验，在数据融合处理过程中，对船载激光设备、雷达设备、船载差分GPS设备所得信息进行数据同步是整个环节的重中之重，对整个系统平台的精确度关系密切。

数据处理主机410进行预处理时，主要是对所接收的雷达图、船载激光点阵和船载差分GPS位置点的错误信息进行甄别，避免大部分离谱的错误信息对系统后续处理造成影响。

数据处理主机410在进行算法计算、帧间数据补足操作时，先采用帧间数据补足将船载激光设备、雷达设备、船载差分GPS设备在帧时刻点获得的图像数据以对前后图像运算的方法得出，再采用双线性差值算法对所得同一时刻的多种数据格式信息进行图像格式的统一，使之转化为同一分辨率的图片，并根据像素点与我船的相对距离附以权重计算最终得到融合后的水况障碍图。

如图2所示，一种基于实时数据交互的沉浸式远程驾驶控制方法，包括如下步骤：

S1、船载激光设备110、船载差分GPS设备120、雷达设备130、视频设备140分别将获取到的信息发送至信息综合系统150，并由信息综合系统150进行整合，得到动态船舶信息；

S2、数据接收天线220接收经信息综合系统150整合后所获得的动态船舶信息，同时，岸基雷达210测量船舶相对岸基的位置信息，最终由网络传输设备230将岸基雷达210所获取的信息和数据接收天线220所获取的信息传送到远程控制中心3；

S3、数据处理主机410接收远程控制中心3所获取的信息和数据接收天线220所获取的信息，并对信息进行预处理、算法计算、帧间数据补足、图像渲染操作，获得水况障碍图，同时向VR设备420与体感平台设备430发送控制指令，VR设备420根据控制指令在虚拟场景中构造出与实际场景相同的地图，并依靠3D建模仿照实际情况建立相应的驾驶船与其他航行船，体感平台设备430，操作员坐在体感平台设备上加装的操作驾驶器，通过驾驶器上的操作舵与档位输入操控指令，下达的指令在经过数据处理主机时，利用数学模型计算船体姿态、水波造成的船舶摇晃，并通过六自由度座椅完成整个船舶颠簸过程的远距离再现；

S4、数据处理主机410再将操作员在驾驶器上所做出的操控指令发送给远程控制中心3，然后远程控制中心3将操控指令发送给岸端通讯中心2，岸端通讯中心2再将操控指令发送给船舶控制系统5，船舶控制系统5包含控制主机与各控制器，控制主机负责接收操控指令并将其拆分成多个控制指令分别发送给相应的控制器，控制器大多集中安装于电控箱中，接收操控指令后分别对发动机、舵机进行控制，并将控制结果的反馈消息发送回控制主机，即完成船舶远程驾驶。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种基于实时数据交互的沉浸式远程驾驶控制系统，其特征在于，包括安装于船舶上的感知系统、安装于岸基上的岸端通讯中心、远程控制中心和虚拟驾驶操作系统；

感知系统，用于实时采集动态船舶信息；

岸端通讯中心，用于测量船舶相对岸基的位置信息，接收感知系统所采集的动态船舶信息；

远程控制中心，用于接收岸端通讯中心所获取到的数据信息；

虚拟驾驶操作系统，包括数据处理主机、VR设备和体感平台设备；

数据处理主机，用于接收远程控制中心所获取到的数据信息，并依次对信息进行预处理、算法计算、帧间数据补足、图像渲染操作，获得水况障碍图，同时向VR设备发送控制指令；

VR设备，根据控制指令在虚拟场景中构造出与实际场景相同的地图，并依靠3D建模仿照实际情况建立相应的驾驶船与其他航行船；

体感平台设备，操作员坐在体感平台设备上加装的操作驾驶器，通过驾驶器上的操作舵与档位输入控制指令，下达的指令在经过数据处理主机时，利用数学模型计算船体姿态、水波造成的船舶摇晃，并通过六自由度座椅完成整个船舶颠簸过程的远距离再现；

数据处理主机，还用于将操作员在操控器上所做出的操控指令发送给远程控制中心，再由远程控制中心将操控指令发送给岸端通讯中心，然后岸端通讯中心将操控指令发送给船舶控制系统，实现船岸信息交互，船舶控制系统接收操控指令后分别对发动机、舵机进行操控，即可完成船舶驾驶。

2.根据权利要求1所述的一种基于实时数据交互的沉浸式远程驾驶控制系统，其特征在于，所述感知系统包括船载激光设备、船载差分GPS设备、雷达设备、视频设备和信息综合系统；

船载激光设备，用于采集船舶周围环境信息；

船载差分GPS设备，用于采集各时刻船舶的经纬度位置以及确定船舶航向；

雷达设备，用于采集船舶周围物体信息；

视频设备，用于采集船舶周围图像信息；

信息综合系统，该系统包含船载主机PLC与供电设备，负责接收激光设备、GPS设备、雷达设备、视频设备所获取到的信息，并对信息进行整合，得到动态船舶信息。

3.根据权利要求2所述的一种基于实时数据交互的沉浸式远程驾驶控制系统，其特征在于，所述岸端通讯中心包括岸基雷达、数据接收天线以及网络传输设备，

岸基雷达，用于测量船舶相对岸基的位置信息；

数据接收天线，用于接收经信息综合系统整合后所获得的动态船舶信息，同时用于将操控指令发送给船舶控制系统，实现船岸信息交互；

网络传输设备，用于将岸基雷达所获取的信息和数据接收天线所获取的信息传送到远程控制中心，并接收回传消息。

4.根据权利要求2所述的一种基于实时数据交互的沉浸式远程驾驶控制系统，其特征在于，所述数据处理主机内导入有前期试航情况下的大量数据，分析GPS的连续多个位置信息，以本船的位置信息与航向信息为特征值，分别计算其真实性的似然关系，最后应用证据推理规则合成从而实现组合判断，以及在雷达与激光的多帧连续图像中，以数据样本中的位移和方向两特征值作为相对独立的判断依据，使用证据理论得出合理的判断准则，最终以此标准对得到的信息进行准确性检验。

5.根据权利要求4所述的一种基于实时数据交互的沉浸式远程驾驶控制系统，其特征在于，所述数据处理主机在进行算法计算、帧间数据补足操作时，先采用帧间数据补足将船载激光设备、雷达设备和船载差分GPS设备在帧时刻点获得的图像数据以对前后图像运算的方法得出，再采用双线性差值算法对所得同一时刻的多种数据格式信息进行图像格式的统一，使之转化为同一分辨率的图片，并根据像素点与我船的相对距离附以权重计算最终得到融合后的水况障碍图。

6.根据权利要求4或5所述的一种基于实时数据交互的沉浸式远程驾驶控制系统，其特征在于，所述预处理指对所接收的雷达图、船载激光点阵和船载差分GPS位置点的错误信息进行甄别。

7.一种基于实时数据交互的沉浸式远程驾驶控制方法，其特征在于，包括如下步骤：

S1、船载激光设备、船载差分GPS设备、雷达设备、视频设备分别将获取到的信息发送至信息综合系统，并由信息综合系统进行整合，得到动态船舶信息；

S2、数据接收天线接收经信息综合系统整合后所获得的动态船舶信息，同时，岸基雷达测量船舶相对岸基的位置信息，最终由网络传输设备将岸基雷达所获取的信息和数据接收天线所获取的信息传送到远程控制中心；

S3、数据处理主机接收远程控制中心所获取的信息和数据接收天线所获取的信息，并依次对信息进行预处理、算法计算、帧间数据补足、图像渲染操作，获得水况障碍图，同时向VR设备与体感平台设备发送控制指令，VR设备根据控制指令在虚拟场景中构造出与实际场景相同的地图，并依靠3D建模仿照实际情况建立相应的驾驶船与其他航行船，体感平台设备，操作员坐在体感平台设备上加装的操作驾驶器，通过驾驶器上的操作舵与档位输入操控指令，下达的指令在经过数据处理主机时，利用数学模型计算船体姿态、水波造成的船舶摇晃，并通过六自由度座椅完成整个船舶颠簸过程的远距离再现；

S4、数据处理主机再将操作员在驾驶器上所做出的操控指令发送给远程控制中心，然后远程控制中心将操控指令发送给岸端通讯中心，岸端通讯中心再将操控指令发送给船舶控制系统，船舶控制系统根据操控指令分别对发动机、舵机进行操控，即完成船舶远程驾驶。