CN114884926A - 一种用于远程驾驶的点对点视频传输方法及系统 - Google Patents

Abstract

本发明公开了一种用于远程驾驶的点对点视频传输方法及系统，涉及辅助驾驶技术领域。通过车辆端打开四路摄像头获取四路视频信号，新建点对点视频传输房间，控制端进入新建的房间，车辆端、控制端等待房间中建立点对点视频传输通道，通道建立完成，车辆端开始向控制端传输视频数据，控制端获取视频数据并在网页中显示车辆端四路视频信号。驾驶人员操作车辆控制套件，控制端获取控制数据上传至服务器。车辆端获取服务器中的控制信号操作车辆移动。解决现有技术远程驾驶过程中视频数据、控制数据传输延迟，而影响远程驾车控制精准度的技术问题。达到了确保车辆与控制端之间视频数据、控制数据的有效传输，实现远程驾驶精准控制的技术效果。

Description

一种用于远程驾驶的点对点视频传输方法及系统

技术领域

本发明涉及辅助驾驶技术领域，尤其涉及一种用于远程驾驶的点对点视频传输方法及系统。

背景技术

汽车工业朝着共享化、电动化、网联化、智能化的方向快速发展。现有的汽车技术多采用人工车内驾驶；对于某些危险环境，例如高温、高压、缺氧等，无法完全保证驾驶人员的生命安全；同样的，对于驾驶环境狭窄或者无法承受过大重量的场景，例如各种管道、地穴的勘探等，驾驶人员无法进入车内直接控制车辆；对于自动驾驶系统，如程序跑飞、程序漏洞等问题导致远程驾驶车辆的安全无法保障。

在进行远程驾驶中如何确保视频数据、控制数据的可靠传输，对于进行远程驾驶的安全性保证起到重要影响。

发明内容

本申请的目的是提供一种用于远程驾驶的点对点视频传输方法及系统，用以解决现有技术远程驾驶过程中视频数据、控制数据传输延迟，而影响远程驾车控制精准度的技术问题。达到了减少网络流量消耗与冗余节点，确保车辆与控制端之间视频数据传输的及时性，减少视频延迟，利用MQTT协议确保控制信号传输的连续性，实现远程驾驶精准控制的技术效果。

鉴于上述问题，本申请提供了一种用于远程驾驶的点对点视频传输方法及系统。

第一方面，本申请提供了一种用于远程驾驶的点对点视频传输方法，应用于车辆端，包括：打开车辆上位于四个不同方位的四路摄像头，通过工控机与所述四路摄像头连接，获得四路视频信号；与信令服务器连接，创建点对点视频传输房间；接收控制端进入所述点对点视频传输房间的发送信息，获得点对点视频传输通道；通过所述点对点视频传输通道将所述四路视频信号发送至控制端；接收控制端发送的控制数据，并按照控制数据进行车辆操作移动，其中，所述控制数据为控制端基于四路视频信号进行操作生成的数据。

优选的，与信令服务器连接，创建点对点视频传输房间，包括：连接所述信令服务器，初始化房间号，设定消息反馈信息用于当有控制端进入房间时接收消息；基于初始化房间号，创建PeerConnection对象，将所述四路视频信号添加至所述PeerConnection对象中；创建会话描述协议，其中所述会话描述协议用于协商与控制端进行通信的双方媒体描述信息，当控制端进入所述点对点视频传输房间时发送至控制端；获得自身candidate，包括IP地址、通信端口号、候选者类型、优先级、传输协议，等待发送至控制端。

优选的，获得点对点视频传输通道，包括：通过信令服务器将会话描述协议发送至控制端；接收控制端反馈的会话描述协议回复信息；将所述自身candidate通过信令服务器发送至控制端；接收控制端反馈的控制端candidate，基于双方会话描述协议、candidate建立所述点对点视频传输通道。

优选的，通过所述点对点视频传输通道将所述四路视频信号发送至控制端，包括：基于UDP协议将所述四路视频信号传入所述点对点视频传输通道，传输至控制端，其中，所述四路视频信号经过编码、分包操作。

优选的，接收控制端发送的控制数据，包括：订阅MQTT服务器的消息，当所述MQTT服务器接收到控制数据时，自动将控制数据发送至车辆端。

第二方面，本申请提供了一种用于远程驾驶的点对点视频传输方法，应用于控制端，包括：与信令服务器连接，获得车辆端创建的点对点视频传输房间；进入所述点对点视频传输房间，并向车辆端发送进入房间消息，获得点对点视频传输通道；通过所述点对点视频传输通道，获得车辆端的四路视频信号；对所述四路视频信号进行解码、帧间补足操作，获得车辆视频显示数据；基于所述车辆视频显示数据，通过车辆控制套件进行操作，获得车辆控制套件的控制数据；将所述控制数据通过服务器发送至车辆端，对车辆进行远程控制。

优选的，进入所述点对点视频传输房间，并向车辆端发送进入房间消息，获得点对点视频传输通道，包括：创建会话描述协议回复信息，通过stun服务器获取自身candidate；接收车辆端发送的会话描述协议，将所述会话描述协议回复信息发送至车辆端；接收车辆端发送的车辆端candidate，将所述自身candidate发送至车辆端，建立所述点对点视频传输通道。

优选的，将所述控制数据发布至MQTT服务器，其中，发布速度为每10ms一次。

第三方面，本申请提供了一种用于远程驾驶的点对点视频传输系统，应用于车辆端，所述系统包括：视频数据获取模块，用于打开车辆上位于四个不同方位的四路摄像头，通过工控机与所述四路摄像头连接，获得四路视频信号；房间创建模块，用于与信令服务器连接，创建点对点视频传输房间；传输通道构建模块，用于接收控制端进入所述点对点视频传输房间的发送信息，获得点对点视频传输通道；数据传输模块，用于通过所述点对点视频传输通道将所述四路视频信号发送至控制端；控制模块，用于接收控制端发送的控制数据，并按照控制数据进行车辆操作移动，其中，所述控制数据为控制端基于四路视频信号进行操作生成的数据。

第四方面，本申请提供了一种用于远程驾驶的点对点视频传输系统，应用于控制端，所述系统包括：房间获取模块，用于与信令服务器连接，获得车辆端创建的点对点视频传输房间；传输通道建立模块，用于进入所述点对点视频传输房间，并向车辆端发送进入房间消息，获得点对点视频传输通道；数据传输模块，用于通过所述点对点视频传输通道，获得车辆端的四路视频信号；视频显示模块，用于对所述四路视频信号进行解码、帧间补足操作，获得车辆视频显示数据；控制数据模块，用于基于所述车辆视频显示数据，通过车辆控制套件进行操作，获得车辆控制套件的控制数据；远程控制模块，用于将所述控制数据通过服务器发送至车辆端，对车辆进行远程控制。

本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：

通过建立车辆端与控制端之间的点对点视频传输通道，减少网络流量消耗与冗余节点，确保车辆与控制端之间视频数据传输的及时性，减少视频延迟，利用MQTT协议确保控制信号传输的连续性，实现远程驾驶精准控制的技术效果。从而解决现有技术远程驾驶过程中视频数据、控制数据传输延迟，而影响远程驾车控制精准度的技术问题。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种用于远程驾驶的点对点视频传输方法应用于车辆端的流程示意图；

图2为本申请实施例提供的一种用于远程驾驶的点对点视频传输方法应用于控制端的流程示意图；

图3为本申请实施例提供的一种用于远程驾驶的点对点视频传输方法的整体流程示意图；

图4为本申请实施例提供的一种用于远程驾驶的点对点视频传输方法中点对点视频传输通道建立的流程示意图；

图5为本申请实施例提供的一种用于远程驾驶的点对点视频传输方法中通信的整体框架示意图；

图6为本申请一种用于远程驾驶的点对点视频传输系统应用于车辆端的结构示意图；

图7为本申请一种用于远程驾驶的点对点视频传输系统应用于控制端的结构示意图。

具体实施方式

本申请通过提供一种用于远程驾驶的点对点视频传输方法及系统，解决了现有技术远程驾驶过程中视频数据、控制数据传输延迟，而影响远程驾车控制精准度的技术问题。

本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。

下面，将参考附图对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。基于本申请的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部。

实施例一

如图1所示，本申请提供了一种用于远程驾驶的点对点视频传输方法，应用于车辆端，所述方法包括：

S1：打开车辆上位于四个不同方位的四路摄像头，通过工控机与所述四路摄像头连接，获得四路视频信号。

具体的，在车端前后左右四个方位设置的四路摄像头，以实现对车辆端各角度视频数据的全面采集，为进行安全有效的远程驾驶提供保障。工控机同样设置在车辆端，与车辆前后左右各方位安装的摄像头通过数据线连接，如通过usb等，获取摄像头采集的视频数据，四路视频信号即为设置在车辆前后左右各方位的摄像头采集到的视频数据。

S2：与信令服务器连接，创建点对点视频传输房间。

进一步的，与信令服务器连接，创建点对点视频传输房间，包括：连接所述信令服务器，初始化房间号，设定消息反馈信息用于当有控制端进入房间时接收消息；基于初始化房间号，创建PeerConnection对象，将所述四路视频信号添加至所述PeerConnection对象中；创建会话描述协议，其中所述会话描述协议用于协商与控制端进行通信的双方媒体描述信息，当控制端进入所述点对点视频传输房间时发送至控制端；获得自身candidate，包括IP地址、通信端口号、候选者类型、优先级、传输协议，等待发送至控制端。

具体的，车辆端打开远程驾驶网页，通过网页API获取到四路视频信号，通过WebRTC创建点对点视频传输房间。房间建立过程：车辆端端网页通过WebSocket连接到信令服务器(对通信双方进行通信管理的服务器)，并初始化一个房间号，当有控制端连接至房间时会向车辆端发送消息；2.车辆端创建PeerConnection对象，并将四路视频信号添加到PeerConnection对象中；3.车辆端创建自己的SDP(会话描述协议：用于协商通信双方的媒体描述信息，例如：传输协议、媒体格式、安全验证信息等)offer，等待发送给控制端；4.车辆端通过stun服务器(通过STUN服务器，客户终端可以了解他们的公共地址、挡在他们前面的NAT类型和通过NAT与特定局部端口相连的因特网方端口。)获取自己的candidate(包含以下类型：本机IP地址、本机用于WebRTC通信的端口号、候选者类型(包括host、srflx和relay)、优先级、传输协议)。

S3：接收控制端进入所述点对点视频传输房间的发送信息，获得点对点视频传输通道。

进一步的，获得点对点视频传输通道，包括：通过信令服务器将会话描述协议发送至控制端；接收控制端反馈的会话描述协议回复信息；将所述自身candidate通过信令服务器发送至控制端；接收控制端反馈的控制端candidate，基于双方会话描述协议、candidate建立所述点对点视频传输通道。

具体的，当创建了点对点视频传输房间后，则等待控制端进入房间建立连接，当有控制端进入车辆端创建的点对点视频传输房间后，会向车辆端发送消息，告之有控制端进入房间。下面就通过车辆端与控制端的SDP会话描述协议、candidate进行互通确定，建立点对点视频传输通道，用于进行数据传输。车辆端、控制端等待房间中建立点对点视频传输通道。具体为：车辆端与控制端都已进入点对点视频传输房间，开始建立点对点视频传输通道。当前已有的远程驾驶方案为基于客户端服务器模型方案，视频传输过程中视频数据需要通过服务器转发到达控制端，这样中间会通过冗余节点。本申请实施例通过建立点对点视频传输通道进行视频传输，减少网络流量消耗和冗余节点，提升传输效率。

点对点视频传输通道建立过程：1.车辆端通过信令服务器发送自己的SDP offer即会话描述协议给控制端；2.控制端接受车辆端发来的SDP offer并发送自己的SDPanswer即会话描述协议回复信息；3.车辆端通过信令服务器发送自己的candidate给控制端；4.控制端接收车辆端发来的candidate并发送自己的candidate。车辆端和控制端都获取了对方的IP地址、端口号、候选者类型、传输协议、媒体信息以及会话信息等；传输通道建立，双方可以开始点对点视频传输。

S4：通过所述点对点视频传输通道将所述四路视频信号发送至控制端。

进一步的，通过所述点对点视频传输通道将所述四路视频信号发送至控制端，包括：基于UDP协议将所述四路视频信号传入所述点对点视频传输通道，传输至控制端，其中，所述四路视频信号经过编码、分包操作。

具体的，在点对点视频传输通道建立完成后，车辆端可以开始通过点对点视频传输通道向控制端传输视频数据，车辆端和控制端都获取了对方的IP地址、端口号、候选者类型、传输协议、媒体信息以及会话信息等；传输通道建立，双方可以开始点对点视频传输。车辆端开始向控制端通过UDP协议发送视频数据，视频数据会经过编码、分包等操作，之后便会将数据传入点对点视频传输通道。本实施例的视频传输使用UPD协议发送视频信号，相对于传统视频传输方法在远程驾驶应用上更有优势。现有方案中的视频传输采用TCP协议传输，虽然此协议有丢包重传机制保障了传输的准确信，然而对于远程驾驶场景，更加需要的是视频传输的实时性而不是准确性。而使用UPD协议传视视频信号，减少视频延迟。

S5：接收控制端发送的控制数据，并按照控制数据进行车辆操作移动，其中，所述控制数据为控制端基于四路视频信号进行操作生成的数据。

进一步的，接收控制端发送的控制数据，包括：订阅MQTT服务器的消息，当所述MQTT服务器接收到控制数据时，自动将控制数据发送至车辆端。

具体的，车辆端通过作为订阅者订阅MQTT服务器中的消息，控制端将控制数据每10ms一次发送至MQTT服务器，MQTT服务器只要接收到控制数据则会发送至车辆端，车辆端获取控制数据以后，通过ROS(机器人操作系统)操作线控底盘控制车辆前进、后退、转向、停车等操作，实现远程驾驶的可靠有效进行，确保了视频数据、控制数据的有效传输的效果。解决了现有技术远程驾驶过程中视频数据、控制数据传输延迟，而影响远程驾车控制精准度的技术问题。

另外，请参考图2所示，本申请提供了一种用于远程驾驶的点对点视频传输方法，应用于控制端，所述方法包括：

S10：与信令服务器连接，获得车辆端创建的点对点视频传输房间。

S20：进入所述点对点视频传输房间，并向车辆端发送进入房间消息，获得点对点视频传输通道。

进一步的，进入所述点对点视频传输房间，并向车辆端发送进入房间消息，获得点对点视频传输通道，包括：创建会话描述协议回复信息，通过stun服务器获取自身candidate；接收车辆端发送的会话描述协议，将所述会话描述协议回复信息发送至车辆端；接收车辆端发送的车辆端candidate，将所述自身candidate发送至车辆端，建立所述点对点视频传输通道。

具体的，车辆端建立点对点视频传输房间后，控制端打开远程驾驶网页，进入车辆端新建的视频传输房间。控制端进入点对点视频传输房间过程：1.控制端网页通过websocket连接到信令服务器，并向车辆端发送控制端已进入房间消息；2.控制端创建自己的SDP answer，等待发送给车辆端；3.控制端通过stun服务器获取自己的candidate。

与前述点对点视频传输通道的建立过程相同，车辆端通过信令服务器发送自己的SDP offer给控制端；控制端接受车辆端发来的SDP offer并发送自己的SDP answer；车辆端通过信令服务器发送自己的candidate给控制端；控制端接收车辆端发来的candidate并发送自己的candidate。车辆端和控制端都获取了对方的IP地址、端口号、候选者类型、传输协议、媒体信息以及会话信息等，传输通道建立，双方可以开始点对点视频传输。

S30：通过所述点对点视频传输通道，获得车辆端的四路视频信号。

S40：对所述四路视频信号进行解码、帧间补足操作，获得车辆视频显示数据。

S50：基于所述车辆视频显示数据，通过车辆控制套件进行操作，获得车辆控制套件的控制数据。

S60：将所述控制数据通过服务器发送至车辆端，对车辆进行远程控制。

进一步的，将所述控制数据发布至MQTT服务器，其中，发布速度为每10ms一次。

具体的，控制端通过点对点视频传输通道获取到车辆端发来的视频数据，对视频数据进行解码、帧间补足等操作，通过显示屏展示车辆的视频数据，保证画面的流畅性，避免传输链路不稳定而影响到视频传输的效率和可靠性。

通过显示屏对车辆的视频进行监督查看，基于视频画面进行车辆的控制操作，驾驶人员操作车辆控制套件，通过车辆控制套件获得控制数据，车辆控制套件包括：方向盘、油门踏板、刹车踏板、挡位。可选的，车辆控制套件通过USB接口连接至控制端主机，驾驶人员操作车辆控制套件，控制端主机通过网页API获取车辆控制套件的控制数据，将得到的控制数据控制端上传至服务器，通过服务器发送至车辆端进行控制。具体为：控制端通过WebSocket将获取到的控制数据作为发布者(Publisher)发送给MQTT(消息遥测队列传输)服务器，发送速度为每10ms发送一次，以保证车辆控制的连续性，确保安全。达到了利用可靠的视频数据、控制数据传输，使得远程驾驶可靠有效地进行，提升远程驾驶控制精准度的技术效果。解决了现有技术远程驾驶过程中视频数据、控制数据传输延迟，而影响远程驾车控制精准度的技术问题。

综上所述，通过构建点对点视频传输通道有效提升了视频传输的可靠性，减少网络流量消耗和冗余节点，同时利用使用UDP协议传视视频信号，减少视频延迟，使用MQTT协议传视控制信号保障控制信号的连续性；并在视频传输过程中进行了帧间补足，保证画面的流畅性，避免传输链路不稳定而影响视频传输效果。

下面，针对车辆端与控制端的整体传输控制过程进行描述，总体分为下面8个步骤，请参考图3整体流程图所示，应理解，图3中被控制端即为车辆端：

步骤1：车辆端打开前后左右四路摄像头，工控机获取四路视频信号。

举例而言，在车辆端基于PIX公司的汽车底盘搭建铝型材结构，分别在车辆前后左右的多方位上，以保证对车辆进行多角度的视频采集，能够展示远程驾驶中所需要的全部视野为准进行摄像头的设置，可选的，摄像头为LRCP10620_1080P工业摄像头，在车辆前后左右设置的摄像头通过usb接口连接至工控机。

步骤2：车辆端打开远程驾驶网页，新建点对点视频传输房间，等待控制端进入点对点视频传输房间准备传输。

工控机浏览器使用域名访问远程驾驶网页，随机创建房间后进入车辆端操作界面，车辆端操作界面可选择前后左右四路摄像头顺序，选择后点击start即可获取四路视频信号并分别在上、上左、上右、背景中显示，便于后期调试。

步骤3：控制端打开远程驾驶网页，进入步骤2中视频传输房间。

控制端主机使用域名访问远程驾驶网页，进入与步骤二中车辆端相同的房间，显示控制端的操作界面，仿真进行驾驶，操作界面包括前视视频窗口、后视视频窗口、左视视频窗口、右视视频窗口，还原车辆的环境和视野，控制状态、速度仪表盘等。

步骤4：车辆端、控制端等待房间中建立点对点视频传输通道。

点对点视频传输通道建立过程如图4所示，其中ClineA为车辆端ClintB为控制端，Singl Server为信令服务器，使用房间的概念对通信双方进行通信管理，本发明中信令服务器通过JavaScript编程实现。

步骤5:点对点视频传输通道建立完成，车辆端开始向控制端传输视频数据。在车辆端操作界面中点击connect，四路视频信号开始向控制端传输。

步骤6：控制端获取视频数据并在网页中显示车辆端四路视频信号。

点对点视频传视通道建立完成，控制端操作界面的前视、后视、左视、右视四个视频窗口出现视频，并且下方两个仪表盘开始显示车辆当前速度和转角。

步骤7：驾驶人员操作车辆控制套件，控制端获取车辆控制套件的控制数据。

驾驶人员可像操作真车一样远程操作车辆端，可选的控制套件使用图马斯特T300GT赛车模拟器。当驾驶人员转动方向盘、踩下油门踏板、踩下刹车踏板或者变换挡位时，车辆端操作界面的控制状态进度条会随之变动。

步骤8：控制端将控制数据上传至服务器。

本发明通信的整体框架如图5所示，被控端即为车辆端。控制端网页API获取控制套件数据并通过WebSocket发布至MQTT服务器。

步骤9：车辆端获取服务器中的控制信号并操作车辆移动。

工控机接收控制信号并通过线控底盘操作车辆移动。至此，远程驾驶过程完成。

具有以下有益效果：

a.使用点对点视频传输技术传输视频信号，减少网络流量消耗与冗余节点。

b.使用UDP协议传视视频信号，减少视频延迟。

c.使用MQTT协议传视控制信号保障控制信号的连续性。

d.为针对传输链路不稳定的问题，在视频传输过程中进行了帧间补足，保证画面的流畅性。

e.基于可靠的视频数据、控制数据传输，使得远程驾驶可靠有效地进行，提升远程驾驶控制精准度。

实施例二

基于与前述实施例中一种用于远程驾驶的点对点视频传输方法同样的发明构思，如图6所示，本申请还提供了一种用于远程驾驶的点对点视频传输系统，所述系统包括：

视频数据获取模块，用于打开车辆上位于四个不同方位的四路摄像头，通过工控机与所述四路摄像头连接，获得四路视频信号；

房间创建模块，用于与信令服务器连接，创建点对点视频传输房间；

传输通道构建模块，用于接收控制端进入所述点对点视频传输房间的发送信息，获得点对点视频传输通道；

数据传输模块，用于通过所述点对点视频传输通道将所述四路视频信号发送至控制端；

控制模块，用于接收控制端发送的控制数据，并按照控制数据进行车辆操作移动，其中，所述控制数据为控制端基于四路视频信号进行操作生成的数据。

进一步的，所述房间创建模块包括：

初始化单元，用于连接所述信令服务器，初始化房间号，设定消息反馈信息用于当有控制端进入房间时接收消息；

对象创建单元，用于基于初始化房间号，创建PeerConnection对象，将所述四路视频信号添加至所述PeerConnection对象中；

SDP创建单元，用于创建会话描述协议，其中所述会话描述协议用于协商与控制端进行通信的双方媒体描述信息，当控制端进入所述点对点视频传输房间时发送至控制端；

Candidate获取单元，用于获得自身candidate，包括IP地址、通信端口号、候选者类型、优先级、传输协议，等待发送至控制端。

进一步的，所述传输通道构建模块包括：

协议发送单元，用于通过信令服务器将会话描述协议发送至控制端；

协议回复接收单元，用于接收控制端反馈的会话描述协议回复信息；

Candidate发送单元，用于将所述自身candidate通过信令服务器发送至控制端；

Candidate接收发送单元，用于接收控制端反馈的控制端candidate，基于双方会话描述协议、candidate建立所述点对点视频传输通道。

进一步的，所述数据传输模块还用于：基于UDP协议将所述四路视频信号传入所述点对点视频传输通道，传输至控制端，其中，所述四路视频信号经过编码、分包操作。

进一步的，所述控制模块还用于：订阅MQTT服务器的消息，当所述MQTT服务器接收到控制数据时，自动将控制数据发送至车辆端。

实施例三

基于与前述实施例中一种用于远程驾驶的点对点视频传输方法同样的发明构思，如图7所示，本申请还提供了一种用于远程驾驶的点对点视频传输系统，应用于控制端，所述系统包括：

房间获取模块，用于与信令服务器连接，获得车辆端创建的点对点视频传输房间；

传输通道建立模块，用于进入所述点对点视频传输房间，并向车辆端发送进入房间消息，获得点对点视频传输通道；

数据传输模块，用于通过所述点对点视频传输通道，获得车辆端的四路视频信号；

视频显示模块，用于对所述四路视频信号进行解码、帧间补足操作，获得车辆视频显示数据；

控制数据模块，用于基于所述车辆视频显示数据，通过车辆控制套件进行操作，获得车辆控制套件的控制数据；

远程控制模块，用于将所述控制数据通过服务器发送至车辆端，对车辆进行远程控制。

进一步的，所述传输通道建立模块包括：

协议创建单元，用于创建会话描述协议回复信息，通过stun服务器获取自身candidate；

协议传输单元，用于接收车辆端发送的会话描述协议，将所述会话描述协议回复信息发送至车辆端；

Candidate传输单元，用于接收车辆端发送的车辆端candidate，将所述自身candidate发送至车辆端，建立所述点对点视频传输通道。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，前述实施例一中的一种用于远程驾驶的点对点视频传输方法和具体实例同样适用于本实施例的一种用于远程驾驶的点对点视频传输系统，通过前述对一种用于远程驾驶的点对点视频传输方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种用于远程驾驶的点对点视频传输系统，所以为了说明书的简洁，在此不再详述。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种用于远程驾驶的点对点视频传输方法，其特征在于，应用于车辆端，包括：

打开车辆上位于四个不同方位的四路摄像头，通过工控机与所述四路摄像头连接，获得四路视频信号；

与信令服务器连接，创建点对点视频传输房间；

接收控制端进入所述点对点视频传输房间的发送信息，获得点对点视频传输通道；

通过所述点对点视频传输通道将所述四路视频信号发送至控制端；

接收控制端发送的控制数据，并按照控制数据进行车辆操作移动，其中，所述控制数据为控制端基于四路视频信号进行操作生成的数据。

2.如权利要求1所述的方法，其特征在于，与信令服务器连接，创建点对点视频传输房间，包括：

连接所述信令服务器，初始化房间号，设定消息反馈信息用于当有控制端进入房间时接收消息；

基于初始化房间号，创建PeerConnection对象，将所述四路视频信号添加至所述PeerConnection对象中；

创建会话描述协议，其中所述会话描述协议用于协商与控制端进行通信的双方媒体描述信息，当控制端进入所述点对点视频传输房间时发送至控制端；

获得自身candidate，包括IP地址、通信端口号、候选者类型、优先级、传输协议，等待发送至控制端。

3.如权利要求2所述的方法，其特征在于，获得点对点视频传输通道，包括：

通过信令服务器将会话描述协议发送至控制端；

接收控制端反馈的会话描述协议回复信息；

将所述自身candidate通过信令服务器发送至控制端；

接收控制端反馈的控制端candidate，基于双方会话描述协议、candidate建立所述点对点视频传输通道。

4.如权利要求1所述的方法，其特征在于，通过所述点对点视频传输通道将所述四路视频信号发送至控制端，包括：

基于UDP协议将所述四路视频信号传入所述点对点视频传输通道，传输至控制端，其中，所述四路视频信号经过编码、分包操作。

5.如权利要求1所述的方法，其特征在于，接收控制端发送的控制数据，包括：

订阅MQTT服务器的消息，当所述MQTT服务器接收到控制数据时，自动将控制数据发送至车辆端。

6.一种用于远程驾驶的点对点视频传输方法，其特征在于，应用于控制端，包括：

与信令服务器连接，获得车辆端创建的点对点视频传输房间；

进入所述点对点视频传输房间，并向车辆端发送进入房间消息，获得点对点视频传输通道；

通过所述点对点视频传输通道，获得车辆端的四路视频信号；

对所述四路视频信号进行解码、帧间补足操作，获得车辆视频显示数据；

基于所述车辆视频显示数据，通过车辆控制套件进行操作，获得车辆控制套件的控制数据；

将所述控制数据通过服务器发送至车辆端，对车辆进行远程控制。

7.如权利要求6所述的方法，其特征在于，进入所述点对点视频传输房间，并向车辆端发送进入房间消息，获得点对点视频传输通道，包括：

创建会话描述协议回复信息，通过stun服务器获取自身candidate；

接收车辆端发送的会话描述协议，将所述会话描述协议回复信息发送至车辆端；

接收车辆端发送的车辆端candidate，将所述自身candidate发送至车辆端，建立所述点对点视频传输通道。

8.如权利要求6所述的方法，其特征在于，包括：

将所述控制数据发布至MQTT服务器，其中，发布速度为每10ms一次。

9.一种用于远程驾驶的点对点视频传输系统，其特征在于，应用于车辆端，所述系统包括：

视频数据获取模块，用于打开车辆上位于四个不同方位的四路摄像头，通过工控机与所述四路摄像头连接，获得四路视频信号；

房间创建模块，用于与信令服务器连接，创建点对点视频传输房间；

传输通道构建模块，用于接收控制端进入所述点对点视频传输房间的发送信息，获得点对点视频传输通道；

数据传输模块，用于通过所述点对点视频传输通道将所述四路视频信号发送至控制端；

控制模块，用于接收控制端发送的控制数据，并按照控制数据进行车辆操作移动，其中，所述控制数据为控制端基于四路视频信号进行操作生成的数据。

10.一种用于远程驾驶的点对点视频传输系统，其特征在于，应用于控制端，所述系统包括：

房间获取模块，用于与信令服务器连接，获得车辆端创建的点对点视频传输房间；

传输通道建立模块，用于进入所述点对点视频传输房间，并向车辆端发送进入房间消息，获得点对点视频传输通道；

数据传输模块，用于通过所述点对点视频传输通道，获得车辆端的四路视频信号；

视频显示模块，用于对所述四路视频信号进行解码、帧间补足操作，获得车辆视频显示数据；

控制数据模块，用于基于所述车辆视频显示数据，通过车辆控制套件进行操作，获得车辆控制套件的控制数据；

远程控制模块，用于将所述控制数据通过服务器发送至车辆端，对车辆进行远程控制。

Images