CN111565194A - 基于WebRTC远程控制无人车的控制方法 - Google Patents

Abstract

一种基于WebRTC远程控制无人车的控制方法，通过嵌入WebRTC应用程序接口实现数据处理；采集无人车端的传感器姿态数据等信息，经WebRTC应用程序接口处理后经4G/5G网络通信模组传至远程控制端，同时WebRTC应用程序接口与无人车端的摄像头与无人车端的麦克风直接连接，数据通过网络传至远程控制端；远程控制端通过网络向无人车传输控制指令对无人车端的转向舵机和电子调速器进行控制。本发明采用基于WebRTC的实时远程控制和实时图像传输技术，图像传输性能极其稳定，采用点对点数据传输方式实现数据的高速稳定传输，由于抛弃了传统的服务器转发机制，数据传输不受服务器数据处理量的影响，任何情况下数据的传输都只受限于无人车端和远程控制端的网络信号状况。

Description

基于WebRTC远程控制无人车的控制方法

技术领域

本发明属于机器人控制技术领域，涉及一种通过基于WebRTC的无人车实时控制的方法。

背景技术

随着网络技术的快速发展，网络通信得到迅速普及。网络通信一大重要应用领域是远程图像传输和数据传输。一直以来数据传输的实现基于类似web socket或mqtt的服务器转发机制，可以达到比较好的效果，但一旦通过以服务器转发为机制实现图像传输会导致带宽占比大，数据延迟大等严重问题,根本无法应用于实际。

为解决此技术瓶颈, 工程师一直以来都试图通过创造压缩图像算法的方式减小带宽，但一方面这样还是会占用不小的宽带，另一方面图像压缩算法的引入会加重服务器内存和cpu 的占用率，对图像解码端的运算能力也有更高的要求。

在无人车的控制方面，现存技术方案，远程图像传输是通过短距离短波通讯方式，实现数据传输，这一技术的缺点在于通讯距离短，且有效通信距离受到地形的严重影响，障碍物阻挡短波的传播，使得通讯距离缩短。

WebRTC(Web Real-Time Communication)是一个支持实时语音对话或视频对话的数据通道，基于此可以搭建网络数据传输通道，实现高速，低延迟，高质量的数据传输。将该数据通道应用于无人车控制和实时图像传输将摆脱传统的远程控制模式带来的种种弊端，这无疑也将推动远程控制技术的变革。

发明内容

本发明所要解决的技术问题是针对现有技术中存在的问题，而提供一种基于WebRTC远程控制无人车的控制方法，解决了目前图像传输延迟极大，无法对远程控制对象实时操控，远程对象不能实现高速运动的问题。

为解决本发明的技术问题采用如下技术方案：

一种基于WebRTC远程控制无人车的控制方法，其中无人车包括无人车端和远程控制端，在无人车端上设置核心控制板，所述核心控制板包括移动处理器和微控制单元MCU，所述移动处理器通过嵌入WebRTC应用程序接口实现数据处理；所述微控制单元MCU采集无人车端的传感器姿态数据、供电稳压系统的动力电池电压信息和GPS的定位信息，所述微控制单元MCU将采集的数据通过串口发送至移动处理器，经移动处理器上WebRTC应用程序接口处理后经4G/5G网络通信模组传至远程控制端，同时移动处理器还与无人车端的摄像头与无人车端的麦克风直接连接，摄像头的图像和麦克风的音频数据经移动处理器上WebRTC应用程序接口处理后通过4G/5G网络通信模组传至远程控制端；远程控制端通过网络向无人车传输控制指令和音频信号，其中控制指令通过4G/5G网络通信模组和移动处理器上WebRTC应用程序接口处理后发送至微控制单元MCU，微控制单元MCU根据移动处理器传送的指令数据对无人车端的转向舵机和电子调速器进行控制，端音频信号通过网络及4G/5G网络通信模组传至移动处理器处理，移动处理器通过其上WebRTC应用程序接口处理后经功放电路输出至无人车端扬声器。

无人车端的摄像头与WebRTC数据通道之间的数据传输采用标准uvc协议或使用移动产业处理器接口MIPI协议或相机串行接口CSI协议实现。

无人车端的摄像头采用720p级别以上的摄像头，同时其帧数应大于15fps。

在远程控制端，操作者通过滑动手机或PC屏幕实现对无人车端的机动控制，操作数据经由4G/5G网络通信模组和移动处理器上WebRTC应用程序接口、以及微控制单元MCU后使无人车机动状态发生改变。

操作者使用手柄遥控器通过蓝牙与手机或PC端连接，实施远程控制端的机动控制。

移动处理器连接麦克风实时采集无人车周围音频信息，通过其上WebRTC应用程序接口对音频信息进行处理并将处理后的数据通过4G/5G网络通信模块回传至远程控制端，同时移动处理器将来自远程控制端的音频数据解码并经音频放大电路输出至扬声器，实现对讲功能。

移动处理器与微控制单元MCU进行UART串口通信。

微控制单元MCU通过UART串口与GPS通信, 微控制单元MCU实时接收GPS发送的无人车经度、纬度、海拔、速度、搜星数量信息。

微控制单元MCU通过I2C总线方式或SPI通信方式采集运动传感器发出的无人车姿态、方位，并通过卡尔曼滤波算法处理成有用的姿态数据和方位信息。

微控制单元MCU在接收到移动处理器发出的指令数据后翻译成电子调速器和转向舵机可以识别的脉冲宽度调制PWM信号输出至电子调速器和转向舵机实现无人车的速度及转向角度的控制。

本发明采用基于WebRTC的实时远程控制和实时图像传输技术，图像传输性能极其稳定，采用点对点数据传输方式实现数据的高速稳定传输，由于抛弃了传统的服务器转发机制，数据传输不受服务器数据处理量的影响，任何情况下数据的传输都只受限于无人车端和远程控制端的网络信号状况。利用4G或5G高速网络，可以实现通过网络远程操作无人车并能实时获取无人车环境视频，音频和车身状态信息，指南针方位信息，位置信息，剩余电量信息，网络信号强度，运行速度进行侦测，其传输延迟在网络信号良好情况下为200ms以内，图像传输质量高，可达720p级别以上，能够实现对高速运动物体的实时远程控制，方案可靠性极高。

附图说明

图1为本发明无人车端硬件组成示意图；

图2为本发明远程控制端硬件组成示意图；

图3为本发明无人车端软件层构造示意图；

图4为本发明远程控制端软件层构造示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

一种基于WebRTC的远程控制的无人车装置，包括无人车端和远程控制端。无人车端上安装核心控制板，核心控制板包括移动处理器和微控制单元MCU，所述移动处理器实现数据处理，通过嵌入WebRTC应用程序接口实现。

第一部分：无人车端的硬件系统的搭建

如图1所示，无人车端的硬件系统包括系统供电稳压系统、核心控制板、4G/5G网络通信模组、外设的摄像头、麦克风、扬声器和无人车传感器、转向舵机、电子调速器和驱动电机、车架、动力电池构成。

无人车端的供电稳压系统实现将无人车电源—锂离子动力电池的高电压转换成核心控制板、摄像头、扬声器、传感器可用的电压以驱动这些电气部件。需要将7.4v-36v的动力电池电源转换到5v，3.3v及1.8v等使电子系统正常工作。可采用线性降压和开关电源（LDO）方案，该系统还与微控制单元MCU连接，微控制单元MCU对动力电池电压进行实时ADC采样，并将此信息发送给移动处理器，移动处理器将此数据通过WebRTC应用程序接口处理后经4G/5G网络通信模组传至远程控制端以保证操作者了解无人车端的剩余电量确保具备足够返航能力。

无人车端的核心控制板由移动处理器电路和微控制单元MCU组成。移动处理器电路和微控制单元MCU通过UART串口进行数据交互。

移动处理器是实时图像传输和远程实时控制的关键，通过嵌入的WebRTC应用程序接口来实现数据处理。移动处理器负责对数据进行处理，采集和发送，其处理的数据包括来自微控制单元MCU的姿态数据和GPS数据、微控制单元MCU采样的动力电池电压信息、麦克风音频数据，摄像头图像数据等，以及处理来自远程控制端的音频数据和控制指令。移动处理器将来自摄像头和无人车麦克风的数据通过WebRTC应用程序接口处理并将处理后的数据通过4G/5G网络通信模块传送至远程操控端，同时也将来自微控制单元MCU处理过的的姿态数据和GPS数据、动力电池电压信息通过4G/5G网络通信模块传送至远程操控端。移动处理器对来自远程操控端的音频数据经功放电路放大并输出至无人车扬声器，对来自远程操控端的控制指令进行处理并传送至微控制单元MCU。

微控制单元MCU负责采集传感器数据采集和无人车机动控制。它与运动传感器和GPS连接，微控制单元MCU将运动传感器的原始数据经过卡尔曼滤波算法处理得到稳定，可靠的无人车姿态，方位信息，并对获得的GPS数据进行筛选，只截选关键GPS数据，包括经度、纬度、海拔、速度、搜星数量信息。微控制单元MCU还负责对无人车动力电池实时ADC以获得电池剩余电量。微控制单元将获得的无人车姿态，方位信息，筛选后的GPS数据，动力电池剩余电量信息通过UART串口传送至移动处理器。微控制单元MCU对无人车机动控制的实现基于移动处理器传送的机动控制指令，微控制单元MCU根据机动控制指令向电子调速器和转向舵机发出电子调速器和转向舵机可以识别的脉冲宽度调制（PWM）信号实现无人车的速度及转向角度的控制。

4G/5G网络通信模组实现无人车端与远程控制端的数据交互，通过向该模块插入电话卡或物联网卡提供4G/5G网络流量。4G/5G网络通信模组可根据网络运营商选择恰当的类型，可适配电信，移动，联通卡或具备全网通功能。4G/5G网络通信模组将无人车端图像数据、音频数据和其他数据传送至远程控制端（计算机或是手机）同时接收远程控制端发出的控制信号并传输至核心控制板上的移动处理器。

摄像头负责采集无人车端周围图像信息，选择720p级别以上的摄像头保证图像清晰，同时其帧数应大于15fps以保证传输图像的平滑及可读性。摄像头可选用CMOS图像传感器模组搭配图像压缩芯片实现。移动处理器实时接收来自摄像头的图像数据，两者间的数据传输可以采用标准uvc协议或使用移动产业处理器接口MIPI协议或相机串行接口CSI协议实现。摄像头的图像数据经移动处理器处理后，通过4G/5G网络通信模块传输至远程操控端。

麦克风采集无人车端周围音频信息，核心控制板将采集到的音频信号通过ADC模拟-数字转换处理成数字语音信号并通过4G/5G网络通信模块传送至远程操控端。

无人车端扬声器实现对远程操控端音频信号放大。核心控制板对来自远程控制端的音频数字信号解码并经音频放大电路输出至扬声器。

无人车传感器包含运动传感器和GPS模块。运动传感器可以实时侦测车身姿态、方位。这些信息会通过网络传到远程控制端，方便操控者了解无人车的姿态，位置信息及罗盘方位。GPS模块实时采样无人车端的地理位置信息，方便操作者操控无人车。GPS模块与微控制单元MCU通过UART串口通信,实时发送无人车GPS数据。运动传感器采集无人车姿态，方位信息并通过I2C总线或SPI通讯方式与微控制单元MCU通讯。微控制单元MCU将姿态数据通过卡尔曼滤波算法处理成有用的姿态数据和方位信息。GPS模块发送的数据通常带有无效信息，需通过微控制单元MCU筛选有用GPS信息包括经度、纬度、海拔、速度、搜星数量信息。

无人车的机动部分包括转向车架，舵机，电子调速器和驱动电机，动力电池。

车架提供一个运动平台，可采用1/10比例以上车架。

转向舵机负责无人车转向，舵机接收核心控制板发出的脉冲信号（PWM）实现精准转向。

电子调速器（ESC）实现对电机的控制，电子调速器含3组线路，一组与动力电池连接，一组与核心控制板连接，一组连接电机。电子调速器通过接收来自核心控制板的脉冲调制信号（PWM）对电机进行控制，从动力电池获取电能。电子调速器最大输出电流应大于60A。对无人车速度，功率要求越高，其最大电流输出能力应越强。

电机可以采用无刷或有刷电机，无刷方案可采用3650级别以上无刷直流电机，有刷方案可采用550级别以上直流有刷电机。考虑到无人车的工作功率及时长，需对电机进行散热处理，以保证无刷电机不会因为温度过高而烧毁或退磁，有刷电机不会因为发热量过大而损毁。

核心控制板将远程操控端的指令信号翻译成电子调速器和转向舵机可以识别的脉冲宽度调制（PWM）信号输出至电子调速器和转向舵机实现无人车的速度及转向角度的控制。

动力电池是无人车的能量源，应具备高容量，高放电能力。通常可采用铁锂电池，锂离子高能量密度电池。其瞬时电流输出能力应在30A以上，供电电压应根据电子调速器适配。通常其电压在7.4V以上。

第二部分：

远程控制端的硬件构成：

如图2，远程控制端是操作者实时控制无人车的根据，基于手机或计算机平台，利用远程控制端的显示屏显示无人车传感器数据及周围图像，音频等数据，使操作者对无人车端的状态及环境了解。远程控制端还负责通过麦克风采集操作者发出的语言信号并通过网络传输至无人车端，另一方面远程控制端将无人车端反馈的音频信号放大并通过扬声器设备输出，如此远程控制端与无人车可以实现对讲。

在远程控制端，操作中通过滑动手机或PC屏幕实现对无人车的机动控制，也可搭配操作手柄的遥控器。手柄与手机或pc端通过蓝牙连接，并实时发送手柄摇杆状态，手机或pc端根据摇杆状态通过4G/5G网络通信模组和WebRTC应用程序接口、以及微控制单元MCU对无人车端发出机动操作指令。

第三部分：

无人车端软件控制层构造：

如图3，无人车端高清图像传输与实时数据传输的实现通过WebRTC应用程序接口和MCU数据处理完成。WebRTC应用程序接口嵌入在移动处理器上，MCU数据处理在微控制单元MCU上完成。

WebRTC应用程序接口一方面对无人车摄像头图像数据，麦克风音频数据和来自微控制单元MCU的有效传感器数据进行数据处理并通过4G/5G网络通信模块发送至远程控制端，另一方面对来自远程操控端的音频数据和控制指令进行处理。WebRTC应用程序接口将来自远程操控端的音频数据解码并通过功放电路输出至无人车扬声器。将来自远程操控端的控制指令处理并向微控制单元MCU传送动作指令，微控制单元MCU根据动作指令向转向舵机和电子调速器发送脉冲宽度调制PWM信号进而对无人车进行机动控制.

软件构架中MCU数据处理部分一方面负责通过卡尔曼算法处理来自传感器的姿态数据，获得罗盘数据，筛选有用GPS数据并将这些数据发送至WebRTC应用程序接口。另一方面，MCU数据处理部分对来自WebRTC应用程序接口的动作指令处理并以脉冲调制波PWM的形式输出到转向舵机和电子调速器实现机动控制。

第四部分：

远程控制端软件层构造：

如图4，远程控制端应用程序同样内置了WebRTC应用程序接口，远程控制端WebRTC应用程序接口采集操作者发出的音频信号，输出来自无人车端的音频信号，将无人车端的信息显示在屏幕上（包括图像,GPS位置信息，姿态信息，罗盘信息，无人车动力电池电压信息，速度信息，音频信息）并对无人车发出控制指令。

在远程控制端，计算机或手机通过感应触屏手触位置数据或接收来自遥控手柄的数据得到控制数据，这些数据经过计算机或手机端处理后经过WebRTC应用程序接口向无人车发出控制指令。

Claims (10)

1.一种基于WebRTC远程控制无人车的控制方法，其中无人车包括无人车端和远程控制端，其特征在于：在无人车端上设置核心控制板，所述核心控制板包括移动处理器和微控制单元MCU，所述移动处理器通过嵌入WebRTC应用程序接口实现数据处理；所述微控制单元MCU采集无人车端的传感器姿态数据、供电稳压系统的动力电池电压信息和GPS的定位信息，所述微控制单元MCU将采集的数据通过串口发送至移动处理器，经移动处理器上WebRTC应用程序接口处理后经4G/5G网络通信模组传至远程控制端，同时移动处理器还与无人车端的摄像头与无人车端的麦克风直接连接，摄像头的图像和麦克风的音频数据经移动处理器上WebRTC应用程序接口处理后通过4G/5G网络通信模组传至远程控制端；远程控制端通过网络向无人车传输控制指令和音频信号，其中控制指令通过4G/5G网络通信模组和移动处理器上WebRTC应用程序接口处理后发送至微控制单元MCU，微控制单元MCU根据移动处理器传送的指令数据对无人车端的转向舵机和电子调速器进行控制，端音频信号通过网络及4G/5G网络通信模组传至移动处理器处理，移动处理器通过其上WebRTC应用程序接口处理后经功放电路输出至无人车端扬声器。

2.根据权利要求1所述的一种基于WebRTC远程控制无人车的控制方法，其特征在于：无人车端的摄像头与WebRTC数据通道之间的数据传输采用标准uvc协议或使用移动产业处理器接口MIPI协议或相机串行接口CSI协议实现。

3.根据权利要求1或2所述的一种基于WebRTC远程控制无人车的控制方法，其特征在于：无人车端的摄像头采用720p级别以上的摄像头，同时其帧数应大于15fps。

4.根据权利要求3所述的一种基于WebRTC远程控制无人车的控制方法，其特征在于：在远程控制端，操作者通过滑动手机或PC屏幕实现对无人车端的机动控制，操作数据经由4G/5G网络通信模组和移动处理器上WebRTC应用程序接口、以及微控制单元MCU后使无人车机动状态发生改变。

5.根据权利要求4所述的一种基于WebRTC远程控制无人车的控制方法，其特征在于：

操作者使用手柄遥控器通过蓝牙与手机或PC端连接，实施远程控制端的机动控制。

6.根据权利要求1或5所述的一种基于WebRTC远程控制无人车的控制方法，其特征在于：移动处理器连接麦克风实时采集无人车周围音频信息，通过其上WebRTC应用程序接口对音频信息进行处理并将处理后的数据通过4G/5G网络通信模块回传至远程控制端，同时移动处理器将来自远程控制端的音频数据解码并经音频放大电路输出至扬声器，实现对讲功能。

7.根据权利要求6所述的一种基于WebRTC远程控制无人车的控制方法，其特征在于：移动处理器与微控制单元MCU进行UART串口通信。

8.根据权利要求7所述的一种基于WebRTC远程控制无人车的控制方法，其特征在于：微控制单元MCU通过UART串口与GPS通信, 微控制单元MCU实时接收GPS发送的无人车经度、纬度、海拔、速度、搜星数量信息。

9.根据权利要求1或8所述的一种基于WebRTC远程控制无人车的控制方法，其特征在于：微控制单元MCU通过I2C总线方式或SPI通信方式采集运动传感器发出的无人车姿态、方位，并通过卡尔曼滤波算法处理成有用的姿态数据和方位信息。

10.根据权利要求9所述的一种基于WebRTC远程控制无人车的控制方法，其特征在于：

微控制单元MCU在接收到移动处理器发出的指令数据后翻译成电子调速器和转向舵机可以识别的脉冲宽度调制PWM信号输出至电子调速器和转向舵机实现无人车的速度及转向角度的控制。

Images