CN115190267B - 自动驾驶的视频数据处理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明属于无人驾驶领域，公开了一种自动驾驶的视频数据处理方法、装置、设备及存储介质。包括：获取多路摄像头采集的视频数据分解为帧数据，按视频顺序标记帧号，将帧号相同的视频帧数据存储为任务队列的视频对；根据空闲任务节点个数从任务队列中获取视频对，在各空闲任务节点中进行融合拼接，得到目标帧数据并进行帧数据排序，得到车辆驾驶监测数据；根据车辆驾驶监测数据判断当前所要执行的驾驶动作；若为第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令；若为第二驾驶动作，则接收远程控制平台发送的驾驶操作指令。本发明对多路摄像头采集的视频数据进行逐帧融合，避免了视频流错乱导致的视频帧异步融合，为无人驾驶决策提供更准确的数据。

Description

自动驾驶的视频数据处理方法、装置、设备及存储介质

技术领域

本发明涉及无人驾驶技术领域，尤其涉及一种自动驾驶的视频数据处理方法、装置、设备及存储介质。

背景技术

在自动驾驶技术中，采用多个摄像头采集车辆周围环境数据，但是现有的融合方式容易出现视频数据异步加载导致融合后的图像出现多个时间点的物体，使得决策失误率高。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种自动驾驶的视频数据处理方法、装置、设备及存储介质，旨在解决视频数据异步加载导致融合后的图像出现多个时间点的物体，使得决策失误率高的技术问题。

为实现上述目的，本发明提供了一种自动驾驶的视频数据处理方法，所述方法包括以下步骤：

获取多路摄像头采集的若干视频数据；

将各个所述视频数据分解为帧数据，并按视频顺序标记帧号，得到若干携带有帧号的视频帧数据；

将帧号相同的视频帧数据作为视频对存储至任务队列；

根据空闲任务节点对应的个数从所述任务队列中获取对应个数的视频对；

在各个所述空闲任务节点中对所述视频对进行融合拼接，得到携带有对应帧号的目标帧数据；

按照各个所述目标帧数据对应的帧号进行帧数据排序，得到无人驾驶汽车的车辆驾驶监测数据；

根据所述车辆驾驶监测数据判断当前所要执行的驾驶动作；

若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作；

若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作。

此外，为实现上述目的，本发明还提出一种自动驾驶的视频数据处理装置，所述自动驾驶的视频数据处理装置包括：

获取模块，用于获取多路摄像头采集的若干视频数据；

分解模块，用于将各个所述视频数据分解为帧数据，并按视频顺序标记帧号，得到若干携带有帧号的视频帧数据；

存储模块，用于将帧号相同的视频帧数据作为视频对存储至任务队列；

任务处理模块，用于根据空闲任务节点对应的个数从所述任务队列中获取对应个数的视频对；

所述任务处理模块，还用于在各个所述空闲任务节点中对所述视频对进行融合拼接，得到携带有对应帧号的目标帧数据；

所述任务处理模块，还用于按照各个所述目标帧数据对应的帧号进行帧数据排序，得到无人驾驶汽车的车辆驾驶监测数据；

决策模块，用于根据所述车辆驾驶监测数据判断当前所要执行的驾驶动作；

无人驾驶模块，用于若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作；

远程驾驶模块，用于若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作。

此外，为实现上述目的，本发明还提出一种自动驾驶的视频数据处理设备，所述自动驾驶的视频数据处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的自动驾驶的视频数据处理程序，所述自动驾驶的视频数据处理程序配置为实现如上文所述的自动驾驶的视频数据处理方法。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有自动驾驶的视频数据处理程序，所述自动驾驶的视频数据处理程序被处理器执行时实现如上文所述的自动驾驶的视频数据处理方法。

本发明中对多路摄像头采集的视频数据进行逐帧融合，避免了视频流错乱导致的视频帧异步融合，避免了视频数据异步加载导致融合后的图像出现多个时间点的物体，为无人驾驶决策提供更准确的数据，减小了决策失误率。并且利用多个空闲节点进行视频帧融合，提高了多个视频数据的融合效率，避免了数据处理时间长造成的决策延迟高、决策速度低。

附图说明

图1为本发明一实施例的无人驾驶汽车控制流程第一示意图；

图2为本发明一实施例的无人驾驶汽车控制流程第二示意图；

图3为本发明一实施例的无人驾驶汽车控制流程第三示意图；

图4为本发明一实施例的无人驾驶汽车控制流程第四示意图；

图5为本发明一实施例的无人驾驶汽车控制流程第五示意图；

图6为本发明一实施例的无人驾驶汽车控制流程第六示意图；

图7为一键召车的流程图；

图8为一键还车的流程图；

图9是本发明实施例方案涉及的硬件运行环境的自动驾驶的视频数据处理设备的结构示意图；

图10为本发明自动驾驶的视频数据处理方法第一实施例的流程示意图；

图11为本发明自动驾驶的视频数据处理方法第二实施例的流程示意图；

图12为本发明自动驾驶的视频数据处理方法第三实施例的流程示意图；

图13为本发明自动驾驶的视频数据处理装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

由于现有的无人驾驶汽车单独使用自动驾驶技术和遥控驾驶技术时，会导致车辆的投入成本高，控制精度差的问题。因此，本申请通过获取无人驾驶汽车的车辆驾驶监测数据，根据车辆驾驶监测数据判断当前所要执行的驾驶动作；若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作；若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作。本申请通过远程控制与近端智能驾驶相结合来控制无人驾驶汽车的驾驶操作，使得提升了车辆的控制安全性，降低了车辆成本。

参考图1，图1为本发明一实施例的无人驾驶汽车控制流程第一示意图，本发明的无人驾驶汽车的控制方法包括：

步骤S10，获取无人驾驶汽车的车辆驾驶监测数据，根据车辆驾驶监测数据判断当前所要执行的驾驶动作；

在本实施例中，所述监测的数据包括：通信条件、路况信息、驾驶车速等；所述通信条件包括5G通信、GPS或者北斗卫星信号等；所述路况信息包括车道线、交通标志、交通参与物及障碍物等信息；所述驾驶车速是指车辆设定的驾驶速度，如车辆自动驾驶时的时速不高于10km/h；转弯时时速不高于5km/h。

在启动无人驾驶功能后，通过车载感知系统获取无人驾驶汽车当前驾驶的环境状态，并将所述获取的数据通过车载以太网等通信方式发送至车载定位规划决策控制系统，其中，车载单元之间的通信方式除车载以太网外，还可以采用LVDS、USB、CAN总线、WIFI、5G等通信方式；通过车载定位规划决策控制系统中的决策单元根据接收到的视觉目标信号、雷达信号、定位信号、路线规划、远程监视及控制系统的控制命令等，进行自动驾驶的决策逻辑判断，判断出当前无人驾驶汽车所要执行的驾驶动作，例如：根据接收到的信息判断出当前所要执行的动作是前行、左转、右转、换道或者停车等。

其中，所述车载感知系统主要由视觉感知处理系统及超声波雷达处理系统组成。所述视觉感知处理系统由N个高清鱼眼广角摄像头组成的全景环视系统、M个高清前视摄像头及视觉处理控制器组成。所述全景环视系统及高清前视摄像头拍摄的高清视频图像传输给视觉处理控制器，由视觉处理器将所有图像进行处理，形成行驶车辆的前方(Q度视角范围)、前向S范围、侧向W范围、后向L范围内的清晰视图，并通过5G传输给远端后台。视觉处理器对视频图像进行数据处理，将目标级信息输出给车载定位及规划决策控制系统，其中，所述视觉处理器具备车道线识别、交通标志识别、交通参与物及障碍物识别等功能。所述超声波雷达处理系统由12个超声波雷达及雷达控制器组成，采集行驶车辆的障碍物距离信息，处理后将目标物的距离位置信息输出给车载定位规划决策控制系统。

步骤S20，若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作；

在本实施例中，所述第一驾驶动作是指精确驾驶动作，如方向盘、油门和刹车等动作。

当通过决策单元判断出当前所要执行的是精确驾驶动作，则自动接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作。例如，当前所要执行的是刹车动作，接收车载定位规划决策控制系统自动发送的刹车驾驶操作指令，无人驾驶汽车根据所述刹车驾驶操作指令执行刹车操作。

其中，所述车载定位规划决策控制系统主要由定位模块、规划决策模块组成；所述定位模块接收高清地图定位信号，作为主定位信息，并接5G基站的定位信号、视觉处理系统的周边环境信号，进行综合辅助定位校正。

进一步地，所述步骤S20还包括：

根据所述第一驾驶操作生成对应的控制命令；

响应控制命令，执行无人驾驶汽车的自动驾驶操作。

在本实施例中，通过决策单元判断出当前所要执行的是精确驾驶动作，根据所述精确驾驶动作生成对应的控制指令；通过车载执行系统响应该控制命令，执行无人驾驶汽车的自动驾驶操作。具体地，执行系统接收到车载定位规划决策控制系统所发出的目标车速、目标驱动扭矩、目标制动扭矩、目标档位、目标转向角及转向角速度等控制命令，实时响应其控制命令，并回传相关的控制结果。例如：当前所要执行的是降速操作，由车载定位规划决策控制系统发出将车速降至9km/h的控制命令，以使无人驾驶汽车调整当前的车速为9km/h。

其中，所述执行系统由车辆的动力输出及传动控制系统、制动控制系统、转向控制系统等组成。

步骤S30，若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作。

在本实施例中，所述第二驾驶动作是指非精确驾驶动作，如开、停等动作，其中，所述开、停等动作除了可以由无人驾驶汽车端根据所述驾驶监测数据确定外；还可以通过远程控制平台的远程控制平台客户端或者手机APP等监测当前无人驾驶汽车是否出现危险情况，当出现危险情况时，则生成对应的非精确驾驶动作，例如：当远程控制平台的用户通过手机APP监测到当前无人驾驶汽车的正前方突然出现换道车辆，则需要执行紧急停车操作；又或者是在通过十字路口时，左侧出现闯红灯的车辆，则需要执行紧急停车操作。

由于所述非精确驾驶动作完全由无人驾驶汽车端执行会存在一定的操作难度，且安全性不高；其次，需要在无人驾驶汽车端设置一些高规格和精度的传感器等，使得增加了无人驾驶汽车的成本。因此，当要执行停车等非精确驾驶动作时，则自动接收远程控制平台通过5G发送的驾驶停车操作指令，通过远程控制平台的驾驶人员自身的视觉观测，节约激光雷达等高规格、高精度传感器的使用，避免了完全采用自动驾驶而导致汽车成本过高；无人驾驶汽车根据所述停车操作指令，执行停车操作。其中，远程控制平台对车辆的停止命令具有最高优先级。

进一步地，所述步骤S30还包括：

接收远程控制平台运用5G发送的第二驾驶动作的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作；

发送第二驾驶动作的执行结果反馈信息至远程控制平台，以使远程控制平台根据所述执行结果反馈信息确定无人驾驶汽车是否完成所述驾驶操作指令。

在本实施例中，所述远程控制平台主要由车载5G通信模块、5G基站、5G核心网及区域网、远程监控与云计算平台、手机及APP等组成。

当远程控制平台监测到当前无人驾驶汽车需要执行非精确驾驶动作时，如停车操作，则由远程控制平台的驾驶人员运用5G发送停车驾驶操作指令至无人驾驶汽车端；无人驾驶汽车根据所述停车操作指令执行停车操作，并将执行结果的反馈信息发送至远程控制平台；远程控制平台的驾驶人员根据所述执行结果的反馈信息判断当前无人驾驶汽车是否完成了停车驾驶操作指令，若没有完成，则重新发送停车指令至无人驾驶汽车端。

在本实施例中，采用远程控制与近端智能驾驶相结合的方案，使得近端对于精确的驾驶动作采用智能驾驶，同时驾驶人员在远程通过视觉实时观测汽车周边环境，以控制汽车的停车或行驶。如此，通过驾驶人员自身的视觉观测，减少了激光雷达等高规格、高精度传感器的使用，从而避免完全采用自动驾驶而导致汽车成本过高，另一方面，将一些开停等非精确控制的驾驶动作在远程交由驾驶员完成，使得提升了汽车的控制安全性。

在一实施例中，参看图2，所述若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作的步骤之后，包括：

步骤S21，接收第一信号，判断第一信号是否满足设定的通信条件；

步骤S22，若满足，则进入全局路径规划模式；

步骤S23，若不满足，则接收第二信号，判断第二信号是否满足设定的通信条件；

步骤S24，若满足，则切换至局部路径规划模式；

步骤S25，若不满足，则执行停车操作，进入手动驾驶模式。

在本实施例中，所述第一信号是指GPS或北斗卫星信号；所述第二信号是指5G通信信号。

接收GPS或北斗卫星信号，在GPS或北斗卫星信号良好时，无人驾驶汽车进入全局路径规划模式，由高精地图根据目的地与当前精确位置进行全局路径规划，全局路径规划由高精地图云端进行；随路况变化随时更新，并下发至车载地图模块，由车载地图模块将行车决策建议(如前行，左转，右转，换道等)传递给规划决策模块。当GPS或北斗卫星信号丢失时，接收5G信号，在5G通信信号正常时，无人驾驶汽车切换至局部路径规划模式，根据车辆的行驶指令进行自主找路模式；在GPS或北斗卫星信号与5G通讯同时丢失的情况下，立即停车，进入手动驾驶模式。

在本实施例中，基于满足不同的通信信号，有不同的道路规划模式，使得车辆可通过多种道路规划模式执行驾驶操作。

在一实施例中，参考图3，所述获取无人驾驶汽车的车辆驾驶监测数据，根据车辆驾驶监测数据判断当前所要执行的驾驶动作的步骤之前，包括：

步骤S11，运用5G将无人驾驶汽车的车辆驾驶监测数据发送至远程控制平台，以使远程控制平台根据所述车辆驾驶监测数据判断当前无人驾驶汽车的驾驶条件是否满足设定条件；

步骤S12，若满足，则接收远程控制平台运用5G发送的自动驾驶指令，根据所述自动驾驶指令启动无人驾驶汽车的自动驾驶功能。

在本实施例中，所述驾驶条件包括5G通信的实时性、安全信息认证以及远端人员的监视控制信号等。

运程控制平台在接受到无人驾驶汽车运用5G发送的车辆驾驶监测数据时，通过所述车辆驾驶监测数据判断无人驾驶汽车是否同时满足5G通信正常、安全信息认证正常、远端人员的监视控制信号正常的条件；若是，则远程端的人员才会授权允许车辆自动驾驶，并发送自动驾驶指令；无人驾驶汽车根据所述自动驾驶指令启动无人驾驶汽车的自动驾驶功能，以使车辆可以自主低速自动驾驶；若当前车辆5G网络信号丢失、信息安全认证异常、或远端监控人员认为异常并停止自动驾驶授权等情况下，则发送停止当前的自动驾操作指令。

在本实施例中，远程控制平台的人员在接收到车辆驾驶监测数据时，判断是否满足设定驾驶条件，若满足才会发送自动驾驶指令，使得保证了自动驾驶的安全性。

在一实施例中，参考图4，所述若满足，则切换至局部路径规划模式的步骤之后，包括：

步骤S240，接收无人驾驶汽车的行驶命令，根据所述行驶命令切换当前的驾驶模式；

步骤S241，当接收到泊车命令，则切换为自主寻位泊车模式；

步骤S242，当接收到驶出命令，则切换为自主找出口模式。

在本实施例中，当GPS或北斗卫星信号丢失时，在5G通信信号正常前提下，切换至局部路径规划模式后，根据车辆的行驶指令进行自主找路模式。若为泊车命令，则切换为自主寻位泊车模式，由视觉SLAM定位自主找位泊车；若为驶出命令，则切换为自主找出口模式，由视觉SLAM车辆自主寻找出口，将车辆指引到GPS或北斗卫星信号良好的开阔地。

可选地，在所述视觉传感器按照4个鱼眼摄像头，分别布置在前保、后保、左右后视镜，1个前视摄像头布置在前挡玻璃中央的设置基础上，随车配备一台伴随无人机；在车辆处于GPS或北斗等高精定位信号丢失模式下，无人机具备短途探路模式，即通过远程控制方式让无人机短期离开车辆，通过SLAM方式进行定位，并扫描绘制出一定距离S1(100米)范围内的可行驶路径，并通过5G信号与车辆及后台保持数据实时通信，也即无人机可在自主找路模式下提供探路、路线扫描和规划的辅助。

在本实施例中，在高精地图定位丢失时，利用视觉传感器与远程人员闭环监控下，进入自主找出口模式，自主泊车模式。同时，通过无人机伴随自动驾驶车辆，实现自主探路与局域路径规划模式，保证了无人驾驶汽车的正常行驶。

在一实施例中，参考图5，所述若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作的步骤之后，包括：

步骤S31，接收远程控制平台运用5G发送的停车指令，所述停车指令是远程控制平台在第一模式或第二模式任一种模式下，判断无人驾驶汽车不满足安全行驶环境或安全行驶状态，或者远程控制平台不满足安全监控的要求时发送的；

步骤S32，根据所述停车指令，执行无人驾驶汽车的停车操作。

在本实施例中，所述第一模式是指远程监控平台客户端；所述第二模式是指手机APP。

远端人员可以分别通过远程监控平台客户端或者手机APP中的视频监控模块对车辆的行驶环境和行驶状态进行视觉监控。可以在远程监控客户端上进行远程遥控驾驶，也可以在手机APP上通过手机屏幕进行远程控制发送放行，停车指令。通过手机APP远程遥控监视时，需在手机APP上需开发眼球追踪系统，在使用手机APP远程监控车辆运行状态时，必须全程眼睛监视手机屏幕的无人驾驶汽车的驾驶状态，并且手指必须持续接触手机屏幕，视线离开或者手指离开屏幕，任一条件满足，则APP发送远程停车命令至无人驾驶汽车；通过远程监控客户端进行远程遥控驾驶时，也需在远程监控平台开发视线追踪系统，以及远程停车或行驶按钮，远程停车按键按下时允许车辆自动驾驶，按键松开时车辆立即停止。其中，在远程监视及控制系统中，手机APP模式优先，手机APP模式不工作时，切换至远程监控客户端模式；两者必须有一种模式工作，否则自动驾驶汽车处于停止状态。其次，在远程控制平台不满足安全监控的要求时会自动发送停车指令至无人驾驶汽车端，以使无人驾驶汽车根据所述停车指令执行停车操作。

通过接收远程监控平台的客户端或者手机APP通过5G发送的停车指令，控制无人驾驶汽车执行停车操作。

在本实施例中，远端控制平台采用多种模式执行对无人驾驶汽车的行驶环境和状态进行视觉监控，根据监控的结果发送停车指令，提升了无人驾驶汽车驾驶的控制安全性。

在一实施例中，参考图6，所述无人驾驶汽车的控制方法，还包括：

步骤S40，在无人驾驶汽车的四周设置多个摄像头，并配置一台无人机跟随无人驾驶汽车；

步骤S50，接收无人驾驶汽车设定距离范围内的其他无人驾驶汽车发送的调配无人机的请求；

步骤S60，根据所述请求控制无人机飞至所述发送请求的无人驾驶汽车所在的位置，以使所述无人机监测所述发送请求的无人驾驶汽车的驾驶数据。

为了更好地获取当前无人驾驶汽车的驾驶环境的数据，对于所述视觉传感器还可以包括以下的变形方案：

方案一：按照常规的4+1摄像头组合，即4个鱼眼摄像头，分别布置在前保、后保、左右后视镜，1个前视摄像头，布置在前挡玻璃中央；

方案二：在车顶顶部前方正中设计一个支架，将4+1摄像头组合布置在支架上，摄像头位置顶端距地面高度不大于2.4m，以使摄像头能在各个角度摄像，优化摄像头画面的视觉范围。

方案三：在方案一的基础上，随车配备一台伴随无人机，在车顶前部区域上方固定无人机摄像机支架，支架底座具备无线充电功能，支架距车顶高度Hm(如：2米)，无人机摄像机共有前、后、左、右4个方向摄像头。当车辆处于远程无人驾驶状态时，无人机摄像头工作拍摄图像实时传递给视觉处理器；当车辆处于司机驾驶状态时，无人机摄像头默认关闭状态，可以人为开启。

在本实施例中，所述伴随无人机可用于周边一定距离范围内(如：1000米)多辆无人驾驶汽车的环境感知视觉延伸，接收该范围内其他无人驾驶汽车的调配，执行监测无人驾驶汽车周边驾驶环境的操作。具体地，当在无人驾驶汽车周围1000米范围内的某一辆无人驾驶汽车出现异常情况导致无法正常监测当前的驾驶环境时，则会自动搜索设定范围内(如1000米)配置有无人机的无人驾驶汽车，并向最接近的配有无人机的无人驾驶汽车发送调配无人机的请求；当所述最接近的配有无人机的无人驾驶汽车接收到所述请求后，通过车载的控制单元或者远程控制平台执行控制无人机飞往发出请求的无人驾驶汽车所在的位置，调用无人机的摄像头实时拍摄该无人驾驶汽车周边的驾驶环境的图像，并生成对应的监测数据发送至远程控制平台，以使远程控制平台端的驾驶人员根据所述监测数据执行相应的驾驶操作。

在本实施例中，通过随车配置一台伴随无人机实现监测无人驾驶汽车的驾驶数据，同时还可以接收周边其他无人驾驶汽车发送的调配无人机的请求，帮助其他无人驾驶汽车实现正常驾驶，丰富了无人驾驶汽车的操作，保证了无人驾驶汽车的安全性和正常驾驶。

为了更好的实现本申请，所述无人驾驶汽车的控制方法还可以用于共享汽车的一键召车、一键还车系统。

参考图7，图7为一键召车的流程图，其一键召车的主要操作流程如下：

打开手机APP，查看附近可用车辆信息，包括：位置、车况等；选择对应的车辆，点击APP上的“现在叫车”按钮，选择上车的位置；判断是否选择手机端监控，若是，则进入手机APP远程监视画面模式；若否，则进入平台端监控模式；再者，发送远程启动指令，包括：远程自动驾驶指令、眼球追踪控制指令、信息安全认证以及视频监控；进一步地，无人驾驶汽车根据所述指令行驶至指定的位置，再切换至驾驶员接管模式。

参考图8，图8为一键还车的流程图，其一键还车的主要操作流程如下：

打开手机APP，点击“一键还车”按钮，即把车辆监管权限交给平台，再由平台端的人员选择附近可归还停车位，车辆在平台端监控下自动驾驶到指定停车位，停车结束。

在本实施例中，通过使用手机APP、5G等手段，将车辆使用者引入到车辆自动闭环控制，降低共享平台的运营成本。

参照图9，图9为本发明实施例方案涉及的硬件运行环境的自动驾驶的视频数据处理设备结构示意图。

如图9所示，该自动驾驶的视频数据处理设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图9中示出的结构并不构成对自动驾驶的视频数据处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图9所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及自动驾驶的视频数据处理程序。

在图9所示的自动驾驶的视频数据处理设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明自动驾驶的视频数据处理设备中的处理器1001、存储器1005可以设置在自动驾驶的视频数据处理设备中，所述自动驾驶的视频数据处理设备通过处理器1001调用存储器1005中存储的自动驾驶的视频数据处理程序，并执行本发明实施例提供的自动驾驶的视频数据处理方法。

本发明实施例提供了一种自动驾驶的视频数据处理方法，参照图10，图10为本发明自动驾驶的视频数据处理方法第一实施例的流程示意图。

本实施例中，所述自动驾驶的视频数据处理方法包括以下步骤：

步骤S01：获取多路摄像头采集的若干视频数据。

可以理解的是，本实施例的执行主体为自动驾驶的视频数据处理设备，所述自动驾驶的视频数据处理设备可以是无人驾驶汽车上安装的车载电脑、计算机，还可为其他可实现相同或相似功能的设备，本实施例对此不加以限制。

需要说明的是，多路摄像头设置于自动驾驶车辆上，分别用于采集不同方向上的视频数据。可选地，设置有N个高清鱼眼广角摄像头以及M个高清前视摄像头采集车辆周围的视频数据。

进一步地，所述步骤S01之前，所述方法还包括：在预设时钟的触发下与多路摄像头进行交互，得到各路摄像头对应的延迟信息；

所述步骤S01之后，所述方法还包括：根据所述延迟信息对所述若干视频数据进行时间对齐，得到对齐后的若干视频数据。

在具体实现中，设置预设时钟，每隔一段时间与多路摄像头进行交互，控制多路摄像头拍摄当前时刻的图像数据，各路摄像头反馈图像数据时，添加发送时间戳，处理器基于控制指令的发出时间和图像数据对应的发送时间戳确定各路摄像头对应的延迟信息。在接收到多路摄像头反馈的视频数据后，根据延迟信息对视频数据进行时间对齐，进一步避免了视频数据异步加载。

步骤S02：将各个所述视频数据分解为帧数据，并按视频顺序标记帧号，得到若干携带有帧号的视频帧数据。

应当理解的是，提前设置有帧间隔，基于相同的帧间隔对多路摄像头采集的视频数据进行分帧，并按照视频顺序标记帧号。

步骤S03：将帧号相同的视频帧数据作为视频对存储至任务队列。

需要说明的是，帧号相同的视频帧数据表征的是同一时间多个摄像头采集的图像数据，例如，采用1个前视摄像头和4个鱼眼摄像头进行视频数据采集，将各个视频数据分帧处理后得到帧号分为为1、2、……、n的视频帧数据，将五个帧号为1的视频帧数据存储为视频对1，将五个帧号为2的视频帧数据存储为视频对2……。设置任务队列，用于存储视频对，通过先入先出的机制将视频帧数据安全传递至多线程任务节点。

步骤S04：根据空闲任务节点对应的个数从所述任务队列中获取对应个数的视频对。

应当理解的是，各任务节点中设置有单独的推理模块，执行对应的融合任务，从而对视频对所对应的多张视频帧数据进行融合。在具体实现中，设置有任务节点状态表，各任务节点在接收到视频对后，对任务节点状态表中对应的状态修改为忙碌状态，在输出融合好的目标帧数据后，将任务节点状态表中对应的状态修改为空闲状态。按照任务节点状态表确定空闲任务节点的个数，从任务队列中获取对应个数的视频对。

步骤S05：在各个所述空闲任务节点中对所述视频对进行融合拼接，得到携带有对应帧号的目标帧数据。

需要说明的是，在各个所述空闲任务节点中进行视频帧数据畸变校正以及坐标转换，使得视频帧数据映射至同一坐标系内，对视频帧数据进行分区，依据变形度对各区域进行权重赋予，选择权重值更大的数据作为重合区域内的数据，实现视频帧数据的拼接融合，得到携带有对应帧号的目标帧数据。

步骤S06：按照各个所述目标帧数据对应的帧号进行帧数据排序，得到无人驾驶汽车的车辆驾驶监测数据。

应当理解的是，将各帧目标帧数据按照对应帧号排序，得到融合拼接处理后的视频数据，基于融合拼接处理后的视频数据和车辆传感器采集的传感器信息得到无人驾驶汽车的车辆驾驶监测数据。

步骤S07：根据所述车辆驾驶监测数据判断当前所要执行的驾驶动作。

步骤S08：若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作。

步骤S09：若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作。

需要说明的是，本实施例的驾驶动作判断过程以及指令执行过程参见上述无人驾驶汽车的控制方法的实施例。

本实施例中对多路摄像头采集的视频数据进行逐帧融合，避免了视频流错乱导致的视频帧异步融合，避免了视频数据异步加载导致融合后的图像出现多个时间点的物体，为无人驾驶决策提供更准确的数据，减小了决策失误率。并且利用多个空闲节点进行视频帧融合，提高了多个视频数据的融合效率，避免了数据处理时间长造成的决策延迟高、决策速度低。

参考图11，图11为本发明自动驾驶的视频数据处理方法第二实施例的流程示意图。

基于上述第一实施例，本实施例自动驾驶的视频数据处理方法在所述步骤S06之后，还包括：

步骤S061：对所述车辆驾驶监测数据中的各帧目标帧数据进行目标识别，确定各帧目标帧数据对应的前景图像和背景图像。

应当理解的是，本实施例设置有预设目标识别模型，基于预设目标识别模型对车辆驾驶监测数据中的各帧目标帧数据进行目标识别，从而区分出前景图像和背景图像。其中，前景图像主要包括障碍物、行人、道路标志、周围车辆等等。

步骤S062：对所述前景图像进行预处理，得到各帧目标帧数据对应的目标前景图像。

需要说明的是，本实施例中对前景图像和背景图像进行分割，对前景图像进行预处理，以提升前景图像的精度，提升决策模块对环境的感知精度，从而提升决策准确率。

步骤S063：确定任意相邻两帧目标帧数据的背景图像之间的光流运动矩阵。

步骤S064：根据所述光流运动矩阵对所述相邻两帧目标帧数据的背景图像进行修正，得到目标背景图像。

应当理解的是，利用光流运动矩阵描述像素随时间在相邻两帧目标帧数据之间的运动，在检测到任一帧目标帧数据中的背景图像模糊时，利用光流运动矩阵对该背景图像进行修正，以去除模糊背景，提高目标帧数据的背景精度。

步骤S065：根据所述目标前景图像和所述目标背景图像构成所述车辆驾驶监测数据中的各帧数据。

需要说明的是，将精度提升后的前景图像和背景图像进行拼接，构成车辆驾驶监测数据中的各帧数据。

所述步骤S062，包括：对所述前景图像进行亮度调整，得到预处理后的前景图像；获取所述前景图像对应的目标识别类型；根据所述目标识别类型对应的预设色彩对所述预处理后的前景图像进行色彩加强，得到目标前景图像。

应当理解的是，针对各帧目标帧数据的前景图像，获取前景图像的亮度平均值，根据亮度平均值与预设亮度之间的差值对前景图像进行亮度调整。进一步地，为了提升前景图像精度，预处理还包括对比度调整、细节增强和噪声抑制，得到预处理后的前景图像。在具体实现中，提前设置有不同目标类型对应的预设色彩，基于预设色彩对视频帧数据进行色彩加强，使得目标前景图像具备置信度更高的深度信息，例如：新能源车牌对应的绿色车牌底色和黑色字体，利用绿色对前景图像中的车牌底色区域进行色彩加强，利用黑色对前景图像中的车牌字体进行色彩加强，使之更加清晰，便于决策算法进行识别以及远程终端进行查看。

进一步地，为了避免无人驾驶车辆与远程控制平台之间的数据量过大造成的数据传输效率低，导致远程控制平台的控制指令滞后，所述接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作之前，所述方法还包括：对所述车辆驾驶监测数据中各帧目标帧数据对应的目标背景图像进行分辨率降低处理，对所述车辆驾驶监测数据中各帧目标帧数据对应的目标前景图像进行标注信息跟踪处理，得到调整后的车辆驾驶监测数据；对所述调整后的车辆驾驶监测数据进行压缩和加密处理，并发送至远程控制平台，以使所述远程控制平台展示无人驾驶汽车环境图像。

需要说明的是，在判断当前所要执行的驾驶动作为第二驾驶动作，向远程控制平台传输车辆驾驶监测数据。为了提升传输效率，本实施例中对目标帧数据中的背景区域进行分辨率降低，对于前景区域进行标注，便于远程控制平台快速接收有决策价值的信息。进一步对车辆驾驶监测数据进行压缩，减小了传输数据流，对车辆驾驶监测数据进行加密，提升了交互安全性。

本实施例中对各帧目标帧数据的前景图像进行预处理，对背景图像进行修正，提升了画面质量，为无人驾驶的决策提供精度更高的图像数据，减小了决策失误率。

参考图12，图12为本发明自动驾驶的视频数据处理方法第三实施例的流程示意图。

基于上述第一实施例，本实施例自动驾驶的视频数据处理方法在所述步骤S05，包括：

步骤S051：在各个所述空闲任务节点中将所述视频对对应的多个视频帧数据进行畸变校正以及坐标转换，得到多个待融合视频帧数据。

应当理解的是，畸变校正的过程包括：通过对摄像头进行标定，确定其对应的畸变中心以及畸变系数，在采集到视频数据后，依据预设存储区域内存储的畸变中心以及畸变系数对视频数据进行畸变校正。

需要说明的是，坐标转换的过程包括：将多个视频帧数据转换至同一坐标系中，可选地，同一坐标系可以为车辆对应的坐标系：以车头中心为坐标原点建立的坐标系；也可以为多路摄像头中的一个摄像头对应的坐标系，例如，多路摄像头为4个鱼眼摄像头和1个前视摄像头，4个鱼眼摄像头分别布置在前保、后保、左右后视镜，1个前视摄像头布置在前挡玻璃中央，选取前视摄像头对应的坐标系作为目标坐标系，依据各个摄像头的安装位置以及相机内外参数对视频帧数据进行转化，得到多个待融合视频帧数据。

在具体实现中，为了使数据拼接融合更容易进行，摄像头的安装位置可以采用同轴安装，例如，在车顶顶部前方正中设置一个支架，将4个鱼眼摄像头和1个前视摄像头组合布置在支架上，摄像头位置顶端距地面高度不大于2.4m，以使摄像头能在各个角度摄像，优化摄像头画面的视觉范围，选取前视摄像头对应的坐标系作为目标坐标系，将4个鱼眼摄像头采集的视频帧数据转化至目标坐标系。

步骤S052：分别对所述多个待融合视频帧数据进行区域划分，并按照所述待融合视频帧数据对应的变形程度为各区域赋予对应的权重值。

应当理解的是，区域划分的过程可以为采用预设密度的网格进行区域划分，网格的预设密度可以由用户提前确定，也可以根据视频帧数据分辨率确定，通过对各区域进行权重赋予，从而使视频帧数据各个区域都携带有深度信息，为视频帧数据融合提供数据基础。不同的摄像头拍摄的视频帧数据分辨率不同，对应的网格不同，例如，A摄像头采集到的视频帧数据分辨率为704×576，经过矫正得到的视频帧数据大小为1840×1570(与预设畸变系数有关)，通过裁剪得到的视频帧数据分辨率为704×576。根据视频帧数据分辨率设置网格的过程可以是根据预设个数如6400个，将视频帧数据划分为6400个8.8×7.2的区域。

步骤S053：根据所述权重值对所述多个待融合视频帧数据进行融合拼接，得到携带有对应帧号的目标帧数据。

需要说明的是，由于原视频数据与校正裁剪后得到的视频帧数据的分辨率相同，将各区域校正前后的数据进行比对，确定视频帧数据的变形程度，在各网格区域划分得足够细的情况下，离视频帧数据中心越远的区域，变形程度越大，在接近边缘的网格区域，视频帧数据数据完全不一致，根据变形程度赋予各区域对应的权重值，例如，没有变形的区域权重值为1，预设的最小值为0.3，将视频帧数据四角边缘位置的权重值赋予为0.3，在边界中心处，视频帧数据变形程度不大，权重值赋予为0.75，以实现根据变形程度赋予所述各区域对应的权重值。

在进程拼接时，各摄像头采集的区域存在重合，在将视频数据都转化在一个坐标系后，对视频帧数据进行了初步融合，但是重叠区域中的数据并没有确定，因此，基于权重值选取权重值最大的区域作为最终视频帧数据的组成部分，从而得到拼接融合后的目标帧数据。

具体地，所述步骤S053，包括：确定所述多个待融合视频帧数据对应的多个初始重叠区域，并确定各初始重叠区域内各个待融合视频帧数据对应的初始区域；从各个待融合视频帧数据对应的初始区域中选择权重值最大的区域作为所述初始重叠区域对应的目标区域；将多个所述目标区域进行拼接，得到目标重叠区域；将所述多个待融合视频帧数据以及所述目标重叠区域进行拼接，得到携带有对应帧号的目标帧数据。

应当理解的是，本实施例的摄像头的安装位置存在多个重叠区域，在重叠区域内，每个发生重合的待融合视频数据都存在若干初始区域，初始重叠区域是指发生重合的待融合视频数据所重叠的区域，初始区域是指在重叠区域内各融合视频数据提前依据网格划分好的区域，例如A视频数据与B视频数据存在重合，对应的初始重叠区域内包含A1初始区域、A2初始区域、…、A20初始区域，B1初始区域、B2初始区域、…、B20初始区域。

需要说明的是，本实施例考虑的是在重叠区域内，发生重合的待融合视频数据的初始区域一一对应且重叠，此时，选取权重值最大的初始区域作为目标区域。根据多个目标区域组成目标重叠区域。将多个待融合视频帧数据和目标重叠区域拼接在一起，使得目标重叠区域替换待融合视频帧数据的初始重叠区域，得到目标帧数据。

本实施例中在各个空闲任务节点中对多路摄像头采集的视频数据进行逐帧融合，避免了视频流错乱导致的视频帧异步融合，根据不同区域的权重值选择权重值大的数据作为重叠区域的数据，避免了重叠区域变形程度太大造成的融合数据质量差，为无人驾驶的决策提供更准确的数据，减小了决策失误率。并且利用多个空闲节点进行视频帧融合，提高了多个视频数据的融合效率，避免了数据处理时间长造成的决策延迟高、决策速度低。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有自动驾驶的视频数据处理程序，所述自动驾驶的视频数据处理程序被处理器执行时实现如上文所述的自动驾驶的视频数据处理方法。

由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

参照图13，图13为本发明自动驾驶的视频数据处理装置第一实施例的结构框图。

如图13所示，本发明实施例提出的自动驾驶的视频数据处理装置包括：

获取模块10，用于获取多路摄像头采集的若干视频数据。

分解模块20，用于将各个所述视频数据分解为帧数据，并按视频顺序标记帧号，得到若干携带有帧号的视频帧数据。

存储模块30，用于将帧号相同的视频帧数据作为视频对存储至任务队列。

任务处理模块40，用于根据空闲任务节点对应的个数从所述任务队列中获取对应个数的视频对。

所述任务处理模块40，还用于在各个所述空闲任务节点中对所述视频对进行融合拼接，得到携带有对应帧号的目标帧数据。

所述任务处理模块40，还用于按照各个所述目标帧数据对应的帧号进行帧数据排序，得到无人驾驶汽车的车辆驾驶监测数据。

决策模块50，用于根据所述车辆驾驶监测数据判断当前所要执行的驾驶动作。

无人驾驶模块60，用于若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作。

远程驾驶模块70，用于若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作。

应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。

本实施例中对多路摄像头采集的视频数据进行逐帧融合，避免了视频流错乱导致的视频帧异步融合，避免了视频数据异步加载导致融合后的图像出现多个时间点的物体，为无人驾驶决策提供更准确的数据，减小了决策失误率。并且利用多个空闲节点进行视频帧融合，提高了多个视频数据的融合效率，避免了数据处理时间长造成的决策延迟高、决策速度低。

需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。

另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的自动驾驶的视频数据处理方法，此处不再赘述。

此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种自动驾驶的视频数据处理方法，其特征在于，所述自动驾驶的视频数据处理方法包括：

获取多路摄像头采集的若干视频数据；

将各个所述视频数据分解为帧数据，并按视频顺序标记帧号，得到若干携带有帧号的视频帧数据；

将帧号相同的视频帧数据作为视频对存储至任务队列；

根据空闲任务节点对应的个数从所述任务队列中获取对应个数的视频对；

在各个所述空闲任务节点中对所述视频对进行融合拼接，得到携带有对应帧号的目标帧数据；

按照各个所述目标帧数据对应的帧号进行帧数据排序，得到无人驾驶汽车的车辆驾驶监测数据；

根据所述车辆驾驶监测数据判断当前所要执行的驾驶动作；

若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作；

若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作；

所述在各个所述空闲任务节点中对所述视频对进行融合拼接，得到携带有对应帧号的目标帧数据，包括：

在各个所述空闲任务节点中将所述视频对对应的多个视频帧数据进行畸变校正以及坐标转换，得到多个待融合视频帧数据；

分别对所述多个待融合视频帧数据进行区域划分，并按照所述待融合视频帧数据对应的变形程度为各区域赋予对应的权重值；

根据所述权重值对所述多个待融合视频帧数据进行融合拼接，得到携带有对应帧号的目标帧数据。

2.如权利要求1所述的自动驾驶的视频数据处理方法，其特征在于，所述获取多路摄像头采集的若干视频数据之前，所述方法还包括：

在预设时钟的触发下与多路摄像头进行交互，得到各路摄像头对应的延迟信息；

所述获取多路摄像头采集的若干视频数据之后，所述方法还包括：

根据所述延迟信息对所述若干视频数据进行时间对齐，得到对齐后的若干视频数据。

3.如权利要求1所述的自动驾驶的视频数据处理方法，其特征在于，所述按照各个所述目标帧数据对应的帧号进行帧数据排序，得到无人驾驶汽车的车辆驾驶监测数据之后，所述方法还包括：

对所述车辆驾驶监测数据中的各帧目标帧数据进行目标识别，确定各帧目标帧数据对应的前景图像和背景图像；

对所述前景图像进行预处理，得到各帧目标帧数据对应的目标前景图像；

确定任意相邻两帧目标帧数据的背景图像之间的光流运动矩阵；

根据所述光流运动矩阵对所述相邻两帧目标帧数据的背景图像进行修正，得到目标背景图像；

根据所述目标前景图像和所述目标背景图像构成所述车辆驾驶监测数据中的各帧数据。

4.如权利要求3所述的自动驾驶的视频数据处理方法，其特征在于，所述对所述前景图像进行预处理，得到各帧目标帧数据对应的目标前景图像，包括：

对所述前景图像进行亮度调整，得到预处理后的前景图像；

获取所述前景图像对应的目标识别类型；

根据所述目标识别类型对应的预设色彩对所述预处理后的前景图像进行色彩加强，得到目标前景图像。

5.如权利要求3所述的自动驾驶的视频数据处理方法，其特征在于，所述接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作之前，所述方法还包括：

对所述车辆驾驶监测数据中各帧目标帧数据对应的目标背景图像进行分辨率降低处理，对所述车辆驾驶监测数据中各帧目标帧数据对应的目标前景图像进行标注信息跟踪处理，得到调整后的车辆驾驶监测数据；

对所述调整后的车辆驾驶监测数据进行压缩和加密处理，并发送至远程控制平台，以使所述远程控制平台展示无人驾驶汽车环境图像。

6.如权利要求1所述的自动驾驶的视频数据处理方法，其特征在于，所述根据所述权重值对所述多个待融合视频帧数据进行融合拼接，得到携带有对应帧号的目标帧数据，包括：

确定所述多个待融合视频帧数据对应的多个初始重叠区域，并确定各初始重叠区域内各个待融合视频帧数据对应的初始区域；

从各个待融合视频帧数据对应的初始区域中选择权重值最大的区域作为所述初始重叠区域对应的目标区域；

将多个所述目标区域进行拼接，得到目标重叠区域；

将所述多个待融合视频帧数据以及所述目标重叠区域进行拼接，得到携带有对应帧号的目标帧数据。

7.一种自动驾驶的视频数据处理装置，其特征在于，所述自动驾驶的视频数据处理装置包括：

获取模块，用于获取多路摄像头采集的若干视频数据；

分解模块，用于将各个所述视频数据分解为帧数据，并按视频顺序标记帧号，得到若干携带有帧号的视频帧数据；

存储模块，用于将帧号相同的视频帧数据作为视频对存储至任务队列；

任务处理模块，用于根据空闲任务节点对应的个数从所述任务队列中获取对应个数的视频对；

所述任务处理模块，还用于在各个所述空闲任务节点中对所述视频对进行融合拼接，得到携带有对应帧号的目标帧数据；

所述任务处理模块，还用于按照各个所述目标帧数据对应的帧号进行帧数据排序，得到无人驾驶汽车的车辆驾驶监测数据；

决策模块，用于根据所述车辆驾驶监测数据判断当前所要执行的驾驶动作；

无人驾驶模块，用于若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作；

远程驾驶模块，用于若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作；

所述所述任务处理模块，还用于在各个所述空闲任务节点中将所述视频对对应的多个视频帧数据进行畸变校正以及坐标转换，得到多个待融合视频帧数据；分别对所述多个待融合视频帧数据进行区域划分，并按照所述待融合视频帧数据对应的变形程度为各区域赋予对应的权重值；根据所述权重值对所述多个待融合视频帧数据进行融合拼接，得到携带有对应帧号的目标帧数据。

8.一种自动驾驶的视频数据处理设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的自动驾驶的视频数据处理程序，所述自动驾驶的视频数据处理程序配置为实现如权利要求1至6中任一项所述的自动驾驶的视频数据处理方法。

9.一种存储介质，其特征在于，所述存储介质上存储有自动驾驶的视频数据处理程序，所述自动驾驶的视频数据处理程序被处理器执行时实现如权利要求1至6任一项所述的自动驾驶的视频数据处理方法。