CN115063969A - 数据处理方法、设备、介质及路侧协同设备、系统 - Google Patents

Abstract

本申请实施例提供数据处理方法、设备、介质及路侧协同设备、系统。其中，该方法包括：控制多个路侧装置执行路侧数据采集操作；对所述多个路侧装置提供的路侧数据进行数据预处理，得到协同数据；基于所述协同数据执行边缘计算处理，以便基于边缘计算处理结果执行协同任务。本申请中将多个路侧装置与边缘计算模块集成为一个整体，多个路侧装置所采集得到的大量路侧数据也可以直接传递给边缘计算模块，进而由边缘计算模块执行对大量路侧数据的边缘计算处理，不再需要经过编解码、网络传输等环节，节省了部分数据处理以及数据传输的时间，能够有效提高数据处理效率，从而能够有效提高路侧协同设备的响应速度。

Description

数据处理方法、设备、介质及路侧协同设备、系统

技术领域

本申请涉及计算机技术领域，尤其涉及数据处理方法、设备、介质及路侧协同设备、系统。

背景技术

随着车路协同技术的发展，对数据采集的丰富性及路侧协同设备的数据处理及时效果也具有更多的要求。

在现有技术当中，为了使得路侧协同设备能够获得丰富多样的数据信息，通常会配置有各种各样的路侧装置，比如，用于进行视频图像采集的摄像头、用于感知车辆高分辨率信息的激光雷达等等。在实际应用中，路侧装置通常是利用具有某种完备功能的装置，这些路侧装置采集有大量待处理的路侧数据，一般路侧装置不具有大量数据的处理能力，因此通常将这些路侧数据发送给云端服务器进行数据处理。然而，路侧装置需要将路侧数据经过编码、网络传输后才能被云端服务器接收，云端服务器还要经过解码才能够对路侧数据做进一步数据处理。上述各个环节都需要占用一定的时间，数据处理慢，实时性效果不佳。因此，需要一种能够提高数据处理效率的方案。

发明内容

为解决或改善现有技术中存在的问题，本申请各实施例提供了数据处理方法、设备、介质及路侧协同设备、系统。

第一方面，在本申请的一个实施例中，提供了一种数据处理方法。该方法包括：

控制多个路侧装置执行路侧数据采集操作；

对所述多个路侧装置提供的路侧数据进行数据预处理，得到协同数据；

基于所述协同数据执行边缘计算处理，以便基于边缘计算处理结果执行协同任务。

第二方面，在本申请的一个实施例中，提供了一种路侧协同设备。该路侧协同设备中包含集成为一体的：边缘计算模块，以及与所述边缘计算模块连接的多个路侧装置；

所述边缘计算模块，用于控制多个路侧装置执行采集操作，对通过多个路侧装置提供到路侧数据预处理得到协同数据，对所述协同数据进行边缘计算处理，以便基于边缘计算处理结果执行协同任务；

所述多个路侧装置，用于根据所述边缘计算模块发出的采集指令采集路侧数据，并将路侧数据发送给所述边缘计算模块。

第三方面，在本申请的一个实施例中，提供了一种路侧协同系统，所述系统包括：

至少一个路侧协同设备和云服务器；其中，

所述路侧协同设备中包含集成为一体的：边缘计算模块，以及与所述边缘计算模块连接的多个路侧装置；用于控制多个路侧装置执行路侧数据采集操作；对所述多个路侧装置提供的路侧数据进行数据预处理，得到协同数据；基于所述协同数据执行边缘计算处理，以便基于边缘计算处理结果执行协同任务；

所述云服务器，用于接收所述路侧协同设备提供的边缘计算处理结果，以便基于所述边缘计算处理结果协同任务。

第四方面，在本申请的一个实施例中，提供了一种电子设备，包括存储器及处理器；其中，

所述存储器，用于存储程序；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于实现第一方面所述的一种数据处理方法。

第五方面，在本申请的一个实施例中，提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如第一方面所述的一种数据处理方法。

本申请实施例提供的技术方案中，为了能够更加全面的获取到各种路侧相关信息，通常会利用多种路侧装置(比如，摄像头、雷达等)进行相关路侧数据的采集。在本方案中，将具有大算力的边缘计算模块与多个路侧装置集成为一体化结构，可以有边缘计算模块对多个路侧装置的工作状态进行控制。多个路侧装置所采集得到的大量路侧数据也可以直接传递给边缘计算模块，进而由边缘计算模块执行对大量路侧数据的边缘计算处理，不再需要经过编解码、网络传输等环节，节省了部分数据处理以及数据传输的时间，能够有效提高数据处理效率，从而能够有效提高路侧协同设备的响应速度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例举例说明常规路侧系统的结构示意图；

图2为本申请实施例提供的路侧协同设备的结构示意图；

图3为本申请实施例举例说明的视频数据处理的示意图；

图4为本申请实施例提供的数据处理方法的流程示意图；

图5为本申请实施例提供的一种锁存授时的结构示意图；

图6为本申请实施例举例说明的触发与图像对齐过程示意图；

图7为本申请实施例提供的一种数据处理装置的结构示意图；

图8为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

在本申请的说明书、权利要求书及上述附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。此外，下文描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

随着车路协同技术的发展，所采集的数据信息的类型越来越丰富多样。对于计算芯片的后续处理来说，所需要耗费的算力也越来越大。如图1为本申请实施例举例说明常规路侧系统的结构示意图。如图1所示，在常规路侧设备中，根据需要选择摄像机、毫米波雷达、激光雷达、红外传感器等中至少一个作为路侧装置。利用这些路侧装置，能够获取到大量路侧数据。以路侧装置为摄像机为例进行举例说明。利用摄像机持续进行视频拍摄，按照预设频率持续采集图像。若需要进行多视角图像采集，则会在不同的路侧立杆或者路侧立杆的不同位置分别布置摄像机同时进行图像信息采集，而后对采集到的图像信息进行编码处理、图像传输、解码处理等等。数据处理过程繁琐，耗时较长，难以满足路侧协同应用场景中对大量路侧数据的快速响应的需求。因此，需要一种能够满足路侧协同场景中满足对路侧数据进行快速、高效处理的方案。

在本申请技术方案中，具体工作过程，将在下述实施例中说明。

如图2为本申请实施例提供的路侧协同设备的结构示意图。从图2中可以看到，所述路侧协同设备中包含集成为一体的：边缘计算模块1，以及与边缘计算模块1连接的多个路侧装置2。所述边缘计算模块1，用于控制多个路侧装置2执行采集操作，对通过多个路侧装置2提供到路侧数据预处理得到协同数据，对所述协同数据进行边缘计算处理，以便基于边缘计算处理结果执行协同任务。多个路侧装置2，用于根据所述边缘计算模块1发出的采集指令采集路侧数据，并将路侧数据发送给所述边缘计算模块1。

所述路侧协同设备包括壳体3，所述边缘计算模块1集成在所述壳体3内，所述多个路侧装置2集成于所述壳体3上，且位于所述壳体1的不同位置，以使所述多个路侧装置2具有不同的感知视角和/或不同感知能力。

这里所说的边缘计算模块可以理解为具有大算力的边缘计算芯片以及存储器等，能够承担对大量路侧数据的计算处理能力。此外，该边缘计算模块还可以根据边缘计算结果直接对路侧设备(比如，红绿灯)进行控制，或者基于边缘计算结果生成控制策略，还可以将边缘计算结果或控制策略发送给附近的车辆，还可以发送给云服务器，以便云服务器基于接收到边缘计算结果或者对应的控制策略执行相应的协同任务。

从图2中可以看到，边缘计算模块1通过数据传输端口(比如，mipi接口)与多个路侧装置2进行连接。需要说明的是，路侧装置2可以是雷达、摄像头、红外传感器等。为了便于理解，以路侧装置为摄像头为例进行说明。

例如，如图3为本申请实施例举例说明的视频数据处理的示意图。将多个摄像头布置在壳体3的不同位置，朝向不同方向。在同一个方向上还可以同时布置多个具有不同感知能力的摄像头，比如，可以布置一个广角摄像头和一个大景深的摄像头，或者，可以布置一个RGB摄像头和一个深度摄像头，从而能够针对相同方向采集到不同的图像数据，以便满足后续基于采集到的图像数据的边缘计算处理需求。

从图2中可以看到，多个摄像头与边缘计算模块直接连接并一体封装在图3所示的路侧协同设备当中，成为具有大算力的边缘计算模块与多个路侧装置集成为一体化结构。当有图像采集需求的时候，由边缘计算模块发出相应的采集指令(比如，曝光指令)，控制多个摄像头进行图像采集。由于多个摄像头的工作都是受到同一个边缘计算模块控制的，多个摄像头具有统一的采集频率。也就意味着，多个摄像头在相同时刻进行图像采集。在后续进行图像的对齐处理、融合处理的时候，可以不再对不同摄像头的图像进行噪声图像的过滤以及查找到匹配的时间戳后才进行对齐等繁琐操作。简化图像数据的处理流程，能够有效提高数据处理效率。

此外，由于摄像头直接受边缘计算模块控制，而且，摄像头采集到的图像数据也是直接给边缘计算模块进行计算处理的，不需要对图像数据进行编码操作、解码操作，也不需要将编码后的图像数据从摄像机传输给边缘计算模块。省去了编解码以及传输的时间，尤其是当路侧协同应用场景中需要快速响应、并且频繁的进行大量图像数据处理的时候，能够显著提升数据处理速度和效率。

在实际应用中，同一个路侧协同设备中，同时集成多个路侧装置，这些路侧装置用于针对不同方向进行不同视角的图像采集，从而能够更加全面的获取到当前道路状况信息。这些多个摄像头，可能具有完全相同的感知能力，也可能具有不同感知能力。这里所说的感知能力，可以理解为摄像头具有的参数，比如，广角大小、景深大小、焦距范围等等。不同摄像头具有不同的图像采集能力，适用于不同的采集场景。

因此，在对多个摄像头进行设置的时候，可以将多个具有相同感知能力的摄像头布置在不用视角，并在同一视角布置多种不同感知能力的摄像头。从而能够获得大范围、多类型图像数据。这些图像数据都将直接发送个边缘计算信息，不需要进行编解码等繁琐操作，方便后续边缘计算模块的精准图像识别。虽然摄像头数量和种类比较多，但是由于这些摄像头都是受边缘计算模块统一控制曝光，因此，不需要进行图像数据的对齐等繁琐操作，能够有效提高对大量图像数据的处理效率。需要说明的是，这里所说的多个摄像头在路侧协同设备中的布局位置关系仅作为举例说明，并不构成对本申请技术方案的限制，用户可以根据自己的实际应用需求进行相应调整。

在本申请的一个或者多个实施例中，该装置还包括：雷达装置。所述边缘计算模块，用于根据预设采集频率或者获取到的触发信号，生成采集指令，以便通过雷达装置执行路侧数据的采集操作；基于通过所述雷达装置采集到的雷达数据与所述图像数据进行对齐融合处理并执行边缘计算处理。

在实际应用中，可以根据需要在路侧协同设备中集成其他路侧装置，比如，雷达路侧装置(例如，激光雷达、超声波雷达、毫米波雷达等等)、红外路侧装置等等。这些被集成的其他路侧装置，也是受边缘计算模块控制，当边缘计算模块发送触发指令的情况下，这些路侧装置将执行感知操作，采集对应的路侧数据(比如雷达数据)。采集到的这些路侧数据将与图像数据一起直接提供给边缘计算模块，进而有边缘计算设备进行相应的对齐融合处理，并进行边缘计算。

需要说明的是，在路侧协同设备当中集成有多种不同类型的路侧装置(比如，摄像头、雷达等)，这些不同类型路侧装置统一按照边缘计算模块的控制执行采集操作，从而确保所采集到的各种路侧数据都是同一时间戳的路侧数据。在进行多种路侧数据融合处理的时候，由于这里路侧数据都是基于同一个采集指令所采集到的数据，这些路侧数据具有很好的时间一致性，不再需要对这些采集到的路侧数据进行去噪处理以及查找各自对应时间戳进行路侧数据对齐等繁琐操作。满足多样化路侧数据采集的同时，能够有效提升对大量、多种路侧数据的数据处理效率。此外，由于路侧数据不需要进行网络传输，在本地进行边缘计算处理，能够减少网络带宽占用，同时还能提高路侧数据处理安全效果。

如图4为本申请实施例提供的数据处理方法的流程示意图。该数据处理方法的执行主体可以是路侧协同设备。如图4所示，该数据处理方法包括如下步骤：

401：控制多个路侧装置执行路侧数据采集操作。

402：对所述多个路侧装置提供的路侧数据进行数据预处理，得到协同数据。

403：基于所述协同数据执行边缘计算处理，以便基于边缘计算处理结果执行协同任务。

如前文所述各实施例可知，在将多个路侧装置与边缘计算模块集成到一个设备当中后，边缘计算模块能够直接控制多个路侧装置的采集操作。比如，以路侧装置为摄像头为例，边缘计算模块可以向多个路侧摄像头发送采集指令，进而多个路侧摄像头基于采集指令进行执行路侧数据采集。不同于现有技术当中各个摄像机根据自己设定拍摄参数(比如，图像采集频率)独立执行图像采集操作，在本申请实施例中，各个摄像头则是由边缘计算模块进行控制，这样所有的摄像头都在同一时刻执行采集操作，获取具有相同时间戳的路侧数据。利用上述方案，不用考虑各个路侧装置是否具有相同的标准时间、也不同考虑是否具有相同的图像采集频率等，更不需要对图像数据进行繁琐的编解码、去噪(这里所说的去噪可以理解为传统路侧协同系统中各个摄像机独立工作，分别具有自己的采集频率、周期，也就意味着各个摄像机所得到的图像的时间一致性不好，有的图像可能无法找到与其具有相同时间戳的其他图像，这部分图像则为噪声图像，需要对其进行去噪处理)等复杂图像处理工作，而是可以直接对不同摄像头所采集到的路侧数据进行数据融合处理，能够有效提高数据处理效率。此外，由于路侧数据不再需要通过网络发送到云服务器，而是有本地边缘计算模块进行处理，能够有效提高路侧数据处理的安全防护效果。

这里所说的摄像头采集到的路侧数据可以理解为摄像头采集到的原始音视频数据，这些数据又称为音视频裸数据，直接从数据源(摄像头、麦克风等)采集且未经处理的数据。

在得到路侧数据之后，需要做基本处理，比如图像信号处理(Image SignalProcess，ISP)。具体来说，进行图像信号处理的方式如下：

利用图像传感器核心(image sensor core)执行视频图像采集，就是通过传感器(摄像头后面的感光元器件sensor)把拍到的东西(通过模拟信号表示)转化成处理器(比如，边缘计算模块)能够识别、处理的数字信号，此时的数字信号rawdata是视频流，格式为rawRGB。通过上述步骤完成了对路侧数据的模数转换。

在得到数字信号形式的路侧数据后，进一步对数字信号进行调优处理，包括：线性纠正、噪声去除、黑电平矫正、坏点去除、颜色插补、Gamma矫正、RGB2YUV转换、主动白平衡处理、主动曝光控制等等。

在完成ISP处理后，可以得到所需的图像数据。当然，在有的应用场景中，可能还需要进行格式转换，比如，将YUV格式的图像数据转换为BGR格式，在完成格式转换后对图像数据进行边缘计算处理。

在本申请的一个或者多个实施例中，所述控制多个路侧装置执行路侧数据采集操作，包括：根据预设采集频率或获取到的触发信号，生成用于控制所述多个路侧装置采集操作的采集指令；控制所述多个路侧装置基于所述采集指令中包含的控制参数执行路侧数据采集操作。

在实际应用中，可以为边缘计算模块预设采集频率，按照既定频率周期性向多个路侧装置发送采集指令。进而，多个路侧装置同时执行路侧数据的采集动作。通过这种方式所得到的路侧数据的时间戳一致性较好例如，通过摄像头采集到图像数据，没有多余帧的图像数据，不需要进行繁琐的去噪、筛选等处理，能够快速完成图像数据对齐工作，为后续边缘计算提供优质数据基础。

此外，边缘计算模块还可以根据其他设备(比如，公路地下埋藏的车辆感应线圈设备)提供的触发信号，进而有边缘计算设备响应于该触发信号而发送给多个路侧装置，以便控制多个路侧装置进行路侧数据的采集。

需要说明的是，该多个路侧装置是受边缘计算模块控制的。因此，路侧装置执行感知操作的相关参数(比如，曝光参数等)都是由边缘计算模块提供的。例如，当边缘计算模块通过气象数据和/或光线传感器，感知到当前时刻光线较好的时候，则会根据摄像头性能对曝光参数做适应性调整，比如，降低曝光时间。再例如，上一刻获取到的图像数据不佳，无法准确识别出图像中的内容，则可以由边缘计算模块根据需求对曝光参数等进行调整，并基于调整后的曝光参数控制多个路侧装置重新进行图像采集。在本申请实施例中，优选的是在进行路侧数据的补充采集的时候，都会由边缘计算模块控制多个路侧装置同时进行路侧数据的补充采集，能够有效简化后期路侧数据对齐的计算量和计算时间，进而提升路侧数据处理效率。

在本申请的一个或者多个实施例中，所述对所述多个路侧装置提供的路侧数据进行数据预处理，得到协同数据，包括：确定所述采集指令的采集时间戳；基于同一所述采集时间戳对所述路侧数据进行融合处理，得到所述协同数据。若路侧设备为摄像头，基于摄像头提供的路侧数据进行处理得到协同数据的方式包括：确定所述曝光指令的曝光时间戳；基于同一所述曝光时间戳对所述原始路侧数据进行融合处理，得到所述图像数据。

如前文所述可知，多个路侧装置都是受同一个边缘计算模块控制的。也就意味着，多个路侧装置所接收到的采集指令具有相同的采集时间戳，基于相同的采集时间戳所采集到的路侧数据具有较好的时间一致性，不需要再进行繁琐的筛选对齐操作。可以利用采集时间戳实现路侧数据对齐，直接将同一采集时间戳对应的路侧数据进行融合处理即可。

需要说明的是，在各个路侧装置进行路侧数据采集的时候，难免会有一些路侧数据质量不佳，因此，在进行融合处理之前，需要分别对每个路侧装置提供的路侧数据进行优化处理。比如，在路侧协同设备中包含有：朝向左侧的第一摄像头、朝向右侧的第二摄像头以及朝向前方的第三摄像头，其中，第三摄像头用于对补齐第一摄像头和第二摄像头的盲区。在利用第一摄像头、第二摄像头和第三摄像头进行图像采集，分别得到第一原始路侧数据、第二原始路侧数据和第三原始路侧数据。进而，分别对第一原始路侧数据、第二原始路侧数据和第三原始路侧数据进行优化处理，若发现第一摄像头时间ta时刻的图像数据质量不佳，则会一并放弃第二摄像头和第三摄像头ta时间戳对应的图像数据，进而对优化处理后的路侧数据进行融合得到协同数据。

当然，也可以选择基于多个路侧装置进行图像数据采集的时候生成的各自时间戳进行图像数据对齐处理。为了确保多个路侧装置的时间戳具有很好的一致性，可以采用两种授时方式，一种是利用GPS授时，另一种是利用边缘计算模块锁存授时。该方式对路侧装置进行授时的时候，不需要依赖GPS，即便GPS信号不佳时也能够确保边缘计算模块与路侧装置保持相同的时间。具体来说：确定所述路侧数据的执行时间戳；基于所述路侧数据对应的执行时间戳对所述多个路侧装置提供的所述路侧数据进行融合处理，得到所述协同数据。

下面将结合具体实施例对锁存授时进行具体说明。如图5为本申请实施例提供的一种锁存授时的结构示意图。从图5中可以看到，边缘计算模块与复杂可编程逻辑器件(Complex Programmable Logic Device，CPLD)芯片除了通过通信串口、芯片透传串口连接外，还通过GPIO(或者S232、RS485)接口连接。利用GPIO接口可以进行时钟同步。具体来说：

通过cpu对cpld触发信号GPIO的感知记录锁存时间来进行cpu和设备之间的时间同步，不受GPS信号的影响，并且当系统有要求时，也可以通过自定义的时钟源对cpu授时，完成cpu和多个路侧装置之间的时间同步。以便CPU(也就是上述实施例中所说的边缘计算模块)向多个路侧装置发送采集指令后，所得到的多个路侧装置对应的路侧数据具有相同的标准时间。需要说明的是，由于各个路侧装置所采集到的路侧数据都具有相同的采集时间戳和执行采集动作时的执行时间戳，因此，也就不需要对各个路侧装置所采集到的图像数据进行筛选，而是可以直接基于执行时间戳进行路侧数据的对齐和融合处理。相较于传统对路侧数据筛选等繁琐处理方式来说，通过边缘计算模块统一控制触发，能够有效提高对路侧数据的处理效率。

为了便于理解，下面将结合附图以路侧装置是摄像头为例具体举例说明。如图6为本申请实施例举例说明的触发与图像对齐过程示意图。从图6中可以看到，边缘计算模块根据预设采集频率，在t1、t2、t3……时刻分别进行图像采集。从图6中可以看到，设备1和设备2是同步触发采集路侧数据(比如，图像数据)的。传统方案中则是由设备1和设备2各自分别按照自己的采集频率进行图像采集，然后剔除冗余图像数据(比如，找不到具有相同时间戳的其他图像数据)之后，才可以进行图像数据的对齐。因此，采用本申请技术方案，能够获得具有更好一致性的路侧数据，在对图像数据进行对齐处理时也更加简单、准确、高效。

在本申请的一个或者多个实施例中，所述基于所述协同数据执行边缘计算处理，以便基于边缘计算处理结果执行协同任务，包括：对所述协同数据进行数据分析，确定数据分析结果作为所述边缘计算处理结果；基于所述边缘计算处理结果控制路侧装置执行协同任务。

这里所说的协同数据是有边缘计算模块进行数据预处理后得到的。进而，再由边缘计算模块对协同数据进行进一步分析，该分析过程计算量通常会比较大，比如，会利用训练好的机器学习模型进行分析，得到准确的数据分析结果，也就是边缘计算处理结果。边缘计算模块会根据边缘计算处理结果对路侧装置做出相应控制，比如，控制交通信号灯的状态、时间。

例如，特种车辆要从有交通信号灯的路口通过，当路侧装置捕捉到该特种车辆信息(比如，通过摄像头识别到车牌号或者车辆图像)，通过边缘计算模块识别到该特征车辆，并根据雷达数据测试车辆速度，以便根据车辆速度预估车辆抵达交通信号灯的时间。通过上述复杂的边缘计算处理，使得当该特种车辆抵达信号灯所在位置时，控制对应的交通信号灯为绿灯(比如，可以延长绿灯显示时间，或者控制红灯切换为绿灯)，实现不停车、不减速通过。通过上述方式，对路侧数据处理速度更快、响应更及时。

在本申请的一个或者多个实施例中，所述基于所述协同数据执行边缘计算处理，以便基于边缘计算处理结果执行协同任务，包括：对所述协同数据进行数据分析，确定数据分析结果作为所述边缘计算处理结果；将所述边缘计算处理结果发送给执行协同任务的车辆设备。

在车路协同应用场景中，路侧协同设备靠近数据采集终端(比如，摄像头、雷达等)，同时也靠近受众终端(比如，信号灯、车辆)，本方案中数据采集、数据分析、边缘计算都是在本地设备中完成，能够确保受众终端及时得到边缘计算处理结果，以便准确、快速执行协同任务。

例如，车辆行驶到路口时一般要减速，防止与行人或非机动车碰撞。但由于驾驶者的视觉盲区或行人不守交规现象的存在，路口事故仍然常常发生。可以利用本申请提出的路侧协同设备实时数据采集，边缘计算模块基于路侧装置实时提供的行人的实时位置和信号灯的状态在本地进行计算，将红灯或靠近车道的行人信息发送给相关车辆，协助驾驶者做出减速决策。本方案中，从数据的采集、处理、分析、计算都是在本地路侧协同设备中完成的，不需要进行繁琐的数据编解码、数据网络传输等耗时操作，能够有效提高路侧协同设备响应速度，满足车路协同应用场景中对快速响应需求。

在本申请的一个或者多个实施例中，还包括：将所述边缘计算处理结果发送给云服务器。

例如，若最新得到的边缘计算处理结果是某个路口(比如，弯道或者隧道)发生了交通事故，若不能及时反应，通知远方即将到达的车辆，可能会引发更多事故发生。因此，可以由路侧协同设备将边缘计算处理结果(事故发生的时间、地点、受影响的车道等具体信息)发送到云端，以便云端及时通知即将前往事故地点的车辆改变车道、路线，或者减速慢行。

在本申请的一个或者多个实施例中，所述路侧装置还包括：摄像头和/或雷达。所述对所述多个路侧装置提供的路侧数据进行数据预处理，得到协同数据，包括：获取多个所述摄像头提供的摄像头路侧数据；获取多个所述雷达提供的雷达路侧数据；对所述摄像头路侧数据和所述雷达路侧数据进行对齐融合处理，得到所述协同数据。

以路侧装置是摄像头为例，所述基于所述图像数据进行边缘计算处理，包括：对所述图像数据进行数据分析，确定所述图像数据中包含的关键帧和/或图像内容；将所述关键帧和/或所述图像内容发送至所述云服务器。

在实际应用中，边缘计算模块具有较强的数据计算处理能力，为了提升数据处理效率、缩短数据处理时间。尤其是在车路协同应用场景中，利用上述方案，使得路侧设备能够及时快速的为用户提供所需的数据处理结果。具体来说，可以利用边缘计算模块对完成对齐操作后的图像数据进行数据分析，比如，边缘计算模块经过大量计算后，从图像数据中确定关键帧，或者对某个图像内容进行识别。进而，将边缘计算处理结果(所找到的关键帧和/或识别到的图像内容)发送给云服务器。这样，云服务器只需要根据接收到的结果做出全局决策。从而实现从路侧装置从路侧数据采集、传输、处理等多个环节的效率提升。并且，相较于传统方案中将大量路侧数据传输给云端服务器来说，对边缘计算处理结果的传输量更少，能够有效减少网络带宽的占用，进而提升数据传输效率。

除了前文所说的摄像头之外，路侧装置还可以是雷达装置，比如，激光雷达装置、超声波雷达装置等等。需要说明的是，这些路侧装置都是与边缘计算模块直接连接的，不需要对采集到的路侧数据进行编解码、网络传输等复杂的处理过程，而是能够直接边缘计算模块进行处理的。此外，多种路侧装置，都是受到同一个边缘计算模块控制并进行路侧数据采集的。多种路侧装置的路侧数据具有很好一致性，方便进行路侧数据的对齐处理，能够有效提高数据处理速度。

基于同样的思路，本申请实施例还提供一种数据处理装置。如图7为本申请实施例提供的一种数据处理装置的结构示意图。该数据处理装置包括：

控制模块71，用于控制多个路侧装置执行路侧数据采集操作。

处理模块72，用于对所述多个路侧装置提供的路侧数据进行数据预处理，得到协同数据。

执行模块73，用于基于所述协同数据执行边缘计算处理，以便基于边缘计算处理结果执行协同任务。

可选地，控制模块71还用于根据预设采集频率或获取到的触发信号，生成用于控制所述多个路侧装置采集操作的采集指令；

控制所述多个路侧装置基于所述采集指令中包含的控制参数执行路侧数据采集操作。

可选地，处理模块72还用于确定所述采集指令的采集时间戳；

基于同一所述采集时间戳对所述路侧数据进行融合处理，得到所述协同数据。

可选地，处理模块72还用于确定所述路侧数据的执行时间戳；

基于所述路侧数据对应的执行时间戳对所述多个路侧装置提供的所述路侧数据进行融合处理，得到所述协同数据。

可选地，执行模块73还用于对所述协同数据进行数据分析，确定数据分析结果作为所述边缘计算处理结果；

基于所述边缘计算处理结果控制路侧装置执行协同任务。

可选地，执行模块73还用于对所述协同数据进行数据分析，确定数据分析结果作为所述边缘计算处理结果；

将所述边缘计算处理结果发送给执行协同任务的车辆设备。

可选地，还包括发送模块74，用于将所述边缘计算处理结果发送给云服务器。

可选地，所述路侧装置包括：摄像头。处理模块72还用于获取多个所述摄像头提供的摄像头路侧数据；

对多个所述摄像头提供的摄像头路侧数据进行对齐融合处理，得到所述协同数据。

可选地，所述路侧装置还包括：雷达。处理模块72还用于获取多个所述雷达提供的雷达路侧数据；

对所述摄像头路侧数据和所述雷达路侧数据进行对齐融合处理，得到所述协同数据。

本申请一个实施例还提供一种电子设备。该电子设备为计算单元中主节点电子设备。如图8为本申请实施例提供的一种电子设备的结构示意图。该电子设备包括存储器801、处理器802及通信组件803；其中，

所述存储器801，用于存储程序；

所述处理器802，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：

控制多个路侧装置执行路侧数据采集操作；

对所述多个路侧装置提供的路侧数据进行数据预处理，得到协同数据；

基于所述协同数据执行边缘计算处理，以便基于边缘计算处理结果执行协同任务。

上述存储器801可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

进一步地，本实施例中的所述处理器802可以具体是：可编程交换处理芯片，该可编程交换处理芯片中配置有数据复制引擎，能对接收到的数据进行复制。

上述处理器802在执行存储器中的程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面各实施例的描述。进一步，如图8所示，电子设备还包括：电源组件804等其它组件。

本申请实施例还提供一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行图4对应实施例所述的方法。

本申请实施例还提供一种计算机程序产品，包括计算机程序/指令，当所述计算机程序/指令被处理器执行时，致使所述处理器能够实现图4对应实施例所述的方法。

基于上述实施例，为了能够更加全面的获取到各种路侧相关信息，通常会利用多种路侧装置(比如，摄像头、雷达等)进行相关路侧数据的采集。在本方案中，将具有大算力的边缘计算模块与多个路侧装置集成为一体化结构，可以有边缘计算模块对多个路侧装置的工作状态进行控制。多个路侧装置所采集得到的大量路侧数据也可以直接传递给边缘计算模块，进而由边缘计算模块执行对大量路侧数据的边缘计算处理，不再需要经过编解码、网络传输等环节，节省了部分数据处理以及数据传输的时间，能够有效提高数据处理效率，从而能够有效提高路侧协同设备的响应速度。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (14)

1.一种数据处理方法，其特征在于，所述方法包括：

控制多个路侧装置执行路侧数据采集操作；

对所述多个路侧装置提供的路侧数据进行数据预处理，得到协同数据；

基于所述协同数据执行边缘计算处理，以便基于边缘计算处理结果执行协同任务。

2.根据权利要求1所述的方法，其特征在于，所述控制多个路侧装置执行路侧数据采集操作，包括：

根据预设采集频率或获取到的触发信号，生成用于控制所述多个路侧装置采集操作的采集指令；

控制所述多个路侧装置基于所述采集指令中包含的控制参数执行路侧数据采集操作。

3.根据权利要求2所述的方法，其特征在于，所述对所述多个路侧装置提供的路侧数据进行数据预处理，得到协同数据，包括：

确定所述采集指令的采集时间戳；

基于同一所述采集时间戳对所述路侧数据进行融合处理，得到所述协同数据。

4.根据权利要求2所述的方法，其特征在于，所述对所述多个路侧装置提供的路侧数据进行数据预处理，得到协同数据，包括：

确定所述路侧数据的执行时间戳；

基于所述路侧数据对应的执行时间戳对所述多个路侧装置提供的所述路侧数据进行融合处理，得到所述协同数据。

5.根据权利要求1所述的方法，其特征在于，所述基于所述协同数据执行边缘计算处理，以便基于边缘计算处理结果执行协同任务，包括：

对所述协同数据进行数据分析，确定数据分析结果作为所述边缘计算处理结果；

基于所述边缘计算处理结果控制路侧装置执行协同任务。

6.根据权利要求1所述的方法，其特征在于，所述基于所述协同数据执行边缘计算处理，以便基于边缘计算处理结果执行协同任务，包括：

对所述协同数据进行数据分析，确定数据分析结果作为所述边缘计算处理结果；

将所述边缘计算处理结果发送给执行协同任务的车辆设备。

7.根据权利要求1至6中任一项所述的方法，其特征在于，还包括：

将所述边缘计算处理结果发送给云服务器。

8.根据权利要求1所述的方法，其特征在于，所述路侧装置包括：摄像头；

所述对所述多个路侧装置提供的路侧数据进行数据预处理，得到协同数据，包括：

获取多个所述摄像头提供的摄像头路侧数据；

对多个所述摄像头提供的摄像头路侧数据进行对齐融合处理，得到所述协同数据。

9.根据权利要求8所述的方法，其特征在于，所述路侧装置还包括：雷达；

所述对所述多个路侧装置提供的路侧数据进行数据预处理，得到协同数据，包括：

获取多个所述雷达提供的雷达路侧数据；

对所述摄像头路侧数据和所述雷达路侧数据进行对齐融合处理，得到所述协同数据。

10.一种路侧协同设备，其特征在于，所述路侧协同设备中包含集成为一体的：边缘计算模块，以及与所述边缘计算模块连接的多个路侧装置；

所述边缘计算模块，用于控制多个路侧装置执行采集操作，对通过多个路侧装置提供到路侧数据预处理得到协同数据，对所述协同数据进行边缘计算处理，以便基于边缘计算处理结果执行协同任务；

所述多个路侧装置，用于根据所述边缘计算模块发出的采集指令采集路侧数据，并将路侧数据发送给所述边缘计算模块。

11.根据权利要求10所述的设备，其特征在于，所述路侧协同设备包括壳体；

所述边缘计算模块集成在所述壳体内，所述多个路侧装置集成于所述壳体上，且位于所述壳体的不同位置，以使所述多个路侧装置具有不同的感知视角和/或不同感知能力。

12.一种路侧协同系统，其特征在于，所述系统包括：至少一个路侧协同设备和云服务器；其中，

所述路侧协同设备中包含集成为一体的：边缘计算模块，以及与所述边缘计算模块连接的多个路侧装置；用于控制多个路侧装置执行路侧数据采集操作；对所述多个路侧装置提供的路侧数据进行数据预处理，得到协同数据；基于所述协同数据执行边缘计算处理，以便基于边缘计算处理结果执行协同任务；

所述云服务器，用于接收所述路侧协同设备提供的边缘计算处理结果，以便基于所述边缘计算处理结果协同任务。

13.一种电子设备，包括存储器及处理器；其中，

所述存储器，用于存储程序；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于实现上述权利要求1至9中任一项所述的方法。

14.一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至9中任一项所述的方法。

Images