CN114332786A - 数据处理方法及装置 - Google Patents

Abstract

本发明涉及智能交通技术领域，提供了一种数据处理方法、装置、计算机可读存储介质及电子设备，在实施例中，方法包括：基于预先存储的多个传感器各自的姿态角进行空间融合，确定当前的关联帧集中各帧的感知结果；基于预先存储的多个传感器之间的采样时差对当前和之前的多个关联帧集合进行时间融合，确定时间融合结果；基于时间融合结果进行目标融合，确定目标融合结果；确定用于指示多个传感器的若干个重叠区域的位置的重叠区域位置数据；基于目标融合结果、时间融合结果和重叠区域位置数据，修正多个传感器中部分或全部的姿态角和/或部分或全部之间的采样时差。通过本申请实施例的技术方案，可提高多个传感器的时间和空间标定的准确性。

Description

数据处理方法及装置

技术领域

本发明涉及智能交通技术领域，尤其涉及数据处理方法及装置。

背景技术

随着社会经济的快速发展，智能交通作为重要手段实现道路安全监控。然而道路交通环境的日益复杂，对道路交通管理的要求也越来越高，现有的道路管理手段已不能满足智能管理和多样化出行服务的需求。为实现道路精细化管控，迫切需要多源交通信息全息感知和高质量交通数据提取技术。

相关技术中，虽然可以获取到多源的交通信息，并对不同的传感器的时间和空间进行标定。但在任意的传感器运行时间较长后，其就会产生漂移，进而导致后续传感器感知到的数据时空不同步的问题。

发明内容

本发明提供了一种数据处理方法、装置、计算机可读存储介质及电子设备，可实现对多个的传感器的时间和空间标定的修正，有效解决了在传感器运行一段时间后不同的传感器感知到的数据时空不同步的问题，提升了后续数据融合的准确性。另外，由于考虑多个传感器的关联帧集，因此可以灵活的增加或删除传感器的数据。

第一方面，本发明提供了一种数据处理方法，预先存储多个传感器各自的姿态角和所述多个传感器之间的采样时差，所述多个传感器中的部分传感器的探测区域重叠，所述方法还包括：

基于所述多个传感器各自的姿态角，对当前的关联帧集进行空间融合，确定所述关联帧集中各帧的感知结果；其中，所述关联帧集表示相同时段内所述多个传感器各自采集的帧；

基于所述多个传感器之间的采样时差，对当前和之前的多个关联帧集合进行时间融合，确定时间融合结果；其中，所述时间融合结果包括所述多个关联帧集合中各帧的采样时刻和感知结果；

基于所述时间融合结果进行目标融合，确定目标融合结果；

确定重叠区域位置数据；其中，所述重叠区域位置数据指示了所述多个传感器的至少一个重叠区域的位置；

基于所述目标融合结果、所述时间融合结果和所述重叠区域位置数据，修正所述多个传感器中部分或全部的姿态角和/或修正所述多个传感器中部分或全部之间的采样时差。

第二方面，本发明提供了一种数据处理装置，包括感知模块、时间融合模块、目标融合模块和标定修正模块，所述感知模块预先存储多个传感器各自的姿态角，所述时间融合模块预先存储所述多个传感器之间的采样时差，包括：

感知模块，用于基于所述多个传感器各自的姿态角，对当前的关联帧集进行空间融合，确定所述关联帧集中各帧的感知结果；其中，所述关联帧集表示相同时段内所述多个传感器各自采集的帧；

时间融合模块，用于基于所述多个传感器之间的采样时差，对当前和之前的多个关联帧集合进行时间融合，确定时间融合结果；其中，所述时间融合结果包括所述多个关联帧集合中各帧的采样时刻和感知结果；

目标融合模块，用于基于所述时间融合结果进行目标融合，确定目标融合结果；

位置确定模块，用于确定重叠区域位置数据；其中，所述重叠区域位置数据指示了所述多个传感器的至少一个重叠区域的位置；

修正模块，用于基于所述目标融合结果、所述时间融合结果和所述重叠区域位置数据，修正所述感知模块中的所述多个传感器中部分或全部的姿态角和/或修正所述时间融合模块中的多个传感器中部分或全部之间的采样时差。

第三方面，本发明提供了一种计算机可读存储介质，包括执行指令，当电子设备的处理器执行所述执行指令时，所述处理器执行如第一方面中任一所述的方法。

第四方面，本发明提供了一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如第一方面中任一所述的方法。

本发明提供了一种数据处理方法、装置、计算机可读存储介质及电子设备，该方法通过预先存储的多个传感器各自的姿态角进行空间融合，确定当前的关联帧集中各帧的感知结果；其中，关联帧集表示相同时段内多个传感器各自采集的帧，多个传感器中部分传感器的探测区域重叠；然后，基于预先存储的多个传感器之间的采样时差进行时间融合，确定时间融合结果；其中，时间融合结果包括当前和之前的多个关联帧集合中各帧的采样时刻和感知结果；然后，基于时间融合结果进行目标融合，确定目标融合结果；然后，确定重叠区域位置数据；其中，重叠区域位置数据指示了多个传感器的若干个重叠区域的位置；之后，基于目标融合结果、时间融合结果和重叠区域位置数据，修正多个传感器中部分或全部的姿态角和/或修正多个传感器中部分或全部之间的采样时差。综上所述，通过本发明的技术方案，可实现对不同的传感器的时间和空间标定的修正，有效解决了在传感器运行一段时间后不同的传感器感知到的数据时空不同步的问题，提升了后续数据融合的准确性。另外，由于考虑多个传感器的关联帧集，因此可以灵活的增加或删除传感器，从而可以灵活的实现多个传感器的时间和空间标定。

上述的非惯用的优选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

为了更清楚地说明本发明实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种数据处理方法的流程示意图；

图2为本发明实施例提供的传感器的横摆角的示意图；

图3为本发明实施例提供的传感器探测的目标物的横摆角的示意图；

图4为本发明实施例提供的多个传感器的位置示意图；

图5为本发明实施例提供的不同传感器探测的相同目标物的位置示意图；

图6为本发明实施例提供的一种数据处理装置的结构示意图；

图7为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明实施例提供的一种方法。本发明实施例所提供的方法可应用在电子设备上，具体可以应用于服务器或一般计算机上。本实施例中，方法具体包括以下步骤：

如图1，本发明实施例提供了一种数据处理方法，包括如下各个步骤：

步骤101、基于多个传感器各自的姿态角，对当前的关联帧集进行空间融合，确定关联帧集中各帧的感知结果；其中，关联帧集表示相同时段内多个传感器各自采集的帧。

在一种可能的实现方式中，多个传感器各自的姿态角指示了最后一次进行空间标定后的多个传感器各自的姿态角。其中，姿态角指示了世界坐标系的正方向为基准的安装角和探测角之和。探测角指示了传感器的探测范围，安装角指示了探测角靠近世界坐标系的正方向的边线和世界坐标系的正方向之间的角度。

需要说明的是，对于传感器来说，探测角是不会发生变化的，但是有传感器可能在使用过程中发生细微的移动，从而导致安装角发生变化。

在一个例子中，对于传感器来说，姿态角包括横摆角A和俯仰角B。如图2所示，横摆角A为安装横摆角a1和传感器的探测横摆角a2之和。俯仰角B和俯仰角A类同,俯仰角B为安装俯仰角b1和传感器的探测俯仰角b2之和。

作为一种可能的实现方式，对于多个传感器的各传感器采集的帧，该帧的感知结果包括若干个目标物各自在世界坐标系下的位置和与传感器之间的相对位置。其中，相对位置指示了目标物和传感器之间的位置关系。进一步，还可以包括目标物的多个静态特征，比如，车型，颜色，大小，所在车道等。需要说明的是，目标物为道路上的运动对象，通常为各种类型的车辆，比如，轿车，自行车、清扫车、货车等。

在一个例子中，电子设备预先存储有多个传感器各自在世界坐标系下的位置，则对于多个传感器的各传感器采集的帧，对该帧进行目标检测，且基于该传感器的姿态角确定检测出的目标物的相对位置，基于相对位置和该传感器预设的在世界坐标系下的位置，确定该目标物在世界坐标系下的位置。

需要说明的是，空间融合可以理解为将多个传感器各自探测的目标物的位置转换到相同坐标系下，比如世界坐标系下。

在一种可能的实现方式中，对多个传感器采集的帧进行帧同步，得到多个传感器的关联帧集合。

需要说明的是，帧同步可以理解为是指通过最近临匹配的方法找到与每一帧与基准传感器时间间隔最小的数据。示例地，确定多个传感器中的基准传感器，确定基准传感器最后采集的帧的采样时刻，通过最近临匹配的方法找到与该采样时刻差值最小的其他传感器采集的一帧，从而得到多个传感器各自在当前采集的帧。示例地，基准传感器可以理解为采样频率最大的传感器，或者，最迟感知到目标的传感器；对应的，多个传感器各自采集的帧可以理解为多个传感器最后采集的一帧，即当前帧。

需要说明的是，关联帧集合指示的时段的结束时刻为当前时刻，时长等于多个传感器中采样频率最大的传感器的采样时差，从而可以得到每个传感器采集的帧。在一些可能的情况，关联帧集合可以包括预设时段内的多个传感器采集的所有帧。具体需要结合实际情况确定，本实施例对此不做具体限定。应当理解的是，关联帧集合用于表示多个传感器当前探测的区域的情况。

作为一种可行的实现方式，多个传感器设置在一个龙门架上，多个传感器形成一个重叠区域。

作为另一种可行的实现方式，多个传感器设置在不同的龙门架上；其中，相邻的龙门架上的多个传感器各自的探测区域重叠形成重叠区域；或者，一个龙门架上多个传感器各自的探测区域重叠形成重叠区域。其中，重叠区域可以理解为多个传感器中重叠的连续的区域，不同重叠区域之间是不连续的。

示例地，如图4所示，传感器1、传感器2和传感器3各自的探测区域重叠形成重叠区域1。传感器4、传感器5、传感器6和传感器7各自的探测区域重叠形成重叠区域2。

步骤102、基于多个传感器之间的采样时差，对当前和之前的多个关联帧集合进行时间融合，确定时间融合结果；其中，时间融合结果包括多个关联帧集合中各帧的采样时刻和感知结果。

在一种可能的实现方式中，多个传感器之间的采样时差为最后一次时间标定后的不同传感器之间的采样时差。

在一个例子中，多个传感器之间的采样时差指示了多个传感器中的基准传感器分别与其他传感器之间的采样时刻之间的时差。

示例地，基准传感器可以为多个传感器中采样频率最大的传感器。

需要说明的是，时间融合可以理解为将多个传感器各自采集的多帧统一到同一时间戳，即基于多个传感器之间的采样时差对齐不同传感器的时间起点，从而实现时间统一。

在实际应用中，会缓存一段时间内的多个关键帧集合，比如，1秒。

步骤103、基于时间融合结果进行目标融合，确定目标融合结果。

目标融合指的是将不同传感器在不同采样时刻感知到的目标进行融合，确定可信度更高的目标检测结果。目标融合技术为现有技术，此次不做过多赘述。

作为一种可能的实现方式，目标融合结果包括若干个目标物在不同采样时刻各自在世界坐标系下的位置、与传感器之间的相对位置以及动态特征。其中，动态特征可以为是否运动，运动速度，加速度等。进一步，还可以包括目标物的多个静态特征，比如，车型，颜色，大小等。需要说明的是，目标物为道路上的运动对象，通常为各种类型的车辆，比如，轿车，自行车、清扫车、货车等。

作为一种可行的实现方式，电子设备获取目标路段的天气情况；基于天气情况、帧集中各帧各自的采样时刻和各自的感知结果进行目标融合，确定多个传感器的目标融合结果。

该实现方式中通过考虑天气情况，对不同传感器各自采集的帧进行筛选，从而确保目标融合结果的准确性。

步骤104、确定重叠区域位置数据；其中，重叠区域位置数据指示了多个传感器的至少一个重叠区域的位置。

重叠区域位置数据包括多个传感器的若干个重叠区域在世界坐标系下的位置。

作为一种可行的实现方式，电子设备基于多个传感器的传感器位置数据和多个传感器各自的姿态角，确定重叠区域位置数据。

传感器位置数据指示了多个传感器各自的位置，可以为多个传感器各自在世界坐标系下的位置，也可以为多个传感器之间的相对位置关系，优选世界坐标系下的位置。在实际应用中，人为向电子设备中输入多个传感器各自在世界坐标系的位置，从而使得电子设备存储多个传感器各自在世界坐标系的位置。

进一步的，基于多个传感器各自在世界坐标系下的位置，以及，多个传感器各自的姿态角，确定若干个重叠区域各自在世界坐标系下的位置，从而得到重叠区域位置数据。

若传感器的姿态角发生变化，则重叠区域的位置也可能会发生变化，因此，在实际应用中，需要基于传感器的姿态角实时的修正重叠区域的位置，即修正重叠区域位置数据。

步骤105、基于目标融合结果、时间融合结果和重叠区域位置数据，修正多个传感器中部分或全部的姿态角和/或修正多个传感器中部分或全部之间的采样时差。

本实施例中，通过目标融合结果和时间融合结果，修正多个传感器中的部分或全部的姿态角和/或多个传感器中部分或全部之间的采样时差，基于修正后的姿态角和/或采样时差处理多个传感器之后采集的帧，确保之后的目标融合的结果的准确性。

进一步，对于修正姿态角的传感器，基于该传感器的修正后的姿态角，对目标融合结果中该传感器探测的目标物的位置进行修正。

对于修正采样时差的多个传感器，基于这些传感器之间的采样时差，对目标融合结果中这些传感器感知的目标物的采样时刻进行修正。

作为一种可行的实现方式，电子设备具体可通过如下实现方式修正姿态角和采样时差：

基于目标融合结果和重叠区域位置数据，确定至少一个第一目标物和至少一个第二目标物；其中，第一目标物为至少一个重叠区域中任一区域内的静止或运动且满足低速运动条件的目标物，第二目标物为至少一个重叠区域中任一区域内运动且不满足低速运动条件的目标物；对于至少一个第一目标物的各目标物，基于时间融合结果中多个第一传感器各自感知到的第一目标物的位置，对多个第一传感器各自的姿态角进行修正；其中，多个第一传感器为多个传感器中在相同时段感知到第一目标物的多个传感器；基于至少一个第一目标物各自的修正后的多个第一传感器各自的姿态角，修正目标融合结果中的部分或全部目标物的位置；对于至少一个第二目标物的各目标物，基于修正后的目标融合结果中的多个第二传感器各自感知到第二目标物在不同采样时刻的位置，修正多个第二传感器之间的采样时差；其中，多个第二传感器为多个传感器中在相同时段感知到第二目标物的多个传感器。

在一个例子中，电子设备具体可通过如下实现方式确定第一目标物和/或第二目标物：

对于至少一个重叠区域的各区域，在基于重叠区域位置数据和目标融合结果确定重叠区域内存在至少一个目标物时，确定至少一个第一目标物和/或至少一个第二目标物。

其中，第一目标物为重叠区域内的静止或者以较低的速度行驶，优选静止。其中，较低的速度可以理解为步行速度或清扫车的速度，比如，5km/h。应该理解，在较低的速度行驶时传感器不容易发生漂移。因此，静止的或低速的目标物可以用于空间标定。需要说明的是，对于低速行驶的第一目标物，由于第一目标物匀速慢速行驶，因此第一目标物在不同采样时刻的位置之间的差值较小，可以认为是静止的。

进一步地，一个重叠区域确定一个第一目标物即可。第一目标物与重叠区域中第一目标物之外的其他目标物的距离大于预设值，或者，第一目标物为重叠区域内唯一的目标物，或者，第一目标物为重叠区域内的任一车道内唯一的目标物。

其中，第二目标物为重叠区域内的运动的目标物，通常以较高的速度行驶。

进一步地，一个重叠区域确定一个第二目标物即可。第二目标物与重叠区域中第二目标物之外的其他目标物的距离大于预设值，或者，第二目标物为重叠区域内唯一的目标物，或者，第二目标物为重叠区域内的任一车道内唯一的目标物。

示例地，如图4所示，若目标融合结果包括T0至T2采样时刻各自的目标物1和目标物2的位置，重叠区域1的目标物1静止，目标物1作为重叠区域1的第一目标物；重叠区域2的目标物2运动，目标物2作为重叠区域2的第二目标物。另外，对于目标物1来说，传感器1至传感器3均为目标传感器；对于目标物2来说，传感器4至传感器7均为目标传感器。

值得注意的是，本实施例无需考虑不同重叠区域内的目标物是否相同，若第一目标物所在的重叠区域不同即可认为是不同的目标物，因此，第一目标物所在的位置应该理解为第一目标物在其所在的重叠区域内的位置，第二目标物类同。在实际应用时，对于存在第一目标物和/或第二目标物的重叠区域，若重叠区域内存在第一目标物，基于该第一目标物对应在重叠区域内的相关数据，比如，时间融合结果中的不同采样时刻各自的位置，以及目标融合结果中的不同采样时刻各自的位置，对探测该重叠区域的多个第一传感器进行空间标定；若重叠区域内存在第二目标物，基于该第二目标物对应在该重叠区域内的相关数据，比如，时间融合结果中的不同采样时刻各自的位置，以及目标融合结果中的不同采样时刻各自的位置，对探测该重叠区域的多个第二传感器进行时间标定。

当然，若有些目标物的运动速度较快，在时间融合结果中该目标物出现在了多个重叠区域内，则将该目标物作为所在的多个重叠区域内的任意一个重叠区域的第二目标物即可。换言之，第一目标物仅仅位于一个重叠区域内，第二目标物也仅仅位于一个重叠区域内。在实际应用中，道路的纵向上设置的相邻的传感器之间的距离通常为百米以上，道路监控主要是道速公路或者城市内的道路，因此，目标物的速度最高为33.3m/s，本实施例提供的方法需要实时对道路进行监控，重叠区域的设置也会基于道路情况进行合理布设，因此在较短的时间内，一个目标物一般只会出现在一个重叠区域内，只有在极少的情况下会出现在多个重叠区域内。

在一个例子中，对于任意一个第一目标物，电子设备可通过如下方式实现空间标定：

确定时间融合结果中多个第一传感器各自感知到的第一目标物在世界坐标系下的位置，确定第一目标物的空间标定位置；对于多个第一传感器的任一传感器，基于第一传感器在世界坐标系下的位置、空间标定位置和世界坐标系的正方向，确定第一传感器的第一目标姿态角；基于时间融合结果中第一目标物相对第一传感器的位置和世界坐标系的正方向，确定第一传感器的第二目标姿态角；基于第一目标姿态角和第二目标姿态角确定姿态角差值；基于姿态角差值、第一传感器的预设姿态角，对第一传感器的姿态角进行修正。

需要说明的是，第一传感器用于探测第一目标物所在的重叠区域，且多个第一传感器探测相同的重叠区域。另外，多个第一传感器在相同时段内感知到第一目标物，这里的相同时段可以理解为第一目标物通过多个第一传感器的探测区域的重叠区域的时间段。

还需要说明的是，当第一目标物静止时，空间标定位置可以为目标融合结果中第一目标物在世界坐标系下的位置，或者，为时间融合结果中多个第一传感器各自感知的第一目标物在世界坐标系下的位置的加权平均。当第一目标物低速运动时，基于目标感知结果中的目标采样时刻下第一目标物在世界坐标系下的位置和世界坐标系的正方向确定第一目标物的空间标定位置；对于多个第一传感器的任一传感器，基于时间融合结果中该目标传感器探测的第一目标物在不同采样时刻的世界坐标系下的位置和第一传感器在世界坐标系下的位置，确定目标采样时刻下第一目标物相对该第一传感器的相对位置，基于该相对位置和世界坐标系的正方向确定第二目标姿态角。其中，目标采样时刻应当为多个第一传感器各自探测到的第一目标物的时段的交集中的任一采样时刻。

值得注意的是，基于第一传感器在世界坐标系下的位置、空间标定位置即可确定第一目标物相对于第一传感器的位置。另外，在一些可能的情况下，在第一目标物低速运动时，由于多个第一传感器之间的采样时差较小，因此，对于任意一个第一传感器，可以将时间融合结果中距离目标采样时刻最近的采样时刻下的第一目标物相对该目标传感器的相对位置，作为目标采样时刻下第一目标物相对该目标传感器的相对位置。

对于任意一个传感器，在世界坐标系下目标物的大地投影坐标的计算公式如下：

其中，x表示世界坐标系下横轴的大地投影的坐标；y表示世界坐标系下纵轴的大地投影的坐标；z表示世界坐标系下竖轴的大地投影的坐标；s表示目标物和传感器的中心点之间的水平距离；如图4所示，h表示传感器和道路之间的垂直距离；如图4所示，α表示传感器的安装横摆角a1和第一目标物的探测横摆角a3之和；β表示传感器的安装俯仰角b1和第一目标物的探测俯仰角b3之和。

需要说明的是，知道了x、y、s、h即可解算公式(1)中的α和β。对于摄像头而言，通过逆透视变换可确定目标和传感器之间的水平距离s。需要说明的是，如图3所示，水平距离s可以理解为目标物和传感器的中心点之间的水平距离，传感器的姿态角发生了变化，水平距离s也是不变的。另外，图4中的h1至h7分别表示了传感器1至传感器7分别与道路之间的垂直距离。

其中，第一目标姿态角和第二目标姿态角均包括α和β；但是由于计算第一目标姿态角和第二目标姿态角使用的数据不同，因此第一目标姿态角和第二目标姿态角不同。姿态角差值包括横摆角差值和俯仰角差值。由于探测横摆角a3和探测俯仰角b3是不变的，因此，横摆角差值指示了安装横摆角a1的差值，俯仰角差值指示了安装俯仰角b1之间的差值。需要说明的是，基于空间标定位置和传感器在世界坐标系下的位置即可确定第一目标物距离该传感器的相对位置。

进一步的，对于传感器而言，基于姿态角差值和第一传感器的预设姿态角即可确定第一传感器修正后的姿态角，考虑到传感器和道路之间的垂直距离h是不变的，基于修正后的姿态角，即可修正传感器探测的各目标物的位置。

在一个例子中，对于任意一个第二目标物，电子设备可通过如下方式实现时间标定：

确定多个第二传感器中的第三传感器；对于多个第二传感器中第三传感器之外的各传感器，基于修正后的目标融合结果中第二传感器感知到的第二目标物的时间标定位置，以及，第三传感器感知到的第二目标物相对时间标定位置的已通过位置、已通过位置对应的采样时刻、待通过位置和待通过位置对应的采样时刻，确定第二传感器和第三传感器之间的时差；其中，时间标定位置位于已通过位置和待通过位置之间。

如图5所示，对于多个第二传感器中第三传感器之外的各传感器，具体可通过如下公式(2)计算时间标定位置的出现采样时刻：

其中，P′表示第二传感器感知的第二目标物的时间标定位置；t′表示第二传感器感知第一目标的位置P′的采样时刻；P₀表示第三传感器感知的第二目标物的已通过位置；P表示第三传感器感知的第二目标物的待通过位置；t₀表示第三传感器感知第二目标的已通过位置P₀的采样时刻；t表示第三传感器感知第二目标的待通过位置P的采样时刻。

在实际应用中，t′位于t₀和t形成的时段内；第二目标物在P′的位置位于已通过位置P₀和待通过位置P之间。第三传感器可以为多个第二传感器中采样频率最大的传感器。已通过位置P₀和待通过位置P为第三传感器感知到第二目标物的位置中距离时间标定位置P′最近的两个位置。

需要说明的是，第二传感器可以理解为多个传感器中探测第二目标物所在的重叠区域的传感器，且多个第二传感器探测相同的重叠区域。另外，多个第二传感器在相同时段内感知到第二目标物，这里的相同时段可以理解为第二目标物通过多个第二传感器的探测区域的重叠区域的时间段。

示例地，多个传感器各自的探测区域重叠，即多个传感器形成一个重叠区域，第三传感器为多个传感器中采样频率最大的传感器。

示例地，多个传感器各自的探测区域形成多个重叠区域；则对于每个重叠区域，从可探测该重叠区域内的第二目标物的多个第二传感器中确定第三传感器，然后，确定第三传感器之外的其他各第二传感器分别与该第三传感器之间的采样时差。

在一种可能的情况，若相同的第二传感器分别与不同的第三传感器具有采样时差，比如第二传感器的探测范围包括多个重叠区域，则可基于此对不同第三传感器进行采样差值融合，比如，重新选择一个第三传感器，确定其他第二传感器分别与该第三传感器之间的采样时差。需要说明的是，若第二传感器的探测范围较远，则第二传感器的探测区域可以包括多个重叠区域，通常只有一个，具体需要结合实际情况确定，比如对于经常出事故的路段，则可以适当增加传感器的探测范围，让一个区域被更多的传感器所探测。

在一些可能的情况，不同重叠区域的第三传感器相同，比如，若第三传感器的探测范围包括至少两个重叠区域。

在一些可能的情况，可以基于不同第三传感器各自在最后一帧的采样时刻之间的差值，实现多个传感器之间的采样时差的融合。比如，从多个第三传感器中确定最终的第三传感器，确定其他的第二传感器分别与该第三传感器之间的采样时差。

进一步的，若不存在第一目标物，直接基于目标融合结果进行时间标定即可。

另外，第一目标物和第二目标物均可以有多个。多个第一目标物所在的重叠区域通常不同。若存在部分的第一目标物所在的重叠区域相同，对于位于相同重叠区域的多个第一目标物，基于多个第一目标物分别进行空间标定得到形成该重叠区域的多个传感器各自的姿态角进行融合，从而可较为准确的确定形成该重叠区域的多个传感器各自的姿态角。多个第二目标物所在的重叠区域通常不同。若存在部分的第二目标物所在的重叠区域相同，对于位于相同重叠区域的多个第二目标物，则基于多个第一目标物分别进行时间标定形成该重叠区域的多个传感器之间的采样时差进行融合，从而可较为准确的确定形成该重叠区域的多个传感器之间的采样时差。

在实际应用中，在传感器的姿态角修正后，会按照修正后的姿态角处理该传感器探测到的目标物，从而修正目标融合结果。在多个传感器之间的采样时差修正后，会按照修正后的采样时差处理这些传感器探测到的目标物的出现采样时刻，进一步修正目标融合结果。

在实际应用中，本实施例提供的方法需要实时对道路进行监控，因此，会按照预设时间间隔采集关键帧集合，并将最近时段比如1s内的多个关键帧集合进行时间融合后进行目标融合，然后进行传感器的姿态角修正和不同传感器之间的采样时差的修正，换言之，按照预设时间间隔实时的执行本实施例提供的方法，从而实现实时地道路监控。

通过以上技术方案可知，本实施例存在的有益效果是：

一方面，通过时间融合结果和不同传感器的感知结果实现对不同的传感器的时间和空间标定的修正，有效解决了在传感器运行一段时间后不同的传感器感知到的数据时空不同步的问题，提升了后续数据融合的准确性。

另一方面，由于数据处理方法不对传感器的数量进行限制，在实际应用中，可以灵活的增加或者拆除传感器。

基于与本发明方法实施例相同的构思，请参考图6，本发明实施例还提供了一种数据处理装置，包括感知模块、时间融合模块、目标融合模块和标定修正模块，所述感知模块预先存储多个传感器各自的姿态角，所述时间融合模块预先存储所述多个传感器之间的采样时差，包括：

感知模块601，用于基于所述多个传感器各自的姿态角，对当前的关联帧集进行空间融合，确定所述关联帧集中各帧的感知结果；其中，所述关联帧集表示相同时段内所述多个传感器各自采集的帧；

时间融合模块602，用于基于所述多个传感器之间的采样时差，对当前和之前的多个关联帧集合进行时间融合，确定时间融合结果；其中，所述时间融合结果包括所述多个关联帧集合中各帧的采样时刻和感知结果；

目标融合模块603，用于基于所述时间融合结果进行目标融合，确定目标融合结果；

位置确定模块604，用于确定重叠区域位置数据；其中，所述重叠区域位置数据指示了所述多个传感器的至少一个重叠区域的位置；

修正模块605，用于修正模块，用于基于所述目标融合结果、所述时间融合结果和所述重叠区域位置数据，修正所述感知模块中的所述多个传感器中部分或全部的姿态角和/或修正所述时间融合模块中的多个传感器中部分或全部之间的采样时差。

作为一种可行的实现方式，所述目标融合结果至少用于描述至少一个目标物在不同采样时刻的位置，所述感知结果至少用于描述至少一个目标物的位置；

所述修正模块，包括：目标物确定单元、空间标定单元和时间标定单元；其中，

所述目标物确定单元，用于基于所述目标融合结果和所述重叠区域位置数据，确定至少一个第一目标物和至少一个第二目标物；其中，所述第一目标物为所述至少一个重叠区域中任一区域内的静止或运动且满足低速运动条件的目标物，所述第二目标物为所述至少一个重叠区域中任一区域内运动且不满足低速运动条件的目标物；

所述空间标定单元，用于对于所述至少一个第一目标物的各目标物，基于所述时间融合结果中多个第一传感器各自感知到的所述第一目标物的位置，对所述多个第一传感器各自的姿态角进行修正；其中，所述多个第一传感器为所述多个传感器中在相同时段感知到所述第一目标物的多个传感器；

所述目标融合模块603，还用于基于所述至少一个第一目标物各自的修正后的多个第一传感器各自的姿态角，修正所述目标融合结果中的部分或全部目标物的位置；

所述时间标定单元，用于对于所述至少一个第二目标物的各目标物，基于修正后的目标融合结果中的多个第二传感器各自感知到所述第二目标物在不同采样时刻的位置，修正所述多个第二传感器之间的采样时差；其中，所述多个第二传感器为所述多个传感器中在相同时段感知到所述第二目标物的多个传感器。

作为一种可行的实现方式，所述目标物确定单元，用于对于所述至少一个重叠区域的各区域，在基于所述重叠区域位置数据和所述目标融合结果确定所述重叠区域内存在至少一个目标物时，确定至少一个第一目标物和/或至少一个第二目标物。

作为一种可行的实现方式，所述第一目标物与所述重叠区域中所述第一目标物之外的其他目标物的距离大于预设值、所述第一目标物为所述重叠区域内唯一的目标物或者所述第一目标物为所述重叠区域内的任一车道内唯一的目标物。

作为一种可行的实现方式，所述第二目标物与所述重叠区域中所述第二目标物之外的其他目标物的距离大于预设值、所述第二目标物为所述重叠区域内唯一的目标物或者所述第二目标物为所述重叠区域内的任一车道内唯一的目标物。

作为一种可行的实现方式，所述空间标定单元包括：位置融合子单元和空间修正子单元；其中，

所述位置融入子单元，用于确定所述目标融合结果中所述多个第一传感器各自感知到的所述第一目标物在世界坐标系下的位置，确定所述第一目标物的空间标定位置；

所述空间修正子单元，用于对于所述多个第一传感器的任一传感器，基于所述第一传感器在世界坐标系下的位置、所述空间标定位置和所述世界坐标系的正方向，确定所述第一传感器的第一目标姿态角；基于所述时间融合结果中所述第一目标物相对所述第一传感器的位置和所述世界坐标系的正方向，确定所述第一传感器的第二目标姿态角；基于所述第一目标姿态角和所述第二目标姿态角确定姿态角差值；基于所述姿态角差值、所述第一传感器的预设姿态角，对所述第一传感器的姿态角进行修正。

作为一种可行的实现方式，所述时间标定单元包括：传感器确定子单元和时间修正子单元；其中，

所述传感器确定子单元，用于确定所述多个第二传感器中的第三传感器；

所述时间修正子单元，用于对于所述多个第二传感器中所述第三传感器之外的各传感器，基于修正后的目标融合结果中所述第二传感器感知到的所述第二目标物的时间标定位置，以及，所述第三传感器感知到的所述第二目标物相对所述时间标定位置的已通过位置、所述已通过位置对应的采样时刻、待通过位置和所述待通过位置对应的采样时刻，确定所述第二传感器和所述第三传感器之间的时差；其中，所述时间标定位置位于所述已通过位置和所述待通过位置之间。

作为一种可行的实现方式，所述第三传感器为所述多个第二传感器中采样频率最大的传感器，所述已通过位置和所述待通过位置为所述第三传感器感知到所述第二目标物的位置中距离所述时间标定位置最近的位置。

作为一种可行的实现方式，时间修正子单元，还用于若确定相同的所述第一传感器与不同第三传感器之间均存在时差，则基于相同的所述第一传感器与不同第三传感器之间的时差，对不同的第三传感器之间的时差进行修正。

作为一种可行的实现方式，所述关联帧集包括所述多个传感器中的第四传感器最后采集的帧，以及，第四传感器之外的其他传感器各自采集的与第四传感器最后采集的帧的采样时刻最小的帧。

作为一种可行的实现方式，目标融合模块603，还用于基于所述多个传感器的天气情况；和所述目标融合结果进行目标融合，确定所述多个传感器的目标融合结果。

作为一种可行的实现方式，位置确定模块604，用于基于所述多个传感器各自的姿态角和所述多个传感器各自的位置，确定重叠区域位置数据。

图7是本发明实施例提供的一种电子设备的结构示意图。在硬件层面，该电子设备包括处理器701以及存储有执行指令的存储器702，可选地还包括内部总线703及网络接口704。其中，存储器702可能包含内存7021，例如高速随机存取存储器(Random-AccessMemory，RAM)，也可能还包括非易失性存储器7022(non-volatile memory)，例如至少1个磁盘存储器等；处理器701、网络接口704和存储器702可以通过内部总线703相互连接，该内部总线703可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等；内部总线703可以分为地址总线、数据总线、控制总线等，为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。当然，该电子设备还可能包括其他业务所需要的硬件。当处理器701执行存储器702存储的执行指令时，处理器701执行本发明任意一个实施例中的方法，并至少用于执行如图1或图2所示的方法。

在一种可能实现的方式中，处理器从非易失性存储器中读取对应的执行指令到内存中然后运行，也可从其它设备上获取相应的执行指令，以在逻辑层面上形成一种数据处理装置。处理器执行存储器所存放的执行指令，以通过执行的执行指令实现本发明任实施例中提供的一种数据处理方法。

处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本发明实施例还提供了一种计算机可读存储介质，包括执行指令，当电子设备的处理器执行执行指令时，所述处理器执行本发明任意一个实施例中提供的方法。该电子设备具体可以是如图7所示的电子设备；执行指令是一种数据处理装置所对应计算机程序。

本领域内的技术人员应明白，本发明的实施例可提供为方法或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或软件和硬件相结合的形式。

本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，预先存储多个传感器各自的姿态角和所述多个传感器之间的采样时差，所述多个传感器中的部分传感器的探测区域重叠，所述方法包括：

基于所述多个传感器各自的姿态角，对当前的关联帧集进行空间融合，确定所述关联帧集中各帧的感知结果；其中，所述关联帧集表示相同时段内所述多个传感器各自采集的帧；

基于所述多个传感器之间的采样时差，对当前和之前的多个关联帧集合进行时间融合，确定时间融合结果；其中，所述时间融合结果包括所述多个关联帧集合中各帧的采样时刻和感知结果；

基于所述时间融合结果进行目标融合，确定目标融合结果；

确定重叠区域位置数据；其中，所述重叠区域位置数据指示了所述多个传感器的至少一个重叠区域的位置；

基于所述目标融合结果、所述时间融合结果和所述重叠区域位置数据，修正所述多个传感器中部分或全部的姿态角和/或修正所述多个传感器中部分或全部之间的采样时差。

2.根据权利要求1所述的方法，其特征在于，所述目标融合结果至少用于描述至少一个目标物在不同采样时刻的位置，所述感知结果至少用于描述至少一个目标物的位置；

所述基于所述目标融合结果、所述时间融合结果和所述重叠区域位置数据，修正所述多个传感器中部分或全部的姿态角和/或修正所述多个传感器中部分或全部之间的采样时差，包括：

基于所述目标融合结果和所述重叠区域位置数据，确定至少一个第一目标物和至少一个第二目标物；其中，所述第一目标物为所述至少一个重叠区域中任一区域内的静止或运动且满足低速运动条件的目标物，所述第二目标物为所述至少一个重叠区域中任一区域内运动且不满足低速运动条件的目标物；

对于所述至少一个第一目标物的各目标物，基于所述时间融合结果中多个第一传感器各自感知到的所述第一目标物的位置，对所述多个第一传感器各自的姿态角进行修正；其中，所述多个第一传感器为所述多个传感器中在相同时段感知到所述第一目标物的多个传感器；

基于所述至少一个第一目标物各自的修正后的多个第一传感器各自的姿态角，修正所述目标融合结果中的部分或全部目标物的位置；

对于所述至少一个第二目标物的各目标物，基于修正后的目标融合结果中的多个第二传感器各自感知到所述第二目标物在不同采样时刻的位置，修正所述多个第二传感器之间的采样时差；其中，所述多个第二传感器为所述多个传感器中在相同时段感知到所述第二目标物的多个传感器。

3.根据权利要求2所述的方法，其特征在于，所述基于所述目标融合结果和所述重叠区域位置数据，确定至少一个第一目标物和至少一个第二目标物，包括：

对于所述至少一个重叠区域的各区域，在基于所述重叠区域位置数据和所述目标融合结果确定所述重叠区域内存在至少一个目标物时，确定至少一个第一目标物和/或至少一个第二目标物。

4.根据权利要求3所述的方法，其特征在于，所述第一目标物与所述重叠区域中所述第一目标物之外的其他目标物的距离大于预设值、所述第一目标物为所述重叠区域内唯一的目标物或者所述第一目标物为所述重叠区域内的任一车道内唯一的目标物；或，

所述第二目标物与所述重叠区域中所述第二目标物之外的其他目标物的距离大于预设值、所述第二目标物为所述重叠区域内唯一的目标物或者所述第二目标物为所述重叠区域内的任一车道内唯一的目标物。

5.根据权利要求2所述的方法，其特征在于，所述基于所述时间融合结果中多个第一传感器各自感知到的所述第一目标物的位置，对所述多个第一传感器各自的姿态角进行修正，包括：

确定所述时间融合结果中所述多个第一传感器各自感知到的所述第一目标物在世界坐标系下的位置，确定所述第一目标物的空间标定位置；

对于所述多个第一传感器的任一传感器，基于所述第一传感器在世界坐标系下的位置、所述空间标定位置和所述世界坐标系的正方向，确定所述第一传感器的第一目标姿态角；基于所述时间融合结果中所述第一目标物相对所述第一传感器的位置和所述世界坐标系的正方向，确定所述第一传感器的第二目标姿态角；基于所述第一目标姿态角和所述第二目标姿态角确定姿态角差值；基于所述姿态角差值、所述第一传感器的预设姿态角，对所述第一传感器的姿态角进行修正。

6.根据权利要求2所述的方法，其特征在于，所述基于修正后的目标融合结果中的多个第二传感器各自感知到所述第二目标物在不同采样时刻的位置，修正所述多个第二传感器之间的采样时差，包括：

确定所述多个第二传感器中的第三传感器；

对于所述多个第二传感器中所述第三传感器之外的各传感器，基于修正后的目标融合结果中所述第二传感器感知到的所述第二目标物的时间标定位置，以及，所述第三传感器感知到的所述第二目标物相对所述时间标定位置的已通过位置、所述已通过位置对应的采样时刻、待通过位置和所述待通过位置对应的采样时刻，确定所述第二传感器和所述第三传感器之间的时差；其中，所述时间标定位置位于所述已通过位置和所述待通过位置之间。

7.根据权利要求6所述的方法，其特征在于，所述第三传感器为所述多个第二传感器中采样频率最大的传感器，所述已通过位置和所述待通过位置为所述第三传感器感知到所述第二目标物的位置中距离所述时间标定位置最近的位置；或者，

所述方法还包括：

若确定相同的所述第二传感器与不同第三传感器之间均存在时差，则基于相同的所述第二传感器与不同第三传感器之间的时差，对不同的第三传感器之间的时差进行修正。

8.根据权利要求1所述的方法，其特征在于，所述关联帧集包括所述多个传感器中的第四传感器最后采集的帧，以及，第四传感器之外的其他传感器各自采集的与第四传感器最后采集的帧的采样时刻最小的帧。

9.根据权利要求1所述的方法，其特征在于，所述基于所述目标融合结果，从所述至少一个目标物中，确定至少一个第一目标物和至少一个第二目标物，包括：

基于所述多个传感器的天气情况和所述目标融合结果进行目标融合，确定所述多个传感器的目标融合结果；或者，

所述确定重叠区域位置数据，包括：

基于所述多个传感器各自的姿态角和所述多个传感器各自的位置，确定重叠区域位置数据。

10.一种数据处理装置，其特征在于，包括感知模块、时间融合模块、目标融合模块和标定修正模块，所述感知模块预先存储多个传感器各自的姿态角，所述时间融合模块预先存储所述多个传感器之间的采样时差，包括：

感知模块，用于基于所述多个传感器各自的姿态角，对当前的关联帧集进行空间融合，确定所述关联帧集中各帧的感知结果；其中，所述关联帧集表示相同时段内所述多个传感器各自采集的帧；

时间融合模块，用于基于所述多个传感器之间的采样时差，对当前和之前的多个关联帧集合进行时间融合，确定时间融合结果；其中，所述时间融合结果包括所述多个关联帧集合中各帧的采样时刻和感知结果；

目标融合模块，用于基于所述时间融合结果进行目标融合，确定目标融合结果；

位置确定模块，用于确定重叠区域位置数据；其中，所述重叠区域位置数据指示了所述多个传感器的至少一个重叠区域的位置；

修正模块，用于基于所述目标融合结果、所述时间融合结果和所述重叠区域位置数据，修正所述感知模块中的所述多个传感器中部分或全部的姿态角和/或修正所述时间融合模块中的多个传感器中部分或全部之间的采样时差。

Images