CN110363735A

CN110363735A - 一种车联网图像数据融合方法及相关装置

Info

Publication number: CN110363735A
Application number: CN201910661406.7A
Authority: CN
Inventors: 余荣; 李培春; 张浩川; 黄旭民; 张泽航
Original assignee: Guangdong University of Technology
Current assignee: Guangdong University of Technology
Priority date: 2019-07-22
Filing date: 2019-07-22
Publication date: 2019-10-22
Anticipated expiration: 2039-07-22
Also published as: CN110363735B

Abstract

本申请公开了一种车联网图像数据融合方法，包括：边缘服务器根据终端发送的图像采集参数判断车联网终端的采集视野是否重叠；若是，则发送成功匹配消息，以便对应的车联网终端根据所述成功匹配消息向所述的边缘服务器发送原始图像数据；所述边缘服务器对所述原始图像数据进行融合处理，得到目标融合图像。通过在车联网图像融合过程中，先判断是否重叠，然后在重叠的基础上再传输图片数据，进行图像融合处理，降低了数据传输量，也降低了数据处理的时延，提高了图像融合处理的效率。本申请还公开了一种车联网图像数据融合装置、服务器以及计算机可读存储介质，具有以上有益效果。

Description

一种车联网图像数据融合方法及相关装置

技术领域

本申请涉及车联网技术领域，特别涉及一种车联网图像数据融合方法、车联网图像数据融合装置、服务器以及计算机可读存储介质。

背景技术

在车联网技术领域中，通常采用边缘服务器对车联网终端上传的数据进行处理后实现车联网系统的目标检测功能，例如识别实时的车流量、对人流量进行统计、停车位进行识别等。

目前，常用的技术方案是串联式边缘智能协同推断方案，该方案的核心思想是将一个神经网络切分成前后两个部分，利用终端和边缘服务器进行联合推断。终端先将图片数据传输给边缘服务器，边缘服务器接收图片后进行初步推断(只推断神经网络的前半部分)并将计算结果返回给终端，最后终端完成剩余的推断。该系统架构适用于终端计算能力较差、网络环境较好的场景中。可以提高推断的效率。

但是，该现有技术实时性差。终端与边缘服务器的联合推断需要额外传输半加工数据，当终端处于无线信号强度覆盖较弱的区域，整个系统的时延会大大增加。忽略不同终端采集得到的数据之间的联系。降低了进行数据推断和处理的准确性。例如，在进行车联网的图像数据融合过程中，会降低数据处理的准确性，无法保持较好的处理效果。

因此，如何提高车联网数据处理中的准确度，保持数据处理的效果是本领域技术人员关注的重点问题。

发明内容

本申请的目的是提供一种车联网图像数据融合方法、车联网图像数据融合装置、服务器以及计算机可读存储介质，通过在车联网图像融合过程中，先判断是否重叠，然后在重叠的基础上再传输图片数据，进行图像融合处理，降低了数据传输量，也降低了数据处理的时延，提高了图像融合处理的效率。

为解决上述技术问题，本申请提供一种车联网图像数据融合方法，包括：

边缘服务器根据终端发送的图像采集参数判断车联网终端的采集视野是否重叠；

若是，则发送成功匹配消息，以便对应的车联网终端根据所述成功匹配消息向所述的边缘服务器发送原始图像数据；

所述边缘服务器对所述原始图像数据进行融合处理，得到目标融合图像。

可选的，边缘服务器根据终端发送的图像采集参数判断车联网终端的采集视野是否重叠，包括：

所述边缘服务器根据所述图像采集参数判断任意两个车联网终端的距离是否小于预设距离；

当任意两个车联网终端的距离小于预设距离时，根据所述图像采集参数判断所述两个车联网终端的拍摄角度是否小于预设角度差。

可选的，所述边缘服务器对所述原始图像数据进行融合处理，得到目标融合图像，包括：

所述边缘服务器对所述原始图像数据进行拼接处理，得到已拼接图像数据；

对所述已拼接图像数据进行图像融合处理，得到所述目标融合图像。

可选的，所述边缘服务器对所述原始图像数据进行拼接处理，得到已拼接图像数据，包括：

所述边缘服务器对所述原始图像数据进行单应矩阵计算，得到单应矩阵；

根据所述单应矩阵对对应的原始图像数据进行变换处理，得到变换图像数据；

将相互对应的变换图像数据进行拼接，得到所述已拼接图像数据。

可选的，对所述已拼接图像数据进行图像融合处理，得到所述目标融合图像，包括：

对所述已拼接图像数据进行物体识别处理，得到识别结果；

根据所述识别结果中相同的物体对所述已拼接图像数据进行融合处理，得到所述目标融合图像。

本申请还提供一种车联网图像数据融合装置，包括：

重叠判断模块，用于根据终端发送的图像采集参数判断车联网终端的采集视野是否重叠；

图像获取模块，用于当车联网终端的采集视野重叠时，发送成功匹配消息，以便对应的车联网终端根据所述成功匹配消息向所述的边缘服务器发送原始图像数据；

图像融合模块，用于对所述原始图像数据进行融合处理，得到目标融合图像。

可选的，所述重叠判断模块，包括：

距离判断单元，用于根据所述图像采集参数判断任意两个车联网终端的距离是否小于预设距离；

拍摄角度判断单元，用于当任意两个车联网终端的距离小于预设距离时，根据所述图像采集参数判断所述两个车联网终端的拍摄角度是否小于预设角度差。

可选的，所述图像融合模块，包括：

拼接处理单元，用于对所述原始图像数据进行拼接处理，得到已拼接图像数据；

融合处理单元，用于对所述已拼接图像数据进行图像融合处理，得到所述目标融合图像。

本申请还提供一种服务器，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上所述的车联网图像数据融合方法的步骤。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的车联网图像数据融合方法的步骤。

本申请所提供的一种车联网图像数据融合方法，包括：边缘服务器根据终端发送的图像采集参数判断车联网终端的采集视野是否重叠；若是，则发送成功匹配消息，以便对应的车联网终端根据所述成功匹配消息向所述的边缘服务器发送原始图像数据；所述边缘服务器对所述原始图像数据进行融合处理，得到目标融合图像。

通过在车联网图像融合过程中，先判断是否重叠，然后在重叠的基础上再传输图片数据，进行图像融合处理，而不是将所有的图像数据传输至服务器中判断是否可以进行图像融合处理，避免了当图像匹配失败时仍然传输错误数据，降低了数据传输量，也降低了数据处理的时延，提高了图像融合处理的效率。

本申请还提供一种车联网图像数据融合装置、服务器以及计算机可读存储介质，具有以上有益效果，在此不作赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种车联网图像数据融合方法的流程图；

图2为本申请实施例所提供的车联网图像数据融合方法的匹配流程图；

图3为本申请实施例所提供的车联网图像数据融合方法的图片拼接的流程图；

图4为本申请实施例所提供的车联网图像数据融合方法的融合识别的流程图；

图5为本申请实施例所提供的车联网图像数据融合方法的交互规则的流程图；

图6为本申请实施例所提供的一种车联网图像数据融合装置的结构示意图。

具体实施方式

本申请的核心是提供一种车联网图像数据融合方法、车联网图像数据融合装置、服务器以及计算机可读存储介质，通过在车联网图像融合过程中，先判断是否重叠，然后在重叠的基础上再传输图片数据，进行图像融合处理，降低了数据传输量，也降低了数据处理的时延，提高了图像融合处理的效率。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

现有技术主要是是串联式边缘智能协同推断，该方案的核心思想是将一个神经网络切分成前后两个部分，利用终端和边缘服务器进行联合推断。终端先将图片数据传输给边缘服务器，边缘服务器接收图片后进行初步推断(只推断神经网络的前半部分)并将计算结果返回给终端，最后终端完成剩余的推断。该系统架构适用于终端计算能力较差、网络环境较好的场景中。可以提高推断的效率。但是，该现有技术实时性差。终端与边缘服务器的联合推断需要额外传输半加工数据，当终端处于无线信号强度覆盖较弱的区域，整个系统的时延会大大增加。

因此，本申请提供一种车联网图像数据融合方法，通过在车联网图像融合过程中，先判断是否重叠，然后在重叠的基础上再传输图片数据，进行图像融合处理，而不是将所有的图像数据传输至服务器中判断是否可以进行图像融合处理，避免了当图像匹配失败时仍然传输错误数据，降低了数据传输量，也降低了数据处理的时延，提高了图像融合处理的效率。

请参考图1，图1为本申请实施例所提供的一种车联网图像数据融合方法的流程图。

本实施例中，该方法可以包括：

S101，边缘服务器根据终端发送的图像采集参数判断车联网终端的采集视野是否重叠；若是，则执行S102；

本步骤旨在服务器先根据终端发送的图像采集参数判断车联网终端的采集视野是否重叠，也就是说车联网终端并非向服务器直接发送图像数据，而是向服务器发送对应的图像采集参数，也就是发送文字数据，减少数据的发送量。通过该文字数据判断不同的图像数据是否可以进行融合处理，避免车联网终端向服务器发送不可用的图像数据，减少数据传输的时延，提高数据处理的实时性。

可选的，本步骤可以包括：

步骤一，边缘服务器根据图像采集参数判断任意两个车联网终端的距离是否小于预设距离；

步骤二，当任意两个车联网终端的距离小于预设距离时，根据图像采集参数判断两个车联网终端的拍摄角度是否小于预设角度差。

可见，本可选方案中主要是通过图像采集参数中的终端和终端之间的距离，以及拍摄时的拍摄角度判断任意两个车联网终端之间的采集视野是否重合，也就是判断该任意两个车联网终端采集到的图像数据是否可以进行融合操作。

S102，发送成功匹配消息，以便对应的车联网终端根据成功匹配消息向的边缘服务器发送原始图像数据；

在S101的基础上，本步骤旨在发送成功匹配消息，以便对应的车联网终端根据成功匹配消息向边缘服务器发送原始图像数据。也就是在判定采集视野存在重叠的基础上，向车联网终端请求对应的原始图像数据，以便对其进行图像融合处理。可见，本实施例中，当图像可以被融合时，才获取到图像数据，避免传输错误的图像数据，提高了数据处理的实时性。

S103，边缘服务器对原始图像数据进行融合处理，得到目标融合图像。

在S102的基础上，本步骤旨在对接收到的原始图像数据进行融合处理，得到最后的目标融合图像。其中，可以采用现有技术提供的任意一种图像融合处理方法，还可以采用下述说明的图像融合方法，在此不作赘述，

可选的，本步骤可以包括：

步骤一，边缘服务器对原始图像数据进行拼接处理，得到已拼接图像数据；

步骤二，对已拼接图像数据进行图像融合处理，得到目标融合图像。

可见，本可选方案主要是对如何进行图像融合做进一步说明。具体的，本方案中首先是将原始图像数据进行拼接处理，得到已拼接融合图像，然后将已拼接融合图像进行图像融合处理，得到目标融合图像。

可选的，本可选方案中的步骤一，可以包括：

步骤1，边缘服务器对原始图像数据进行单应矩阵计算，得到单应矩阵；

步骤2，根据单应矩阵对对应的原始图像数据进行变换处理，得到变换图像数据；

步骤3，将相互对应的变换图像数据进行拼接，得到已拼接图像数据。

可见，本可选方案主要是对上一可选方案中如何进行拼接处理做进一步说明。

可选的，本可选方案中的步骤二，可以包括：

步骤1，对已拼接图像数据进行物体识别处理，得到识别结果；

步骤2，根据识别结果中相同的物体对已拼接图像数据进行融合处理，得到目标融合图像。

可见，本可选方案主要是对上一可选方案中如何进行融合处理做进一步说明。

综上，本实施例通过在车联网图像融合过程中，先判断是否重叠，然后在重叠的基础上再传输图片数据，进行图像融合处理，而不是将所有的图像数据传输至服务器中判断是否可以进行图像融合处理，避免了当图像匹配失败时仍然传输错误数据，降低了数据传输量，也降低了数据处理的时延，提高了图像融合处理的效率。

以下通过一个具体的实施例，对本申请提供的一种车联网图像数据融合方法做进一步说明。

本实施例中执行操作的对象包括车联网终端和边缘服务器，本实施例构建了一个车联网边缘智能系统，介绍一种边缘智能协同推断的方法及系统。该系统包括硬件终端和边缘服务器端，其中硬件终端由多个硬件子部件有机组成，边缘服务器端包括终端匹配子系统、信息融合子系统，而硬件终端与边缘服务器端之间的交互遵循特定的数据交互规则。

系统中的终端负责采集以及处理数据，具体为：采集设备数据以及原始图像数据，并进一步对图像进行处理得到识别数据。进一步地，将终端的数据按数据类型分为两类，其中设备数据以及识别数据为文本数据，原始图像数据为图像数据。

系统中的边缘服务器端包括匹配子系统以及融合子系统。其中匹配子系统的作用是匹配出两张或以上具有耦合的原始图像；进一步地，匹配子系统将多张图片传递给融合子系统，最终得出更加准确的识别效果。

该系统中的多个终端通过路侧单元实时与边缘服务器进行数据传输，当边缘服务器中的匹配子系统发现具有耦合的终端时，执行信息融合步骤，最终得到更加准确的识别效果。

系统中的终端由多个硬件单元有机组成，具体包括主控芯片、三轴陀螺仪、GPS定位、摄像头、AI加速芯片、通信单元以及外围电路。

基于以上硬件，终端可以采集得到原始图像数据、GPS定位数据以及终端在空间中的姿态数据。

首先，主控芯片根据GPS数据以及姿态数据计算得到终端的方位角以及仰角。其中方位角的含义为与正东方位的偏差角度，其取值范围为-180°到180°，其正负号符合右手螺旋定则；而仰角则定义为与水平方向的夹角，其取值范围为-90°到90°，向上为正，向下为负。

进一步地，数据处理单元对原始图像数据进行识别，得到识别数据。此处数据处理单元直接利用深度卷积神经网络中的目标识别模型进行识别，其模型的类型包含但不限于Faster-RCNN，YOLO，SSD等模型(深度学习目标识别模型)，具体可以结合MobileNet，ThunderNet等轻量级神经网络对模型进行加速，最终得到识别结果。

根据以上两个步骤，最终可以得到终端的GPS定位数据，终端的方位角以及仰角，原始图片数据以及识别数据等。并将上述数据归类为设备数据、识别数据以及原始图像数据。

终端采集处理得到以上三类数据后，根据边缘服务器的指令发送特定类型的数据。

边缘服务器在硬件配置上与传统服务器无太大区别，其最重要的区别是靠近终端侧，能快速响应终端的各种请求。本系统的边缘服务器端中，包括匹配子系统以及融合子系统，两个子系统具有不同的软件功能。

其中，匹配子系统的主要作用是配对采集数据具有耦合的终端。首先，匹配子系统保存各个终端上传的设备数据到总设备数据库，实时更新系统中所有终端设备的实时设备状态数据，并得到系统状态图。当两个或多个终端的采集视野具有重叠时，匹配系统可以实时计算得到这些终端的编号。

请参考图2，图2为本申请实施例所提供的车联网图像数据融合方法的匹配流程图。

其中，融合子系统的作用是融合两张图片的信息，使得识别的效果更加准确。在融合过程中，匹配子系统向融合子系统传输识别数据以及原始图像数据。

融合子系统需要包括图片拼接以及融合识别信息两个步骤。

其中，拼接图片的过程分为三步：首先，融合子系统对两张图片进行特征提取，并根据提出所得特征进行特征匹配，找出两张图片中关联的特征点对；然后根据特征点对的位置可以计算得到图像的单应矩阵；最后，可以根据单应矩阵对图像进行透视投影变换，进而对两张图片进行图像拼接。

融合识别信息首先需要根据单应矩阵对识别结果进行几何变换，然后对重合度较高的识别结果进行融合，排除一个物体被识别两次的情况。

请参考图3和图4，图3为本申请实施例所提供的车联网图像数据融合方法的图片拼接的流程图，图4为本申请实施例所提供的车联网图像数据融合方法的融合识别的流程图。

此外，在本系统中，终端与边缘服务器之间的交互遵循特定的规则。在整个交互过程中，终端有两种不同的发送状态，一是发送识别数据以及设备数据，二是发送原始图像数据。状态改变的关键点是边缘服务器是否匹配到了与之具有耦合度的另一终端。

在整个系统运行过程中，匹配成功的概率比匹配失败的概率低，而识别数据以及设备数据均为文本数据，因此整个系统的传输数据量较少。

请参考图5，图5为本申请实施例所提供的车联网图像数据融合方法的交互规则的流程图。

可见，本申请实施例提供了一种车联网图像数据融合方法，可以通过在车联网图像融合过程中，先判断是否重叠，然后在重叠的基础上再传输图片数据，进行图像融合处理，而不是将所有的图像数据传输至服务器中判断是否可以进行图像融合处理，避免了当图像匹配失败时仍然传输错误数据，降低了数据传输量，也降低了数据处理的时延，提高了图像融合处理的效率。

下面对本申请实施例提供的一种车联网图像数据融合装置进行介绍，下文描述的一种车联网图像数据融合装置与上文描述的一种车联网图像数据融合方法可相互对应参照。

请参考图6，图6为本申请实施例所提供的一种车联网图像数据融合装置的结构示意图。

本实施例中，该系统可以包括：

重叠判断模块100，用于根据终端发送的图像采集参数判断车联网终端的采集视野是否重叠；

图像获取模块200，用于当车联网终端的采集视野重叠时，发送成功匹配消息，以便对应的车联网终端根据成功匹配消息向的边缘服务器发送原始图像数据；

图像融合模块300，用于对原始图像数据进行融合处理，得到目标融合图像。

可选的，该重叠判断模块100，可以包括：

距离判断单元，用于根据图像采集参数判断任意两个车联网终端的距离是否小于预设距离；

拍摄角度判断单元，用于当任意两个车联网终端的距离小于预设距离时，根据图像采集参数判断两个车联网终端的拍摄角度是否小于预设角度差。

可选的，该图像融合模块300，可以包括：

拼接处理单元，用于对原始图像数据进行拼接处理，得到已拼接图像数据；

融合处理单元，用于对已拼接图像数据进行图像融合处理，得到目标融合图像。

本申请实施例还提供一种服务器，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如以上实施例所述的车联网图像数据融合方法的步骤。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如以上实施例所述的车联网图像数据融合方法的步骤。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的一种车联网图像数据融合方法、车联网图像数据融合装置、服务器以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims

1.一种车联网图像数据融合方法，其特征在于，包括：

2.根据权利要求1所述的车联网图像数据融合方法，其特征在于，边缘服务器根据终端发送的图像采集参数判断车联网终端的采集视野是否重叠，包括：

3.根据权利要求1所述的车联网图像数据融合方法，其特征在于，所述边缘服务器对所述原始图像数据进行融合处理，得到目标融合图像，包括：

4.根据权利要求3所述的车联网图像数据融合方法，其特征在于，所述边缘服务器对所述原始图像数据进行拼接处理，得到已拼接图像数据，包括：

5.根据权利要求3所述的车联网图像数据融合方法，其特征在于，对所述已拼接图像数据进行图像融合处理，得到所述目标融合图像，包括：

对所述已拼接图像数据进行物体识别处理，得到识别结果；

6.一种车联网图像数据融合装置，其特征在于，包括：

7.根据权利要求6所述的车联网图像数据融合装置，其特征在于，所述重叠判断模块，包括：

8.根据权利要求6所述的车联网图像数据融合装置，其特征在于，所述图像融合模块，包括：

9.一种服务器，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述的车联网图像数据融合方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的车联网图像数据融合方法的步骤。