CN115374880B

CN115374880B - 一种面向海上目标识别的多级增量数据融合系统

Info

Publication number: CN115374880B
Application number: CN202211233001.1A
Authority: CN
Inventors: 赵帅; 程渤; 李涛宇; 陈俊亮
Original assignee: Beijing University of Posts and Telecommunications
Current assignee: Beijing University of Posts and Telecommunications
Priority date: 2022-10-10
Filing date: 2022-10-10
Publication date: 2023-02-07
Anticipated expiration: 2042-10-10
Also published as: CN115374880A

Abstract

本发明公开了一种面向海上目标识别的多级增量数据融合系统，包括：感知探测层，用于对海上目标的信息进行多角度的实时探测，得到海上目标的多维数据；数据融合模块，用于判断是否需要进行数据融合；数据接入模块，所述感知探测层与所述数据融合模块通过所述数据接入模块连接，用于对所述多维数据进行解析后发送到所述数据融合模块中；多级数据存储模块，用于采用多级数据存储架构对解析后的多维数据进行存储。通过本技术方案能够实现对海上目标的多维感知数据，进行实时探测与感知关联，并在增量数据的基础上实现对目标数据的融合，从而对目标进行准确识别和判定，为海域监测提供数据支持，便于监管人员对海上目标进行监督和管理。

Description

一种面向海上目标识别的多级增量数据融合系统

技术领域

本发明属于海上目标识别技术领域，特别是涉及一种面向海上目标识别的多级增量数据融合系统。

背景技术

海上目标识别是指对海洋上目标属性的识别，包括动态属性(航速、航向、角度等)、静态属性(形状、类型)、异常行为(航迹异常、进出防控区)等，通过目标识别结果可以对当前海域的态势和威胁情况进行判别和分析。对海上目标进行感知探测的传感器手段主要有雷达、光电传感器、声呐、电磁频谱等，通过单个传感器对目标进行监测并对获取的数据进行特征提取和分析。对于单个传感器手段来说，对传感器设备进行改良会使目标识别的准确率有所上升，但是这种改进手段很容易达到一定的技术瓶颈。而且对海上目标的监督管理需要结合空、地、海全方位、立体化、多层次的数据信息才能做出准确的判断结果，因此海上目标的识别必须通过数据融合，充分利用多维传感数据在时空和技术手段上互补的特点，对目标的多维度数据进行融合，从而提高目标识别的可靠性和准确性。

多维数据融合是指将来自多种数据输入来源的目标信息经过数据预处理、特征提取等手段提取目标高维度信息，并进行数据融合、匹配关联从而形成对目标全面准确的判断和认知。通过从多个数据维度对目标进行感知探测，可以弥补单一数据来源下对目标认知不足的缺陷，校准可能存在歧义的模糊信息，增强互补缺失的有效信息，进而实现对目标状态和属性的准确估计。一方面通过数据融合可以得到海上目标多个维度的画像信息，例如当雷达发现某个可疑船只时，通过光电、声呐、红外等探测手段得到船只的运动轨迹、航速航向、实时图像等具体信息，从而对其威胁程度进行分析。另一方面，随着时间的推移，会有海量的历史数据累积下来，并且会有实时的传感数据以增量的方式不断传输，通过对这些数据进行融合分析，可以得到对目标对象更为准确的判别结果。

发明内容

本发明的目的是提供一种面向海上目标识别的增量数据融合系统，以提高海域目标监管的效率。

为实现上述目的，本发明提供了一种面向海上目标识别的多级增量数据融合系统，包括：

感知探测层，用于对海上目标的信息进行多角度的实时探测，得到海上目标的多维数据；

数据融合模块，用于判断是否需要进行数据融合；

数据接入模块，所述感知探测层与所述数据融合模块通过所述数据接入模块连接，用于对所述多维数据进行解析后发送到所述数据融合模块中；

多级数据存储模块，用于采用多级数据存储架构对解析后的多维数据进行存储。

可选地，所述数据接入模块包括：

设备管理模块，用于对感知探测层中设备的连接情况进行控制和管理，包括对设备的运行情况及状态进行监控，以及还可以对设备下发控制指令实现设备之间的交互；

设备接入模块，用于实现感知探测层的设备中数据接入，通过设备接入模块屏蔽感知探测层的设备之间的差异性，实现感知数据的统一接入；

数据解析模块，用于对接入的数据按照约定的协议格式进行解析，并将解析后的实时海上数据存入多级数据存储模块。

可选地，所述多级数据存储模块包括：

实时数据库模块，将解析后的实时海上数据进行储存，将不同传感器探测到的数据分别存入不同的数据表，同时可以按照不同的表对应的设备实现实时数据查询；

历史特征库模块，用于对目标历史特征信息进行储存，当实时数据库数据达到预设存储量时，将该实时数据库模块中存储的数据转存到所述历史特征库模块中；

目标信息图谱模块，用于对目标、数据节点进行储存，通过信息图谱中节点之间的关联关系，对不同数据节点进行关联查询。

可选地，所述数据融合模块包括：

数据处理模块，用于对从感知探测层采集到的多维数据进行处理，清除实时数据中无效或干扰信息，校准存在传输或探测误差的错误数据;

实时关联模块，用于对感知探测层采集的目标多维度数据进行关联，形成以目标为中心的数据实体。

可选地，所述数据融合模块还包括：

特征匹配模块，用于当目标实体存入历史特征库模块时，来将增量的目标实体和历史目标实体进行特征匹配，以此判断目标实体与历史目标实体是否为同一个目标实体，若是，则发送到增量融合模块，否则将目标作为新增实体添加到目标信息图谱模块；

增量融合模块，对属于同一个目标实体的进行实体消岐，将目标实体与历史目标实体融合为一个。

可选地，本系统还包括展示应用模块，所述展示应用模块包括第一查询模块，与所述数据接入模块连接，用于查询目标的实时数据，并将控制命令经过数据接入模块的封装之后发送给感知探测层的各个设备。

可选地，所述展示应用模块还包括第二查询模块，与所述多级数据存储模块连接，用于查询目标的特征信息。

可选地，所述目标的信息包括静态数据、动态数据。

可选地，所述数据融合模块还包括并行计算模块，用于通过对静态信息、动态信息进行比对时，在各个节点并行计算和不同目标之间的相似度，将计算后的相似度进行汇总，判断目标是否在历史特征库模块中出现过，如果出现过，则将新目标实体和历史节点发送到增量融合模块进行融合，否则在历史特征库模块中新增节点。

本发明的技术效果为：本申请公开了一种面向海上目标识别的增量数据融合系统，通过感知探测层的多种探测手段对海上目标信息进行全方位立体化的综合感知，以获取海上目标最全面的多维数据，再通过数据接入模块，屏蔽底层传感器设备的异构性，用于接入底层异构的传感器设备，然后通过数据融合模块实现数据融合，最后通过多级数据存储模块贯穿于数据的接入、融合，是整个系统得以高效、准确运行的基石，负责为增量数据融合系统提供数据支撑，满足系统多样化的数据存储及查询需要。通过上述方案对海上目标多维数据特征进行融合提取，并将增量数据与历史信息相结合，实现对目标身份的准确识别，为海域监测提供数据支持，便于监管人员对海上目标进行监督和管理。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本发明所提供面向海上目标识别的增量式数据融合系统的结构示意图；

图2是本发明一实施例的多级数据存储模块结构示意图；

图3是本发明一实施例的增量式数据融合的模块构成示意图；

图4是本发明一实施例中面向海上目标识别的增量式数据融合方法的数据流程示意图；

图5是本发明一实施例中孪生神经网络结构示意图；

图6是本发明一实施例的并行加速计算处理过程示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

如图1所示，本实施例中提供一种面向海上目标识别的多级增量数据融合系统，包括：

数据融合模块，用于判断是否需要进行数据融合；

本实施例中，为了获取目标海域多维度的数据信息，实现海上的目标信息的全面监测，感知探测层，通过多种探测手段对海上目标的数据进行全方位立体化的综合感知，以获取海上目标最全面的多维数据。其中，多种探测手段通过多种传感器以及多种通信手段实现。具体地，通过多种探测手段对海上目标进行全方位立体化的综合感知，以获取海上目标最全面的多维数据。例如由合成孔径雷达、船舶自动识别系统、海洋声呐、光电成像设备、空气声震传感器和电磁频谱等多种海上传感器设备组成，通过底层传感器网络将采集到实时信息回传到数据融合系统，同时它还可以接收上层下发的控制指令，实现对传感器的管理控制。

由于接入的传感器种类多、数据量大，每种设备采用不同的解析协议，协议的接入方式也各不相同，传感器数据具有异构多样等特征。因此，通过统一的设备即数据接入模块将传感器接入平台，可以屏蔽底层传感器设备的异构性，通过不同的通信手段接收各个传感器捕捉回传的数据并对控制命令按照协议进行封装和下发，从而实现底层设备的接入。

随着海上目标数据源源不断地以增量的方式接入系统，通过数据融合可以将目标多方数据关联起来，得到对目标更为全面的认知和判断。当多个传感器上传目标数据时，利用数据的时间、空间维度信息可以迅速地进行初步的数据关联，形成目标的实时多维信息。

在一些实施例中，数据接入模块还负责对数据进行分析、处理和加工，把各种格式的原始传感器数据转化为统一的数据类型供数据融合模块使用。

进一步优化方案，所述数据接入模块包括：

设备管理模块，用于对感知探测层中设备的连接情况进行控制和管理，包括对设备的运行情况及状态进行监控，在不影响其他设备的情况下实现设备的添加和管理。而且还可以向某些传感器设备下发控制指令实现设备交互，从而更好地进行数据的采集和探测。

设备接入模块，用于实现感知探测层的设备中数据接入，由于底层传感器种类繁多、形态各异，所使用的通信方式也各不相同，通过设备接入模块屏蔽感知探测层的设备之间的差异性，实现感知数据的统一接入；海上目标的实时数据库主要的数据来源就是底层传感器设备的原始感知数据，但是由于传感器种类与型号不尽相同，传输的数据与协议也多种多样，因此系统使用开放服务网关协议来实现传感器设备的接入。对于每个不同的传感器设备，系统都将其协议作为一个灵活的可执行文件bundle加入到OSGI框架，之后通过TCP或者UDP进行数据传输，这样就实现了设备的接入。通过提供简单的配置接口，用户就可以根据自己的需求开发不同的协议将设备加入到系统，从而大大降低了设备接入的复杂度。同时由于实现了协议与系统的解耦，当协议发生更改时，接口可以进行热插拔而无需重启系统。通过这种模式，系统可以简洁高效地实现底层异构传感器设备的快速接入。

数据解析模块，用于对接入的数据按照约定的协议格式进行解析，转换为有意义的观测数据，并将解析后的实时海上数据存入多级数据存储模块。

进一步优化方案，如图3所示，所述数据融合模块包括：数据处理模块、实时关联模块；

其中，数据处理模块，用于对从感知探测层采集到的多维数据进行处理，例如：对原始的传感器探测数据进行清洗和校准等预处理工作，来清除实时数据中无效或干扰信息，校准存在传输或探测误差的错误数据，为后续的数据关联与融合提供较为准确完善的目标信息;

实时关联模块，用于对感知探测层采集的目标多维度数据进行关联，形成以目标为中心的数据实体。通过不同的关联算法，利用感知数据中时空信息存在相关性的特点对目标相关数据进行关联。

具体地，由于多种传感器手段在进行数据采集时的空间基准点和坐标系不同，所以探测的目标位置信息可能存在差异。同时传感器在数据传输过程中可能存在不同的时延差异，因此导致系统接收到的不同传感器数据之间会存在时间上的错位。因此在进行数据关联之前首先需要对多维传感器数据中的目标信息进行预处理，将数据的位置信息和时间维度进行统一校准。而对目标时间信息的采集归纳需要建立在航迹位置的基础之上，因此系统需要首先对目标的空间位置信息进行配准。

传感器返回的目标多维数据中的位置信息一般存在两种形式，一种是通过全球定位系统得到的经纬度信息，这种信息可以直接叠加合并得到统一的目标位置；另一种是以极坐标系的形式返回目标与传感器所成的角度方位θ以及相对距离R，结合传感器自身的坐标位置计算可以得到目标的实际位置。为了便于数据的计算和表示，系统将所有第二种极坐标形式的传感器位置数据转换为第一种直角坐标系的经纬度。在已知传感器坐标和目标极坐标的情况下，通过坐标转换公式可以将目标角度距离转换为经纬度。

除了多维数据中的位置和距离等存在表述方式的差异之外，不同传感器对于速度的描述单位也不尽相同。例如日常使用的相对于陆地运动的速度，单位为km/h；还有一种是目标在传感器方向上的速度分量，其一般使用节kn作为速度单位。本系统采用将对地速度转换为传感器方向的分量来描述目标的运动。例如船舶速度为U(kn)，对地航向为α，首先将节kn乘以系数转化为速度单位m/s，然后将速度在雷达基站所处的方向上进行分解，得到转换后的速度V，单位m/s，其中Vx是X轴方向上的分量，Vy为Y轴方向的分量速度。

由于传感器在检测目标时会存在时间误差，例如通过声呐对目标进行探测时，由于声音在海水中传播需要一定的时间，因此当岸基声呐接收到信号时，目标此时可能已经不再发出信号的位置了。此外，声呐从检测到目标信号到将数据传输到系统也会存在传播时延，因此系统收到的目标信息在时间上会存在一定的延迟和误差。为了更好地模拟和接近最真实的数据情况，在数据关联之前需要根据时间间隔以及目标运动特点对上传的数据进行手动修正。

特别地，在针对AIS和雷达数据的关联上可以采用改进的线性插值的方法对位置数据进行修正，通过在坐标计算时引入航速、航向等信息来提高预测点的准确性。例如传感器先后上传了两个端点A、B的数据，其坐标分别为(x1,y1)与(x2,y2)，已知目标在A点的速度为v1，航向为θ1。首先根据目标在A点的动态信息计算出插值点的预测值(xi1,yi1)，同理可以由B点的相关信息计算出对应的预测点位置(xi2,yi2).通过公式5-4可以计算出A、B两点的时间差在预测位置中所占的比例Q1与Q2。根据权重通过公式5-5进行加权计算可以得到目标最后的插值点高斯坐标(xi,yi)，这样经过插值计算就得到了接近于真实点迹的目标多维位置信息，为之后的轨迹关联提供了真实可靠的数据基础。

由于AIS在数据上报以及雷达目标探测时存在信息传输的误差，导致系统接收到的目标信息点和真实位置存在一定的误差。对于该误差可以通过距离比较进行判断，例如目标在很短一段时间内近似可以看作以速度v沿直线行驶，其在t1时刻的位置为P1(x1,y1)，t2时刻的位置为P2(x2,y2)。首先计算出在这段时间的位置变化D1，而通过v(t2-t1)可以求得目标的理论移动距离D2，当D1与D2之间的差值过大时，就可以任务位置信息出现错误。

对于出现问题的位置信息可以通过三次样条插值法进行修复，其中t_i为时间，取值为0到n-1的整数，x_i为纬度，y_i为精度，M_i为S在t_i处的二阶导数，h_i= t_i+1-t_i。对S(t)求导可得到S’(t)，令S’(t+0) = S’(t-0)得到轨迹点M_i的线性方程组，求解方程组可得修复后的轨迹点M₁,M₂,....M_n。

根据海上目标的运动规律，一个目标不可能在短时间内出现在相聚很远的地方，因此当系统在进行实时数据关联时，如果两个数据在一定的时间阈值内相距较远，那么就可以认为这两个数据之间的关联性很小或者不存在横向关联[26]。同理，如果两个数据之间的时间间隔大于某个阈值，二者之间也不可能具有数据相关性。因此在数据关联之前可以先对数据在时间和空间上进行初步的筛选，根据不同类型传感器的特点，设置对应的时间和空间上的阈值范围，从而筛选出满足条件的待关联数据，这样可以大幅减少数据关联的计算量。

例如系统接收到雷达探测点集合R中共有m条航迹和AIS上报的n条轨迹数据集A。接下来对两个数据集中目标的特征属性进行判断是否可以进行关联，通过对目标属性例如位置、航速、方向等信息作差，如果小于特定的阈值，则可认为两个数据可能存在相关性，可以进一步关联融合。在对雷达探测点和AIS航迹点进行数据关联时，可以采用位置最近邻判断法，在多组数据之间计算距离最小的数据点进行关联。

进一步优化方案，所述多级数据存储模块包括：实时数据库模块、历史特征库模块、目标信息图谱模块。在上述实时关联形成多维度目标特征数据后，将以增量数据的方式添加到历史特征库模块中，以不断丰富和完善海上目标的信息。本实施例中，存储时，通过三级数据存储架构对海上目标的增量式异构数据进行存储，具体地：底层传感器在工作时会源源不断地将实时感知数据上传到服务器，在满足数据快速写入保证数据不丢失的同时还要保证用户可以访问实时数据。另一方面，通过海量数据库对增量历史信息进行储存并保证数据的快速检索。多级数据存储模块的工作过程如图2所示，首先实时数据库模块通过数据接入模块获取海上目标的增量感知数据，其内部通过主从数据库同步实现对读写请求的访问；然后经过历史特征库模块的数据转储，目标的特征数据将从实时数据库模块持久化到历史特征库模块进行储存，并通过特征检索模块提供对目标多维历史特征信息的查询。同时，将目标历史特征数据的索引以目标节点为中心关联起来储存到信息图谱模块，这样不仅利于特征数据检索，还有利于目标实体的融合。

其中，实时数据库模块，将解析后的实时海上数据进行储存，将不同传感器探测到的数据分别存入不同的数据表，同时可以按照不同的表对应的设备实现实时数据查询；

具体地，在数据接入模块不间断地将传感器探测到的数据存入实时数据库模块的同时，前端用户也会对海域实时感知数据进行查看，实时数据库模块需要频繁地读取最新数据返回给用户，这时由于同时进行数据的写入和读取请求会对实时数据库产生较大的操作负载，因此采用主从数据库将数据的读取和写入分开，缓解数据库访问压力，进而提高实时库的可用性。用两个数据库保存海上目标的实时数据，其中一个数据库负责写入海上传感器探测到的实时数据，另一个数据库负责返回对目标数据的查询请求。实现主从数据库最重要的就是通过数据同步来保证两个数据库中的实时目标数据的一致。首先主库接收到数据更新请求时会将数据操作写入Binary log并完成数据库操作。从数据库中有I/Othread 和 SQL thread 两个线程,通过I/O thread 向主库发送请求，主库接受请求完成检验后发送将Binary log给从库。从库收到Binary log后将其写入本地日志relay log。之后从库的SQL thread通过解析Relay log完成对从库的操作，从而保证了数据的一致性。

历史特征库模块，用于对目标历史特征信息进行储存，当目标的数据经过比对关联，实时数据库中的会形成关于目标更为全面的感知信息，目标数据量会迅速增长，实时数据库无法负担大量数据的存储压力，因此当实时数据库数据达到预设存储量时，将该实时数据库模块中存储的数据转存到所述历史特征库模块中；

具体地，当实时数据库中的数据随着时间的累积到一定程度的时候，MySQL便无法对如此庞大的数据量进行储存，这时HBase便成为了应对海量数据存储的最佳选择。为了便于对目标的历史特征进行存储和索引，需要特别对HBase数据的表结构进行设计，以便于通过简单的数据索引对海量历史特征进行快速检索。HBase的表结构和关系型数据库只有一个列不同，它由多个具体的列Col组成列簇Column Family，一个表的列簇不能超过5个，但是每个列簇具体的列数量没有限制。在创建表时只需要确定列簇，然后在添加数据时再根据需要添加具体的某一列。列相当于属性，每个列存放对应的属性值。Row Key为行主键，用于区分不同的个体。与关系型数据库支持各种复杂的条件查询不同，HBase只支持通过行主键对数据进行检索。TimeStamp为时间戳，每个具体数据单元格中会根据不同时间记录存放不同的数据以便进行历史数据的回溯。

为了对目标的轨迹、告警事件等历史信息进行储存，需要分别为每个维度的目标特征单独建立一张表。例如通过数据表track_info来保存目标轨迹相关的历史信息，在其中采用航船目标的MMSI号码作为数据的行键用以对该行数据进行快速检索。在数据存储列中，分别采用AIS与Radar两个列簇来存储目标的AIS上报轨迹信息和雷达检测到的轨迹信息。在具体的列中，将轨迹以天为单位进行切割储存，对应地用日期作为具体某一列的索引。这样通过行键与列就可以唯一定位到目标某一天的轨迹数据。对于一天的轨迹数据，为了更好地压缩与数据转换，采用JSON字符串的格式将目标的轨迹点储存起来。每一个轨迹点都可以看作一个JSON键值对，其中轨迹点的时间作为键yyyy-MM-dd HH:mm:ss（年-月-日时:分:秒），轨迹点的经纬度作为值。这样目标的轨迹数据就可以紧凑且高效地存入海量数据库HBase中。

由于需要定期将MySQL中的数据转储到HBase中，这里使用Linux脚本工具crontab来定时执行转存的程序。Crontab全称为crond table，是系统命令crond的配置文件，crond在系统启动之后会每分钟检查一次配置文件，如果其中存在应该执行的脚本文件就会启动执行。而crond table就是系统执行定时任务的的时刻表，通过对其进行配置可以设置需要定时执行的任务，其控制命令可以简写为crontab。通过crontab -e可以对任务表进行编辑，在其中增加一条命令使系统在每天0时0分执行一次转储任务脚本：0 0 * * * /home/hadoop/load_data.sh。其中前五位分别代表任务执行的分钟、小时、日期、月份、星期几，后面跟上需要执行的脚本命令。前两位的“0”代表0时0分执行一次，第三个字段"*"代表所有的取值范围内的数字，表示1-31日每一天都需要执行，同理后面两个字段代表每个月、无论周几都执行。

目标信息图谱模块，用于对目标、数据节点进行储存，实现对目标之间的关联关系进行准确刻画；通过信息图谱中节点之间的关联关系，对不同数据节点进行关联查询。

本实施例，目标信息图谱的实现主要依赖于图数据库Neo4j，它可以通过原生图结构的方式对目标节点与节点之间的关联关系进行存储。随着传感器网络对目标的不断探测与感知，历史信息库HBase中会逐渐累积越来越多的目标感知、特征、行为等数据，以及生成的对目标进行分析判断数据。这时就需要使用目标信息图谱对海量的历史特征信息进行快速高效的检索与信息关联。具体地来说，在信息图谱的目标节点中通过对目标多维度历史特征数据的行键索引进行存储，可以为多维度历史信息的查询和索引提供便利。例如需要对HBase中的某一目标的历史信息进行检索时，可以首先从信息图谱中的数据节点中获取历史数据的索引信息，再利用索引对 HBase 进行具体特征数据的查询，从而加速海量数据的检索。

船只目标在Neo4j的部分信息节点图节点(Node)是主要的数据元素，表示一个船只目标或数据信息，在这个信息图谱中共有三种节点类型，分别是船只节点Ship、航迹节点Track、图像节点Image以及事件节点Event，每种节点都对应储存相应类型的数据。每个节点都有各自的属性(Properties)用于描述实体的特征，以键值对的方式表示，其中键是一个字符串，并且可以对属性创建索引和约束。例如Ship节点就有相应的属性值对船只进行详细描述，例如船舶IMO、MMSI和呼号，船舶名称和类型，船舶的长宽等信息。关系(Relationships)表示实体之间的联系，关系具有方向，箭头指向不同，关系也不同。两个实体之间可以有多个关系，并且还可以为关系添加属性。为了将船只和轨迹、事件和图片节点关联起来，这里使用TRACK、IMAGE、EVENT三种关系分别将相应的节点串联起来。

在上述信息图谱中，不同目标的感知信息节点构成的目标信息图谱中蕴藏着十分丰富的目标关联信息，通过对信息图谱中的节点关系进行挖掘可以完善对目标信息的识别。例如对于不同设备对同一个目标在相同的时间探测到的数据节点，它们会关联到同一个目标节点，这样二者在同一时间维度上就存在着横向关联。类似地，如果是相同的探测手段在不同时间探测到同一个目标信息，那么二者在纵向的时间维度上就存在着纵向关联。由此推理，不同时间、不同地点由不同设备探测得到的感知数据就存在斜向关联。随着历史信息库的不断累积丰富，增量式的实体信息会不断地添加到信息图片，同一目标的时空数据、环境信息、目标信息等多维度数据会在横向、纵向、斜向关系的关联下进行数据融合，经过多次实体节点树的反复叠代和对齐，会形成一个逐渐完善的海域目标信息网。除了在目标信息图谱中添加新的感知数据节点之外，新添加的关联信息还可以对存在缺失或错误的历史关联信息进行纠正，从而使对目标的识别信息更加准确和完善。

在一些实施例中，数据接入模块还用于将处理好的实时数据写入到实时数据库中供上层分析和查看。

进一步优化方案，所述数据融合模块还包括：特征匹配模块、增量融合模块；

其中，特征匹配模块，用于当目标实体存入历史特征库模块时，来将增量的目标实体和历史目标实体进行特征匹配，以此判断目标实体与历史目标实体是否为同一个目标实体，若是，则发送到增量融合模块，否则将目标作为新增实体添加到目标信息图谱模块；其中，判断是否为同一目标的方法为：如果和其中某一个历史实体相似度高于一定的阈值，则认为二者属于同一个目标。在多级历史信息数据库中存储着海量目标的多源异构特征数据，例如静态船只信息、动态轨迹曲线以及光电成像图片等，实现历史信息融合的关键就在于充分利用历史信息库中的多维目标信息进行特征的比对判别，从而得出不同目标之间的相似度。

在本发明的众多维度的目标特征中，由于光电图片可以更为直观清晰地对目标的静态信息进行刻画，而且具有很好的识别性和不可篡改性，所以系统将光电图像作为目标特征比对的主要方式，并且采用目标识别领域常用的孪生神经网络作为海上船舶图片相似度的判别方法。如图5所示，孪生神经网络（Siamese neural network）是由两个结构相同、权值共享的神经网络耦合而成的网络架构。通过输入两个样本进行网络运算，提取目标样本高维度的特征信息，从而对两个样本的相似度进行比较^［27］。其中的神经网络可以由卷积神经网络(CNN)、循环神经网络(RNN)等常见的神经网络组成，网络参数只需要在网络训练时对参数进行更新即可，在图片检测与匹配时不再需要更新，因此匹配效率较高。而且孪生神经网络还可以进行小样本学习且不易被错误样本干扰，适用于海上船只样本数据较少但对容错率要求严格的目标识别领域。

具体地，孪生神经网络的两个输入为X1、X2，经过网络映射函数Gw(x)后可以提取到用于X1、X2某种维度的特征向量Gw(X₁)、Gw(X₂)，之后通过计算两个特征向量之间的欧氏距离可以得到网络的损失函数Ew，进而判断两个输入之间的相似度。可以看到计算过程中所使用的映射函数Gw(x)是相同的，且权值是共享的，即使用了相同的特征提取器对输入数据进行特征算子的提取。并且在最后通过计算二者之间的距离来构造损失函数，从而进行网络的训练。

Inception模块用于从多个卷积尺度对图片中的目标特征进行信息提取，利用不同大小的卷积核对特诊提取精度不同的特点，增加网络对不同大小目标图片的适应性，提升特征提取效率。由于输入网络的图片在图像角度和大小方面存在差异，系统在进行网络池化操作前增加了Inception模块以提高特征提取网络的泛化能力和对不同目标图片的适应性。Inception模块的结构将输入特征分别经过三种卷积核大小不同的卷积网络，最后将卷积后的结果拼接在一起形成输出特征。在Inception中通过许多1×1的卷积核对同一个输入的感受野进行叠加卷积，从而对输入模块提取更丰富的目标特征。此外1×1的卷积核还可以起到降低维度，减少计算复杂度的效果。而1×1、3×3、5×5、7×7、11×11等不同大小的卷积核则是为了在不同尺度大小下对目标的特征进行提取，得到目标更多的语义特征，进而为比较和判别提供更多的信息。Inception模块通过大量小儿精准的网络结构来替代大型卷积网络结构，可以加速网络训练时收敛速度。并且通过Inception模块可以将相关性较强的特征聚集在一起进行强化，把不相关的特征进行了弱化。

具体地，为了对增量目标和历史信息库中的目标进行匹配，需要一定的方法来度量两者之间特征的相似度。孪生神经网络是利用一定的距离度量来表示样本之间的相似度，然后通过不断调整神经网络的参数来减小同一类样本之间的距离，或者增大不同目标图片之间的距离，从而实现对不同目标图像的区分。而对目标图片之间的距离评价则需要通过损失函数的计算来进行。

其中N为输入样本的个数，Dw(X1,X2)为样本图片X1与目标图片X2之间的欧氏距离。y表示样本图片X1和X2是否为同一个目标，如果匹配成功则y=1，否则y=0。m为约束项系数，用于对正负样本距离进行调节，负样本的距离要大于m。因此神经网路训练的目的是通过对网络参数的调节，使得同一个目标样本之间的损失值越来越小，而不是同一个目标的样本距离值越来越大，从而增强网络对不同目标差异性的捕捉。因此在一些网络中通过输入三张图片样本来进行网络训练，分别是目标图像(anchor)、正样本(positive)和负样本图像(negative)，通过正负样本对比训练使负样本对的距离大于正样本，

通过梯度下降的方式对网络的参数进行调整，利用求偏导的方式计算新的参数值。其中θ为需要调整的参数，L(x,y)为函数值，利用dL/dθ 表示梯度，即L减小的方向，再与学习率α相乘，得到参数变化值，再用当前的θ减去该值，得到新的参数θ。如果每次都在整个数据集上计算损失和梯度会带来庞大的计算量，导致计算速度变慢，因此采用随机梯度下降法(Stochastic Gradient Descent,SGD)只计算随机一个样本的梯度来获取卷积网络的参数。

具体地，增量信息融合模块首先对目标进行特征提取，通过和历史特征库中的对象进行特征比对匹配，如果属于同一个目标，则将二者进行节点融合后再存入目标信息图谱。实时数据关联对多手段采集的数据进行关联，充分利用在同一时间捕捉到的多维数据在空间上互相协调、手段上优势互补的特点，弥补单一传感器手段探测的不确定与局限性的缺点，使系统尽可能地获得比单个传感器手段更为全面充分的信息，快速准确地描述目标对象特征，进而为海上目标的识别提供可靠的决策依据。

本实施例中，在进行信息融合时，历史信息库模块中的目标会随着时间的累积扩增成海量级，新增目标与历史目标的匹配融合计算量也会成指数级上升，在单一计算节点上进行目标特征的比对融合会受制于庞大的数据量或者有限的机器资源（如CPU、内存和磁盘）而变得十分缓慢。另一方面，通过分布式对海量数据进行存储，目标的特征数据都分散在不同的数据节点，采用中心式的数据融合需要在数据节点直接多次传输特征数据，带来的传输延迟是无法估量的。因此仅仅只靠一台数据服务器中心进行数据融合计算可能无法承载海量的计算任务，利用分布式计算平台来并行化执行计算任务显得尤为重要。通过在Spark平台上并行地进行数据融合计算并使用资源管理器YARN调度执行并行任务，可以有效地提高海量目标节点的数据匹配和融合效率，从而更好地为海上目标识别提供数据支持。

其中历史目标的匹配和融合过程主要分为两个部分，一个是和历史信息库中的目标进行逐一匹配计算与所有历史目标尸体的相似度，其时间复杂度为O(nk)=历史库中目标节点个数n*目标数据的维度k，第二个是将目标节点添加到历史信息库中，时间复杂度为O(1)。因此对一段时间内m个目标进行历史融合计算的时间复杂度O=mnk。可以看到随着目标节点数的不断增加，匹配计算的时间复杂度也会快速上升，普通的计算节点在内存和处理能力上可能无法满足海量计算的要求，因此需要通过Spark并行化地进行目标节点的匹配，提升计算效率。

如图6所示，首先通过Spark SQL从实时数据库中以DataFrame的形式加载待匹配的目标实体的多维度数据，并将其转换为RDD的形式。

使用工具neo4j-spark-connector连接neo4j和spark，获取多个历史目标节点的相关信息索引，并行地从分布式历史数据库中分别加载不同目标的多维数据并转化为RDD。

通过对目标静态信息（如船只外形、呼号）、动态信息（如航速、实时图像）进行比对，在各个节点并行计算和不同目标之间的相似度，将计算后的相似度进行汇总，对目标是否在历史信息库中出现过进行判断。如果出现过则将新目标实体和历史节点进行融合，否则在历史信息库中新增节点。

进一步优化方案，如图4所示，本系统还包括展示应用模块，向使用人员提供直观的交互工具，所述展示应用模块包括第一查询模块，与所述数据接入模块连接，用于查询目标的实时数据，并将控制命令经过数据接入模块的封装之后发送给感知探测层的各个设备。所述展示应用模块还包括第二查询模块，与所述多级数据存储模块连接，用于查询目标的特征信息。

工作时，如图4所示，首先用户通过展示应用模块发起对目标信息的查询请求。展示应用模块向数据接入模块查询目标的实时数据，并将控制命令经过数据接入模块的封装之后发送给感知探测层的传感器终端。感知探测层将传感器探测到的海上实时数据返回给数据接入模块，经过数据解析之后再将目标实时探测数据存入多级数据存储模块。完成实施感知数据的存储之后，展示应用模块会向多级存储模块发起对目标的特征信息进行查询请求。多级数据存储模块将其中的目标特征信息经由数据融合模块完成目标数据的实时关联和增量融合之后将融合结果存入多级存储模块。最后多级存储模块中的目标信息会经由展示应用模块呈现给用户。

进一步优化方案，所述目标的信息包括静态数据、动态数据。本实施例中的静态信息包括形状、类型等，动态信息包括航速、航向、角度等。

进一步优化方案，所述数据融合模块还包括并行计算模块，用于通过对静态信息、动态信息进行比对时，在各个节点并行计算和不同目标之间的相似度，将计算后的相似度进行汇总，判断目标是否在历史特征库模块中出现过，如果出现过，则将新目标实体和历史节点发送到增量融合模块进行融合，否则在历史特征库模块中新增节点。具体地，在进行特征提取和目标匹配时，由于历史特征库中的计算量十分庞大，通过并行计算模块加速计算过程，将融合时间控制在合理的时间范围内，因此采用并行计算模块对历史特征库模块中存在大量的目标实体以及特征信息进行逐一比对计算时减小延迟，通过并行计算对匹配融合过程进行加速以满足时间性能需求。

在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本发明的实施，其中的步骤顺序不作限定，可根据需要作适当调整。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种面向海上目标识别的多级增量数据融合系统，其特征在于，包括：

数据融合模块，用于判断是否需要进行数据融合，对于满足数据融合条件的，则进行数据融合；在数据融合之前先对数据在时间和空间上进行初步的筛选，根据感知探测层中各设备的特点，设置对应的时间和空间上的阈值范围，从而筛选出满足条件的待融合的数据；

数据接入模块，所述感知探测层与所述数据融合模块通过所述数据接入模块连接，用于对所述多维数据进行解析后发送到所述数据融合模块中；对于感知探测层中每个不同设备，通过提供配置接口，根据需求的不同，开发不同的协议将设备加入到系统，当协议发生更改时，接口进行热插拔即可，无需重启系统；

2.根据权利要求1所述的系统，其特征在于，所述数据接入模块包括：

3.根据权利要求2所述的系统，其特征在于，所述多级数据存储模块包括：

4.根据权利要求3所述的系统，其特征在于，所述数据融合模块包括：

5.根据权利要求4所述的系统，其特征在于，所述数据融合模块还包括：

6.根据权利要求1所述的系统，其特征在于，还包括展示应用模块，所述展示应用模块包括第一查询模块，与所述数据接入模块连接，用于查询目标的实时数据，并将控制命令经过数据接入模块的封装之后发送给感知探测层的各个设备。

7.根据权利要求6所述的系统，其特征在于，所述展示应用模块还包括第二查询模块，与所述多级数据存储模块连接，用于查询目标的特征信息。

8.根据权利要求5所述的系统，其特征在于，所述目标的信息包括静态数据、动态数据。

9.根据权利要求8所述的系统，其特征在于，所述数据融合模块还包括并行计算模块，用于通过对静态信息、动态信息进行比对时，在各个节点并行计算和不同目标之间的相似度，将计算后的相似度进行汇总，判断目标是否在历史特征库模块中出现过，如果出现过，则将新目标实体和历史节点发送到增量融合模块进行融合，否则在历史特征库模块中新增节点。