CN108038000B - 一种基于海上交通流量的动态分区处理方法 - Google Patents

Abstract

本发明公开了一种基于海上交通流量的动态分区处理方法，包括：步骤1：任务单元初始化：将待处理的港口监视区域平均分为n个子区域，每个子区域为一个任务单元的处理范围，第i个任务单元记为A_i；步骤2：进行处理任务的分配：为每个任务单元A_n分配独立的航迹数据处理进程P_n，根据接收的实时海情信息，对目标当前所处子区域位置进行判断，将隶属于任务单元A_i的目标数据，流转分配到相对应的航迹数据处理进程P_i；步骤3：各任务单元交通流量预测：基于状态空间模型对各个任务单元的交通流量进行预测；步骤4：根据交通流量对任务单元的处理范围进行调整；步骤5：对目标标识进行同步处理。

Description

一种基于海上交通流量的动态分区处理方法

技术领域

本发明属于海上交通信息融合处理领域，尤其涉及一种基于海上交通流量的动态分区处理方法。

背景技术

随着海上目标数量的增加，海上交通管理系统对处理容量需求的提升，单进程串行处理的方式已逐渐成为瓶颈问题。受制于成本和技术发展，仅仅通过升级计算机资源、提升单进程处理性能已无法解决大批量目标的处理需求。并行化处理是科学界解决复杂应用计算的重要方法。首先，在计算机体系结构中，多核逐渐成为主流，多核CPU的计算密度更高，并行处理能力更强；另外，服务器逐渐向着大规模集群化且廉价化的方向发展。充分利用多核资源和集群化服务器的优势，从软件架构上采用并行处理方式是一种提高系统处理容量的可行方法。近年来各国并行计算技术突飞猛进，有网格计算、云计算、分布式计算等。

在实际应用场景中，往往由于各个处理模块的负载不均衡而导致系统的总体性能并没有达到预期的指标，因此未来在研究并行处理算法时，动态调整分配处理模块的负载将是研究的重点。

发明内容

本发明针对现有技术的不足，公开了一种基于海上交通流量的动态分区处理方法，包括如下步骤：

步骤1：任务单元初始化：将待处理的港口监视区域平均分为n个子区域，每个子区域为一个任务单元的处理范围，则共有n个任务单元，每个任务单元的处理范围为一个处理区域，第i个任务单元记为A_i，i＝1,2,...,n；

步骤2：进行处理任务的分配：为每个任务单元A_n分配独立的航迹数据处理进程P_n，根据接收的实时海情信息，对目标当前所处子区域位置进行判断，将隶属于任务单元A_i的目标数据，流转分配到相对应的航迹数据处理进程P_i；

步骤3：各任务单元交通流量预测：基于状态空间模型对各个任务单元的交通流量进行预测；

步骤4：根据交通流量对任务单元的处理范围进行调整；

步骤5：目标标识同步处理。

步骤1包括如下步骤：

步骤1-1：确定任务单元个数：假设处理指标要求为N批实时目标每分钟，单个处理进程的处理能力为N₀批实时目标每分钟，则任务单元的个数至少为n＝N/N₀；

步骤1-2：划分任务单元范围：以纬度为分界线，将待处理的港口监视区域平均划分为n个互不重叠的子区域，子区域与子区域之间无缝连接，每个子区域为一个任务单元的处理范围，则共有n个任务单元，第i个任务单元记为A_i，i＝1,2,...,ni＝1,2,...,n，第i个任务单元包含的处理区域为从纬度B_i-1到B_i，B_i、B_i-1分别为第i个任务单元处理边界的纬度的上限和下限。

步骤2中，判断目标所属子区域位置的方法为：目标当前纬度B_T满足B_i-1＜B_T≤B_i，则将目标流转到第i个处理进程P_i处理。

步骤3包括如下步骤：

步骤3-1：建立多维自回归模型：假设在t时刻n个航迹数据处理进程的交通流量为{q_it,i＝1,2,...,n}，将其组成n维时间序列Q_t＝(q_1t,q_2t,...,q_nt)，q_it表示t时刻第i个航迹数据处理进程的交通流量，根据时间序列Q_t建立多维自回归模型，确定回溯系数p后，得到：

Q_t＝C₁Q_t-1+C₂Q_t-2+...+C_pQ_t-p+W_t (1)

其中，C₁～C_p为n×n维系数矩阵，Q_t-p为t-p时刻n个处理区域的交通流量组成的时间序列，W_t为高斯白噪声序列；

步骤3-2：建立状态空间模型：令X_t＝(Q_t Q_t-1 ... Q_t-p+1)^T表示t时刻的状态向量，X_t-1＝(Q_t-1 Q_t-2 ... Q_t-p)^T表示t-1时刻的状态向量，Y_t＝Q_t表示观测向量，则式(1)表示的时间序列模型转化为如下状态空间模型：

Y_t＝[I₂ 0,...,0]X_t+V_t (3)

式(2)、(3)分别表示状态方程和量测方程，对应的状态转移矩阵F_t和观测矩阵H_t分别如下：

H_t＝[I₂ 0,...,0] (5)

其中，U_t为状态白噪声，V_t为观测白噪声，I₁为n(p-1)维单位矩阵，I₂为n维单位矩阵；

步骤3-3：卡尔曼滤波预测：应用标准卡尔曼滤波公式对式(2)、(3)进行滤波估计，得到n个任务单元的交通流量分别为{q_i,i＝1,2,...,n}，q_i表示第i个任务单元的交通流量。

步骤4包括如下步骤：

步骤4-1，以1整分的纬度为1个网格单元，则第i个任务单元的的处理范围表示为ΔB_i：

ΔB_i＝B_i-B_i-1 (6)

步骤4-2，假设各个子区域内对应任务单元的交通流量分布均匀，则第i个子区域内每个网格单元的交通流量为q_i/ΔB_i；

步骤4-3，从第1个任务单元A₁开始考虑，如果q₁＞N₀，则调整后的第1个任务单元处理范围ΔB₁'为：

ΔB₁'＝[N₀×ΔB₁/q₁] (7)

其中，[x]表示不大于x的最大整数，如果q₁≤N₀且q₁+q₂＞N₀，则需要将第2个处理区域的部分范围补充到第1个处理区域中，调整后的第1个任务单元处理范围ΔB₁'为：

ΔB₁'＝ΔB₁+[(N₀-q₁)×ΔB₂/q₂] (8)

直到调整后的处理范围ΔB₁'内的交通流量q₁'满足q₁'≤N₀，且(ΔB₁'+1)范围对应的交通流量大于N₀；

步骤4-4，从(B₀+ΔB₁')开始考虑第2个处理区域的调整，方法同步骤4-3，直到所有的交通流量

平均分配到各个任务单元的处理范围；

步骤4-5，如果当前所有的交通流量

未达到系统指标，即

且：

则顺序激活m个航迹数据处理进程，其中m为不小于

的最小整数，剩余的(n-m)个处理进程处挂起状态。

步骤5包括如下步骤：

步骤5-1，为各个航迹数据处理进程分配不重叠的目标批号标识段，当第i个航迹数据处理进程出现新目标时，在对应的批号段寻找未使用的目标批号P_T对目标进行编批，并置上批号占用标记；

步骤5-2，当步骤5-1中所述新目标运动到第i+1个任务单元的处理范围时，第i+1个航迹数据处理进程通过访问TimesTen内存数据库获取该目标已有综合批号P_T时，不再进行编批处理，而是沿用P_T，保证目标标识的唯一性；当目标在所有任务单元的处理范围都不存在时，则删除批号P_T的占用标记，释放批号资源；

步骤5-3，当任务单元的处理范围重新划分后，根据调整后的处理区域将目标分发到对应的航迹数据处理进程。由于各个处理进程访问的是一份内存数据库，时刻保持数据同步，所以处理不需做改变。

本发明将管辖的海上封闭区域划分成多个独立的处理区域，每个区域有对应的独立处理进程，系统接收海上目标数据，根据当前所处位置分发给对应区域的处理进程；处理进程基于内存数据库实现，解决访问相邻区域目标数据的问题，避免相邻区域的目标仍需通过分配另外的处理进程来进行关联融合计算，以及带来的一系列同步问题，大大地降低了系统的复杂性；系统定时地通过状态空间法统计、预测每个区域的交通流量，根据交通流量的比例重新调整各个处理区域的大小，之后再一次地统计各区域的交通流量并调整处理区域大小，迭代多次到各个处理进程的处理负载近似均衡时停止，从而保证系统在目标分布不均匀的复杂环境下同样能达到大批量目标的处理能力；系统根据调整后的处理区域将目标分发到对应的处理进程。

本发明针对诸如上海等地海事局辖区水上目标数量大的水上目标处理场景，为解决现有的基于共享区的并行处理算法在进行多机器集群扩展计算资源时带来的数据同步等问题，提出基于内存数据库的数据同步与访问方式；以及针对不同水域交通流量分布不均衡的场景，提出基于状态空间的阶段性交通流量统计与迭代地动态调整区域划分方法，解决复杂场景下大批量目标的处理问题。

本发明具有如下特点：(1)建立状态空间模型对处理区域的交通流量进行预测，不仅考虑到了每个区域受自身过去时间段交通状态的影响，还考虑到了受相邻区域的过去时间段交通状态的影响，并将单点区域预测推广到多点同时预测，提高了所有处理区域交通流量预测的效率，以及预测的可靠性；

(2)区别于以往固定分区的方式，根据预测的交通流量，重新调整各处理区域的分布，使得各处理区域的交通流量近似相同，各处理进程的处理负载近似相等，从而在保证系统处理指标的同时，降低计算机资源的占用；

(3)区别于以往各进程独立分配管理内存的方式，本处理进程基于TimesTen内存数据库实现，解决访问相邻区域目标数据的问题，避免相邻区域的目标仍需通过分配另外的处理进程来进行关联融合计算，以及带来的一系列同步问题，大大地降低了系统的复杂性。而且内存管理独立，即使down机，重启后数据还在。

有益效果：本发明能够在集群化服务器多进程并行处理，实现对大批量目标在分布不均匀的复杂场景下的实时处理，生成全系统目标标识唯一、要素统一、航迹连续的目标态势，为用户掌握管辖海域内的所有海情态势提供保障。本发明的效果已在XXVTS系统的研制中得到了验证。本发明将管辖的海上封闭区域划分成多个独立的处理区域，每个区域有对应的独立处理进程，接收海上目标数据，根据当前所处位置分发给对应区域的处理进程；处理进程基于内存数据库实现，解决访问相邻区域目标数据的问题，避免相邻区域的目标仍需通过分配另外的处理进程来进行关联融合计算，以及带来的一系列同步问题，大大地降低了系统的复杂性；定时地通过状态空间法统计、预测每个区域的交通流量，根据交通流量的比例重新调整各个处理区域的大小，之后再一次地统计各区域的交通流量并调整处理区域大小，迭代多次到各个处理进程的处理负载近似均衡时停止，从而保证系统在目标分布不均匀的复杂环境下同样能达到大批量目标的处理能力；根据调整后的处理区域将目标分发到对应的处理进程。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1是本发明基于交通流量的动态分区处理流程图；

图2是任务单元示意图；

图3是处理任务分配示意图；

图4是基于状态空间模型的交通流量预测流程图；

图5是任务分区调整流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

下面结合实例说明本发明的具体方法，本实施例中提出了将一个封闭区域划分成多个区域，基于内存数据库实现并行化处理的技术，并且解决了基于交通流量的定期统计结果对封闭区域重新划分带来的数据调整问题，参见图1，包括如下步骤：

步骤1：任务单元初始化：

将待处理区域(港口监视区域)平均分为多个子区域，每个子区域即为一个任务单元,具体如下：

步骤1-1：确定任务单元个数：

假设系统的处理指标要求为N批实时目标/每分钟，单个处理进程的处理能力为N₀批实时目标/每分钟，则任务单元的个数至少为n＝N/N₀。

步骤1-2：划分任务单元范围：

以纬度为分界线，将待处理区域平均划分为n个互不重叠的区域{A_i,i＝1,2,...,n}，区域与区域之间无缝连接，每个区域为一个任务单元的处理范围，见图2。

步骤2：处理任务分配：

为每个任务单元{A_i,i＝1,2,...,n}分配独立的航迹数据处理进程{P_i,i＝1,2,...,n}，系统接收实时海情信息，对目标当前所处位置进行判断，将隶属于某任务单元的目标数据，流转分配到相对应的航迹数据处理进程，见图3。

判断目标所属区域的标准：目标当前纬度B_T满足B_(i-1)＜B_T≤B_i，B_i、B_i-1分别为第i个处理进程处理区域的纬度边界的上限和下限，则将目标流转到第i个处理进程P_i处理。

步骤3：各处理区域交通流量预测：

基于状态空间模型对各个处理区域的交通流量进行预测，见图4，具体如下：

步骤3-1：建立多维自回归模型：

假设在t时刻n个处理进程的交通流量为{q_it,i＝1,2,...,n}，组成n维时间序列Q_t＝(q_1t,q_2t,...,q_nt)。根据时间序列Q_t建立多维自回归模型，确定回溯系数p后，得到

Q_t＝C₁Q_t-1+C₂Q_t-2+...+C_pQ_t-p+W_t (1)

其中，C₁～C_p为n×n维系数矩阵，W_t为高斯白噪声序列。

步骤3-2：建立状态空间模型：

令X_t＝(Q_t Q_t-1 ... Q_t-p+1)^T表示t时刻的状态向量，X_t-1＝(Q_t-1 Q_t-2 ... Q_t-p)^T表示t-1时刻的状态向量，Y_t＝Q_t表示观测向量，则式(1)表示的时间序列模型可转化为状态空间模型如下：

Y_t＝[I₂ 0,...,0]X_t+V_t (3)

式(2)、(3)分别表示系统的状态方程和量测方程，对应的状态转移矩阵F_t和观测矩阵H_t有：

H_t＝[I₂ 0,...,0] (5)

其中，U_t为状态白噪声，V_t为观测白噪声，I₁为n(p-1)维单位矩阵，I₂为n维单位矩阵。

步骤3-3：卡尔曼滤波预测：

应用标准卡尔曼滤波公式对式(2)、(3)进行滤波估计(可参考数学手册)，得到n个任务单元的交通流量分别为{q_i,i＝1,2,...,n}。

步骤4：任务分区调整：

由于各处理区域以纬度为分界线，所以可以用覆盖的纬度大小表示其覆盖区域。以1整分的纬度为1个网格单元，第i个处理区域的的覆盖范围可表示为ΔB_i，

ΔB_i＝B_i-B_i-1 (6)

如处理区域(纬度：22°～22°10')的大小为10(即覆盖的网格单元个数为10)。

假设各个处理区域内的交通流量分布均匀，则第i个处理区域内每个网格单元的交通流量为q_i/ΔB_i。基于此重新调整各个处理进程的处理区域，以达到调整后的各个处理区域的交通流量近似平衡，见图5。调整的准则如下：

(1)从第1个处理区域A₁开始考虑，如果q₁＞N₀，则调整后的大小为

ΔB₁'＝[N₀×ΔB₁/q₁] (7)

其中，[x]表示不大于x的最大整数。如果q₁≤N₀且q₁+q₂＞N₀，则需要将第2个处理区域的部分范围补充到第1个处理区域中，调整后的大小为

ΔB₁'＝ΔB₁+[(N₀-q₁)×ΔB₂/q₂] (8)

直到调整后的处理区域ΔB₁'内的交通流量q₁'满足q₁'≤N₀，且(ΔB₁'+1)范围对应的交通流量大于N₀。

(2)从(B₀+ΔB₁')开始考虑第2个处理区域的调整，方法同(1)，以此类推，直到所有的交通流量

平均分配到各个处理区域。

(3)如果当前所有的交通流量

未达到系统指标，即

且

则系统只需顺序激活m个处理进程，其中m为不小于

的最小整数。剩余的(n-m)个处理进程处挂起状态，从而可节省计算机的资源。

步骤5：目标标识同步处理

处理进程对目标主要进行的处理有航迹滤波估计，航迹相关，目标编批，航迹融合等。传统的基于共享内存的方式，处理进程难以访问处理区域之外的数据。本发明的处理进程基于TimesTen内存数据库实现，解决访问相邻区域目标数据的问题，避免相邻区域的目标仍需通过分配另外的处理进程来进行关联融合计算，以及带来的一系列同步问题，大大地降低了系统的复杂性。

为各个处理进程分配不重叠的目标批号标识段(如第1个进程的编批范围为1000～1999，第2个进程的编批范围为2000～2999，以此类推)。当第i个处理进程出现新目标时，在对应的批号段寻找未使用的目标批号P_T对目标进行编批，并置上批号占用标记；当该目标运动到第i+1个处理区域时，第i+1个处理进程通过访问TimesTen内存数据库知道该目标已有综合批号P_T时，就不再进行编批处理，而是沿用P_T，从而可以保证目标标识的唯一性；当目标在所有的处理区域都不存在时，则删除批号P_T的占用标记，释放批号资源。

当处理区域重新划分后，系统只需根据调整后的处理区域将目标分发到对应的处理进程。由于各个处理进程访问的是一份内存数据库，时刻保持数据同步，所以处理不需做改变。

本发明提供了一种基于海上交通流量的动态分区处理方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (2)

1.一种基于交通流量的动态分区处理方法，其特征在于，包括如下步骤：

步骤1：任务单元初始化：将待处理的港口监视区域平均分为n个子区域，每个子区域为一个任务单元的处理范围，则共有n个任务单元，每个任务单元的处理范围为一个处理区域，第i个任务单元记为A_i，i＝1,2,...,n；

步骤2：进行处理任务的分配：为每个任务单元A_n分配独立的航迹数据处理进程P_n，根据接收的实时海情信息，对目标当前所处子区域位置进行判断，将隶属于任务单元A_i的目标数据，流转分配到相对应的航迹数据处理进程P_i；

步骤3：各任务单元交通流量预测：基于状态空间模型对各个任务单元的交通流量进行预测；

步骤4：根据交通流量对任务单元的处理范围进行调整；

步骤5：对目标标识进行同步处理；

步骤1包括如下步骤：

步骤1-1：确定任务单元个数：假设处理指标要求为N批实时目标每分钟，单个处理进程的处理能力为N₀批实时目标每分钟，则任务单元的个数至少为n＝N/N₀；

步骤1-2：划分任务单元范围：以纬度为分界线，将待处理的港口监视区域平均划分为n个互不重叠的子区域，子区域与子区域之间无缝连接，每个子区域为一个任务单元的处理范围，则共有n个任务单元，第i个任务单元记为A_i，i＝1,2,...,n，第i个任务单元包含的处理区域为从纬度B_i-1到B_i，B_i、B_i-1分别为第i个任务单元处理边界的纬度的上限和下限；

步骤2中，判断目标所属子区域位置的方法为：目标当前纬度B_T满足B_i-1＜B_T≤B_i，则将目标流转到第i个处理进程P_i处理；

步骤3包括如下步骤：

步骤3-1：建立多维自回归模型：假设在t时刻n个航迹数据处理进程的交通流量为{q_it,i＝1,2,...,n}，将其组成n维时间序列Q_t＝(q_1t,q_2t,...,q_nt)，q_it表示t时刻第i个航迹数据处理进程的交通流量，根据时间序列Q_t建立多维自回归模型，确定回溯系数p 后，得到：

Q_t＝C₁Q_t-1+C₂Q_t-2+...+C_pQ_t-p+W_t (1)

其中，C₁～C_p为n×n维系数矩阵，Q_t-p为t-p时刻n个处理区域的交通流量组成的时间序列，W_t为高斯白噪声序列；

步骤3-2：建立状态空间模型：令X_t＝(Q_t Q_t-1 ... Q_t-p+1)^T表示t时刻的状态向量，X_t-1＝(Q_t-1 Q_t-2 ... Q_t-p)^T表示t-1时刻的状态向量，Y_t＝Q_t表示观测向量，则式(1)表示的时间序列模型转化为如下状态空间模型：

Y_t＝[I₂ 0,...,0]X_t+V_t (3)

式(2)、(3)分别表示状态方程和量测方程，对应的状态转移矩阵F_t和观测矩阵H_t分别如下：

H_t＝[I₂ 0,...,0] (5)

其中，U_t为状态白噪声，V_t为观测白噪声，I₁为n(p-1)维单位矩阵，I₂为n维单位矩阵；

步骤3-3：卡尔曼滤波预测：应用标准卡尔曼滤波公式对式(2)、(3)进行滤波估计，得到n个任务单元的交通流量分别为{q_i,i＝1,2,...,n}，q_i表示第i个任务单元的交通流量；

步骤4包括如下步骤：

步骤4-1，以1整分的纬度为1个网格单元，则第i个任务单元的处理范围表示为ΔB_i：

ΔB_i＝B_i-B_i-1 (6)；

步骤4-2，假设各个子区域内对应任务单元的交通流量分布均匀，则第i个子区域内每个网格单元的交通流量为q_i/ΔB_i；

步骤4-3，从第1个任务单元A₁开始考虑，如果q₁＞N₀，则调整后的第1个任务单元处理范围ΔB₁'为：

ΔB₁'＝[N₀×ΔB₁/q₁] (7)

其中，[x]表示不大于x的最大整数，如果q₁≤N₀且q₁+q₂＞N₀，则需要将第2个处理区域的部分范围补充到第1个处理区域中，调整后的第1个任务单元处理范围ΔB₁'为：

ΔB₁'＝ΔB₁+[(N₀-q₁)×ΔB₂/q₂] (8)

直到调整后的处理范围ΔB₁'内的交通流量q₁'满足q₁'≤N₀，且(ΔB₁'+1)范围对应的交通流量大于N₀；

步骤4-4，从(B₀+ΔB₁')开始考虑第2个处理区域的调整，方法同步骤4-3，直到所有的交通流量

平均分配到各个任务单元的处理范围；

步骤4-5，如果当前所有的交通流量

未达到系统指标，即

且：

则顺序激活m个航迹数据处理进程，其中m为不小于

的最小整数，剩余的(n-m)个处理进程处挂起状态。

2.根据权利要求1所述的方法，其特征在于，步骤5包括如下步骤：

步骤5-1，为各个航迹数据处理进程分配不重叠的目标批号标识段，当第i个航迹数据处理进程出现新目标时，在对应的批号段寻找未使用的目标批号P_T对目标进行编批，并置上批号占用标记；

步骤5-2，当步骤5-1中所述新目标运动到第i+1个任务单元的处理范围时，第i+1个航迹数据处理进程通过访问TimesTen内存数据库获取该目标已有综合批号P_T时，不再进行编批处理，而是沿用P_T，保证目标标识的唯一性；当目标在所有任务单元的处理范围都不存在时，则删除批号P_T的占用标记，释放批号资源；

步骤5-3，当任务单元的处理范围重新划分后，根据调整后的处理区域将目标分发到对应的航迹数据处理进程。

Images