CN113299120B - 一种边云协同支撑的空中交通态势智能感知系统 - Google Patents

Abstract

本发明提供了一种边云协同支撑的空中交通态势智能感知系统，包括1)采集层，从空中交通运行终端采集数据并进行初步处理；2)分析层，完成对采集层数据的AI计算，提取结构化特征信息，形成局部态势；3)应用层，形成全局空中交通态势，提供决策支撑。其边云协同能力与内涵涉及数据协同、智能协同和业务管理协同。本发明的目的是缓解目前空中交通态势感知中终端数据处理能力弱、区域关联性差导致的感知不全面不准确的问题，同时满足鲁棒性和实时性要求。

Description

一种边云协同支撑的空中交通态势智能感知系统

技术领域

本发明属于计算机信息系统领域，尤其涉及一种边云协同支撑的空中交通态势智能感知系统。

背景技术

空中交通是我国经济社会持续快速发展的重要支撑。空中交通需求的日益增长对空中交通运行能力提出了新的要求。目前，民航航班延误问题严重，尤其在恶劣天气状况时。2017年度航班平均正常率仅为71.67％，造成经济损失超过500亿元。因此，亟待提高空中交通运行的效率和安全。

全面准确的态势感知是提高空中交通运行效率的基础。空中交通态势主要涉及空中交通所需资源(航路、场面资源等)及其使用者(航空器等)的状况。目前，空中交通态势感知缺乏区域间关联分析和运行数据共享，感知粒度粗、全面感知不足。此外，处理空中交通态势感知依赖的基础数据对计算能力要求高，比如陆空通话是提供空中交通管制服务的重要手段，卫星云图等气象信息是影响空中交通运行状态的重要因素。

受制于技术的发展，将人工智能和网络技术应用于空中交通态势感知领域仍存在以下问题：1)终端设备计算能力弱；2)区域关联性差；3)和通用应用领域相比，空中交通领域需要特别注意鲁棒性和实时性问题。作为解决终端大计算量需求和云中心计算迁移的计算模式，边云协同得到了广泛的应用。

基于Cloud-Cloudlet-Client(云-边缘-终端)的三层结构模型由卡内基梅隆大学和英特尔、IBM等公司组成的研究团队提出，在传统云计算Cloud-Client(云-终端)两层结构中间增加了Cloudlet(边缘/朵云)。云计算与边缘计算协同互补。云计算擅长全局性、非实时、长周期的大数据处理与分析，在长周期维护、优化业务决策等领域发挥优势。边缘计算更适用局部性、实时、短周期数据的处理与分析，能更好的支撑本地业务的实时智能化决策与执行。

边云协同放大云计算与边缘计算的价值，边缘计算靠近执行单元，更是数据初步处理单元，可以更好地支撑云中心应用。云计算通过大数据分析优化业务规则或者模型，然后下发到边缘云，边缘计算基于新的业务规则或模型运行。此外，边缘云具有完整的云计算能力，与智能终端同一个局域网络中，在云中心不可用的情况下继续为终端提供服务。

发明内容

发明目的：本发明拟聚焦空中交通态势感知中终端数据处理能力弱、区域关联性差导致的感知不全面不准确的问题，构建一种边云协同支撑的空中交通态势智能感知系统，同时满足鲁棒性与实时性的要求。

所述系统包括采集层、分析层和应用层；

其中分析层和应用层分别部署于空中交通态势智能感知系统的边缘节点与云中心节点；

所述采集层用于采集空管运行终端产生的话音、文本、图片视频数据，并将数据传输到分析层；

所述分析层的边缘节点基于多粒度表征学习以及异步数据关联技术完成对采集层异构数据融合，基于实体识别与关系抽取技术提取结构化特征信息，形成各个民航地区空中交通管理局的局部态势；

所述应用层用于云中心融合边缘节点中各个民航地区空中交通管理局的局部态势，形成全局的空中交通态势。

所述分析层内部采用层级结构，分为一级边缘节点、二级边缘节点和三级边缘节点，其中，一级边缘节点形成地区所辖区域内的运行态势；二级边缘节点形成各地区管理局下设的省空管单位所辖区域内的运行态势；三级边缘节点形成本管制区域的运行态势。

系统执行如下步骤：

步骤S1，在采集层，空管运行终端的数据经过去除异常、错误数据等初步处理后，上传到分析层；

步骤S2，在分析层，边缘节点按照数据处理模型分析数据，形成局部态势，将处理结果上传到云中心；

步骤S3，在应用层，云中心关联分析各局部的态势，形成全局的空中交通态势；

步骤S4，云中心根据全局的空中交通需求和服务能力，重新配置空中交通资源、开展业务编排；将业务编排的实例下发给边缘节点；

步骤S5，在边缘节点，执行云中心下发的新的业务实例；

步骤S6，返回执行步骤S1，重新采集数据、配置空中交通资源，直到满足动态的空中交通需求。

步骤S2包括以下步骤：

步骤S2-1，在采集层，空管运行终端上传训练现有的深度学习、强化学习等AI模型需要的数据到云中心；

步骤S2-2，在应用层，云中心基于全局的业务需求、采集层获取的历史数据、实时数据和AI执行反馈开展集中式AI模型训练，将训练好的AI模型下发到边缘节点，在应用层中包括多模态融合模型，多模态融合模型用于感知实时数据，将数据融合后提取信息；

步骤S2-3，在分析层，边缘节点执行云中心下发的AI模型，将执行结果反馈给云中心；

步骤S2-4，执行步骤S2-2，直到云中心训练的AI模型满足空中交通运行的动态需求。

步骤S2-2包括：定义多模态融合模型的总损失包括掩码语言建模损失、掩码目标建模损失和跨模态语义匹配损失，掩码语言建模损失是文本数据中词语间的语义依赖程度，掩码目标建模损失是图像数据中纹理间的语义依赖程度，跨模态语义匹配损失是图像与文本的语义单位间的依赖程度；

多模态融合处理包括掩码语言建模、掩码目标建模和跨模态语义匹配：

在掩码语言建模中，训练目标是使语言表示联合概率分布最大化，即双向掩码语言模型的联合概率分布：

其中，T表示输入文本的最大长度；m_t用于指示第t位上的文本元素是否被遮掩，m_t＝1表示该元素被遮掩，m_t＝0表示未被遮掩；

表示已知文本信息

时推导出被遮掩部分

的条件概率；

表示已知文本，x_t表示文本中第t位元素。

引入图像数据信息，训练目标变为：

其中，

表示已知图像信息，

表示已知的短句表征，

表示通过已知的图像信息、短语表征和已知文本部分，从而推出被遮掩部分

的条件概率；

使用掩码[MASK]随机遮掩输入词语，将加入掩码后的句子输入预训练模型，输出为需要预测的被遮掩词语；

掩码目标建模中，训练目标为：

其中，

表示从已知图像信息

中推导出遮掩部分

的条件概率，在训练目标中，不需要使用全部的文本信息，只需要使用动态目标对应的文本内容

根据训练目标，使用掩码[MASK]随机遮掩输入图像，将加入掩码后的图像序列信息输入预训练模型，输出为需要预测的被遮掩目标，通过以上步骤对多模态数据进行融合，实现边缘节点态势感知；

跨模态语义匹配针对图像数据和文本数据进行语义匹配，将描述相同事件的文本数据与图像数据在统一空间中融合，通过对关联的数据设计标签，进而使用有监督学习完成语义匹配任务，使用如下公式计算不同模态的关联程度：

ρ(X_t1,Y_t2)＝α|t1-t2|+βX_t1 ^TY_t2 (4)

其中ρ(X_t1,Y_t2)表示不同模态的数据X_t1和Y_t2之间的关联程度，分别由时间间隔|t1-t2|和语义相似度X_t1 ^TY_t2进行加权求和；α和β表示系数，满足α+β＝1；t1、t2是两个不同的时刻。

应用层能够按需调取原始数据。

有益效果：本发明中边云协同支撑的空中交通态势智能感知系统框架，放大了云计算与边缘计算的价值，增加的边缘云提高了空中交通运行中本地处理能力，云中心实现了空中交通运行态势的区域互联，有效缓解态势感知不全面不准确的问题。边云协同满足鲁棒性和实时性要求。

本发明相对现有技术的有益效果具体体现在以下几个方面：

一是提升空管执行单元的计算能力和响应速度。边缘节点也具有完整的云计算能力。空管执行单位涉及大量数据需要本地即时处理，比如管制话音。

二是关联空中交通区域态势，形成整体态势，便于全局分析与决策，优化空中交通资源配置，提升整体运行效率。空中交通局部态势之间相互影响，航班延误等运行情况也会在空中交通网络中传播。因此，需要关联分析局部态势。

三是提供AI云服务能力。云中心可以随时定义和调整针对原始数据的AI模型，可以支持更加丰富、可扩展的AI应用。云中心有全局信息，AI模型会更加精准。

四是节省带宽。与将原始数据全量传回云中心相比，在边缘节点做AI计算，然后将抽取的信息传回云中心，可以极大降低网络链路成本。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1是本发明系统框架示意图；

图2是本发明系统功能示意图；

图3是本发明系统处理数据的流程图；

图4是本发明系统中涉及的边缘节点数据处理模型的生成流程图。

具体实施方式

本发明提供了一种边云协同支撑的空中交通态势智能感知系统，包括采集层、分析层、应用层，如图1所示。

所述采集层，空管运行终端产生海量话音、文本、图片视频等数据，传输到分析层；

所述分析层，边缘节点下发的数据处理模型及参数，完成对采集层数据的数据处理计算，提取结构化特征信息，形成局部态势；

分析层内部也可以采用层级结构：一级边缘节点形成地区(比如华东空管局)所辖区域内的运行态势；二级边缘节点形成各地区管理局下设的省(区、市)空管单位(比如华东空管局下设的江苏空管分局)所辖区域内的运行态势；三级边缘节点形成本管制区域的运行态势；

所述应用层，云中心融合各个局部(各个民航地区空中交通管理局)的态势，形成全局的空中交通态势；还可按需调取原始数据；

进一步地，所述采集层、分析层、应用层三层相互协同，是从原始数据到局部信息、从局部信息到全局信息的过程。这样一来，数据在执行单元和云中心之间高效即时充分流动，数据价值得到充分挖掘，放大了边缘云和云中心的价值。

根据上述系统框架，本发明为一种边云协同支撑的空中交通态势智能感知系统框架赋予了能力与内涵，包括数据协同、智能协同、业务管理协同，如图2所示。

所述数据协同：边缘节点按照数据模型分析数据，将处理结果及相关数据上传给云中心。云中心指定边缘节点数据上传策略或模型并下发给边缘节点执行；云中心提供海量数据的存储、分析和挖掘；使数据在边缘与云中心有序流转，高效低成本挖掘数据价值；

特别地，在空中交通态势感知情境下，数据协同涉及在边缘节点进行局部态势分析，在云中心进行全局推理分析。

所述智能协同：边缘节点为AI模型训练提供输入，执行云中心下发的AI模型，并将执行结果反馈给云中心。云中心基于业务需求、历史/实时数据、AI执行反馈等开展集中式AI模型训练。云中心有全局信息，AI模型会更加精准，且减少边缘节点负载；

特别地，在空中交通态势感知情境下，智能协同是指，在云中心训练AI模型，包括数据结构化处理、局部态势融合和全局态势分析等，将数据结构化处理、局部态势融合AI模型下发到边缘节点执行。边缘节点返回AI模型执行结果，辅助修订AI模型。

所述业务管理协同：云中心根据业务规则、生产需求等开展业务编排；边缘节点按需运行云中心下发的应用实例，匹配业务实时变化需求；

特别地，在空中交通态势感知情境下，业务管理协同是指，云中心根据空管各方诉求、基本运行规则、空中交通需求及实时变化、空中交通服务能力及实时变化等开展业务编排。边缘节点按需运行云中心下发的运行实例。

进一步地，此三种协同是边云协同总体能力的子集，边云协同和场景结合时并非涉及每一种协同，同一种协同和具体场景结合时的内涵也不同。空中交通态势感知属于边云协同六大主要价值场景中的物联网边云协同主场景-物联网增值服务子场景。

本发明提供2个实施例，分别覆盖空中交通管理的2个关键领域：空中交通流量管理和空中交通管制服务。空中交通流量管理的目的是为了安全而有效地使用现有空域、空中交通管制服务和机场能力，提供给航空器营运人及时、准确的信息，减少延误，提高机场、空域可用容量的利用率。目前我国空中交通流量管理还在起步阶段，缺乏全局调度，空中交通资源配置急需优化，以满足日益增长的空中交通需求。

空中交通管制服务的目的是防止航空器和航空器/障碍物相撞，加速和维持有秩序的空中交通流动。目前空中交通管制任务由空中交通管制员担任，主要通信方式是双向无线电通话。在紧张繁忙的工作下，管制员指令所涉及的资源调度没有及时被计算机识别记录处理，可能会导致误发冲突指令，引发事故。因此，管制话音需要进行话音识别及处理，方便计算机及时排除冲突指令或进行冲突预测，为管制员提供建议。

如图1所示，一种边云协同支撑的空中交通态势智能感知系统框架，其特征在于，该框架包括：采集层、分析层、应用层。在采集层，空管运行终端产生海量话音、文本、图片视频等数据，传输到分析层。在分析层，边缘节点下发的数据处理模型及参数，完成对采集层数据的数据处理计算，提取结构化特征信息，形成局部态势。在应用层，云中心融合各个局部(各个民航地区空中交通管理局)的态势，形成全局的空中交通态势；还可按需调取原始数据。

实施例1：

本实施例涉及空中交通流量管理。如图3所示，一种边云协同支撑的空中交通态势智能感知系统框架的使用方法，以空中交通流量管理为例，包括以下步骤：

步骤S1：在终端流量管理单元(比如终端区、管制扇区等)，采集本管理单元的基础数据，且建立与相邻管制区之间的接口；传输至位于分析层的三级边缘节点；

特别地，传输的基础数据包括本区域内的容量、流量等；

步骤S2：在分析层，三级边缘节点分析和预测本管制区域的流量管理数据，传输至二级边缘节点；二级边缘节点分析和预测各地区管理局下设的省(区、市)空管单位(比如华东空管局下设的江苏空管分局)所辖区域内的流量管理数据，传输至一级边缘节点；一级边缘节点分析和预测地区管理局(比如华东空管局)所辖区域内的流量管理数据，上传至云中心；

特别地，各级边缘节点分析和预测流量管理数据需要依据科学的数据处理模型与算法。例如，空中交通容量会随着气象条件实时变化，需要动态评估与预测；空中交通流量也根据临时运行情况实时变化。

步骤S3：在应用层，云中心关联分析各局部的态势，分析和预测全局的空中交通容量与流量；存储和挖掘海量历史数据，分析区域间数据的因果关联；

步骤S4：云中心根据全局的空中交通需求和服务能力，重新配置各区域空中交通流量、开展业务编排；将业务编排的实例下发给边缘节点；

步骤S5：在边缘节点，执行云中心下发的新的业务实例；

步骤S6：执行步骤S1，不断优化空中交通资源(流量)配置，以满足动态的空中交通需求，直到空中交通资源配置不再需要优化。

所述步骤S2中边缘节点执行的数据处理模型，其形成如图4所示，包括以下步骤：

步骤S2-1：在采集层，基础流量管理单元上传训练数据处理模型需要的数据到云中心；

步骤S2-2：在应用层，云中心基于全局的业务需求、历史/实时数据、数据模型执行反馈等开展集中式数据处理模型训练，将数据处理模型下发到边缘节点；

具体地，面对输入的历史/实时多模态表征构建多模态数据融合模型架构，并采用如下技术：1)跨模态数据依赖学习技术：包括掩码语言建模和掩码目标建模，分别学习文本语义表征序列和图像语义表征序列中的依赖关系；2)跨模态语义匹配技术：学习图像与文本语义单位之间的语义依赖关系。因此，多模态融合模型的总损失由以下三部分组成：

掩码语言建模损失：文本数据中词语间的语义依赖程度；

掩码目标建模损失：图像数据中纹理间的语义依赖程度；

跨模态语义匹配损失：图像与文本的语义单位间的依赖程度；

1)跨模态数据依赖学习技术

跨模态数据依赖学习技术包括掩码语言建模和掩码目标建模。

(a)掩码语言建模

在掩码语言建模中，参考单模态预训练模型，其训练目标是使语言表示联合概率分布最大化，即双向掩码语言模型的联合概率分布：

态预训练语言模型中，在文本信息的基础上，不仅引入了文本的多粒度表征，还引入了图像数据信息，因此该任务训练目标变为：

其中，

表示已知图像信息,

表示已知的短句表征。使用掩码[MASK]随机遮掩输入词语，将加入掩码后的句子输入预训练模型，输出为需要预测的被遮掩词语。针对多模态输入信息产生的目标函数变化，研究如何改变模型结构以实现该目标函数。

(b)掩码目标建模

在实现掩码目标建模任务时，需要让模型学习不同目标之间的依赖关系，因此该任务的训练目标为：

其中，

表示从已知图像信息

中推导出遮掩部分

的条件概率。在训练目标中，不需要使用全部的文本信息，只需要使用动态目标对应的文本内容

这是掩码运动目标建模任务与多粒度掩码语言建模任务不同的地方。根据训练目标，使用掩码[MASK]随机遮掩输入图像，将加入掩码后的图像序列信息输入预训练模型，输出为需要预测的被遮掩目标。

2)跨模态语义匹配

跨模态语义匹配技术主要针对图像数据和文本数据进行语义匹配，其目的是将描述相同事件的文本数据与图像数据在统一空间中融合。通过对关联的数据设计标签，进而使用有监督学习完成该任务。

态势对象包含多个局部组成部分，比如事件涉及多个不同阶段，天气雷达图和监视图像等管制运行数据贯穿事件发生周期，而管制指令和机场警报等文本数据却具有碎片化特点，呈现“多对一”或“多对多”的对应特点，需要对关联汇聚后的多源异构数据进一步细分，划分为描述局部的关联数据进行匹配，提升融合精度。为此，设计时间窗口进一步捕捉相关数据。在此过程中，需要考虑不同管制运行事件的演化规律，以及不同类型数据作用。比如：对于恶劣天气而言，机场警报文本会给出最早的预测，因此以机场警报内容为基准，前后一段间隔时间内的其它模态数据与目标文本相关联，其关联程度应该由时间间隔和语义距离组成，即：

ρ(X_t1,Y_t2)＝α|t1-t2|+βX_t1 ^TY_t2 (4)

其中ρ(X_t1,Y_t2)表示不同模态的数据X_t1和Y_t2之间的关联程度，分别由时间间隔|t1-t2|和语义相似度X_t1 ^TY_t2进行加权求和，从事件的发展规律可知，时间相近的多模态数据通常会描述相同阶段的内容，其关联程度较高，因此使用时间窗口可以进一步筛选多模态数据，并对筛选后仍然关联的数据进行融合，提高语义关联融合精度。

步骤S2-3：在分析层，边缘节点执行云中心下发的数据处理模型，将执行结果反馈给云中心；

步骤S2-4：执行步骤S2-2，直到云中心训练的数据处理模型满足空中交通运行的动态需求。

实施例2：

本实例涉及管制话音识别及处理的AI模型训练：管制话音首先经过语音识别变成文本，然后经过自然语言处理进行内容理解。如图4所示，一种边云协同支撑的空中交通态势智能感知系统框架的使用方法中涉及的边缘节点数据处理模型的生成，以管制话音识别及处理的AI模型训练为例，包括以下步骤：

步骤S2-1：在采集层，基础管制单位(塔台管制、进近管制、区域管制)上传训练管制语音识别AI模型需要管制话音数据的到云中心；

步骤S2-2：在应用层，云中心基于全局的历史/实时数据、AI模型执行反馈等开展集中式管制语音识别AI模型训练，将管制语音识别AI模型下发到边缘节点；

步骤S2-3：在分析层，边缘节点执行云中心下发的管制语音识别AI模型，将执行结果反馈给云中心；

步骤S2-4：执行步骤S2-2，直到云中心训练的管制语音识别AI模型满足空中交通运行的动态需求。

特别地，在边缘节点，管制话音首先经过语音识别AI模型变成文本，再经过自然语言处理AI模型进行特征抽取。自然语言处理AI模型的训练与语音识别AI模型的训练步骤类似。

本发明提供了一种边云协同支撑的空中交通态势智能感知系统，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (2)

1.一种边云协同支撑的空中交通态势智能感知系统，包括采集层、分析层和应用层；

其中分析层和应用层分别部署于空中交通态势智能感知系统的边缘节点与云中心节点；

所述采集层用于采集空管运行终端产生的话音、文本、图片视频数据，并将数据传输到分析层；

所述分析层的边缘节点基于多粒度表征学习以及异步数据关联技术完成对采集层异构数据融合，基于实体识别与关系抽取技术提取结构化特征信息，形成各个民航地区空中交通管理局的局部态势；

所述应用层用于云中心融合边缘节点中各个民航地区空中交通管理局的局部态势，形成全局的空中交通态势；

所述分析层内部采用层级结构，分为一级边缘节点、二级边缘节点和三级边缘节点，其中，一级边缘节点形成地区所辖区域内的运行态势；二级边缘节点形成各地区管理局下设的省空管单位所辖区域内的运行态势；三级边缘节点形成本管制区域的运行态势；

系统执行如下步骤：

步骤S1，在采集层，空管运行终端的数据经过去除异常、错误数据的处理后，上传到分析层；

步骤S2，在分析层，边缘节点按照数据处理模型分析数据，形成局部态势，将处理结果上传到云中心；

步骤S3，在应用层，云中心关联分析各局部的态势，形成全局的空中交通态势；

步骤S4，云中心根据全局的空中交通需求和服务能力，重新配置空中交通资源、开展业务编排；将业务编排的实例下发给边缘节点；

步骤S5，在边缘节点，执行云中心下发的新的业务实例；

步骤S6，返回执行步骤S1，重新采集数据、配置空中交通资源，直到满足动态的空中交通需求；

步骤S2包括以下步骤：

步骤S2-1，在采集层，空管运行终端上传训练AI模型需要的数据到云中心；

步骤S2-2，在应用层，云中心基于全局的业务需求、采集层获取的历史数据、实时数据和AI执行反馈开展集中式AI模型训练，将训练好的AI模型下发到边缘节点，在应用层中包括多模态融合模型，多模态融合模型用于感知实时数据，将数据融合后提取信息；

步骤S2-3，在分析层，边缘节点执行云中心下发的AI模型，将执行结果反馈给云中心；

步骤S2-4，执行步骤S2-2，直到云中心训练的AI模型满足空中交通运行的动态需求；

步骤S2-2包括：定义多模态融合模型的总损失包括掩码语言建模损失、掩码目标建模损失和跨模态语义匹配损失，掩码语言建模损失是文本数据中词语间的语义依赖程度，掩码目标建模损失是图像数据中纹理间的语义依赖程度，跨模态语义匹配损失是图像与文本的语义单位间的依赖程度；

多模态融合处理包括掩码语言建模、掩码目标建模和跨模态语义匹配：

在掩码语言建模中，训练目标是使语言表示联合概率分布最大化，即双向掩码语言模型的联合概率分布：

其中，T表示输入文本的最大长度；m_t用于指示第t位上的文本元素是否被遮掩，m_t＝1表示该元素被遮掩，m_t＝0表示未被遮掩；

表示已知文本信息

时推导出被遮掩部分

的条件概率；

表示已知文本，x_t表示文本中第t位元素；

引入图像数据信息，训练目标变为：

的图像信息、短语表征和已知文本部分，从而推出被遮掩部分

的条件概率；

使用掩码[MASK]随机遮掩输入词语，将加入掩码后的句子输入预训练模型，输出为需要预测的被遮掩词语；

掩码目标建模中，训练目标为：

其中，

表示从已知图像信息

中推导出遮掩部分

的条件概率，在训练目标中，不需要使用全部的文本信息，只需要使用动态目标对应的文本内容

根据训练目标，使用掩码[MASK]随机遮掩输入图像，将加入掩码后的图像序列信息输入预训练模型，输出为需要预测的被遮掩目标，通过以上步骤对多模态数据进行融合，实现边缘节点态势感知；

跨模态语义匹配针对图像数据和文本数据进行语义匹配，将描述相同事件的文本数据与图像数据在统一空间中融合，通过对关联的数据设计标签，进而使用有监督学习完成语义匹配任务，使用如下公式计算不同模态的关联程度：

ρ(X_t1,Y_t2)＝α|t1-t2|+βX_t1 ^TY_t2 (4)

其中ρ(X_t1,Y_t2)表示不同模态的数据X_t1和Y_t2之间的关联程度，分别由时间间隔|t1-t2|和语义相似度X_t1 ^TY_t2进行加权求和；α和β表示系数，满足α+β＝1；t1、t2是两个不同的时刻。

2.根据权利要求1所述的系统，其特征在于，应用层能够按需调取原始数据。

Images