CN113315813A - 一种大数据网际信息链系统的信息交换方法及系统 - Google Patents

一种大数据网际信息链系统的信息交换方法及系统 Download PDF

Info

Publication number
CN113315813A
CN113315813A CN202110498673.4A CN202110498673A CN113315813A CN 113315813 A CN113315813 A CN 113315813A CN 202110498673 A CN202110498673 A CN 202110498673A CN 113315813 A CN113315813 A CN 113315813A
Authority
CN
China
Prior art keywords
data
information
module
big data
chain system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110498673.4A
Other languages
English (en)
Inventor
韦鹏程
颜蓓
贺方成
陈美成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Education
Original Assignee
Chongqing University of Education
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Education filed Critical Chongqing University of Education
Priority to CN202110498673.4A priority Critical patent/CN113315813A/zh
Publication of CN113315813A publication Critical patent/CN113315813A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明属于信息交换技术领域，公开了一种大数据网际信息链系统的信息交换方法及系统，包括：数据采集处理模块、数据预处理模块、数据输入模块、中央控制模块、信息交换模块、动态监测模块、数据存储模块、终端模块、更新处理模块。本发明的数据融合处理过程快速简洁，无需针对待融合的数据存储相等字段值关联关系的数据表，减少存储的占用；通过动态监测模块对记录的数据进行实时分析，能够及时发现异常数据并报警，有利于尽早知道故障，加快对故障的处理；通过信息交换模块能够实现有线通信、无线通信、网系之间和用户间的融合，以便利用光缆网、卫星网和短波网实现大数据网际的语音、数据和图像的传输。

Description

一种大数据网际信息链系统的信息交换方法及系统
技术领域
本发明属于信息交换技术领域，尤其涉及一种大数据网际信息链系统的信息交换方法及系统。
背景技术
目前，随着通信、计算机和信息技术的发展，信息化建设的基础条件已比较完备，大数据、云计算和网络技术的日趋成熟，为信息化系统的融合提供了条件。应用大数据、云计算和网络技术，对现有网系中的信道承载设备、网络设备和用户终端设备进行整合，实现有线通信、无线通信、网系之间和用户之间的融合提供了可能。
但到目前为止，现有实现有线通信、无线通信、网系之间和用户之间信息交换的方法中，针对数据融合的技术方案，需要进行多次相等字段值关联关系的处理，处理过程中需要对多源数据的原数据表中的融合字段进行清洗，存在流程繁琐、数据处理成本高等缺陷。因此，亟需一种新的信息交换方法及系统。
通过上述分析，现有技术存在的问题及缺陷为：现有实现有线通信、无线通信、网系之间和用户之间信息交换的方法中，针对数据融合的技术方案，存在流程繁琐、数据处理成本高等缺陷。
发明内容
针对现有技术存在的问题，本发明提供了一种大数据网际信息链系统的信息交换方法及系统。
本发明是这样实现的，一种大数据网际信息链系统的信息交换系统，所述大数据网际信息链系统的信息交换系统包括：
所述大数据网际信息链系统的信息交换系统包括：
数据采集处理模块，与中央控制模块连接，用于通过数据采集设备采集有线通信、无线通信、网系和用户的原始通信数据；并对采集的数据进行过滤、标准化处理；
所述对采集的数据进行过滤、标准化处理包括：
(1.1)读取采集的有线通信、无线通信、网系和用户的原始通信数据，对转换后的数据进行清洗，清除重复数据；
所述对转换后的数据进行清洗，清除重复数据包括：
进行数据的粗分类，将转换后的数据作为第一数据集；对所述转换后的数据进行分类，获得所述样转换后的数据的粗分类类别的权重，根据所述权重确定所述转换后的数据的粗分类类别在所有类别中的排序位置；根据所述转换后的数据的粗分类类别在所有类别中的排序位置和第一数据集中数据的总数量，获得综合评估结果；当根据所述综合评估结果确定需对所述第一数据集进行清洗时，根据所述转换后的数据的粗分类类别在所有类别中的排序位置删除规定数量的排在末位的样本数据；
所述获得所述样转换后的数据的粗分类类别的权重公式如下：
Figure BDA0003055534330000021
其中，
Figure BDA0003055534330000022
(1.2)采用规则引擎进行组合条件判断规则的自由配置，去除数据噪声；
(1.3)进行格式变换，将不同格式的数据转化为统一格式；
所述格式转换公式如下：
Figure BDA0003055534330000023
其中，Xg表示归一化后的数据，X表示原始数据，Xmax、Xmin分别表示数据的最大值与最小值；
数据预处理模块，与中央控制模块连接，用于通过数据预处理程序对标准化处理的通信数据进行融合处理，获得通信数据集；
所述利用数据预处理程序对标准化处理的通信数据进行融合处理，获得通信数据集，包括：
确定待融合的有线通信、无线通信、网系和用户的原始通信数据，所述待融合的原始通信数据中每一数据绑定有维度关系记录标识；基于待融合的每一数据的维度关系记录标识在预先建立的维度关系记录表中提取维度关系记录；基于提取到的维度关系记录中包括的维度值，对所述待融合的原始通信数据进行融合处理，得到通信数据集；
所述融合处理具体过程为：
设t1时刻的数据进行分类，融合模型为：
Figure BDA0003055534330000031
其中，l数据集内部的类别数，fc(xi，yi)属于C的组分的丰度；(xi，yi)为数据的位置，b为相应的信号波段，F(c，b)为端元；
估计t1到t2过程中的每一类发生的变化，则时相变化为：
ΔC(xi，yi，b)＝C2(xi，yi，b)-C1(xi，yi，b)；
其中，C1(xi，yi，b)和C2(xi，yi，b)分别表示t1和t2时的模型融合值；
将两个时刻的相变化值分配给t1的元值F1(xij，yij，b)，t2时刻的预测元值
Figure BDA0003055534330000032
(xij，yij)为同一个类别C的元位置，表示为；
Figure BDA0003055534330000033
通过引入残差表示真实值和预测结果之间的差异：
Figure BDA0003055534330000041
其中，m类组中数据的个数；
t2时刻数据的处理过程为：
对于给定的N个已知点，波段b的位置曲线函数为：
Figure BDA0003055534330000042
限制条件为：
Figure BDA0003055534330000043
其中ri 2＝(x-xi)2+(y-yi)2，通过最小化小式对系数进行优化：
Figure BDA0003055534330000044
t2时刻元值
Figure BDA0003055534330000045
残差分配过程为：
权重函数对残差进行分配的均一性指数为：
Figure BDA0003055534330000046
权重计算表示为：
Figure BDA0003055534330000047
通过对权重CW(xij，yij，b)进行归一化得到W(xij，yij，b)，第j个数据残差分配值为：
r(xij，yij，b)＝m×R(xi，yi，b)×W(xij，yij，b)；
估计t1到t2时的变化值为：
ΔF(xij，yij，b)＝r(xij，yij，b)+ΔF(c，b)；
最终t2时刻的预测值为：
Figure BDA0003055534330000051
信息交换模块，与中央控制模块连接，用于通过信息交换程序进行所述大数据网际信息链系统和用户移动终端的信息交换；
所述利用信息交换程序进行所述大数据网际信息链系统和用户移动终端的信息交换，包括：
获取所述大数据网际信息链系统和用户移动终端的信息交换请求；其中，所述信息交换请求中包含所述大数据网际信息链系统和用户移动终端信息；根据所述大数据网际信息链系统和用户移动终端信息，分别确定所述大数据网际信息链系统和所述用户移动终端在信息交换中的角色信息；基于所述角色信息，针对所述信息交换请求对应的信息，进行所述大数据网际信息链系统和用户移动终端的信息交换；
动态监测模块，与中央控制模块连接，用于通过动态监测程序进行所述大数据网际信息链系统和用户移动终端信息交换的实时监测；
更新处理模块，与中央控制模块连接，用于通过显示器对采集的有线通信、无线通信、网系和用户的原始通信数据、融合处理后的通信数据集、大数据网际信息链系统、信息交换结果以及动态监测信息的实时数据进行更新显示。
进一步，所述大数据网际信息链系统包括：
多个信息链系统，以及连接所述多个信息链系统的连接网；其中，每个信息链系统的云服务器通过所述的连接网连接在一起；
所述信息链系统包括：
对短波信道进行交换的短波信道交换系统；
对光缆信道进行交换的光缆信道交换系统；
对卫星信道进行交换的卫星信道交换系统。
进一步，所述大数据网际信息链系统的信息交换系统还包括：
数据输入模块，与中央控制模块连接，用于通过数据输入程序将预处理后获得的通信数据集输入至所述大数据网际信息链系统；
中央控制模块，与数据采集处理模块、数据预处理模块、数据输入模块、信息交换模块、动态监测模块、数据存储模块、终端模块、更新处理模块连接，用于通过中央处理器协调控制所述大数据网际信息链系统的信息交换系统各个模块的正常运行；
数据存储模块，与中央控制模块连接，用于通过云数据库服务器存储采集的有线通信、无线通信、网系和用户的原始通信数据、融合处理后的通信数据集、大数据网际信息链系统、信息交换结果以及动态监测信息；
终端模块，与中央控制模块连接，用于通过云数据库服务器将所述大数据网际信息链系统的信息交换系统数据发送至用户移动终端。
进一步，所述维度关系记录标识用于标识维度关系记录，每一维度关系记录中包括有一个或多个维度值。
进一步，所述维度关系记录表是基于多源数据的维度预先建立的维度关系映射表；其中，所述维度关系记录表中包括有一个或多个维度、所述一个或多个维度各自对应的维度值组成的维度关系记录、以及用于标识所述维度关系记录的维度关系记录标识。
进一步，所述角色信息包括服务端和客户端，所述根据所述大数据网际信息链系统和用户移动终端信息，分别确定所述大数据网际信息链系统和所述用户移动终端在信息交换中的角色信息，包括：
如果所述大数据网际信息链系统信息满足预定的角色选取规则，而所述用户移动终端信息不满足预定的角色选取规则，则将所述大数据网际信息链系统作为服务端，并将所述用户移动终端作为客户端；
相应地，如果所述用户移动终端信息满足预定的角色选取规则，而所述大数据网际信息链系统信息不满足预定的角色选取规则，则将所述用户移动终端作为服务端，并将所述大数据网际信息链系统作为客户端。
进一步，步骤六中，所述通过动态监测模块利用动态监测程序进行所述大数据网际信息链系统和用户移动终端信息交换的实时监测，包括：
(1)获取所述大数据网际信息链系统和用户移动终端之间的交互数据；
(2)基于预先配置的所述大数据网际信息链系统和用户移动终端的接口文件信息以及所述交互数据的格式信息，分析所述交互数据是否存在异常数据；
(3)若存在异常数据，则生成携带有所述异常数据的报警信息，并基于所述报警信息进行报警通知。
进一步，步骤(1)中，所述获取所述大数据网际信息链系统和用户移动终端之间的交互数据，包括：
通过设置在所述大数据网际信息链系统预先布置的各交换机上的镜像端口获取所述大数据网际信息链系统和用户移动终端之间的交互数据，并将获取的交互数据进行记录。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述的大数据网际信息链系统的信息交换系统。
本发明的另一目的在于提供一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行所述的大数据网际信息链系统的信息交换系统。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的大数据网际信息链系统的信息交换方法，数据融合处理过程快速简洁，并且无需针对每一待融合的数据存储相等字段值关联关系的数据表，减少了存储的占用；通过动态监测模块对记录的数据进行实时分析，能够及时发现异常数据并报警，有利于尽早知道故障，加快对故障的处理；通过信息交换模块能够实现有线通信、无线通信、网系之间和用户之间的融合，以便利用光缆网、卫星网和短波网实现大数据网际的语音、数据和图像的传输。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的大数据网际信息链系统的信息交换系统结构框图；
图中：1、数据采集处理模块；2、数据预处理模块；3、数据输入模块；4、中央控制模块；5、信息交换模块；6、动态监测模块；7、数据存储模块；8、终端模块；9、更新处理模块。
图2是本发明实施例提供的大数据网际信息链系统的信息交换方法流程图。
图3是本发明实施例提供的数据预处理模块对标准化处理的通信数据进行融合处理，获得通信数据集的方法流程图。
图4是本发明实施例提供的信息交换模块进行所述大数据网际信息链系统和用户移动终端的信息交换的方法流程图。
图5是本发明实施例提供的动态监测模块进行所述大数据网际信息链系统和用户移动终端信息交换的实时监测的方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种大数据网际信息链系统的信息交换方法及系统，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的大数据网际信息链系统的信息交换系统包括：数据采集处理模块1、数据预处理模块2、数据输入模块3、中央控制模块4、信息交换模块5、动态监测模块6、数据存储模块7、终端模块8、更新处理模块9。
数据采集处理模块1，与中央控制模块4连接，用于通过数据采集设备采集有线通信、无线通信、网系和用户的原始通信数据；并对采集的数据进行过滤、标准化处理；
数据预处理模块2，与中央控制模块4连接，用于通过数据预处理程序对标准化处理的通信数据进行融合处理，获得通信数据集；
数据输入模块3，与中央控制模块4连接，用于通过数据输入程序将预处理后获得的通信数据集输入至所述大数据网际信息链系统；
中央控制模块4，与数据采集处理模块1、数据预处理模块2、数据输入模块3、信息交换模块5、动态监测模块6、数据存储模块7、终端模块8、更新处理模块9连接，用于通过中央处理器协调控制所述大数据网际信息链系统的信息交换系统各个模块的正常运行；
信息交换模块5，与中央控制模块4连接，用于通过信息交换程序进行所述大数据网际信息链系统和用户移动终端的信息交换；
动态监测模块6，与中央控制模块4连接，用于通过动态监测程序进行所述大数据网际信息链系统和用户移动终端信息交换的实时监测；
数据存储模块7，与中央控制模块4连接，用于通过云数据库服务器存储采集的有线通信、无线通信、网系和用户的原始通信数据、融合处理后的通信数据集、大数据网际信息链系统、信息交换结果以及动态监测信息；
终端模块8，与中央控制模块4连接，用于通过云数据库服务器将所述大数据网际信息链系统的信息交换系统数据发送至用户移动终端；
更新处理模块9，与中央控制模块4连接，用于通过显示器对采集的有线通信、无线通信、网系和用户的原始通信数据、融合处理后的通信数据集、大数据网际信息链系统、信息交换结果以及动态监测信息的实时数据进行更新显示。
本发明实施例提供的大数据网际信息链系统包括：
多个信息链系统，以及连接所述多个信息链系统的连接网；其中，每个信息链系统的云服务器通过所述的连接网连接在一起。
本发明实施例提供的信息链系统包括：
对短波信道进行交换的短波信道交换系统；
对光缆信道进行交换的光缆信道交换系统；
对卫星信道进行交换的卫星信道交换系统。
如图2所示，本发明实施例提供的大数据网际信息链系统的信息交换方法包括以下步骤：
S101，通过数据采集处理模块利用数据采集设备采集有线通信、无线通信、网系和用户的原始通信数据；并对采集的数据进行过滤、标准化处理；
S102，通过数据预处理模块利用数据预处理程序对标准化处理的通信数据进行融合处理，获得通信数据集；
S103，通过数据输入模块利用数据输入程序将预处理后获得的通信数据集输入至所述大数据网际信息链系统；
S104，通过中央控制模块利用中央处理器协调控制所述大数据网际信息链系统的信息交换系统各个模块的正常运行；
S105，通过信息交换模块利用信息交换程序进行所述大数据网际信息链系统和用户移动终端的信息交换；
S106，通过动态监测模块利用动态监测程序进行所述大数据网际信息链系统和用户移动终端信息交换的实时监测；
S107，通过数据存储模块利用云数据库服务器存储采集的有线通信、无线通信、网系和用户的原始通信数据、融合处理后的通信数据集、大数据网际信息链系统、信息交换结果以及动态监测信息；
S108，通过终端模块利用云数据库服务器将所述大数据网际信息链系统的信息交换系统数据发送至用户移动终端；
S109，通过更新处理模块利用显示器对采集的有线通信、无线通信、网系和用户的原始通信数据、融合处理后的通信数据集、大数据网际信息链系统、信息交换结果以及动态监测信息的实时数据进行更新显示。
步骤S101中，本发明实施例提供的对采集的数据进行过滤、标准化处理包括：
(1.1)读取采集的有线通信、无线通信、网系和用户的原始通信数据，对转换后的数据进行清洗，清除重复数据；
(1.2)采用规则引擎进行组合条件判断规则的自由配置，去除数据噪声；
(1.3)进行格式变换，将不同格式的数据转化为统一格式；
格式转换公式如下：
Figure BDA0003055534330000111
其中，Xg表示归一化后的数据，X表示原始数据，Xmax、Xmin分别表示数据的最大值与最小值。
本发明实施例提供的对转换后的数据进行清洗，清除重复数据包括：
进行数据的粗分类，将转换后的数据作为第一数据集；对所述转换后的数据进行分类，获得所述样转换后的数据的粗分类类别的权重，根据所述权重确定所述转换后的数据的粗分类类别在所有类别中的排序位置；根据所述转换后的数据的粗分类类别在所有类别中的排序位置和第一数据集中数据的总数量，获得综合评估结果；当根据所述综合评估结果确定需对所述第一数据集进行清洗时，根据所述转换后的数据的粗分类类别在所有类别中的排序位置删除规定数量的排在末位的样本数据；
所述获得所述样转换后的数据的粗分类类别的权重公式如下：
Figure BDA0003055534330000112
其中，
Figure BDA0003055534330000121
如图3所示，步骤S102中，本发明实施例提供的通过数据预处理模块利用数据预处理程序对标准化处理的通信数据进行融合处理，获得通信数据集，包括：
S201，确定待融合的有线通信、无线通信、网系和用户的原始通信数据，所述待融合的原始通信数据中每一数据绑定有维度关系记录标识；
S202，基于待融合的每一数据的维度关系记录标识在预先建立的维度关系记录表中提取维度关系记录；
S203，基于提取到的维度关系记录中包括的维度值，对所述待融合的原始通信数据进行融合处理，得到通信数据集。
步骤S201中，本发明实施例提供的维度关系记录标识用于标识维度关系记录，每一维度关系记录中包括有一个或多个维度值。
步骤S202中，本发明实施例提供的维度关系记录表是基于多源数据的维度预先建立的维度关系映射表；其中，所述维度关系记录表中包括有一个或多个维度、所述一个或多个维度各自对应的维度值组成的维度关系记录、以及用于标识所述维度关系记录的维度关系记录标识。
所述融合处理具体过程为：
设t1时刻的数据进行分类，融合模型为：
Figure BDA0003055534330000122
其中，l数据集内部的类别数，fc(xi，yi)属于C的组分的丰度；(xi，yi)为数据的位置，b为相应的信号波段，F(c，b)为端元；
估计t1到t2过程中的每一类发生的变化，则时相变化为：
ΔC(xi，yi，b)＝C2(xi，yi，b)-C1(xi，yi，b)；
其中，C1(xi，yi，b)和C2(xi，yi，b)分别表示t1和t2时的模型融合值；
将两个时刻的相变化值分配给t1的元值F1(xij，yij，b)，t2时刻的预测元值
Figure BDA0003055534330000131
(xij，yij)为同一个类别C的元位置，表示为；
Figure BDA0003055534330000132
通过引入残差表示真实值和预测结果之间的差异：
Figure BDA0003055534330000133
其中，m类组中数据的个数；
t2时刻数据的处理过程为：
对于给定的N个已知点，波段b的位置曲线函数为：
Figure BDA0003055534330000134
限制条件为：
Figure BDA0003055534330000135
其中ri 2＝(x-xi)2+(y-yi)2，通过最小化小式对系数进行优化：
Figure BDA0003055534330000136
t2时刻元值
Figure BDA0003055534330000137
残差分配过程为：
权重函数对残差进行分配的均一性指数为：
Figure BDA0003055534330000141
权重计算表示为：
Figure BDA0003055534330000142
通过对权重CW(xij，yij，b)进行归一化得到W(xij，yij，b)，第j个数据残差分配值为：
r(xij，yij，b)＝m×R(xi，yi，b)×W(xij，yij，b)；
估计t1到t2时的变化值为：
ΔF(xij，yij，b)＝r(xij，yij，b)+ΔF(c，b)；
最终t2时刻的预测值为：
Figure BDA0003055534330000143
步骤S105中，如图4所示，本发明实施例提供的通过信息交换模块利用信息交换程序进行所述大数据网际信息链系统和用户移动终端的信息交换，包括：
S301，取所述大数据网际信息链系统和用户移动终端的信息交换请求；其中，所述信息交换请求中包含所述大数据网际信息链系统和用户移动终端信息；
S302，根据所述大数据网际信息链系统和用户移动终端信息，分别确定所述大数据网际信息链系统和所述用户移动终端在信息交换中的角色信息；
S303，基于所述角色信息，针对所述信息交换请求对应的信息，进行所述大数据网际信息链系统和用户移动终端的信息交换。
步骤S302中，本发明实施例提供的角色信息包括服务端和客户端，所述根据所述大数据网际信息链系统和用户移动终端信息，分别确定所述大数据网际信息链系统和所述用户移动终端在信息交换中的角色信息，包括：
如果所述大数据网际信息链系统信息满足预定的角色选取规则，而所述用户移动终端信息不满足预定的角色选取规则，则将所述大数据网际信息链系统作为服务端，并将所述用户移动终端作为客户端；
相应地，如果所述用户移动终端信息满足预定的角色选取规则，而所述大数据网际信息链系统信息不满足预定的角色选取规则，则将所述用户移动终端作为服务端，并将所述大数据网际信息链系统作为客户端。
步骤S106中，如图5所示，本发明实施例提供的通过动态监测模块利用动态监测程序进行所述大数据网际信息链系统和用户移动终端信息交换的实时监测，包括：
S401，获取所述大数据网际信息链系统和用户移动终端之间的交互数据；
S402，基于预先配置的所述大数据网际信息链系统和用户移动终端的接口文件信息以及所述交互数据的格式信息，分析所述交互数据是否存在异常数据；
S403，若存在异常数据，则生成携带有所述异常数据的报警信息，并基于所述报警信息进行报警通知。
步骤S401中，本发明实施例提供的获取所述大数据网际信息链系统和用户移动终端之间的交互数据，包括：
通过设置在所述大数据网际信息链系统预先布置的各交换机上的镜像端口获取所述大数据网际信息链系统和用户移动终端之间的交互数据，并将获取的交互数据进行记录。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种大数据网际信息链系统的信息交换系统，其特征在于，所述大数据网际信息链系统的信息交换系统包括：
数据采集处理模块，与中央控制模块连接，用于通过数据采集设备采集有线通信、无线通信、网系和用户的原始通信数据；并对采集的数据进行过滤、标准化处理；
所述对采集的数据进行过滤、标准化处理包括：
(1.1)读取采集的有线通信、无线通信、网系和用户的原始通信数据，对转换后的数据进行清洗，清除重复数据；
所述对转换后的数据进行清洗，清除重复数据包括：
进行数据的粗分类，将转换后的数据作为第一数据集；对所述转换后的数据进行分类，获得所述样转换后的数据的粗分类类别的权重，根据所述权重确定所述转换后的数据的粗分类类别在所有类别中的排序位置；根据所述转换后的数据的粗分类类别在所有类别中的排序位置和第一数据集中数据的总数量，获得综合评估结果；当根据所述综合评估结果确定需对所述第一数据集进行清洗时，根据所述转换后的数据的粗分类类别在所有类别中的排序位置删除规定数量的排在末位的样本数据；
所述获得所述样转换后的数据的粗分类类别的权重公式如下：
Figure FDA0003055534320000011
其中，
Figure FDA0003055534320000012
(1.2)采用规则引擎进行组合条件判断规则的自由配置，去除数据噪声；
(1.3)进行格式变换，将不同格式的数据转化为统一格式；
所述格式转换公式如下：
Figure FDA0003055534320000013
其中，Xg表示归一化后的数据，X表示原始数据，Xmax、Xmih分别表示数据的最大值与最小值；
数据预处理模块，与中央控制模块连接，用于通过数据预处理程序对标准化处理的通信数据进行融合处理，获得通信数据集；
所述利用数据预处理程序对标准化处理的通信数据进行融合处理，获得通信数据集，包括：
确定待融合的有线通信、无线通信、网系和用户的原始通信数据，所述待融合的原始通信数据中每一数据绑定有维度关系记录标识；基于待融合的每一数据的维度关系记录标识在预先建立的维度关系记录表中提取维度关系记录；基于提取到的维度关系记录中包括的维度值，对所述待融合的原始通信数据进行融合处理，得到通信数据集；
所述融合处理具体过程为：
设t1时刻的数据进行分类，融合模型为：
Figure FDA0003055534320000021
其中，l数据集内部的类别数，fc(xi，yi)属于C的组分的丰度；(xi，yi)为数据的位置，b为相应的信号波段，F(c，b)为端元；
估计t1到t2过程中的每一类发生的变化，则时相变化为：
ΔC(xi，yi，b)＝C2(xi，yi，b)-C1(xi，yi，b)；
其中，C1(xi，yi，b)和C2(xi，yi，b)分别表示t1和t2时的模型融合值；
将两个时刻的相变化值分配给t1的元值F1(xij，yij，b)，t2时刻的预测元值
Figure FDA0003055534320000022
(xij，yij)为同一个类别C的元位置，表示为；
Figure FDA0003055534320000023
通过引入残差表示真实值和预测结果之间的差异：
Figure FDA0003055534320000031
其中，m类组中数据的个数；
t2时刻数据的处理过程为：
对于给定的N个已知点，波段b的位置曲线函数为：
Figure FDA0003055534320000032
限制条件为：
Figure FDA0003055534320000033
其中ri 2＝(x-xi)2+(y-yi)2，通过最小化小式对系数进行优化：
Figure FDA0003055534320000034
t2时刻元值
Figure FDA0003055534320000035
残差分配过程为：
权重函数对残差进行分配的均一性指数为：
Figure FDA0003055534320000036
权重计算表示为：
Figure FDA0003055534320000037
通过对权重CW(xij，yij，b)进行归一化得到W(xij，yij，b)，第j个数据残差分配值为：
r(xij，yij，b)＝m×R(xi，yi，b)×W(xij，yij，b)；
估计t1到t2时的变化值为：
ΔF(xij，yij，b)＝r(xij，yij，b)+ΔF(c，b)；
最终t2时刻的预测值为：
Figure FDA0003055534320000041
信息交换模块，与中央控制模块连接，用于通过信息交换程序进行所述大数据网际信息链系统和用户移动终端的信息交换；
所述利用信息交换程序进行所述大数据网际信息链系统和用户移动终端的信息交换，包括：
获取所述大数据网际信息链系统和用户移动终端的信息交换请求；其中，所述信息交换请求中包含所述大数据网际信息链系统和用户移动终端信息；根据所述大数据网际信息链系统和用户移动终端信息，分别确定所述大数据网际信息链系统和所述用户移动终端在信息交换中的角色信息；基于所述角色信息，针对所述信息交换请求对应的信息，进行所述大数据网际信息链系统和用户移动终端的信息交换；
动态监测模块，与中央控制模块连接，用于通过动态监测程序进行所述大数据网际信息链系统和用户移动终端信息交换的实时监测；
更新处理模块，与中央控制模块连接，用于通过显示器对采集的有线通信、无线通信、网系和用户的原始通信数据、融合处理后的通信数据集、大数据网际信息链系统、信息交换结果以及动态监测信息的实时数据进行更新显示。
2.如权利要求1所述的大数据网际信息链系统的信息交换系统，其特征在于，所述大数据网际信息链系统包括：
多个信息链系统，以及连接所述多个信息链系统的连接网；其中，每个信息链系统的云服务器通过所述的连接网连接在一起；
所述信息链系统包括：
对短波信道进行交换的短波信道交换系统；
对光缆信道进行交换的光缆信道交换系统；
对卫星信道进行交换的卫星信道交换系统。
3.如权利要求1所述的大数据网际信息链系统的信息交换系统，其特征在于，所述大数据网际信息链系统的信息交换系统还包括：
数据输入模块，与中央控制模块连接，用于通过数据输入程序将预处理后获得的通信数据集输入至所述大数据网际信息链系统；
中央控制模块，与数据采集处理模块、数据预处理模块、数据输入模块、信息交换模块、动态监测模块、数据存储模块、终端模块、更新处理模块连接，用于通过中央处理器协调控制所述大数据网际信息链系统的信息交换系统各个模块的正常运行；
数据存储模块，与中央控制模块连接，用于通过云数据库服务器存储采集的有线通信、无线通信、网系和用户的原始通信数据、融合处理后的通信数据集、大数据网际信息链系统、信息交换结果以及动态监测信息；
终端模块，与中央控制模块连接，用于通过云数据库服务器将所述大数据网际信息链系统的信息交换系统数据发送至用户移动终端。
4.如权利要求1所述的大数据网际信息链系统的信息交换系统，其特征在于，所述维度关系记录标识用于标识维度关系记录，每一维度关系记录中包括有一个或多个维度值。
5.如权利要求1所述的大数据网际信息链系统的信息交换系统，其特征在于，所述维度关系记录表是基于多源数据的维度预先建立的维度关系映射表；其中，所述维度关系记录表中包括有一个或多个维度、所述一个或多个维度各自对应的维度值组成的维度关系记录、以及用于标识所述维度关系记录的维度关系记录标识。
6.如权利要求1所述的大数据网际信息链系统的信息交换系统，其特征在于，所述角色信息包括服务端和客户端，所述根据所述大数据网际信息链系统和用户移动终端信息，分别确定所述大数据网际信息链系统和所述用户移动终端在信息交换中的角色信息，包括：
如果所述大数据网际信息链系统信息满足预定的角色选取规则，而所述用户移动终端信息不满足预定的角色选取规则，则将所述大数据网际信息链系统作为服务端，并将所述用户移动终端作为客户端；
相应地，如果所述用户移动终端信息满足预定的角色选取规则，而所述大数据网际信息链系统信息不满足预定的角色选取规则，则将所述用户移动终端作为服务端，并将所述大数据网际信息链系统作为客户端。
7.如权利要求1所述的大数据网际信息链系统的信息交换系统，其特征在于，步骤六中，所述通过动态监测模块利用动态监测程序进行所述大数据网际信息链系统和用户移动终端信息交换的实时监测，包括：
(1)获取所述大数据网际信息链系统和用户移动终端之间的交互数据；
(2)基于预先配置的所述大数据网际信息链系统和用户移动终端的接口文件信息以及所述交互数据的格式信息，分析所述交互数据是否存在异常数据；
(3)若存在异常数据，则生成携带有所述异常数据的报警信息，并基于所述报警信息进行报警通知。
8.如权利要求7所述的大数据网际信息链系统的信息交换系统，其特征在于，步骤(1)中，所述获取所述大数据网际信息链系统和用户移动终端之间的交互数据，包括：
通过设置在所述大数据网际信息链系统预先布置的各交换机上的镜像端口获取所述大数据网际信息链系统和用户移动终端之间的交互数据，并将获取的交互数据进行记录。
9.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以应用如权利要求1～8任意一项所述的大数据网际信息链系统的信息交换系统。
10.一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1～8任意一项所述的大数据网际信息链系统的信息交换系统。
CN202110498673.4A 2021-05-08 2021-05-08 一种大数据网际信息链系统的信息交换方法及系统 Pending CN113315813A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110498673.4A CN113315813A (zh) 2021-05-08 2021-05-08 一种大数据网际信息链系统的信息交换方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110498673.4A CN113315813A (zh) 2021-05-08 2021-05-08 一种大数据网际信息链系统的信息交换方法及系统

Publications (1)

Publication Number Publication Date
CN113315813A true CN113315813A (zh) 2021-08-27

Family

ID=77371567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110498673.4A Pending CN113315813A (zh) 2021-05-08 2021-05-08 一种大数据网际信息链系统的信息交换方法及系统

Country Status (1)

Country Link
CN (1) CN113315813A (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110022442A1 (en) * 2006-12-13 2011-01-27 Crown Equipment Corporation Information system for industrial vehicles including cyclical recurring vehicle information message
CN102135979A (zh) * 2010-12-08 2011-07-27 华为技术有限公司 数据清洗方法及装置
US20120092379A1 (en) * 2010-10-15 2012-04-19 Hitachi, Ltd. Sensing data display apparatus and sensing data processing system
CN102881125A (zh) * 2012-09-25 2013-01-16 杭州立高科技有限公司 基于多信息融合集中处理平台的报警监控系统
US20140341568A1 (en) * 2013-05-20 2014-11-20 Sodero Networks, Inc. High-Throughput Network Traffic Monitoring through Optical Circuit Switching and Broadcast-and-Select Communications
CN105323124A (zh) * 2014-06-04 2016-02-10 深圳市德领电子科技有限公司 大数据网际信息链系统的信息交换方法
CN106411648A (zh) * 2016-10-13 2017-02-15 交控科技股份有限公司 城市轨道交通信号系统的数据监测方法及数据监测服务器
CN106714085A (zh) * 2016-12-23 2017-05-24 北京橙鑫数据科技有限公司 一种信息交换的方法及电子设备
CN106779407A (zh) * 2016-12-15 2017-05-31 国网浙江省电力公司杭州供电公司 一种基于数据池的电力数据融合方法
CN107526316A (zh) * 2017-09-27 2017-12-29 四川省电科互联网加产业技术研究院有限公司 一种基于互联网通信引擎的引导显示设备监控系统
CN109408578A (zh) * 2018-10-30 2019-03-01 环境保护部华南环境科学研究所 一种针对异构环境监测数据融合方法
CN109711479A (zh) * 2018-12-30 2019-05-03 中国电子科技集团公司信息科学研究院 一种数据处理与融合方法及其应用
CN110147357A (zh) * 2019-05-07 2019-08-20 浙江科技学院 一种基于大数据环境下的多源数据聚合抽样方法及系统
CN111625545A (zh) * 2020-06-08 2020-09-04 北京创鑫旅程网络技术有限公司 数据融合方法、数据融合装置及存储介质
CN112017135A (zh) * 2020-07-13 2020-12-01 香港理工大学深圳研究院 一种遥感影像数据时空融合的方法、系统及设备

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110022442A1 (en) * 2006-12-13 2011-01-27 Crown Equipment Corporation Information system for industrial vehicles including cyclical recurring vehicle information message
US20120092379A1 (en) * 2010-10-15 2012-04-19 Hitachi, Ltd. Sensing data display apparatus and sensing data processing system
CN102135979A (zh) * 2010-12-08 2011-07-27 华为技术有限公司 数据清洗方法及装置
CN102881125A (zh) * 2012-09-25 2013-01-16 杭州立高科技有限公司 基于多信息融合集中处理平台的报警监控系统
US20140341568A1 (en) * 2013-05-20 2014-11-20 Sodero Networks, Inc. High-Throughput Network Traffic Monitoring through Optical Circuit Switching and Broadcast-and-Select Communications
CN105323124A (zh) * 2014-06-04 2016-02-10 深圳市德领电子科技有限公司 大数据网际信息链系统的信息交换方法
CN106411648A (zh) * 2016-10-13 2017-02-15 交控科技股份有限公司 城市轨道交通信号系统的数据监测方法及数据监测服务器
CN106779407A (zh) * 2016-12-15 2017-05-31 国网浙江省电力公司杭州供电公司 一种基于数据池的电力数据融合方法
CN106714085A (zh) * 2016-12-23 2017-05-24 北京橙鑫数据科技有限公司 一种信息交换的方法及电子设备
CN107526316A (zh) * 2017-09-27 2017-12-29 四川省电科互联网加产业技术研究院有限公司 一种基于互联网通信引擎的引导显示设备监控系统
CN109408578A (zh) * 2018-10-30 2019-03-01 环境保护部华南环境科学研究所 一种针对异构环境监测数据融合方法
CN109711479A (zh) * 2018-12-30 2019-05-03 中国电子科技集团公司信息科学研究院 一种数据处理与融合方法及其应用
CN110147357A (zh) * 2019-05-07 2019-08-20 浙江科技学院 一种基于大数据环境下的多源数据聚合抽样方法及系统
CN111625545A (zh) * 2020-06-08 2020-09-04 北京创鑫旅程网络技术有限公司 数据融合方法、数据融合装置及存储介质
CN112017135A (zh) * 2020-07-13 2020-12-01 香港理工大学深圳研究院 一种遥感影像数据时空融合的方法、系统及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MARWA KESHK: "Privacy-Preserving Schemes for Safeguarding Heterogeneous Data Sources in Cyber-Physical Systems", 《IEEE ACCESS》 *
孙悦: "遥感数据时空融合算法研究 ————以Landsat与MODIS数据为例", 《中国优秀硕士学位论文全文数据库基础科学辑》 *

Similar Documents

Publication Publication Date Title
CN110830450A (zh) 基于统计的异常流量监测方法、装置、设备及存储介质
CN110211121B (zh) 用于推送模型的方法和装置
CN111459944A (zh) 一种mr数据存储方法、装置、服务器及存储介质
CN111291071A (zh) 数据处理方法、装置及电子设备
CN112256682B (zh) 一种多维异构数据的数据质量检测方法及装置
CN110928934A (zh) 一种用于业务分析的数据处理方法和装置
CN111652661B (zh) 一种手机客户端用户流失预警处理方法
CN114328682A (zh) 一种基于规则引擎的数据处理方法、装置、设备及介质
CN111738316A (zh) 零样本学习的图像分类方法、装置及电子设备
CN112035256A (zh) 一种资源分配方法、装置、电子设备及介质
CN113315813A (zh) 一种大数据网际信息链系统的信息交换方法及系统
CN109167673B (zh) 一种融合异常Qos数据检测的新型云服务筛选方法
CN111125263A (zh) 预约请求的管理方法、预约功能实体以及可读存储介质
CN111737371B (zh) 可动态预测的数据流量检测分类方法及装置
CN112417259B (zh) 媒体资源的处理方法、装置、设备及存储介质
CN115795118A (zh) 一种多源异构数据的信息协同处理方法及装置
CN112560213B (zh) 基于模型系统工程和超网络理论的体系建模方法及系统
CN114490718A (zh) 数据输出方法、装置、电子设备和计算机可读介质
CN111414921B (zh) 样本图像处理方法、装置、电子设备及计算机存储介质
CN115086180A (zh) 网络组网方法、网络组网装置及电子设备
CN112818139A (zh) 应用于安防监控的边缘计算数据管理方法、装置和设备
CN111898027A (zh) 确定特征维度的方法、装置、电子设备和计算机可读介质
CN112214469A (zh) 路测数据处理方法、装置、服务器及存储介质
CN110781066A (zh) 用户行为分析方法、装置、设备及存储介质
CN114706960B (zh) 一种基于云计算的档案信息查验方法及档案查验终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210827

RJ01 Rejection of invention patent application after publication