CN116155618B - 基于大数据和人工智能的数据维护方法及系统 - Google Patents

基于大数据和人工智能的数据维护方法及系统 Download PDF

Info

Publication number
CN116155618B
CN116155618B CN202310349220.4A CN202310349220A CN116155618B CN 116155618 B CN116155618 B CN 116155618B CN 202310349220 A CN202310349220 A CN 202310349220A CN 116155618 B CN116155618 B CN 116155618B
Authority
CN
China
Prior art keywords
data
service request
transmission channel
data transmission
demand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310349220.4A
Other languages
English (en)
Other versions
CN116155618A (zh
Inventor
郭子昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianyun Rongchuang Data Science & Technology Beijing Co ltd
Original Assignee
Tianyun Rongchuang Data Science & Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianyun Rongchuang Data Science & Technology Beijing Co ltd filed Critical Tianyun Rongchuang Data Science & Technology Beijing Co ltd
Priority to CN202310349220.4A priority Critical patent/CN116155618B/zh
Publication of CN116155618A publication Critical patent/CN116155618A/zh
Application granted granted Critical
Publication of CN116155618B publication Critical patent/CN116155618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提供一种基于大数据和人工智能的数据维护方法及系统,该方法包括如下步骤：依据用户端发送的业务请求，配置业务请求对应的区域维度；为业务请求匹配服务器；为每个区域维度配置一个数据传输通道；通过配置的数据传输通道获取业务请求对应的任务需求数据，并对业务请求对应的所有任务需求数据进行整合，将整合后的数据加密打包后，发送给与业务请求匹配的服务器；根据数据传输质量指标数据计算数据传输通道的传输质量评价值；比较数据传输通道的传输质量评价值与预设质量阈值的大小，若数据传输通道的传输质量评价值小于预设质量阈值，则更换该数据传输通道。本申请提高服务器对业务请求的处理匹配度，以及提高大数据安全性。

Description

基于大数据和人工智能的数据维护方法及系统
技术领域
本申请涉及数据处理技术领域，尤其涉及一种基于大数据和人工智能的数据维护方法及系统。
背景技术
随着通信技术的快速发展，大数据被广泛应用，大数据具有数据量大、数据类型多样化、数据交互快速以及数据价值深度广等优点，能够应用于现代社会的多个行业，基于采集的大数据对业务请求进行处理是目前常用的技术手段。人工智能是对人的意识、思维过程进行模拟的一门学科。机器学习（Machine Learning）和深度学习（Deep Learning）作为人工智能的技术核心，也已经取得重大的突破，机器被赋予强大的认知和预测能力。基于提供各种实际的业务应用场景的人工智能平台，例如电商购物、在线教育等应用场景的人工智能平台，对产生业务数据流通过人工智能技术进行特征检测已经得到了广泛的应用。在基于机器学习的大数据分析及特征检测的实际应用中。
现有技术中，通过大数据对业务请求进行处理的过程中，仍然存在如下不足：第一，由于业务请求所用到的大数据大多是从多个数据采集终端获得的，数据采集终端的位置多样化、数据多样化和数据传输需求多样化，目前的服务器无法匹配业务请求的需求特征，或者说服务器的性能无法满足业务请求的需求特性，例如，服务器的处理性能无法满足业务请求的处理量，服务器的存储性能无法满足业务请求的存储要求等。第二，目前数据采集终端的多样化和位置多样化等，造成的数据采集终端易于被入侵或携带入侵信息，因此，造成数据采集终端上传的大数据具有一定的安全隐患，对大数据安全性造成威胁。
因此，目前亟需解决的技术问题是：如何提高服务器对业务请求的处理匹配度，以及提高大数据安全性。
发明内容
本申请的目的在于提供一种基于大数据和人工智能的数据维护方法及系统，提高服务器对业务请求的处理匹配度，以及提高大数据安全性。
为达到上述目的，本申请提供一种基于大数据和人工智能的数据维护方法,该方法包括如下步骤：依据用户端发送的业务请求，配置业务请求对应的区域维度；为业务请求匹配服务器；依据配置业务请求对应的区域维度，为每个区域维度配置一个数据传输通道；通过配置的数据传输通道获取业务请求对应的任务需求数据，并对业务请求对应的所有任务需求数据进行整合，将整合后的数据加密打包后，发送给与业务请求匹配的服务器；采集数据传输通道的数据传输质量指标数据，并根据数据传输质量指标数据计算数据传输通道的传输质量评价值；比较数据传输通道的传输质量评价值与预设质量阈值的大小，若数据传输通道的传输质量评价值小于预设质量阈值，则更换该数据传输通道，否则，无需更换该数据传输通道。
如上所述的基于大数据和人工智能的数据维护方法,其中，为业务请求匹配服务器的方法包括如下步骤：采集业务请求的任务特征数据和服务器集群内多个服务器的服务特征数据；根据业务请求的任务特征数据和服务器集群内多个服务器的服务特征数据，计算业务请求与服务器集群内多个服务器的匹配度值；根据业务请求与服务器集群内多个服务器的匹配度值，选取与业务请求匹配度值最大的服务器，作为处理该业务请求匹配的服务器。
如上所述的基于大数据和人工智能的数据维护方法,其中，计算数据传输通道的传输质量评价值的公式为：
Figure SMS_4
；其中，/>
Figure SMS_5
表示数据传输通道的传输质量评价值；/>
Figure SMS_12
表示数据传输质量指标数据的影响权重；/>
Figure SMS_3
表示数据传输质量指标数据的总种类数；/>
Figure SMS_7
表示第/>
Figure SMS_11
个数据传输质量指标数据对数据传输通道的传输质量评价值的影响权重;/>
Figure SMS_13
表示第/>
Figure SMS_1
个数据传输质量指标数据的最大允许限值；/>
Figure SMS_6
表示第/>
Figure SMS_8
个数据传输质量指标数据的值；/>
Figure SMS_9
表示数据包阻塞传输对数据传输通道的传输质量评价值的影响权重；/>
Figure SMS_2
表示需求数据采集终端发送给数据传输通道数据包的总数量；/>
Figure SMS_10
表示数据传输通道中阻塞传输的数据包的数量。
如上所述的基于大数据和人工智能的数据维护方法,其中，依据用户端发送的业务请求，配置业务请求对应的区域维度的方法包括如下步骤：接收用户端发送的业务请求，并获取业务请求的内容；依据业务请求的内容，获取业务请求对应的需求数据采集终端；根据获取的业务请求对应的需求数据采集终端，为业务请求配置对应的需求端的区域维度。
如上所述的基于大数据和人工智能的数据维护方法,其中，根据获取的业务请求对应的需求数据采集终端，对每一个业务请求配置对应的需求端的区域维度的方法包括：根据需求数据采集终端的地理位置，将预设地理位置范围内的多个需求数据采集终端划分在一个区域维度内，为业务请求配置对应的区域维度。
如上所述的基于大数据和人工智能的数据维护方法,其中，通过配置的数据传输通道获取业务请求对应的任务需求数据的方法包括如下步骤：响应于需求数据采集终端数据采集完成，通过业务请求对应配置的多个数据传输通道，接收需求数据采集终端采集的数据；数据传输通道将其接收的数据转发给总控制服务器。
如上所述的基于大数据和人工智能的数据维护方法,其中，业务请求对应的所有需求数据采集终端并行采集数据。
如上所述的基于大数据和人工智能的数据维护方法,其中，对业务请求对应的所有任务需求数据进行整合的方法包括如下步骤：在总控制服务器中预先构建异常特征检测模型；总控制服务器根据预先构建的异常特征检测模型，对需求数据采集终端采集的数据进行异常特征检测，获得检测结果，若检测结果无异常，则无需对需求数据采集终端采集的数据进行优化，否则，对需求数据采集终端采集的数据进行优化，直至检测结果无异常。
如上所述的基于大数据和人工智能的数据维护方法,其中，若单个业务请求对应的所有需求数据采集终端采集的数据的检测结果均无异常，则将单个业务请求对应的所有需求数据采集终端采集的数据整合在一个数据包，并对数据包进行加密处理。
如上所述的基于大数据和人工智能的数据维护方法,其中，为加密处理后的数据包添加对应的业务请求标识，业务请求标识用于识别该数据包对应的业务请求；其中，业务请求标识为业务请求的名称、授权码或编号。
本申请还提供一种基于大数据和人工智能的数据维护系统，该系统包括：
第一配置模块，用于依据用户端发送的业务请求，配置业务请求对应的区域维度；
匹配模块，用于为业务请求匹配服务器；
第二配置模块，用于依据配置业务请求对应的区域维度，为每个区域维度配置一个数据传输通道；
数据传输模块，用于通过配置的数据传输通道获取业务请求对应的任务需求数据，并对业务请求对应的所有任务需求数据进行整合，将整合后的数据加密打包后，发送给与业务请求匹配的服务器；
数据处理器，用于采集数据传输通道的数据传输质量指标数据，并根据数据传输质量指标数据计算数据传输通道的传输质量评价值；
数据比较器，用于比较数据传输通道的传输质量评价值与预设质量阈值的大小，若数据传输通道的传输质量评价值小于预设质量阈值，则更换该数据传输通道，否则，无需更换该数据传输通道；
其中，数据传输通道的传输质量评价值的计算公式为：
Figure SMS_14
；
其中，
Figure SMS_17
表示数据传输通道的传输质量评价值；/>
Figure SMS_19
表示数据传输质量指标数据的影响权重；/>
Figure SMS_23
表示数据传输质量指标数据的总种类数；/>
Figure SMS_16
表示第/>
Figure SMS_20
个数据传输质量指标数据对数据传输通道的传输质量评价值的影响权重;/>
Figure SMS_21
表示第/>
Figure SMS_24
个数据传输质量指标数据的最大允许限值；/>
Figure SMS_15
表示第/>
Figure SMS_22
个数据传输质量指标数据的值；/>
Figure SMS_25
表示数据包阻塞传输对数据传输通道的传输质量评价值的影响权重；/>
Figure SMS_26
表示需求数据采集终端发送给数据传输通道数据包的总数量；/>
Figure SMS_18
表示数据传输通道中阻塞传输的数据包的数量。
本申请实现的有益效果如下：
（1）本申请采集业务请求的任务特征数据和服务器集群内多个服务器的服务特征数据，根据业务请求的任务特征数据和服务器集群内多个服务器的服务特征数据，计算业务请求与服务器集群内多个服务器的匹配度值，根据业务请求与服务器集群内多个服务器的匹配度值，选取与业务请求匹配度值最大的服务器，作为处理该业务请求的服务器，提高服务器对业务请求的处理匹配度，从而提高服务器对业务请求的处理效率，提高服务器资源利用的合理性。
（2）本申请通过预先构建的异常特征检测模型，对需求数据采集终端采集的数据进行异常特征检测，若检测结果无异常，则无需对检测结果异常的数据进行优化，否则，对检测结果异常的数据进行优化。提高需求数据采集终端上传的大数据的安全性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请实施例的一种基于大数据和人工智能的数据维护方法的流程图。
图2为本申请实施例的依据用户端发送的业务请求，配置业务请求对应的区域维度的方法流程图。
图3为本申请实施例的为业务请求匹配服务器的方法流程图。
图4为本申请实施例的一种基于大数据和人工智能的数据维护系统结构示意图。
附图标记：10-第一配置模块；20-匹配模块；30-第二配置模块；40-数据传输模块；50-数据处理器；60-数据比较器；100-数据维护系统。
具体实施方式
下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
如图1所示，本申请提供一种基于大数据和人工智能的数据维护方法,该方法包括如下步骤：
步骤S1，依据用户端发送的业务请求，配置业务请求对应的区域维度。
如图2所示，步骤S1包括如下子步骤：
步骤S110，接收用户端发送的业务请求，并获取业务请求的内容。
具体的，接收用户端发送的业务请求，并获取业务请求的内容，根据业务请求的业务请求时间顺序对多个业务请求进行排序，形成业务请求列表。
其中，业务请求的内容包括业务请求时间、任务名称和任务所对应的需求数据采集终端等。
步骤S120，依据业务请求的内容，获取业务请求对应的需求数据采集终端。
具体的，依据各个业务请求的内容，获取每个业务请求对应的所有需求数据采集终端。一个业务请求对应多个需求数据采集终端，需求数据采集终端为提供需求大数据的数据采集器，需求数据采集终端例如为温度传感器、电量传感器、压力传感器和计数器等。
步骤S130，根据获取的业务请求对应的需求数据采集终端，为业务请求配置对应的区域维度。
具体的，根据获取的业务请求对应的需求数据采集终端，对业务请求列表中的每一个业务请求配置对应的需求端的区域维度。
具体的，根据需求数据采集终端的地理位置，将预设地理位置范围内的多个需求数据采集终端划分在一个区域维度内，为业务请求配置对应的区域维度。依次配置每一个业务请求对应的区域维度。例如，地理位置在某一个场所内的所有需求数据采集终端划分在一个区域维度内。
步骤S2，为业务请求匹配服务器。
具体的，为业务请求匹配服务器，通过匹配的服务器对业务请求进行处理。
如图3所示，步骤S2包括如下子步骤：
步骤S210，采集业务请求的任务特征数据和服务器集群内多个服务器的服务特征数据。
作为本发明的一个具体实施例，业务请求的任务特征数据包括：子任务数量、需求数据采集终端数量、需求数据采集终端位置、子任务需求数据量、子任务的数据传输需求指标数据（需求传输速度、需求传输数据量）等。
作为本发明的一个具体实施例，服务器的服务特征数据包括：服务器位置、剩余服务性能特征数据（可用内存占比、CPU使用占比、可用本地磁盘占用量、数据传输速度）等。
步骤S220，根据业务请求的任务特征数据和服务器集群内多个服务器的服务特征数据，计算业务请求与服务器集群内多个服务器的匹配度值。
其中，业务请求与服务器集群内服务器的匹配度值的计算方法为：
Figure SMS_27
其中，
Figure SMS_35
表示业务请求与服务器集群内服务器的匹配度值；/>
Figure SMS_42
表示需求数据采集终端与服务器之间的距离因子，若有任意一个需求数据采集终端与服务器之间的距离超过最大允许距离，则/>
Figure SMS_48
；否则/>
Figure SMS_29
；/>
Figure SMS_38
表示需求数据采集终端与服务器之间的距离影响权重;/>
Figure SMS_46
表示业务请求对应的需求采集终端的总数量；/>
Figure SMS_51
表示需求数据采集终端与服务器之间的最大允许距离；/>
Figure SMS_31
表示第i个需求数据采集终端与服务器之间的距离；/>
Figure SMS_37
表示服务器的剩余服务性能影响权重；/>
Figure SMS_44
表示服务器的第/>
Figure SMS_50
种剩余服务性能特征数据的权重因子;/>
Figure SMS_32
表示服务器的第/>
Figure SMS_40
种剩余服务性能特征数据的剩余服务值；/>
Figure SMS_53
表示服务器的剩余服务性能特征数据的总种类数量；/>
Figure SMS_55
；/>
Figure SMS_34
表示服务器的第/>
Figure SMS_36
种剩余服务性能特征数据的上限值；/>
Figure SMS_43
表示服务器的第/>
Figure SMS_47
种剩余服务性能特征数据的已占用值；/>
Figure SMS_28
表示任务特征数据的影响权重；/>
Figure SMS_39
表示子任务的总数量；/>
Figure SMS_45
表示子任务的数据传输需求指标数据总个数；/>
Figure SMS_52
表示第/>
Figure SMS_33
个数据传输需求指标数据的权重；/>
Figure SMS_41
表示服务器可提供给业务请求的第k个子任务对应于第/>
Figure SMS_49
个数据传输需求指标数据的剩余服务值；/>
Figure SMS_54
表示第k个子任务的第/>
Figure SMS_30
个数据传输需求指标数据的值。
作为解释，若第k个子任务的数据传输需求指标数据为需求传输速度，则服务器可提供给业务请求的第k个子任务对应于需求传输速度的剩余服务值为其当前数据传输速度；若第k个子任务的数据传输需求指标数据为需求传输数据量，则服务器可提供给业务请求的第k个子任务对应于需求传输数据量的剩余服务值为其除去其他子任务的需求传输数据量对应占用的空间后的剩余存储空间大小。
步骤S230，根据业务请求与服务器集群内多个服务器的匹配度值，选取与业务请求匹配度值最大的服务器，作为处理该业务请求匹配的服务器。
步骤S3，依据配置业务请求对应的区域维度，为每个区域维度配置一个数据传输通道。
具体的，依据配置业务请求对应的区域维度，为每个区域维度配置一个数据传输通道，通过多个数据传输通道并行传输一个任务请求对应的任务需求数据。其中，每个区域维度内包括多个需求数据采集终端，多个需求数据采集终端相对独立，并各自执行各自的数据采集任务。
步骤S4，通过配置的数据传输通道获取业务请求对应的任务需求数据，并对业务请求对应的所有任务需求数据进行整合，将整合后的数据加密打包后，发送给与业务请求匹配的服务器。
具体的，依据配置的区域维度，获取业务请求对应的任务需求数据，并对业务请求对应的所有区域维度内获取的任务需求数据进行整合，将整合后的数据加密打包，发送给与业务请求匹配度值最大的服务器。
其中，通过配置的数据传输通道获取业务请求对应的任务需求数据的方法包括如下子步骤：
步骤S410，响应于需求数据采集终端数据采集完成，通过业务请求对应配置的多个数据传输通道，接收需求数据采集终端采集的数据。
其中，业务请求对应的所有需求数据采集终端并行采集数据。
具体的，每个业务请求对应的所有需求数据采集终端并行采集数据，每个区域维度内的需求数据采集终端通过一个数据传输通道将采集的数据发送给总控制服务器。一个数据传输通道内设置一个网关。
具体的，数据传输通道为通过网关建立的需求数据采集终端与总控制服务器之间的通信通道。
步骤S420，数据传输通道将其接收的数据转发给总控制服务器。
其中，对业务请求对应的所有任务需求数据进行整合的方法包括如下步骤：
步骤S430，在总控制服务器中预先构建异常特征检测模型。
步骤S440，总控制服务器根据预先构建的异常特征检测模型，对需求数据采集终端采集的数据进行异常特征检测，获得检测结果，若检测结果无异常，则无需对需求数据采集终端采集的数据进行优化，否则，对需求数据采集终端采集的数据进行优化，直至检测结果无异常。
作为本发明的具体实施例，预先构建的异常特征检测模型方法为：根据现有的基础卷积神经网络模型，对预先获取的异常特征数据集合进行训练，获得训练后的模型作为异常特征检测模型。异常特征数据集合包括不对需求数据采集终端采集的数据的缺失特征数据、重复特征数据等。预先构建的异常特征检测模型方法采用的是现有的方法，在此不再赘述。
具体的，对检测结果异常的数据进行优化的方法包括：
获取异常数据的特征数据，包括异常数据的位置、异常数据的类型（重复、缺失）和异常数据的数量等。根据异常数据的特征数据，对需求数据采集终端采集的数据进行重新采集，直至检测结果无异常。
步骤S450，若单个业务请求对应的所有需求数据采集终端采集的数据的检测结果均无异常，则将单个业务请求对应的所有需求数据采集终端采集的数据整合在一个数据包。
具体的，总控制服务器对单个业务请求对应的所有需求数据采集终端采集的数据进行整合后还包括如下步骤：
步骤S460，总控制服务器将整合后的数据包进行加密处理。
具体的，将单个业务请求对应的所有需求数据采集终端采集的数据进行整合在一个数据包，将整合后的数据打包后，获得数据包，通过现有的加密方法对数据包进行加密，并为加密处理后的数据包添加对应的业务请求标识，业务请求标识用于识别该数据包对应的业务请求，业务请求标识例如为业务请求的名称、授权码或编号等，加密方法可以是密钥加密、数据证书加密等方法。总控制服务器将解密的方法告知对应处理该业务请求的服务器，服务器接收到该业务请求的数据包后，通过总控制器告知的解密方法对业务请求的数据包进行解密后，根据解密后的数据对业务请求进行处理。
步骤S470，将加密打包后的数据发送到与业务请求的匹配度值最大的服务器。
步骤S5，采集数据传输通道的数据传输质量指标数据，并根据数据传输质量指标数据计算数据传输通道的传输质量评价值。
具体的，数据传输质量指标数据包括数据包平均网络延时、丢包率、网络抖动值等，数据传输质量指标数据越小表示数据传输通道的传输性能越好。
其中，数据传输通道的传输质量评价值的计算公式为：
Figure SMS_56
；
其中，
Figure SMS_59
表示数据传输通道的传输质量评价值；/>
Figure SMS_61
表示数据传输质量指标数据的影响权重；/>
Figure SMS_63
表示数据传输质量指标数据的总种类数；/>
Figure SMS_60
表示第/>
Figure SMS_62
个数据传输质量指标数据对数据传输通道的传输质量评价值的影响权重;/>
Figure SMS_65
表示第/>
Figure SMS_67
个数据传输质量指标数据的最大允许限值；/>
Figure SMS_57
表示第/>
Figure SMS_64
个数据传输质量指标数据的值；/>
Figure SMS_66
表示数据包阻塞传输对数据传输通道的传输质量评价值的影响权重；/>
Figure SMS_68
表示需求数据采集终端发送给数据传输通道数据包的总数量；/>
Figure SMS_58
表示数据传输通道中阻塞传输的数据包的数量。阻塞传输的数据包指的是等待传输的数据包，即未传输的数据包的数量。
步骤S6，比较数据传输通道的传输质量评价值与预设质量阈值的大小，若数据传输通道的传输质量评价值小于预设质量阈值，则更换该数据传输通道，否则，无需更换该数据传输通道。
具体的，若数据传输通道的传输质量评价值小于预设质量阈值，则表示该数据传输通道的传输性能不能满足要求，则更换网关对需求数据采集终端采集的数据进行传输，使用新的网关实现需求数据采集终端与总控制服务器之间的数据传输，否则，无需更换网关。
实施例二
如图4所示，本申请提供一种基于大数据和人工智能的数据维护系统100，该系统包括：
第一配置模块10，用于依据用户端发送的业务请求，配置业务请求对应的区域维度。
匹配模块20，用于为业务请求匹配服务器。
第二配置模块30，用于依据配置业务请求对应的区域维度，为每个区域维度配置一个数据传输通道。
数据传输模块40，用于通过配置的数据传输通道获取业务请求对应的任务需求数据，并对业务请求对应的所有任务需求数据进行整合，将整合后的数据加密打包后，发送给与业务请求匹配的服务器。
数据处理器50，用于采集数据传输通道的数据传输质量指标数据，并根据数据传输质量指标数据计算数据传输通道的传输质量评价值。
数据比较器60，用于比较数据传输通道的传输质量评价值与预设质量阈值的大小，若数据传输通道的传输质量评价值小于预设质量阈值，则更换该数据传输通道，否则，无需更换该数据传输通道。
其中，数据传输通道的传输质量评价值的计算公式为：
Figure SMS_69
；
其中，
Figure SMS_71
表示数据传输通道的传输质量评价值；/>
Figure SMS_75
表示数据传输质量指标数据的影响权重；/>
Figure SMS_78
表示数据传输质量指标数据的总种类数；/>
Figure SMS_73
表示第/>
Figure SMS_76
个数据传输质量指标数据对数据传输通道的传输质量评价值的影响权重;/>
Figure SMS_79
表示第/>
Figure SMS_81
个数据传输质量指标数据的最大允许限值；/>
Figure SMS_70
表示第/>
Figure SMS_74
个数据传输质量指标数据的值；/>
Figure SMS_77
表示数据包阻塞传输对数据传输通道的传输质量评价值的影响权重；/>
Figure SMS_80
表示需求数据采集终端发送给数据传输通道数据包的总数量；/>
Figure SMS_72
表示数据传输通道中阻塞传输的数据包的数量。
本申请实现的有益效果如下：
（1）本申请采集业务请求的任务特征数据和服务器集群内多个服务器的服务特征数据，根据业务请求的任务特征数据和服务器集群内多个服务器的服务特征数据，计算业务请求与服务器集群内多个服务器的匹配度值，根据业务请求与服务器集群内多个服务器的匹配度值，选取与业务请求匹配度值最大的服务器，作为处理该业务请求的服务器，提高服务器对业务请求的处理匹配度，从而提高服务器对业务请求的处理效率，提高服务器资源利用的合理性。
（2）本申请通过预先构建的异常特征检测模型，对需求数据采集终端采集的数据进行异常特征检测，若检测结果无异常，则无需对检测结果异常的数据进行优化，否则，对检测结果异常的数据进行优化。提高需求数据采集终端上传的大数据的安全性。
在本申请的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请的描述中，“例如”一词用来表示“用作例子、例证或说明”。本申请中被描述为“例如”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
以上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理内所做的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。

Claims (10)

1.一种基于大数据和人工智能的数据维护方法,其特征在于，该方法包括如下步骤：
依据用户端发送的业务请求，配置业务请求对应的区域维度；
为业务请求匹配服务器；
依据配置业务请求对应的区域维度，为每个区域维度配置一个数据传输通道；
通过配置的数据传输通道获取业务请求对应的任务需求数据，并对业务请求对应的所有任务需求数据进行整合，将整合后的数据加密打包后，发送给与业务请求匹配的服务器；
采集数据传输通道的数据传输质量指标数据，并根据数据传输质量指标数据，计算数据传输通道的传输质量评价值；
比较数据传输通道的传输质量评价值与预设质量阈值的大小，若数据传输通道的传输质量评价值小于预设质量阈值，则更换该数据传输通道，否则，无需更换该数据传输通道；
其中，为业务请求匹配服务器的方法包括如下步骤：
采集业务请求的任务特征数据和服务器集群内多个服务器的服务特征数据；
根据业务请求的任务特征数据和服务器集群内多个服务器的服务特征数据，计算业务请求与服务器集群内多个服务器的匹配度值；
根据业务请求与服务器集群内多个服务器的匹配度值，选取与业务请求匹配度值最大的服务器，作为处理该业务请求匹配的服务器。
2.根据权利要求1所述的基于大数据和人工智能的数据维护方法,其特征在于，计算数据传输通道的传输质量评价值的公式为：
Figure QLYQS_1
；
其中，
Figure QLYQS_3
表示数据传输通道的传输质量评价值；/>
Figure QLYQS_6
表示数据传输质量指标数据的影响权重；/>
Figure QLYQS_10
表示数据传输质量指标数据的总种类数；/>
Figure QLYQS_4
表示第/>
Figure QLYQS_8
个数据传输质量指标数据对数据传输通道的传输质量评价值的影响权重;/>
Figure QLYQS_11
表示第/>
Figure QLYQS_12
个数据传输质量指标数据的最大允许限值；/>
Figure QLYQS_2
表示第/>
Figure QLYQS_7
个数据传输质量指标数据的值；/>
Figure QLYQS_9
表示数据包阻塞传输对数据传输通道的传输质量评价值的影响权重；/>
Figure QLYQS_13
表示需求数据采集终端发送给数据传输通道数据包的总数量；/>
Figure QLYQS_5
表示数据传输通道中阻塞传输的数据包的数量。
3.根据权利要求1所述的基于大数据和人工智能的数据维护方法,其特征在于，依据用户端发送的业务请求，配置业务请求对应的区域维度的方法包括如下步骤：
接收用户端发送的业务请求，并获取业务请求的内容；
依据业务请求的内容，获取业务请求对应的需求数据采集终端；
根据获取的业务请求对应的需求数据采集终端，为业务请求配置对应的需求端的区域维度。
4.根据权利要求3所述的基于大数据和人工智能的数据维护方法,其特征在于，根据获取的业务请求对应的需求数据采集终端，对每一个业务请求配置对应的需求端的区域维度的方法包括：根据需求数据采集终端的地理位置，将预设地理位置范围内的多个需求数据采集终端划分在一个区域维度内，为业务请求配置对应的区域维度。
5.根据权利要求1所述的基于大数据和人工智能的数据维护方法,其特征在于，通过配置的数据传输通道获取业务请求对应的任务需求数据的方法包括如下步骤：
响应于需求数据采集终端数据采集完成，通过业务请求对应配置的多个数据传输通道，接收需求数据采集终端采集的数据；
数据传输通道将其接收的数据转发给总控制服务器。
6.根据权利要求5所述的基于大数据和人工智能的数据维护方法,其特征在于，业务请求对应的所有需求数据采集终端并行采集数据。
7.根据权利要求1所述的基于大数据和人工智能的数据维护方法,其特征在于，对业务请求对应的所有任务需求数据进行整合的方法包括如下步骤：
在总控制服务器中预先构建异常特征检测模型；
总控制服务器根据预先构建的异常特征检测模型，对需求数据采集终端采集的数据进行异常特征检测，获得检测结果，若检测结果无异常，则无需对需求数据采集终端采集的数据进行优化，否则，对需求数据采集终端采集的数据进行优化，直至检测结果无异常。
8.根据权利要求7所述的基于大数据和人工智能的数据维护方法,其特征在于，若单个业务请求对应的所有需求数据采集终端采集的数据的检测结果均无异常，则将单个业务请求对应的所有需求数据采集终端采集的数据整合在一个数据包，并对数据包进行加密处理。
9.根据权利要求8所述的基于大数据和人工智能的数据维护方法,其特征在于，为加密处理后的数据包添加对应的业务请求标识，业务请求标识用于识别该数据包对应的业务请求；
其中，业务请求标识为业务请求的名称、授权码或编号。
10.一种基于大数据和人工智能的数据维护系统,用于执行权利要求1-9之一所述的方法，其特征在于，该系统包括：
第一配置模块，用于依据用户端发送的业务请求，配置业务请求对应的区域维度；
匹配模块，用于为业务请求匹配服务器；
第二配置模块，用于依据配置业务请求对应的区域维度，为每个区域维度配置一个数据传输通道；
数据传输模块，用于通过配置的数据传输通道获取业务请求对应的任务需求数据，并对业务请求对应的所有任务需求数据进行整合，将整合后的数据加密打包后，发送给与业务请求匹配的服务器；
数据处理器，用于采集数据传输通道的数据传输质量指标数据，并根据数据传输质量指标数据计算数据传输通道的传输质量评价值；
数据比较器，用于比较数据传输通道的传输质量评价值与预设质量阈值的大小，若数据传输通道的传输质量评价值小于预设质量阈值，则更换该数据传输通道，否则，无需更换该数据传输通道。
CN202310349220.4A 2023-04-04 2023-04-04 基于大数据和人工智能的数据维护方法及系统 Active CN116155618B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310349220.4A CN116155618B (zh) 2023-04-04 2023-04-04 基于大数据和人工智能的数据维护方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310349220.4A CN116155618B (zh) 2023-04-04 2023-04-04 基于大数据和人工智能的数据维护方法及系统

Publications (2)

Publication Number Publication Date
CN116155618A CN116155618A (zh) 2023-05-23
CN116155618B true CN116155618B (zh) 2023-06-23

Family

ID=86339165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310349220.4A Active CN116155618B (zh) 2023-04-04 2023-04-04 基于大数据和人工智能的数据维护方法及系统

Country Status (1)

Country Link
CN (1) CN116155618B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105794150A (zh) * 2013-12-02 2016-07-20 谷歌公司 用于测量端对端互联网应用性能的方法
CN108965620A (zh) * 2018-08-24 2018-12-07 杭州数心网络科技有限公司 一种人工智能呼叫中心系统
CN113961266A (zh) * 2021-10-14 2022-01-21 湘潭大学 一种边云协同下基于双边匹配的任务卸载方法
WO2022260814A1 (en) * 2021-06-11 2022-12-15 Microsoft Technology Licensing, Llc Paginated data transfer techniques
CN115630755A (zh) * 2022-12-22 2023-01-20 睿至科技集团有限公司 一种综合能源智慧管理系统的数据处理方法及系统
CN115865518A (zh) * 2023-01-30 2023-03-28 天云融创数据科技（北京）有限公司 一种基于大数据的云平台数据处理方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105794150A (zh) * 2013-12-02 2016-07-20 谷歌公司 用于测量端对端互联网应用性能的方法
CN108965620A (zh) * 2018-08-24 2018-12-07 杭州数心网络科技有限公司 一种人工智能呼叫中心系统
WO2022260814A1 (en) * 2021-06-11 2022-12-15 Microsoft Technology Licensing, Llc Paginated data transfer techniques
CN113961266A (zh) * 2021-10-14 2022-01-21 湘潭大学 一种边云协同下基于双边匹配的任务卸载方法
CN115630755A (zh) * 2022-12-22 2023-01-20 睿至科技集团有限公司 一种综合能源智慧管理系统的数据处理方法及系统
CN115865518A (zh) * 2023-01-30 2023-03-28 天云融创数据科技（北京）有限公司 一种基于大数据的云平台数据处理方法及系统

Also Published As

Publication number Publication date
CN116155618A (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
US11272396B2 (en) Frame aggregation method, network setting frame sending method, and device
US9532291B2 (en) Network system and communication log analyzer
CN109309688B (zh) 基于云监控及数据加密传输的新能源电站运行控制方法
CN112261062A (zh) 支持多协议转换的物联网安全接入方法及网关、系统
CN111064779A (zh) 一种变电站sf6在线监测装置、方法及系统
CN107896216B (zh) 一种电力量测仪表的密钥管理、数据加密与身份认证方法
CN110691358B (zh) 无线传感器网络中基于属性密码体制的访问控制系统
CN113225339A (zh) 网络安全监测方法、装置、计算机设备及存储介质
US9621438B2 (en) Network traffic management
KR101784613B1 (ko) 분산 데이터 이상 징후 탐지 방법 및 장치
CN116155618B (zh) 基于大数据和人工智能的数据维护方法及系统
CN114785874A (zh) 基于多网络协议提供高可用传输通道的方法
CN113241848A (zh) 配电网综合监控系统
CN110278077B (zh) 一种用于获取电能表数据信息的方法、装置、设备及存储介质
CN106411559A (zh) 一种低压台区反窃电诊断系统
CN106130764B (zh) 一种监控视频直播间数据服务是否可用的方法及系统
CN112533160B (zh) 一种监控卫星物联网终端运行状态的方法
Huang et al. Learning-aided stochastic network optimization with imperfect state prediction
CN113055535B (zh) 用于生成5g端到端话单的方法和系统
CN109445328B (zh) 核电站仪控系统的防止重放攻击方法和装置
CN109788249B (zh) 基于工业互联网操作系统的视频监控控制方法
CN115118449B (zh) 一种面向能源互联网安全高效交互的边缘代理服务器
CN112187776B (zh) 数据的传输方法、装置、终端、平台及计算机存储介质
CN112822253B (zh) 一种电力物联网的用电数据跳传方法及装置
CN115001822B (zh) 一种基于时延判断的配电网安全认证方法及网关

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant