CN111541567A - 一种人工智能云计算大数据管理系统及方法 - Google Patents

一种人工智能云计算大数据管理系统及方法 Download PDF

Info

Publication number
CN111541567A
CN111541567A CN202010319011.1A CN202010319011A CN111541567A CN 111541567 A CN111541567 A CN 111541567A CN 202010319011 A CN202010319011 A CN 202010319011A CN 111541567 A CN111541567 A CN 111541567A
Authority
CN
China
Prior art keywords
data
cloud
module
big data
management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010319011.1A
Other languages
English (en)
Inventor
彭小雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010319011.1A priority Critical patent/CN111541567A/zh
Publication of CN111541567A publication Critical patent/CN111541567A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/04—Network management architectures or arrangements
    • H04L41/042—Network management architectures or arrangements comprising distributed management centres cooperatively managing the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种人工智能云计算大数据管理系统及方法，涉及大数据技术领域，该系统包括用于对分布在不同网络环境的多个云数据中心进行集中管理的云管理平台，其中所述云管理平台设置有数据提取模块、数据分类单元、数据计算单元、显示模块和数据存储单元，其中所述数据提取模块的输入端与数据库的输出端连接，所述数据提取模块的输出端在所述云管理平台内部与所述数据分类单元连接，所述数据分类单元的输出端分别与所述数据计算单元、显示模块和数据存储单元连接。本发明能够在几秒钟内处理几亿种数据，并对不同种类的数据进行快速分类，并能够研究各类数据之间的关系，有效地实现了数据的分类和分析，提高了数据的管理能力。

Description

一种人工智能云计算大数据管理系统及方法
技术领域
本发明涉及大数据处理领域，且更具体地涉及一种人工智能云计算大数据管理系统及方法
背景技术
随着高、新、尖科技的不断发展，大量的数据信息蜂拥而至，各个行业都会产生数量繁多、类型多变的数据，浩瀚的大数据往往由于数据量过多、维数太高而在具体实践工作中，给企业、用户都带来极其不便。在大数据应用中，维度越高，计算数据的复杂程度也就越高，发现隐藏在数据之间的逻辑关系以及隐藏的问题也就越难，如何从大量数据中提取有效信息，并为已所用，已经成为当前亟待解决的问题。
在常规技术中，往往采用数据硬盘、计算机存储等方式实现大数据的管理，用户在使用时，往往通过文件分类、计算机自带的检索功能实现数据的查询，这种方式在面对几亿种数据类型时，就显得无能为力，通过人工方式分类，分类精确度不高，数据处理时，很容易出错。随着人工智能、云计算技术的发展，该技术作为一种特殊的计算方式，能够快速、便捷地处大数据。使得用户的软硬件的使用率大大提高，企业的运营维护成本和管理资源也相应降低。基于此，本发明提出一种人工智能云计算大数据管理系统及方法以解决现有技术的不足。
发明内容
针对现有技术的不足，本发明公开了一种人工智能云计算大数据管理系统及方法，能够在几秒钟内处理几亿种数据，并对不同种类的数据进行快速分类，并能够研究各类数据之间的关系，有效地实现了数据的分类和分析，提高了数据的管理能力。
本发明采用以下技术方案：
一种人工智能云计算大数据管理系统，包括用于对分布在不同网络环境的多个云数据中心进行集中管理的云管理平台，其中：
所述云管理平台设置有数据提取模块、数据分类单元、数据计算单元、显示模块和数据存储单元，其中所述数据提取模块的输入端与数据库的输出端连接，所述数据提取模块的输出端在所述云管理平台内部与所述数据分类单元连接，所述数据分类单元的输出端分别与所述数据计算单元、显示模块和数据存储单元连接，其中：
所述提取模块设置有FPGA芯片和与所述FPGA芯片连接的I/O接口，用于提取数据库中不同IP源地址、目的地址、源端口号或目的端口号，并从IP 数据报中判断TCP、UDP或ICMP协议，通过提取不同地址的数据，抽取数据库中的大数据样本信息；
所述云管理平台为至少包括百度云服务器、腾讯云服务器、阿里云服务器、华为云服务器或者京东云服务器中任意一项的多云管理平台；并且
所述云管理平台至少包括物理资源池、虚拟化资源层、资源管理层、平台服务层和监控模块，其中：
所述物理资源池至少设置有存储模块、网络设备、通讯协议模块和通讯接口；
所述虚拟化资源层至少设置有计算模块、客户端模块和执行模块；
所述资源管理层至少设置有管理模块、用户界面接口、任务分配模块、负载均衡模块、资源调度模块、资源生命周期管理模块、认证和授权模块和镜像管理模块；
所述平台服务层至少包络云主机、云存储模块、容器服务器、物联网平台、数据平台和人工智能平台；
所述数据分类单元为基于FCM聚类模型的分类单元，所述数据分类单元设置有USB通讯接口和WIFI网络通讯接口；通过所述USB通讯接口和WIFI网络通讯接口实现与外界数据的交互；
所述数据计算单元为基于计算机CPU的计算单元；
所述显示模块为LCD显示屏；
所述数据存储单元为至少能够存储文字、声音、视频、动画或数据的云端存储模块，并且所述数据存储单元设置有无线通讯接口。
作为本发明进一步的技术方案，所述数据库至少包括基础数据库、共享数据库和决策数据库。
本发明还采用以下技术方案:
一种人工智能云计算大数据管理方法，所述方法包括以下步骤：
(S1)数据接收：利用云计算平台实现和各种大数据的接收；
(S2)数据存储：将接收到的数据存储在云端数据库中；
(S3)数据抽取：利用数据提取模块抽取需要处理的数据；
(S4)数据分类：构建FCM数据聚类算法模型，并启动FCM数据聚类算法模型实现数据的分类计算；
(S5)数据应用：用户应用FCM数据聚类算法处理完毕后的数据；
(S6)判断是否继续处理数据。如果继续处理，则返回步骤(S4)，如果不需要处理，则计算结束。
作为本发明进一步的技术方案，所述步骤(S4)中FCM数据聚类模型构建方法为：
(S41)数据初始化，假设从云端服务器内获取的数据类别为c，加权指数为m，迭代停止阈值为ε，并且ε>0，最大迭代次数为Tmax，聚类中心为 V(k),k＝1，则初始化聚类中心为V(1)；
(S42)计算隶属度，隶属度计算公式为：
Figure BDA0002460636400000041
(S43)改进隶属度矩阵计算，改进方程为：
Figure BDA0002460636400000042
(S44)其中V＝(v1,v2,...,vc)表示c个聚类中心的集合，其中vi的计算公式为：
Figure BDA0002460636400000043
(S45)当||V(k+1)-V(k)||<ε时，则停止计算，则转到步骤(S41)；
通过公式S42、S43反复修改隶属度和聚类中心，当算法收敛时，就得到了各类的聚类中心和各个样本对于各模式类的隶属度，从而完成了模糊聚类划分。
作为本发明进一步的技术方案，λ＝0.3。
作为本发明进一步的技术方案，0.3≤μik≤0.9。
作为本发明进一步的技术方案，dik＝||xk-vi||，其中dik表示k个样本点xk到第i个聚类中心的欧氏距离。
作为本发明进一步的技术方案，所述FCM聚类算法的目标函数为：
Figure BDA0002460636400000051
其中，矩阵U＝[μik]，其中k＝1,2,...,n；i＝1,2,...,c。
作为本发明进一步的技术方案，矩阵U的阶为c×n。
作为本发明进一步的技术方案，c≥50,n≥85。
积极有益效果：
1.本发明构建出融合物联网、人工智能、云计算的大数据管理平台，采用平台进行数据处理和计算，实现数据高速处理，实现了数据检测、数据传递、数据分类和存储的一体化智能管理，自动化程度高，数据处理速度快，在几秒的时间内能处理上百亿种数据；
2.本发明构建出新型的云计算管理平台，包括百度云服务器、腾讯云服务器、阿里云服务器、华为云服务器或者京东云服务器中任意一项的多云管理平台；并且云管理平台至少包括物理资源池、虚拟化资源层、资源管理层、平台服务层和监控模块，能够实现大数据的综合管理，数据管理较为全面；
3.本发明利用聚类分类算法，实现大数据的分类管理，能够将数据划分到不同的类或簇，聚类方法通过使用隶属函数，实现了数据的柔性划分，在处理图像问题时，提高了识别和应用能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种人工智能云计算大数据管理系统的架构示意图；
图2为本发明一种人工智能云计算大数据管理系统中一种实施例的通讯构架图；
图3为本发明一种人工智能云计算大数据管理系统中数据库架构示意图；
图4为本发明一种人工智能云计算大数据管理系统中云管理平台架构示意图；
图5为本发明一种人工智能云计算大数据管理方法的流程结构示意图；
图6为本发明一种人工智能云计算大数据管理方法中FCM聚类模型算法流程结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。下面，结合附图以及具体实施方式，对发明做出进一步的描述：
实施例1
如图1所示，一种人工智能云计算大数据管理系统，包括用于对分布在不同网络环境的多个云数据中心进行集中管理的云管理平台，其中：
所述云管理平台设置有数据提取模块、数据分类单元、数据计算单元、显示模块和数据存储单元，其中所述数据提取模块的输入端与数据库的输出端连接，所述数据提取模块的输出端在所述云管理平台内部与所述数据分类单元连接，所述数据分类单元的输出端分别与所述数据计算单元、显示模块和数据存储单元连接，其中：
所述提取模块设置有FPGA芯片和与所述FPGA芯片连接的I/O接口，用于提取数据库中不同IP源地址、目的地址、源端口号或目的端口号，并从IP数据报中判断TCP、UDP或ICMP协议，通过提取不同地址的数据，抽取数据库中的大数据样本信息；
所述云管理平台为至少包括百度云服务器、腾讯云服务器、阿里云服务器、华为云服务器或者京东云服务器中任意一项的多云管理平台；并且
所述云管理平台至少包括物理资源池、虚拟化资源层、资源管理层、平台服务层和监控模块，其中：
所述物理资源池至少设置有存储模块、网络设备、通讯协议模块和通讯接口；
所述虚拟化资源层至少设置有计算模块、客户端模块和执行模块；
所述资源管理层至少设置有管理模块、用户界面接口、任务分配模块、负载均衡模块、资源调度模块、资源生命周期管理模块、认证和授权模块和镜像管理模块；
所述平台服务层至少包络云主机、云存储模块、容器服务器、物联网平台、数据平台和人工智能平台；
所述数据分类单元为基于FCM聚类模型的分类单元，所述数据分类单元设置有USB通讯接口和WIFI网络通讯接口；通过所述USB通讯接口和WIFI网络通讯接口实现与外界数据的交互；
所述数据计算单元为基于计算机CPU的计算单元；
所述显示模块为LCD显示屏；
所述数据存储单元为至少能够存储文字、声音、视频、动画或数据的云端存储模块，并且所述数据存储单元设置有无线通讯接口。
云计算作为一种特殊的计算方式，是软件即服务(SasS)、平台即服务 (PasS)、基础设施即服务(IasS)、虚拟化Virtualization等技术的跃进或者商业实现的结果。通过云计算，使用户能够快速、便捷地处理智能电网大数据。云计算的形态通常包括私有云、公有云和混合云，私有云是集群企业内部的云计算，使得企业内部的数据集中存放，各部分可提取使用。公有云是通过搜索引擎的方式寻找数据，借助于各种网盘、迅雷进行离线下载以获取目标数据等，满足大众的要求。混合云能够结合私有云和公有云，既能满足企业内部的需要，又能满足普通大众使用云计算的需要。基于云计算在各个行业的广泛应用，使得软硬件的使用率大大提高，企业的运营维护成本和管理资源也相应降低。
当前在市场上实用比较多的H3C CAS云计算管理平台、AbiCloud企业级开源云计算平台、AbiCloud企业级开源云计算平台、Eucalyptus开源云计算平台、Nimbus云计算平台等，也可以采用云端智能电网大数据处理平台 SP-DPP(smart power system big dataprocessing platform in cloud environment)。
如图2所示。在应用云服务进行通讯，通讯网络为SDN/NFV，该网络能够实现数据的重构，能够实现数据网络的集中控制和智能编排，通讯接口兼容性能较好。在本发明中，还引入了统一编排器(Conductor)，能够有效地控制资源编排和业务编排。其中资源编排具有网络信息资源管理、网络资源拓扑、网络映射、资源交互、资源监控和共享等功能，包含但不局限于SDN域资源、NFV 域资源和DC域云资源等。通过VPC(Virtual Private Cloud虚拟私有云)对底层网络进行计算、分析、处理、存储和共享。在另外一种实施例中，采用的通讯网络也可以为SDN/NFV。
在又一种实施例中，在与云计算服务器连接的硬件结构中，还可以采用远程无线通讯方式与云端服务器进行数据通讯，比如通过CDMA、GPRS、2G/3G/4G 网络、Mobite无线网络等。在移动营销终端内，通常还可以设置Mobitex无线调制解调器，通过该解调器实现与Mobitex基站的通信，Mobitex基站还能够与太网交换机以TCP/IP方式互通信息，通讯方式是通过Mobitex协议包的形式完成。近程无线通信可以为Zigbee网络、RFID射频识别、蓝牙通讯、红外通讯、Wifi通讯等。基于多种通信的方式有利于实现物联网电力营销管理系统，从而构建出信息畅通的互联模式。在物联网应用层中，主要实现与移动终端、移动营销互动平台之间的通讯，其中包括移动作业、移动获知、移动服务和移动通讯等。从而更有效地获取业务客户的相关信息，实现客户与支撑平台之间的通讯。
如图3所示，在上述实施例中，数据库包含基础数据库、共享数据库以及决策数据库，其中基础数据库是各个业务子系统中业务信息的重要资产信息，它是建立其它数据库的基础。共享数据库的使用范围比较广，综合性较强，其包含的数据类型也较多。决策数据库使企业决策者执行决策、计算的常用数据。
实施例2
在实施例1的基础上，本发明还采用以下技术方案，如图4-6所示：
一种人工智能云计算大数据管理方法，所述方法包括以下步骤：
(S1)数据接收：利用云计算平台实现和各种大数据的接收；
(S2)数据存储：将接收到的数据存储在云端数据库中；
(S3)数据抽取：利用数据提取模块抽取需要处理的数据；
(S4)数据分类：构建FCM数据聚类算法模型，并启动FCM数据聚类算法模型实现数据的分类计算；
(S5)数据应用：用户应用FCM数据聚类算法处理完毕后的数据；
(S6)判断是否继续处理数据。如果继续处理，则返回步骤(S4)，如果不需要处理，则计算结束。
作为本发明进一步的技术方案，所述步骤(S4)中FCM数据聚类模型构建方法为：
(S41)数据初始化，假设从云端服务器内获取的数据类别为c，加权指数为m，迭代停止阈值为ε，并且ε>0，最大迭代次数为Tmax，聚类中心为 V(k),k＝1，则初始化聚类中心为V(1)；
(S42)计算隶属度，隶属度计算公式为：
Figure BDA0002460636400000101
(S43)改进隶属度矩阵计算，改进方程为：
Figure BDA0002460636400000102
(S44)其中V＝(v1,v2,...,vc)表示c个聚类中心的集合，其中vi的计算公式为：
Figure BDA0002460636400000111
(S45)当||V(k+1)-V(k)||<ε时，则停止计算，则转到步骤(S41)；
通过公式S42、S43反复修改隶属度和聚类中心，当算法收敛时，就得到了各类的聚类中心和各个样本对于各模式类的隶属度，从而完成了模糊聚类划分。
在上述实施例中，λ＝0.3。
在上述实施例中，0.3≤μik≤0.9。
在上述实施例中，dik＝||xk-vi||，其中dik表示k个样本点xk到第i个聚类中心的欧氏距离。
在上述实施例中，所述FCM聚类算法的目标函数为：
Figure BDA0002460636400000112
其中，矩阵U＝[μik]，其中k＝1,2,...,n；i＝1,2,...,c。
在上述实施例中，矩阵U的阶为c×n。
在上述实施例中，c≥50,n≥85。
通过上述讨论，本发明构建出融合物联网、人工智能、云计算的大数据管理平台，采用平台进行数据处理和计算，实现数据高速处理，实现了数据检测、数据传递、数据分类和存储的一体化智能管理，自动化程度高，数据处理速度快，在几秒的时间内能处理上百亿种数据。
本发明构建出新型的云计算管理平台，包括百度云服务器、腾讯云服务器、阿里云服务器、华为云服务器或者京东云服务器中任意一项的多云管理平台；并且云管理平台至少包括物理资源池、虚拟化资源层、资源管理层、平台服务层和监控模块，能够实现大数据的综合管理，数据管理较为全面；及时处理包含 WORD、文本、图案、照片、视频和音乐等在内的多种数据信息。
本发明利用聚类分类算法，实现大数据的分类管理，能够将数据划分到不同的类或簇，聚类方法通过使用隶属函数，实现了数据的柔性划分，在处理图像问题时，提高了识别和应用能力。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些具体实施方式仅是举例说明，本领域的技术人员在不脱离本发明的原理和实质的情况下，可以对上述方法和系统的细节进行各种省略、替换和改变。例如，合并上述方法步骤，从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此，本发明的范围仅由所附权利要求书限定。

Claims (10)

1.一种人工智能云计算大数据管理系统，包括用于对分布在不同网络环境的多个云数据中心进行集中管理的云管理平台，其特征在于：
所述云管理平台设置有数据提取模块、数据分类单元、数据计算单元、显示模块和数据存储单元，其中所述数据提取模块的输入端与数据库的输出端连接，所述数据提取模块的输出端在所述云管理平台内部与所述数据分类单元连接，所述数据分类单元的输出端分别与所述数据计算单元、显示模块和数据存储单元连接，其中：
所述提取模块设置有FPGA芯片和与所述FPGA芯片连接的I/O接口，用于提取数据库中不同IP源地址、目的地址、源端口号或目的端口号，并从IP数据报中判断TCP、UDP或ICMP协议，通过提取不同地址的数据，抽取数据库中的大数据样本信息；
所述云管理平台为至少包括百度云服务器、腾讯云服务器、阿里云服务器、华为云服务器或者京东云服务器中任意一项的多云管理平台；并且
所述云管理平台至少包括物理资源池、虚拟化资源层、资源管理层、平台服务层和监控模块，其中：
所述物理资源池至少设置有存储模块、网络设备、通讯协议模块和通讯接口；
所述虚拟化资源层至少设置有计算模块、客户端模块和执行模块；
所述资源管理层至少设置有管理模块、用户界面接口、任务分配模块、负载均衡模块、资源调度模块、资源生命周期管理模块、认证和授权模块和镜像管理模块；
所述平台服务层至少包络云主机、云存储模块、容器服务器、物联网平台、数据平台和人工智能平台；
所述数据分类单元为基于FCM聚类模型的分类单元，所述数据分类单元设置有USB通讯接口和WIFI网络通讯接口；通过所述USB通讯接口和WIFI网络通讯接口实现与外界数据的交互；
所述数据计算单元为基于计算机CPU的计算单元；
所述显示模块为LCD显示屏；
所述数据存储单元为至少能够存储文字、声音、视频、动画或数据的云端存储模块，并且所述数据存储单元设置有无线通讯接口。
2.根据权利要求1所述的一种人工智能云计算大数据管理系统，其特征在于，所述数据库至少包括基础数据库、共享数据库和决策数据库。
3.利用权利要求1至2任一项人工智能云计算大数据管理系统实现是大数据管理的方法，其特征在于：所述方法包括以下步骤：
(S1)数据接收：利用云计算平台实现和各种大数据的接收；
(S2)数据存储：将接收到的数据存储在云端数据库中；
(S3)数据抽取：利用数据提取模块抽取需要处理的数据；
(S4)数据分类：构建FCM数据聚类算法模型，并启动FCM数据聚类算法模型实现数据的分类计算；
(S5)数据应用：用户应用FCM数据聚类算法处理完毕后的数据；
(S6)判断是否继续处理数据。如果继续处理，则返回步骤(S4)，如果不需要处理，则计算结束。
4.根据权利要求3所述的一种人工智能云计算大数据管理系统实现是大数据管理的方法，其特征在于：所述步骤(S4)中FCM数据聚类模型构建方法为：
(S41)数据初始化，假设从云端服务器内获取的数据类别为c，加权指数为m，迭代停止阈值为ε，并且ε>0，最大迭代次数为Tmax，聚类中心为V(k),k＝1，则初始化聚类中心为V(1)；
(S42)计算隶属度，隶属度计算公式为：
Figure FDA0002460636390000031
(S43)改进隶属度矩阵计算，改进方程为：
Figure FDA0002460636390000032
(S44)其中V＝(v1,v2,...,vc)表示c个聚类中心的集合，其中vi的计算公式为：
Figure FDA0002460636390000033
(S45)当||V(k+1)-V(k)||<ε时，则停止计算，则转到步骤(S41)；
通过公式S42、S43反复修改隶属度和聚类中心，当算法收敛时，就得到了各类的聚类中心和各个样本对于各模式类的隶属度，从而完成了模糊聚类划分。
5.根据权利要求3所述的一种人工智能云计算大数据管理系统实现是大数据管理的方法，其特征在于：λ＝0.3。
6.根据权利要求3所述的一种人工智能云计算大数据管理系统实现是大数据管理的方法，其特征在于：0.3≤μik≤0.9。
7.根据权利要求3所述的一种人工智能云计算大数据管理系统实现是大数据管理的方法，其特征在于：dik＝||xk-vi||，其中dik表示k个样本点xk到第i 个聚类中心的欧氏距离。
8.根据权利要求3所述的一种人工智能云计算大数据管理系统实现是大数据管理的方法，其特征在于：所述FCM聚类算法的目标函数为：
Figure FDA0002460636390000041
其中，矩阵U＝[μik]，其中k＝1,2,...,n；i＝1,2,...,c。
9.根据权利要求8所述的一种人工智能云计算大数据管理系统实现是大数据管理的方法，其特征在于：矩阵U的阶为c×n。
10.根据权利要求9所述的一种人工智能云计算大数据管理系统实现是大数据管理的方法，其特征在于：c≥50,n≥85。
CN202010319011.1A 2020-04-22 2020-04-22 一种人工智能云计算大数据管理系统及方法 Pending CN111541567A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010319011.1A CN111541567A (zh) 2020-04-22 2020-04-22 一种人工智能云计算大数据管理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010319011.1A CN111541567A (zh) 2020-04-22 2020-04-22 一种人工智能云计算大数据管理系统及方法

Publications (1)

Publication Number Publication Date
CN111541567A true CN111541567A (zh) 2020-08-14

Family

ID=71979411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010319011.1A Pending CN111541567A (zh) 2020-04-22 2020-04-22 一种人工智能云计算大数据管理系统及方法

Country Status (1)

Country Link
CN (1) CN111541567A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111832059A (zh) * 2020-09-16 2020-10-27 北京长隆讯飞科技有限公司 一种基于云服务的空间大数据管理方法及系统
CN112085951A (zh) * 2020-08-17 2020-12-15 西安电子科技大学 交通状态判别方法、系统、存储介质、计算机设备及应用
CN112235428A (zh) * 2020-12-16 2021-01-15 太平金融科技服务（上海）有限公司 调用请求处理方法、装置、计算机设备和存储介质
CN113568759A (zh) * 2021-09-27 2021-10-29 睿至科技集团有限公司 一种基于云计算的大数据处理方法及其系统
CN113918517A (zh) * 2021-10-18 2022-01-11 深圳市中博科创信息技术有限公司 多类型文件集中管理方法、装置、设备及存储介质
CN115330446A (zh) * 2022-08-11 2022-11-11 武汉耳东信息科技有限公司 基于人工智能的数据中心数据管理方法及系统
CN116070281A (zh) * 2023-04-06 2023-05-05 睿至科技集团有限公司 一种云管平台的数据存储方法及其系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085951A (zh) * 2020-08-17 2020-12-15 西安电子科技大学 交通状态判别方法、系统、存储介质、计算机设备及应用
CN111832059A (zh) * 2020-09-16 2020-10-27 北京长隆讯飞科技有限公司 一种基于云服务的空间大数据管理方法及系统
CN112235428A (zh) * 2020-12-16 2021-01-15 太平金融科技服务（上海）有限公司 调用请求处理方法、装置、计算机设备和存储介质
CN112235428B (zh) * 2020-12-16 2021-03-30 太平金融科技服务（上海）有限公司 调用请求处理方法、装置、计算机设备和存储介质
CN113568759A (zh) * 2021-09-27 2021-10-29 睿至科技集团有限公司 一种基于云计算的大数据处理方法及其系统
CN113918517A (zh) * 2021-10-18 2022-01-11 深圳市中博科创信息技术有限公司 多类型文件集中管理方法、装置、设备及存储介质
CN115330446A (zh) * 2022-08-11 2022-11-11 武汉耳东信息科技有限公司 基于人工智能的数据中心数据管理方法及系统
CN116070281A (zh) * 2023-04-06 2023-05-05 睿至科技集团有限公司 一种云管平台的数据存储方法及其系统

Similar Documents

Publication Publication Date Title
CN111541567A (zh) 一种人工智能云计算大数据管理系统及方法
Wu et al. Research on internet information mining based on agent algorithm
US11823079B2 (en) Machine learning pipeline for predictions regarding a network
Fu et al. Client selection in federated learning: Principles, challenges, and opportunities
Tabassum et al. Prediction of cloud ranking in a hyperconverged cloud ecosystem using machine learning
Hadian et al. High performance parallel k-means clustering for disk-resident datasets on multi-core CPUs
US20180288143A1 (en) Managing idle and active servers in cloud data centers
Pereira et al. Future internet: trends and challenges
Snehi et al. A novel distributed stack ensembled meta-learning-based optimized classification framework for real-time prolific IoT traffic streams
Niu et al. User-aware partitioning algorithm for mobile cloud computing based on maximum graph cuts
CN116680090A (zh) 一种基于大数据的边缘计算网络管理方法及平台
Zhao et al. TrCMP: A dependable app usage inference design for user behavior analysis through cyber-physical parameters
Liu et al. Context-aware multi-QoS prediction for services in mobile edge computing
US20220414288A9 (en) Two-level paralleliztion of goodness-of-fit tests for spatial process models
Gong et al. Siglm: Signature-driven load management for cloud computing infrastructures
Huang et al. Exploring the intellectual structure of cloud patents using non-exhaustive overlaps
Hong et al. Retracted: Artificial intelligence point‐to‐point signal communication network optimization based on ubiquitous clouds
Tao et al. Design and application of a public management system based on edge cloud computing
Yang Analysis and Application of Big Data Feature Extraction Based on Improved k-means Algorithm
Hu et al. A robust IoT device identification method with unknown traffic detection
Zhao et al. Reinforcement Federated Learning Method Based on Adaptive OPTICS Clustering
Vargas et al. Comparison of Machine Learning methods for Categorizing Objects in the Internet of Things
US20220300852A1 (en) Method and System for Automating Scenario Planning
Yu Application of cluster analysis algorithm in the online intelligent teaching art resource platform
US11816550B1 (en) Confidence score generation for boosting-based tree machine learning models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination