CN116737820A - 一种高维数据智能化处理系统 - Google Patents

一种高维数据智能化处理系统 Download PDF

Info

Publication number
CN116737820A
CN116737820A CN202310683441.5A CN202310683441A CN116737820A CN 116737820 A CN116737820 A CN 116737820A CN 202310683441 A CN202310683441 A CN 202310683441A CN 116737820 A CN116737820 A CN 116737820A
Authority
CN
China
Prior art keywords
data
module
database
transmits
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202310683441.5A
Other languages
English (en)
Inventor
陆朝阳
杜跃平
张慧文
李英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian International University
Original Assignee
Xian International University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian International University filed Critical Xian International University
Priority to CN202310683441.5A priority Critical patent/CN116737820A/zh
Publication of CN116737820A publication Critical patent/CN116737820A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Bioethics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种高维数据智能化处理系统，包括注册模块、权限管理模块和图表拖拽整理模块，注册模块将数据传输到登录模块，数据收集模块将数据传输到数据处理模块，数据处理模块将数据传输到数据分析模块，数据分析模块将数据传输到数据库，数据库将数据传输到可视化模块，可视化模块将数据传输到分析结果展示模块，图表拖拽整理模块对分析结果展示模块进行控制。本发明中，设置有基于拖拽式数据建模模块便于用户进行数据导入分析，简单易上手，同时还设置有美化模块，在进行可视化的时候对需要进行展示的可视化图表进行美化，使展示出来的效果很好，用户可以直观获取分析结果，通过权限管理，安全可靠。

Description

一种高维数据智能化处理系统
技术领域
本发明涉及计算机大数据分析技术领域，尤其涉及一种高维数据智能化处理系统。
背景技术
现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。随着云时代的来临，大数据也吸引了越来越多的关注。大数据通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据是如此重要，以至于其获取、储存、搜索、共享、分析，乃至可视化地呈现，都成为了当前重要的研究课题。
现有的大数据可视化分析工具，大多是对大数据进行系统的分析处理并展示时展示效果不好，使用者不容易找到自己需要的信息，同时在对数据处理时可能会出现很多冗余信息，增加了处理的工作量，因此提出的一种高维数据智能化处理系统。
发明内容
本发明的目的是为了解决现有技术中存在对大数据进行系统的分析处理并展示时展示效果不好，使用者不容易找到自己需要的信息，同时在对数据处理时可能会出现很多冗余信息，增加了处理的工作量的缺点，而提出的一种高维数据智能化处理系统。
为了实现上述目的，本发明采用了如下技术方案：
一种高维数据智能化处理系统，包括注册模块、权限管理模块和图表拖拽整理模块，所述注册模块将数据传输到登录模块，所述登录模块将数据传输到展示平台，所述注册模块和登录模块将信息存储在数据库中，所述权限管理模块控制数据库管理模块，所述数据库管理模块对数据库进行管理，所述数据库将数据传输到数据收集模块；
所述数据收集模块将数据传输到数据处理模块，所述数据处理模块将数据传输到数据分析模块，所述数据分析模块将数据传输到数据库，所述数据库将数据传输到可视化模块，所述可视化模块将数据传输到分析结果展示模块，所述分析结果展示模块将数据传输到展示平台，所述图表拖拽整理模块对分析结果展示模块进行控制；
所述注册模块用于注册使用工具系统的账号，所述登录模块用于登录账号从而使用工具系统，所述展示平台用于对可视化结果进行展示，所述数据库用于对系统所需要的信息进行存储与调用，所述权限管理模块用于对系统权限进行管理，所述控制部分用户获得对数据库进行管理的权限，所述数据库管理模块用于对使用的数据库存储的信息进行管理更新；
所述数据收集模块用于从数据库中调取信息，所述数据处理模块用于对收集到的数据进行一系列预处理，所述数据分析模块用于对处理后的数据进行分析，将大数据获取的信息进行分析整理，所述可视化模块用于对获取的数据进行可视化处理，分析结果展示模块用于对分析结果的可视化进行展示，所述图表拖拽整理模块用于对分析结果展示的图表进行拖拽整理。
本发明的技术方案中，数据处理模块在进行数据处理的时候将原始数据经过一连串收集、提取、清洗、整理等预处理，将数据处理成高质量的数据，便于后续对数据进行图表可视化。
上述技术方案进一步包括：
所述数据收集模块将数据传输到数据源接收模块，所述数据源接收模块将数据传输到数据处理模块，所述数据源接收模块用于对收集到的数据进行分类获取接收并进行数据传输。
所述数据分析模块将数据传输到基于拖拽式数据建模模块和基于SQL数据建模模块，所述基于拖拽式数据建模模块和基于SQL数据建模模块将数据传输到数据库中，所述基于拖拽式数据建模模块用于通过拖拽的方式将数据导入进行数据分析，所述基于SQL数据建模模块用于对SQL数据库进行数据建模，直接将SQL数据库中的信息进行导出分析。
所述数据源接收模块包括数据接口和数据传输单元，所述数据收集模块将数据传输到数据接口，所述数据接口将数据传输到数据传输单元，所述数据传输单元将数据传输到数据处理模块，所述数据接口用于对收集到的数据进行分类收集，根据不同的接口获取不同信息，所述数据传输单元用于将接收到的数据进行传输。
所述数据库将数据传输到美化模块，所述美化模块将数据传输到可视化模块，所述美化模块用于将建立的数据模型进行分析后得出的图表进行可视化的美化，可视化所呈现的图像经过美化模块得到优化。
所述权限管理模块在进行权限管理时，一般用户只可以使用工具系统进行大数据分析，管理员则拥有对系统数据库管理的权限，对大数据库进行管理，在调取信息时进行数据库管理。
所述数据接口根据数据的不同需求设置有若干个，数据类型的不同获得的数据分析也就不同，按照需要对数据贴标签分类或者预测，如果要从大量复杂的数据中提取有价值且不易发现的信息还要数据建模。
所述可视化模块应用有主成分分析降维方法进行特征提取，将监测获得的数据设置为M个样本{X1,X2,...,XM,},每个样本有N维特征 每一个特征Xj都有各自的特征值；
首先对所有特征进行去中心化，即去均值，求出每个特征的平均值，然后对于所有的样本，每一个特征都减去自身的均值，其中各自的均值分别为在去中心化后再求协方差矩阵C，其中对角线上分别是特征X1和X2的方差，非对角线上是协方差，cov(X1,X1)的计算公式为/>由此得出M个样本在这N维特征下的协方差矩阵C；
得到协方差矩阵后，根据特征方程Cμ＝λμ求出其特征值及其对应的特征向量，其中λ为特征值，μ为其对应的特征向量，选择最大的前k个特征值和相对应的特征向量进行投影，投影即为降维的过程，将原始特征从高维度降低到低维度，降维后除去了大量的冗余信息,且至少保留了原来85％以上的信息。
本发明的技术方案中，基于拖拽式数据建模模块对数据进行拖拽，一般拖拽的数据大多为图表信息，其中包含有数据库信息，每次拖拽后，前端需要给出正确的排序传给后端保存起来，保证下次进来是按照顺序来加载的，也就是从上到下一个个去加载图表数据。
本发明具备以下有益效果：
1、本发明中，设置有基于拖拽式数据建模模块便于用户进行数据导入分析，数据可以直接进行拖拽导入，简单易上手，同时还设置有美化模块，在进行可视化的时候对需要进行展示的可视化图表进行美化，使展示出来的效果很好，用户可以直观获取分析结果。
2、本发明中，设置有注册模块和登录模块，需要进行账号登录才能使用，确保了数据的安全性，同时还设置有权限管理模块和数据库管理模块使管理员对数据库进行管理，内部数据库是需要更新的，因此需要管理员对数据库进行更新管理，保证数据的时效性，大数据分析效果更好。
附图说明
图1为本发明提出的一种高维数据智能化处理系统的系统框图；
图2为本发明提出的一种高维数据智能化处理系统的流程框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1-2所示，本发明提出的一种高维数据智能化处理系统，包括注册模块、权限管理模块和图表拖拽整理模块，注册模块将数据传输到登录模块，登录模块将数据传输到展示平台，注册模块和登录模块将信息存储在数据库中，权限管理模块控制数据库管理模块，数据库管理模块对数据库进行管理，数据库将数据传输到数据收集模块。
数据收集模块将数据传输到数据处理模块，数据处理模块将数据传输到数据分析模块，数据分析模块将数据传输到数据库，数据库将数据传输到可视化模块，可视化模块将数据传输到分析结果展示模块，分析结果展示模块将数据传输到展示平台，图表拖拽整理模块对分析结果展示模块进行控制。
注册模块用于注册使用工具系统的账号，登录模块用于登录账号从而使用工具系统，展示平台用于对可视化结果进行展示，数据库用于对系统所需要的信息进行存储与调用，权限管理模块用于对系统权限进行管理，控制部分用户获得对数据库进行管理的权限，数据库管理模块用于对使用的数据库存储的信息进行管理更新。
数据收集模块用于从数据库中调取信息，数据处理模块用于对收集到的数据进行一系列预处理，数据分析模块用于对处理后的数据进行分析，将大数据获取的信息进行分析整理，可视化模块用于对获取的数据进行可视化处理，分析结果展示模块用于对分析结果的可视化进行展示，图表拖拽整理模块用于对分析结果展示的图表进行拖拽整理。
数据收集模块将数据传输到数据源接收模块，数据源接收模块将数据传输到数据处理模块，数据源接收模块用于对收集到的数据进行分类获取接收并进行数据传输。
数据分析模块将数据传输到基于拖拽式数据建模模块和基于SQL数据建模模块，基于拖拽式数据建模模块和基于SQL数据建模模块将数据传输到数据库中，基于拖拽式数据建模模块用于通过拖拽的方式将数据导入进行数据分析，基于SQL数据建模模块用于对SQL数据库进行数据建模，直接将SQL数据库中的信息进行导出分析。
数据源接收模块包括数据接口和数据传输单元，数据收集模块将数据传输到数据接口，数据接口将数据传输到数据传输单元，数据传输单元将数据传输到数据处理模块，数据接口用于对收集到的数据进行分类收集，根据不同的接口获取不同信息，数据传输单元用于将接收到的数据进行传输。
数据库将数据传输到美化模块，美化模块将数据传输到可视化模块，美化模块用于将建立的数据模型进行分析后得出的图表进行可视化的美化，可视化所呈现的图像经过美化模块得到优化。
数据接口根据数据的不同需求设置有若干个，数据类型的不同获得的数据分析也就不同，按照需要对数据贴标签分类或者预测，如果要从大量复杂的数据中提取有价值且不易发现的信息还要数据建模。
本发明的实施例中，用户进入系统进行大数据分析，首先需要通过注册模块完成账号的注册，注册的账号信息保存在数据库中，然后通过登录模块输入账号进行登录，登录的时候从数据库中调取注册的账号信息，与之对比识别账号是否正确，匹配成功即登录成功。
一般用户执行大数据分析时，系统从数据库中获取信息，用户可以将数据库信息进行导入也可通过手动进行拖拽数据进行大数据分析，系统中数据收集模块获取数据将信息传输到数据源接收模块的数据接口中，数据接口将数据进行分类接收，模块自动处理，无需人工干预，通过不同接口经过数据传输单元传输到数据处理模块，数据处理模块将数据传输到数据分析模块，数据分析模块对处理的信息进行整合统计，数据分析模块将数据传输到基于拖拽式数据建模模块和基于SQL数据建模模块，根据用户选择导入数据的方式的不同进行数据建模，获取更多的信息，该数据建模为模块自动处理，无需人工干预，这些数据都会保存在数据库中，防止数据丢失，得出分析结果后将数据传输到可视化模块，可视化模块自动将数据可视化，无需人工干涉，即可获得可视化结果，如果选择对可视化展示图表进行优化，则通过美化模块进行优化后将数据传输到分析结果展示模块。
大数据分析结果展示在展示平台中，展示的数据很多很乱，用户可根据需求通过图表拖拽整理模块对图表进行拖拽，在拖拽后图表会自动对齐，将需要的大数据分析进行可视化展示，用户从展示平台获取信息。
如图1所示，本发明的实施例中，权限管理模块在进行权限管理时，一般用户只可以使用工具系统进行大数据分析，管理员则拥有对系统数据库管理的权限，对大数据库进行管理，在调取信息时进行数据库管理。
用户在登陆成功后，权限管理模块会对用户进行权限判断，并赋予用户权限，一般用户获得使用权限，对数据进行导入或者获取大数据分析信息。
管理员获得对数据库管理的权限，通过数据库管理模块对数据库进行管理，保证数据具有时效性，安全可靠。
如图2所示，本发明的实施例中，可视化模块应用有主成分分析降维方法进行特征提取，将监测获得的数据设置为M个样本{X1,X2,...,XM,},每个样本有N维特征每一个特征Xj都有各自的特征值。
首先对所有特征进行去中心化，即去均值，求出每个特征的平均值，然后对于所有的样本，每一个特征都减去自身的均值，其中各自的均值分别为在去中心化后再求协方差矩阵C，其中对角线上分别是特征X1和X2的方差，非对角线上是协方差，cov(X1,X1)的计算公式为/>由此得出M个样本在这N维特征下的协方差矩阵C。
得到协方差矩阵后，根据特征方程Cμ＝λμ求出其特征值及其对应的特征向量，其中λ为特征值，μ为其对应的特征向量，选择最大的前k个特征值和相对应的特征向量进行投影，投影即为降维的过程，将原始特征从高维度降低到低维度，降维后除去了大量的冗余信息，且至少保留了原来85％以上的信息。
可视化模块在对数据进行可视化时，可能展示的结果会很多，其中包括一些冗余信息，需要进行处理然后再进行可视化，因此在可视化模块中应用有主成分分析的方法对信息进行降维处理；先对所有特征进行去中心化，即去均值，求出每个特征的平均值，然后对于所有的样本，每一个特征都减去自身的均值，在去中心化后再求协方差矩阵，得到协方差矩阵后，求出其特征值及其对应的特征向量，选择最大的前k个特征值和相对应的特征向量进行投影，投影即为降维的过程，将原始特征从高维度降低到低维度，降维后除去了大量的冗余信息。
本发明的使用方法，用户进入系统进行大数据分析，首先需要通过注册模块完成账号的注册，注册的账号信息保存在数据库中，然后通过登录模块输入账号进行登录，登录的时候从数据库中调取注册的账号信息，与之对比识别账号是否正确，匹配成功即登录成功。
登陆成功后，权限管理模块会对用户进行权限判断，并赋予用户权限，一般用户获得使用权限，对数据进行导入或者获取大数据分析信息。
管理员获得对数据库管理的权限，通过数据库管理模块对数据库进行管理，保证数据具有时效性，安全可靠；一般用户执行大数据分析时，系统从数据库中获取信息，用户可以将数据库信息进行导入也可通过手动进行拖拽数据进行大数据分析，系统中数据收集模块获取数据将信息传输到数据源接收模块的数据接口中，数据接口将数据进行分类接收，该分类为模块自动处理，无需人工干预，通过不同接口经过数据传输单元传输到数据处理模块，数据处理模块将数据传输到数据分析模块，数据分析模块对处理的信息自动进行整合统计，数据分析模块将数据传输到基于拖拽式数据建模模块和基于SQL数据建模模块，根据用户选择导入数据的方式的不同自动进行数据建模，获取更多的信息，这些数据都会保存在数据库中，防止数据丢失，得出分析结果后将数据传输到可视化模块，自动将数据可视化，如果选择对可视化展示图表进行优化，则通过美化模块进行优化后将数据传输到分析结果展示模块。
大数据分析结果展示在展示平台中，展示的数据很多很乱，用户可根据需求通过图表拖拽整理模块对图表进行拖拽，在拖拽后图表会自动对齐，将需要的大数据分析进行可视化展示，用户从展示平台获取信息。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种高维数据智能化处理系统，其特征在于，包括注册模块、权限管理模块和图表拖拽整理模块，所述注册模块将数据传输到登录模块，所述登录模块将数据传输到展示平台，所述注册模块和登录模块将信息存储在数据库中，所述权限管理模块控制数据库管理模块，所述数据库管理模块对数据库进行管理，所述数据库将数据传输到数据收集模块；
所述数据收集模块将数据传输到数据处理模块，所述数据处理模块将数据传输到数据分析模块，所述数据分析模块将数据传输到数据库，所述数据库将数据传输到可视化模块，所述可视化模块将数据传输到分析结果展示模块，所述分析结果展示模块将数据传输到展示平台，所述图表拖拽整理模块对分析结果展示模块进行控制；
所述注册模块用于注册使用工具系统的账号，所述登录模块用于登录账号从而使用工具系统，所述展示平台用于对可视化结果进行展示，所述数据库用于对系统所需要的信息进行存储与调用，所述权限管理模块用于对系统权限进行管理，控制部分用户获得对数据库进行管理的权限，所述数据库管理模块用于对使用的数据库存储的信息进行管理更新；
所述数据收集模块用于从数据库中调取信息，所述数据处理模块用于对收集到的数据进行一系列预处理，所述数据分析模块用于对处理后的数据进行分析，将大数据获取的信息进行分析整理，所述可视化模块用于对获取的数据进行可视化处理，所述分析结果展示模块用于对分析结果的可视化进行展示，所述图表拖拽整理模块用于对分析结果展示的图表进行拖拽整理。
2.根据权利要求1所述的一种高维数据智能化处理系统，其特征在于，所述数据收集模块将数据传输到数据源接收模块，所述数据源接收模块将数据传输到数据处理模块，所述数据源接收模块用于对收集到的数据进行分类获取接收并进行数据传输。
3.根据权利要求1所述的一种高维数据智能化处理系统，其特征在于，所述数据分析模块将数据传输到基于拖拽式数据建模模块和基于SQL数据建模模块，所述基于拖拽式数据建模模块和基于SQL数据建模模块将数据传输到数据库中，所述基于拖拽式数据建模模块用于通过拖拽的方式将数据导入进行数据分析，所述基于SQL数据建模模块用于对SQL数据库进行数据建模，直接将SQL数据库中的信息进行导出分析。
4.根据权利要求2所述的一种高维数据智能化处理系统，其特征在于，所述数据源接收模块包括数据接口和数据传输单元，所述数据收集模块将数据传输到数据接口，所述数据接口将数据传输到数据传输单元，所述数据传输单元将数据传输到数据处理模块，所述数据接口用于对收集到的数据进行分类收集，根据不同的接口获取不同信息，所述数据传输单元用于将接收到的数据进行传输。
5.根据权利要求3所述的一种高维数据智能化处理系统，其特征在于，所述数据库将数据传输到美化模块，所述美化模块将数据传输到可视化模块，所述美化模块用于将建立的数据模型进行分析后得出的图表进行可视化的美化，可视化所呈现的图像经过美化模块得到优化。
6.根据权利要求1所述的一种高维数据智能化处理系统，其特征在于，所述权限管理模块在进行权限管理时，一般用户只可以使用工具系统进行大数据分析，管理员则拥有对系统数据库管理的权限，对大数据库进行管理，在调取信息时进行数据库管理。
7.根据权利要求4所述的一种高维数据智能化处理系统，其特征在于，所述数据接口根据数据的不同需求设置有若干个，数据类型的不同获得的数据分析也就不同，按照需要对数据贴标签分类或者预测，如果要从大量复杂的数据中提取有价值且不易发现的信息还要数据建模。
8.根据权利要求1所述的一种高维数据智能化处理系统，其特征在于，所述可视化模块应用有主成分分析降维方法进行特征提取，将监测获得的数据设置为M个样本{X1,X2,...,XM,},每个样本有N维特征每一个特征Xj都有各自的特征值；
首先对所有特征进行去中心化，即去均值，求出每个特征的平均值，然后对于所有的样本，每一个特征都减去自身的均值，其中各自的均值分别为在去中心化后再求协方差矩阵C，其中对角线上分别是特征X1和X2的方差，非对角线上是协方差，cov(X1,X1)的计算公式为/>由此得出M个样本在这N维特征下的协方差矩阵C；
得到协方差矩阵后，根据特征方程Cμ＝λμ求出其特征值及其对应的特征向量，其中λ为特征值，μ为其对应的特征向量，选择最大的前k个特征值和相对应的特征向量进行投影，投影即为降维的过程，将原始特征从高维度降低到低维度，降维后除去了大量的冗余信息，且至少保留了原来85％以上的信息。
CN202310683441.5A 2023-06-09 2023-06-09 一种高维数据智能化处理系统 Withdrawn CN116737820A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310683441.5A CN116737820A (zh) 2023-06-09 2023-06-09 一种高维数据智能化处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310683441.5A CN116737820A (zh) 2023-06-09 2023-06-09 一种高维数据智能化处理系统

Publications (1)

Publication Number Publication Date
CN116737820A true CN116737820A (zh) 2023-09-12

Family

ID=87907446

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310683441.5A Withdrawn CN116737820A (zh) 2023-06-09 2023-06-09 一种高维数据智能化处理系统

Country Status (1)

Country Link
CN (1) CN116737820A (zh)

Similar Documents

Publication Publication Date Title
US11804069B2 (en) Image clustering method and apparatus, and storage medium
Sahasrabudhe et al. Self-supervised nuclei segmentation in histopathological images using attention
CN107368700A (zh) 基于计算云平台的微生物多样性交互分析系统及其方法
EP2894577B1 (en) Retrieving system, retrieving method, and security inspection device based on contents of fluoroscopic images
CN108228696A (zh) 人脸图像检索方法和系统、拍摄装置、计算机存储介质
CN113807004B (zh) 基于数据挖掘的刀具寿命预测方法、装置及系统
CN112185468B (zh) 一种用于基因数据分析和处理的云端管理系统及方法
CN109978619A (zh) 机票定价策略筛选的方法、系统、设备以及介质
CN114969548B (zh) 一种产业图谱数据智能获取方法及系统
CN113222149A (zh) 模型训练方法、装置、设备和存储介质
CN117809124A (zh) 基于多特征融合的医学图像关联调用方法及系统
CN116821114A (zh) 一种用于大数据统计的计算机
CN116737820A (zh) 一种高维数据智能化处理系统
CN117423391A (zh) 一种基因调控网络数据库的建立方法、系统及设备
CN111784284B (zh) 一种宫颈图像多人协同标记云服务系统及云服务方法
CN113420080A (zh) 一种毒理学实验数据管理系统
CN111027771A (zh) 景区客流量预估方法、系统、装置及可存储介质
JP2002342374A (ja) データ検索システムおよびデータ検索方法
CN116862845A (zh) 一种增光膜质量评估系统
CN111400414A (zh) 一种基于标准化企业数据的决策方法、系统及电子设备
CN116842174A (zh) 基于网络数据的农业资源数据库平台搭建方法
CN109034392A (zh) 一种罗非鱼杂交配套系的选育方法及系统
CN116595182A (zh) 一种基于知识图谱和语义理解的评审专家推荐系统
CN111291259B (zh) 一种数据筛选方法、装置、电子设备和存储介质
CN111080739A (zh) 一种基于bp神经网络的bi配色方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20230912

WW01 Invention patent application withdrawn after publication