CN116821114A - 一种用于大数据统计的计算机 - Google Patents
一种用于大数据统计的计算机 Download PDFInfo
- Publication number
- CN116821114A CN116821114A CN202310817764.9A CN202310817764A CN116821114A CN 116821114 A CN116821114 A CN 116821114A CN 202310817764 A CN202310817764 A CN 202310817764A CN 116821114 A CN116821114 A CN 116821114A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- information
- statistics
- data statistics
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012544 monitoring process Methods 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 28
- 238000013480 data collection Methods 0.000 claims abstract description 21
- 230000006870 function Effects 0.000 claims abstract description 4
- 238000004140 cleaning Methods 0.000 claims description 22
- 230000005540 biological transmission Effects 0.000 claims description 21
- 238000007405 data analysis Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 19
- 238000013079 data visualisation Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 12
- 238000013500 data storage Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 11
- 230000009467 reduction Effects 0.000 claims description 10
- 230000010354 integration Effects 0.000 claims description 9
- 230000015556 catabolic process Effects 0.000 claims description 7
- 238000000513 principal component analysis Methods 0.000 claims description 5
- 238000011946 reduction process Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000007418 data mining Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000013501 data transformation Methods 0.000 claims 2
- 238000012847 principal component analysis method Methods 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000012800 visualization Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种用于大数据统计的计算机，包括用于大数据统计的计算机主体，作为大数据统计系统的载体；以及大数据统计系统，用于实现计算机的大数据统计功能；大数据统计的计算机主体包括存储器、运算器、控制器、输入接口与输出接口，大数据统计系统包括数据收集模块、数据预处理模块、数据统计模块、处理器实时监控模块和处理器控制模块。本发明中，数据预处理模块应用有主成分分析法对数据进行降维，去除了大部分冗余信息，减轻了大数据统计的负担，减少了统计所需要的时间，同时当处理器负担过大将造成系统崩溃时，处理器实时监控模块将信息传输到处理器控制模块对处理器进行控制，防止出现系统崩溃的现象。
Description
技术领域
本发明涉及大数据统计技术领域，尤其涉及一种用于大数据统计的计算机。
背景技术
现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。随着云时代的来临，大数据也吸引了越来越多的关注。大数据通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据是如此重要，以至于其获取、储存、搜索、共享、分析，乃至可视化地呈现，都成为了当前重要的研究课题。
现有的大数据统计计算机在进行大数据统计时因数据量过大会花费大量的时间，同时在进行数据统计时，因实时统计造成负荷增大而导致系统崩溃的情况也时有发生，因此提出的一种用于大数据统计的计算机。
发明内容
本发明的目的是为了解决现有技术中存在在进行大数据统计时因数据量过大会花费大量的时间，同时在进行数据统计时，因实时统计造成负荷增大而导致系统崩溃的情况也时有发生的缺点，而提出的一种用于大数据统计的计算机。
为了实现上述目的，本发明采用了如下技术方案：
一种用于大数据统计的计算机，包括用于大数据统计的计算机主体，作为大数据统计系统的载体；以及大数据统计系统，用于实现计算机的大数据统计功能；所述大数据统计的计算机主体包括存储器、运算器、控制器、输入接口与输出接口，所述大数据统计系统包括数据收集模块、数据预处理模块、数据统计模块、处理器实时监控模块和处理器控制模块；
所述运算器受到控制器的控制，所述输入接口将数据接收，所述输出接口将运算器结果或存储器中存储的内容进行输出，所述数据收集模块从数据服务器中获取大数据信息，所述数据预处理模块对数据收集模块收集到的数据进行预处理，所述数据统计模块从数据收集模块获取大数据信息，所述处理器实时监控模块从数据统计模块获取处理器信息，所述处理器控制模块从处理器实时监控模块获取监控信息，所述处理器控制模块对数据统计模块进行控制；
所述存储器在用于大数据统计的计算机中存储程序、数据和各种信号、命令等信息，并在需要时提供这些信息，所述运算器用于对数据进行加工、完成各种运算，如算术运算、逻辑运算、位移、比较等，所述控制器用于向其他设备发出控制信号对计算机进行控制，所述输入接口用于接收外部信号，所述输出接口用于将统计结果进行输出，所述处理器实时监控模块用于对处理器进行实时监控防止负荷过大造成系统崩溃。
本发明的技术方案中，所述数据服务器有多个，所述数据收集模块从多个数据服务器收集信息，所述输入接口与鼠标、显示屏和键盘之间存在数据传输，所述输出接口与显示屏之间存在数据传输。
上述技术方案进一步包括：
所述存储器应用有数据存储模块，所述数据存储模块获取数据预处理模块的预处理后的数据信息并将其存储在数据库中，所述数据库将数据调取传输到数据处理模块，所述数据处理模块将处理好的数据信息传输到数据分析模块，所述数据分析模块将处理好的信息进行分析后传输到数据统计模块，所述数据预处理模块、数据处理模块和数据分析模块都通过运算器实现，所述数据库用于存储数据并在需要这些数据时，提供这些数据信息。
所述数据预处理模块包括数据清理单元、数据集成单元、数据变换单元和数据规约单元，所述数据清理单元用于格式标准化、异常数据清除及重复数据的清除，所述数据集成单元用于将多个数据源中的数据结合起来并统一存储，所述数据变换单元用于通过平滑聚集、数据概化和规范化等方式将数据转换成适用于数据挖掘的形式，所述数据规约单元用于将数据进行规约表示。
所述数据清理单元应用有主成分分析降维方法进行特征提取，将获得的数据设置为M个样本{X1,X2,...,XM,},每个样本有N维特征每一个特征Xj都有各自的特征值；
首先对所有特征进行去中心化，即去均值，求出每个特征的平均值，然后对于所有的样本，每一个特征都减去自身的均值，其中各自的均值分别为在去中心化后再求协方差矩阵C，其中对角线上分别是特征X1和X2的方差，非对角线上是协方差，cov(X1,X1)的计算公式为/>由此得出M个样本在这N维特征下的协方差矩阵C；
得到协方差矩阵后，根据特征方程Cμ＝λμ求出其特征值及其对应的特征向量，其中λ为特征值，μ为其对应的特征向量，选择最大的前k个特征值和相对应的特征向量进行投影，投影即为降维的过程，将原始特征从高维度降低到低维度，降维后除去了大量的冗余信息，且至少保留了原来85％以上的信息。
所述数据统计模块包括数据接收单元、处理器、数据临时存储单元和数据传输单元，所述数据接收单元用于对数据分析模块传输来的信息进行接收，所述处理器用于对大数据进行统计，所述数据临时存储单元用于对统计的数据进行临时存储，防止丢失，所述数据传输单元用于将统计的数据传输到数据可视化模块。
所述数据可视化模块将数据统计模块统计的结果进行可视化，所述数据可视化模块将数据可视化后将数据传输到数据展示模块，所述数据展示模块控制可视化数据进行展示，所述数据展示模块将数据传输到数据传输模块，所述数据传输模块用于将数据展示模块发出的控制信息进行传输到显示屏，所述显示屏将信息展示给用户。
所述数据收集模块受到控制模块的控制，所述控制模块可通过操作录入模块进行控制，所述操作录入模块从鼠标、显示屏和键盘获取信息，所述鼠标、显示屏和键盘通过用户的使用将用户的操作信息传输到操作录入模块，所述操作录入模块用于对用户的操作进行分析并对其操作进行响应。
所述大数据统计系统还包括注册模块，所述注册模块用于大数据统计系统使用所需的账号的注册，所述注册模块将注册的账号信息存储在数据库中，所述数据库调取注册的账号信息传输到登录模块，所述登录模块解锁控制模块的使用，所述登录模块用于对注册的账号进行登录，登录后方可使用大数据统计系统。
本发明的技术方案中，所述显示屏支持触控，用户在显示屏上触控、通过鼠标和键盘将信息输入，操作录入模块对输入信息进行录入分析，根据操作通过控制模块控制数据采集模块对数据进行采集。
本发明具备以下有益效果：
1、本发明中，用户通过账号注册进行账号登录，登录后通过控制模块控制数据收集模块进行数据收集，数据收集模块与多个数据服务器连接，从中获取数据信息，采集后通过数据预处理模块对数据进行预处理，数据预处理模块应用有主成分分析法对数据进行降维，去除了大部分冗余信息，减轻了大数据统计的负担，减少了统计所需要的时间。
2、本发明中，数据分析模块将数据传输到数据统计模块，数据统计模块包括处理器，处理器实时监控模块实时获取处理器状态信息，当处理器负担过大将造成系统崩溃时，处理器实时监控模块将信息传输到处理器控制模块对处理器进行控制，防止出现系统崩溃的现象。
附图说明
图1为本发明提出的一种用于大数据统计的计算机主体的系统框图；
图2为本发明提出的一种用于大数据统计的计算机的系统框图；
图3为本发明中的数据预处理模块的系统框图；
图4为本发明中的数据统计模块的系统框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1-2所示，本发明提出的一种用于大数据统计的计算机，包括用于大数据统计的计算机主体，作为大数据统计系统的载体；以及大数据统计系统，用于实现计算机的大数据统计功能；大数据统计的计算机主体包括存储器、运算器、控制器、输入接口与输出接口，大数据统计系统包括数据收集模块、数据预处理模块、数据统计模块、处理器实时监控模块和处理器控制模块。
运算器受到控制器的控制，输入接口将数据接收，输出接口将运算器结果或存储器中存储的内容进行输出，数据收集模块从数据服务器中获取大数据信息，数据预处理模块对数据收集模块收集到的数据进行预处理，数据统计模块从数据收集模块获取大数据信息，处理器实时监控模块从数据统计模块获取处理器信息，处理器控制模块从处理器实时监控模块获取监控信息，处理器控制模块对数据统计模块进行控制。
存储器在用于大数据统计的计算机中存储程序、数据和各种信号、命令等信息，并在需要时提供这些信息，运算器用于对数据进行加工、完成各种运算，如算术运算、逻辑运算、位移、比较等，控制器用于向其他设备发出控制信号对计算机进行控制，输入接口用于接收外部信号，输出接口用于将统计结果进行输出，处理器实时监控模块用于对处理器进行实时监控防止负荷过大造成系统崩溃。
存储器应用有数据存储模块，数据存储模块获取数据预处理模块的预处理后的数据信息并将其存储在数据库中，数据库将数据调取传输到数据处理模块，数据处理模块将处理好的数据信息传输到数据分析模块，数据分析模块将处理好的信息进行分析后传输到数据统计模块，数据预处理模块、数据处理模块和数据分析模块都通过运算器实现，数据库用于存储数据并在需要这些数据时，提供这些数据信息。
数据可视化模块将数据统计模块统计的结果进行可视化，数据可视化模块将数据可视化后将数据传输到数据展示模块，数据展示模块控制可视化数据进行展示，数据展示模块将数据传输到数据传输模块，数据传输模块用于将数据展示模块发出的控制信息进行传输到显示屏，显示屏将信息展示给用户。
数据收集模块受到控制模块的控制，控制模块可通过操作录入模块进行控制，操作录入模块从鼠标、显示屏和键盘获取信息，鼠标、显示屏和键盘通过用户的使用将用户的操作信息传输到操作录入模块，操作录入模块用于对用户的操作进行分析并对其操作进行响应。
大数据统计系统还包括注册模块，注册模块用于大数据统计系统使用所需的账号的注册，注册模块将注册的账号信息存储在数据库中，数据库调取注册的账号信息传输到登录模块，登录模块解锁控制模块的使用，登录模块用于对注册的账号进行登录，登录后方可使用大数据统计系统。
本发明的实施例中，用户通过鼠标、键盘和显示屏与输入接口连接，通过鼠标点击、键盘输入和显示屏触控的方式进行操作，操作通过操作录入模块进行分析，分析完成后根据操作进行相应的响应；在使用大数据统计系统需要使用账号进行登录，通过注册模块进行账号的注册，注册完成后通过登录模块进行登录，注册模块将注册的账号信息存储在数据库中，在登录时将输入的账号信息与注册的账号信息进行对比识别，登陆成功后通过控制模块传输信息对数据收集模块进行控制。
数据收集模块从多个数据服务器中获取数据信息，获取到信息后将数据传输到数据预处理模块进行一系列的预处理，预处理完成后的数据将通过数据存储模块存储在数据库中，同时数据库可以将信息传输到数据处理模块，避免数据丢失无法进行数据处理，当数据未丢失时，数据直接从数据预处理模块传输到数据处理模块进行进一步的数据处理，数据存储的过程中使用的是用于大数据统计的计算机主体中的存储器，硬件与模块相结合共同完成数据的存储，数据处理模块将处理好的信息传输到数据分析模块，数据分析模块将数据传输到数据可视化模块和处理器实时监控模块，数据可视化模块对数据分析模块分析好的数据进行可视化，可视化完成后将数据传输到数据展示模块，数据展示模块将数据传输到数据传输模块，数据传输模块将数据传输到显示屏，显示屏与输出接口相连接，对信息进行输出展示给用户。
数据统计模块将数据传输到处理器实时监控模块，处理器实时监控模块对数据统计模块进行实时监控，监控后发现负荷过大时将数据传输到处理器控制模块，通过处理器控制模块对数据统计模块进行控制，从而降低负荷，避免发生系统崩溃的现象，控制模块与用于大数据统计的计算机主体中的控制器一同对其进行控制。
如图3所示，本发明的实施例中，数据预处理模块包括数据清理单元、数据集成单元、数据变换单元和数据规约单元，数据清理单元用于格式标准化、异常数据清除及重复数据的清除，数据集成单元用于将多个数据源中的数据结合起来并统一存储，数据变换单元用于通过平滑聚集、数据概化和规范化等方式将数据转换成适用于数据挖掘的形式，数据规约单元用于将数据进行规约表示。
数据清理单元应用有主成分分析降维方法进行特征提取，将获得的数据设置为M个样本{X1,X2,...,XM,},每个样本有N维特征每一个特征Xj都有各自的特征值。
首先对所有特征进行去中心化，即去均值，求出每个特征的平均值，然后对于所有的样本，每一个特征都减去自身的均值，其中各自的均值分别为在去中心化后再求协方差矩阵C，其中对角线上分别是特征X1和X2的方差，非对角线上是协方差，cov(X1,X1)的计算公式为/>由此得出M个样本在这N维特征下的协方差矩阵C。
得到协方差矩阵后，根据特征方程Cμ＝λμ求出其特征值及其对应的特征向量，其中λ为特征值，μ为其对应的特征向量，选择最大的前k个特征值和相对应的特征向量进行投影，投影即为降维的过程，将原始特征从高维度降低到低维度，降维后除去了大量的冗余信息，且至少保留了原来85％以上的信息。
数据预处理模块包括数据清理单元、数据集成单元、数据交换单元和数据规约单元，数据清理单元应用有主成分分析的方法，将获得的数据设置为M个样本，每个样本有N维特征，每一个特征Xj都有各自的特征值，首先对所有特征进行去中心化，即去均值，求出每个特征的平均值，然后对于所有的样本，每一个特征都减去自身的均值，在去中心化后再求协方差矩阵C，得到协方差矩阵后，根据特征方程求出其特征值及其对应的特征向量，选择最大的前k个特征值和相对应的特征向量进行投影，投影即为降维的过程，将原始特征从高维度降低到低维度，降维后除去了大量的冗余信息，且至少保留了原来85％以上的信息。
去除大量的冗余信息后使得大数据统计需要的操作减少，减轻了大数据统计的负担，减少了统计所需要的时间，数据清理单元用于格式标准化、异常数据清除及重复数据的清除，数据集成单元用于将多个数据源中的数据结合起来并统一存储，数据变换单元用于通过平滑聚集、数据概化和规范化等方式将数据转换成适用于数据挖掘的形式，数据规约单元用于将数据进行规约表示，这些数据处理都将经过用于大数据统计的计算机主体中的运算器进行处理。
如图4所示，本发明的实施例中，数据统计模块包括数据接收单元、处理器、数据临时存储单元和数据传输单元，数据接收单元用于对数据分析模块传输来的信息进行接收，处理器用于对大数据进行统计，数据临时存储单元用于对统计的数据进行临时存储，防止丢失，数据传输单元用于将统计的数据传输到数据可视化模块。
数据统计模块包括数据接收单元、处理器、数据临时存储单元和数据传输单元，数据接收单元对数据分析模块传输来的数据进行接收，接收的数据信息将通过处理器进行大数据统计，统计好的数据将通过数据临时存储单元进行保存，通过数据传输单元传输到数据可视化模块和处理器实时监控模块。
本发明的使用方法，用户通过鼠标、键盘和显示屏与输入接口连接，通过鼠标点击、键盘输入和显示屏触控的方式进行操作，操作通过操作录入模块进行分析，分析完成后根据操作进行相应的响应；在使用大数据统计系统需要使用账号进行登录，通过注册模块进行账号的注册，注册完成后通过登录模块进行登录，注册模块将注册的账号信息存储在数据库中，在登录时将输入的账号信息与注册的账号信息进行对比识别，登陆成功后通过控制模块传输信息对数据收集模块进行控制，数据收集模块从多个数据服务器中获取数据信息，获取到信息后将数据传输到数据预处理模块进行一系列的预处理。
数据预处理模块包括数据清理单元、数据集成单元、数据交换单元和数据规约单元，数据清理单元应用有主成分分析的方法，将获得的数据设置为M个样本，每个样本有N维特征，每一个特征Xj都有各自的特征值，首先对所有特征进行去中心化，即去均值，求出每个特征的平均值，然后对于所有的样本，每一个特征都减去自身的均值，在去中心化后再求协方差矩阵C，得到协方差矩阵后，根据特征方程求出其特征值及其对应的特征向量，选择最大的前k个特征值和相对应的特征向量进行投影，投影即为降维的过程，将原始特征从高维度降低到低维度，降维后除去了大量的冗余信息，且至少保留了原来85％以上的信息。去除大量的冗余信息后使得大数据统计需要的操作减少，减轻了大数据统计的负担，减少了统计所需要的时间。
预处理完成后的数据将通过数据存储模块存储在数据库中，同时数据库可以将信息传输到数据处理模块，避免数据丢失无法进行数据处理，当数据未丢失时，数据直接从数据预处理模块传输到数据处理模块进行进一步的数据处理，数据存储的过程中使用的是用于大数据统计的计算机主体中的存储器，硬件与模块相结合共同完成数据的存储，数据处理模块将处理好的信息传输到数据分析模块，数据分析模块将数据传输到数据统计模块。
数据统计模块包括数据接收单元、处理器、数据临时存储单元和数据传输单元，数据接收单元对数据分析模块传输来的数据进行接收，接收的数据信息将通过处理器进行大数据统计，统计好的数据将通过数据临时存储单元进行保存，通过数据传输单元传输到数据可视化模块和处理器实时监控模块。
数据统计模块将数据传输到数据可视化模块和处理器实时监控模块，数据可视化模块对数据分析模块分析好的数据进行可视化，可视化完成后将数据传输到数据展示模块，数据展示模块将数据传输到数据传输模块，数据传输模块将数据传输到显示屏，显示屏与输出接口相连接，对信息进行输出展示给用户。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.一种用于大数据统计的计算机，包括用于大数据统计的计算机主体，作为大数据统计系统的载体；以及大数据统计系统，用于实现计算机的大数据统计功能；其特征在于，所述大数据统计的计算机主体包括存储器、运算器、控制器、输入接口与输出接口，所述大数据统计系统包括数据收集模块、数据预处理模块、数据统计模块、处理器实时监控模块和处理器控制模块；
所述运算器受到控制器的控制，所述输入接口将数据接收，所述输出接口将运算器结果或存储器中存储的内容进行输出，所述数据收集模块从数据服务器中获取大数据信息，所述数据预处理模块对数据收集模块收集到的数据进行预处理，所述数据统计模块从数据收集模块获取大数据信息，所述处理器实时监控模块从数据统计模块获取处理器信息，所述处理器控制模块从处理器实时监控模块获取监控信息，所述处理器控制模块对数据统计模块进行控制；
所述存储器在用于大数据统计的计算机中存储程序、数据和各种信号、命令等信息，并在需要时提供这些信息，所述运算器用于对数据进行加工、完成各种运算，如算术运算、逻辑运算、位移、比较等，所述控制器用于向其他设备发出控制信号对计算机进行控制，所述输入接口用于接收外部信号，所述输出接口用于将统计结果进行输出，所述处理器实时监控模块用于对处理器进行实时监控防止负荷过大造成系统崩溃。
2.根据权利要求1所述的一种用于大数据统计的计算机，其特征在于，所述存储器应用有数据存储模块，所述数据存储模块获取数据预处理模块的预处理后的数据信息并将其存储在数据库中，所述数据库将数据调取传输到数据处理模块，所述数据处理模块将处理好的数据信息传输到数据分析模块，所述数据分析模块将处理好的信息进行分析后传输到数据统计模块，所述数据预处理模块、数据处理模块和数据分析模块都通过运算器实现，所述数据库用于存储数据并在需要这些数据时，提供这些数据信息。
3.根据权利要求1所述的一种用于大数据统计的计算机，其特征在于，所述数据预处理模块包括数据清理单元、数据集成单元、数据变换单元和数据规约单元，所述数据清理单元用于格式标准化、异常数据清除及重复数据的清除，所述数据集成单元用于将多个数据源中的数据结合起来并统一存储，所述数据变换单元用于通过平滑聚集、数据概化和规范化等方式将数据转换成适用于数据挖掘的形式，所述数据规约单元用于将数据进行规约表示。
4.根据权利要求3所述的一种用于大数据统计的计算机，其特征在于，所述数据清理单元应用有主成分分析降维方法进行特征提取，将获得的数据设置为M个样本{X1,X2,...,XM,},每个样本有N维特征每一个特征Xj都有各自的特征值；
首先对所有特征进行去中心化，即去均值，求出每个特征的平均值，然后对于所有的样本，每一个特征都减去自身的均值，其中各自的均值分别为在去中心化后再求协方差矩阵C，其中对角线上分别是特征X1和X2的方差，非对角线上是协方差，cov(X1,X1)的计算公式为/>由此得出M个样本在这N维特征下的协方差矩阵C；
得到协方差矩阵后，根据特征方程Cμ＝λμ求出其特征值及其对应的特征向量，其中λ为特征值，μ为其对应的特征向量，选择最大的前k个特征值和相对应的特征向量进行投影，投影即为降维的过程，将原始特征从高维度降低到低维度，降维后除去了大量的冗余信息，且至少保留了原来85％以上的信息。
5.根据权利要求1所述的一种用于大数据统计的计算机，其特征在于，所述数据统计模块包括数据接收单元、处理器、数据临时存储单元和数据传输单元，所述数据接收单元用于对数据分析模块传输来的信息进行接收，所述处理器用于对大数据进行统计，所述数据临时存储单元用于对统计的数据进行临时存储，防止丢失，所述数据传输单元用于将统计的数据传输到数据可视化模块。
6.根据权利要求5所述的一种用于大数据统计的计算机，其特征在于，所述数据可视化模块将数据统计模块统计的结果进行可视化，所述数据可视化模块将数据可视化后将数据传输到数据展示模块，所述数据展示模块控制可视化数据进行展示，所述数据展示模块将数据传输到数据传输模块，所述数据传输模块用于将数据展示模块发出的控制信息进行传输到显示屏，所述显示屏将信息展示给用户。
7.根据权利要求1所述的一种用于大数据统计的计算机，其特征在于，所述数据收集模块受到控制模块的控制，所述控制模块可通过操作录入模块进行控制，所述操作录入模块从鼠标、显示屏和键盘获取信息，所述鼠标、显示屏和键盘通过用户的使用将用户的操作信息传输到操作录入模块，所述操作录入模块用于对用户的操作进行分析并对其操作进行响应。
8.根据权利要求1所述的一种用于大数据统计的计算机，其特征在于，所述大数据统计系统还包括注册模块，所述注册模块用于大数据统计系统使用所需的账号的注册，所述注册模块将注册的账号信息存储在数据库中，所述数据库调取注册的账号信息传输到登录模块，所述登录模块解锁控制模块的使用，所述登录模块用于对注册的账号进行登录，登录后方可使用大数据统计系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310817764.9A CN116821114A (zh) | 2023-07-05 | 2023-07-05 | 一种用于大数据统计的计算机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310817764.9A CN116821114A (zh) | 2023-07-05 | 2023-07-05 | 一种用于大数据统计的计算机 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116821114A true CN116821114A (zh) | 2023-09-29 |
Family
ID=88141124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310817764.9A Withdrawn CN116821114A (zh) | 2023-07-05 | 2023-07-05 | 一种用于大数据统计的计算机 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116821114A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117631599A (zh) * | 2024-01-26 | 2024-03-01 | 深圳一嘉智联科技有限公司 | 一种基于数据分析的工控机数据传输方法及系统 |
-
2023
- 2023-07-05 CN CN202310817764.9A patent/CN116821114A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117631599A (zh) * | 2024-01-26 | 2024-03-01 | 深圳一嘉智联科技有限公司 | 一种基于数据分析的工控机数据传输方法及系统 |
| CN117631599B (zh) * | 2024-01-26 | 2024-04-12 | 深圳一嘉智联科技有限公司 | 一种基于数据分析的工控机数据传输方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116821114A (zh) | 一种用于大数据统计的计算机 | |
| EP3852007B1 (en) | Method, apparatus, electronic device, readable storage medium and program for classifying video | |
| WO2022048050A1 (zh) | 一种大数据信息采集系统及使用方法 | |
| CN111835836A (zh) | 一种智慧物联网终端数据处理装置及方法 | |
| EP4167137A1 (en) | Model determination method and apparatus, electronic device and memory | |
| CN111510489A (zh) | 一种基于人工智能的物联网数据的采集分析系统 | |
| CN110347653A (zh) | 数据处理方法及装置、电子设备和可读存储介质 | |
| CN114338484A (zh) | 光网络性能数据融合采集方法、装置、设备和存储介质 | |
| CN111125079A (zh) | 一种输变电设备远程运维数据清洗方法 | |
| CN110889018A (zh) | 一种基于glp实验室信息管理集成平台系统 | |
| CN115080641A (zh) | 一种基于深度学习的大数据类型分类与挖掘方法、系统及装置 | |
| CN112416276B (zh) | 一种显示画面解析装置、系统及方法 | |
| CN112542244B (zh) | 辅助信息的生成方法、相关装置及计算机程序产品 | |
| CN115796844A (zh) | 告警阈值的动态更新方法、终端设备及系统 | |
| CN112700511B (zh) | 数据绘制方法、装置、电子设备以及存储介质 | |
| CN113641542A (zh) | 一种测控设备的检测系统及检测方法 | |
| CN115115585A (zh) | 一种电缆故障诊断方法、系统及可读存储介质 | |
| CN114116831A (zh) | 一种大数据挖掘处理方法及装置 | |
| CN116737820A (zh) | 一种高维数据智能化处理系统 | |
| CN217821592U (zh) | 一种传感器数据监控分析系统 | |
| CN109992626A (zh) | 一种多维数据模型的数据处理方法及装置 | |
| CN114338421B (zh) | 数据采集优化方法、装置、存储介质及电子设备 | |
| CN116932830A (zh) | 一种高效大数据处理方法及装置 | |
| CN115267600B (zh) | 分体式接触型电缆泄漏电流监测仪及监测方法 | |
| CN115048068B (zh) | 一种4kled显示屏图像显示控制系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230929 |