CN116932830A - 一种高效大数据处理方法及装置 - Google Patents
一种高效大数据处理方法及装置 Download PDFInfo
- Publication number
- CN116932830A CN116932830A CN202311044020.4A CN202311044020A CN116932830A CN 116932830 A CN116932830 A CN 116932830A CN 202311044020 A CN202311044020 A CN 202311044020A CN 116932830 A CN116932830 A CN 116932830A
- Authority
- CN
- China
- Prior art keywords
- data
- unit
- analysis
- module
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 56
- 238000007405 data analysis Methods 0.000 claims abstract description 41
- 238000010606 normalization Methods 0.000 claims abstract description 41
- 238000013500 data storage Methods 0.000 claims abstract description 26
- 238000007781 pre-processing Methods 0.000 claims abstract description 25
- 230000010354 integration Effects 0.000 claims abstract description 21
- 238000013079 data visualisation Methods 0.000 claims abstract description 16
- 239000013589 supplement Substances 0.000 claims abstract description 8
- 238000004458 analytical method Methods 0.000 claims description 51
- 230000000007 visual effect Effects 0.000 claims description 13
- 230000014759 maintenance of location Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000010219 correlation analysis Methods 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 5
- 239000006185 dispersion Substances 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 239000000047 product Substances 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 238000012800 visualization Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Complex Calculations (AREA)
Abstract
本发明涉及大数据处理技术领域,且公开了一种高效大数据处理方法及装置,所述数据采集模块对外界的数据进行采集后并传输给数据分析模块,所述数据分析模块接收到数据后进行分析并发送给数据存储模块进行数据的存储,所述数据存储模块负责存储分析后的数据,所述数据可视化模块将数据分析模块分析后的数据进行可视化展示;本发明通过设有数据采集模块、数据分析模块、数据存储模块以及数据可视化模块,数据采集模块内的数据集成单元可以对数据进行识别以及分析,数据预处理单元对缺失的数据进行清洗以及补充,数据规范化单元将数据进行规范化处理,此时进行数据分析时更加快速,从而提高数据的处理效率。
Description
技术领域
本发明涉及大数据处理技术领域,更具体地涉及一种高效大数据处理方法及装置。
背景技术
大数据或称巨量资料,指的是所涉及的资料量规模巨大到无法透过主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯,随着数字时代的到来,数据起到越来越重要的作用,此时就需要对各种大数据进行处理,数据处理贯穿于社会生产和社会生活的各个领域,数据处理技术的发展及其应用的广度和深度,极大地影响了人类社会发展的进程;
数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的大数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据,由于现在的数据种类较多且较为复杂,因此需要大数据处理装置来对数据进行收集和整理,以整理出所需的数据。
在进行大数据处理时,首先需要进行数据的采集,进行数据采集时,由于其采集时出现问题或者传输时出现失真的情况,此时传输后的数据会出现缺失,而缺失的数据再进行处理时,此时会造成处理时的无法识别,进而浪费数据处理的工作效率,且现在的数据在进行分析时,由于现如今为数据量过大,因此进行不同种类的数据分析时无法进行适配,从而会造成数据的分析时间过长,进而影响数据的整体处理效率。
发明内容
为了克服现有技术的上述缺陷,本发明的实施条例提供一种高效大数据处理方法及装置,以解决背景技术中所提出的技术问题。
为实现上述目的,本发明提供如下技术方案:
一种高效大数据处理方法,包括以下操作步骤:
步骤S1、数据采集单元对数据进行采集后,将采集到的数据发送给数据预处理单元内的数据集成单元进行数据识别后,发送给数据预处理单元;
步骤S2、数据预处理单元将识别后的数据进行数据补充,补充后的数据发送给数据规范化单元进行数据规范化处理;
步骤S3、经过数据规范化单元处理后的数据发送给数据分析模块,数据分析模块接收规范化后的数据并进行分析处理后,传输给数据存储模块进行存储;
步骤S4,数据可视化模块会将数据存储模块内存储的数据进行可视化处理,并提供给操作者可视化后的数据一种高效大数据处理方法及装置,包括。
在一个优选的实施方式中,包括数据采集模块、数据分析模块、数据存储模块以及数据可视化模块,所述数据采集模块对外界的数据进行采集后并传输给数据分析模块,所述数据分析模块接收到数据后进行分析并发送给数据存储模块进行数据的存储,所述数据存储模块负责存储分析后的数据,所述数据可视化模块将数据分析模块分析后的数据进行可视化展;
所述数据采集模块包括数据采集单元,数据集成单元、数据预处理单元以及数据规范化单元,所述数据采集单元将外界的数据进行采集后发送给数据集成单元,所述数据集成单元将数据进行集成后经过数据预处理单元以及数据规范化单元进行预处理以及规范化处理后再发送给数据分析模块进行接触处理。
在一个优选的实施方式中,所述数据集成单元将采集到的全部数据进行实体识别,将实体识别后的数据进行数据冗余与相关分析后,将多个数据源中的数据合并,并存放于一个一致的数据存储中,数据冗余的计算公式为式中i与j分别为两个时间所发生的频率,c为第一事件发生的总次数,r为第二事件发生的总次数,Oij为两个事件的联合频率,eij为两个事件的期望频率,n为数据元祖的个数,数据相关分析的计算公式为/>式中ɑ为第一事件发生的概率,A为事件ɑ的集合,b为第一事件发生的概率,B为事件b的集合,σA为事件A的方差,σB为事件B的方差。
在一个优选的实施方式中,所述数据预处理单元对采集后的数据进行数据清洗,数据清洗对数据的缺失值占比进行检测,缺失数据的数据组占总数据组的1%及以下时,此时将缺失数据的数据组进行删除,缺失数据的数据组占总数据组的1%以上时,此时采用条件平均值填充进行补齐,所述条件平均值工作时需识别缺失数据的数据组类型,求得与缺失数据的数据组类型同属性数据组的平均数,将同属性数据组的平均数补充到缺失数据的数据组内。
在一个优选的实施方式中,所述数据规范化单元采用离差标准化进行规范化处理,规范化处理公式为式中x为样本序列值,i表示最大值或者最小值在样本序列中的取值位置。
在一个优选的实施方式中,所述数据分析模块包括对比分析单元、漏斗分析单元、留存分析单元以及AB测试分析单元,所述对比分析单元包括时间对比、空间对比以及标准对比,且所述对比分析单元适合分析短期内具备连续性数据的业务场景,所述漏斗分析单元应用于流量监控、产品目标转化以及日常数据运营与数据分析,所述留存分析单元适用于分析参与情况或活跃程度,所述AB测试分析单元适合将同一数据的不同版本进行分析,并选择最合适的版本。
在一个优选的实施方式中,所述数据可视化模块包括像素技术单元、层次技术单元、图标技术单元以及几何技术单元,所述像素技术单元对图片以及视频数据进行可视化展示,所述层次技术单元对数据中的结构数据信息进行可视化展示,所述图标技术单元用于将数据中的多维值在二维平面上进行可视化展示,所述几何技术单元以几何投影表示数据库中的数据。
本发明的技术效果和优点:
1、本发明通过设有数据采集模块、数据分析模块、数据存储模块以及数据可视化模块,数据采集模块内的数据集成单元可以对数据进行识别以及分析,数据预处理单元对缺失的数据进行清洗以及补充,数据规范化单元将数据进行规范化处理,此时进行数据分析时更加快速,从而提高数据的处理效率;
2、本发明通过将采集的数据进行数据冗余与相关分析,可以将不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中,因此相同特点的数据会被放置在一起,此时进行后续的数据分析时更加快速,同时会减少准备和分析数据所需的时间,从而提高数据的处理效率,最终产生更准确的数据质量分析的基础;
3、本发明通过对比分析单元、漏斗分析单元、留存分析单元以及AB测试分析单元,通过采用对比分析单元、漏斗分析单元、留存分析单元以及AB测试分析单元,从而能够对不同种类的数据进行分析,因此不同种类的数据均可以采用适合的分析单元进行处理,从而能够满足不同的需要,进而提高数据处理的效率。
附图说明
图1为本发明的处理方法示意图。
图2为本发明的整体流程示意图。
图3为本发明的数据分析模块结构示意图。
图4为本发明的数据可视化模块结构示意图。
具体实施方式
下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,另外,在以下的实施方式中记载的各结构的形态只不过是例示,本发明所涉及的一种高效大数据处理方法及装置并不限定于在以下的实施方式中记载的各结构,在本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施方式都属于本发明保护的范围。
参照图1,一种高效大数据处理方法,包括以下操作步骤:
步骤S1、数据采集单元对数据进行采集后,将采集到的数据发送给数据预处理单元内的数据集成单元进行数据识别后,发送给数据预处理单元;
步骤S2、数据预处理单元将识别后的数据进行数据补充,补充后的数据发送给数据规范化单元进行数据规范化处理;
步骤S3、经过数据规范化单元处理后的数据发送给数据分析模块,数据分析模块接收规范化后的数据并进行分析处理后,传输给数据存储模块进行存储;
步骤S4,数据可视化模块会将数据存储模块内存储的数据进行可视化处理,并提供给操作者可视化后的数据本发明提供了一种高效大数据处理方法及装置。
参照图2,包括数据采集模块、数据分析模块、数据存储模块以及数据可视化模块,所述数据采集模块对外界的数据进行采集后并传输给数据分析模块,所述数据分析模块接收到数据后进行分析并发送给数据存储模块进行数据的存储,所述数据存储模块负责存储分析后的数据,所述数据可视化模块将数据分析模块分析后的数据进行可视化展示;
所述数据采集模块包括数据采集单元,数据集成单元、数据预处理单元以及数据规范化单元,所述数据采集单元将外界的数据进行采集后发送给数据集成单元,所述数据集成单元将数据进行集成后经过数据预处理单元以及数据规范化单元进行预处理以及规范化处理后再发送给数据分析模块进行接触处理。
本申请实施例中,数据采集模块内的数据集成单元可以对数据进行识别以及分析,使得数据进行分类,因此在进行后续的数据分析时,不同种类的数据分别进入到数据分析模块内的对比分析单元、漏斗分析单元、留存分析单元以及AB测试分析单元,在进行数据分析时更加快速,进而提高整体的大数据处理效率,而数据预处理单元能够对缺失的数据进行清洗以及补充,因此在进行分析时不易出现错误,数据规范化单元将数据进行规范化处理,保证数据的一致性和完整性,此时进行数据分析时更加快速,从而提高数据的处理效率
进一步的,所述数据集成单元将采集到的全部数据进行实体识别,将实体识别后的数据进行数据冗余与相关分析后,将多个数据源中的数据合并,并存放于一个一致的数据存储中,数据冗余的计算公式为式中i与j分别为两个时间所发生的频率,c为第一事件发生的总次数,r为第二事件发生的总次数,Oij为两个事件的联合频率,eij为两个事件的期望频率,n为数据元祖的个数,数据相关分析的计算公式为式中ɑ为第一事件发生的概率,A为事件ɑ的集合,b为第一事件发生的概率,B为事件b的集合,σA为事件A的方差,σB为事件B的方差,
本申请实施例中,数据集成可以将不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中,因此会减少准备和分析数据所需的时间,从而提高数据的处理效率,数据集成会随着时间的推移提高业务数据的价值,随着数据集成到集中式系统中,可以识别质量问题并实施必要的改进,最终产生更准确的数据质量分析的基础,从而提供更有价值的数据。
进一步的,所述数据预处理单元对采集后的数据进行数据清洗,数据清洗对数据的缺失值占比进行检测,缺失数据的数据组占总数据组的1%及以下时,此时将缺失数据的数据组进行删除,缺失数据的数据组占总数据组的1%以上时,此时采用条件平均值填充进行补齐,将缺失信息属性的数据删除,由于被删除的信息在整体信息内占比较小,从而可以得到一个较为完整的信息组,且可以避免少量的确实信息而使得整体信息无法进行传输。
进一步的,所述条件平均值工作时需识别缺失数据的数据组类型,求得与缺失数据的数据组类型同属性数据组的平均数,将同属性数据组的平均数补充到缺失数据的数据组内,此时若是将数据值直接进行删除,会影响到信息整体的客观性与准确性,因此对缺失数据的数据值用同属性数据组的平均数进行补充,因为其是以同属性的数据进行补充,因此以最大概率的可能进行补充,能够对数据的准确程度做出保证。
进一步的,所述数据规范化单元采用离差标准化进行规范化处理,规范化处理公式为式中x为样本序列值,i表示最大值或者最小值在样本序列中的取值位。
数据经过规范化处理后,原始数据转化为无量纲化指标测评值,各指标值处于同一数量级别,可进行综合测评分析,因此可以降低冗余,利于保证数据的一致性和完整性,可以提高效率,离差标准化的运行程序为:
#include
for
初始化数据,每一行表示一个样本序列值,每一列表示一个特征属性;
x=np.array([[0.,-3.,1.],
[3.,1.,2.],
[0.,1.,-1.]])
#将数据进行[0,1]规范化
min_max_scaler=preprocessing.MinMaxScaler()
minmax_x=min_max_scaler.fit_transform(x)
print(minmax_x)。
参照图3,所述数据分析模块包括对比分析单元、漏斗分析单元、留存分析单元以及AB测试分析单元,所述对比分析单元包括时间对比、空间对比以及标准对比,且所述对比分析单元适合分析短期内具备连续性数据的业务场景,所述漏斗分析单元应用于流量监控、产品目标转化以及日常数据运营与数据分析,所述留存分析单元适用于分析参与情况或活跃程度,所述AB测试分析单元适合将同一数据的不同版本进行分析,并选择最合适的版本,通过采用对比分析单元、漏斗分析单元、留存分析单元以及AB测试分析单元,从而能够对不同种类的数据进行分析,因此不同种类的数据均可以采用适合的分析单元进行处理,从而能够满足不同的需要,进而提高数据处理的效率。
参照图4,所述数据可视化模块包括像素技术单元、层次技术单元、图标技术单元以及几何技术单元,所述像素技术单元对图片以及视频数据进行可视化展示,所述层次技术单元对数据中的结构数据信息进行可视化展示,如人事组织、文件目录或者人口调查数据,所述图标技术单元用于将数据中的多维值在二维平面上进行可视化展示,所述几何技术单元以几何投影表示数据库中的数据。
本申请实施例中,像素技术单元能够看到全部的数据信息,并且可以反应数据从近似匹配到不匹配的走势,从而能够对数据进行合理的推测,层次技术单元在进行结构数据展示时可以将每个节点的数据进行完整且精确的展示,使得结构数据更加清晰,图标技术单元进行展示后的数据细节更加丰富,适用于精确的数据可视化展示,几何技术单元可以在二维平面上每个数据的多维属性,因此将不同的数据采用多种可视化方式进行处理,从而能够将数据进行清晰的展示,便于工作人员进行处理。
实施例二
缺失数据的数据组占总数据组的1%以上时,此时除了采用条件平均值填充进行补齐,还可采用就近补充的方式进行补充,就近补充在进行数据补充时,在完整数据中找到一个与确实数据组最相似的数据组,然后用这个相似数据组的值来进行填充,不同的问题可能会选用不同的标准来对相似进行判定,该方法利用了数据间的关系来进行空值估计,可以考虑数据的不确定性,但是此种方式需要人工辅助进行标准判断,因此适用在人工与数据自动处理的双重处理模式下。
实施例三
数据规范化除了采用离差标准化还可采用标准差规范化处理,标准差规范化处理的公式为:其中S的计算公式为/>式中x为样本序列值,i表示最大值或者最小值在样本序列中的取值位置,/>为x全部数据的平均数,标准差规范化适合用在比较方面,不受数据量级影响,但是使用时需要数据整体的平均值和方差,因此所能够适用的场合有限。
最后:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种高效大数据处理方法,其特征在于,包括以下操作步骤:
步骤S1、数据采集单元对数据进行采集后,将采集到的数据发送给数据预处理单元内的数据集成单元进行数据识别后,发送给数据预处理单元;
步骤S2、数据预处理单元将识别后的数据进行数据补充,补充后的数据发送给数据规范化单元进行数据规范化处理;
步骤S3、经过数据规范化单元处理后的数据发送给数据分析模块,数据分析模块接收规范化后的数据并进行分析处理后,传输给数据存储模块进行存储;
步骤S4,数据可视化模块会将数据存储模块内存储的数据进行可视化处理,并提供给操作者可视化后的数据。
2.一种高效大数据处理装置,其特征在于:包括数据采集模块、数据分析模块、数据存储模块以及数据可视化模块,所述数据采集模块对外界的数据进行采集后并传输给数据分析模块,所述数据分析模块接收到数据后进行分析并发送给数据存储模块进行数据的存储,所述数据存储模块负责存储分析后的数据,所述数据可视化模块将数据分析模块分析后的数据进行可视化展示;
所述数据采集模块包括数据采集单元,数据集成单元、数据预处理单元以及数据规范化单元,所述数据采集单元将外界的数据进行采集后发送给数据集成单元,所述数据集成单元将数据进行集成后经过数据预处理单元以及数据规范化单元进行预处理以及规范化处理后再发送给数据分析模块进行接触处理。
3.根据权利要求2所述的一种高效大数据处理装置,其特征在于:所述数据集成单元将采集到的全部数据进行实体识别,将实体识别后的数据进行数据冗余与相关分析后,将多个数据源中的数据合并,并存放于一个一致的数据存储中,数据冗余的计算公式为式中i与j分别为两个时间所发生的频率,c为第一事件发生的总次数,r为第二事件发生的总次数,Oij为两个事件的联合频率,eij为两个事件的期望频率,n为数据元祖的个数,数据相关分析的计算公式为/>式中ɑ为第一事件发生的概率,A为事件ɑ的集合,b为第一事件发生的概率,B为事件b的集合,σA为事件A的方差,σB为事件B的方差。
4.根据权利要求2所述的一种高效大数据处理装置,其特征在于:所述数据预处理单元对采集后的数据进行数据清洗,数据清洗对数据的缺失值占比进行检测,缺失数据的数据组占总数据组的1%及以下时,此时将缺失数据的数据组进行删除,缺失数据的数据组占总数据组的1%以上时,此时采用条件平均值填充进行补齐。
5.根据权利要求4所述的一种高效大数据处理装置,其特征在于:所述条件平均值工作时需识别缺失数据的数据组类型,求得与缺失数据的数据组类型同属性数据组的平均数,将同属性数据组的平均数补充到缺失数据的数据组内。
6.根据权利要求2所述的一种高效大数据处理装置,其特征在于:所述数据规范化单元采用离差标准化进行规范化处理,规范化处理公式为式中x为样本序列值,i表示最大值或者最小值在样本序列中的取值位置。
7.根据权利要求2所述的一种高效大数据处理装置,其特征在于:所述数据分析模块包括对比分析单元、漏斗分析单元、留存分析单元以及AB测试分析单元,所述对比分析单元包括时间对比、空间对比以及标准对比,且所述对比分析单元适合分析短期内具备连续性数据的业务场景,所述漏斗分析单元应用于流量监控、产品目标转化以及日常数据运营与数据分析,所述留存分析单元适用于分析参与情况或活跃程度,所述AB测试分析单元适合将同一数据的不同版本进行分析,并选择最合适的版本。
8.根据权利要求2所述的一种高效大数据处理装置,其特征在于:所述数据可视化模块包括像素技术单元、层次技术单元、图标技术单元以及几何技术单元,所述像素技术单元对图片以及视频数据进行可视化展示,所述层次技术单元对数据中的结构数据信息进行可视化展示,所述图标技术单元用于将数据中的多维值在二维平面上进行可视化展示,所述几何技术单元以几何投影表示数据库中的数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311044020.4A CN116932830A (zh) | 2023-08-18 | 2023-08-18 | 一种高效大数据处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311044020.4A CN116932830A (zh) | 2023-08-18 | 2023-08-18 | 一种高效大数据处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116932830A true CN116932830A (zh) | 2023-10-24 |
Family
ID=88389798
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311044020.4A Pending CN116932830A (zh) | 2023-08-18 | 2023-08-18 | 一种高效大数据处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116932830A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106326482A (zh) * | 2016-08-31 | 2017-01-11 | 江苏中威科技软件系统有限公司 | 一种大数据可视化采集分析及文件转换系统和方法 |
CN110008259A (zh) * | 2019-02-20 | 2019-07-12 | 中科恒运股份有限公司 | 可视化数据分析的方法及终端设备 |
CN115470251A (zh) * | 2022-08-23 | 2022-12-13 | 陕西天诚软件有限公司 | 一种大数据分析展示装置 |
CN115543976A (zh) * | 2022-09-22 | 2022-12-30 | 贵州民族大学 | 一种大数据处理系统 |
CN115860531A (zh) * | 2022-11-25 | 2023-03-28 | 杭州友声科技股份有限公司 | 基于多维度数据的业务体验管理系统及方法 |
-
2023
- 2023-08-18 CN CN202311044020.4A patent/CN116932830A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106326482A (zh) * | 2016-08-31 | 2017-01-11 | 江苏中威科技软件系统有限公司 | 一种大数据可视化采集分析及文件转换系统和方法 |
CN110008259A (zh) * | 2019-02-20 | 2019-07-12 | 中科恒运股份有限公司 | 可视化数据分析的方法及终端设备 |
CN115470251A (zh) * | 2022-08-23 | 2022-12-13 | 陕西天诚软件有限公司 | 一种大数据分析展示装置 |
CN115543976A (zh) * | 2022-09-22 | 2022-12-30 | 贵州民族大学 | 一种大数据处理系统 |
CN115860531A (zh) * | 2022-11-25 | 2023-03-28 | 杭州友声科技股份有限公司 | 基于多维度数据的业务体验管理系统及方法 |
Non-Patent Citations (1)
Title |
---|
丁兆云等: "《数据科学导论 第3版=INTRODUCTION TO DATA SCIENCE 3RD EDITION》", vol. 978, 北京:北京理工大学出版社, pages: 70 - 71 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200257659A1 (en) | Method and apparatus for determing description information, electronic device and computer storage medium | |
Tong et al. | No-reference quality assessment for JPEG2000 compressed images | |
CN112927776A (zh) | 一种面向医学检验报告的人工智能自动解读系统 | |
CN112395461A (zh) | 一种基于大数据分析的商务会议智能管理系统 | |
CN114385668A (zh) | 冷数据清理方法、装置、设备及存储介质 | |
CN116932830A (zh) | 一种高效大数据处理方法及装置 | |
CN116821114A (zh) | 一种用于大数据统计的计算机 | |
CN111610928A (zh) | 一种快速通用的埋点数据采集方法 | |
CN110765325A (zh) | 一种ceph分布式存储系统的运维分析方法及系统 | |
CN114021842A (zh) | 一种远程教育数据采集分析方法、设备及计算机存储介质 | |
CN113033469A (zh) | 工器具损坏识别方法、装置、设备、系统及可读存储介质 | |
CN112668895A (zh) | 一种数字资源质量监管系统 | |
CN117809124B (zh) | 基于多特征融合的医学图像关联调用方法及系统 | |
CN114756542B (zh) | 一种基于数据反馈的彩超图像处理控制系统 | |
CN116869449B (zh) | 一种阴道扩张装置故障检测方法及系统 | |
CN219417227U (zh) | 一种植被覆盖度测量系统 | |
CN112541085B (zh) | 问卷的结构化方法、问卷的结构化装置及存储介质 | |
CN111986749A (zh) | 一种数字病理图像检索系统 | |
CN206863815U (zh) | 一种基于图像融合技术的图像信息收集分析系统 | |
CN115205235A (zh) | 一种血液细胞类型检测系统及方法 | |
CN115100177A (zh) | 一种基于图像识别的舌苔影像分析系统 | |
CN110866699A (zh) | 一种输变电信息管理系统及方法 | |
CN112463801A (zh) | 一种报表推送方法、装置、终端设备及存储介质 | |
CN115994693A (zh) | 一种基于学科评估报告的可视化分析系统 | |
CN115641600A (zh) | 一种自然语言分析处理方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |