CN109919193A - 一种大数据的智能分级方法、系统及终端 - Google Patents

一种大数据的智能分级方法、系统及终端 Download PDF

Info

Publication number
CN109919193A
CN109919193A CN201910097722.6A CN201910097722A CN109919193A CN 109919193 A CN109919193 A CN 109919193A CN 201910097722 A CN201910097722 A CN 201910097722A CN 109919193 A CN109919193 A CN 109919193A
Authority
CN
China
Prior art keywords
data
neural network
training
artificial neural
layer artificial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910097722.6A
Other languages
English (en)
Other versions
CN109919193B (zh
Inventor
郭新军
阮昊
赵苗
苏文静
原续鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Optics and Fine Mechanics of CAS
Original Assignee
Shanghai Institute of Optics and Fine Mechanics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Optics and Fine Mechanics of CAS filed Critical Shanghai Institute of Optics and Fine Mechanics of CAS
Priority to CN201910097722.6A priority Critical patent/CN109919193B/zh
Publication of CN109919193A publication Critical patent/CN109919193A/zh
Application granted granted Critical
Publication of CN109919193B publication Critical patent/CN109919193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种大数据的智能分级方法，包括：读取训练数据并将训练数据归一化；创建神经网络，设置训练参数，对神经网络进行训练；读取测试数据，将测试数据归一化；对测试数据进行识别及输出结果，实现对数据的热、温、冷智能分级。同时提供了一种智能分级系统、终端。本发明针对大数据的热、温、冷三级数据，通过多级神经网络“深度学习”，将神经网络用作分类器，克服了跨行业分类算法标准化的难题，可依据数据首、末次访问时间、访问次数和行业属性代码等将不同行业的大数据分为热数据、温数据和冷数据三大类，为大数据智能分级存储做好准备。本发明通过采用上述技术方案，对不同行业和领域的小样本数据识别准确率达到了90％以上。

Description

一种大数据的智能分级方法、系统及终端
技术领域
本发明涉及大数据分级存储技术领域，具体地，涉及一种大数据的智能分级方法、系统 及终端。
背景技术
数据量爆炸性增长的大数据时代，根据访问频率数据可分为热数据、温数据和冷数据。 统计结果显示，当下冷数据的数据量占比大数据已达到80％，因此大数据的存储主要是解决 好冷数据存储的问题。采用光盘库存储冷数据，硬盘阵列保存温数据，固态盘和内存保存热 数据的磁光电混合方式可将磁盘、固态硬盘和光盘等三类存储媒体的优点结合起来，实现长 寿命(50年以上)、大容量(PB级以上)、低成本(初期建设成本减少50％，能耗降低80％)、 安全可靠的方式保存大数据，又可以保证快速访问响应速度(对99.99％的I/O响应时间不超 过1秒)和高速读写性能(不低于1GB/s)，成为目前大数据存储发展的主流方向。
然而不同行业的大数据对温、冷、热的划分标准具有很大的差异，如何找到高效、通用 的方法来解决这个问题具有一定的难度。因此在大数据时代数据暴增的冲击之下，合理高效 的对数据进行冷热划分并采取与之相对应的分级存储解决方案就成为一个新的课题。
人工智能是近年才逐渐进入人们视野的一门学科和一项技术。2017年5月27日中国围 棋职业九段棋手柯洁与AlphaGo的围棋人机大战，AlphaGo最终以3比0的总比分击败当时 世界排名第一的柯洁。AlphaGo是一款围棋人工智能程序，而能使它越战越勇的秘诀就是人 工智能之中的“深度学习”。“深度学习”是指多层的人工神经网络(ArtificialNeural Networks， ANNs)和训练它的方法。一层神经网络会把大量矩阵数字作为输入，通过非线性激活方法取 权重，再产生另一个数据集合作为输出，这就像生物神经大脑的工作机理一样，通过合适的 矩阵数量，将多层组织链接一起，形成神经网络“大脑”进行精准复杂的处理，就像人们识别 物体标注图片一样。
思睿嘉得公司采用人工智能技术成功地克服了跨行业算法标准化的难题，所研制的数据 分类引擎已成功应用在邮件内容过滤、保密文件管理、知识挖掘、情报分析、反欺诈、电子 发现和归档、数据防泄漏等领域。无论金融、电信、能源、政府、制造等任何行业用户，都 可直接使用其标准版本，无需定制仍可获得满意效果。但在数据分级存储领域还没有获得应 用。
决定大数据中的数据属于热、温、冷哪一类数据的因素有很多，而且不同行业对热、 温、冷数据的划分标准具有很大的差异，另外在存储时要求实时做出判断数据属于哪一类以 便于分级存储。采用人工智能的方法进行划分是一个可以通用且行之有效的方法。国内曾有 人利用SVM(Support Vector Machine，支持向量机)进行分类，效果一直不好。尝试采用BP (Back propagation)神经网络，获得了相对较好的分类效果，但是效率和准确率仍然很低， 无法满足人们对大数据智能分级进而实现自动分级存储的需求。
目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。
发明内容
针对现有技术中的上述不足，本发明的目的在于提供一种大数据的智能分级方法，采用 人工智能中的“深度学习”方法，将ANNs用作分类器引入到大数据分级存储领域并编程实 现，以实现对大数据的高效智能分级，小样本识别准确率达到了90％以上。
本发明是通过以下技术方案实现的。
根据本发明的第一个方面，提供了一种大数据的智能分级方法，包括如下步骤：
S1，读取训练数据，并将训练数据归一化；
S2，创建多层人工神经网络，设置多层人工神经网络的训练参数，并利用归一化后的训 练数据对多层人工神经网络进行训练，得到训练后的多层人工神经网络；
S3，读取测试数据，并将测试数据归一化；
S4，通过训练后的多层人工神经网络，对测试数据进行识别及输出结果，实现对测试数 据的智能分级。
优选地，所述训练数据和测试数据的数据格式中均包括：每个数据的第一次访问时间、 最后一次访问时间、访问次数、行业属性代码以及数据分级。
优选地，所述第一次访问时间和最后一次访问时间的时间格式均精确到秒，如20050506192845，所表示的时间为2005年5月6号19时28分45秒；所述访问次数以正整 数表示；所述行业属性代码采用2017年6月30日发布的《国民经济行业分类》(GB/T 4754-2017)的行业代码中的小类代码，如“光电子器件制造”这一类别名称的代码小类为 “3976”；所述数据分级包括热数据、温数据和冷数据三级，其中，热数据设为1，温数据 设为2，冷数据设为3。对于测试数据中未分级的数据，其数据分级初始值设为0。
优选地，所述S1中，训练数据归一化的方法采用线性函数转换算法。
优选地，所述线性函数转换算法为：在Matlab程序中，使用premnmx函数的特征值对 训练数据进行归一化处理。计算公式为y＝2*(x-min)/(max-min)–1，将数据归一化到[-1, 1]区间。
优选地，所述S2中，创建多层人工神经网络的神经元互联方式采用前馈神经网络、反馈 神经网络和/或自组织网络中的神经网络结构；创建多层人工神经网络的传递函数采用线性 函数和/或非线性函数。
优选地，常见的传递函数有“线性函数”、“对数S形转移函数”和“双曲正切S形函数”等。
优选地，“线性函数”的计算公式为f(x)＝x；
“对数S形转移函数”的公式为(0<f(x)<1)；
“双曲正切S形函数”的公式为(-1<f(x)<1)。
优选地，所述S2中，采用无导师学习算法和/或有导师学习算法，利用归一化后的训练 数据对所创建的多层人工神经网络进行训练；其中，学习规则采用梯度下降自适应学习率训 练算法和/或梯度下降BP训练算法。
优选地，学习函数为在Matlab程序中，使用train函数对多层人工神经网络进行训练； 最终得到满足误差要求的多层人工神经网络。
优选地，所述误差要求是指多层人工神经网络的训练参数中对神经网络训练的目标误差 要求；其中，对神经网络训练的目标误差要求，根据神经网络学习后的实际分类效果反复调 整后确定，一般可设置为0.01；所述训练参数还包括显示中间结果的周期、最大迭代次数和 学习率中的一个或多个。
优选地，所述S4中，对测试数据的智能分级是指：当多层人工神经网络对于训练数据输 入所产生的输出与训练数据的误差满足要求后，再对要存储的新数据进行分级识别。
优选地，在Matlab程序中采用sim函数，利用训练好的多层人工神经网络对要存储的新 数据进行分级识别。
优选地，大数据的分级包括：热数据、温数据和冷数据三级。
根据本发明的第二个方面，提供了一种用于实现上述大数据的智能分级方法的智能分级 系统，包括：
训练数据处理模块：读取训练数据，并将训练数据归一化；
神经网络训练模块：创建多层人工神经网络，设置多层人工神经网络的训练参数，并利 用归一化后的训练数据对多层人工神经网络进行训练，得到训练后的多层人工神经网络；
测试数据处理模块：读取测试数据，并将测试数据归一化；
智能分级模块：通过训练后的多层人工神经网络，对测试数据进行识别及输出结果，实 现对测试数据的智能分级。
其中，所述训练数据和测试数据的数据格式中均包括：每个数据的第一次访问时间、最 后一次访问时间、访问次数、行业属性代码以及数据分级。
根据本发明的第三个方面，提供了一种终端，包括存储器、处理器及存储在存储器上并 能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时能够用 于执行上述的方法。
与现有技术相比，本发明具有如下有益效果：
本发明所提供的大数据的智能分级方法，将“深度学习”的方法运用到大数据热、温、冷 智能分级中，即将多层的人工神经网络(Artificial Neural Networks,ANNs)用作分类器引入 到大数据存储领域，并实现对数据的高效智能分级。
本发明所提供的大数据的智能分级方法，采用多层人工神经网络以及深度学习的方法实 现，可依据数据首、末次访问时间、访问次数和行业属性代码等将大数据分级为热数据、温 数据和冷数据三大类，为大数据分级存储做好准备，在降低大数据存储成本的同时提高大数 据访问响应速度及吞吐率。
本发明所提供的大数据的智能分级方法，采用人工智能神经网络的方法，智能分级软件 对大数据热、温、冷数据识别准确率高，速度快，小样本识别准确率达到了90％以上；智能 化，适用范围广，通用性强。可适用于不同的行业，如金融、银行、档案、教育、司法等， 为大数据后续的分级存储、提高访问和响应速度打好基础。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和 优点将会变得更明显：
图1是本发明公开的一个实施例提供的一种大数据的智能分级方法的实现流程图；
图2A是本发明公开的一个实施例提供的多层神经网络的数学模型示意图；
图2B是本发明公开的一个实施例提供的多层神经网络中的某个节点的计算处理示意图；
图3是本发明公开的一个实施例提供的医疗行业大数据热、温、冷智能分级方法的分级 性能示意图。
图4是本发明公开的一个实施例提供的金融行业大数据热、温、冷智能分级方法的分级 性能示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行 进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定 本发明。
实施例
本实施例提供了一种大数据的智能分级方法，采用人工智能中的深度学习方法，将人工 神经网络用作分类器引入到大数据智能分级方法中，按照特定的数据格式，在降低大数据存 储成本的同时提高大数据访问响应速度及吞吐率。
所述方法，包括如下步骤：
S1，读取具有特定数据格式的训练数据，并将训练数据归一化；
S2，创建多层人工神经网络，设置多层人工神经网络的训练参数，并利用归一化后的训 练数据对多层人工神经网络进行训练，得到训练后的多层人工神经网络；
S3，读取具有特定数据格式的测试数据，并将测试数据归一化；
S4，通过训练后的多层人工神经网络，对测试数据进行识别及输出结果，实现对测试数 据的智能分级。
其中，特定数据格式是指，数据格式中均包括每个数据的第一次访问时间、最后一次访 问时间、访问次数、行业属性代码以及数据分级。
进一步地，
所述第一次访问时间和最后一次访问时间的时间格式均精确到秒，如20050506192845， 所表示的时间为2005年5月6号19时28分45秒。
所述访问次数以正整数表示。
所述行业属性代码采用2017年6月30日发布的《国民经济行业分类》(GB/T 4754-2017) 的行业代码中的小类代码，如“光电子器件制造”这一类别名称的代码小类为“3976”。
所述数据分级包括热数据、温数据和冷数据三级，其中，热数据设为1，温数据设为2， 冷数据设为3。对于测试数据中未分级的数据，其数据分级初始值设为0。
本实施例还提供了一种用于实施上述智能分级方法的智能分级系统，包括：
训练数据处理模块：读取训练数据，并将训练数据归一化；
神经网络训练模块：创建多层人工神经网络，设置多层人工神经网络的训练参数，并利 用归一化后的训练数据对多层人工神经网络进行训练，得到训练后的多层人工神经网络；
测试数据处理模块：读取测试数据，并将测试数据归一化；
智能分级模块：通过训练后的多层人工神经网络，对测试数据进行识别及输出结果，实 现对测试数据的智能分级。
下面结合一具体应用实例，对本发明上述实施例所提供的大数据的智能分级方法进一步 详细描述。
本发明上述实施例所提供的大数据智能分级方法，包括如下步骤：
在Matlab中采用textread函数读取训练数据后利用premnmx函数将训练数据进行归一化 处理；
构造输出矩阵并进行初始化赋值；
采用newff函数创建2层前馈神经网络(即多层人工神经网络)，其中，第一层神经元个 数为10，传递函数为对数S形转移函数“logsig”，第二层神经元个数为3，传递函数为线性函 数“purelin”；训练函数为“traingdx”即“梯度下降自适应学习率训练函数”，权值/阈值学习函数 和性能函数均为默认函数；2层前馈神经网络的数学模型示意图如图2A所示。
其用复合函数的公式如下：
对于第一层
f1＝x1*W1-11+x2*W1-12+x3*W1-13+x4*W1-14+x5*W1-15+b1-1
f2＝x1*W1-21+x2*W1-22+x3*W1-23+x4*W1-24+x5*W1-25+b1-2
f3＝x1*W1-31+x2*W1-32+x3*W1-33+x4*W1-34+x5*W1-35+b1-3
f4＝x1*W1-41+x2*W1-42+x3*W1-43+x4*W1-44+x5*W1-45+b1-4
f5＝x1*W1-51+x2*W1-52+x3*W1-53+x4*W1-54+x5*W1-55+b1-5
f6＝x1*W1-61+x2*W1-62+x3*W1-63+x4*W1-64+x5*W1-65+b1-6
f7＝x1*W1-71+x2*W1-72+x3*W1-73+x4*W1-74+x5*W1-75+b1-7
f8＝x1*W1-81+x2*W1-82+x3*W1-83+x4*W1-84+x5*W1-85+b1-8
f9＝x1*W1-91+x2*W1-92+x3*W1-93+x4*W1-94+x5*W1-95+b1-9
f10＝x1*w1-101+x2*w1-102+x3*w1-103+x4*w1-104+x5*w1-105+b1-10
然后进入到第二层，也为输出层：
最后进入最终输出层：
y＝f11*W3-11+f12*W3-12+f13*W3-13+b3-1
每个神经元的节点的计算处理如图2B所示，计算公式为：
z＝x1*W1+x2*W2+x3*W3+x4*W4+x5*W5+b
上述公式中各参数的含义如下：
对于2层前馈神经网络第一层:
其中，Wi-jk为各个神经元突触对应输入分量的权值，其中i＝1～2为神经网络的层数，j＝1～10 为神经元的序号，k＝1～5为第j个神经元对应的输入向量的序号；xk等五个输入向量分别为第 一次访问时间、最后一次访问时间、访问次数、行业属性代码以及热温冷类别；bi-j为偏置； fj为第一层神经网络第j个神经元的传递函数。
对于2层前馈神经网络第二层:
其中，f1m为第二层神经网络各个神经元突触对应输入分量的权值，其中m＝1～10，为第 二层神经网络神经元的序号。
对于输出层：
y为所创建的2层前馈神经网络的最终输出。
对于每个神经元的节点：
Wl为该神经元突触对应输入分量的权值；b为偏置；z为该神经元的最终输出。
设置2层前馈神经网络的训练参数，训练参数中“net.trainparam.goal”即“神经网络训练的 目标误差”为0.01；“net.trainparam.show”即“显示中间结果的周期”为50；“net.trainparam.epochs” 即“最大迭代次数”为500；“net.trainParam.lr”即“学习率”为0.01。
由train函数采用归一化后的训练数据对神经网络进行训练，得到训练后的2层人工神经 网络；
由textread函数读取测试数据，采用premnmx函数将测试数据归一化；
通过训练后的2层前馈神经网络，对测试数据进行识别及输出结果，实现对测试数据的 智能分级。
进一步地，所述的训练数据包括每个数据的第一次访问时间、最后一次访问时间、访问 次数以及行业属性代码等。不同行业和领域的数据类型会有调整。
进一步地，所述的多层前馈神经网络创建采用线性和非线性函数等作为传递函数，如2 层前馈神经网络第一层采用对数S型转移函数作为传递函数；第二层采用线性函数作为传递 函数。
进一步地，所述的多层前馈神经网络创建的神经元互联方式采用前馈神经网络结构。
进一步地，所述的训练数据归一化是通过线性转换算法进行归一化；
进一步地，通过无导师学习算法、有导师学习算法来实现神经网络的训练学习；学习规 则采用的训练算法有“梯度下降自适应学习率训练算法”和“梯度下降BP训练算法”等。
进一步地，所述的测试数据分级是当神经网络对于训练数据输入所产生的输出与训练数 据的误差满足要求后，通过网络函数对要存储的新数据进行分级识别。
本实施例所提供的一种大数据的智能分级方法，将“深度学习”的方法运用到大数据热、 温、冷智能分级的方法和实现，即将多层的人工神经网络(Artificial NeuralNetworks,ANNs) 用作分类器引入到大数据存储领域，并编程实现对数据的高效智能分级。
本实施例所提供的大数据的智能分级方法，采用多层前馈神经网络、深度学习的方法实 现，可依据数据首、末次访问时间、访问次数和行业属性代码等将其分为热数据、温数据和 冷数据三大类，为大数据分级存储做好准备，在降低大数据存储成本的同时提高大数据访问 响应速度及吞吐率。
下面结合附图，并通过一具体应用实例，对本发明上述实施例所提供的技术方案进一步 详细描述。
如图1所示，本发明上述实施例提供的一种大数据的智能分级方法，包括以下步骤：
101：首先读取训练数据，训练数据包括每个数据的第一次、最后一次访问时间，访问次 数，以及行业属性代码；
102：然后对训练数据进行归一化处理，通过线性函数转换算法对训练数据进行归一化处 理，在Matlab程序中，使用premnmx函数的特征值归一化；
201：然后采用Matlab中的newff函数进行多层前馈神经网络的创建，所述的多层前馈神 经网络创建采用常见的传递函数，在Matlab程序中，第一层采用“logsig”，为“对数S型转移 函数”；第二层采用“purelin”，为“线性函数”；所述的神经网络创建的神经元互联方式使用的 是前馈神经网络中(Feedforward Neural Networds)的BP(Backpropagation)神经网络；
202：接下来通过使用Matlab编程环境下的train函数对多层前馈神经网络进行训练，当 多层前馈神经网络对于训练数据输入所产生的输出与训练数据的误差满足要求后，可开始下 一步骤；
301、302：读取测试数据，并对测试数据归一化预处理；
401：多层前馈神经网络通过Matlab编程环境下的sim函数对要存储的新数据进行分级 识别；
501：输出识别结果。
下面结合仿真对本发明的应用效果作详细的描述。
为了评估本发明的性能，下面的仿真实验采用医疗和金融两个行业的数据，分别进行4 次仿真实验，每个行业的训练数据量分别为25，50，75，100，125，测试数据量均为150， 使用ANNs分类器进行分类识别。
采用newff函数创建2层前馈神经网络结构见图2。
训练时train函数中所设置的参数分别为：显示中间结果的周期net.trainparam.show＝50； 最大迭代次数net.trainparam.epochs＝500；神经网络训练的目标误差net.trainparam.goal＝0.01； 学习率：net.trainParam.lr＝0.01。仿真识别结果如图3和图4所示，结果显示识别率达到90％ 以上。可见本发明对不同行业的数据分级识别效果较好。
基于上述的一种大数据的智能分级方法和系统，本发明实施例中还提供了一种终端， 包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算 机程序时可用于执行上述的智能分级方法。
基于上述的一种大数据的智能分级方法和系统，本发明实施例中还提供了另外一种 终端，包括存储器、处理器及存储在存储器上并可通过处理器运行的上述的智能分级系统。 进一步地，所述智能分级系统可用于执行上述的智能分级方法。
需要说明的是，上述实施例中列举了基于医疗大数据分级存储与金融大数据分级存储这 两个行业大数据存储的热温冷智能分级，其目的是为了具体呈现本发明的具体实施方式，并 非限定本发明只能应用于这两个行业大数据的热温冷分级当中。根据本发明的原理，容易知 道凡是涉及到大数据热温冷分级，均可通过本发明所述的采用ANNs作为分类器的方法实现 大数据热温冷智能分级。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技 术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡 所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等 效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种大数据的智能分级方法，其特征在于，包括如下步骤：
S1，读取训练数据，并将训练数据归一化；
S2，创建多层人工神经网络，设置多层人工神经网络的训练参数，并利用归一化后的训练数据对多层人工神经网络进行训练，得到训练后的多层人工神经网络；
S3，读取测试数据，并将测试数据归一化；
S4，通过训练后的多层人工神经网络，对测试数据进行识别及输出结果，实现对测试数据的智能分级；
其中，所述训练数据和测试数据的数据格式中均包括：每个数据的第一次访问时间、最后一次访问时间、访问次数、行业属性代码以及数据分级。
2.根据权利要求1所述的一种大数据的智能分级方法，其特征在于，所述第一次访问时间和最后一次访问时间的时间格式均精确到秒；
所述访问次数以正整数表示；
所述行业属性代码采用GB/T 4754-2017的行业代码中的小类代码；
所述数据分级包括热数据、温数据和冷数据三级；其中，热数据设为1，温数据设为2，冷数据设为3；对于测试数据中未分级的数据，其数据分级初始值设为0。
3.根据权利要求1所述的一种大数据的智能分级方法，其特征在于，所述S1中，训练数据归一化采用线性函数转换算法。
4.根据权利要求3所述的一种大数据的智能分级方法，其特征在于，在Matlab程序中，使用premnmx函数的特征值对训练数据进行归一化处理。
5.根据权利要求1所述的一种大数据的智能分级方法，其特征在于，所述S2中，创建多层人工神经网络的神经元互联方式采用前馈神经网络、反馈神经网络和/或自组织网络中的神经网络结构；创建多层人工神经网络的传递函数采用线性函数和/或非线性函数。
6.根据权利要求1所述的一种大数据的智能分级方法，其特征在于，所述S2中，采用无导师学习算法和/或有导师学习算法，利用归一化后的训练数据对所创建的多层人工神经网络进行训练；其中，学习规则采用梯度下降自适应学习率训练算法和/或梯度下降BP训练算法，学习函数为在Matlab程序中，使用train函数对多层人工神经网络进行训练；最终得到满足误差要求的多层人工神经网络；
所述误差要求是指多层人工神经网络的训练参数中对神经网络训练的目标误差要求；其中，对神经网络训练的目标误差要求，根据神经网络学习后的实际分类效果反复调整后确定；所述训练参数还包括显示中间结果的周期、最大迭代次数和学习率中的一个或多个。
7.根据权利要求1所述的一种大数据的智能分级方法，其特征在于，所述S4中，对测试数据的智能分级是指：当多层人工神经网络对于训练数据输入所产生的输出与训练数据的误差满足要求后，再对要存储的测试数据进行分级识别。
8.根据权利要求7所述的一种大数据的智能分级方法，其特征在于，分级识别为：在Matlab程序中采用sim函数，利用训练好的多层人工神经网络对要存储的测试数据进行分级识别。
9.一种用于实现权利要求1至8中任一项所述的大数据的智能分级方法的智能分级系统，其特征在于，包括：
训练数据处理模块：读取训练数据，并将训练数据归一化；
神经网络训练模块：创建多层人工神经网络，设置多层人工神经网络的训练参数，并利用归一化后的训练数据对多层人工神经网络进行训练，得到训练后的多层人工神经网络；
测试数据处理模块：读取测试数据，并将测试数据归一化；
智能分级模块：通过训练后的多层人工神经网络，对测试数据进行识别及输出结果，实现对测试数据的智能分级；
其中，所述训练数据和测试数据的数据格式中均包括：每个数据的第一次访问时间、最后一次访问时间、访问次数、行业属性代码以及数据分级。
10.一种终端，包括存储器、处理器及存储在存储器上并能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时能够用于执行权利要求1至8中任一项所述的方法。
CN201910097722.6A 2019-01-31 2019-01-31 一种大数据的智能分级方法、系统及终端 Active CN109919193B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910097722.6A CN109919193B (zh) 2019-01-31 2019-01-31 一种大数据的智能分级方法、系统及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910097722.6A CN109919193B (zh) 2019-01-31 2019-01-31 一种大数据的智能分级方法、系统及终端

Publications (2)

Publication Number Publication Date
CN109919193A true CN109919193A (zh) 2019-06-21
CN109919193B CN109919193B (zh) 2023-05-12

Family

ID=66961138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910097722.6A Active CN109919193B (zh) 2019-01-31 2019-01-31 一种大数据的智能分级方法、系统及终端

Country Status (1)

Country Link
CN (1) CN109919193B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110727406A (zh) * 2019-10-10 2020-01-24 深圳力维智联技术有限公司 一种数据存储调度方法及装置
CN113627535A (zh) * 2021-08-12 2021-11-09 福建中信网安信息科技有限公司 基于数据安全和隐私保护的数据分级分类系统与方法
CN113792772A (zh) * 2021-09-01 2021-12-14 中国船舶重工集团公司第七一六研究所 一种用于数据分级混合存储的冷热数据识别方法
CN117932412A (zh) * 2024-03-25 2024-04-26 陕西中安数联信息技术有限公司 数据存储系统冷热数据高效识别方法与装置

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006312414A (ja) * 2005-05-09 2006-11-16 Toyota Motor Corp 運転指向推定装置
CN101833709A (zh) * 2010-05-11 2010-09-15 同济大学 半导体生产线生产计划的混合智能优化方法
CN102110371A (zh) * 2011-03-04 2011-06-29 哈尔滨工业大学 一种基于分级多智能体架构的交通信号控制系统
CN103020728A (zh) * 2012-11-05 2013-04-03 青海电力科学试验研究院 一种电力系统中变电站短期电能质量预测方法
CN103218416A (zh) * 2013-03-27 2013-07-24 华为技术有限公司 一种数据库加载方法、装置及系统
US20130231824A1 (en) * 2012-03-05 2013-09-05 Florida A&M University Artificial Intelligence Valet Systems and Methods
CN103336844A (zh) * 2013-07-22 2013-10-02 广西师范大学 大数据rd分割方法
CN103761569A (zh) * 2013-12-20 2014-04-30 上海电机学院 一种风力发电机故障诊断方法及装置
CN104463359A (zh) * 2014-12-01 2015-03-25 河海大学常州校区 一种基于bp神经网络的疏浚作业产量预测模型分析方法
CN105095962A (zh) * 2015-07-27 2015-11-25 中国汽车工程研究院股份有限公司 一种基于bp人工神经网络的材料动态力学性能预测方法
CN106557538A (zh) * 2015-09-25 2017-04-05 希捷科技有限责任公司 分层存储中的压缩采样
CN106779069A (zh) * 2016-12-08 2017-05-31 国家电网公司 一种基于神经网络的异常用电检测方法
CN107426315A (zh) * 2017-07-24 2017-12-01 南京邮电大学 一种基于BP神经网络的分布式缓存系统Memcached的改进方法
CN107908653A (zh) * 2017-10-12 2018-04-13 阿里巴巴集团控股有限公司 一种数据处理方法及装置
CN109033288A (zh) * 2018-07-13 2018-12-18 电子科技大学 一种基于bp神经网络的智能终端安全等级分类方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006312414A (ja) * 2005-05-09 2006-11-16 Toyota Motor Corp 運転指向推定装置
CN101833709A (zh) * 2010-05-11 2010-09-15 同济大学 半导体生产线生产计划的混合智能优化方法
CN102110371A (zh) * 2011-03-04 2011-06-29 哈尔滨工业大学 一种基于分级多智能体架构的交通信号控制系统
US20130231824A1 (en) * 2012-03-05 2013-09-05 Florida A&M University Artificial Intelligence Valet Systems and Methods
CN103020728A (zh) * 2012-11-05 2013-04-03 青海电力科学试验研究院 一种电力系统中变电站短期电能质量预测方法
CN103218416A (zh) * 2013-03-27 2013-07-24 华为技术有限公司 一种数据库加载方法、装置及系统
CN103336844A (zh) * 2013-07-22 2013-10-02 广西师范大学 大数据rd分割方法
CN103761569A (zh) * 2013-12-20 2014-04-30 上海电机学院 一种风力发电机故障诊断方法及装置
CN104463359A (zh) * 2014-12-01 2015-03-25 河海大学常州校区 一种基于bp神经网络的疏浚作业产量预测模型分析方法
CN105095962A (zh) * 2015-07-27 2015-11-25 中国汽车工程研究院股份有限公司 一种基于bp人工神经网络的材料动态力学性能预测方法
CN106557538A (zh) * 2015-09-25 2017-04-05 希捷科技有限责任公司 分层存储中的压缩采样
CN106779069A (zh) * 2016-12-08 2017-05-31 国家电网公司 一种基于神经网络的异常用电检测方法
CN107426315A (zh) * 2017-07-24 2017-12-01 南京邮电大学 一种基于BP神经网络的分布式缓存系统Memcached的改进方法
CN107908653A (zh) * 2017-10-12 2018-04-13 阿里巴巴集团控股有限公司 一种数据处理方法及装置
CN109033288A (zh) * 2018-07-13 2018-12-18 电子科技大学 一种基于bp神经网络的智能终端安全等级分类方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JO SUNG: "Nanoscale Memristor Device as Synapse in Neuromorphic Systems" *
吴晨雪等: "磁光电混合存储技术研究综述", 《激光与光电子学进展》 *
杨宗海;李文竹;刘心;: "基于分级响应机制的家庭智慧节水系统设计" *
郭新军: "磁光电混合存储数据智能分级技术研究", 《电子技术与软件工程》 *
郭新军;: "磁光电混合存储数据智能分级技术研究" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110727406A (zh) * 2019-10-10 2020-01-24 深圳力维智联技术有限公司 一种数据存储调度方法及装置
CN110727406B (zh) * 2019-10-10 2024-05-17 深圳力维智联技术有限公司 一种数据存储调度方法及装置
CN113627535A (zh) * 2021-08-12 2021-11-09 福建中信网安信息科技有限公司 基于数据安全和隐私保护的数据分级分类系统与方法
CN113792772A (zh) * 2021-09-01 2021-12-14 中国船舶重工集团公司第七一六研究所 一种用于数据分级混合存储的冷热数据识别方法
CN113792772B (zh) * 2021-09-01 2023-11-03 中国船舶重工集团公司第七一六研究所 一种用于数据分级混合存储的冷热数据识别方法
CN117932412A (zh) * 2024-03-25 2024-04-26 陕西中安数联信息技术有限公司 数据存储系统冷热数据高效识别方法与装置

Also Published As

Publication number Publication date
CN109919193B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN109919193A (zh) 一种大数据的智能分级方法、系统及终端
Singh et al. Neural networks in data mining
Alpaydin Multiple networks for function learning
Dutta et al. Decision support in non-conservative domains: generalization with neural networks
CN108509484A (zh) 分类器构建及智能问答方法、装置、终端及可读存储介质
Arbatli et al. Rule extraction from trained neural networks using genetic algorithms
Wang et al. Neural Network‐Based Approach for Evaluating College English Teaching Methodology
Kasemsap Artificial intelligence: Current issues and applications
Pendharkar et al. A misclassification cost‐minimizing evolutionary–neural classification approach
Omlin et al. Symbolic knowledge representation in recurrent neural networks: Insights from theoretical models of computation
Cao et al. A fuzzy-rough approach for case base maintenance
Mannion et al. Multi-objective decision making for trustworthy ai
Ménager et al. Modeling human memory phenomena in a hybrid event memory system
Hossen et al. A web based four-tier architecture using reduced feature based neural network approach for prediction of student performance
Bellary et al. Hybrid machine learning approach in data mining
Wang [Retracted] A Classification Method of Network Ideological and Political Resources Using Improved SVM Algorithm
Cao et al. A fuzzy-rough approach for the maintenance of distributed case-based reasoning systems
Zhou et al. Fuzzy c-means clustering algorithm for performance improvement of ENN
CN111414846A (zh) 基于关键时空信息驱动和组群共现性结构化分析的组群行为识别方法
Thammasiri et al. Imbalance classification model for churn prediction
Weber et al. Knowledge management for computational intelligence systems
Trippi et al. Auto-learning approaches for building expert systems
Zha et al. IDEA: Interpretable Dynamic Ensemble Architecture for Time Series Prediction
Policastro et al. A hybrid case based reasoning approach for monitoring water quality
Garud et al. Run, rabbit, run! But, can you survive?

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant