CN111539465A - 一种基于机器学习的物联网非结构化大数据分析算法 - Google Patents
一种基于机器学习的物联网非结构化大数据分析算法 Download PDFInfo
- Publication number
- CN111539465A CN111539465A CN202010301205.9A CN202010301205A CN111539465A CN 111539465 A CN111539465 A CN 111539465A CN 202010301205 A CN202010301205 A CN 202010301205A CN 111539465 A CN111539465 A CN 111539465A
- Authority
- CN
- China
- Prior art keywords
- data
- unstructured
- machine learning
- internet
- things
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 51
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 40
- 238000007405 data analysis Methods 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 8
- 238000007418 data mining Methods 0.000 claims abstract description 6
- 238000007781 pre-processing Methods 0.000 claims abstract description 5
- 238000005516 engineering process Methods 0.000 description 47
- 238000004458 analytical method Methods 0.000 description 22
- 238000011161 development Methods 0.000 description 21
- 230000018109 developmental process Effects 0.000 description 21
- 238000000605 extraction Methods 0.000 description 13
- 238000011160 research Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 12
- 241000282414 Homo sapiens Species 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000010219 correlation analysis Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000012517 data analytics Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于机器学习的物联网非结构化大数据分析算法，包括以下步骤：1)构建大数据平台，并获取在线客户在前端输入的非结构化原始数据；2)根据前端接收的非结构化原始数据，客户终端后台对非结构化原始数据进行预处理，以进行后台数据挖掘；3)去除非结构化原始数据的冗余及有噪声的垃圾数据，得非结构化数据样本；4)基于机器学习的物联网非结构化大数据分析算法对非结构化数据样本进行聚类并对预测模型进行推理及训练，然后利用训练后的预测模型进行预测，并将预测结果输出，该方法能够利用基于机器学习算法实现物联网非结构化大数据的分析。
Description
技术领域
本发明涉及一种物联网非结构化大数据分析算法，具体涉及一种基于机器学习的物联网非结构化大数据分析算法。
背景技术
机器学习是当前计算机科学和人工智能学科的一个研究热点。行业没有统一定义“机器学习”的标准，但是机器学习通常是人类认知过程和学习过程的模型，结合计算机的计算能力来执行人类行为模拟。获取新知识或技能算法。它使用先前的知识和培训数据来指导学习，并不断调整现有的知识结构以提高其绩效。近年来，许多机器学习算法在工程实践和科学研究中得到了广泛应用。如聚类(数据聚类)、SVM(支持向量机)、SVM(非线性回归)、神经网络(神经网络)、遗传算法(遗传算法)等。无论是语音识别、信用监控、风险预测等。，或大数据集的数据挖掘，机器学习算法起着不可替代的实际指导作用。机器学习在大数据研究中扮演着重要角色。例如，谷歌在文本处理方面的成功归功于机器学习，而在构建大数据存储仓库时，神经网络、监督和无监督学习领域的大量知识被用来使用Hadoop集群。同时，亚马逊的产品推荐系统也是大数据和机器学习的结合。用于大数据分析的深度分析也基于统计分析和机器学习。
机器学习的发展主要包括两个研究方向。首先，研究学习机制。学习机制的主要研究重点是机器学习技术的研究。随着大数据环境的发展变化，数据分析在社会许多领域的发展中都有很高的应用要求。通过机器学习，可以快速获取相应的知识，促进机器技术的发展。在大数据开发环境下，机器学习应突出学习的重要作用，逐步扩大机器学习的实际范围，在机器学习的基础上进行数据分析，高效处理不同的数据信息，明确机器学习的基本目标。第二，研究信息的合理应用。重点是从大量填充的数据管理存储库中找到更有价值的信息。在大数据开发环境中，数据生成效率逐渐提高，数据的总体数量和类型发生了重大变化。除了深入分析各类重要的新数据行，如文本数据分析、内容搜索图像和图像数据处理等，使机器学习研究朝着多元化的方向全面发展。目前，合理选择半监督学习方法，加强训练数据质量，提高学习能力，是相关部门关注的关键问题。大数据是人工智能的基础，将大数据转化为知识或生产力与机器学习密不可分。可以说机器学习是人工智能的核心，是保证机器拥有人类智能的根本途径。机器学习的任务是发现包含在大量数据中的有用信息。它处理的数据越多，机器学习就越能显示出它的优势。这个问题可以通过提供大数据或大大提高性能来解决，如语言识别、图像设计、天气预报等。
k近邻学习方法根据一定的规则将相似的数据样本分成一个类别。在机器学习算法中，最近邻学习方法的基本思想是首先提取待分类或测试的新数据的特征，并将其与原始样本中每个数据的特征进行比较。然后从比较结果中选择K个最接近的样本数据，并计算哪K个样本数据出现的次数。那么什么样的数据应该被分类。c类w1、w2、...，wc模式识别问题，每种类型都有一个Ni类样本(i\\u003d 1，2，...，c)。可以指定wi的判别函数是:
对于未知样本x，只需比较已知类别的x和N样本之间的马氏距离:
其中m和C分别是S的均值和协方差矩阵。确定x与最接近它的样本相同。该算法简单易懂，无需建模和训练，易于实现，适用于稀有事件的分类，适用于多分类问题。然而，该算法也有缺点。该算法是一个具有大内存开销的懒惰算法。测试样本分类时，计算量大，性能低。可解释性差，不能给出决策树和其他规则。支持向量机算法是经典的机器学习算法之一，在理论分析和实际应用中都取得了良好的效果。直线用于将数据分为两类。这条线用作线性判别函数，记录为:
g(x)＝ωTx+b
这条线相当于一个超平面，最佳分类超平面方程为:
ωTx+b＝0
通过非线性映射对样本进行空间变换，将样本数据从低维样本空间变换到特征维度的线性维度，从而达到线性分类的目的。映射后，分类函数可以表示为:
参考感知器的思想，分类函数获得一个样本所代表的产品的形式:
物联网是一种通过现代无线通信技术快速获取远程信息的新技术应用模式。物联网(IOT)指的是“通过所有连接的互联网”，也就是说，通过将信息加载到诸如射频识别的信息感测设备上来获得信息。通过无处不在的互联网连接，可以获得并传输智能识别和无处不在的信息的网络。该技术应用模型基于无处不在的信息收集设备，例如射频识别标签、传感器、驱动器、移动电话等，通过一个独特的解决方案，即实现共同目标的对象之间的相互对象。沟通与合作。2005年，国际电信联盟发布了《2005年国际电信联盟互联网报告:物联网》，表明无处不在的“物联网”通信时代即将到来。该报告对物联网的描述是:目前，信息和通信技术已经从任何时间和地点连接到任何人，并逐渐发展到连接任何东西的阶段。物联网等各种信息传感技术将所有项目的实时信息(包括供应链中的材料/备件/在制品/成品)连接到互联网。实现智能管理和识别。物联网由三层架构组成。第二层是传输层，它支持信息的传输和共享，即通过现有的局域网、广域网、互联网和通信网络。并借助电子产品代码EPC、电子数据交换EDI等数据分析和交换技术实现数据传输；第三是应用层，实现对采集的传感器数据信息的处理和应用，包括应用和显示终端。在手机、电脑和其他移动设备的操作系统上安装应用程序，并根据业务逻辑应用它们。与物联网相关的关键技术包括:射频识别、传感器技术、纳米技术、智能嵌入式技术、网络通信技术等。
在现代科技发展中，利用云计算、网络技术和信息资源共享等高新技术，有效提高城市的智能化水平和公用事业管理水平。让城市居民的生活更美好。这种渗透到城市政府、社会、经济和基础的趋势就是智慧城市的趋势。在医疗保健领域使用大数据和物联网技术的最好例子是通过射频识别技术识别患者。用于匹配、患者定位、生命体征采集和监测管理。具体来说，它指导病人在入院时佩戴电子表，以便及时了解病人的身份信息。在频率识别检测网络的覆盖范围内，医生可以更好地利用频率识别技术随时随地识别、组织、跟踪和记录患者的身份。物联网和大数据从一开始就有着密不可分的关系。(1)物联网是基于互联网技术发展起来的一种新的互联网模式，丰富了大数据的内容。(2)物联网在发展之初就产生了大数据，大数据推动了物联网的发展。(3)移动智能终端是多功能物联网平台，是大数据环境下物联网的主要应用模式。(4)物联网可以为智慧城市带来最大的功能和价值，是建设智慧城市的首要条件。
物联网的出现和发展不仅带来了社会生产力的快速发展，也给人类社会的生产方式、生活方式和思维方式带来了又一次巨大的创新。(1)改革人类生产方式。物联网(IOT)是人类智慧的综合创新，如技术、传感技术、信息技术、智能计算技术和无线通信技术。它也是物理世界和网络世界之间的互联空间。它将极大地促进工业化和信息化的融合，促进经济结构的调整和社会经济的发展，从而促进生产方式的转变。(2)改变人类的生活方式。目前，物联网涵盖智能产业、智能农业、智能物流、智能交通、智能电网、智能环保、智能安全、智能医疗和智能家居等领域。物联网将给人们带来前所未有的便利和舒适，并将彻底改变人类的生活方式。(3)改变人们的思维方式。作为新一代信息技术的重要组成部分，物联网技术代表了信息传播的新载体和科技创新的新内涵。这种新工具、新技术和新方法的变化，从表面上看，已经逐渐改变和影响了人们的生活旅行和日常行为。从深层来看，智能化社会不仅带来了生活方式的改变，也带来了思维方式的改变。
大数据分析技术的理论基础是大量的样本数据，即来源准确、数据丰富且有内在联系的数据。大数据分析理论主要包括两种分析策略:聚类分析和关联分析，以及基于此的预测分析方法。目前，大数据处理技术主要包括分布式计算技术、内存计算技术和流处理技术。这三种技术适用的领域不同。开发内存计算技术，解决高效数据读取和在线实时处理等问题。流媒体技术解决了实时、连续、不受控制的数据流。分布式计算技术可以用来将问题分解成许多分配给多个计算机进程的小任务。开源Hadoop已经成为主流的分布式计算技术，其中分布式文件系统(HDFS)和并行分布式编程框架(MapReduce)是两项核心技术。它具有良好的可扩展性、高效的设备利用率和高可靠性。分布式计算技术适用于电力企业集合中的分布式数据源。内存计算技术将大规模数据放入内存进行查询和分析操作。内存计算技术避免了读写磁盘时的大量时间开销，大大提高了计算速度。作为内存计算技术的新兴引擎，Spark的主要优势是基于集群的分布式内存抽象(RDD)。Spark将所需数据读入内存。顾名思义，流处理技术将连续数据集视为数据流，并在数据一出现就返回处理结果。尽快计算、分析并以最新数据呈现结果。Strom是流媒体技术的代表技术。主要用于实时计算、在线机器学习等方面。随着智能变电站的快速发展，对电网监控数据的实时性要求越来越高，流媒体处理技术与智能变电站的有机结合将成为未来的主流趋势。
聚类分析以大数据分析为基础，用数量、速度和多样性等属性数据定义大量复杂类别。此外，通过聚合阶段类别或类似类别的数据来量化大量的基本数据。因此，可以从相同类型属性的数据中提取、估计和预测有效信息。结合跨类别相关性分析等分析方法，可以将数据细化到更高的水平，充分利用离散、无序和复杂的基础数据信息。在收集、分析和整理了大量基础数据后，通过聚类分析获得了相对稳定的数据填充资源。以及如何识别这些定义明确的数据和定义明确的数据之间的内在联系，以便能够从不同程度上充分分析和利用这些数据。这是大数据分析中需要解决的一个问题。所谓关联分析，实际含义是指看似无关的数据或信息，试图从不同的角度开始关联分析，并从综合判断中获得数据的关联分析方法。通过关联不同类型和级别的信息，可以使聚类后的数据与不同类别之间的数据更紧密地联系在一起。为数据分析师提供可靠的参考数据信息来源并在复杂的数据分析过程中节省时间更容易。挖掘数据让数据分析师更好地理解数据，而预测分析允许让一些分析师对预测结果做出直观的判断分析和数据挖掘。
当通过数据库收集和访问大量基本数据时，计算机技术可以支持对大量无关数据的整理和过滤。然而，对于具有强烈意识的移动通信优化，有必要为优化器提供初始的和已建立的决策支持。
现有传统分析系统架构的处理和计算能力正面临大数据规模和复杂性快速增长的冲击。根据这份研究报告，各个领域的数据量正在扩大，数据收集的规模已经得到衡量。它已经从GB和TB上升到EB和ZB，并且有多种类型的数据。除了广泛的数据源之外，数据类型也多种多样，数据结构不仅是传统的结构化数据，也是非结构化数据。这使得传统的数据存储解决方案越来越不适合当前的数据结构，并且它们对数据处理能力的要求也越来越高。非结构化数据通常不能直接理解其内容，必须由相应的软件打开。这给未来的数据检索带来了很多麻烦。此外，数据不容易理解，其表达的意义不能直接从数据本身获得。非结构化数据没有定义的结构，无法标准化，也不容易管理，因此查询、存储、更新和使用这些非结构化数据需要更智能的系统。
所有格式的办公文档、文本、图像、图像以及音频和视频信息都是非结构化数据。1.在文本方面，传统的全文搜索技术是基于关键词匹配的，搜索结果难以满足需求。智能搜索使用分词词典、同义词词典和同音词词典来提高检索效果，并结合用户检索上下文分析和用户相关反馈技术来辅助查询。为用户提供智能知识提示，最终准确地向用户返回有效信息。实现该功能的前提是需要使用文本段、词频、文本分析、文本聚类、语义分析、文本挖掘等文本特征提取技术，对文本库进行预处理操作，从而输入下一层模块，实现相似文本搜索。2.基于图像分析技术的图像、图像特征提取。图像特征提取是利用计算机的提取能力。图像特征提取包括以下三个层次:主要可视化功能提取图像的原始特征，如颜色、边缘、形状、纹理、布局等。中间对象特征是从外部知识和逻辑推理(如特定对象或字符)中提取图像的局部特征。高级抽象需要更多外部支持来对图像的抽象属性执行特征提取，包括特定事件、特定内容或样式图像特征。3.音频和音频分析技术包括音频特征提取、音频分类等。在音频特征提取中，音频中包括诸如频域能量、子带能量比、过零率、带宽等信息。音频片段中的音频片段比例、子带能量比平均值、频谱流量等内容进行相应的特征提取。提取的特征可用于音频匹配和识别。4.视频是目前最复杂的视频类型，常见的视频数据可能包含丰富的信息，如音频、图像、文本等。同时，因为每个视频文件都比其他数据大得多，所以问题是复杂多变的。视频分析技术可以依赖于上述类别的非结构化数据的分析技术。例如，图像识别技术可以用于从视频中提取关键帧，并且获得的结果可以用作视频的图像摘要，或者可以为这些关键点建立图像索引以实现视频索引服务。在非结构化数据分析技术中，关键的方法是从非结构化数据中提取特征，所获得的特征通常是高维数据。高维特征提取涉及“距离”和“降维”问题，理想的特征提取算法对于距离保持程度具有较低的测量值，然而现有技术中并没有公开将机器学习应用到大数据领域的先例，即没有公开基于机器学习的物联网非结构化大数据分析方案。
发明内容
本发明的目的在于克服上述现有技术的缺点，提供了一种基于机器学习的物联网非结构化大数据分析算法，该方法能够利用基于机器学习算法实现物联网非结构化大数据的分析。
为达到上述目的，本发明所述的基于机器学习的物联网非结构化大数据分析算法包括以下步骤：
1)构建大数据平台，并获取在线客户在前端输入的非结构化原始数据；
2)根据前端接收的非结构化原始数据，客户终端后台对非结构化原始数据进行预处理，以进行后台数据挖掘；
3)去除非结构化原始数据的冗余及有噪声的垃圾数据，得非结构化数据样本；
4)基于机器学习的物联网非结构化大数据分析算法对非结构化数据样本进行聚类并对预测模型进行推理及训练，然后利用训练后的预测模型进行预测，并将预测结果输出。
步骤4)中基于机器学习的物联网非结构化大数据分析算法对非结构化数据样本进行聚类，得最佳聚类结果为：
步骤2)中，客户终端后台之间采用并行的方式对非结构化原始数据进行预处理。
本发明具有以下有益效果：
本发明所述的基于机器学习的物联网非结构化大数据分析算法在具体操作时，先获取在线客户在前端输入的非结构化原始数据，再对非结构化原始数据进行预处理，并去除非结构化原始数据中的冗余及有噪声的垃圾数据，得非结构化数据样本，然后基于机器学习的物联网非结构化大数据分析算法对非结构化数据样本进行聚类并对预测模型进行推理及训练，以便输入数据形式可以得到最终的输出结果，从而有效利用机器学习领域的研究成果更好地解决大数据问题。
附图说明
图1为本发明的流程图；
图2为实施例一中文件读取的流程图。
具体实施方式
下面结合附图对本发明做进一步详细描述：
大数据重视数据处理，以确保有效的增值数据。随着云时代的快速发展，大数据的覆盖范围逐渐扩大，受到了社会各界的广泛关注。在现代社会发展过程中，大数据分析逐渐被应用到企业未来发展规划、风险评估和市场发展状况整合中。随着社会各个领域的快速发展，信息的流动逐渐扩大，互联网发展更加迅速，促使大数据应用于各个领域。机器学习是关于计算机使用数据或过去经验的多学科研究。独立改进特定算法的能力，计算机通过学习获得知识，并达到人工智能的目标。大数据和机器学习是现代计算机世界的主要技术变革，这些技术已经对各行各业并产生了巨大的影响。目前，随着互联网、移动通信、社交网络和物联网的飞速发展，这些网络每天都产生大量的数据，数据成为当今最重要的信息资源，一些研究表明，在许多情况下，数据量更大，这些数据用于机器学习更好。
在此基础上，参考图1，本发明提出了一种基于机器学习的物联网非结构化大数据分析算法，并将其应用于其他大数据分析场景，本发明属于在线终端分析算法，具体包括以下步骤：
1)构建大数据平台，然后配置平台，并获取在线客户在前端输入的非结构化原始数据；
2)根据前端接收的非结构化原始数据，客户终端后台之间采用并行的方式对非结构化原始数据进行预处理，以进行后台数据挖掘；
3)为提高海量非结构化数据的价值密度，去除非结构化原始数据的冗余及有噪声的垃圾数据，得非结构化数据样本；
4)利用基于机器学习的物联网非结构化大数据分析算法对非结构化数据样本进行数据聚类，并对预测模型进行推理及训练，然后利用训练后的预测模型进行预测，并将预测结果输出。
基于机器学习的物联网非结构化大数据分析算法计算每个对象与定义的中心点之间的距离，并根据算法策略优化中心点的坐标，以获得最佳聚类结果:
在非结构化数据分析技术中，关键的方法是从非结构化数据中提取特征，所获得的特征通常是高维数据，高维特征提取涉及距离和降维问题，理想的特征提取算法对于距离保持程度具有较低的测量值，即
实施例一
对于直接面向应用的场景，在线终端分析(OTA)选择的训练集实例由非结构化数据组成，OTA使用相邻节点距离作为加权参数来评估相关性，图2为在线终端分析算法的文件读取过程。
为了深入分析本发明的性能，本发明分析了基于物联网传感器的大数据分析的原始数据的性能，由于大量用户数据信息，创建一个大数据平台来测试数据，然后配置平台。构建测试大数据平台使用Ubuntu-Linux10.04、Hadoop1.03及SunJava6架构。Hadoop需要启用SSH访问，SSH能够管理远程节点和本地节点，配置完成后，对运行数据进行全面分析，表1显示了每次分析所用的时间和节点数量。
表1
| 实验次数 | 传输节点 | 分析时间 |
| 1 | 2000 | 200000 |
| 2 | 5000 | 420000 |
| 3 | 11000 | 810000 |
| 4 | 240000 | 7400000 |
本发明立足于当前社会发展的新形势，对促进社会更好发展起到了重要作用，通过对大数据研究背景和机器学习研究现状的综合分析，有效利用机器学习领域的研究成果更好地解决大数据问题。
Claims (3)
1.一种基于机器学习的物联网非结构化大数据分析算法，其特征在于，包括以下步骤：
1)构建大数据平台，并获取在线客户在前端输入的非结构化原始数据；
2)根据前端接收的非结构化原始数据，客户终端后台对非结构化原始数据进行预处理，以进行后台数据挖掘；
3)去除非结构化原始数据的冗余及有噪声的垃圾数据，得非结构化数据样本；
4)基于机器学习的物联网非结构化大数据分析算法对非结构化数据样本进行聚类并对预测模型进行推理及训练，然后利用训练后的预测模型进行预测，并将预测结果输出。
2.根据权利要求1所述的基于机器学习的物联网非结构化大数据分析算法，其特征在于，步骤4)中基于机器学习的物联网非结构化大数据分析算法对非结构化数据样本进行聚类，得最佳聚类结果为：
3.根据权利要求1所述的基于机器学习的物联网非结构化大数据分析算法，其特征在于，步骤2)中，客户终端后台之间采用并行的方式对非结构化原始数据进行预处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010301205.9A CN111539465A (zh) | 2020-04-16 | 2020-04-16 | 一种基于机器学习的物联网非结构化大数据分析算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010301205.9A CN111539465A (zh) | 2020-04-16 | 2020-04-16 | 一种基于机器学习的物联网非结构化大数据分析算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111539465A true CN111539465A (zh) | 2020-08-14 |
Family
ID=71976777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010301205.9A Pending CN111539465A (zh) | 2020-04-16 | 2020-04-16 | 一种基于机器学习的物联网非结构化大数据分析算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111539465A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112101574A (zh) * | 2020-11-20 | 2020-12-18 | 成都数联铭品科技有限公司 | 一种机器学习有监督模型解释方法、系统及设备 |
| CN112671916A (zh) * | 2020-12-28 | 2021-04-16 | 厦门市美亚柏科信息股份有限公司 | 电子数据取证方法及边缘节点 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109299286A (zh) * | 2018-09-28 | 2019-02-01 | 北京赛博贝斯数据科技有限责任公司 | 非结构化数据的知识挖掘方法及系统 |
| CN109492002A (zh) * | 2018-10-19 | 2019-03-19 | 浙江大学华南工业技术研究院 | 一种智能电网大数据存储与分析系统及处理方法 |
-
2020
- 2020-04-16 CN CN202010301205.9A patent/CN111539465A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109299286A (zh) * | 2018-09-28 | 2019-02-01 | 北京赛博贝斯数据科技有限责任公司 | 非结构化数据的知识挖掘方法及系统 |
| CN109492002A (zh) * | 2018-10-19 | 2019-03-19 | 浙江大学华南工业技术研究院 | 一种智能电网大数据存储与分析系统及处理方法 |
Non-Patent Citations (1)
| Title |
|---|
| RUI HOU ET AL.: "Unstructured big data analysis algorithm and simulation of Internet of Things based on machine learning" * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112101574A (zh) * | 2020-11-20 | 2020-12-18 | 成都数联铭品科技有限公司 | 一种机器学习有监督模型解释方法、系统及设备 |
| CN112671916A (zh) * | 2020-12-28 | 2021-04-16 | 厦门市美亚柏科信息股份有限公司 | 电子数据取证方法及边缘节点 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hou et al. | Unstructured big data analysis algorithm and simulation of Internet of Things based on machine learning | |
| Guo et al. | The internet of things-based decision support system for information processing in intelligent manufacturing using data mining technology | |
| Wen et al. | Big data driven marine environment information forecasting: a time series prediction network | |
| Guo et al. | Supplier selection based on hierarchical potential support vector machine | |
| Dong et al. | A short-term power load forecasting method based on k-means and SVM | |
| Du | Energy analysis of Internet of things data mining algorithm for smart green communication networks | |
| Ji et al. | Research on the algorithm of education data mining based on big data | |
| CN111539465A (zh) | 一种基于机器学习的物联网非结构化大数据分析算法 | |
| Zhang | Financial data anomaly detection method based on decision tree and random forest algorithm | |
| CN106649380A (zh) | 一种基于标签的热点推荐方法及系统 | |
| Zhang | Distributed SVM face recognition based on Hadoop | |
| Cai et al. | UWFP-Outlier: an efficient frequent-pattern-based outlier detection method for uncertain weighted data streams | |
| Peng et al. | Optimization research of decision support system based on data mining algorithm | |
| Ejaz et al. | Dimension reduction for big data analytics in internet of things | |
| Zhu et al. | A novel hybrid deep learning model for taxi demand forecasting based on decomposition of time series and fusion of text data | |
| Manickam et al. | An analysis of data mining: past, present and future | |
| Cheng et al. | Active broad learning with multi-objective evolution for data stream classification | |
| CN116401338A (zh) | 一种基于数据资产智能检索输入输出要求设计特征提取和注意力机制及其方法 | |
| Wang et al. | Research hotspot prediction and regular evolutionary pattern identification based on NSFC grants using NMF and semantic retrieval | |
| Motohashi et al. | Technological competitiveness of China's internet platformers: comparison of Google and Baidu by using patent text information | |
| Li | [Retracted] Multidimensional Discrete Big Data Clustering Algorithm Based on Dynamic Grid | |
| Guo et al. | Influencing Factors and Forecasting Statistics of Enterprise Market Sales Based on Big Data and Intelligent IoT | |
| Guijo-Rubio et al. | A hybrid approach to time series classification with shapelets | |
| Liu et al. | Classification of Medical Text Data Using Convolutional Neural Network-Support Vector Machine Method | |
| Mei et al. | Research on User Behavior Analysis Model of Financial Industry in Big Data Environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Hou Rui Inventor after: Fang Suwan Inventor after: Yuan Meng Inventor after: Zhao Yunhao Inventor after: Hu Yang Inventor after: Ren Guowen Inventor after: Li Jianbin Inventor after: Liu Huan Inventor after: Chang Liang Inventor after: Liu Jiayue Inventor after: Ren Yuqi Inventor before: Hou Rui Inventor before: Fang Suwan Inventor before: Yuan Meng Inventor before: Zhao Yunhao Inventor before: Hu Yang Inventor before: Ren Guowen Inventor before: Li Jianbin Inventor before: Liu Huan Inventor before: Chang Liang Inventor before: Liu Jiayue Inventor before: Ren Yuqi |
|
| CB03 | Change of inventor or designer information | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200814 |
|
| RJ01 | Rejection of invention patent application after publication |