CN116089784A - 一种基于云计算的数据挖掘实现方法 - Google Patents

一种基于云计算的数据挖掘实现方法 Download PDF

Info

Publication number
CN116089784A
CN116089784A CN202310003826.2A CN202310003826A CN116089784A CN 116089784 A CN116089784 A CN 116089784A CN 202310003826 A CN202310003826 A CN 202310003826A CN 116089784 A CN116089784 A CN 116089784A
Authority
CN
China
Prior art keywords
data
cloud
data mining
grid
corrected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310003826.2A
Other languages
English (en)
Inventor
何泰霖
刘少博
张健
李建庆
李芳芳
刘熙尧
贺建飚
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Jiaxiang Intelligent Technology Co ltd
Original Assignee
Guangdong Jiaxiang Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Jiaxiang Intelligent Technology Co ltd filed Critical Guangdong Jiaxiang Intelligent Technology Co ltd
Priority to CN202310003826.2A priority Critical patent/CN116089784A/zh
Publication of CN116089784A publication Critical patent/CN116089784A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

本发明公开了一种基于云计算的数据挖掘实现方法，包括以下步骤：步骤一、搭建云数据采集系统，将传感器与计算机相连接，将计算机的I/O输出端口与传感器的外触发端连接，由计算机采集云数据，经过坐标换算得到被挖掘数据含有噪声的原始三维云数据矩阵；步骤二、获取数据，利用传感器的采集数据与计算机上的云数据采集系统生成原始的云数据数据，该云数据数据只是经过空间坐标系统校正的中间数据，需要进行数据预处理；本发明基于格网分层数据挖掘流程简单方便，根据格网内分层的特点，能精确的将信号的波动所造成的阈值滤出，降低了误差率，从而使数据挖掘精度满足应用要求。

Description

一种基于云计算的数据挖掘实现方法
技术领域
本发明涉及数据挖掘处理技术领域，尤其涉及一种基于云计算的数据挖掘实现方法。
背景技术
云计算是一种新颖的商业计算模型，它可以将计算任务分布在大量互连的计算机上，使各种应用系统能够根据需要获取计算资源、存储资源和其他服务资源。一个云计算请求计划可以由多个大数据挖掘任务构成，当调度分配云计算服务器将该云计算请求计划写入完成队列之前，需要通过性能云计算服务器分别对该云计算请求计划进行调度分配，即需要这些性能云计算服务器分别对该云计算请求计划中的每个大数据挖掘任务进行执行启用。
目前针对大数据挖掘方案，大多仅限使用一种兴趣度度量维度，虽然部分关注于不同兴趣度度量维度方式的属性和行为的研究，但是针对某个待挖掘服务，不同兴趣度度量维度在不同的数据挖掘项目待应用场景下，数据挖掘不够精准，限制了在大数据挖掘的能力。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于云计算的数据挖掘实现方法。
为了实现上述目的，本发明采用了如下技术方案：
一种基于云计算的数据挖掘实现方法，包括以下步骤：
步骤一、搭建云数据采集系统，将传感器与计算机相连接，将计算机的I/O输出端口与传感器的外触发端连接，由计算机采集云数据，经过数据换算得到被挖掘数据有噪声的原始三维云数据矩阵；
步骤二、获取数据，利用传感器的采集数据与计算机上的云数据采集系统生成原始的云数据，该云数据只是经过空间坐标系统校正的中间数据，需要进行数据预处理；
步骤三、对数据进行预处理，基于数据预处理的结果，按水平格网分块，按高程坐标进行数据分层，将格网中云数据数据的高程差不超过一定阈值的格网内所有点作为基准点，否则将格网内的点作为待定点；
步骤四、格网分块分层，根据测量范围，将预处理后的数据基于云数据的水平方向进行规则格网水平分块，基于高程值进行数据分层；
步骤五、确认数据挖掘最近方向；
步骤六、数据挖掘方向的修正；
步骤七、根据格网分层特点进行数据挖掘。
作为本技术方案的进一步优选的：在所述步骤二中，预处理的步骤包括校准、去噪、抽稀和坐标校准。
作为本技术方案的进一步优选的：在所述步骤四中，水平方向高程差异不会太大，当格网的大小适当的时候，该平面格网中数据云数据的高程差不超过一定阈值的云数据即为地面点，否则将该格网中的云数据还作为待定点进行下一步的处理。
作为本技术方案的进一步优选的：在所述步骤五中，当数据挖掘方向与网格的相同的时候，密度值的计算结果最大，因此能够统计得到更大的密度值，有利于与噪点的分离，因此遍历各个数据挖掘方向，以密度统计结果最大的方向作为数据挖掘核的最佳数据挖掘方向。
作为本技术方案的进一步优选的：确定数据挖掘方向后，需要对数据挖掘方向的存在歧义的数据组进行修正，具体步骤如下：
Sl：找到待修正数组Ω，全部数组为I，则有Φ＝I-Ω，选择待修正数组的一个边缘数据点p，并将它设置为修正数组的中心：φp，则权值P(p)具体为：
P(p)＝C(p)×D(p)
式中，D(p)和C(p)分别表示数据项和置信度，具体如下：
Figure BDA0004035299040000031
式中，|φp|表示φp的面积，α是归一化参数，而且有：
Figure BDA0004035299040000032
式中，Ix、Iy，表示x,y方向的偏微分；
S2：估计当前数组边缘数据的权值，从中找到值最大权块作为目标块，根据SSD匹配准则实现理想数组和待修正数组的匹配块，SSD匹配准则为：
Figure BDA0004035299040000033
S3：在修正数组边缘数据点时，边缘数据会处于一种动变过程中，所以必须在边缘进行相应的更新，这样修正数组变为了理想数组，置信度改变了，那么数据点置信度更新方式为：
Figure BDA0004035299040000041
S4：不断重复S1到S3，直到整个数据所有待修正数组n为空为止，那么输出修正后的数据挖掘方向。
作为本技术方案的进一步优选的：在所述步骤七中，在进行数据挖掘时，取其中相近点的高程变化进行比较设置一个阈值，采用三角渐进数据挖掘法，当相近点的高程变化大于此阈值时，就可以大致判断此点为非地面点，移动窗口法利用已有参数的拟合曲面并将地表视为连续的变化曲面，将该拟合曲面在地表每块区域按照设定的移动距离与相差阈值进行扫描比对，而根据微分原理，当拟合曲面不断缩小到一定程度时，便可用平面近似拟合该局部区域。
作为本技术方案的进一步优选的：采用三角渐进数据挖掘法是利用图区最低点以及其周围一定区域范围内的地面建立最初的三角网，并通过参数阈值判断其周围激光点是否加入下一步精细化DEM的构建，随后再对此类点进行验证，最后获得最终经过加密处理的三角网数据。
作为本技术方案的进一步优选的：在所述步骤七中，接收传送的三角网数据并传送至传感器的信号处理装置进行处理。
与现有的技术相比，本发明的有益效果是：
本发明基于格网分层数据挖掘流程简单方便，根据格网内分层的特点，能精确的将数据的波动所造成的阈值滤出，提高数据挖掘的精准度，从而使数据挖掘精度满足应用要求。
附图说明
图1为本发明提出的一种基于云计算的数据挖掘实现方法的结构流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1，一种基于云计算的数据挖掘实现方法，一种基于云计算的数据挖掘实现方法，包括以下步骤：
步骤一、搭建云数据采集系统，将传感器与计算机相连接，将计算机的I/O输出端口与传感器的外触发端连接，由计算机采集云数据，经过数据换算得到被挖掘数据有噪声的原始三维云数据矩阵；
步骤二、获取数据，利用传感器的采集数据与计算机上的云数据采集系统生成原始的云数据，该云数据只是经过空间坐标系统校正的中间数据，需要进行数据预处理，预处理的步骤包括校准、去噪、抽稀和坐标校准；
步骤三、对数据进行预处理，基于数据预处理的结果，按水平格网分块，按高程坐标进行数据分层，将格网中云数据数据的高程差不超过一定阈值的格网内所有点作为基准点，否则将格网内的点作为待定点；
步骤四、格网分块分层，根据测量范围，将预处理后的数据基于云数据的水平方向进行规则格网水平分块，基于高程值进行数据分层，水平方向高程差异不会太大，当格网的大小适当的时候，该平面格网中数据云数据的高程差不超过一定阈值的云数据即为地面点，否则将该格网中的云数据还作为待定点进行下一步的处理
步骤五、确认数据挖掘最近方向，当数据挖掘方向与网格的相同的时候，密度值的计算结果最大，因此能够统计得到更大的密度值，有利于与噪点的分离，因此遍历各个数据挖掘方向，以密度统计结果最大的方向作为数据挖掘核的最佳数据挖掘方向。
步骤六、数据挖掘方向的修正，具体步骤如下：
Sl：找到待修正数组Ω，全部数组为I，则有Φ＝I-Ω，选择待修正数组的一个边缘数据点p，并将它设置为修正数组的中心：φp，则权值P(p)具体为：
P(p)＝C(p)×D(p)
式中，D(p)和C(p)分别表示数据项和置信度，具体如下：
Figure BDA0004035299040000061
式中，|φp|表示φp的面积，α是归一化参数，而且有：
Figure BDA0004035299040000062
式中，Ix、Iy，表示x,y方向的偏微分；
S2：估计当前数组边缘数据的权值，从中找到值最大权块作为目标块，根据SSD匹配准则实现理想数组和待修正数组的匹配块，SSD匹配准则为：
Figure BDA0004035299040000071
S3：在修正数组边缘数据点时，边缘数据会处于一种动变过程中，所以必须在边缘进行相应的更新，这样修正数组变为了理想数组，置信度改变了，那么数据点置信度更新方式为：
Figure BDA0004035299040000072
S4：不断重复S1到S3，直到整个数据所有待修正数组n为空为止，那么输出修正后的数据挖掘方向；
步骤七、根据格网分层特点进行数据挖掘，在进行数据挖掘时，取其中相近点的高程变化进行比较设置一个阈值，采用三角渐进数据挖掘法，当相近点的高程变化大于此阈值时，就可以大致判断此点为非地面点，移动窗口法利用已有参数的拟合曲面并将地表视为连续的变化曲面，将该拟合曲面在地表每块区域按照设定的移动距离与相差阈值进行扫描比对，而根据微分原理，当拟合曲面不断缩小到一定程度时，便可用平面近似拟合该局部区域，接收传送的三角网数据并传送至传感器的信号处理装置进行处理。
本实施例采用三角渐进数据挖掘法是利用图区最低点以及其周围一定区域范围内的地面建立最初的三角网，并通过参数阈值判断其周围激光点是否加入下一步精细化DEM的构建，随后再对此类点进行验证，最后获得最终经过加密处理的三角网数据。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种基于云计算的数据挖掘实现方法，其特征在于，包括以下步骤：
步骤一、搭建云数据采集系统，将传感器与计算机相连接，将计算机的I/O输出端口与传感器的外触发端连接，由计算机采集云数据，经过数据换算得到被挖掘数据有噪声的原始三维云数据矩阵；
步骤二、获取数据，利用传感器的采集数据与计算机上的云数据采集系统生成原始的云数据，该云数据只是经过空间坐标系统校正的中间数据，需要进行数据预处理；
步骤三、对数据进行预处理，基于数据预处理的结果，按水平格网分块，按高程坐标进行数据分层，将格网中云数据数据的高程差不超过一定阈值的格网内所有点作为基准点，否则将格网内的点作为待定点；
步骤四、格网分块分层，根据测量范围，将预处理后的数据基于云数据的水平方向进行规则格网水平分块，基于高程值进行数据分层；
步骤五、确认数据挖掘最近方向；
步骤六、数据挖掘方向的修正；
步骤七、根据格网分层特点进行数据挖掘。
2.根据权利要求1所述的一种基于云计算的数据挖掘实现方法，其特征在于，在所述步骤二中，预处理的步骤包括校准、去噪、抽稀和坐标校准。
3.根据权利要求1所述的一种基于云计算的数据挖掘实现方法，其特征在于，在所述步骤四中，水平方向高程差异不会太大，当格网的大小适当的时候，该平面格网中数据云数据的高程差不超过一定阈值的云数据即为地面点，否则将该格网中的云数据还作为待定点进行下一步的处理。
4.根据权利要求1所述的一种基于云计算的数据挖掘实现方法，其特征在于，在所述步骤五中，当数据挖掘方向与网格的相同的时候，密度值的计算结果最大，因此能够统计得到更大的密度值，有利于与噪点的分离，因此遍历各个数据挖掘方向，以密度统计结果最大的方向作为数据挖掘核的最佳数据挖掘方向。
5.根据权利要求1所述的一种基于云计算的数据挖掘实现方法，其特征在于，其特征在于，确定数据挖掘方向后，需要对数据挖掘方向的存在歧义的数据组进行修正，具体步骤如下：
Sl：找到待修正数组Ω，全部数组为I，则有Φ＝I-Ω，选择待修正数组的一个边缘数据点p，并将它设置为修正数组的中心：φp，则权值P(p)具体为：
P(p)＝C(p)×D(p)
式中，D(p)和C(p)分别表示数据项和置信度，具体如下：
Figure FDA0004035299030000021
式中，|φp|表示φp的面积，α是归一化参数，而且有：
Figure FDA0004035299030000031
式中，Ix、Iy，表示x,y方向的偏微分；
S2：估计当前数组边缘数据的权值，从中找到值最大权块作为目标块，根据SSD匹配准则实现理想数组和待修正数组的匹配块，SSD匹配准则为：
Figure FDA0004035299030000032
S3：在修正数组边缘数据点时，边缘数据会处于一种动变过程中，所以必须在边缘进行相应的更新，这样修正数组变为了理想数组，置信度改变了，那么数据点置信度更新方式为：
Figure FDA0004035299030000033
S4：不断重复S1到S3，直到整个数据所有待修正数组n为空为止，那么输出修正后的数据挖掘方向。
6.根据权利要求1所述的一种基于云计算的数据挖掘实现方法，其特征在于，在所述步骤七中，在进行数据挖掘时，取其中相近点的高程变化进行比较设置一个阈值，采用三角渐进数据挖掘法，当相近点的高程变化大于此阈值时，就可以大致判断此点为非地面点，移动窗口法利用已有参数的拟合曲面并将地表视为连续的变化曲面，将该拟合曲面在地表每块区域按照设定的移动距离与相差阈值进行扫描比对，而根据微分原理，当拟合曲面不断缩小到一定程度时，便可用平面近似拟合该局部区域。
7.根据权利要求6所述的一种基于云计算的数据挖掘实现方法，其特征在于，采用三角渐进数据挖掘法是利用图区最低点以及其周围一定区域范围内的地面建立最初的三角网，并通过参数阈值判断其周围激光点是否加入下一步精细化DEM的构建，随后再对此类点进行验证，最后获得最终经过加密处理的三角网数据。
8.根据权利要求1所述的一种基于云计算的数据挖掘实现方法，其特征在于，在所述步骤七中，接收传送的三角网数据并传送至传感器的信号处理装置进行处理。
CN202310003826.2A 2023-01-03 2023-01-03 一种基于云计算的数据挖掘实现方法 Pending CN116089784A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310003826.2A CN116089784A (zh) 2023-01-03 2023-01-03 一种基于云计算的数据挖掘实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310003826.2A CN116089784A (zh) 2023-01-03 2023-01-03 一种基于云计算的数据挖掘实现方法

Publications (1)

Publication Number Publication Date
CN116089784A true CN116089784A (zh) 2023-05-09

Family

ID=86205698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310003826.2A Pending CN116089784A (zh) 2023-01-03 2023-01-03 一种基于云计算的数据挖掘实现方法

Country Status (1)

Country Link
CN (1) CN116089784A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117035232A (zh) * 2023-08-08 2023-11-10 广东家祥智能科技有限公司 一种基于大数据平台的智慧城市数据处理方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117035232A (zh) * 2023-08-08 2023-11-10 广东家祥智能科技有限公司 一种基于大数据平台的智慧城市数据处理方法及系统

Similar Documents

Publication Publication Date Title
CN106646645B (zh) 一种重力正演加速方法
CN101750606B (zh) 自动和稳健的卫星遥感影像正射校正方法
CN111044041B (zh) 基于重力场三维特征的重力辅助惯性导航适配区选取方法
CN111369436A (zh) 一种顾及多元地形特征的机载LiDAR点云抽稀方法
CN105388513B (zh) 地震采集观测系统的建立方法和装置
CN116089784A (zh) 一种基于云计算的数据挖掘实现方法
US20080270031A1 (en) Geospatial modeling system providing data thinning of geospatial data points and related methods
CN115718305A (zh) 一种激光点云公路断面处理方法、装置、设备及存储介质
CN112669458A (zh) 基于激光点云进行地面滤波的方法、设备和程序载体
CN113835078B (zh) 基于局部三维栅格的信号级联合检测方法及装置
CN109444973B (zh) 一种球坐标系下重力正演加速方法
CN112509042A (zh) 一种基于星上控制点库的实时定位方法、装置及存储介质
CN112184900B (zh) 高程数据的确定方法、装置及存储介质
CN109405834B (zh) 一种基于数字地图的遮蔽角实时解算方法以及系统
CN117078756A (zh) 一种基于场景检索匹配的机载对地目标精确定位方法
CN111880236A (zh) 一种构建多层等效源模型计算化极与数据类型转换的方法
CN111474574A (zh) 基于压缩感知的地震采集观测系统的生成方法及装置
CN115760954A (zh) 基于点云数据快速计算复杂表面表面积的方法
CN110765130B (zh) 一种分布式环境下基于Ripley’s K函数的时空POI数据点模式分析方法
CN116028787A (zh) 数据处理方法及装置、设备、存储介质
CN113537308A (zh) 基于本地化差分隐私的两阶段k-means聚类处理系统及方法
CN108810840B (zh) 协作定位中基于efim和距离协作的节点选择方法
CN113496550B (zh) 一种dsm的计算方法、装置、计算机设备及存储介质
CN117952322B (zh) 一种基于bim技术的工程管理系统
CN113254855B (zh) 一种基于地形的发电增益计算方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination