CN114282088A - 一种智慧国土云平台信息处理装置 - Google Patents

Abstract

本发明公开了一种智慧国土云平台信息处理装置，包括，抓取、预处理智慧国土云平台信息，得到样本标签；判断所述样本标签是否存在越限，计算所述样本标签相邻采样点的差值，得到采样差值；根据时间戳有效值计算相邻采样点差值的理论值，得到理论差值；比较所述采样差值和所述理论差值的大小，对所述样本标签进行划分；根据划分结果进行分类存储。本发明通过信息是否存在越限的判断，初步剔除错误数据，结合差值的对比和划分，进一步精准提高信息的有效管理，将多余重复信息、过时信息以及有效信息、实时信息均进行有效存储和删除，降低存储容量，提高云平台信息管理利用率和针对性。

Description

一种智慧国土云平台信息处理装置

技术领域

本发明涉及云数据处理的技术领域，尤其涉及一种智慧国土云平台信息处理装置。

背景技术

自2008年智慧地球概念提出后，世界各国给予了广泛关注，并聚焦经济发展最活跃、信息化程度最高、人口居住最集中、社会管理难度最大的城市区域，先后启动了智慧城市相关计划；我国也高度重视智慧城市建设，智慧城市是运用物联网、云计算、大数据、地理信息集成等新一代信息技术，促进城市规划、建设、管理和服务智慧化的新理念和新模式；建设智慧城市，对加快工业化、信息化、城镇化、农业现代化融合，提升城市可持续发展能力具有重要意义。

随着科技的发展，国土资源面临着来自不同行业的需求压力，而当今国土资源管理却存在资料图形存放分散，以纸质、电子等多种形式存储，数据重复生产，更新维护成本高，数据坐标系统和比例尺不统一的数据综合利用困难等一系列问题，国土资源数字化管理变得愈发重要。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。

为解决上述技术问题，本发明提供一种智慧国土云平台信息处理装置，包括，数据模块，用于抓取、预处理智慧国土云平台信息，得到样本标签；

判断模块，用于判断所述样本标签是否存在越限，计算所述样本标签相邻采样点的差值，得到采样差值；

计算模块，用于根据时间戳有效值计算相邻采样点差值的理论值，得到理论差值；

比较模块，用于比较所述采样差值和所述理论差值的大小，对所述样本标签进行划分；

处理模块，用于根据划分结果进行分类存储。

作为本发明所述的一种智慧国土云平台信息处理装置的一种优选方案，其中：抓取所述智慧国土云平台信息包括，利用网络爬虫工具对智慧国土云平台中存储的相关信息进行抓取，获得所述智慧国土云平台信息；所述网络爬虫工具包括，引擎、调度器、下载器、爬虫、管道、下载中间件和爬虫中间件。

作为本发明所述的一种智慧国土云平台信息处理装置的一种优选方案，其中：预处理所述智慧国土云平台信息包括，对所述智慧国土云平台信息进行清洗和噪声过滤。

作为本发明所述的一种智慧国土云平台信息处理装置的一种优选方案，其中：得到所述样本标签包括，将预处理后的所述智慧国土云平台信息按照标签形式进行转换。

作为本发明所述的一种智慧国土云平台信息处理装置的一种优选方案，其中：所述判断包括，若所述智慧国土云平台信息由上层数据往底层数据跌落，则所述样本标签特征强度变化率越限，所述样本标签的层空间震荡。

作为本发明所述的一种智慧国土云平台信息处理装置的一种优选方案，其中：得到所述采样差值包括，

A＝D_ref(x_i，y_i)-D_des(x_i，y_i)

其中，A：采样差值，即样本标签一次差分序列，D_ref(x_i，y_i)：当前采样点坐标， D_des(x_i，y_i)：相邻采样点坐标，i＝0......n。

作为本发明所述的一种智慧国土云平台信息处理装置的一种优选方案，其中：得到所述理论差值包括，

其中，R：时间戳有效值，

时间戳有效值对应样本标签所在的峰面积，B：理论差值，ω：容错率。

作为本发明所述的一种智慧国土云平台信息处理装置的一种优选方案，其中：所述划分包括，若所述采样差值大于所述理论差值，则所述采样差值所在的采样点存储的数据为问题数据；若所述采样差值小于所述理论差值，则所述采样差值所在的采样点存储的数据为正常数据；若所述采样差值等于所述理论差值，则计算错误，忽略，重新进行计算；剔除所述问题数据，只存储所述正常数据。

本发明还提供一种智慧国土云平台信息处理方法，包括，

抓取、预处理智慧国土云平台信息，得到样本标签；

判断所述样本标签是否存在越限，计算所述样本标签相邻采样点的差值，得到采样差值；

根据时间戳有效值计算相邻采样点差值的理论值，得到理论差值；

比较所述采样差值和所述理论差值的大小，对所述样本标签进行划分；

根据划分结果进行分类存储。

本发明还提供一种智慧国土云平台信息处理设备，包括：存储器、处理器以及计算机程序，所述计算机程序存储在所述存储器中，所述处理器运行所述计算机程序执行上述的方法。

本发明的有益效果：本发明通过信息是否存在越限的判断，初步剔除错误数据，结合差值的对比和划分，进一步精准提高信息的有效管理，将多余重复信息、过时信息以及有效信息、实时信息均进行有效存储和删除，降低存储容量，提高云平台信息管理利用率和针对性。

附图说明

图1为本发明一个实施例所述的一种流程示意图；

图2为本发明一个实施例所述的一种数据处理之前的示意图；

图3为本发明一个实施例所述的一种数据处理之后的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。

应当理解，在本发明中，“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”，表示B与A相关联，根据A可以确定B。根据A确定 B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。A与B的匹配，是A与B的相似度大于或等于预设的阈值。

取决于语境，如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

实施例1

参照图1，为本发明的第一个实施例提供了一种智慧国土云平台信息处理装置的处理流程图，具体包括：

数据模块，用于抓取、预处理智慧国土云平台信息，得到样本标签。其中需要说明的是，抓取智慧国土云平台信息包括：

利用网络爬虫工具对智慧国土云平台中存储的相关信息进行抓取，获得智慧国土云平台信息；

网络爬虫工具包括，引擎、调度器、下载器、爬虫、管道、下载中间件和爬虫中间件；

Scrapy Engine(引擎)：负责Spider、ItemPipeline、Downloader、Scheduler 中间的通讯，信号、数据传递；

Scheduler(调度器)：负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列、入队，当引擎需要时，交还给引擎；

Downloader(下载器)：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider 来处理；

Spider(爬虫)：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)；

Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理(详细分析、过滤、存储等)的地方；

Downloader Middlewares(下载中间件)：一个可以自定义扩展下载功能的组件；

Spider Middlewares(Spider中间件)：一个可以自定扩展和操作引擎和Spider中间通信的功能组件。

进一步的，预处理智慧国土云平台信息包括，对智慧国土云平台信息进行清洗和噪声过滤；

将预处理后的智慧国土云平台信息按照标签形式进行转换，得到样本标签。

判断模块，用于判断样本标签是否存在越限，计算样本标签相邻采样点的差值，得到采样差值。本步骤需要说明的是，判断包括：

若智慧国土云平台信息由上层数据往底层数据跌落，则样本标签特征强度变化率越限，样本标签的层空间震荡，如下，

其中，u：处理后的样本标签幅值，u₀：处理前的样本标签幅值，ε：越限，设置为0.5；

具体的，得到采样差值包括：

A＝D_ref(x_i，y_i)-D_des(x_i，y_i)

其中，A：采样差值，即样本标签一次差分序列，D_ref(x_i，y_i)：当前采样点坐标， D_des(x_i，y_i)：相邻采样点坐标，i＝0......n。

计算模块，用于根据时间戳有效值计算相邻采样点差值的理论值，得到理论差值。其中还需要说明的是，得到理论差值包括：

其中，R：时间戳有效值，

时间戳有效值对应样本标签所在的峰面积，B：理论差值，ω：容错率。

处理模块，用于比较采样差值和理论差值的大小，对样本标签进行划分。本步骤还需要说明的是，划分包括：

若采样差值大于理论差值，则采样差值所在的采样点存储的数据为问题数据；

若采样差值小于理论差值，则采样差值所在的采样点存储的数据为正常数据；

若采样差值等于理论差值，则计算错误，忽略，重新进行计算；

剔除问题数据，只存储正常数据。

参照图2，为未经过本实施例所提供方法处理的智慧国土云平台信息离散点分布，根据图2的示意，能够直观的看出，点与点之间分布过于密切，形成一团，密密麻麻，无法清楚的给出准确的点分布，容易造成误差。

将本实施例所提供的方法通过matlb软件进行编码，得到运行程序，再输入如图2所示采用的智慧国土云平台信息，以此验证本发明方法所具有的显著技术效果。部分运行代码示意如下：

参照图3，为经过本实施例所提供方法处理的智慧国土云平台信息离散点分布，根据图3的示意，能够直观的看出，消除了多余重复的离散点，只保留有用信息(即剩余的点)，各点之间均留有空隙，分布清晰，且数量减少，即便于管理和查找。

优选的是，本发明通过信息是否存在越限的判断，初步剔除错误数据，结合差值的对比和划分，进一步精准提高信息的有效管理，将多余重复信息、过时信息以及有效信息、实时信息均进行有效存储和删除，降低存储容量，提高云平台信息管理利用率和针对性。

本实施例还提供一种智慧国土云平台信息处理方法，包括，

抓取、预处理智慧国土云平台信息，得到样本标签；

判断所述样本标签是否存在越限，计算所述样本标签相邻采样点的差值，得到采样差值；

根据时间戳有效值计算相邻采样点差值的理论值，得到理论差值；

比较所述采样差值和所述理论差值的大小，对所述样本标签进行划分；

根据划分结果进行分类存储。

本实施例的方法对应地可用于执行上述装置实施例中的步骤，其实现原理和技术效果类似，此处不再赘述。

本实施例还提供一种智慧国土云平台信息处理设备，其包括存储器、处理器以及计算机程序，计算机程序存储在存储器中，处理器运行计算机程序执行用于实现上述的各种实施方式提供的方法。

本实施例还提供一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序被处理器执行时用于实现上述的各种实施方式提供的方法。

其中，可读存储介质可以是计算机存储介质，也可以是通信介质，通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质，计算机存储介质可以是通用或专用计算机能够存取的任何可用介质；例如，可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。

当然，可读存储介质也可以是处理器的组成部分，处理器和可读存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中，另外，该ASIC可以位于用户设备中，当然，处理器和可读存储介质也可以作为分立组件存在于通信设备中，可读存储介质可以是只读存储器(ROM)、随机存取存储器 (RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本发明还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中，设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM 等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种智慧国土云平台信息处理装置，其特征在于：包括，

数据模块，用于抓取、预处理智慧国土云平台信息，得到样本标签；

判断模块，用于判断所述样本标签是否存在越限，计算所述样本标签相邻采样点的差值，得到采样差值；

计算模块，用于根据时间戳有效值计算相邻采样点差值的理论值，得到理论差值；

比较模块，用于比较所述采样差值和所述理论差值的大小，对所述样本标签进行划分；

处理模块，用于根据划分结果进行分类存储。

2.根据权利要求1所述的一种智慧国土云平台信息处理装置，其特征在于：抓取所述智慧国土云平台信息包括，

利用网络爬虫工具对智慧国土云平台中存储的相关信息进行抓取，获得所述智慧国土云平台信息；

所述网络爬虫工具包括，引擎、调度器、下载器、爬虫、管道、下载中间件和爬虫中间件。

3.根据权利要求1或2所述的一种智慧国土云平台信息处理装置，其特征在于：预处理所述智慧国土云平台信息包括，对所述智慧国土云平台信息进行清洗和噪声过滤。

4.根据权利要求3所述的一种智慧国土云平台信息处理装置，其特征在于：得到所述样本标签包括，将预处理后的所述智慧国土云平台信息按照标签形式进行转换。

5.根据权利要求4所述的一种智慧国土云平台信息处理装置，其特征在于：所述判断包括，若所述智慧国土云平台信息由上层数据往底层数据跌落，则所述样本标签特征强度变化率越限，所述样本标签的层空间震荡。

6.根据权利要求5所述的一种智慧国土云平台信息处理装置，其特征在于：得到所述采样差值包括，

A＝D_ref(x_i，y_i)-D_des(x_i，y_i)

其中，A：采样差值，即样本标签一次差分序列，D_ref(x_i，y_i)：当前采样点坐标，D_des(x_i，y_i)：相邻采样点坐标，i＝0......n。

7.根据权利要求6所述的一种智慧国土云平台信息处理装置，其特征在于：得到所述理论差值包括，

其中，R：时间戳有效值，

时间戳有效值对应样本标签所在的峰面积，B：理论差值，ω：容错率。

8.根据权利要求7所述的一种智慧国土云平台信息处理装置，其特征在于：所述划分包括，

若所述采样差值大于所述理论差值，则所述采样差值所在的采样点存储的数据为问题数据；

若所述采样差值小于所述理论差值，则所述采样差值所在的采样点存储的数据为正常数据；

若所述采样差值等于所述理论差值，则计算错误，忽略，重新进行计算；

剔除所述问题数据，只存储所述正常数据。

9.一种智慧国土云平台信息处理方法，其特征在于：包括，

抓取、预处理智慧国土云平台信息，得到样本标签；

判断所述样本标签是否存在越限，计算所述样本标签相邻采样点的差值，得到采样差值；

根据时间戳有效值计算相邻采样点差值的理论值，得到理论差值；

比较所述采样差值和所述理论差值的大小，对所述样本标签进行划分；

根据划分结果进行分类存储。

10.一种智慧国土云平台信息处理设备，其特征在于，包括：存储器、处理器以及计算机程序，所述计算机程序存储在所述存储器中，所述处理器运行所述计算机程序执行权利要求9所述的方法。

Images