CN104143006B - 一种城市数据处理方法及装置 - Google Patents

Abstract

本发明公开了一种城市数据处理方法，该方法包括：录入待处理的城市数据，对待处理城市数据分类生成多个源文件；将待处理的数据存储到多个预置的存储节点中；对城市数据进行标准化处理，计算并输出城市功能联系指数以及显示该城市所处理年度范围的城市功能联系指数变化趋势图；对带有特定标识的数据进行空间自相关计算并显示城市功能联系指数相关度的Moran散点图；将处理后的数据以数据块的形式储存到信息库服务器。本发明同时公开了城市数据处理的装置。采用本发明确保城市数据处理的准确性，从而提供给城市地理学和经济地理学研究者一个快速、便捷、自动化与智能化的城市数据处理方法与装置。

Description

一种城市数据处理方法及装置

技术领域

本发明涉及一种城市数据处理方法及装置。

背景技术

随着社会信息化的发展，越来越多的信息以数据的形式利用网络接收和处理；人们对移动网络数据获取以及数据处理的内在需求急剧上升，越来越多的人希望在移动的过程中高速接入互联网，获取亟需的信息，完成自己想做的事情，大量的数据需要进行处理，以便于根据处理后的数据对业务状态进行监控和检测。数据处理是指对接收到的数据进行整合，获得整合后的数据中内容的变化趋势等，以体现相应数据所对应的运行状态。城市与城市、城市与区域之间的功能联系已成为城市地理学和经济地理学研究的核心论题。城市功能联系是城市内部系统与区域相互作用的机制，主要体现在城市集聚与辐射等城市与外界联系的数量指标上。中心城市对外服务的职能特性与功能强弱对区域空间结构模式的形成具有决定作用。而产业结构差异和城市等级规模是引起区域城市间功能联系变化的基本动力，并通过交通流、信息流和资金流等城市要素流得以体现。因此，快速，自动化处理城市数据并将其通过客户所输入的查询指令返回给客户处理好的数据信息，对于精确分析城市与城市、城市与区域潜在的依存关系具有非常重要的意义，有助于厘清区域空间发展脉络，对于深入理解区域空间结构的形成与发展演化过程具有重要意义。

发明内容

本发明提供了一种城市数据处理方法和装置。快速、自动化处理城市数据并将其通过客户所输入的查询指令返回给客户已处理的数据信息，通过数据标准化管理模块与数据分析模块对城市数据进行了处理，进而通过信息数据库服务器传输给客户端，使得用户可以准确、快速地获取所需城市的数据。

本发明提供的技术方案为：

一种城市数据处理方法，其特征在于，该方法包括步骤：

步骤1、录入待处理的城市数据，对待处理城市数据按照城市数据类型进行分类生成若干个包含城市信息的多个源文件，所述城市数据包括城市区域信息流数据，资金流数据和交通流数据，每一个包含城市信息的源文件与一个城市对应；

步骤2、将处理的数据存储到多个预置的存储节点中，所述存储节点的描述信息与城市数据类型对应并形成映射关系；

步骤3、对不同存储节点中的城市数据进行标准化处理，计算并输出城市功能联系指数以及显示该城市所处理年度范围的城市功能联系指数变化趋势图，所述的城市功能指数计算主要根据城市相关数据信息流、资金流和交通流的指标；

步骤4、从含有特定标识的城市功能联系指数提取所述特定标识，对带有特定标识的数据进行空间自相关计算并显示所需要年份的城市功能联系指数相关度的Moran散点图；

步骤5、将处理后的城市数据以数据块的形式储存到城市信息库服务器，所述的城市信息库服务器通过有线或者无线通信方式连接到客户端，根据客户端的请求查询所请求的城市向客户端返回处理的城市数据。

优选的是，所述的城市数据处理方法中，所述的录入待处理的城市数据的步骤包括：对通过双向或多向的流动的城市数据进行数据统计，录入待处理的城市数据，所述城市数据包括城市区域信息流数据，资金流数据和交通流数据，所述的城市数据与所对应城市形成映射关系。

优选的是，所述的城市数据处理方法中，所述将处理的数据存储到多个预置的存储节点中的步骤包括：接收存储处理请求，对存储处理请求中若干个包含城市信息的多个源文件存储到对应所述城市数据类型的多个预置的存储节点。

优选的是，所述的城市数据处理方法中，所述对存储模块中不同存储节点中的城市数据进行标准化处理，得到城市功能联系指数具体为：

采用极值法对对存储模块中不同存储节点中的信息流、交通流和资金流数据进行标准化处理得到的城市功能指数；

城市功能指数计算公式表示为：

(i＝1，2，...，8；；j＝1，2，...，n；z＝1，2，3)

式中，f_ij为j城市i项指标的极值法标准化值；Z_ij为j城市i项指标的统计值；Z_imax为i项指标在全部年份中的最大值；g_j1为j城市资金流标标准化值；g_j2城市交通流标标准化值；g_j3城市信息流标标准化值；f_zjmax为i项指标在全部年份中的最大标准化值；n是城市数量，F为j城市全部年份的功能联系指数。

优选的是，所述的城市数据处理方法中，所述从含有特定标识的城市功能联系指数提取所述特定标识，对带有特定标识的数据进行空间自相关计算具体包括：从含有特定标识的城市功能联系指数提取所述特定标识，所述特定标识为所对应的城市，选取相邻的城市区域的数据进行全局空间自相关计算，所述的相邻是以城市行政辖区是否相邻作为邻接判断标准。

Moran’s I计算公式为：

式中，n是城市数量；X_i和X_j分别是城市i和j的功能联系强度指数；W_ij是空间权重矩阵，1表示城市i和j相邻，0表示城市不相邻。

优选的是，所述的城市数据处理方法中，所述无线通讯方式，包括无线局域网Wi-Fi、无线分组交换技术GPRS、第三代移动通信技术3G和第四代移动通信技术4G。

优选的是，所述的城市数据处理方法中，所述收录待处理的数据来源于城市统计年鉴。

本发明同时提供了城市数据处理装置，包括：

数据录入模块，用于录入待处理的数据，对待处理数据按照数据类型进行分类生成若干个包含城市信息的多个源文件；

元数据存储模块，用于将处理的数据存储到多个预置的存储节点中，城市数据与储存该消息的储存节点形成映射关系；

数据标准化管理模块：负责对存储模块中不同存储节点中的城市数据进行标准化处理，输出城市功能联系指数以及显示该城市所处理年度范围的城市功能联系指数变化趋势图。

数据分析模块，用于从输出的含有特定标识的城市功能联系指数提取所述特定标识，对带有特定标识的数据进行局部空间自相关计算并显示城市功能联系指数的Moran散点图。

信息数据库服务器，用于储存完成处理的城市信息，并根据客户端的请求查询所请求的城市，通过有线或者无线通信方式向客户端返回数据，用于响应用户操作。

优选的是，所述的城市数据处理装置中，所述存储模块包括一个或者多个存储节点模块。

本发明的有益效果在于：

本发明针对目前关于城市数据处理存在的技术问题，设计了一种城市数据处理方法与装置。通过数据录入模块使待处理数据生成多个源文件，预设的不同存储节点对数据进行分类存储，实现了对城市数据的信息分类和管理，通过数据标准化处理和空间自相关计算，避免了处理数据的片面性，更易为大区域，多城市间的功能研究提供数据支持，通过客户端输入查询指令，数据信息数据库服务器可快速、准确地将所对应的城市数据结果传输给客户端，使得用户可以准确、快速地获取所需城市的数据。

附图说明

图1为本发明所述的城市数据处理方法的流程图。

图2为本发明所述的城市数据处理装置的结构示意图。

图3为本发明所述的城市数据处理装置中信息数据库服务器的结构示意图。

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

如图1所示，一种城市数据处理方法，包括：

步骤100、录入待处理的城市数据，对待处理城市数据按照城市数据类型进行分类生成若干个包含城市信息的多个源文件，所述城市数据包括城市区域信息流数据，资金流数据和交通流数据，每一个包含城市信息的源文件与一个城市对应；

其中，所述的录入待处理的城市数据的步骤包括：对通过双向或多向的流动的城市数据进行数据统计，录入待处理的城市数据，所述城市数据包括城市区域信息流数据，资金流数据和交通流数据，所述的城市数据与所对应城市形成映射关系。

步骤101、将处理的包含城市信息的多个源文件以及城市数据与所对应城市形成的映射关系存储到多个预置的存储节点中，所述存储节点的描述信息与城市数据类型对应并形成映射关系；

其中，所述将处理的数据存储到多个预置的存储节点中的步骤包括：接收存储处理请求，对存储处理请求中若干个包含城市信息的多个源文件存储到对应所述城市数据类型的多个预置的存储节点，同时将城市数据与所对应城市形成映射关系也存储到多个预置的存储节点中，其中，对个存储节点还可以动态调整，如果发现储存节点不够用，通过修改存储列表中的节点信息可以动态增加存储节点，或者，如果所述存储节点中的城市数据已经处理完毕，存入到相应的信息数据库服务器，则通过修改存储列表中的节点信息还可以动态删除节点。

步骤102、对不同存储节点中的城市数据进行标准化处理，计算并输出城市功能联系指数以及显示该城市所处理年度范围的城市功能联系指数变化趋势图，所述的城市功能指数计算主要根据城市相关数据信息流、资金流和交通流的指标；

其中，数据进行标准化处理，得到城市功能联系指数具体为：

采用极值法对对存储模块中不同存储节点中的信息流、交通流和资金流数据进行标准化处理得到的城市功能指数；

城市功能指数计算公式表示为：

(i＝1，2，...，8；；j＝1，2，...，n；z＝1，2，3)

式中，f_ij为j城市i项指标的极值法标准化值；Z_ij为j城市i项指标的统计值；Z_imax为i项指标在全部年份中的最大值；g_j1为j城市资金流标标准化值；g_j2城市交通流标标准化值；g_j3城市信息流标标准化值；f_zjmax为i项指标在全部年份中的最大标准化值；n是城市数量，F为j城市全部年份的功能联系指数；

其中，城市功能联系指数变化趋势图是以年度为横坐标，城市功能联系指数为纵坐标而得到的变化曲线图；

步骤103、从含有特定标识的城市功能联系指数提取所述特定标识，对带有特定标识的数据进行空间自相关计算并显示所需要年份的城市功能联系指数相关度的Moran散点图；

其中，所述从含有特定标识的城市功能联系指数提取所述特定标识，对带有特定标识的数据进行空间自相关计算具体包括：从含有特定标识的城市功能联系指数提取所述特定标识，所述特定标识为所对应的城市，选取相邻的城市区域的数据进行全局空间自相关计算，所述的相邻是以城市行政辖区是否相邻作为邻接判断标准。

Moran’s I计算公式为：

式中，n是城市数量；X_i和X_j分别是城市i和j的功能联系强度指数；W_ij是空间权重矩阵，1表示城市i和j相邻，0表示城市不相邻。

其中，城市功能联系指数相关度的Moran散点图是以对应城市的Moran’s I系数分布范围象限图，其值处于-1到1之间，数值范围为正数，则代表城市点处于一三象限，相反，数值范围为负数，则代表城市点处于二四象限，以所研究对像，比如以东北地区地级市及以上城市数据为数据处理对象，得出数据处理结果，经统一处理即得出东北地区城市功能联系指数相关度的Moran散点图；

步骤104、将处理后的城市数据以数据块的形式储存到城市信息库服务器，所述的城市信息库服务器通过有线或者无线通信方式连接到客户端，根据客户端的请求查询所请求的城市向客户端返回处理的城市数据。

其中，以数据块的形式储存具体包括：以数据块的形式存入包含文件头的本地文件，将与数据块对应的数据块描述信息依次存入文件头内，并按照数据块的描述信息包含的城市信息存入本地文件相对应的位置，本地文件的描述信息也与城市信息相对应，可以避免数据丢失，保证了数据的完整性，以便准确查询。

所述的城市数据处理方法中，所述无线通讯方式，包括无线局域网Wi-Fi、无线分组交换技术GPRS、第三代移动通信技术3G和第四代移动通信技术4G。

所述的城市数据处理方法中，所述收录待处理的数据来源于城市统计年鉴。

基于同一发明构思，本发明还提供了一种城市数据处理装置，如图2所示，包括：

数据录入模块200，用于录入待处理的数据，对待处理数据按照数据类型进行分类生成若干个包含城市信息的多个源文件；

元数据存储模块201，用于将处理的数据存储到多个预置的存储节点中，城市数据与储存该消息的储存节点形成映射关系；

数据标准化管理模块202：负责对存储模块中不同存储节点中的城市数据进行标准化处理，输出城市功能联系指数以及显示该城市所处理年度范围的城市功能联系指数变化趋势图。

数据分析模块203，用于从输出的含有特定标识的城市功能联系指数提取所述特定标识，对带有特定标识的数据进行局部空间自相关计算并显示城市功能联系指数的Moran散点图。

信息数据库服务器204，用于储存完成处理的城市信息，并根据客户端205的请求查询所请求的城市，通过有线或者无线通信方式向客户端返回数据，用于响应用户操作。

所述的城市数据处理装置中，所述存储模块包括一个或者多个存储节点模块。

所述的信息数据库服务器进一步包括：如图3所示，通信单元300，向客户端发送信息；数据收集单元301，收集数据标准化管理模块与数据分析模块输出的数据处理结果；数据搜索单元302，对数据储存单元304所储存的数据且与客户端输入信息相匹配的数据内容进行搜索；数据储存单元304，对数据收集单元收集的数据进行分类储存。

实现本申请各实施例的数据处理设备可以使用Linux操作系统，生成的源文件通过网站服务器发送至数据处理设备，通过本申请中的数据处理设备对接收到的批量信息进行处理后，可将处理后的信息存储在对象信息数据库服务器中，如图2所示，也可以存储在其他数据库中，或是直接存储在信息处理设备本地，信息数据库服务器后续可以根据用户的请求指令向用户的客户端展示存储的处理后的数据。

通过数据录入模块使待处理数据生成多个源文件，预设的不同存储节点对数据进行分类存储，实现了对城市数据的信息分类和管理，通过数据标准化处理和空间自相关计算，避免了处理数据的片面性，更易为大区域，多城市间的功能研究提供数据支持，通过客户端输入查询指令，数据信息数据库服务器可快速、准确地将所对应的城市数据结果传输给客户端，使得用户可以准确、快速地获取所需城市的数据。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

Claims (8)

1.一种城市数据处理方法，其特征在于，该方法包括步骤：

步骤1、录入待处理的城市数据，对待处理城市数据按照城市数据类型进行分类生成若干个包含城市信息的多个源文件，所述城市数据包括城市区域信息流数据，资金流数据和交通流数据，每一个包含城市信息的源文件与一个城市对应；

步骤2、将处理的数据存储到多个预置的存储节点中，所述存储节点的描述信息与城市数据类型对应并形成映射关系；

步骤3、对不同存储节点中的城市数据进行标准化处理，计算并输出城市功能联系指数以及显示该城市所处理年度范围的城市功能联系指数变化趋势图，所述的城市功能联系指数计算根据城市相关数据信息流、资金流和交通流的指标，具体计算方法为：采用极值法对对存储模块中不同存储节点中的信息流、交通流和资金流数据进行标准化处理得到的城市功能联系指数；

城市功能联系指数计算公式表示为：

(i＝1，2，…，8；j＝1，2，…，n；z＝1，2，3)

式中，f_ij为j城市i项指标的极值法标准化值；Z_ij为j城市i项指标的统计值；Z_imax为i项指标在全部年份中的最大值；g_j1为j城市资金流标标准化值；g_j2城市交通流标标准化值；g_j3城市信息流标标准化值；f_zjmax为i项指标在全部年份中的最大标准化值；n为城市数量，F为j城市全部年份的功能联系指数；

步骤4、从含有特定标识的城市功能联系指数提取所述特定标识，对带有特定标识的数据进行空间自相关计算并显示所需要年份的城市功能联系指数相关度的Moran散点图；

步骤5、将处理后的城市数据以数据块的形式储存到城市信息库服务器， 所述的城市信息库服务器通过有线或者无线通信方式连接到客户端，根据客户端的请求查询所请求的城市向客户端返回处理的城市数据。

2.如权利要求1所述的城市数据处理方法，其特征在于，所述的录入待处理的城市数据的步骤包括：

对通过双向或多向的流动的城市数据进行数据统计，录入待处理的城市数据，所述城市数据包括城市区域信息流数据，资金流数据和交通流数据，所述的城市数据与所对应城市形成映射关系。

3.如权利要求1所述的城市数据处理方法，其特征在于，所述将处理的数据存储到多个预置的存储节点中的步骤包括：

接收存储处理请求，对存储处理请求中若干个包含城市信息的多个源文件存储到对应所述城市数据类型的多个预置的存储节点。

4.如权利要求1所述的城市数据处理方法，其特征在于，从含有特定标识的城市功能联系指数提取所述特定标识，对带有特定标识的数据进行空间自相关计算具体包括：从含有特定标识的城市功能联系指数提取所述特定标识，所述特定标识为所对应的城市，选取相邻的城市区域的数据进行全局空间自相关计算，所述的相邻是以城市行政辖区是否相邻作为邻接判断标准，

Moran’s I计算公式为：

式中，n是城市数量；X_i和X_j分别是城市i和j的功能联系强度指数；W_ij是空间权重矩阵，1表示城市i和j相邻，0表示城市不相邻。

5.如权利要求1所述的城市数据处理方法，其特征在于，所述无线通信方式，包括无线局域网Wi-Fi、无线分组交换技术GPRS、第三代移动通信技术3G和第四代移动通信技术4G。

6.如权利要求1所述的城市数据处理方法，其特征在于，所述待处理的城市数据来源于城市统计年鉴。

7.一种城市数据处理装置，其特征在于，包括：

数据录入模块，用于录入待处理的数据，对待处理数据按照数据类型进行分类生成若干个包含城市信息的多个源文件；

元数据存储模块，用于将处理的数据存储到多个预置的存储节点中，城市数据与储存该数据的储存节点形成映射关系；

数据标准化管理模块：负责对存储模块中不同存储节点中的城市数据进行标准化处理，输出城市功能联系指数以及显示该城市所处理年度范围的城市功能联系指数变化趋势图；

数据分析模块，用于从输出的含有特定标识的城市功能联系指数提取所述特定标识，对带有特定标识的数据进行局部空间自相关计算并显示城市功能联系指数的Moran散点图；

信息数据库服务器，用于储存完成处理的城市信息，并根据客户端的请求查询所请求的城市，通过有线或者无线通信方式向客户端返回数据，用于响应用户操作。

8.如权利要求7所述的城市数据处理装置，其特征在于，所述存储模块包括一个或者多个存储节点模块。