CN111598759B - 一种城市资源整合系统及城市资源整合方法 - Google Patents

Abstract

本发明包括一种城市资源整合系统，包括多个数据接入区、一个数据缓存区和一个智能处理器，每个数据接入区的终端均设有数据判断模块，所述数据缓存区包括一级缓存库和二级缓存库，所述所述智能处理器的输出端与所述数据判断模块的输入端相连，每个数据判断模块通过第一数据传输端和第二数据传输端分别与所述一级缓存库和二级缓存库的输入端相连，本发明还包括一种城市资源整合方法，能够将数据分流成两大路线，避免了之前接入的数据源太多而拥堵在数据缓存区，继而造成新的数据源无法接入数据接入区而丢失的情况，本发明保证了在数据源激增的情况下数据传输仍然能够保持通畅，系统自身能够保持正常的吞吐量，系统运行效率不受影响。

Description

一种城市资源整合系统及城市资源整合方法

技术领域

本发明涉及城市资源整合技术领域，具体涉及到一种城市资源整合系统及城市资源整合方法。

背景技术

城市信息资源整合与共享是在数字城市信息资源极大丰富的背景下，针对“信息孤岛”和“资源过载”问题而提出的重要解决方案。它将资源视为一个系统，依据一定的需要和要求，通过各种技术把不同来源和不同通信协议的信息体系有机的融合在一起，使不同类型、不同格式的信息资源实现无缝连接，在实现信息资源结构优化和合理布局的基础上，通过有效的共享机制，最终形成一个具有集成化服务功能的跨平台、跨系统、跨数据库、跨内容的新型信息资源服务体系统。它是网络环境下数字城市信息服务向纵深发展的结果，也是当前数字城市集成化信息服务的主流模式，不仅能实现城市信息资源的合理配置、开放共享和充分利用，保证资源效益最大化，也将为城市的整体、可持续发展提供科学决策的依据，也能够为经济建设、社会发展和广大人民群众生活服务的提高提供有力的保障和支持。

一般的城市资源整合系统及资源整合方法是这样的：数据接入区分布在各行业的业务部门，接入城市中的各类数据源，各类数据源再陆续地缓存到数据缓存区，数据缓存区对各类数据源的数据增量按照预设的统一的标准格式进行清洗、映射和转换，得到标准数据，然后将标准数据分类存在标准数据资源池的不同类型存储区域，接着在标准数据资源池的基础上，按照城市基础要素对标准数据资源池的数据进行关联和整合，构建基础要素库，并在基础要素库的基础上根据业务需求建立业务专题库。

但本申请发明人在实现本发明实施例的技术方案的过程中，发现上述技术至少存在如下技术问题：

当城市遇上特殊的购物节、节假日或者特殊时期的消费政策引导，导致各业务部门的业务量在这几天内大大激增，从而导致数据接入区接入的数据源的体量大大增加，但是数据缓存区中只有一个数据缓存库，也没有分文别类地对数据进行储存，且数据缓存区的储存空间也是有限的，只能依次对存入数据缓存区的数据进行清洗、映射和转换，得到标准数据，造成整个系统吞吐量非常缓慢，运行效率低下，而数据接入区和数据缓存区的储存空间是有限的，当之前接入的数据源拥堵在数据缓存区进行处理时，后续接入的数据源就也占满了数据接入区，造成后续的数据源因无法接入到数据接入区而无法及时被保存下来，会造成资源整合系统缺少一些关键信息，降低了系统的资源共享效率，影响了一些市民及时获取信息和办理事情。

发明内容

本发明的第一个目的是针对现有技术中所存在的上述不足而提供一种城市资源整合系统及资源整合方法，现有数据整合系统的缓存库只有一个而无法及时快速处理突然激增的数据增量，导致系统运行效率低下，而且由于缓存区库处理需要处理较多数据，数据接入区的数据无法传送到缓存区内，拥堵在数据接入区内，导致新的数据源无法保留下来。

为实现上述第一个目的，本发明采用了如下的技术方案：一种城市资源整合系统，包括多个数据接入区和一个数据缓存区，所述数据接入区位于各服务部门的业务系统前置机上，用于接入城市中各类数据源，所述数据缓存区用于缓存各类数据源的增量，

每个数据接入区的终端均设有数据判断模块，所述数据缓存区包括一级缓存库和二级缓存库，所述一级缓存库的类型为本地缓存，所述二级缓存库的类型为服务器分布式缓存，该城市资源整合系统还包括一个智能处理器，所述智能处理器的输出端与所述数据判断模块的输入端相连，每个数据判断模块通过第一数据传输端和第二数据传输端分别与所述一级缓存库和二级缓存库的输入端相连；

该城市资源整合系统还包括一个临时数据资源池和多个客户端，所述一级缓存库的输出端和所述临时数据资源池的输入端电信相连，所述临时数据资源池与所述智能处理器双向连接，所述智能处理器与所有所述客户端双向连接，所述二级缓存库的输出端与一个标准数据资源池的输入端电信相连，所述标准数据资源池的输出端与所述智能处理器的输入端双向连接；

所述临时数据资源池包括快速调用端，所述快速调用端是默认关闭的，所述标准数据资源池的输出端是默认开启的，设置n为同一时间内调用数据的客户端的个数，当n＜100时，所述客户端调用所述标准数据资源池中的数据，但当n≥100或标准数据资源池中的数据没有命中时时，所述快速调用端开启，所述标准数据资源池的输出端关闭，所述客户端调用所述临时数据资源池的数据。

进一步的，所述一级缓存库和所述临时数据资源池之间设有重复删除设备，所述一级缓存库中和所述临时数据资源池中的数据有效期限是3小时，当数据超过有效期限后就会被删除。

进一步的，所述标准数据资源池的输出端与一个基础要素数据资源池的输入端电信相连。

进一步的，所述临时数据资源池包括两个分类区，分为字段类型区和数据结构型区，所述字段类型区包括文本类数据区、数值类数据区、时间类数据区，所述数据结构型区包括结构化数据区、半结构化数据区和非结构化数据区。

进一步的，所述临时数据资源池还包括新数据分析模块、数据处理区、数据类型识别区，当临时数据资源池接入新数据时，新数据分析模块会对新数据进行分析，并将分析的结构传送至所述数据处理区进行分析处理，然后所述数据处理区会将新数据传送至所述数据类型识别区进行数据类型的识别，识别完成后将识别出类型的新数据分类传送至所述字段类型区和/或所述数据结构型区。

一种城市资源整合方法，其特征在于，包括以下步骤：

S60,数据接入区接入城市中各类数据源；

S61,数据接入区的数据按照级别分流传输到一级缓存库和二级缓存库中；

S62，一级缓存库中的数据经重复删除设备后判别删出重复数据后，转入到临时数据资源池内，临时数据资源池将其内部的数据每隔10-20分钟就执行分类命令，按照字段类型的文本类数据、数值类数据和时间类数据与数据结构型的结构化数据、半结构化数据和非结构化数据分类储存，而二级缓存库中的数据会转入到标准资源数据库中；

S63，临时数据资源池包括快速调用端，快速调用端是默认关闭的，标准资源数据库中的输出端是默认开启的，当在同一时间段内客户端请求调用数据的个数小于100个时，此时，标准资源数据库中的数据输入到基础要素数据资源池中，基础要素数据资源库中的数据传输给所有请求的客户端，当在同一时间段内客户端请求调用同一数据的个数大于等于100个时，快速调用端开启，标准资源数据库中的输出端关闭，客户端调用的数据是一级缓存库中来的，

其中，S62和S63不是必定先后顺序的关系，而是可以同步进行的；

进一步的，所述重复删除设备删除重复数据的步骤为：

S71，获取待处理数据的MD5值和对应的数据标识；

S72，将MD5值存放在redis集群上；

S73,将待处理数据的键值对中的MD5值和已有数据的键值对中的MD5值进行对比，判断待处理数据的键值对中的MD5值和已有数据的键值对中的MD5值是否相同，通过不断比对操作，删除垃圾重复数据，如果待处理数据的键值对中的MD5值和已有数据的键值对中的MD5值相同，则可以认为两条数据互相重复，因此将待处理数据进行删除，同时确定与待处理数据重复的已有数据的数据标识，以确定与待处理数据重复的已有数据。

本发明的有益效果：

1.本发明将数据缓存区分成一级缓存库和二级缓存库，一级缓存库是本地缓存，二级缓存库为分布式缓存库，各个接入区的终端设有数据判断模块，在智能处理器内输入数据对照表格，将接入区的数据流向在一级缓存库和二级缓存库之间进行分流，流入二级缓存库内的数据是数据量大的且调用频率低的，流入一级级缓存库内的数据是数据量小的且调用频率比较高的，这样就将数据分流成两大路线，避免了之前接入的数据源太多而拥堵在缓存区，继而造成新的数据源无法接入数据接入区而丢失的情况，本发明保证了在数据源激增的情况下数据传输仍然能够保持通畅，系统自身能够保持正常的吞吐量，系统运行效率不受影响。

2.本发明因为流入一级缓存库的数据调用的频率比较高，所以同一时间内同时调用一级缓存库数据的客户端个数应该非常多，但是因为是本地缓存的，所以客户端在调用数据的时候速度很快，调用的效率比较高；二级缓存库是分布式服务器缓存库，能够同时被许多客户端调用数据，一般情况下会网速足够快时，许多客户端在同时在调用数据的时候就能保持正常速度，相互不受影响，但是这也使得宽带费用非常高昂，但是在本发明中因为部分数据源已经分流到了一级缓存库中，所以二级缓存库内的数据已经大大减少，所以在不需要网速很高的情况下，也能快速地同时地调用二级缓存库的情况。

本发明能够采集城市的各行业的各类信息，并使资源进行整合，城市信息得到共用，方便对城市进行智能化管理，将城市中的数据按照城市的要素进行关联整合，实现基于要素的大数据的服务，更易于各部门之间进行数据共享，同时可以更方便的基于城市要素进行大数据分析，以及更好的为市民、企业等进行大数据服务。

附图说明

图1为本发明实施例的框图。

具体实施方式

下面结合附图1和实施例，对本发明具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。本发明中当一个模块被称为与另一个模块“相互连接”时，它们可以是直接连接的，也可以是间接连接的。

如图1所示，本发明的城市资源整合系统包括多个数据接入区和一个数据缓存区，数据接入区位于各服务部门的业务系统前置机上，用于接入城市中各类数据源，数据缓存区用于缓存各类数据源的增量。

在本发明中特别地每个数据接入区的终端均设有数据判断模块，数据缓存区包括一级缓存库和二级缓存库，一级缓存库的类型为本地缓存，也就是物理性的缓存，以内存条为载体，内存条的存储容量直接决定了数据的存储量，而二级缓存库的类型为服务器分布式缓存，二级缓存库的数据通过局域网可以被多个应用型服务器共享，该城市资源整合系统还包括一个智能处理器，智能处理器的输出端与数据判断模块的输入端相连，每个数据判断模块通过第一数据传输端和第二数据传输端分别与一级缓存库和二级缓存库的输入端相连，智能处理器可以是计算机或者是触摸控制器，可以通过当下的实际情况，把城市数据资源按照预先判断，将数据调用的频率和重要程度综合评判，分成一级和二级，一级是数据量比较小的但是使用频率高的，二级是数据量比较大的但是使用频率比较低的，在智能处理器内输入数据对照表，数据对照表是一种分类对照表，就是根据数据的特征值预先设定对应的一级或二级标签，智能处理器将数据对照表转换成信号传输到数据判断模块，然后数据判断模块将实际接收到的数据按照数据对照表信号做比对，判断出一级还是二级，如果数据被判断成一级，就会通过第一数据传输端传送到一级缓存库，否则就会通过第二数据传输端传送到二级缓存库。

该城市资源整合系统还包括一个临时数据资源池和多个客户端，一级缓存库的输出端和一个临时数据资源池的输入端电信相连，临时数据资源池与智能处理器双向连接，智能处理器与所有客户端双向连接，二级缓存库的输出端与一个标准数据资源池的输入端电信相连，临时数据资源池与智能处理器双向连接，智能处理器与所有客户端双向连接，临时数据资源池包括快速调用端，快速调用端是默认关闭的，标准数据资源池的输出端是默认开启的，设置n为同一时间内调用某个数据的客户端的个数，当n＜100时，二级缓存库作为数据传输始发点，然后将数据传输到标准数据资源池，因为标准数据资源池的输出端打开，所以数据又会被间接传输到启动调用的客户端那里，因为二级缓存库的类型为服务器分布式缓存，需要调用基础要素数据资源池中的数据；当n≥100时，或者调用的数据没有在二级缓存库中命中时，快速调用端是开启，标准数据资源池的输出端关闭，从一级缓存库作为数据传输始发点，因为是本地缓存，只能将数据一个个地传输到各个需要的客户端，第1个、第2个、第3个……相对于网络缓存来说，本地缓存是在本地的物理空间（比如内存条、硬盘）专门用来存储我们需要向后台数据库频繁调用需要的数据，比如前端页面需要频繁的向后台访问某些数据，这时候我们每次都去数据库查找数据再返回给前台就会有很大的开销，因为会涉及到磁盘I/O，但是如果我们把这些需要频繁访问的数据放在本地的物理空间，这样在访问的时候就可以直接访问本地缓存缓存缓存的数据。比如有些数据，数据量小，但是访问十分频繁（例如国家标准、行政区域数据或者一些数据字典等），针对这种场景，需要将数据接入到本地缓存中，以提升系统的访问效率，减少无谓的数据库访问（数据库访问占用数据库连接，同时网络消耗比较大），单个客户端向本地缓存调用数据的速度是非常快的，可以中和掉多个客户端不同时调用同一数据带来的缺陷，从一级缓存库将数据传输到临时数据资源池，数据再从快速调用端输出，经智能处理器传输到客户端。

因为一级缓存库中的容量有限，所以要不断将旧数据删除，以便新的数据能储存进来，一级缓存库中和临时数据资源池中的数据有效期限是3小时，当数据超过有效期限后就会被删除，为了保证一级缓存库与临时数据资源池中的数据吞吐量，在一级缓存库和临时数据资源池之间设有重复删除设备，在一级缓存中调用出来的数据经重复删除设备比对删除，保证进入临时数据资源池中的数据都不是重复的，从而保证了临时数据资源池中具备较大的储存空间，保证了一级缓存库到临时数据资源池的传输速度。

为了提高从临时数据资源池中调用数据的速度，临时数据资源池包括两个分类区，分为字段类型区和数据结构型区，字段类型区包括文本类数据区、数值类数据区、时间类数据区，数据结构型区包括结构化数据区、半结构化数据区和非结构化数据区，举例地说，当一个数据既属于文本类又属于结构化型时，它即同时储存在文本类数据区和结构化数据区，为客户端调用数据缩小了范围，节约了检索数据的时间。

标准数据资源池的输出端与一个基础要素数据资源池的输入端电信相连，数据会分类存在标准数据资源池的不同类型存储区域，接着在标准数据资源池的基础上，按照城市基础要素对标准数据资源池的数据进行关联和整合，构建基础要素库。

因为数据接入区接入的数据有时候在数据对照表中没有出现过，导致数据漏判，可能会同时输给一级缓存库和二级缓存库中，所以数据重复删除设备和二级缓存库之间双向连接，数据重复删除设备会将不断将一级缓存库中的数据和二级缓存库中的数据做对比，具体地说，数据重复删除设备会一直搜索一级缓存库中的数据，将一级缓存库中本身重复的数据删除掉，也会一直搜索二级缓存库中的数据，与在一级缓存库中搜索到的数据进行对比，如果比对到一级缓存的数据和二级缓存的数据有重复的，那么删除掉二级缓存库中重复的数据，这样能够让二级缓存库-标准数据资源池中-基础要素数据资源池中-智能处理器-客户端这条数据传输线的传输效率提高。

临时数据资源池与智能处理器双向连接，智能处理器与所有客户端双向连接，二级缓存库的输出端与一个标准数据资源池的输入端电信相连，标准数据资源池的输出端与智能处理器的输入端双向连接，当客户端需要调用数据时，先通过客户端把指令发送给智能处理器，智能处理器判断客户端的数量，如果客户端数量小于100，再把指令和判断的信息发送给基础要素数据资源池，基础要素数据资源池中的数据传输到智能处理器，当客户端数量大于等于100或者基础要素数据资源池没有命中，也会把信息反馈到智能处理器中，智能处理器再把指令发送到临时数据资源池，临时数据资源池中的数据传输到客户端。

临时数据资源池还包括数据分析模块、数据处理区、数据类型识别区，当临时数据资源池接入新数据时，新数据分析模块会对新数据进行分析，并将分析的结构传送至数据处理区进行分析处理，然后数据处理区会将新数据传送至数据类型识别区进行数据类型的识别，识别完成后将识别出类型的新数据分类传送至字段类型区和/或数据结构型区。

一种城市资源整合方法，其特征在于，包括以下步骤：

S60,数据接入区接入城市中各类数据源；

S61,数据接入区的数据按照级别分流传输到一级缓存库和二级缓存库中；

S62，一级缓存库中的数据经重复删除设备后判别删出重复数据后，转入到临时数据资源池内，临时数据资源池将其内部的数据每隔10-20分钟就执行分类命令，按照字段类型的文本类数据、数值类数据和时间类数据与数据结构型的结构化数据、半结构化数据和非结构化数据分类储存，而二级缓存库中的数据会转入到标准资源数据库中；

S63，临时数据资源池包括快速调用端，快速调用端是默认关闭的，标准资源数据库中的输出端是默认开启的，当在同一时间段内客户端请求调用数据的个数小于100个时，此时，标准资源数据库中的数据输入到基础要素数据资源池中，基础要素数据资源库中的数据传输给所有请求的客户端，当在同一时间段内客户端请求调用同一数据的个数大于等于100个时，快速调用端开启，标准资源数据库中的输出端关闭，客户端调用的数据是一级缓存库中来的，其中，S62和S63不是必定先后顺序的关系，而是可以同步进行的；

S64,临时数据资源池中的数据通过数据输出端一直持续地将数据传输到标准数据资源池中，

其中，S63和S64不是必定先后顺序的关系，而是可以同步进行的。

重复删除设备删除重复数据的步骤为：

S71，获取待处理数据的MD5值和对应的数据标识；

S72，将MD5值存放在redis集群上；

S73,将待处理数据的键值对中的MD5值和已有数据的键值对中的MD5值进行对比，判断待处理数据的键值对中的MD5值和已有数据的键值对中的MD5值是否相同，通过不断比对操作，删除垃圾重复数据，如果待处理数据的键值对中的MD5值和已有数据的键值对中的MD5值相同，则可以认为两条数据互相重复，因此将待处理数据进行删除，同时确定与待处理数据重复的已有数据的数据标识，以确定与待处理数据重复的已有数据。

举例来说，城市中的关于实体店商户信息数据的体量很小，但是访问十分频繁，所以在数据对照表内将有关实体店商户信息的数据写上“一级”的标签，一些专业的学术性的视频课件、会议视频和讲座视频等数据量比较大，但是访问不是非常频繁，将学术性的视频课件、会议视频和讲座视频有关的数据写上“二级”的标签，数据对照表被输入到智能处理器中，智能处理器将数据对照表的数据转化成信号，信号传输到数据判断模块，数据判断模块将实际接收的数据与信号做比对，停车库信息的数据被传输到一级缓存库，而学术性的视频课件、会议视频和讲座视频的数据被传输到二级缓存库中，当调用同一数据的客户端数量小于100个时，或者调用的数据没有在二级缓存库中命中时（数据对照表可能错录，导致本该分流到二级缓存库中的数据输入到了一级缓存库中），临时数据资源池的数据调用端开启，标准数据资源池的输出端关闭，客户端调用的是一级缓存库中的数据。

Claims (7)

1.一种城市资源整合系统，包括多个数据接入区和一个数据缓存区，所述数据接入区位于各服务部门的业务系统前置机上，用于接入城市中各类数据源，所述数据缓存区用于缓存各类数据源的增量，其特征在于，

每个数据接入区的终端均设有数据判断模块，所述数据缓存区包括一级缓存库和二级缓存库，所述一级缓存库的类型为本地缓存，所述二级缓存库的类型为服务器分布式缓存，该城市资源整合系统还包括一个智能处理器，所述智能处理器的输出端与所述数据判断模块的输入端相连，每个数据判断模块通过第一数据传输端和第二数据传输端分别与所述一级缓存库和二级缓存库的输入端相连；

该城市资源整合系统还包括一个临时数据资源池和多个客户端，所述一级缓存库的输出端和所述临时数据资源池的输入端电信相连，所述临时数据资源池与所述智能处理器双向连接，所述智能处理器与所有所述客户端双向连接，所述二级缓存库的输出端与一个标准数据资源池的输入端电信相连，所述标准数据资源池的输出端与所述智能处理器的输入端双向连接；

所述临时数据资源池包括快速调用端，所述快速调用端是默认关闭的，所述标准数据资源池的输出端是默认开启的，设置n为同一时间内调用数据的客户端的个数，当n＜100时，所述客户端调用所述标准数据资源池中的数据，但当n≥100或标准数据资源池中的数据没有命中时，所述快速调用端开启，所述标准数据资源池的输出端关闭，所述客户端调用所述临时数据资源池的数据。

2.根据权利要求1所述的一种城市资源整合系统，其特征在于，所述一级缓存库和所述临时数据资源池之间设有重复删除设备，所述一级缓存库中和所述临时数据资源池中的数据有效期限是3小时，当数据超过有效期限后就会被删除。

3.根据权利要求2所述的一种城市资源整合系统，其特征在于，所述标准数据资源池的输出端与一个基础要素数据资源池的输入端电信相连。

4.根据权利要求3所述的一种城市资源整合系统，其特征在于，所述临时数据资源池包括两个分类区，分为字段类型区和数据结构型区，所述字段类型区包括文本类数据区、数值类数据区、时间类数据区，所述数据结构型区包括结构化数据区、半结构化数据区和非结构化数据区。

5.根据权利要求4所述的一种城市资源整合系统，其特征在于，所述临时数据资源池还包括新数据分析模块、数据处理区、数据类型识别区，当临时数据资源池接入新数据时，新数据分析模块会对新数据进行分析，并将分析的结构传送至所述数据处理区进行分析处理，然后所述数据处理区会将新数据传送至所述数据类型识别区进行数据类型的识别，识别完成后将识别出类型的新数据分类传送至所述字段类型区和/或所述数据结构型区。

6.一种城市资源整合方法，其特征在于，包括以下步骤：

S60,数据接入区接入城市中各类数据源；

S61,数据接入区的数据按照级别分流传输到一级缓存库和二级缓存库中；

S62，一级缓存库中的数据经重复删除设备后判别删出重复数据后，转入到临时数据资源池内，临时数据资源池将其内部的数据每隔10-20分钟就执行分类命令，按照字段类型的文本类数据、数值类数据和时间类数据与数据结构型的结构化数据、半结构化数据和非结构化数据分类储存，而二级缓存库中的数据会转入到标准资源数据库中；

S63，临时数据资源池包括快速调用端，快速调用端是默认关闭的，标准资源数据库中的输出端是默认开启的，当在同一时间段内客户端请求调用数据的个数小于100个时，此时，标准资源数据库中的数据输入到基础要素数据资源池中，基础要素数据资源库中的数据传输给所有请求的客户端，当在同一时间段内客户端请求调用同一数据的个数大于等于100个时，快速调用端开启，标准资源数据库中的输出端关闭，客户端调用的数据是一级缓存库中来的，

其中，S62和S63不是必定先后顺序的关系，而是可以同步进行的。

7.根据权利要求6所述的一种城市资源整合方法，其特征在于，所述重复删除设备删除重复数据的步骤为：

S71，获取待处理数据的MD5值和对应的数据标识；

S72，将MD5值存放在redis集群上；

S73,将待处理数据的键值对中的MD5值和已有数据的键值对中的MD5值进行对比，判断待处理数据的键值对中的MD5值和已有数据的键值对中的MD5值是否相同，通过不断比对操作，删除垃圾重复数据，如果待处理数据的键值对中的MD5值和已有数据的键值对中的MD5值相同，则可以认为两条数据互相重复，因此将待处理数据进行删除，同时确定与待处理数据重复的已有数据的数据标识，以确定与待处理数据重复的已有数据。