CN110633297A - 智慧城市数据共享系统 - Google Patents

智慧城市数据共享系统 Download PDF

Info

Publication number
CN110633297A
CN110633297A CN201910863181.3A CN201910863181A CN110633297A CN 110633297 A CN110633297 A CN 110633297A CN 201910863181 A CN201910863181 A CN 201910863181A CN 110633297 A CN110633297 A CN 110633297A
Authority
CN
China
Prior art keywords
query
smart city
data
sharing system
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910863181.3A
Other languages
English (en)
Inventor
张振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Treasure Box Technology Co Ltd
Original Assignee
Suzhou Treasure Box Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Treasure Box Technology Co Ltd filed Critical Suzhou Treasure Box Technology Co Ltd
Priority to CN201910863181.3A priority Critical patent/CN110633297A/zh
Publication of CN110633297A publication Critical patent/CN110633297A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Security & Cryptography (AREA)
  • Economics (AREA)
  • Mathematical Physics (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Fuzzy Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种智慧城市数据共享系统，其特征在于，包括：查询库模块，用于以历史上累积的对智慧城市大数据的查询构建查询库；分析模块，用于对所述查询库进行统计分析确定所述智慧城市大数据中访问频率超过预设值的属性列；划分模块，用于以所述属性列对所述智慧城市大数据划分成数据块；共享模块，用于接收对智慧城市大数据的查询，从所述查询中的属性列匹配到所述数据块，从所述数据块中获取满足所述查询的数据提供给当前的查询；更新模块，用于将接收到的查询加入到所述查询库中。

Description

智慧城市数据共享系统
技术领域
本申请涉及下一代信息网络产业技术领域，尤其涉及一种智慧城市数据共享系统。
背景技术
智慧城市以最大化优化城市功能为目标，促进经济增长，同时利用智能科技与数据分析来提高城市居民的生活质量。目前来看，与智慧城市关系最为紧密的技术包括：无人驾驶、机器学习、和物联网(IoT)。这些技术利用城市不同方面的大数据，来使得城市居民生活更加便利。其中，物联网已经在多个国家和地区开始部署了。比如，美国的圣地亚哥市已经在城市中装置了3200个检测器来收集路况信息，如果有路面情况有任何问题市政府可以第一时间通知市民，并及时实施解决措施。
例如，监测和记录相关的空气污染物，是智慧城市的一项任务。但是，有多少人了解行人、骑自行车的人、司机和当地居民的污染风险指数？如何衡量道路交通、交通灯、公交、地铁站受到的污染影响？普及电动公交车，从长远来看到底能为城市人口减轻多少环境污染？这些问题，只有通过最精确的长时间多地点监测，收集大量数据，并进行各种分析才能知道。
随着智慧城市的快速发展，产生了大量数据，这些数据具有规模庞大、增长迅速、结构多样等显著特点，这使得采用常规方法为智慧城市提供数据共享服务，因为效率过低而查询速度太慢。
发明内容
为克服相关技术中存在的问题，本申请提供一种智慧城市数据共享系统。
根据本申请实施例，提供一种智慧城市数据共享系统，其特征在于，包括：
查询库模块，用于以历史上累积的对智慧城市大数据的查询构建查询库；
分析模块，用于对所述查询库进行统计分析确定所述智慧城市大数据中访问频率超过预设值的属性列；
划分模块，用于以所述属性列对所述智慧城市大数据划分成数据块；
共享模块，用于接收对智慧城市大数据的查询，从所述查询中的属性列匹配到所述数据块，从所述数据块中获取满足所述查询的数据提供给当前的查询更新模块，用于将接收到的查询加入到所述查询库中。
优选的，对每个查询还记录该查询的查询次数。
优选的，智慧城市数据共享系统还包括：
淘汰模块，用于周期性地t＝1～n遍历查询库中的ft，对于超过预定时间查询次数没有增长的查询，将该查询从查询库中删除，t是查询库中的查询的序号，n是查询库中的查询的数量。
优选的，设置访问频率的预设值如下：
其中，c是查询库中属性列的个数，at是调整参数。
优选的，
Figure BDA0002200447450000022
如果属性列i不在第t个查询中出现，则at＝0。
优选的，所述划分模块根据所述属性列的均匀度来设置数据块的划分粒度。
优选的，均匀度越大，则设置划分粒度越小。
优选的，采用如下公式设置划分粒度：
Figure BDA0002200447450000023
其中，C为所有c个属性列的均匀性的总和，Ci为第i个属性列的均匀性。
优选的，采用如下公式设置Ci：
Figure BDA0002200447450000031
本申请的实施例提供的技术方案可以包括以下有益效果：通过分析历史查询数据来划分数据块，从而使得数据块的划分与数据内容高度相关，进而显著地提升了查询效率，实现了规模庞大、增长迅速、结构多样的智慧城市也能高效地提供数据共享服务。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种智慧城市数据共享系统的框图。
图2是根据另一示例性实施例示出的一种智慧城市数据共享系统的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
下文的公开提供了许多不同的实施例或例子用来实现本申请的不同结构。为了简化本申请的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。此外，本申请可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不只是所讨论各种实施例和/或设置之间的关系。此外，本申请提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的可应用性和/或其他材料的使用。另外，以下描述的第一特征在第二特征值“上”的结构可以包括第一和第二特征形成为直接接触的实施例，也可以包括另外的特征形成在第一和第二特征之间的实施例，这样第一和第二特征可能不是直接接触。
在本申请的描述中，需要说明的是，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
图1是根据一示例性实施例示出的一种智慧城市数据共享系统的框图。参照图1，该装置包括：
查询库模块10，用于以历史上累积的对智慧城市大数据的查询构建查询库；
分析模块20，用于对所述查询库进行统计分析确定所述智慧城市大数据中访问频率超过预设值的属性列；
划分模块30，用于以所述属性列对所述智慧城市大数据划分成数据块；
共享模块40，用于接收对智慧城市大数据的查询，从所述查询中的属性列匹配到所述数据块，从所述数据块中获取满足所述查询的数据提供给当前的查询。
随着智慧城市的快速发展，产生了大量数据，这些数据具有规模庞大、增长迅速、结构多样等显著特点，这使得采用常规方法为智慧城市提供数据共享服务，因为效率过低而查询速度太慢。
而本发明的上述实施例通过分析历史查询数据来划分数据块，从而使得数据块的划分与数据内容高度相关，即通过对查询负载进行统计分析，获取最频繁被访问的属性列作为当前划分列，进而显著地提升了查询效率，实现了规模庞大、增长迅速、结构多样的智慧城市也能高效地提供数据共享服务。
优选的，如图2所示，本智慧城市数据共享系统还包括更新模块50，用于将接收到的查询加入到所述查询库中。这样可以不断更新数据块的划分，使得数据块的划分能够与查询的更新保持一致。
优选的，在查询库中，对每个查询还记录该查询的查询次数，即该查询每重复一次，则查询次数增加一次。这可以用于将来进一步优化数据块的存储。
优选的，还可以周期性地t＝1～n遍历查询库中的ft，对于超过预定时间查询次数没有增长的查询，将该查询从查询库中删除，t是查询库中的查询的序号，n是查询库中的查询的数量。这可以将逐渐老化，不被使用的查询从查询库中删除，从而进一步优化查询库结构，提高智慧城市提供共享服务的效率。
优选的，设置访问频率的预设值如下：
其中，c是查询库中属性列的个数，at是调整参数。
访问频率的设置如果太低，会导致管理开销太大，将所有偶尔访问到的属性列都加入到数据块划分的考虑当中，而如果设置得太高，则会导致数据块划分过大，冗余数据太多，导致后续的数据检索还需消耗太多的计算资源。本发明进行了大量的方针实验，创造性地设计了本优选实施例的访问频率预设值，使得管理开销较小，又能保证数据块的划分粒度合理，从而提供了高效地智能城市数据共享系统。
优选的，
如果属性列i不在第t个查询中出现，则at＝0。
在本优选实施例中，对于属性列在查询中的发生频率还进行了调整，上述的调整方式使得在查询中发生频率越高的属性列，其调整参数越大(即权值更高)，从而实现了更优的马太效应，进一步提高了智能城市数据共享的效率。
优选的，所述划分模块根据所述属性列的均匀度来设置数据块的划分粒度。
本优选实施例实现了智慧城市的大数据根据不同属性列数据分布特性来选取不同的划分粒度，从而获取了效率更高的划分结果。
优选的，均匀度越大，则设置划分粒度越大。
优选的，采用如下公式设置划分粒度：
Figure BDA0002200447450000061
其中，C为所有c个属性列的均匀性的总和，Ci为第i个属性列的均匀性。
优选的，采用如下公式设置Ci：
对于属性列分布比较均匀的，可以将划分粒度设置得比较大，从而可以适当减少数据块数量，这样能在保证作业并行度的同时，还能减少数据管理的开销。
对于属性列分布比较倾斜的，可以将划分粒度设置得比较小，从而在属性列分布密集的区域，适当增加数据块数量，这可以提高采样操作对数据块的选择性，从而尽可能剪除无关数据。
本发明的上述优选实施例实现了上述粒度划分的目的。
优选的，智慧城市数据共享系统还包括：
相关性模块：用于分析所述数据块对应的查询的相关性；
放置模块：用于根据所述相关性将所述数据块放置到各个计算节点上。
即使将数据块划分得比较合理，但是如果不合理地存放数据块，例如将大量高频访问的数据块都存放到了同一计算节点，而将很多低频访问的数据块都存放到了另一计算节点，那么将导致计算节点的负荷很不均衡。
而本优选实施例通过分析数据块对应的查询的相关性，从而实现了对历史查询经常调用的数据块的频率分析，进而能合理地存放数据块，使得各个计算节点的负荷尽可能地均衡。
优选的，所述相关性模块工作如下：
Figure BDA0002200447450000071
Rij是指数据块Bi与数据块Bj之间的相关性，t是查询库中的查询的序号，n是查询库中的查询的数量，ft是第t个查询的查询次数，当数据块Bi的属性列与数据块Bj的属性列同时出现在第t个查询中时，pt取1，否则取0，其中，i＝j时，Rij＝0。
本优选实施例采用了两个数据块的属性列是否出现在同一属性中，来确定两个属性块是否有较强的相关性，从而可以尽可能地将相关性高的数据块打散到不同的计算节点上，使得查询计算的并行度大幅提高，这提供了非常高效地算法来计算数据块之间的相关性，显著提高了智慧城市共享服务的效率。
优选的，所述放置模块设置各个计算节点内放置的数据块的相关性的总和大于第一预设值MIN，小于第二预设值MAX。
优选的，设置
Figure BDA0002200447450000072
其中S为所有m个数据块的相关性的总和。
优选的，设置
Figure BDA0002200447450000073
发明人经过了大量的仿真实验，创造性地提出了
Figure BDA0002200447450000074
这样一个调整值，采用该调整值来设置相关性的范围，既能高效地计算合理的相关性的分布区间，减少管理开销，又能基本保证查询的并行度。
优选的，采用如下公式计算数据块Bi的相关性Si：
Figure BDA0002200447450000081
优选的，采用如下公式计算S：
Figure BDA0002200447450000082
本发明的上述优选实施例给出了高效的算法来实现数据块之间相关性的计算。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (9)

1.一种智慧城市数据共享系统，其特征在于，包括：
查询库模块，用于以历史上累积的对智慧城市大数据的查询构建查询库；
分析模块，用于对所述查询库进行统计分析确定所述智慧城市大数据中访问频率超过预设值的属性列；
划分模块，用于以所述属性列对所述智慧城市大数据划分成数据块；
共享模块，用于接收对智慧城市大数据的查询，从所述查询中的属性列匹配到所述数据块，从所述数据块中获取满足所述查询的数据提供给当前的查询；
更新模块，用于将接收到的查询加入到所述查询库中。
2.根据权利要求1所述的智慧城市数据共享系统，其特征在于，对每个查询还记录该查询的查询次数。
3.根据权利要求2所述的智慧城市数据共享系统，其特征在于，还包括：
淘汰模块，用于周期性地t＝1～n遍历查询库中的ft，对于超过预定时间查询次数没有增长的查询，将该查询从查询库中删除，t是查询库中的查询的序号，n是查询库中的查询的数量。
4.根据权利要求3所述的智慧城市数据共享系统，其特征在于，设置访问频率的预设值如下：
Figure FDA0002200447440000011
其中，c是查询库中属性列的个数，at是调整参数。
5.根据权利要求4所述的智慧城市数据共享系统，其特征在于，
Figure FDA0002200447440000012
如果属性列i不在第t个查询中出现，则at＝0。
6.根据权利要求5所述的智慧城市数据共享系统，其特征在于，所述划分模块根据所述属性列的均匀度来设置数据块的划分粒度。
7.根据权利要求6所述的智慧城市数据共享系统，其特征在于，均匀度越大，则设置划分粒度越小。
8.根据权利要求7所述的智慧城市数据共享系统，其特征在于，采用如下公式设置划分粒度：
其中，C为所有c个属性列的均匀性的总和，Ci为第i个属性列的均匀性。
9.根据权利要求8所述的智慧城市数据共享系统，其特征在于，采用如下公式设置Ci：
Figure FDA0002200447440000022
CN201910863181.3A 2019-09-12 2019-09-12 智慧城市数据共享系统 Pending CN110633297A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910863181.3A CN110633297A (zh) 2019-09-12 2019-09-12 智慧城市数据共享系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910863181.3A CN110633297A (zh) 2019-09-12 2019-09-12 智慧城市数据共享系统

Publications (1)

Publication Number Publication Date
CN110633297A true CN110633297A (zh) 2019-12-31

Family

ID=68972659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910863181.3A Pending CN110633297A (zh) 2019-09-12 2019-09-12 智慧城市数据共享系统

Country Status (1)

Country Link
CN (1) CN110633297A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116825A (zh) * 2013-01-29 2013-05-22 江苏省邮电规划设计院有限责任公司 智慧城市管理系统
CN105023086A (zh) * 2015-01-07 2015-11-04 泰华智慧产业集团股份有限公司 一种基于云计算的数字城市管理数据共享系统
CN105488043A (zh) * 2014-09-15 2016-04-13 南京理工大学 基于Key-Value数据块的数据查询方法及系统
CN106777110A (zh) * 2016-12-15 2017-05-31 武汉邮电科学研究院 一种智慧城市大数据整合系统及方法
CN107786355A (zh) * 2016-08-26 2018-03-09 南京中兴软件有限责任公司 一种智慧城市信息共享的方法和装置
CN108965028A (zh) * 2018-08-11 2018-12-07 广元量知汇科技有限公司 用于智慧城市的数据共享方法
CN109151011A (zh) * 2018-08-11 2019-01-04 广元量知汇科技有限公司 智慧城市数据共享系统
CN109542967A (zh) * 2018-11-19 2019-03-29 四川长虹电器股份有限公司 基于xbrl标准的智慧城市数据共享系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116825A (zh) * 2013-01-29 2013-05-22 江苏省邮电规划设计院有限责任公司 智慧城市管理系统
CN105488043A (zh) * 2014-09-15 2016-04-13 南京理工大学 基于Key-Value数据块的数据查询方法及系统
CN105023086A (zh) * 2015-01-07 2015-11-04 泰华智慧产业集团股份有限公司 一种基于云计算的数字城市管理数据共享系统
CN107786355A (zh) * 2016-08-26 2018-03-09 南京中兴软件有限责任公司 一种智慧城市信息共享的方法和装置
CN106777110A (zh) * 2016-12-15 2017-05-31 武汉邮电科学研究院 一种智慧城市大数据整合系统及方法
CN108965028A (zh) * 2018-08-11 2018-12-07 广元量知汇科技有限公司 用于智慧城市的数据共享方法
CN109151011A (zh) * 2018-08-11 2019-01-04 广元量知汇科技有限公司 智慧城市数据共享系统
CN109542967A (zh) * 2018-11-19 2019-03-29 四川长虹电器股份有限公司 基于xbrl标准的智慧城市数据共享系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
葛微: "大数据索引和查询优化技术与系统研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Similar Documents

Publication Publication Date Title
CN111356148B (zh) 一种实现网络优化的方法及相关设备
US20180261085A1 (en) Adjustment of a learning rate of q-learning used to control traffic signals
CN106708989B (zh) 基于空间时序数据流应用的Skyline查询方法
CN106777093B (zh) 基于空间时序数据流应用的Skyline查询系统
CN110555037B (zh) 智慧城市数据共享系统
Shan et al. A survey on computation offloading for mobile edge computing information
US20230215272A1 (en) Information processing method and apparatus, computer device and storage medium
CN102819953B (zh) 一种疑似新增道路的发现方法和装置
EP3076728B1 (en) Wireless network availability for a moving network based on location determination
US20240040544A1 (en) User equipment tracking and paging area selection in wireless communication systems
CN110334157B (zh) 一种云计算管理系统
US20210327263A1 (en) Intelligent cloud traffic control system and traffic control method
CN112069229B (zh) 一种面向移动轨迹大数据的最佳候车点推荐方法及系统
CN106530685B (zh) 一种交通数据短时预测方法及装置
CN112689329A (zh) 波束配置方法及装置、电子设备及计算机存储介质
CN110556014B (zh) 智能公交调度平台系统
CN111860621A (zh) 一种数据驱动的分布式交通流量预测方法及系统
CN111385815B (zh) 小区网络资源优化方法、装置、设备和介质
CN109460301B (zh) 一种流数据负载的弹性资源配置方法及系统
CN117255368B (zh) 车载边缘服务器协同固定边缘服务器的边缘动态集成方法
Al Jawarneh et al. Locality-preserving spatial partitioning for geo big data analytics in main memory frameworks
CN110633297A (zh) 智慧城市数据共享系统
Wang et al. A model of telecommunication network performance anomaly detection based on service features clustering
Xia et al. Cost-effective and adaptive clustering algorithm for stream processing on cloud system
Tao et al. Venn sampling: A novel prediction technique for moving objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191231

RJ01 Rejection of invention patent application after publication