CN113627783A - 一种基于大数据的智慧城市数据系统 - Google Patents
一种基于大数据的智慧城市数据系统 Download PDFInfo
- Publication number
- CN113627783A CN113627783A CN202110909332.1A CN202110909332A CN113627783A CN 113627783 A CN113627783 A CN 113627783A CN 202110909332 A CN202110909332 A CN 202110909332A CN 113627783 A CN113627783 A CN 113627783A
- Authority
- CN
- China
- Prior art keywords
- data
- smart city
- city
- environment information
- urban
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000011156 evaluation Methods 0.000 claims abstract description 53
- 230000008447 perception Effects 0.000 claims abstract description 45
- 238000004891 communication Methods 0.000 claims abstract description 37
- 238000003672 processing method Methods 0.000 claims abstract description 18
- 230000033001 locomotion Effects 0.000 claims description 55
- 238000000034 method Methods 0.000 claims description 33
- 230000009471 action Effects 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000011664 signaling Effects 0.000 claims description 9
- 230000009286 beneficial effect Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 10
- 238000010276 construction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000007418 data mining Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W8/00—Network data management
- H04W8/18—Processing of user or subscriber data, e.g. subscribed services, user preferences or user profiles; Transfer of user or subscriber data
- H04W8/20—Transfer of user or subscriber data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- Databases & Information Systems (AREA)
- Tourism & Hospitality (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Software Systems (AREA)
- General Business, Economics & Management (AREA)
- Algebra (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Game Theory and Decision Science (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明涉及一种大数据的技术领域,公开了一种基于大数据的智慧城市数据处理方法,包括:将城市划分为网格区域,并建立基于移动传感器的城市交通网络感知模型;利用移动传感器感知城市交通环境信息,收集城市环境信息数据;根据城市交通网络中的通信基站,获取市民的通信信息数据以及个人信息数据,将城市环境信息数据以及市民信息数据作为智慧城市数据;建立智慧城市评价体系,确定智慧城市评价指标权重,并实时更新各指标的权重。本发明还提供了一种基于大数据的智慧城市数据系统。本发明实现了智慧城市数据的处理。
Description
技术领域
本发明涉及大数据的技术领域,尤其涉及一种基于大数据的智慧城市数据系统。
背景技术
在大数据挖掘等相关技术迅猛发展的今天,“智慧城市”等概念战略也进入了人们的视野。如今在城市建设中,各类传感监控设施日趋完善,能够获取的城市信息数据也愈发的立体全面。从城市日常运转中获取的数据中分析得到对城市整体规划调度有用的数据,是“智慧城市”概念的核心思想。
鉴于此,如何收集城市环境以及市民信息数据,建设智慧城市数据系统,成为本领域技术人员亟待解决的问题。
发明内容
本发明提供一种基于大数据的智慧城市数据处理方法,通过建立城市交通网络的感知模型,利用移动传感器进行城市交通环境信息的感知,收集城市环境信息数据,并根据城市交通网络中的通信基站,获取市民的通信信息数据以及个人信息数据,将城市环境信息数据以及市民信息数据作为智慧城市数据;建立智慧城市评价体系,确定智慧城市评价指标权重,并实时更新各指标的权重。
为实现上述目的,本发明提供的一种基于大数据的智慧城市数据处理方法,包括:
将城市划分为网格区域,并建立基于移动传感器的城市交通网络感知模型;
利用移动传感器感知城市交通环境信息,收集城市环境信息数据;
根据城市交通网络中的通信基站,获取市民的通信信息数据以及个人信息数据,将城市环境信息数据以及市民信息数据作为智慧城市数据;
建立智慧城市评价体系,确定智慧城市评价指标权重,并实时更新各指标的权重。
可选地,所述将城市划分为网格区域,包括:
将城市划分为网格区域,其中ri表示第i个城市网格区域,R={r1,r2,...,rn}为城市网格区域集合,n表示城市被划分为n个网格区域。
可选地,所述建立基于移动传感器的城市交通网络感知模型,包括:
利用H={h1,h2,...,hk}表示移动传感器集合,k表示移动传感器的总数,其中移动传感器每隔Δt时间采集城市交通环境信息,因此城市交通网络感知时刻集合为T={t1,t2,...,tm},Δt=ti+1-ti,得到基于城市网格表示的移动传感器移动轨迹为:
其中:
l(hi,ti)表示移动传感器hi在时刻ti所处的网格区域,l(hi,ti)∈R;
L(h,t)表示k个移动传感器在m个时刻内所处的全部网格区域集合;
建立城市交通网络感知模型S(C):
其中:
C表示被选中进行环境感知的移动传感器集合。
可选地,所述利用移动传感器感知城市交通环境信息,包括:
根据所建立的城市交通网络感知模型,确定城市环境信息感知目标函数:
s.t.E≤B
其中:
ai表示移动传感器hi是否被选中进行城市交通环境信息感知,当ai=1,表示移动传感器hi被选中进行城市交通环境信息感知,当ai=0,表示移动传感器hi未被选中进行城市交通环境信息感知;
ei表示移动传感器hi的移动感知成本,在本发明一个具体实施例中,所述移动感知成本包括移动传感器的电力成本以及维修成本;
B表示城市环境信息感知的成本阈值;
所述目标函数即在满足城市环境信息感知成本阈值限制的情况下,得到能收集到范围更大的城市环境信息的移动传感器集合C;
在本发明一个具体实施例中,所述目标函数的求解方法为穷举不同的移动传感器集合C以及对应的感知成本E,计算不同移动传感器集合下的S(C)值,选取S(C)值最大且E≤B的移动传感器集合C作为目标函数的求解集合;
根据所求移动传感器集合C,确定移动传感器的移动轨迹动作,所述移动轨迹动作的更新公式为:
其中:
P(st,at)表示移动传感器在t时刻采取动作at,st表示移动传感器在t时刻的状态,所述移动传感器的状态包括移动传感器的朝向、速度等;
β表示更新步长,将其设置为2;
对所有移动传感器重复上述移动轨迹的更新,得到不同移动传感器的轨迹路径集合;
移动传感器按照轨迹路径集合进行移动,并在移动过程中实时采集城市交通环境信息数据,在本发明一个具体实施例中,所述城市交通环境信息数据包括通信基站位置、空气环境质量、交通路况信息数据等。
可选地,所述获取市民的通信信息数据以及个人信息数据,包括:
所述通信信息数据的获取流程为:
1)根据LAC字段以及CI字段,将手机信令数据与通信基站匹配,并为手机信令数据赋予NID标签,所述NID标签为基站ID;
2)将时间片的长度定义为一个小时,每一个市民用户一天中有0~23共24个标签,每个标签的值分别表示该市民用户在当天0点到23点每个小时与其建立连接的基站的NID编号;
3)若一个市民用户同一个时间片内含有多条信令数据,则取数量较多的NID作为表示这个时间片的标签;
输出结果中每一个文件夹代表一个日期,文件夹名称为当前日期,内部一组文件内的信息组成数据目录,每行数据代表一个用户,D字段代表此行用户的电话号码ID,每行有24个时间片标签。
可选地,所述建立智慧城市评价体系,确定智慧城市评价指标权重,包括:
建立智慧城市评价体系,所述智慧城市评价体系包括通信基站建设应用情况、城市空气质量、交通路况、每万人高等学历人数、人均电子商务消费额等;
所述智慧城市评价指标的权重计算方法为:
1)收集城市指标数据,并采用比重法对城市指标数据进行标准化处理,得到指标向量Q=(Q1,Q2,...,Qn),其中Qi表示第i个城市指标的数据向量,n表示数据指标总数;
2)计算Q的差异系数向量:
3)计算权重待定参数向量:
4)计算不同智慧城市评价指标的权重:
wi=Qi*VT
其中:
wi表示智慧城市评价指标i的权重;
设定权重计算时间间隔为一个月,每月初更新智慧城市评价指标权重值;
根据智慧城市评价指标权重值,计算不同城市的智慧城市得分:
其中:
此外,为实现上述目的,本发明还提供一种基于大数据的智慧城市数据系统,所述系统包括:
智慧城市数据获取装置,用于将城市划分为网格区域,并建立基于移动传感器的城市交通网络感知模型;利用移动传感器感知城市交通环境信息,收集城市环境信息数据;
数据处理器,用于根据城市交通网络中的通信基站,获取市民的通信信息数据以及个人信息数据,将城市环境信息数据以及市民信息数据作为智慧城市数据;
智慧城市评分装置,用于建立智慧城市评价体系,确定智慧城市评价指标权重,并实时更新各指标的权重,并对不同城市的智慧城市得分进行评分。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有智慧城市数据处理程序指令,所述智慧城市数据处理程序指令可被一个或者多个处理器执行,以实现如上所述的基于大数据的智慧城市数据系统的实现方法的步骤。
相对于现有技术,本发明提出一种基于大数据的智慧城市数据处理方法,该技术具有以下优势:
首先,传统城市数据搜集方法大多为通过部门机构进行搜集,所搜集到的城市数据可能并非实时数据,因此本发明提出一种城市交通网络感知模型,利用移动传感器实现城市数据的搜集,通过将城市划分为网格区域,其中ri表示第i个城市网格区域,R={r1,r2,...,rn}为城市网格区域集合,n表示城市被划分为n个网格区域;利用H={h1,h2,..,hk}表示移动传感器集合,k表示移动传感器的总数,其中移动传感器每隔Δt时间采集城市交通环境信息,因此城市交通网络感知时刻集合为T={t1,t2,...,tm},Δt=ti+1-ti,得到基于城市网格表示的移动传感器移动轨迹为:
其中:l(hi,ti)表示移动传感器hi在时刻ti所处的网格区域,l(hi,ti)∈R;L(h,t)表示k个移动传感器在m个时刻内所处的全部网格区域集合;建立城市交通网络感知模型S(C):
其中:C表示被选中进行环境感知的移动传感器集合。根据所建立的城市交通网络感知模型,确定城市环境信息感知目标函数:
s.t.E≤B
其中:ai表示移动传感器hi是否被选中进行城市交通环境信息感知,当ai=1,表示移动传感器hi被选中进行城市交通环境信息感知,当ai=0,表示移动传感器hi未被选中进行城市交通环境信息感知;ei表示移动传感器hi的移动感知成本,所述移动感知成本包括移动传感器的电力成本以及维修成本;B表示城市环境信息感知的成本阈值;所述目标函数即在满足城市环境信息感知成本阈值限制的情况下,得到能收集到范围更大的城市环境信息的移动传感器集合C;所述目标函数的求解方法为穷举不同的移动传感器集合C以及对应的感知成本E,计算不同移动传感器集合下的S(C)值,选取S(C)值最大且E≤B的移动传感器集合C作为目标函数的求解集合,能够实时地选取合适移动传感器集合进行城市环境信息采集,实现了采集范围更广的城市环境信息,且感知成本在成本阈值范围内。
同时,本发明提出一种移动传感器移动动作更新方法,根据所求移动传感器集合C,确定移动传感器的移动轨迹动作,所述移动轨迹动作的更新公式为:
其中:P(st,at)表示移动传感器在t时刻采取动作at,st表示移动传感器在t时刻的状态,所述移动传感器的状态包括移动传感器的朝向、速度等;β表示更新步长,将其设置为2;rt表示移动回报,若采取动作at后,当前城市交通网络感知模型的值则表明动作at为有益动作,移动汇报为正值ε+,其中表示成本阈值,将其设置为初始时刻的S(C),在本发明所述算法中,采取动作at后若判定为有益动作,则说明移动传感器在执行动作at后城市环境信息的采集范围变大;对所有移动传感器重复上述移动轨迹的更新,得到不同移动传感器的轨迹路径集合;移动传感器按照轨迹路径集合进行移动,从而在移动过程中实时采集城市交通环境信息数据。
最后本发明建立智慧城市评价体系,所述智慧城市评价体系包括通信基站建设应用情况、城市空气质量、交通路况、每万人高等学历人数、人均电子商务消费额等;所述智慧城市评价指标的权重计算方法为:收集城市指标数据,并采用比重法对城市指标数据进行标准化处理,得到指标向量Q=(Q1,Q2,...,Qn),其中Qi表示第i个城市指标的数据向量,n表示数据指标总数;计算Q的差异系数向量:
本发明所述算法根据向量间的内在分布差异计算指标向量的差异系数向量,避免了传统方法没有考虑到指标自身信息的具体影响,导致权重计算准确率不高的问题;并据此计算权重待定参数向量:
计算不同智慧城市评价指标的权重:
wi=Qi*VT
其中:wi表示智慧城市评价指标i的权重;设定权重计算时间间隔为一个月,每月初更新智慧城市评价指标权重值;根据智慧城市评价指标权重值,计算不同城市的智慧城市得分:
附图说明
图1为本发明一实施例提供的一种基于大数据的智慧城市数据处理方法的流程示意图;
图2为本发明一实施例提供的一种基于大数据的智慧城市数据系统的结构示意图;
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
通过建立城市交通网络的感知模型,利用移动传感器进行城市交通环境信息的感知,收集城市环境信息数据,并根据城市交通网络中的通信基站,获取市民的通信信息数据以及个人信息数据,将城市环境信息数据以及市民信息数据作为智慧城市数据;建立智慧城市评价体系,确定智慧城市评价指标权重,并实时更新各指标的权重。参照图1所示,为本发明一实施例提供的基于大数据的智慧城市数据处理方法示意图。
在本实施例中,基于大数据的智慧城市数据处理方法包括:
S1、将城市划分为网格区域,并建立基于移动传感器的城市交通网络感知模型。
首先,本发明将城市划分为网格区域,其中ri表示第i个城市网格区域,R={r1,r2,...,rn}为城市网格区域集合,n表示城市被划分为n个网格区域;
利用H={h1,h2,...,hk}表示移动传感器集合,k表示移动传感器的总数,其中移动传感器每隔Δt时间采集城市交通环境信息,因此城市交通网络感知时刻集合为T={t1,t2,...,tm},Δt=ti+1-ti,得到基于城市网格表示的移动传感器移动轨迹为:
其中:
l(hi,ti)表示移动传感器hi在时刻ti所处的网格区域,l(hi,ti)∈R;
L(h,t)表示k个移动传感器在m个时刻内所处的全部网格区域集合;
建立城市交通网络感知模型S(C):
其中:
C表示被选中进行环境感知的移动传感器集合。
S2、利用移动传感器感知城市交通环境信息,收集城市环境信息数据。
进一步地,根据所建立的城市交通网络感知模型,确定城市环境信息感知目标函数:
s.t.E≤B
其中:
ai表示移动传感器hi是否被选中进行城市交通环境信息感知,当ai=1,表示移动传感器hi被选中进行城市交通环境信息感知,当ai=0,表示移动传感器hi未被选中进行城市交通环境信息感知;
ei表示移动传感器hi的移动感知成本,在本发明一个具体实施例中,所述移动感知成本包括移动传感器的电力成本以及维修成本;
B表示城市环境信息感知的成本阈值;
所述目标函数即在满足城市环境信息感知成本阈值限制的情况下,得到能收集到范围更大的城市环境信息的移动传感器集合C;
在本发明一个具体实施例中,所述目标函数的求解方法为穷举不同的移动传感器集合C以及对应的感知成本E,计算不同移动传感器集合下的S(C)值,选取S(C)值最大且E≤B的移动传感器集合C作为目标函数的求解集合;
根据所求移动传感器集合C,确定移动传感器的移动轨迹动作,所述移动轨迹动作的更新公式为:
其中:
P(st,at)表示移动传感器在t时刻采取动作at,st表示移动传感器在t时刻的状态,所述移动传感器的状态包括移动传感器的朝向、速度等;
β表示更新步长,将其设置为2;
对所有移动传感器重复上述移动轨迹的更新,得到不同移动传感器的轨迹路径集合;
移动传感器按照轨迹路径集合进行移动,并在移动过程中实时采集城市交通环境信息数据,在本发明一个具体实施例中,所述城市交通环境信息数据包括通信基站位置、空气环境质量、交通路况信息数据等。
S3、根据城市交通网络中的通信基站,获取市民的通信信息数据以及个人信息数据,将城市环境信息数据以及市民信息数据作为智慧城市数据。
进一步地,根据城市交通网络中的通信基站,获取市民的通信信息数据以及个人信息数据,所述通信信息数据的获取流程为:
1)根据LAC字段以及CI字段,将手机信令数据与通信基站匹配,并为手机信令数据赋予NID标签,所述NID标签为基站ID;
2)将时间片的长度定义为一个小时,每一个市民用户一天中有0~23共24个标签,每个标签的值分别表示该市民用户在当天0点到23点每个小时与其建立连接的基站的NID编号;
3)若一个市民用户同一个时间片内含有多条信令数据,则取数量较多的NID作为表示这个时间片的标签;
输出结果中每一个文件夹代表一个日期,文件夹名称为当前日期,内部一组文件内的信息组成数据目录,每行数据代表一个用户,D字段代表此行用户的电话号码ID,每行有24个时间片标签;
进一步地,根据市民的通信信息数据,通过政府机构获取市民的个人信息数据,所述市民个人信息数据包括姓名、性别、年龄、学历、职位等;
将城市环境信息数据以及市民信息数据作为智慧城市数据,所述市民信息数据包括市民的通信信息数据以及个人信息数据。
S4、建立智慧城市评价体系,确定智慧城市评价指标权重,并实时更新各指标的权重。
进一步地,本发明建立智慧城市评价体系,所述智慧城市评价体系包括通信基站建设应用情况、城市空气质量、交通路况、每万人高等学历人数、人均电子商务消费额等;
所述智慧城市评价指标的权重计算方法为:
1)收集城市指标数据,并采用比重法对城市指标数据进行标准化处理,得到指标向量Q=(Q1,Q2,...,Qn),其中Qi表示第i个城市指标的数据向量,n表示数据指标总数;
2)计算Q的差异系数向量:
3)计算权重待定参数向量:
4)计算不同智慧城市评价指标的权重:
wi=Qi*VT
其中:
wi表示智慧城市评价指标i的权重;
设定权重计算时间间隔为一个月,每月初更新智慧城市评价指标权重值;
根据智慧城市评价指标权重值,计算不同城市的智慧城市得分:
其中:
下面通过一个算法实验来说明本发明的具体实施方式,并对发明的处理方法进行测试。本发明算法的硬件测试环境为:Inter(R)Core(TM)i7-6700K CPU,软件为Matlab2018b;对比方法为基于HBase的智慧城市数据处理方法以及基于Hadoop的智慧城市数据处理方法。
在本发明所述算法实验中,数据集为10T的智慧城市数据。本实验通过将智慧城市数据输入到算法模型中,将智慧城市数据处理的有效性作为算法可行性的评价指标,其中智慧城市数据处理的有效性越高,则说明算法的有效性、可行性越高。
根据实验结果,基于HBase的智慧城市数据处理方法的智慧城市数据处理有效性为85.32,基于Hadoop的智慧城市数据处理方法的智慧城市数据处理有效性为84.99,本发明所述方法的智慧城市数据处理有效性为89.78,相较于对比算法,本发明所提出的基于大数据的智慧城市数据处理方法能够实现更有效的智慧城市数据处理。
发明还提供一种基于大数据的智慧城市数据系统。参照图2所示,为本发明一实施例提供的基于大数据的智慧城市数据系统的内部结构示意图。
在本实施例中,所述基于大数据的智慧城市数据系统1至少包括智慧城市数据获取装置11、数据处理器12、智慧城市评分装置13,通信总线14,以及网络接口15。
其中,智慧城市数据获取装置11可以是PC(Personal Computer,个人电脑),或者是智能手机、平板电脑、便携计算机等终端设备,也可以是一种服务器等。
数据处理器12至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。数据处理器12在一些实施例中可以是基于大数据的智慧城市数据系统1的内部存储单元,例如该基于大数据的智慧城市数据系统1的硬盘。数据处理器12在另一些实施例中也可以是基于大数据的智慧城市数据系统1的外部存储设备,例如基于大数据的智慧城市数据系统1上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,数据处理器12还可以既包括基于大数据的智慧城市数据系统1的内部存储单元也包括外部存储设备。数据处理器12不仅可以用于存储安装于基于大数据的智慧城市数据系统1的应用软件及各类数据,还可以用于暂时地存储已经输出或者将要输出的数据。
智慧城市评分装置13在一些实施例中可以是一中央处理器(Central ProcessingUnit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片,包括监控单元,用于运行数据处理器12中存储的程序代码或处理数据,例如智慧城市数据处理程序指令16等。
通信总线14用于实现这些组件之间的连接通信。
网络接口15可选的可以包括标准的有线接口、无线接口(如WI-FI接口),通常用于在该系统1与其他电子设备之间建立通信连接。
可选地,基于大数据的智慧城市数据系统1还可以包括用户接口,用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在基于大数据的智慧城市数据系统1中处理的信息以及用于显示可视化的用户界面。
图2仅示出了具有组件11-15以及基于大数据的智慧城市数据系统1,本领域技术人员可以理解的是,图1示出的结构并不构成对基于大数据的智慧城市数据系统1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
在图2所示的基于大数据的智慧城市数据系统1实施例中,数据处理器12中存储有智慧城市数据处理程序指令16;智慧城市评分装置13执行数据处理器12中存储的智慧城市数据处理程序指令16的步骤,与基于大数据的智慧城市数据处理方法的实现方法相同,在此不作类述。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有智慧城市数据处理程序指令,所述智慧城市数据处理程序指令可被一个或多个处理器执行,以实现如下操作:
将城市划分为网格区域,并建立基于移动传感器的城市交通网络感知模型;
利用移动传感器感知城市交通环境信息,收集城市环境信息数据;
根据城市交通网络中的通信基站,获取市民的通信信息数据以及个人信息数据,将城市环境信息数据以及市民信息数据作为智慧城市数据;
建立智慧城市评价体系,确定智慧城市评价指标权重,并实时更新各指标的权重。
需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种基于大数据的智慧城市数据处理方法,其特征在于,所述方法包括:
将城市划分为网格区域,并建立基于移动传感器的城市交通网络感知模型;
利用移动传感器感知城市交通环境信息,收集城市环境信息数据;
根据城市交通网络中的通信基站,获取市民的通信信息数据以及个人信息数据,将城市环境信息数据以及市民信息数据作为智慧城市数据;
建立智慧城市评价体系,确定智慧城市评价指标权重,并实时更新各指标的权重。
2.如权利要求1所述的一种基于大数据的智慧城市数据处理方法,其特征在于,所述将城市划分为网格区域,包括:
将城市划分为网格区域,其中ri表示第i个城市网格区域,R={r1,r2,…,rn}为城市网格区域集合,n表示城市被划分为n个网格区域。
3.如权利要求2所述的一种基于大数据的智慧城市数据处理方法,其特征在于,所述建立基于移动传感器的城市交通网络感知模型,包括:
利用H={h1,h2,…,hk}表示移动传感器集合,k表示移动传感器的总数,其中移动传感器每隔Δt时间采集城市交通环境信息,城市交通网络感知时刻集合为T={t1,t2,…,tm},Δt=ti+1-ti,得到基于城市网格表示的移动传感器移动轨迹为:
其中:
l(hi,ti)表示移动传感器hi在时刻ti所处的网格区域,l(hi,ti)∈R;
L(h,t)表示k个移动传感器在m个时刻内所处的全部网格区域集合;
建立城市交通网络感知模型S(C):
其中:
C表示被选中进行环境感知的移动传感器集合。
4.如权利要求3所述的一种基于大数据的智慧城市数据处理方法,其特征在于,所述利用移动传感器感知城市交通环境信息,包括:
根据所建立的城市交通网络感知模型,确定城市环境信息感知目标函数:
s.t.E≤B
其中:
ai表示移动传感器hi是否被选中进行城市交通环境信息感知,当ai=1,表示移动传感器hi被选中进行城市交通环境信息感知,当ai=0,表示移动传感器hi未被选中进行城市交通环境信息感知;
ei表示移动传感器hi的移动感知成本;
B表示城市环境信息感知的成本阈值;
根据所求移动传感器集合C,确定移动传感器的移动轨迹动作,所述移动轨迹动作的更新公式为:
其中:
P(st,at)表示移动传感器在t时刻采取动作at,st表示移动传感器在t时刻的状态,所述移动传感器的状态包括移动传感器的朝向、速度等;
β表示更新步长,将其设置为2;
对所有移动传感器重复上述移动轨迹的更新,得到不同移动传感器的轨迹路径集合;
移动传感器按照轨迹路径集合进行移动,并在移动过程中实时采集城市交通环境信息数据。
5.如权利要求4所述的一种基于大数据的智慧城市数据处理方法,其特征在于,所述获取市民的通信信息数据以及个人信息数据,包括:
所述通信信息数据的获取流程为:
1)根据LAC字段以及CI字段,将手机信令数据与通信基站匹配,并为手机信令数据赋予NID标签,所述NID标签为基站ID;
2)将时间片的长度定义为一个小时,每一个市民用户一天中有0~23共24个标签,每个标签的值分别表示该市民用户在当天0点到23点每个小时与其建立连接的基站的NID编号;
3)若一个市民用户同一个时间片内含有多条信令数据,则取数量较多的NID作为表示这个时间片的标签;
输出结果中每一个文件夹代表一个日期,文件夹名称为当前日期,内部一组文件内的信息组成数据目录,每行数据代表一个用户,D字段代表此行用户的电话号码ID,每行有24个时间片标签。
6.如权利要求5所述的一种基于大数据的智慧城市数据处理方法,其特征在于,所述建立智慧城市评价体系,确定智慧城市评价指标权重,包括:
所述智慧城市评价指标的权重计算方法为:
1)收集城市指标数据,并采用比重法对城市指标数据进行标准化处理,得到指标向量Q=(Q1,Q2,…,Qn),其中Qi表示第i个城市指标的数据向量,n表示数据指标总数;
2)计算Q的差异系数向量:
3)计算权重待定参数向量:
4)计算不同智慧城市评价指标的权重:
wi=Qi*VT
其中:
wi表示智慧城市评价指标i的权重;
设定权重计算时间间隔为一个月,每月初更新智慧城市评价指标权重值;
根据智慧城市评价指标权重值,计算不同城市的智慧城市得分:
其中:
7.一种基于大数据的智慧城市数据系统,其特征在于,所述系统包括:
智慧城市数据获取装置,用于将城市划分为网格区域,并建立基于移动传感器的城市交通网络感知模型;利用移动传感器感知城市交通环境信息,收集城市环境信息数据;
数据处理器,用于根据城市交通网络中的通信基站,获取市民的通信信息数据以及个人信息数据,将城市环境信息数据以及市民信息数据作为智慧城市数据;
智慧城市评分装置,用于建立智慧城市评价体系,确定智慧城市评价指标权重,并实时更新各指标的权重,并对不同城市的智慧城市得分进行评分。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有智慧城市数据处理程序指令,所述智慧城市数据处理程序指令可被一个或者多个处理器执行,以实现如上所述的基于大数据的智慧城市数据系统的实现方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110909332.1A CN113627783A (zh) | 2021-08-09 | 2021-08-09 | 一种基于大数据的智慧城市数据系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110909332.1A CN113627783A (zh) | 2021-08-09 | 2021-08-09 | 一种基于大数据的智慧城市数据系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113627783A true CN113627783A (zh) | 2021-11-09 |
Family
ID=78383703
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110909332.1A Withdrawn CN113627783A (zh) | 2021-08-09 | 2021-08-09 | 一种基于大数据的智慧城市数据系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113627783A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114328780A (zh) * | 2021-12-24 | 2022-04-12 | 郑州信大先进技术研究院 | 基于六角格的智慧城市地理信息更新方法、设备及介质 |
CN114398119A (zh) * | 2021-12-21 | 2022-04-26 | 深圳市易图资讯股份有限公司 | 多人即时同步操控智慧城市的智能信息系统及方法 |
CN114898559A (zh) * | 2022-05-26 | 2022-08-12 | 中国科学院深圳先进技术研究院 | 一种城市车辆移动感知能力测定方法 |
CN115017251A (zh) * | 2022-08-05 | 2022-09-06 | 山东省计算中心(国家超级计算济南中心) | 一种用于智慧城市的标准映射地图建立方法及系统 |
-
2021
- 2021-08-09 CN CN202110909332.1A patent/CN113627783A/zh not_active Withdrawn
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114398119A (zh) * | 2021-12-21 | 2022-04-26 | 深圳市易图资讯股份有限公司 | 多人即时同步操控智慧城市的智能信息系统及方法 |
CN114328780A (zh) * | 2021-12-24 | 2022-04-12 | 郑州信大先进技术研究院 | 基于六角格的智慧城市地理信息更新方法、设备及介质 |
CN114328780B (zh) * | 2021-12-24 | 2024-04-12 | 郑州信大先进技术研究院 | 基于六角格的智慧城市地理信息更新方法、设备及介质 |
CN114898559A (zh) * | 2022-05-26 | 2022-08-12 | 中国科学院深圳先进技术研究院 | 一种城市车辆移动感知能力测定方法 |
CN114898559B (zh) * | 2022-05-26 | 2023-08-15 | 中国科学院深圳先进技术研究院 | 一种城市车辆移动感知能力测定方法 |
CN115017251A (zh) * | 2022-08-05 | 2022-09-06 | 山东省计算中心(国家超级计算济南中心) | 一种用于智慧城市的标准映射地图建立方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113627783A (zh) | 一种基于大数据的智慧城市数据系统 | |
CN112329659B (zh) | 基于车辆图像的弱监督语义分割方法及其相关设备 | |
CN111259840A (zh) | 土地占用预警方法、装置、设备和存储介质 | |
CN111402579A (zh) | 道路拥堵程度预测方法、电子装置及可读存储介质 | |
CN114550053A (zh) | 一种交通事故定责方法、装置、计算机设备及存储介质 | |
CN113220734A (zh) | 课程推荐方法、装置、计算机设备及存储介质 | |
Zhao et al. | A network distance and graph-partitioning-based clustering method for improving the accuracy of urban hotspot detection | |
Ghodgaonkar et al. | Analyzing worldwide social distancing through large-scale computer vision | |
CN113886721B (zh) | 个性化兴趣点推荐方法、装置、计算机设备及存储介质 | |
CN113704373B (zh) | 基于移动轨迹数据的用户识别方法、装置及存储介质 | |
CN110136841A (zh) | 疾病发病预测方法、装置及计算机可读存储介质 | |
CN114022841A (zh) | 人员监控识别方法、装置、电子设备及可读存储介质 | |
CN113378668A (zh) | 积水类别的确定方法、装置、设备及存储介质 | |
Sitanayah et al. | A Low Cost Vehicle Counting System Based On The Internet of Things | |
CN117391866A (zh) | 一种数据处理方法、装置、设备及其存储介质 | |
CN116523622A (zh) | 对象风险预测方法和装置、电子设备及存储介质 | |
CN112257908B (zh) | 一种山区农业多源异构数据的整合方法及装置 | |
CN114611841A (zh) | 一种景区游客流量预测方法及装置 | |
Liao et al. | Location prediction through activity purpose: integrating temporal and sequential models | |
CN110895543A (zh) | 人口迁徙跟踪展示方法、装置及存储介质 | |
Outay et al. | Random forest models for motorcycle accident prediction using naturalistic driving based big data | |
CN113920720A (zh) | 高速公路隧道设备故障处理方法、装置及电子设备 | |
WO2020045107A1 (ja) | 評価更新装置、方法、及びプログラム | |
Murrar et al. | Machine Learning Algorithms for Transportation Mode Prediction: A Comparative Analysis | |
JP2020035021A (ja) | 評価装置、方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20211109 |
|
WW01 | Invention patent application withdrawn after publication |