发明内容
本发明的目的在于,提供一种智慧城市规划用数据处理方法及系统;所述处理方法通过从城市各分区中获取多个分区表现指标以及该分区的基础设施指标的数据,从而判断各个分区表现与与其相关的设施指标的相关程度,并通过将与一个分区表现的多个设施指标的相关度进行相加求和,最终统计出多个分区表现的重要性程度;进一步的,该处理系统的数据使用区块链进行记录,由多个数据源通过网络将数据上传并写入区块链的区块中以进行保存;该处理方法通过根据分区表现指标或者设施指标进行聚类计算,以形成多个统计集群;每个集群设置有管理节点,用于对集群中指标的数据源采集的数据进行有效性验证,以在区块链中将异常的数据进行标记并排除在统计之外。
本发明采用如下技术方案:
一种智慧城市规划用数据处理方法,所述处理方法包括以下步骤:
存储多个城市分区的分区表现指标以及多个基础指标;
计算所述分区表现指标与至少一项与该分区表现指标相关的所述基础指标之间的相关度;
将与一项所述分区表现指标相关的全部所述基础指标的相关度的绝对值求和,以计算该项所述分区表现指标的重要性指数;
其中,所述处理方法包括基于城市中至少两个分区的所述分区表现指标或者所述基础指标的指标值进行聚类,识别出属于同一集群的分区,并将属于同一集群的分区赋予具有集群编号的标签;
所述分区表现指标以及基础指标存储于区块链,并且该区块链运行于网络中;多个数据源节点连接到所述区块链;所述数据源节点用于采集所述分区表现指标或所述基础指标数据,并在数据采集后传输到所述区块链网络中进行验证以及保存;
所述区块链网络中还包括运行有一个或一个以上的管理节点;每个所述管理节点代表一个所述集群;所述管理节点周期性地从区块链中获取最新区块中的数据,并验证其所属集群的所述分区表现指标或所述基础指标数据的有效性;
优选地,所述处理方法根据至少两个分区的若干指标值进行聚类计算,以基于这些指标值的特征将分区按特征划分为集群;采用的聚类计算算法包括基于Ward聚类法或k均值聚类法;
优选地,所述分区表现指标与所述基础指标的相关度是基于使用皮尔逊积矩相关系数或因果环图(CLD)的方法计算;
优选地,当所述管理节点验证到一项或多项指标数据的有效性不合格时,包括执行以下步骤:
将该项数据赋予非法标签,并更新到区块链的区块数据中;
将该项数据的数值保存在异常数据表;
进一步的,所述处理方法包括应用于一种处理系统;所述处理系统包括服务器以及多个终端;所述服务器与多个所述终端连接于通信网络;
其中,所述终端包括传感器以及与传感器耦合连接的网络模块,用于采集所述分区表现指标以及所述基础指标的数据,并通过网络模块与区块链进行数据传输;
所述服务器包括处理器以及与所述处理器电路连接的存储器;所述服务器用于执行所述处理方法中任意一项指标数据的处理以及计算;
优选地,在所述管理节点验证到一项或多项指标数据的有效性异常时,包括:
向与异常指标有关的所述终端发送检查指令,以检查所述终端的数据采集装置是否出现故障;
派遣相关操作人员到现场进行对所述终端进行硬件以及所述终端存储的数据进行检查。
本发明所取得的有益效果是:
本发明的处理方法通过将城市中的多个分区进行细化划分,并统计每个分区中的多个表现指标的数据以及对应的分区中基础措施的建设数据,以评估该两个数据的相关性程度,进一步深化理解数据背后的逻辑关系;
本发明的处理方法通过区块链进行数据的保存与验证,并基于指标数据对多个分区进行集群的划分,在每个集群中设置有代表该集群在区块链中的管理节点,负责对该集群的数据进行有效性验证,以保证统计时数据的准确性;
本发明的处理系统,允许源数据采集设备直接连接到区块链中的分布式存储数据库进行数据记录,对数据的进一步处理通过处理系统内的服务器设备从区块链中获取源数据,从而避免了数据的采集后可能经过人工干预或其他形式的修改;
本发明的处理系统中各软、硬件部分采用了模块化设计,方便今后的升级或者更换相关的软、硬件环境,降低了使用的成本。
具体实施方式
为了使得本发明的目的技术方案及优点更加清楚明白,以下结合其实施例,对本发明进行进一步详细说明;应当理解,此处所描述的具体实施例仅用于解释本发明 ,并不用于限定本发明。对于本领域技术人员而言,在查阅以下详细描述之后,本实施例的其它系统、方法和/或特征将变得显而易见。旨在所有此类附加的系统、方法、特征和优点都包括在本说明书内。包括在本发明的范围内,并且受所附权利要求书的保护。在以下详细描述描述了所公开的实施例的另外的特征,并且这些特征根据以下将详细描述将是显而易见的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件;在本发明的描述中,需要理解的是,若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或组件必须具有特定的方位。以特定的方位构造和操作,因此附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
实施例一:一种智慧城市规划用数据处理方法,所述处理方法包括以下步骤:
存储多个城市分区的分区表现指标以及多个基础指标;
计算所述分区表现指标与至少一项与该分区表现指标相关的所述基础指标之间的相关度;
将与一项所述分区表现指标相关的全部所述基础指标的相关度的绝对值求和,以计算该项所述分区表现指标的重要性指数;
其中,所述处理方法包括基于城市中至少两个分区的所述分区表现指标或者所述基础指标的指标值进行聚类,识别出属于同一集群的分区,并将属于同一集群的分区赋予具有集群编号的标签;
所述分区表现指标以及基础指标存储于区块链,并且该区块链运行于网络中;多个数据源节点连接到所述区块链;所述数据源节点用于采集所述分区表现指标或所述基础指标数据,并在数据采集后传输到所述区块链网络中进行验证以及保存;
所述区块链网络中还包括运行有一个或一个以上的管理节点;每个所述管理节点代表一个所述集群;所述管理节点周期性地从区块链中获取最新区块中的数据,并验证其所属集群的所述分区表现指标或所述基础指标数据的有效性;
优选地,所述处理方法根据至少两个分区的若干指标值进行聚类计算,以基于这些指标值的特征将分区按特征划分为集群;采用的聚类计算算法包括基于Ward聚类法或k均值聚类法;
优选地,所述分区表现指标与所述基础指标的相关度是基于使用皮尔逊积矩相关系数或因果环图(CLD)的方法计算;
优选地,当所述管理节点验证到一项或多项指标数据的有效性不合格时,包括执行以下步骤:
将该项数据赋予非法标签,并更新到区块链的区块数据中;
将该项数据的数值保存在异常数据表;
进一步的,所述处理方法包括应用于一种处理系统;所述处理系统包括服务器以及多个终端;所述服务器与多个所述终端连接于通信网络;
其中,所述终端包括传感器以及与传感器耦合连接的网络模块,用于采集所述分区表现指标以及所述基础指标的数据,并通过网络模块与区块链进行数据传输;
所述服务器包括处理器以及与所述处理器电路连接的存储器;所述服务器用于执行所述处理方法中任意一项指标数据的处理以及计算;
优选地,在所述管理节点验证到一项或多项指标数据的有效性异常时,包括:
向与异常指标有关的所述终端发送检查指令,以检查所述终端的数据采集装置是否出现故障;
派遣相关操作人员到现场进行对所述终端进行硬件以及所述终端存储的数据进行检查;
以下进行详细说明:
智慧城市的建设评估是利用多个表现指标I对智慧城市的信息通信系统及其对城市市民生活水平的提升、对城市运行管理效率和公共服务水平的提高、对经济发展和产业竞争能力的促进,以及城市的可持续发展进行合理评估;表现指标I的数值的产生是受城市建设中多个基础设施的影响,例如:表现指标为“平均通勤时间”,影响表现指标I的基础指标D可能包括道路平均车速、公交车覆盖率以及公交单车数量等;同时多个基础指标D的计算又由在多个时刻的实际监测数字d通过统计计算所得,因此每个基础指标D具有其计算的方法;
同时,在实际城市规划中,由于城市的多个分区其发展条件和基础条件具有差异,其基础设施建设条件差异将导致城市分区中的各个表现指标亦不尽相同;因此,智慧城市的评估转化可包括以下步骤:
(1)确定多个分区表现指标Ij,j为整数;
(2)确定多个基础指标Dk(k=1,2……)以及每个基础指标Dk的计量方法f(Dk);
(3)收集与每个基础指标Dk相关的源数据dk1,dk2,……,dkn;
(4)将基础指标的具体数值赋值到f(Dk)中,计算Dk的具体数值;
由于分区表现指标I与多个基础指标D的关系并不是简单的函数关系,因此进一步的,通过计算每个分区表现指标Ik以及与Ik的相关的至少一个基础指标Dk之间的相关性程度,将可以为城市规划作进一步的指导,指出基础设施中的重点影响因素或者当前存在的不足因素,或者一些可以暂时忽略的因素,从而集中相关的政策向重点因素倾斜;
进一步的,如附图1所示,示出了所述处理系统的一种实施方式:
所述处理系统包括至少一个服务器100、多个终端200(图1中标示为200a、200b)以及连接于这些装置之间的网络300;
一种示例性的实施方式中,网络300是某种类型的通信网络方式,例如有线局域网(LAN)或无线LAN,或移动电话网络;
一种示例性的实施方式中,如附图2所示,终端200一般为具有内部或外部传感器的装置(例如电表、流量计、水质计、氮氧化物浓度计或噪声计);终端200至少包括进行计算处理的微处理器202、存储器、通信模块104和传感器204;例如,通信模块104可以为有线LAN卡或无线LAN卡或手机天线,连接到网络300;传感器204例如是功率计、交通流量计、水质计、氮氧化物浓度计等等;
目标210作为终端200的感测数据的获取的目标,由相关技术人员将终端200设置到指定的目标210处,并对终端200进行相关的调试以保证其正常获取目标210的数据并且正确连接到网络进行数据通信;
目标210在根据具体实施方式,可以为不同的对象;例如:目标210可以为指定的路段,终端200布置于该路段中,用于检测该路段的噪声数据、车流量或者车速等;或者,目标210可以为河段,终端200中包括有水质计,用于检测该河段的水质;
进一步的,区块链301包括多个节点;这些节点与网络300之间建立并支持区块链301的运行;服务器100可以作为节点之一支持该区块链运行;另一些实施方式中,节点可以为其他非服务器100的计算机设备,例如各类型的数据心中、个人计算机或者其他设备;
进一步的,服务器100示例性地可以为各类型的计算运算装置;服务器100根据源数据表350计算指标值并管理指标值;其中,服务器100至少包括处理器101、易失性存储器102、非易失性存储器103、通信模块104,还可以包括输入设备105和显示设备106;
在一些实施方式中,通信模块104为有线网卡或无线网卡等接口,通过网络300与区块链301进行通信;
在一些实施方式中,输入设备105为输入按钮、键盘、麦可风等装置,相关操作人员通过它对服务器100执行各种输入;
在一些实施方式中,显示设备106是诸如液晶显示器之类的设备,用于向相关操作人员显示所述处理系统的计算结果;
在一些实施方式中,非易失性存储器103是硬盘、闪存等用于存储所述处理系统所需的应用程序和数据的设备;所述应用程序至少包括用于管理数据的管理程序、指标的计算公式管理程序以及指标值的计算程序;
对于本实施方式的区块链301,可以设置多个终端200以及节点对区块链301的读写权限,以保证区块链数据的安全;
在一些实施方式中,终端200通过网络连接到其中一个节点,并需要将采集所得的源数据先传输到节点,再由节点将源数据写入区块链301的区块中;
在一些实施方式中,节点将源数据周期性地进行打包为数据包并且进行数据包的加密后,再写入到区块链301中;
在一些实施方式中,仅所述管理节点以及用于执行所述处理方法的服务器100具有对数据包的解密密钥,从而使没有解密密钥的节点或其他终端无法获得源数据,保证源数据的安全;
进一步的,区块链301作为一种分布式存储的数据库,可用于记录本发明所述处理系统的任意一项数据;
如附图3所示,区块链301中存储有分区列表数据库345,用于存储多个分区的名称或编号,例如分区A、分区B……等等;
可选地,如附图4所示,区块链301中存储有源数据表350;在所述终端200中包括运行有感测程序;感测程序是用于利用传感器204读取感测数据,通过将分区名称、源数据项目和采集时间添加到感测数据来生成源数据表350,并通过通信模块104将数据上传到网络并写入区块链301;所述感测程序可以加载到终端200的存储器中以由微处理器202执行,从而执行上述处理;源数据表350是作为后述的指标值计算源的数据,如上所述,是在传感器采集的源数据值上附加分区名黎、源数据项目名称、采集日期时间的数据表
可选地,如附图5所示,区块链301中存储有所述基础指标D的指标计算公式列表360,用于从源数据表350中提取相应的目标数值,计算多个基础指标D的具体指标值;
可选地,如附图6所示,区块链301中包括存储有指标数据表365;在指标数据表365中保存多个表现指标I的数据,其中包括有多个分区的多个表现指标I的数据;并且每一个表现指标I包括有对应的分区名称、指标类型、指标名称、指标数值以及对应的统计时间;
通过以上数据表,即可以进行后续的处理方法;
示例性的实施方式中,包括采用数据聚类算法,统计出属于一个集群中的多个分区;这里采用的数据聚类算法可以是各种类型的聚类算法中的一种,例如Ward聚类算法或k均值聚类算法;
示例性地描述采用k均值聚类算法的计算过程;
首先,生成数据A0= (a01 , ..., a0n );数据A0的维度对应于在指标数据表365指标名称的一个或多个;示例性地,在附图7中,指标名称选择“平均通勤时间”和“晚高峰平均车速”两项指标时,A0为n=2的二维数据;指标名称对应的指标值存储在a01和a02中;
接下来,针对步骤中获取的m条记录生成n维数据,包括A1=(a11 , ..., a1n), ...,Am=(am1, ..., a mn),适用于与A0的相同规则,在每条记录A0,...,Am的各个维度中存储了相同指标名称对应的指标值;
附图7中是表示选择“平均通勤时间”和“晚高峰平均车速”的关系的图;为了简单起见,仅列出三个分区作为分区名称;如附图中所示,可得对应于分区A为A0= (aa,xx),分区B为A1= (bb,yy),分区C为A2= (cc, zz),
进一步的,对于A0,...,Am,指定每个维度的最大值aj(max)和最小值aj (min)(j = 1到 n)以将值归一化为在0至100;因此,对于i=0~m,以及j=1~n,其中Aij在A0, ...,Am被替换为Aij;如附图7的数据表中,j=1时代表“平均通勤时间”一列数据,其中假设“平均通勤时间”最大值和最小值分别为a1(max)=aa和a1(min)=cc, 则对该列数据进行归一化处理后,a01=(aa - a1(min))×100/(a1(max)-a1(min));
依照以上方法,将附图7中的数据表中的数据均进行归一化处理,继续后面计算;
(1)首先随机选取样本中的K个点作为聚类中心;
(2)分别算出样本A0,...,Am中各个样本距离这K个聚类中心的距离,并把这些样本分别作为自己最近的那个聚类中心的类别;
(3)对上述分类完的样本再进行每个类别求平均值,求解出新的聚类质心;
(4)与前一次计算得到的K个聚类质心比较,如果聚类质心发生变化,转到步骤(2),否则转到后面步骤(5);
(5)当质心不发生变化时(即找到一个质心,在每次迭代中被分配到这个质心上的样本都是一致的,即每次新生成的簇都是一致的,所有的样本点都不会再从一个簇转移到另一个簇,质心就不会变化了),停止并输出聚类结果;
例如,基于“平均通勤时间”和“晚高峰平均车速”两个指标,可以将多个分区划分到“通勤交通便利”和“通勤交通不便利”两个集群,以进行进一步区别运算;
进一步的,针对集群内的分区,基于该集群的特征,例如是关于通勤便利性,则选取分区表现指标“平均通勤时间”与多个基础指标计算相关度;
以采用皮尔逊相关系数算法为例,在一种实施例中,获得如附图8的指标相关度数据表370;该数据表中示例性地列出两个分区表现指标与三个基础指标的相关度;其中,相关度的数值为-1~1,其中-1代表强负相关,1代表强正相关,0代表两者无关;
进一步的,包括将指标相关度数据表370中相关度数据取绝对值,并且将一个分区指标与多个基础指标的相关度的绝对值进行求和后,可获得一个重要性指数;当一个分区指标的重要性指数较高时,代表当前该指标与多个基础建设高度相关;而相对地,则代表该表现指标当前与分区的基础建设相关度不大;
通过以上实施方式,从指标相关度数据表370中可以看到城市的多个分区规划中与具体的表现指标相关的多个基础指标的相关度情况;管理者可以根据这些管理情况进行后续城市分区的规划。
实施例二:本实施例应当理解为至少包含前述任意一个实施例的全部特征,并在其基础上进一步改进:
为进一步提高所述处理系统源数据的安全性以及真实性,在区块链301的多个节点中,设置有管理节点;所述管理节点可以根据需要,或者周期性地从区块链301中获取源数据进行有效性的检验;例如,当有终端出现故障、源数据被人为从采集源修改,从而造成数据异常时,将对所述处理方法产生一系列的数据影响;
在一些实施方式中,包括根据上述的集群的划分,选取管理节点进行源数据的检验;一种实施方式中,对于“通勤交通便利”的集群,设置节点R为负责该集群的管理节点;节点R可以从区块链获取源数据,并且检验与“通勤交通便利”集群相关的分区表现数据以及基础数据所关联的源数据进行检验;
基于以上设置,选择管理节点时,可以根据节点的运算能力、地理位置,节点所在的机构的职能等进行选择,
可以理解的,一个节点可以分别为多个集群进行数据检验服务,这取决于使用应用本发明的处理系统的相关人员的设置。
实施例三:本实施例应当理解为至少包含前述任意一个实施例的全部特征,并在其基础上进一步改进:
所述管理节点可以根据多种设置检验条件,检验源数据的异常;
在一些实施方式中,所述管理节点可以根据一个源数据的历史平均值、年度平均值、月度平均值等方法,检验一个源数据是否出现明显波动;
在一些实施方式中,所述管理节点可以根据基础指标与指定的分区表现指标的相关度高低,调整对高相关度的基础指标以及相关的源数据进行高频率的检验;
在一些实施方式中,包括设置对指定终端的检验数据进行不同频次的检验;
当管理节点对源数据检验完成,并且未发现异常时,区块链301中的数据将不作出任何修改,并持续生成新的区块;
当管理节点发现源数据异常时,由于区块链的特性,旧区块的数据表无法修改,管理节点可以在最新一个区块中,对源数据表350中的异常数据进行标记或屏蔽,以禁止该源数据值被读取;并且,需要说明的是,管理节点没有修改源数据的权限,仅可以对源数据进行异常标记或在本管理节点读取该项源数据时的对其进行屏蔽;
由于管理节点具有对区块数据的标记或屏蔽权限,因此需要区块链的验证机关对管理节点进行审查或者发行高权限的证书,以确保其功能不被滥用。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
虽然上面已经参考各种实施例描述了本发明,但是应当理解,在不脱离本发明的范围的情况下,可以进行许多改变和修改。也就是说上面讨论的方法,系统和设备是示例。各种配置可以适当地省略,替换或添加各种过程或组件。例如,在替代配置中,可以以与所描述的顺序不同的顺序执行方法,和/或可以添加,省略和/或组合各种部件。而且,关于某些配置描述的特征可以以各种其他配置组合,如可以以类似的方式组合配置的不同方面和元素。此外,随着技术发展其中的元素可以更新,即许多元素是示例,并不限制本公开或权利要求的范围。
在说明书中给出了具体细节以提供对包括实现的示例性配置的透彻理解。然而,可以在没有这些具体细节的情况下实践配置例如,已经示出了众所周知的电路,过程,算法,结构和技术而没有不必要的细节,以避免模糊配置。该描述仅提供示例配置,并且不限制权利要求的范围,适用性或配置。相反,前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能描述。在不脱离本公开的精神或范围的情况下,可以对元件的功能和布置进行各种改变。
综上,其旨在上述详细描述被认为是例示性的而非限制性的,并且应当理解,以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。