发明内容
本发明实施例旨在至少在一定程度上解决相关技术中的技术问题之一。为此,本发明实施例的一个目的是提供一种区域数据管理系统。
本发明所采用的技术方案是:
第一方面,本发明实施例提供一种区域数据管理系统,包括:数据采集模块、数据服务管理模块和数据库云服务模块;所述数据采集模块包括数据采集设备和数据采集节点;所述数据服务管理模块包括数据服务协议单元、数据服务定制单元和对外数据处理单元;所述数据采集设备在其功能范围内采集一个地区内的区域数据,将所述区域数据通过所述数据采集节点传输至所述数据库云服务模块;所述数据服务协议单元获取服务选择操作,所述数据服务定制单元根据所述服务选择操作选择或组合已有算法得到对应的数据处理算法,所述对外数据处理单元通过所述数据处理算法处理所述区域数据以得到服务数据,所述数据服务协议单元输出所述服务数据,通过数据采集设备能够获取所需的城市的一个地区的数据,通过数据采集节点的方式能够形成数据集中,降低数据传输通道的建设要求,通过数据库云服务的方式,能够提高存储数据的利用率,通过获取客户的服务选择操作建立合适数据处理算法以适应客户需求,形成整个地区的数据之间的有机结合,提高数字城市的效能。
优选地,所述数据采集模块还包括采集节点监控单元;所述采集节点监控单元检测所述采集节点并根据所述采集节点的负载调节所述数据采集设备与所述采集节点之间的连接关系;所述采集节点监控单元检验所述区域数据的数据结构并输出校验结果;所述采集节点监控单元获取并输出所述区域数据的上传记录,通过针对于采集节点的连接调节,能够提高数据传输的容错率,降低发生意外的可能性,通过检验数据结构,能够发现区域数据的异常,有利于推行后续的诸如维护采集设备之类的处理。
优选地,所述数据库云服务模块包括存储单元和SaaS单元,所述数据服务协议单元通过所述SaaS单元连接所述存储单元,通过Platform-as-a-Service:平台即服务,能够通过提供服务的平台实现针对于存储单元的诸如访问、写入数据和读取数据。
优选地,所述数据采集节点通过预设的数据预处理算法处理所述区域数据以执行数据的分类、数据的标准化和不同数据之间的关联,通过预设的数据预处理算法实现数据的分类、标准化和关联,能够为后续的存储提供一个在先的处理,提高存储的存储效率,同时方便后续数据读取时,能够快速找到同类数据或关联数据。
优选地,还包括数据可视化模块,数据可视化模块包括数据解析单元和三维建模单元;所述区域数据包括建筑物数据和非建筑物数据,所述三维建模单元根据所述建筑物数据生成建筑物模型,处理所述非建筑物数据以形成对应的模型元素;所述数据解析单元处理所述非建筑物数据以得到非建筑数据与建筑数据的位置匹配关系,根据所述位置匹配关系组合所述建筑物模型和模型元素,建立三维的模型,相对于简单的平面的数据,更适合人从视觉上获得各种数据,提高用户的实用体验。
优选地,所述采集设备包括:采集现实事件并将所述现实事件转换成电子数据的物理采集设备和采集电子事件的虚拟采集设备,通过不同采集设备,能够采集不同类型的区域数据,有利于整合不同的数据,提高系统的应用范围。
优选地,所述数据库云服务模块还包括用于监控所述存储单元的运行性能的存储监控单元,通过监控存储单元的运行性能,能够通过调节数据的写入/读出的方式降低存储单元的负荷,提高存储单元的使用寿命,降低系统运行的风险。
优选地,用户通过所述数据服务协议单元连接所述SaaS单元,所述SaaS单元根据用户的权限和请求从所述存储单元获取指定的目标数据;所述数据服务协议单元根据用户的服务选择操作处理目标数据并将结果反馈至用户,通过用户的权限来限制存储单元的使用范围和服务类型,能够提供不同层次的服务体验,有利于协调不同的需求,同时降低系统由于同时出现大量服务选择操作导致系统发生处理能力不足的问题。
优选地,所述非建筑物数据包括商户信息和非商户信息,所述商户信息包括商户名称、营业内容和商铺位置,所述非商户信息包括非商户名称、提供服务的内容和服务场所,通过区分商户和非商户,能够适应不同的对象的不同需求,提高用户的使用体验。
优选地,所述物理采集设备包括传感器、摄像头、麦克风和能源计量器,所述非物理采集设备包括用于从第三方软件服务商获取信息的数据接口,通过物理采集设备,能够获取在现场的数据,通过数据接口,能够获得第三方软件服务商共享的信息,充实了能够获取的区域数据的内容,提高系统的实用性。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
实施例1。
本实施例提供如图1所示的区域数据管理系统,包括:
数据采集模块1、数据服务管理模块2和数据库云服务模块3;所述数据采集模块1包括数据采集设备11、数据采集节点12和采集节点监控单元13;所述数据服务管理模块2包括数据服务协议单元21、数据服务定制单元22和对外数据处理单元23;所述数据采集设备11在其功能范围内采集一个地区内的区域数据,将所述区域数据通过所述数据采集节点12传输至所述数据库云服务模块3;所述数据服务协议单元21获取服务选择操作,所述数据服务定制单元22根据所述服务选择操作选择或组合已有算法得到对应的数据处理算法,所述对外数据处理单元23通过所述数据处理算法处理所述区域数据以得到服务数据,所述数据服务协议单元21输出所述服务数据。
所述采集节点监控单元13连接所述数据采集节点12和/或数据库云服务模块3;所述采集节点监控单元检测所述采集节点并根据所述采集节点的负载调节所述数据采集设备与所述采集节点之间的连接关系;所述采集节点监控单元检验所述区域数据的数据结构并输出校验结果;所述采集节点监控单元获取并输出所述区域数据的上传记录。
数据服务协议单元可以基于REST即表述性状态传递(英文:RepresentationalState Transfer,简称REST)和SOAP简单对象访问协议(Simple Object Access Protocol,SOAP),执行与用户之间的数据交流。
数据服务定制单元存储有多种数据处理的算法,即已有算法。
数据库云服务模块3包括存储单元31、SaaS单元32和用于监控所述存储单元的运行性能的存储监控单元33,所述数据服务协议单元21通过所述SaaS单元32连接所述存储单元31。
区域数据管理系统还包括数据可视化模块4,数据可视化模块包括数据解析单元41和三维建模单元42,所述数据可视化模块4连接所述数据库云服务模块3。
区域数据包括建筑物数据和非建筑物数据,所述三维建模单元根据所述建筑物数据(包括建筑物名称、建筑物尺寸、地理位置等,都可以通过电子地图和市政局的资料等到)生成建筑物模型,处理所述非建筑物数据以形成对应的模型元素;所述数据解析单元处理所述非建筑物数据以得到非建筑数据与建筑数据的位置匹配关系,根据所述位置匹配关系组合所述建筑物模型和模型元素。
数据采集节点通过预设的数据预处理算法处理所述区域数据以执行数据的分类、数据的标准化和不同数据之间的关联。
采集设备包括:采集现实事件并将所述现实事件转换成电子数据的物理采集设备和采集电子事件的虚拟采集设备,例如物理采集设备包括传感器、摄像头、麦克风和能源计量器,所述非物理采集设备包括用于从第三方软件服务商获取信息的数据接口。
非建筑物数据包括商户信息和非商户信息,所述商户信息包括商户名称、营业内容和商铺位置,所述非商户信息包括非商户名称、提供服务的内容和服务场所,通过电子地图可以很方便的获取非建筑物数据,同样,也能得到位置匹配关系。
实施例2。
本实施例的目的在于描述本区域数据管理系统的功能性和所采取的技术。
数据采集模块、数据服务管理模块、数据库云服务模块和数据可视化模块之间采取松耦合的方式进行数据的交互,能够降低当一个模块发生异常时,影响其他模块的可能性,有利于维护整个系统的运行的稳定性。
区域数据管理系统的各个模块之间的通信采取加密的方式进行安全保护,例如采取安全传输层协议TLS的方式,能够降低系统受攻击的风险。
存储单元主要为关系型数据库MySQL和基于分布式文件存储的数据库MongoDB,SaaS单元是基于SaaS,Software-as-a-Service(软件即服务)技术的管理平台,通过该技术,能够实现存储单元的云服务化,降低客户的访问/利用数据所需要的技术背景,提高用户的使用舒适度,数据库云服务模块能实现自动或手动生成巡检报告、日志采集分析、参数变更、数据库监控、告警、数据库(即存储单元)自动化备份、备份集自动恢复演练、用户权限管理等功能。
数据采集模块采取分布式的框架设计,即设置多个相对独立的采集节点,采集节点与采集设备连接以获得对应的区域数据,当一个采集节点出现异常,能够及时更换其他的采集节点进行异常采集节点所负责的区域数据的采集,采集方式包括但不限于:主动数据抽取、增量数据追加、流方式、批量导入方式、实时数据采集、外部数据文件导入、异构数据库导入、消息数据接入等;可以采集多种格式数据,包括但不限于关系型数据库结构化数据、文本、日志、JSON、XML、视频、音频、网络报文等;通过采集设备采集到的原始数据须进行相关的预处理操作,包括但不限于数据清洗以清除无效数据、数据分类、分类整合等操作;通过采集节点监控单元,能够具备监测采集的数据实时变化、突变、越限、停止更新、误码等功能,能够根据数据特点自定义各种数据监测规则,同时,可以自定义报警规则,其原理在于通过预设的结构检测算法判断区域数据的结构是否发生异变;收集数据上传的频率,数据传输速度等参数来判断采集设备的状态等。
数据服务管理模块的主要目的在于提供面向于用户的数据处理服务,即根据客户的服务选择操作,确定客户需要对什么数据进行什么样的数据处理,具体的原理在于,数据服务管理模块本身存储有大量的数据处理的已有算法,根据客户的要求,定位、调用算法并执行针对目标数据的处理以得到服务数据,客户的服务选择操作可以包括:自定义数据源,自定义查询,自定义操作,自定义输入输出,自定义传输协议,通过组合请求一次调用多个操作。
数据可视化模块的主要目的在于建立一个关于地区范围内的三维模型,其主要包括区域内的建筑、区域外的建筑和区域内建筑的产生的服务所对应的模型元素,即首先确定区域内的建筑,即楼房、街道、树木、公共设施,通过测量获得其位置信息和尺寸信息,然后生成基于全球定位的三维模型,即三维模型中的不同的建筑物之间的位置和尺寸关系是符合现实关系的,而区域外的建筑关系的建立原理和区域内的建筑关系的建立原理类似,区分两种的建筑的原因在于将主要的处理能力运用在主要的地方,即区域内,能够降低区域数据管理系统的硬件需求,有利于降低系统建设成本,而服务所对应的模型元素,则为行为所产生的事件,即建筑的三维模型是事件产生的地点,而服务为在地点发生的事件,例如,不同建筑的人类活动所产生的能源的消耗,例如通过能源计量器获取水电气的消耗等;人的行动所产生的人流,或者火灾、水灾等意外事故等,都可以通过传感器,即红外传感器、压力传感器、热量传感器等进行检测,而对应的根据传感器的检测值判断事故的方法属于惯用的常规技术,而通过麦克风、摄像头进行安保也是较为常见的技术,则通过上述采集设备获取的实时,即现实事件。本实施例不进行进一步地说明,这些即属于采集现实事件并将其转换为电子数据的过程。另外除了上述的情况,还包括本身属于不是现实事件的情况,即电子事件,其定义在于,人利用第三方软件所进行的行为,例如电子支付,申请停车位的电子申请,通过搜索引擎查找店铺等,这些行为难以通过物理采集设备采集到,因此需要依赖于第三方软件供应商提供对应的数据,这些电子事件将在今后的数字城市里面占有很大的数据的比例,而对应的接收这些第三方软件供应商提供的数据的数据接口,可以是微信小程序等已经开源的软件,也可以是通过授权的方式,直接从客户的手机中获取,现在很多软件都会要求客户授权定位功能,则根据定位功能就能得到电子事件的发生地点,就可以形成与三维模型之间的位置匹配关系,而模型元素可以是单纯的在三维模型内部显示的数字表示现金流或者出现服务申请,也可以是虚拟的小人表示用户A,或者是简单的圆点等,通过模型元素和建筑的三维模型的结合,能够直观的显示一个地区的区域数据,有利于用户或者管理者对整体的把控。
以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。