CN109542967B - 基于xbrl标准的智慧城市数据共享系统及方法 - Google Patents
基于xbrl标准的智慧城市数据共享系统及方法 Download PDFInfo
- Publication number
- CN109542967B CN109542967B CN201811377457.9A CN201811377457A CN109542967B CN 109542967 B CN109542967 B CN 109542967B CN 201811377457 A CN201811377457 A CN 201811377457A CN 109542967 B CN109542967 B CN 109542967B
- Authority
- CN
- China
- Prior art keywords
- data
- standard
- xbrl
- module
- management
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000003860 storage Methods 0.000 claims abstract description 30
- 230000002776 aggregation Effects 0.000 claims abstract description 19
- 238000004220 aggregation Methods 0.000 claims abstract description 19
- 238000007726 management method Methods 0.000 claims description 75
- 230000006870 function Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 16
- 238000012795 verification Methods 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 claims description 13
- 238000005469 granulation Methods 0.000 claims description 12
- 230000003179 granulation Effects 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 11
- 238000009960 carding Methods 0.000 claims description 10
- 239000002245 particle Substances 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 7
- 238000012217 deletion Methods 0.000 claims description 7
- 230000037430 deletion Effects 0.000 claims description 7
- 238000012986 modification Methods 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 7
- 230000008447 perception Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013499 data model Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000032683 aging Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000007667 floating Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 238000012360 testing method Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract description 8
- 239000010410 layer Substances 0.000 description 29
- 238000010276 construction Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 7
- 230000018109 developmental process Effects 0.000 description 7
- 238000013500 data storage Methods 0.000 description 4
- 238000013486 operation strategy Methods 0.000 description 4
- 238000005065 mining Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000005553 drilling Methods 0.000 description 2
- 239000008187 granular material Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000002346 layers by function Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于数据融合和共享的技术领域,其公开了一种基于XBRL标准的智慧城市数据共享系统及方法,通过XBRL标准将城市数据关联、融合、处理、分析为信息后充分共享标准数据资源,为智慧城市提供跨领域、标准化、安全可靠的可持续高质量数据。本发明基于XBRL标准的智慧城市数据共享系统,包括:标准规范模块、分类标准模块、组件管理模块、数据链模块、存储库模块、数据聚合管理模块、数据检索模块和共享交换模块。该系统位于智慧城市建设参考模型的数据及服务支撑层,为智慧城市提供数据和服务融合、保障上层对于数据汇聚的相关需求,提供应用所需的各种数据服务和共享资源,即通过XBRL标准将城市数据关联、融合、处理、分析为信息后充分共享标准数据资源。
Description
技术领域
本发明属于数据融合和共享的技术领域,具体涉及一种基于XBRL标准的智慧城市数据共享系统及方法。
背景技术
智慧城市是城市发展的新理念,是推动政府职能转变、推进社会管理创新的新方法,目标是使得基础设施更加智能、公共服务更加快捷、社会管理更加精细、生态环境更加易居、产业体系更加优化。
智慧城市是利用新一代信息技术来感知、检测、分析、整合城市资源,对各种需求做出迅速、灵活、准确反应,为公众创造绿色、和谐环境,提供泛在、便捷、高效服务的城市形态。通过对新一代信息技术的创新应用来建设和发展智慧城市,是我国社会实现工业化、城镇化、信息化发展目标的重要举措,也是破解城市发展难题、提升公共服务能力、转变经济发展方式的必然要求。新一代信息技术包括云计算、大数据、物联网、地理信息、人工智能、移动计算等,是“互联网+”在现代城市管理的综合应用,是“数字城市”发展的必然。
智慧城市建设成败的关键不再是数字城市建设中建设大量的IT系统,而是如何有效推进城市范围内数据资源的整合,通过数据和IT系统的融合来实现跨部门的协调共享、行业的行动协调、城市的精细化运行管理等。
随着信息时代的不断发展,不同部门、不同地区间的信息交流逐步增加,计算机网络技术的发展为信息传输提供了保障。当大量的空间数据出现在网络上,面对多种多样的数据格式,我们怎样才能有效地利用它们呢?这其实就是数据共享与数据转换的问题。简单地说,数据共享就是让在不同地方使用不同计算机、不同软件的用户能够读取他人数据并进行各种操作运算和分析。
实现数据共享,可以使更多的人更充分地使用已有数据资源,减少资料收集、数据采集等重复劳动和相应费用,而把精力重点放在开发新的应用程序及系统集成上。由于不同用户提供的数据可能来自不同的途径,其数据内容、数据格式和数据质量千差万别,因而给数据共享带来了很大困难,有时甚至会遇到数据格式不能转换或数据转换格式后丢失信息的棘手问题,严重地阻碍了数据在各部门和各软件系统中的流动与共享。
发明内容
本发明所要解决的技术问题是:提出一种基于XBRL标准的智慧城市数据共享系统及方法,通过XBRL标准将城市数据关联、融合、处理、分析为信息后充分共享标准数据资源,为智慧城市提供跨领域、标准化、安全可靠的可持续高质量数据。
本发明解决上述技术问题所采用的技术方案是:
基于XBRL标准的智慧城市数据共享系统,包括:标准规范模块、分类标准模块、组件管理模块、数据链模块、存储库模块、数据聚合管理模块、数据检索模块和共享交换模块;
所述标准规范模块,包括标准发布、标准下载、标准管理;所述标准来源于基于XBRL标准对物联感知层采集的数据进行的颗粒化梳理;所述颗粒化梳理的目标是固化元素语义和数据格式,为每一个元素定义相关属性;
所述分类标准模块,包括生成分类标准和分类标准管理;所述生成分类标准是通过XBRL技术将城市数据关联、融合的处理过程,是数据处理的核心,通过对采集数据颗粒化梳理产生的某业务领域的XBRL颗粒化文件,对文件中的元素进行XBRL数据架构建模;建模工具使用XBRL模型定义样式MDS,经过MT转换器将MDS数据自动转换为符合XBRL国际标准的分类标准,并自动推送至系统;所述分类标准管理对MDS推送过来的分类标准提供解析、查看、下载、删除以及版本控制;
所述组件管理模块,包括MDS模型管理、MT转换器管理、数据连接器管理和数据加工器管理;其中,MDS模型管理是对MDS模型组件进行注册、在线修改、删除、验证和版本管理等,MDS模型修改后将同步需要更新分类标准和数据链的组件;MT转换器管理包括对MX转换器组件和XT转换器组件进行管理;数据连接器管理是对数据连接器组件进行注册、修改、删除、验证和版本的管理;数据加工器管理,是对数据加工器组件的注册、修改、删除和版本控制管理;
所述数据链模块,用于新建数据链、修改数据链、删除数据链和数据链验证;所述数据链是通过组件的组装,使用数据连接器和数据加工器组成完整的从城市数据源到数据存储前的数据流过程;
所述存储库模块,用于获取数据链模块生成的城市数据实例文档,并通过XBRL处理器解析分类标准和实例文档,经过符合性校验后将数据存储在指定注册的数据库中,同时提供对数据表的SQL查询及对数据库的事件监控与管理;
所述数据聚合管理模块,用于对实例文档中的数据以层级关系聚合,数据聚合按照业务领域分类管理,并且对在聚合前使用的基础数据提供数据编辑功能;
所述数据检索模块,用于提供数据检索功能,以及检索结果数据的XBRL、CVS格式的导出功能;
所述共享交换模块,用于通过全部的可视化配置实现标准数据的共享交换,其包括数据接收管理、检索条件、数据实例、应用对象、公司信息、共享交换配置和交换监控;
所述数据接收管理,用于接收数据服务的注册与管理,提供连接测试和发送验证功能;所述检索条件全部来源于数据检索模块的查询条件,在数据检索模块中经过检索核对后的数据作为交换或共享的数据,检索后将检索条件加入共享交换的检索条件中;所述数据实例用于在将检索结果获取的数据配置为实例过程中,对共享交换和涉密性强的数据进行过滤;所述应用对象是数据共享交换的目标对象实体;所述公司信息是注册使用数据的公司注册信息;所述共享交换配置包括公司信息、应用对象、数据实例的关联,以及对共享方式、时效周期、数据接收、检索条件动态元素、共享数据格式以及自动生成共享地址的过程配置;所述交换监控是对共享数据使用情况的吞吐量和状态进行动态跟踪管理。
作为进一步优化,所述数据链模块在新建数据链时,为新建的数据链定义运行策略,包括取数条件、时间策略、存储策略;取数条件为数据连接器定义的数据查询条件,时间策略定义数据链的运行频率,存储策略定义实际数据生成实例文档后是否立即执行存储。
作为进一步优化,所述数据检索模块提供的数据检索功能包括:从元素筛选器中筛选要检索数据的条件限定元素,元素筛选器中列出用户权限内的业务领域,将每个业务领域下的业务类型列出所有的数据实体供用户选择,在用户选择后,将选择的数据实体具有共同的元素作为公共检索元素,检索界面提供检索条件的公共元素列表,同时显示元素标志符且可以切换中英文标签和浮动显示每个元素颗粒的属性说明,点击需要作为检索条件的元素出现在检索条件编辑区域内,用户可根据实际检索需求输入条件和检索值,运行检索条件后,根据检索结果数据的业务领域及数据实体分类显示所有元素的值。
作为进一步优化,所述元素的相关属性包括:元素标志符、元素名称、中文标签、英文标签、数据类型、长度、精度、虚元素、约束、说明和注释;其中元素标志符采用9位数字编码,元素名称采用英文命名方式。
此外,本发明还提供了一种基于XBRL标准的智慧城市数据共享方法,其包括以下步骤:
步骤1、通过物联感知层和通信网络层获取城市系统数据资源;
步骤2、按照业务领域划分数据资源:分析各种数据系统资源的类型、数据格式、数据元素和语义差异,划分出数据的业务范围,并对其按照业务领域的确定所属类;
步骤3、根据XBRL颗粒化标准及已经制定的元素颗粒,对比梳理新数据资源的元素并进行颗粒化和标准化,梳理完成后将结果形成标准元素文件;
步骤4、将标准元素颗粒进行XBRL领域数据的抽象数据模型架构及建模,产出模型样式定义MDS;
步骤5、通过MT转换器解析步骤4获得的模型,生成符合XBRL技术规范的分类标准;
步骤6、将步骤3的结果映射至城市系统数据资源中,通过在城市系统底层标记植入,或者通过物联感知层和通信网络层获取城市系统数据资源在计算存储层底层标记植入,获取已被标记为XBRL元素标志符的数据资源事实值;
步骤7、使用数据连接器,将步骤6获取的XBRL数据资源事实值转换为标准格式数据,以便数据加工器自动处理;
步骤8、使用数据加工器,将步骤5生成的分类标准和步骤7生成的XBRL标准格式数据值作为输入,底层调用XBRL处理器,解析分类标准并生成融合领域数据的实例文档;
步骤9、对步骤8生成的实例文档经过存储库的符合性校验后,解析实例文档将数据存储在数据库中;
步骤10、基于数据库所存储的数据和分类标准、实例文档对元素关联关系以及文档层级关系的定义,对需要上结的数据进行上层聚合处理并再次存储。
本发明的有益效果是:
基于本发明的数据共享系统及方法,完成了数据资源从获取到关联再到融合存储的全部过程,可以为业务应用提供数据检索、共享交换的数据支撑与服务。并通过充分共享、智能挖掘将信息变成知识,结合信息应用技术,把知识应用到各行各业形成智慧,进而为智慧城市提供跨领域、标准化、安全可靠的可持续高质量数据。
附图说明
图1为本发明中基于XBRL标准的智慧城市数据共享系统平台架构图;
图2为本发明中基于XBRL标准的智慧城市数据共享方法流程图。
具体实施方式
智慧城市建设主要包括几个部分:首先,通过传感器或信息采集设备全方位地获取城市系统数据资源;其次,通过网络将城市数据关联、融合、处理、分析为信息;再次,通过充分共享、智能挖掘将信息变成知识;最后,结合信息技术,把知识应用到各行各业形成智慧。智慧城市建设参考模型包括有依赖关系的五层功能层,分别是物联感知层、通信网络层、计算与存储层、数据及服务支撑层、智能应用层。
本发明提出的基于XBRL标准的智慧城市数据共享系统,位于智慧城市建设参考模型的数据及服务支撑层,为智慧城市提供数据和服务融合、保障上层对于数据汇聚的相关需求,提供应用所需的各种数据服务和共享资源,即通过XBRL标准将城市数据关联、融合、处理、分析为信息后充分共享标准数据资源。通过充分共享、智能挖掘将信息变成知识,结合信息技术,把知识应用到各行各业形成智慧。
在具体实现上,采用本发明提出的数据共享系统搭建的平台架构如图1所示,包括平台框架、平台管理、监控分析以及核心功能模块;
核心功能模块包括标准规范模块、分类标准模块、组件管理模块、数据链模块、存储库模块、数据聚合管理、数据检索模块、共享交换模块。
平台框架建设要求为高性能、高扩展性、高伸缩性和高安全性;平台管理包括用户管理、权限角色和跟中日志,其中用户权限基于网格的访问控制,只有具有适当权限的用户才能执行相应的操作,权限角色由其上级用户或系统管理员分配,还可以修改用户权限,包括添加权限,修改权限,删除权限和报告权限;监控分析包括平台的基础运行分析,包括数据加工器运行分析、数据连接器运行分析、存储库监控分析、数据链运行分析、数据共享运行分析等,为系统运行和数据服务提供便捷管理。
本发明以城市数据按照业务领域划分管理,下面重点说明核心模块功能:
标准规范模块,包括标准发布、标准下载、标准管理三个主要功能,标准来源于基于XBRL标准对物联感知层采集的数据进行颗粒化梳理,梳理的目标是固化元素语义和数据格式,为每一个元素定义元素标志符和名称,元素标志符采用9位数字编码,元素名称采用英文命名方式,并对元素定义中文标签和英文标签,也可以定义其他语言的标签链接库,每个颗粒化的元素由属性元素标志符、元素名称、中文标签、英文标签、数据类型、长度、精度、虚元素、约束、说明、注释等11个属性约束,最终将标准后的元素颗粒形成XBRL颗粒化标准文件在系统中发布和下载,一定程度上公开访问元素颗粒,为数据共享服务提供元数据的标准依据,标准管理对XBRL颗粒化标准进行文件上传、元素导入、访问控制等管理。
分类标准模块,包括生成分类标准和分类标准管理,生成分类标准是通过XBRL技术将城市数据关联、融合的处理过程,是数据处理的核心,通过对采集数据颗粒化梳理产生的某业务领域的XBRL颗粒化文件,对文件中的元素进行XBRL数据架构建模,建模工具使用XBRL模型定义样式MDS,经过MT(模型到分类标准)转换器将MDS数据自动转换为符合XBRL国际标准的分类标准,并自动推送至系统;分类标准管理对MDS推送过来的分类标准提供解析、查看、下载、删除以及版本控制,此功能需要XBRL智能引擎的支撑。
组件管理模块,组件定义为系统从获取城市数据到存储数据过程所使用的主要组件,跨开发语言开放该模块目的是将组件保持动态更新和降低维护成本,如研发出高性能的组件后在此模块进行替换接入操作。该模块包括MDS模型管理、MT转换器管理、数据连接器管理、数据加工器管理。MDS模型管理功能对MDS模型注册、在线修改、删除、验证和版本管理等,MDS模型修改后将同步需要更新分类标准和数据链的组件。MT转换器管理包括MX和XT转换器,即从MDS模型到XBRL分类标准需要通过这两个转换器生成,此模块对这些转换器进行管理,转换器组件一般较为固定。数据连接器管理具有业务领域特定性,即来源于不同业务领域或不同系统的数据格式不同则数据连接器就不同,因此该模块对链接进行注册、修改、删除、验证和版本的管理,数据链接的数据输入格式不同但输出格式始终符合XBRL定义的如Json或其他的标准数据格式。数据加工器管理,数据加工器建立在XBRL处理器之上,是将数据连接器输出的数据通过解析MDS模型生成的分类标准的基础上生成数据的实例文档,是真正意义上实际数据的关联和融合,包括对该组件的注册、修改、删除、版本控制管理等。
数据链模块管理,数据链是通过组件的组装,使用数据连机器和数据加工器组成完整的从城市数据源到数据存储前的数据流过程,并给此条数据链定义运行策略,包括取数条件、时间策略、存储策略,取数条件为数据连接器定义数据查询条件,时间策略定义数据链的运行频率,存储策略定义实际数据生成实例文档后是否立即执行存储。该功能还包括新建数据链、修改数据链、删除数据链、数据链验证等功能。
存储库模块管理,数据存储包括城市数据实例文档的存储和数据记录的存储,实例文档存储基于XML文件的存储,可使用FTP服务器存储或目录服务存储;数据记录存储库是一个建立在XBRL数据建模概念上的关系数据库,是基于数据点模型DPM和抽象数据模型ADM设计的城市标准化数据中心。存储库模块管理是将数据库的Schema内置于系统内部,并能执行代码在指定数据库服务器上远程创建和管理新的存储库,为城市数据融合存储提供高扩展性,包括对存储库的注册、创建、修改和删除。基于XBRL分类标准标准化的城市数据实体表现为实例文档,因此使用若干个示例实例文档对新建的存储库进行数据存储验证,验证通过后可发布使用存储。该模块负责获取数据链模块生成的城市数据实例文档,并通过XBRL处理器解析分类标准和实例文档,经过符合性校验后将数据存储在指定注册的数据库中,同时提供对数据表的SQL查询及对数据库的事件监控与管理。
数据聚合管理,数据聚合是对数据的进一步处理,利用XBRL上结下钻技术,对实例文档中的数据以层级关系聚合,例如财务数据通过会计凭证向上聚合生成报表数据,数据聚合按照业务领域分类管理,并且在聚合前使用的基础数据提供数据编辑功能。该模块还对数据安全进行管理。
数据检索模块,从元素筛选器中筛选要检索数据的条件限定元素,元素筛选器中列出用户权限内的业务领域,将每个业务领域下的业务类型列出所有的数据实体,用户可选择同一业务领域内多个数据实体,也可以选择跨业务领域的多个数据实体,将选择的数据实体具有共同的元素作为公共检索元素,检索界面提供检索条件的公共元素列表,同时显示元素标志符且可以切换中英文标签和浮动显示每个元素颗粒的属性说明。点击需要作为检索条件的元素出现在检索条件编辑区域内,用户可根据实际检索需求输入条件和检索值,检索条件的表达式设计为“[元素标志符元素中文/英文标签]运算符值”,检索元素在检索条件区域内均以“与”逻辑组合,例如:[000010902记账凭证类型名称]=SA and[000020410贷方本币金额]>=1000and[000020501记账凭证日期]>=2017/7/5。运行检索条件后,根据检索结果数据的业务领域及数据实体分类显示所有元素的值,且具有关联元素及数据实体的同时可下钻查看关联实体数据。该模块同时提供检索结果数据的XBRL、CVS格式的导出功能。数据检索是数据共享交换的前提基础。
共享交换模块,包括数据接收管理、检索条件、数据实例、应用对象、公司信息、共享交换配置、交换监控等子模块,本发明数据共享交换的目标是通过全部的可视化配置实现标准数据的共享交换,数据接收管理包括如FTP服务器、Post服务等的接受数据服务注册与管理,提供连接测试和发送验证功能。检索条件全部来源于数据检索模块的查询条件,在数据检索模块中经过检索核对后的数据作为交换或共享的数据,检索后将检索条件加入共享交换的检索条件中,该子模块也可运行检索条件显示检索结果数据,但不可以修改检索条件。数据实例是对共享交换数据的进一步控制,从数据检索结果得到的数据是包含所有业务元素的数据,因此在数据实例的配置过程中,将实现对共享交换和涉密性强的数据进行过滤,过滤是以屏蔽业务元素体现。应用对象是数据共享交换的目标对象实体。公司信息是注册使用数据的公司注册信息。共享交换配置是本模块的重点,包括公司信息、应用对象、数据实例的关联,以及对共享方式、时效周期、数据接收、检索条件动态元素、共享数据格式以及自动生成共享地址的过程配置,特别说明地共享数据格式包括XBRL、CVS、JSON、TXT、Binary等。交换监控对共享数据使用情况的吞吐量和状态进行动态跟踪管理。
基于上述智慧城市数据共享系统,本发明实现的智慧城市数据共享方法主要在于数据获取、关联、融合、存储的过程,如图2所示,其实现方案如下:
第一步:通过物联感知层和通信网络层获取城市系统数据资源;
第二步:按照业务领域划分数据资源,重点在于分析各种数据系统资源的类型、数据格式、数据元素、语义差异,划分出数据的业务范围,并对其进行业务领域的确定类;
第三步:根据XBRL颗粒化标准及已经制定的元素颗粒中,对比梳理新数据资源的元素并进行颗粒化、标准化,梳理完成后将结果形成标准元素文件;
第四步:将标准元素颗粒进行XBRL领域数据的抽象数据模型架构及建模,产出模型样式定义MDS;
第五步:通过MT转换器将第四步的模型解析,生成符合XBRL技术规范2.1的分类标准,分类标准是关联元素和融合数据的上层体现;
第六步:将第三步的结果映射至城市系统数据资源中,可在城市系统底层标记植入,或者通过物联感知层和通信网络层获取城市系统数据资源在计算存储层底层标记植入,获取已被标记为XBRL元素标志符的数据资源事实值;
第七步:使用数据连接器,将第六步获取的XBRL数据资源事实值转换为标准格式数据,以便数据加工器自动处理;
第八步:使用数据加工器,将第五步生成的分类标准和第七步XBRL标准格式数据值作为输入,底层调用XBRL处理器,解析分类标准并生成融合领域数据的XBRL格式的实例文档;
第九步:由第八步生成的实例文档包含城市数据资源某业务领域数据的事实值,通过存储库的符合性校验后,解析实例文档将数据存储在数据库中,此步骤在平台中有数据链配置自动完成;
第十步:基于数据库所存储的数据和分类标准、实例文档对元素关联关系以及文档层级关系的定义,对需要上结的数据进行上层聚合处理并再次存储。
实施例:
以某城市建设智慧城市的过程中,对某领域财务核算数据进行共享为例,实施方式如下:
a.抽取财务核算数据典型样例,按照业务领域划分数据资源,重点在于分析各种数据系统资源的类型、数据格式、数据元素、语义差异,划分出数据的业务范围,并对其进行业务领域的确定类;
b.确定业务领域和数据范围后(该案例中财务核算数据可作为一个业务领域即可,领域下面再划分具体业务实体),根据XBRL颗粒化标准及已经制定的元素颗粒中,对比梳理新数据资源的元素并进行颗粒化、标准化,梳理完成后将结果形成标准元素文件;
c.将上步骤梳理的结果使用MDS工具建模并生成分类标准自动推送至平台解析处理,准备接收数据;
d.通过数据底层植入标记元素或接口程序映射的方式,将标准元素映射至数据资源系统;
e.通过平台配置各种组件和存储库等数据链,自动将数据融合处理并存储;
f.利用平台数据检索、共享交换等功能使用共享的数据。
Claims (5)
1.基于XBRL标准的智慧城市数据共享系统,其特征在于,包括:标准规范模块、分类标准模块、组件管理模块、数据链模块、存储库模块、数据聚合管理模块、数据检索模块和共享交换模块;
所述标准规范模块,包括标准发布、标准下载、标准管理;所述标准来源于基于XBRL标准对物联感知层采集的数据进行的颗粒化梳理;所述颗粒化梳理的目标是固化元素语义和数据格式,为每一个元素定义相关属性;
所述分类标准模块,包括生成分类标准和分类标准管理;所述生成分类标准是通过XBRL技术将城市数据关联、融合的处理过程,是数据处理的核心,通过对采集数据颗粒化梳理产生的某业务领域的XBRL颗粒化文件,对文件中的元素进行XBRL数据架构建模;建模工具使用XBRL模型定义样式MDS,经过MT转换器将MDS数据自动转换为符合XBRL国际标准的分类标准,并自动推送至系统;所述分类标准管理对MDS推送过来的分类标准提供解析、查看、下载、删除以及版本控制;
所述组件管理模块,包括MDS模型管理、MT转换器管理、数据连接器管理和数据加工器管理;其中,MDS模型管理是对MDS模型组件进行注册、在线修改、删除、验证和版本管理,MDS模型修改后将同步需要更新分类标准和数据链的组件;MT转换器管理包括对MX转换器组件和XT转换器组件进行管理;数据连接器管理是对数据连接器组件进行注册、修改、删除、验证和版本的管理;数据加工器管理,是对数据加工器组件的注册、修改、删除和版本控制管理;
所述数据链模块,用于新建数据链、修改数据链、删除数据链和数据链验证;所述数据链是通过组件的组装,使用数据连接器和数据加工器组成完整的从城市数据源到数据存储前的数据流过程;
所述存储库模块,用于获取数据链模块生成的城市数据实例文档,并通过XBRL处理器解析分类标准和实例文档,经过符合性校验后将数据存储在指定注册的数据库中,同时提供对数据表的SQL查询及对数据库的事件监控与管理;
所述数据聚合管理模块,用于对实例文档中的数据以层级关系聚合,数据聚合按照业务领域分类管理,并且对在聚合前使用的基础数据提供数据编辑功能;
所述数据检索模块,用于提供数据检索功能,以及检索结果数据的XBRL、CVS格式的导出功能;
所述共享交换模块,用于通过全部的可视化配置实现标准数据的共享交换,其包括数据接收管理、检索条件、数据实例、应用对象、公司信息、共享交换配置和交换监控;
所述数据接收管理,用于接收数据服务的注册与管理,提供连接测试和发送验证功能;所述检索条件全部来源于数据检索模块的查询条件,在数据检索模块中经过检索核对后的数据作为交换或共享的数据,检索后将检索条件加入共享交换的检索条件中;所述数据实例用于在将检索结果获取的数据配置为实例过程中,对共享交换和涉密性强的数据进行过滤;所述应用对象是数据共享交换的目标对象实体;所述公司信息是注册使用数据的公司注册信息;所述共享交换配置包括公司信息、应用对象、数据实例的关联,以及对共享方式、时效周期、数据接收、检索条件动态元素、共享数据格式以及自动生成共享地址的过程配置;所述交换监控是对共享数据使用情况的吞吐量和状态进行动态跟踪管理。
2.如权利要求1所述的基于XBRL标准的智慧城市数据共享系统,其特征在于,所述数据链模块在新建数据链时,为新建的数据链定义运行策略,包括取数条件、时间策略、存储策略;取数条件为数据连接器定义的数据查询条件,时间策略定义数据链的运行频率,存储策略定义实际数据生成实例文档后是否立即执行存储。
3.如权利要求1所述的基于XBRL标准的智慧城市数据共享系统,其特征在于,所述数据检索模块提供的数据检索功能包括:从元素筛选器中筛选要检索数据的条件限定元素,元素筛选器中列出用户权限内的业务领域,将每个业务领域下的业务类型列出所有的数据实体供用户选择,在用户选择后,将选择的数据实体具有共同的元素作为公共检索元素,检索界面提供检索条件的公共元素列表,同时显示元素标志符且可以切换中英文标签和浮动显示每个元素颗粒的属性说明,点击需要作为检索条件的元素出现在检索条件编辑区域内,用户可根据实际检索需求输入条件和检索值,运行检索条件后,根据检索结果数据的业务领域及数据实体分类显示所有元素的值。
4.如权利要求1所述的基于XBRL标准的智慧城市数据共享系统,其特征在于,所述元素的相关属性包括:元素标志符、元素名称、中文标签、英文标签、数据类型、长度、精度、虚元素、约束、说明和注释;其中元素标志符采用9位数字编码,元素名称采用英文命名方式。
5.基于XBRL标准的智慧城市数据共享方法,其特征在于,包括以下步骤:
步骤1、通过物联感知层和通信网络层获取城市系统数据资源;
步骤2、按照业务领域划分数据资源:分析各种数据系统资源的类型、数据格式、数据元素和语义差异,划分出数据的业务范围,并对其按照业务领域的确定所属类;
步骤3、根据XBRL颗粒化标准及已经制定的元素颗粒,对比梳理新数据资源的元素并进行颗粒化和标准化,梳理完成后将结果形成标准元素文件;
步骤4、将标准元素颗粒进行XBRL领域数据的抽象数据模型架构及建模,产出模型样式定义MDS;
步骤5、通过MT转换器解析步骤4获得的模型,生成符合XBRL技术规范的分类标准;
步骤6、将步骤3的结果映射至城市系统数据资源中,通过在城市系统底层标记植入,或者通过物联感知层和通信网络层获取城市系统数据资源在计算存储层底层标记植入,获取已被标记为XBRL元素标志符的数据资源事实值;
步骤7、使用数据连接器,将步骤6获取的XBRL数据资源事实值转换为标准格式数据,以便数据加工器自动处理;
步骤8、使用数据加工器,将步骤5生成的分类标准和步骤7生成的XBRL标准格式数据值作为输入,底层调用XBRL处理器,解析分类标准并生成融合领域数据的实例文档;
步骤9、对步骤8生成的实例文档经过存储库的符合性校验后,解析实例文档将数据存储在数据库中;
步骤10、基于数据库所存储的数据和分类标准、实例文档对元素关联关系以及文档层级关系的定义,对需要上结的数据进行上层聚合处理并再次存储。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811377457.9A CN109542967B (zh) | 2018-11-19 | 2018-11-19 | 基于xbrl标准的智慧城市数据共享系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811377457.9A CN109542967B (zh) | 2018-11-19 | 2018-11-19 | 基于xbrl标准的智慧城市数据共享系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109542967A CN109542967A (zh) | 2019-03-29 |
CN109542967B true CN109542967B (zh) | 2022-03-08 |
Family
ID=65848345
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811377457.9A Active CN109542967B (zh) | 2018-11-19 | 2018-11-19 | 基于xbrl标准的智慧城市数据共享系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109542967B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110175205A (zh) * | 2019-05-21 | 2019-08-27 | 浙江申跃信息科技有限公司 | antb数据管理平台 |
CN110442602B (zh) * | 2019-07-02 | 2021-01-01 | 新华三大数据技术有限公司 | 数据查询方法、装置、服务器及存储介质 |
CN110633297A (zh) * | 2019-09-12 | 2019-12-31 | 苏州百宝箱科技有限公司 | 智慧城市数据共享系统 |
CN112306953A (zh) * | 2020-01-14 | 2021-02-02 | 深圳新阳蓝光能源科技股份有限公司 | 一种智慧城市数据归档方法、装置和电子设备 |
CN112613278B (zh) * | 2020-12-24 | 2024-05-17 | 中天众达智慧城市科技有限公司 | 市政设备监测信息处理系统及市政设备监测信息处理方法 |
CN113194113B (zh) * | 2021-01-27 | 2022-03-11 | 广东轻工职业技术学院 | 一种智慧城市物联网区块链集成互信共享方法 |
CN114003783A (zh) * | 2021-10-12 | 2022-02-01 | 杭州畅鸿信息技术有限公司 | 一种基于智慧城市云平台的数据共享系统 |
CN115017251B (zh) * | 2022-08-05 | 2022-10-25 | 山东省计算中心(国家超级计算济南中心) | 一种用于智慧城市的标准映射地图建立方法及系统 |
CN115587087B (zh) * | 2022-12-13 | 2023-05-09 | 四川华西集采电子商务有限公司 | 一种基于数据抽取和系统建模的高效数据共享平台 |
CN116546095B (zh) * | 2023-07-04 | 2023-09-05 | 深圳市威宇智通科技有限公司 | 一种不同智慧社区的资源整合数据可信共享系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7856388B1 (en) * | 2003-08-08 | 2010-12-21 | University Of Kansas | Financial reporting and auditing agent with net knowledge for extensible business reporting language |
CN105243582A (zh) * | 2015-09-24 | 2016-01-13 | 四川长虹电器股份有限公司 | 基于财务云的xbrl会计软件标准数据接口系统及方法 |
CN106202536A (zh) * | 2016-07-26 | 2016-12-07 | 四川长虹电器股份有限公司 | 基于xbrl的全球数据标准化平台系统及其构建方法 |
CN107609155A (zh) * | 2017-09-25 | 2018-01-19 | 四川长虹电器股份有限公司 | 一种基于xbrl标准的数据资产化模型的构建方法 |
CN107766579A (zh) * | 2017-11-16 | 2018-03-06 | 四川长虹电器股份有限公司 | 基于xbrl标准的主数据管理系统的设计方法 |
CN107819824A (zh) * | 2017-10-09 | 2018-03-20 | 中国电子科技集团公司第二十八研究所 | 一种城市数据开放与信息服务系统及服务方法 |
CN108595571A (zh) * | 2018-04-16 | 2018-09-28 | 深圳零壹云医科技有限公司 | 一种数据整合管理方法、装置、系统和用户终端 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140129511A1 (en) * | 2012-11-06 | 2014-05-08 | Microsoft Corporation | On-demand viewing of a report with security permissions |
EP3201860A1 (en) * | 2014-09-30 | 2017-08-09 | PCMS Holdings, Inc. | System and method for use in a secure personal data marketplace |
-
2018
- 2018-11-19 CN CN201811377457.9A patent/CN109542967B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7856388B1 (en) * | 2003-08-08 | 2010-12-21 | University Of Kansas | Financial reporting and auditing agent with net knowledge for extensible business reporting language |
CN105243582A (zh) * | 2015-09-24 | 2016-01-13 | 四川长虹电器股份有限公司 | 基于财务云的xbrl会计软件标准数据接口系统及方法 |
CN106202536A (zh) * | 2016-07-26 | 2016-12-07 | 四川长虹电器股份有限公司 | 基于xbrl的全球数据标准化平台系统及其构建方法 |
CN107609155A (zh) * | 2017-09-25 | 2018-01-19 | 四川长虹电器股份有限公司 | 一种基于xbrl标准的数据资产化模型的构建方法 |
CN107819824A (zh) * | 2017-10-09 | 2018-03-20 | 中国电子科技集团公司第二十八研究所 | 一种城市数据开放与信息服务系统及服务方法 |
CN107766579A (zh) * | 2017-11-16 | 2018-03-06 | 四川长虹电器股份有限公司 | 基于xbrl标准的主数据管理系统的设计方法 |
CN108595571A (zh) * | 2018-04-16 | 2018-09-28 | 深圳零壹云医科技有限公司 | 一种数据整合管理方法、装置、系统和用户终端 |
Non-Patent Citations (2)
Title |
---|
Dynamic Capabilities for Information Sharing: XBRL Enabling Business-to-Government Information Exchange;Marijn Janssen 等;《2014 47th Hawaii International Conference on System Sciences》;20140310;2104-2113 * |
应用"XBRL+大数据"提升大数据思维下管理会计价值——以中国石油湖北销售公司为例;王嘉良 等;《财政监督》;20180215(第5期);109-113 * |
Also Published As
Publication number | Publication date |
---|---|
CN109542967A (zh) | 2019-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109542967B (zh) | 基于xbrl标准的智慧城市数据共享系统及方法 | |
CN112699175B (zh) | 一种数据治理系统及其方法 | |
US11562025B2 (en) | Resource dependency system and graphical user interface | |
US11204937B2 (en) | XBRL-based global data standardization platform system and construction method thereof | |
US8484255B2 (en) | Automatic conversion of multidimentional schema entities | |
CN113778967B (zh) | 长江流域数据采集处理与资源共享系统 | |
CN112163724A (zh) | 环境信息数据资源整合集成系统 | |
CN112199433A (zh) | 一种用于城市级数据中台的数据治理系统 | |
EP1810131A2 (en) | Services oriented architecture for data integration services | |
CN111708774B (zh) | 一种基于大数据的产业分析系统 | |
CN112699100A (zh) | 一种基于元数据管理分析系统 | |
CN114218218A (zh) | 基于数据仓库的数据处理方法、装置、设备及存储介质 | |
CN112817958A (zh) | 电力规划数据采集方法、装置及智能终端 | |
Mesiti et al. | Towards a user-friendly loading system for the analysis of big data in the internet of things | |
CN116010475A (zh) | 一种智慧监管的工业大数据平台系统 | |
CN112328667A (zh) | 一种基于数据血缘的页岩气田地面工程数字化移交方法 | |
Agrawal et al. | Development and implementation of automatic metadata generation framework for SDI using OSS: a case study of Indian NSDI | |
CN113076308B (zh) | 一种时空大数据服务系统 | |
CN114925054A (zh) | 一种基于元模型的元数据管理系统及方法 | |
Madhikerrni et al. | Data discovery method for Extract-Transform-Load | |
Zhang et al. | Design of Offline Analysis System for Remote Sensing Data Service Based on Hive | |
KR20220054992A (ko) | Dcat 기반 메타데이터 변환 시스템 | |
Zgolli et al. | Metadata in data lake ecosystems | |
CN116955463B (zh) | 多源异构数据整合系统 | |
Yin et al. | Research on Metadata management technology of Navigation and Location Service based on Atlas |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |