CN116340691B - 基于多源数据的数据资产网络化管理和共享方法及系统 - Google Patents
基于多源数据的数据资产网络化管理和共享方法及系统 Download PDFInfo
- Publication number
- CN116340691B CN116340691B CN202310594271.3A CN202310594271A CN116340691B CN 116340691 B CN116340691 B CN 116340691B CN 202310594271 A CN202310594271 A CN 202310594271A CN 116340691 B CN116340691 B CN 116340691B
- Authority
- CN
- China
- Prior art keywords
- data
- sharing
- management
- file
- resource
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000006855 networking Effects 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 13
- 230000010354 integration Effects 0.000 claims abstract description 6
- 230000000007 visual effect Effects 0.000 claims abstract description 5
- 238000007726 management method Methods 0.000 claims description 90
- 238000013523 data management Methods 0.000 claims description 36
- 230000002776 aggregation Effects 0.000 claims description 31
- 238000004220 aggregation Methods 0.000 claims description 31
- 238000003860 storage Methods 0.000 claims description 20
- 238000012795 verification Methods 0.000 claims description 10
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 6
- 239000007795 chemical reaction product Substances 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 230000008263 repair mechanism Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 19
- 238000013480 data collection Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- REQCZEXYDRLIBE-UHFFFAOYSA-N procainamide Chemical compound CCN(CC)CCNC(=O)C1=CC=C(N)C=C1 REQCZEXYDRLIBE-UHFFFAOYSA-N 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/176—Support for shared access to files; File sharing support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/547—Remote procedure calls [RPC]; Web services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Abstract
本发明提供一种基于多源数据的数据资产网络化管理和共享方法及系统，属于大数据处理技术领域，通过API实现多终端多通道汇聚及共享，以为用户提供一个企业级资源管理平台，将企业的结构化数据、非结构化数据、半结构化数据以及应用服务资源统一进行管理；通过构建资源目录、建设资源元数据、调用可视化资源管理窗口等方式实现多源业务数据的整合，以解决跨业务系统的数据集成。
Description
技术领域
本发明属于大数据处理技术领域，具体涉及一种基于多源数据的数据资产网络化管理和共享方法、系统、电子设备以及存储介质。
背景技术
数据资产网络化管理及共享技术是大数据时代的自动化企业级数据资产管理平台的核心技术，企业级数据资产管理平台为企业建立数据资产管理体系提供了可靠、便捷的工具支持。企业级数据资产管理平台以电子或其他方式记录企事业单位合法拥有或控制的数据，对数据元数据进行自动化采集、探查，帮助企业绘制数据地图、标明数据方位、分析数据关系、管理模型变更，从而有效的发掘和利用信息资产的价值，辅助实现精准高效的分析和决策，推动实现企业级元数据管理能力，为企业IT系统更加高效的运转提供规范的管理和系统支撑。
现有的数据资产管理形式分为两种：局域网络数据管理系统和大数据平台。其中，局域网数据管理系统主要为LAN网络类型，通过使用wifi或以太网连接地理范围内计算机同时还可以与路由器、集线器和交换机等通信设备进行通信，从而使得通信更加高效。在局域网中可以轻松共享硬盘驱动器、DVD驱动器、文件夹以便在需要资源时可以与链接的计算机共享。使用LAN用户可以方便的交换消息和数据，每个LAN用个都可以与网络上的其他人一起执行操作，可以节省大量时间。数据集中在某一台服务器上，局域网内的用户可登录各自的账户来访问自己的数据，由于数据存储在本地服务器上，主机具有拒绝或允许特定网络中的用户的能力，大大提高了数据安全性。大数据平台建设的数据意识与数据价值逐步提升，大数据平台采用分布式结构，理论上可以无限扩展，解决了传统数管系统的存储空间扩展和计算能力低下的问题。企业通过使用单一集群，可以化零为整，整合所有可用服务器资源，并统一对外提供所有的能力，可以实现细粒度的资源调度机制，并且只需维护一个集群，降低运维成本。通过统一安全架构，在单一集群架构基础上实现细粒度的资源隔离，对不同人员进行不同程度的授权，大大提高了数据平台的安全性。
局域网数据管理系统虽然可实现局部业务数据的统一管理及局域网内终端访问，在资源共享方面节省了很多资金，但建立网络所涉及的初始成本相当高，除购买制作服务器特定软件外还需要购买硬件设备，如路由器、集线器、交换机等。LAN通常覆盖有限的距离，可能在办公室、学校等小范围内经营比较局限。LAN结构上的重中央服务器管理所有链接的计算机，如果服务器遇到故障会导致所有计算机受到影响且需要专门的管理员进行维护，对管理员的职业知识要求非常高。
大数据平台实现了多源数据的汇集统一管理功能，正因为平台面对的是多源数据，这就面临着平台内无意义的冗余数据越来越多，数据噪声过大，在寻求重要数据信息时会被大数据所带来的噪声所淹没，甚至被引入歧途得出错误结论。
因此，亟需一种能够降低建网成本且便于实现大数据汇聚、浏览、管理和共享能力的数据资产管理方案。
发明内容
本发明提供一种基于多源数据的数据资产网络化管理和共享方法、系统、电子设备以及存储介质，用以克服现有技术中存在的至少一个技术问题，以实现大数据汇聚、浏览、管理及共享能力。
为实现上述目的，本发明提供一种基于多源数据的数据资产网络化管理和共享系统，通过API实现多终端多通道汇聚及共享，所述系统包括：
数据汇聚模块，用于通过数据汇聚接口汇聚文件型数据和服务型数据；
数据浏览模块，用于通过数据浏览器对所述数据汇聚模块汇聚的数据进行展示，并提供数据浏览和数据查看操作界面；
数据共享模块，用于响应于用户对所述操作界面中的数据的共享操作，通过预设共享方式共享所述数据汇聚模块汇聚的数据；
数据管理模块，用于响应于用户对所述操作界面中的数据的数据管理操作，通过数据目录对所述数据汇聚模块汇聚的数据进行数据管理和元数据管理；
账户管理模块，用于响应于用户对所述操作界面中的账户管理操作，对用户通过账户访问所述数据目录的操作进行认证和管理。
为了解决上述问题，本发明还提供一种基于多源数据的数据资产网络化管理和共享方法，包括：
通过数据汇聚接口汇聚文件型数据和服务型数据，并将所汇聚的数据上传至数据管理模块；
通过数据浏览器对汇聚的数据进行展示，并提供数据浏览和数据查看操作界面；
响应于用户对所述操作界面中的数据的操作，进行与所述操作对应的数据处理；
其中，用户对所述操作界面中的数据的操作包括：
共享操作，用于通过预设共享方式共享所述数据汇聚模块汇聚的数据；
数据管理操作，用于通过数据目录对所述数据汇聚模块汇聚的数据进行数据管理和元数据管理；
账户管理操作，用于对用户通过账户访问所述数据目录的操作进行认证和管理。
为了解决上述问题，本发明还提供一种电子设备，电子设备包括至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前所述的基于多源数据的数据资产网络化管理和共享方法中的步骤。
为了解决上述问题，本发明还提供一种计算机可读存储介质，计算机可读存储介质中存储有至少一个指令，至少一个指令被电子设备中的处理器执行时实现上述的基于多源数据的数据资产网络化管理和共享方法。
本发明提供的基于多源数据的数据资产网络化管理和共享方法、系统、电子设备以及存储介质，改变了现有数管系统的局限性及数据冗余严重的缺点，设定用户形式，不同用户执行不同的用户权限，通过API接口实现了多终端的数据汇聚、浏览、共享，突破了现有数管系统只能在一个区域网络下实施的限制。设置系统管理员，对系统资源进行审核，有效避免数据多入口引发的数据噪声问题。本发明还能够将具体文件或服务转换为在线资源，在资源查看和交换时可通过URL或二维码形式进行，查看文件要素信息，大大提高了资源流通速度。同时系统提供汇聚接口、共享接口、元数据管理接口，面向开发人员为系统后续定制化开发提供便利。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的基于多源数据的数据资产网络化管理和共享方法的流程示意图；
图2为根据本发明实施例的基于多源数据的数据资产网络化管理和共享系统的逻辑结构示意图；
图3为根据本发明实施例的实现基于多源数据的数据资产网络化管理和共享方法的电子设备的内部结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
基于上述现有技术中存在的问题，本发明主要提供一种基于多源数据的数据资产网络化管理和共享方法及系统，通过API实现多终端多通道汇聚及共享，以实现业务和空间数据的汇集、管理和分享，并提供数据接口规范，有效解决传统数管系统的使用局限性和数据杂乱问题。
图1为本发明一实施例提供的基于多源数据的数据资产网络化管理和共享方法的流程示意图。该方法可以由一个系统执行，该系统可以由软件和/或硬件实现。
图1对基于多源数据的数据资产网络化管理和共享方法进行了整体性的描述。如图1所示，在本实施例中，基于多源数据的数据资产网络化管理和共享方法包括步骤S110~S130。
S110：通过数据汇聚接口汇聚文件型数据和服务型数据，并将所汇聚的数据上传至数据管理模块。其中，文件型数据的数据格式包括文件、文件压缩包（7z、zip、rar等）、图像文件、视频文件等数据格式，服务型数据的数据格式包括服务的URL地址、各类二、三维空间数据服务、全景图数据服务等数据格式。
具体的，作为示例，在通过数据汇聚接口进行数据汇聚时，需要对数据内容进行数据描述，其中的数据描述类型包括数据主题、来源、资源类型、资源描述、文件目标目录等内容。文件型数据可以以文件形式汇聚，服务型数据可以以URL地址形式汇聚。数据汇聚后会以在线资源形式存放到目标目录下或资源池中，后续由管理员负责对这些资源进行整合处理。
另外，在本发明的另一个实施方式中，在数据汇聚前，还通过桌面端产品数据质量检查工具对汇聚数据进行几何检查与OGC（Open Geospatial Consortium，开放地理空间联盟）规范验证，对数据的几何精度、空间拓扑、属性完整性、属性正确性等内容进行检查，以提供对地理数据资源的检查修复机制。
具体的，以汇聚地理资源数据为示例，本发明采用桌面端Geoscene pro对入库资源数据进行检核，选中准备入库的地理资源数据，采用预设的检核工具对所选中的地理资源数据进行检核。其中，可以通过检核输出表记录检核结果。具体的，可以设置检核输出表，该检核输出表的参数值包含通过检核发现的每个几何问题的记录，如果未发现任何问题，则该检核输出表为空。其中的检核工具可以包括Esri与OGC两种验证方法，Esri 验证方法通过 Esri 简化方法确保几何在拓扑上是正确的，适用于存储在企业级地理数据库中的数据。OGC 验证方法能够确保几何符合地理信息的 OpenGIS 执行标准。
通过上述检核，可以及时发现待入库的地理资源数据中存在的问题，并对对存在问题的地理资源数据进行几何修复，以确保入库数据的有效性。
由于Geoscene pro是新一代国产地理空间云平台的专业级桌面软件，拥有强大的数据编辑与管理、高级分析、高级制图可视化、影像处理能力，同时还具备二、三维融合、人工智能、大数据分析、矢量切片制作及发布、时空立方体、任务工作流等特色功能，且在技术能力上领先于市场上其他产品。因此，本实施例中采用Geoscene pro对入库资源数据进行检核。
同时，GeoScene Pro与GeoScene平台无缝对接，也能够实系统与云端资源的高效协同与共享。
另外，在数据汇聚时，对于同名数据汇聚资源，还可以给出同名文件已存在提示，并对确认相同的同名文件进行删除，完成数据资源更新，以有效减低数据噪声。另外，通过建设数据的元数据关系，还可以进行元数据关键字检索或模糊查询快速定位相关数据，分析数据间关系，建立数据链条式关系浏览。
为了实现多终端多通道资源的汇聚能力，本发明通过API（ApplicationProgramming Interface, 应用程序编程接口）实现多终端多通道汇聚及共享，从而为用户提供一个企业级资源管理平台。通过API对文件型数据汇聚与服务型数据注册的支持，使得系统能够对汇聚到的数据以数据类型区分，将企业的结构化数据、非结构化数据、半结构化数据以及应用服务资源统一进行管理；同时，也可以通过API构建资源目录、建设资源元数据、调用可视化资源管理窗口等方式实现多源业务数据的整合，以解决跨业务系统的数据集成。
S120：通过数据浏览器对汇聚的数据进行展示，并提供数据浏览和数据查看操作界面。
其中，作为示例，对于具备结构化的二、三维数据，可以进行Web全景图浏览，以直观查看数据空间分布及数据详情；对于非结构化的图片类数据，可以支持动态浏览。
在本发明的一个实施例中，通过Geo server软件将汇聚的地理资源、GIS功能转化为在线服务，供用户通过桌面、Web、移动等多客户端进行访问资源。Geo server是一款可以独立部署的服务器产品，可以将地理资源、GIS功能转化为在线服务。其中，地理资源与功能包括矢量数据、栅格数据、BIM数据、实景三维数据、其他 3D 模型数据、表格数据、文本、非结构化 数据等。GIS功能涵盖地理制图、地理处理、要素编辑、网络分析、OGC 支持、数据访问、移动端数据提取等。
S130：响应于用户对操作界面中的数据的操作，进行与所述操作对应的数据处理。
其中，用户对操作界面中的数据的操作包括共享操作、数据管理操作以及账户管理操作等。
具体的，作为示例，如果用户在操作界面中对选中的数据进行共享操作，可以对选中数据执行预设共享方式的共享处理。其中的预设共享方式包括多种共享方式：URL共享、二维码共享、自定义共享以及接口共享等。
具体的，URL共享，是通过URL形式对单个数据文件或地址进行共享。二维码共享，是通过二维码形式对单个数据文件服务进行共享，二维码为数据唯一标识，对应URL相关的数据内容，扫描二维码后，能够预览数据，并可提供数据的批量二维码下载功能。在自定义共享方式下，用户可选中多个数据或服务，获取数据元数据和URL信息，将数据组织为CSV（Comma-Separated Values，CSV，逗号分隔值）文件，并提供下载。接口共享，是通过接口共享系统内的一组数据或服务，系统内的数据或服务可以按照用户权限、数据分类等参数进行分组，接口共享支持自定义选择所需数据，组装数据集合，为应用系统提供定制化数据接口服务，提供接口调用说明，便于后续系统进行数据调用。
另外，用户还可以在操作界面中对选中的数据进行管理操作。在本发明的一个具体实施例中，可以通过数据管理功能对系统内数据进行集中管理，其中包括对数据目录结构的管理和对元数据信息的管理。
其中，对数据目录结构的管理包括：对不同类型的数据建立一级分类，分类下支持多级分类，支持分类的新增和删除，资源数据可存储于各级分类中，支持数据的编辑、移动、删除。用户登录系统后可查看资源目录结构，可展开和收起各类分类，以及对分类和分类中的数据进行增删改查等各种编辑操作，以及在目录中进行资源数据的移动操作。元数据为资源描述数据，对元数据信息的管理包括：查看、新建、编辑、修改、删除元数据信息，调用元数据更新接口，更新数据的元数据信息。
为了实现具体系统数据的安全管理，还可以根据具体需求对用户的身份进行认证，以及对用户的权限进行限定。在本发明的一个具体实施例中，系统登录功能接入预设的统一认证服务，该统一认证服务支持用户组建立，用户可以被添加到用户组中，以为用户授予不用角色，实现不同用户对系统的不同操作权限。其中包括支持用户的基本信息的增删改查等操作，以及用户的信息查询及不同权限授予。
上述根据具体需求对用户的身份进行认证为本发明提供了灵活的群组机制，可按组织架构或者项目需要创建和管理群组，实现资源在群组内部的共享。和通过数据汇聚接口汇聚的文件类型相对应，系统管理的资源为通过数据汇聚功能汇聚到系统的资源，包括文件型资源、服务型数据资源等，其中，文件型资源包括shapefile、csv、zip、pdf、jpg、mpk、gpk、tpk、mmpk、vtpk等各种格式的数据，服务数据型资源包括托管的要素图层、非托管的要素图层、影像图层、场景图层等数据。
与上述基于多源数据的数据资产网络化管理和共享方法相对应，本发明还提供一种应用上述方法创建的基于多源数据的数据资产网络化管理和共享系统，本发明可以安装于电子设备中。图2为根据本发明实施例的基于多源数据的数据资产网络化管理和共享系统的逻辑结构示意图。
如图2所示，根据实现的功能，该基于多源数据的数据资产网络化管理和共享系统200通过API实现多终端多通道汇聚及共享，包括数据汇聚模块210、数据浏览模块220、数据共享模块230、数据管理模块240和账户管理模块250。
本发明的模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
数据汇聚模块210，用于通过数据汇聚接口汇聚文件型数据和服务型数据，并将所汇聚的上传至数据管理模块220；
数据浏览模块220，用于通过数据浏览器对所述数据汇聚模块汇聚的数据进行展示，并提供数据浏览和数据查看操作界面；
数据共享模块230，用于响应于用户对操作界面中的数据的共享操作，通过预设共享方式共享所述数据汇聚模块汇聚的数据；
数据管理模块240，用于响应于用户对操作界面中的数据的数据管理操作，通过数据目录对所述数据汇聚模块汇聚的数据进行数据管理和元数据管理；
账户管理模块250，用于响应于用户对操作界面中的账户管理操作，对用户通过账户访问所述数据目录的操作进行认证和管理。
其中，所述数据汇聚模块210所汇聚的文件型数据的数据格式包括文件、文件压缩包（7z、zip、rar等）、图像文件、视频文件等数据格式，所汇聚的文件型数据以共享文件目录地址的形式建立文件对象存储；服务型数据的数据格式包括服务的URL地址、各类二、三维空间数据服务、全景图数据服务等数据格式。
具体的，作为示例，数据汇聚模块210在通过数据汇聚接口进行数据汇聚时，需要对数据内容进行数据描述，其中的数据描述类型包括数据主题、来源、资源类型、资源描述、文件目标目录等内容。文件型数据可以以文件形式汇聚，服务型数据可以以URL地址形式汇聚。数据汇聚后可以以在线资源形式存放到目标目录下或资源池中，后续由管理员负责对这些资源进行整合处理。
另外，在本发明的另一个实施方式中，基于多源数据的数据资产网络化管理和共享系统200还可以进一步包括前端检核模块（图中未示出），用于在数据汇聚前，通过桌面端产品数据质量检查工具对汇聚数据进行几何检查与OGC（Open Geospatial Consortium，开放地理空间联盟）规范验证，对数据的几何精度、空间拓扑、属性完整性、属性正确性等内容进行检查，以提供对地理数据资源的检查修复机制。
具体的，以汇聚地理资源数据为示例，可以采用桌面端Geoscene pro对入库资源数据进行检核，选中准备入库的地理资源数据，采用预设的检核工具对所选中的地理资源数据进行检核。其中，可以通过检核输出表记录检核结果。具体的，可以设置检核输出表位置，检核输出表的参数值包含通过检核发现的每个几何问题的记录，如果未发现任何问题，则该检核输出表为空。其中的检核工具可以包括Esri与OGC两种验证方法，Esri 验证方法通过 Esri 简化方法确保几何在拓扑上是正确的，适用于存储在企业级地理数据库中的数据。OGC 验证方法能够确保几何符合地理信息的 OpenGIS 执行标准。
通过上述检核，可以及时发现待入库的地理资源数据中存在的问题，并对对存在问题的地理资源数据进行几何修复，以确保入库数据的有效性。
在本发明的又一个实施方式中，基于多源数据的数据资产网络化管理和共享系统200还可以进一步包括中端检核模块（图中未示出），用于在数据汇聚时对所汇聚的资源进行检核。其中包括，对于同名数据汇聚资源，给出同名文件已存在提示，并对确认相同的同名文件进行删除，已完成数据资源更新，以有效减低数据噪声。另外，通过建设数据的元数据关系，还可以进行元数据关键字检索或模糊查询快速定位相关数据，分析数据间关系，建立数据链条式关系浏览。
在数据浏览模块220提供数据浏览和数据查看操作界面的过程中，对于具备结构化的二、三维数据，可以进行Web全景图浏览，以直观查看数据空间分布及数据详情；对于非结构化的图片类数据，可以支持动态浏览。
在数据共享模块230共享所述数据汇聚模块汇聚的数据的过程，可以通过以下几种预设共享方式实现：URL共享、二维码共享、自定义共享以及接口共享等。具体的，URL共享，是通过URL形式对单个数据文件或地址进行共享。二维码共享，是通过二维码形式对单个数据文件服务进行共享，二维码为数据唯一标识，对应URL相关的数据内容，扫描二维码后，能够预览数据，并可提供数据的批量二维码下载功能。在自定义共享方式下，用户可选中多个数据或服务，获取数据元数据和URL信息，将数据组织为CSV文件，并提供下载。接口共享，是通过接口共享操作界面中的一组数据或服务，操作界面中的数据或服务可以按照用户权限、数据分类等参数进行分组，接口共享支持自定义选择所需数据，组装数据集合，为应用系统提供定制化数据接口服务，提供接口调用说明，便于后续进行数据调用。
数据管理模块240通过数据目录对所述数据汇聚模块汇聚的数据进行的数据管理包括对数据目录结构的管理，比如，对不同类型的数据建立一级分类，分类下支持多级分类，支持分类的新增和删除等，数据可存储于各级分类中，支持数据的编辑、移动、删除。数据管理模块240通过数据目录对所述数据汇聚模块汇聚的数据进行的数据管理还包括对元数据信息的管理，比如，查看修改元数据信息，调用元数据更新接口，更新数据的元数据信息。
账户管理模块250的目的是提供系统数据的安全管理，可以根据具体需求对用户的身份进行认证，以及对用户的权限进行限定。比如，将系统登录功能接入预设的统一认证服务，该统一认证服务支持用户组建立，用户可以被添加到用户组中，支持用户信息查询及不同权限授予。
如图3所示，本发明提供一种基于多源数据的数据资产网络化管理和共享的电子设备。
该电子设备3可以包括处理器30、存储器31和总线，还可以包括存储在存储器31中并可在所述处理器30上运行的计算机程序，如基于多源数据的数据资产网络化管理和共享程序32。存储器31还可以既包括基于多源数据的数据资产网络化管理和共享系统的内部存储单元也包括外部存储设备。存储器31不仅可以用于存储安装于应用软件及各类数据，例如基于多源数据的数据资产网络化管理和共享程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
其中，所述存储器31至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器（例如：SD或DX存储器等）、磁性存储器、磁盘、光盘等。所述存储器31在一些实施例中可以是电子设备3的内部存储单元，例如该电子设备3的移动硬盘。所述存储器31在另一些实施例中也可以是电子设备3的外部存储设备，例如电子设备3上配备的插接式移动硬盘、智能存储卡（Smart Media Card， SMC）、安全数字（SecureDigital， SD）卡、闪存卡（Flash Card）等。
所述处理器30在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器（Central Processing unit，CPU）、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器30是所述电子设备的控制核心（Control Unit），利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器31内的程序或者模块（例如基于多源数据的数据资产网络化管理和共享程序等），以及调用存储在所述存储器31内的数据，以执行电子设备3的各种功能和处理数据。
所述总线可以是外设部件互连标准（peripheral component interconnect，简称PCI）总线或扩展工业标准结构（extended industry standard architecture，简称EISA）总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器31以及至少一个处理器30等之间的连接通信。
图3仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备3的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备3还可以包括给各个部件供电的电源（比如电池），优选地，电源可以通过电源管理系统与所述至少一个处理器30逻辑相连，从而通过电源管理系统实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述电子设备3还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口（如WI-FI接口、蓝牙接口等），通常用于在该电子设备3与其他电子设备之间建立通信连接。
可选地，该电子设备3还可以包括用户接口，用户接口可以是显示器（Display）、输入单元（比如键盘（Keyboard）），可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备3中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备3中的所述存储器31存储的基于多源数据的数据资产网络化管理和共享程序32是多个指令的组合，在所述处理器30中运行时，可以实现：
S110：通过数据汇聚接口汇聚文件型数据和服务型数据，并将所汇聚的数据上传至数据管理模块；
S120：通过数据浏览器对汇聚的数据进行展示，并提供数据浏览和数据查看操作界面；
S130：响应于用户对所述操作界面中的数据的操作，进行与所述操作对应的数据处理；其中，用户对所述操作界面中的数据的操作包括：
共享操作，用于通过预设共享方式共享所述数据汇聚模块汇聚的数据；
数据管理操作，用于通过数据目录对所述数据汇聚模块汇聚的数据进行数据管理和元数据管理；
账户管理操作，用于对用户通过账户访问所述数据目录的操作进行认证和管理。
具体地，所述处理器30对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备3集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或系统、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）。
本发明实施例还提供一种计算机可读存储介质，所述存储介质可以是非易失性的，也可以是易失性的，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现：
S110：通过数据汇聚接口汇聚文件型数据和服务型数据，并将所汇聚的数据上传至数据管理模块；
S120：通过数据浏览器对汇聚的数据进行展示，并提供数据浏览和数据查看操作界面；
S130：响应于用户对所述操作界面中的数据的操作，进行与所述操作对应的数据处理；其中，用户对所述操作界面中的数据的操作包括：
共享操作，用于通过预设共享方式共享所述数据汇聚模块汇聚的数据；
数据管理操作，用于通过数据目录对所述数据汇聚模块汇聚的数据进行数据管理和元数据管理；
账户管理操作，用于对用户通过账户访问所述数据目录的操作进行认证和管理。
具体地，所述计算机程序被处理器执行时具体实现方法可参考实施例基于多源数据的数据资产网络化管理和共享方法中相关步骤的描述，在此不赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或系统也可以由一个单元或系统通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (8)
1.一种基于多源数据的数据资产网络化管理和共享系统，其特征在于，通过API实现大数据多终端多通道汇聚及共享，所述系统包括：
前端检核模块，用于在数据汇聚前，通过桌面端产品数据质量检查工具对汇聚数据进行几何检查与OGC规范验证，对所汇聚数据的几何精度、空间拓扑、属性完整性、属性正确性进行检查，以提供对地理数据资源的检查修复机制；
数据汇聚模块，用于通过数据汇聚接口汇聚文件型数据和服务型数据；其中，所述文件型数据的数据格式包括文件、文件压缩包、图像文件和视频文件，所汇聚的文件型数据以共享文件目录地址的形式建立文件对象存储；所述服务型数据的数据内容包括各类二、三维空间数据服务、全景图数据服务，所汇聚的服务型数据以URL地址形式注册到系统内，填写服务元数据信息并建立服务对象存储；并且，在通过数据汇聚接口进行数据汇聚时，对数据内容进行数据描述，其中的数据描述类型包括数据主题、来源、资源类型、资源描述、文件目标目录；对于同名数据汇聚资源，给出同名文件已存在提示，并对确认相同的同名文件进行删除，完成数据资源更新；以及，建设数据的元数据关系，以进行元数据关键字检索或模糊查询快速定位相关数据，分析数据间关系，建立数据链条式关系浏览；数据汇聚后以在线资源形式存放到目标目录下或资源池中；
数据浏览模块，用于通过数据浏览器对所述数据汇聚模块汇聚的数据进行展示，并提供数据浏览和数据查看操作界面；
数据共享模块，用于响应于用户对所述操作界面中的数据的共享操作，通过预设共享方式共享所述数据汇聚模块汇聚的数据；
数据管理模块，用于响应于用户对所述操作界面中的数据的数据管理操作，通过数据目录对所述数据汇聚模块汇聚的数据进行数据管理和元数据管理；
账户管理模块，用于响应于用户对所述操作界面中的账户管理操作，对用户通过账户访问所述数据目录的操作进行认证和管理；
其中，所述通过API实现多终端多通道汇聚及共享包括：通过API对文件型数据汇聚与服务型数据注册的支持，使得所述系统对汇聚到的数据以数据类型区分，将企业的结构化数据、非结构化数据、半结构化数据以及应用服务资源统一进行管理；通过API构建资源目录、建设资源元数据、调用可视化资源管理窗口，实现多源业务数据的整合和跨业务系统的数据集成。
2.根据权利要求1所述的基于多源数据的数据资产网络化管理和共享系统，其特征在于，所述预设共享方式包括URL共享、二维码共享、自定义共享和接口共享；其中，
所述URL共享，用于通过URL形式对单个数据文件或地址进行共享；
所述二维码共享，用于通过二维码形式对单个数据文件服务进行共享；
所述自定义共享，用于根据用户选中的数据或服务获取与所述数据或服务相对应的数据元数据和URL信息，并将所述对应的数据元数据和URL信息组织为CSV文件，提供下载；
所述接口共享，用于通过接口共享所述操作界面中的一组数据或服务。
3.根据权利要求2所述的基于多源数据的数据资产网络化管理和共享系统，其特征在于，
所述数据管理包括：对不同类型的数据建立一级分类，在所述一级分类下建立多级分类，进行分类的新增和删除；对存储于各级分类中的数据进行编辑、移动、删除；
所述元数据管理包括：查看、新建、编辑、修改、删除元数据信息，调用元数据更新接口，更新数据的元数据信息。
4.根据权利要求1至3中任一项所述的基于多源数据的数据资产网络化管理和共享系统，其特征在于，所述账户管理模块对用户通过账户访问所述数据目录的操作进行认证和管理包括：
对用户的身份进行认证；
对用户的权限进行限定；
建立用户组。
5.一种基于多源数据的数据资产网络化管理和共享方法，通过API实现大数据多终端多通道汇聚及共享，所述方法包括：
在数据汇聚前，通过桌面端产品数据质量检查工具对汇聚数据进行几何检查与OGC规范验证，对所汇聚数据的几何精度、空间拓扑、属性完整性、属性正确性进行检查，以提供对地理数据资源的检查修复机制；
通过数据汇聚接口汇聚文件型数据和服务型数据，并将所汇聚的数据上传至数据管理模块；其中，所述文件型数据的数据格式包括文件、文件压缩包、图像文件和视频文件，所汇聚的文件型数据以共享文件目录地址的形式建立文件对象存储；所述服务型数据的数据内容包括各类二、三维空间数据服务、全景图数据服务，所汇聚的服务型数据以URL地址形式注册到系统内，填写服务元数据信息并建立服务对象存储；并且，在通过数据汇聚接口进行数据汇聚时，对数据内容进行数据描述，其中的数据描述类型包括数据主题、来源、资源类型、资源描述、文件目标目录；对于同名数据汇聚资源，给出同名文件已存在提示，并对确认相同的同名文件进行删除，完成数据资源更新；以及，建设数据的元数据关系，以进行元数据关键字检索或模糊查询快速定位相关数据，分析数据间关系，建立数据链条式关系浏览；数据汇聚后以在线资源形式存放到目标目录下或资源池中；
通过数据浏览器对汇聚的数据进行展示，并提供数据浏览和数据查看操作界面；
响应于用户对所述操作界面中的数据的操作，进行与所述操作对应的数据处理；
其中，用户对所述操作界面中的数据的操作包括：
共享操作，用于通过预设共享方式共享所述数据汇聚模块汇聚的数据；
数据管理操作，用于通过数据目录对数据汇聚模块汇聚的数据进行数据管理和元数据管理；
账户管理操作，用于对用户通过账户访问所述数据目录的操作进行认证和管理；
所述通过API实现多终端多通道汇聚及共享包括：通过API对文件型数据汇聚与服务型数据注册的支持，使得所述系统对汇聚到的数据以数据类型区分，将企业的结构化数据、非结构化数据、半结构化数据以及应用服务资源统一进行管理；以及，通过API构建资源目录、建设资源元数据、调用可视化资源管理窗口，实现多源业务数据的整合和跨业务系统的数据集成。
6.根据权利要求5所述的基于多源数据的数据资产网络化管理和共享方法，其特征在于，所述预设共享方式包括URL共享、二维码共享、自定义共享和接口共享；其中，
所述URL共享，用于通过URL形式对单个数据文件或地址进行共享；
所述二维码共享，用于通过二维码形式对单个数据文件服务进行共享；
所述自定义共享，用于根据用户选中的数据或服务获取与所述数据或服务相对应的数据元数据和URL信息，并将所述对应的数据元数据和URL信息组织为CSV文件，提供下载；
所述接口共享，用于通过接口共享所述操作界面中的一组数据或服务。
7.一种电子设备，其特征在于，所述电子设备包括至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求5或6所述的基于多源数据的数据资产网络化管理和共享方法中的步骤。
8.一种计算机可读存储介质，存储有至少一个指令，其特征在于，所述至少一个指令被电子设备中的处理器执行时实现如权利要求5或6所述的基于多源数据的数据资产网络化管理和共享方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310594271.3A CN116340691B (zh) | 2023-05-25 | 2023-05-25 | 基于多源数据的数据资产网络化管理和共享方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310594271.3A CN116340691B (zh) | 2023-05-25 | 2023-05-25 | 基于多源数据的数据资产网络化管理和共享方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116340691A CN116340691A (zh) | 2023-06-27 |
| CN116340691B true CN116340691B (zh) | 2024-02-20 |
Family
ID=86876225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310594271.3A Active CN116340691B (zh) | 2023-05-25 | 2023-05-25 | 基于多源数据的数据资产网络化管理和共享方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116340691B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104657918A (zh) * | 2015-01-21 | 2015-05-27 | 胡宝清 | 一种区域资源环境数据共享和综合服务平台 |
| WO2015159131A1 (en) * | 2014-04-17 | 2015-10-22 | Yogesh Chunilal Rathod | Platform for enabling integrating, accessing, hosting & executing of source codes of 3rd parties and sharing associate generated revenue |
| CN111259006A (zh) * | 2019-11-19 | 2020-06-09 | 中国科学院计算机网络信息中心 | 一种通用的分布式异构数据一体化物理汇聚、组织、发布与服务方法及系统 |
-
2023
- 2023-05-25 CN CN202310594271.3A patent/CN116340691B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015159131A1 (en) * | 2014-04-17 | 2015-10-22 | Yogesh Chunilal Rathod | Platform for enabling integrating, accessing, hosting & executing of source codes of 3rd parties and sharing associate generated revenue |
| CN104657918A (zh) * | 2015-01-21 | 2015-05-27 | 胡宝清 | 一种区域资源环境数据共享和综合服务平台 |
| CN111259006A (zh) * | 2019-11-19 | 2020-06-09 | 中国科学院计算机网络信息中心 | 一种通用的分布式异构数据一体化物理汇聚、组织、发布与服务方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于GIS 的土地城镇化质量评价支持系统研究;王思琢 等;《现代计算机》(第12期);第73页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116340691A (zh) | 2023-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11663375B2 (en) | Configuration of a digital twin for a building or other facility via BIM data extraction and asset register mapping | |
| CN111259006B (zh) | 一种通用的分布式异构数据一体化物理汇聚、组织、发布与服务方法及系统 | |
| US10033598B2 (en) | Type-to-type analysis for cloud computing technical components with translation through a reference type | |
| WO2022022477A1 (zh) | 一种管理运维平台及数据处理方法 | |
| CN105989523B (zh) | 用于分析的基于策略的数据收集处理及协商的方法与系统 | |
| CN109683911B (zh) | 一种实现自动化应用部署及影响分析的系统 | |
| WO2022083436A1 (zh) | 数据处理方法、装置、设备及可读存储介质 | |
| CN111274294B (zh) | 一种通用的分布式异构数据一体化逻辑汇聚组织、发布与服务方法及系统 | |
| US11811839B2 (en) | Managed distribution of data stream contents | |
| CN106331075B (zh) | 用于存储文件的方法、元数据服务器和管理器 | |
| CN115658794B (zh) | 数据查询方法、装置、计算机设备和存储介质 | |
| CN116340691B (zh) | 基于多源数据的数据资产网络化管理和共享方法及系统 | |
| CN110719325A (zh) | 响应用户请求的方法和装置 | |
| US11586598B2 (en) | Data deduplication in data platforms | |
| CN114866416A (zh) | 一种多集群统一管理系统及部署方法 | |
| US11736336B2 (en) | Real-time monitoring of machine learning models in service orchestration plane | |
| US10108692B1 (en) | Data set distribution | |
| WO2016087640A1 (en) | Type-to-type analysis for cloud computing technical components | |
| CN116680235A (zh) | 一种数据处理方法及相关装置 | |
| CN117555932A (zh) | 多集群检索方法、装置、设备、介质和程序产品 | |
| CN117708114A (zh) | 资源处理方法、装置、计算机设备和存储介质 | |
| Sardis et al. | Mobile cultural experiences and their long-term preservation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |