CN109145637A - 一种基于网络通道的跨网络区域的数据自动流动的方法 - Google Patents

一种基于网络通道的跨网络区域的数据自动流动的方法 Download PDF

Info

Publication number
CN109145637A
CN109145637A CN201810792244.6A CN201810792244A CN109145637A CN 109145637 A CN109145637 A CN 109145637A CN 201810792244 A CN201810792244 A CN 201810792244A CN 109145637 A CN109145637 A CN 109145637A
Authority
CN
China
Prior art keywords
data
field
network
database
shared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810792244.6A
Other languages
English (en)
Inventor
赵正旭
王威
郭帮利
王策
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Zhongke Hengyun Software Technology Co Ltd
Hebei Zhongke Hengyun Software Technology Co Ltd
Original Assignee
Guizhou Zhongke Hengyun Software Technology Co Ltd
Hebei Zhongke Hengyun Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Zhongke Hengyun Software Technology Co Ltd, Hebei Zhongke Hengyun Software Technology Co Ltd filed Critical Guizhou Zhongke Hengyun Software Technology Co Ltd
Priority to CN201810792244.6A priority Critical patent/CN109145637A/zh
Publication of CN109145637A publication Critical patent/CN109145637A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6227—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database where protection concerns the structure of data, e.g. records, types, queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及网络数据自动流动技术领域，尤其是一种基于网络通道的跨网络区域的数据自动流动的方法,第一、在网络区域设置前置数据收集机，第二、在公网设置共享交换服务器；第三、在共享交换服务器，将原始数据按照表结构或者数据库查询语句的返回值封装成数据集；第四、数据集是对数据库表或者数据库查询语句的返回值的描述；第五、建立数据目录；第六、将数据目录和数据集做关联；第七、建立数据访问http接口。无需人为手动操作，可靠性高，无需拷贝，增加了数据的实用性，让数据更有意义，提升了数据的价值，有利于数据的共享传播，统一了渠道，对应使用者来说，只要知道共享交换平台就行了，使得使用者的获取数据的操作变得简单。

Description

一种基于网络通道的跨网络区域的数据自动流动的方法
技术领域
本发明涉及网络数据自动流动技术领域，尤其涉及一种基于网络通道的跨网络区域的数据自动流动的方法。
背景技术
网络区域指特定局域网，比如各个专网，政务网等。网络区域，数据只能在特定的网络区域传输，就是公网不能访问到网络区域内部，也叫内网。那么如果要把网络区域的数据开放外网访问，那么传统的做法就是将数据库或者文件直接拷贝，放到能够连接公网的机器，然后公网才能继续访问。这样做，能够实现数据访问，但是却带来了一些问题：
1、每次都是全量拷贝，随着业务数据增长，所需要的拷贝硬盘会越来越大，而且所需要的时间会越来越长，时间长了，一个拷贝要花几天时间也有可能。
2、手动拷贝，不自动不智能，浪费人力物力，依赖人力，容易出错，安全性低、可靠性差。
3、更新延迟，手动拷贝都是在特定的周期进行的，导致数据更新延迟，无法提供最新的数据，对应当前信息爆炸的互联网时代，这个无法忍受，因为往往最新的数据才是最有价值。
4、如果出现人员交替，新接手的人员很难全面了解拷贝过程应该注意的事项。这就导致了人员依赖严重。
5、各个网络区域数据分散，不利于数据统一管理、统一处理、统一分享，想要数据必须去指定的机器上拿，那么使用者必须维护很多拿数据的地址。
基因这些，本方案提出了一种基于网络通道的跨网络区域的数据自动流动的方法，实现数据的共享交换，完美解决了上述问题。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于网络通道的跨网络区域的数据自动流动的方法。
为了实现上述目的，本发明采用了如下技术方案：
设计一种基于网络通道的跨网络区域的数据自动流动的方法,所述网络通道的跨网络区域的数据自动流动的方法包括以下步骤，如图1所示：
第一、在网络区域设置前置数据收集机，将该网络区域要共享开发的数据收集起来，分两个情况收集：
第一种：前置数据收集机前收集到的数据推送到共享交换数据中心指定的数据库，共享交换中心服务器通过该数据库账号密码连接到该数据库，读取数据库数据；
第二种：前置数据收集机提供http接口，数据格式为xml或者json，共享交换中心服务器调用http接口，拿到数据。
第二、在公网设置共享交换服务器，直接连接或者通过http调用拿到共享交换数据中心的数据；
第三、在共享交换服务器，将原始数据按照表结构或者数据库查询语句的返回值封装成数据集；
第四、数据集是对数据库表或者数据库查询语句的返回值的描述，包括信息描述和字段，其中字段是对原始数据字段名称进行转换，具体步骤为：
a、将配置连接到共享交换数据中心的数据库连接参数，也就是数据库主机，端口，用户名，密码，形成一个数据源；
b、根据配置的数据源拿到数据库表信息，选择一张表的数据作为返回值，或者输入一条sql查询语句作为返回值，然后设置返回字段，设置过滤字段，给字段重新命名，完成一个数据集的设置；
第五、建立数据目录，用来区分单位或者部门的数据，目录下包含目录字段，目录结构如图4，方法为：
a、数据目录是按照单位和部门区分的树形结构，一个单位包含多个部门，一个部门有多个数据，一个数据有多个字段，这里相当于把数据按照单位目录进行了分类；
b、然后在将数据设置上主题分类、行业分类和服务分类，这样又将数据按照应用进行了分类；
第六、将数据目录和数据集做关联，这样数据就通过目录挂起来了，如图3所示，步骤为：
在数据集设置里选择关联目录，然后将数据集字段和目录字段进行一对一的关联设置，并且一个数据集只能关联一个数据目录；
第七、建立数据访问http接口，关联数据目录，然后通过http接口访问数据，所述的数建立数据访问http接口方法是：
a、先选择一个数据目录，然后选择展示字段，生成http接口，这里创建api是为定制数据的过程，如图2所示，api定制显示字段，然后关了数据目录字段，数据目录字段关联数据集字段，最后数据集关联数据库字段，完成整改数据字段定制流程；
b、共享交换中心的数据流如图3所示：从数据集根据设置的过滤条件，查询条件，从数据库得到数据，进行数据集字段设置的转换，再根据关联的目录进行字段转换，然后到达api，由api提供最终的数据展示。
优选的，所有数据通过共享交换平台统一提供对外的调用接口。
优选的，所述数据目录将数据进行单位分类、主题分类、行业分类、服务分类，且对数据进行了统计和分区。
优选的, 对外提供访问数据的api是基于http的接口调用。
本发明提出的一种基于网络通道的跨网络区域的数据自动流动的方法，有益效果在于：包括基因网络通道，使用数据库技术、http协议、xml和json数据格式、java web技术将分散在各个网络区域的数据流向数据中心的服务器，由数据中心服务器继续统一保存原始数据，注意，这里其实是各个网络区域共享数据的一个副本。再由共享交换服务器统一对数据进行整理、封装、转换、建立数据集、建立数据目录、建立统一访问API，实现数据实时自动地流动、整理、转换和访问，打通妨碍数据流通的网络区域限制。本专利通过从分散到集中到分享的方式，实现数据从各个分散的网页区域，通过前置数据集收集机收集数据并将数据推送到共享交换数据中心在用共享交换服务器统一整理、转换、共享出去。实现了来源分散、处理集中、共享方式统一的数据自动流动方法，
1、前置数据集收集机自动收集数据，自动推送到共享交换数据中心，无需人为手动操作，可靠性高。
2、前置数据集收集机可以实时收集，数据的即时性，有效性高。
3、前置数据集收集机是增量收集增加更新，每次更新数据量小，直接推送到共享交换数据中心，无需拷贝。
4、数据集对原始数据进行筛选和转换，对原始数据进行了统一的管理，封装和转换，能够对原始数据起到保护作用。
5、数据目录，将数据进行单位分类，主题分类，行业分类，服务分类，对数据进行了统计和分区，增加了数据的实用性，让数据更有意义，提升了数据的价值。
6、对外提供访问数据的api是基于http的接口调用，起到了简单，夸平台的作用，有利于数据的共享传播。
7、所有数据通过共享交换平台统一提供对外的调用接口，统一了渠道，对应使用者来说，只要知道共享交换平台就行了，使得使用者的获取数据的操作变得简单。
附图说明
图1为本发明提出的一种基于网络通道的跨网络区域的数据自动流动的方法的整体流程示意图；
图2为本发明提出的一种基于网络通道的跨网络区域的数据自动流动的方法的数据定制流程示意图；
图3为本发明提出的一种基于网络通道的跨网络区域的数据自动流动的方法的数据流向示意图；
图4为本发明提出的一种基于网络通道的跨网络区域的数据自动流动的方法的目录结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1-4，一种基于网络通道的跨网络区域的数据自动流动的方法,所述网络通道的跨网络区域的数据自动流动的方法包括以下步骤，如图1所示：
第一、在网络区域设置前置数据收集机，将该网络区域要共享开发的数据收集起来，分两个情况收集：
第一种：前置数据收集机前收集到的数据推送到共享交换数据中心指定的数据库，共享交换中心服务器通过该数据库账号密码连接到该数据库，读取数据库数据；
第二种：前置数据收集机提供http接口，数据格式为xml或者json，共享交换中心服务器调用http接口，拿到数据。
第二、在公网设置共享交换服务器，直接连接或者通过http调用拿到共享交换数据中心的数据；
第三、在共享交换服务器，将原始数据按照表结构或者数据库查询语句的返回值封装成数据集；
第四、数据集是对数据库表或者数据库查询语句的返回值的描述，包括信息描述和字段，其中字段是对原始数据字段名称进行转换，具体步骤为：
a、将配置连接到共享交换数据中心的数据库连接参数，也就是数据库主机，端口，用户名，密码，形成一个数据源；
b、根据配置的数据源拿到数据库表信息，选择一张表的数据作为返回值，或者输入一条sql查询语句作为返回值，然后设置返回字段，设置过滤字段，给字段重新命名，完成一个数据集的设置；
第五、建立数据目录，用来区分单位或者部门的数据，目录下包含目录字段，目录结构如图4，方法为：
a、数据目录是按照单位和部门区分的树形结构，一个单位包含多个部门，一个部门有多个数据，一个数据有多个字段，这里相当于把数据按照单位目录进行了分类；
b、然后在将数据设置上主题分类、行业分类和服务分类，这样又将数据按照应用进行了分类；
第六、将数据目录和数据集做关联，这样数据就通过目录挂起来了，如图3所示，步骤为：
在数据集设置里选择关联目录，然后将数据集字段和目录字段进行一对一的关联设置，并且一个数据集只能关联一个数据目录；
第七、建立数据访问http接口，关联数据目录，然后通过http接口访问数据，所述的数建立数据访问http接口方法是：
a、先选择一个数据目录，然后选择展示字段，生成http接口，这里创建api是为定制数据的过程，如图2所示，api定制显示字段，然后关了数据目录字段，数据目录字段关联数据集字段，最后数据集关联数据库字段，完成整改数据字段定制流程；
b、共享交换中心的数据流如图3所示：从数据集根据设置的过滤条件，查询条件，从数据库得到数据，进行数据集字段设置的转换，再根据关联的目录进行字段转换，然后到达api，由api提供最终的数据展示。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于网络通道的跨网络区域的数据自动流动的方法,其特征在于，所述网络通道的跨网络区域的数据自动流动的方法包括以下步骤，如图1所示：
第一、在网络区域设置前置数据收集机，将该网络区域要共享开发的数据收集起来，分两个情况收集：
第一种：前置数据收集机前收集到的数据推送到共享交换数据中心指定的数据库，共享交换中心服务器通过该数据库账号密码连接到该数据库，读取数据库数据；
第二种：前置数据收集机提供http接口，数据格式为xml或者json，共享交换中心服务器调用http接口，拿到数据；
第二、在公网设置共享交换服务器，直接连接或者通过http调用拿到共享交换数据中心的数据；
第三、在共享交换服务器，将原始数据按照表结构或者数据库查询语句的返回值封装成数据集；
第四、数据集是对数据库表或者数据库查询语句的返回值的描述，包括信息描述和字段，其中字段是对原始数据字段名称进行转换，具体步骤为：
a、将配置连接到共享交换数据中心的数据库连接参数，也就是数据库主机，端口，用户名，密码，形成一个数据源；
b、根据配置的数据源拿到数据库表信息，选择一张表的数据作为返回值，或者输入一条sql查询语句作为返回值，然后设置返回字段，设置过滤字段，给字段重新命名，完成一个数据集的设置；
第五、建立数据目录，用来区分单位或者部门的数据，目录下包含目录字段，目录结构如图4，方法为：
a、数据目录是按照单位和部门区分的树形结构，一个单位包含多个部门，一个部门有多个数据，一个数据有多个字段，这里相当于把数据按照单位目录进行了分类；
b、然后在将数据设置上主题分类、行业分类和服务分类，这样又将数据按照应用进行了分类；
第六、将数据目录和数据集做关联，这样数据就通过目录挂起来了，如图3所示，步骤为：
在数据集设置里选择关联目录，然后将数据集字段和目录字段进行一对一的关联设置，并且一个数据集只能关联一个数据目录；
第七、建立数据访问http接口，关联数据目录，然后通过http接口访问数据，所述的数建立数据访问http接口方法是：
a、先选择一个数据目录，然后选择展示字段，生成http接口，这里创建api是为定制数据的过程，如图2所示，api定制显示字段，然后关了数据目录字段，数据目录字段关联数据集字段，最后数据集关联数据库字段，完成整改数据字段定制流程；
b、共享交换中心的数据流如图3所示：从数据集根据设置的过滤条件，查询条件，从数据库得到数据，进行数据集字段设置的转换，再根据关联的目录进行字段转换，然后到达api，由api提供最终的数据展示。
2.根据权利要求1所述的一种基于网络通道的跨网络区域的数据自动流动的方法，其特征在于，所有数据通过共享交换平台统一提供对外的调用接口。
3.根据权利要求1所述的一种基于网络通道的跨网络区域的数据自动流动的方法，其特征在于，所述数据目录将数据进行单位分类、主题分类、行业分类、服务分类，且对数据进行了统计和分区。
4.根据权利要求1所述的一种基于网络通道的跨网络区域的数据自动流动的方法, 其特征在于，对外提供访问数据的api是基于http的接口调用。
CN201810792244.6A 2018-07-18 2018-07-18 一种基于网络通道的跨网络区域的数据自动流动的方法 Pending CN109145637A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810792244.6A CN109145637A (zh) 2018-07-18 2018-07-18 一种基于网络通道的跨网络区域的数据自动流动的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810792244.6A CN109145637A (zh) 2018-07-18 2018-07-18 一种基于网络通道的跨网络区域的数据自动流动的方法

Publications (1)

Publication Number Publication Date
CN109145637A true CN109145637A (zh) 2019-01-04

Family

ID=64800800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810792244.6A Pending CN109145637A (zh) 2018-07-18 2018-07-18 一种基于网络通道的跨网络区域的数据自动流动的方法

Country Status (1)

Country Link
CN (1) CN109145637A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110519185A (zh) * 2019-08-28 2019-11-29 福建威盾科技集团有限公司 一种新型跨网络数据交换的方法
CN115242889A (zh) * 2022-05-19 2022-10-25 北京英沣特能源技术有限公司 一种数据中心不同数字化平台数据交互装置
CN116089501A (zh) * 2023-02-24 2023-05-09 萨科(深圳)科技有限公司 一种数字化共享平台订单数据统计查询方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2771869Y (zh) * 2005-03-10 2006-04-12 成都华立达电力信息系统有限公司 远方电能计量计费系统
CN102752289A (zh) * 2012-06-12 2012-10-24 上海市电力公司 一种用于用电信息采集系统的主站
CN103139251A (zh) * 2011-11-29 2013-06-05 神州数码信息系统有限公司 一种城市级数据共享交换平台技术的方法
CN104158844A (zh) * 2014-07-14 2014-11-19 上海东方延华节能技术服务股份有限公司 远程实时监测系统
CN105159951A (zh) * 2015-08-17 2015-12-16 成都中科大旗软件有限公司 一种开放式的旅游多源异构数据融合方法及系统
CN105225190A (zh) * 2015-09-30 2016-01-06 上海安技智能科技股份有限公司 一种仓储物流大数据共享平台
CN105930681A (zh) * 2016-05-30 2016-09-07 镇江市第人民医院 一种患者自我评估系统及方法
CN106209801A (zh) * 2016-06-28 2016-12-07 广东电网有限责任公司信息中心 移动应用平台与内外网数据安全交换平台集成系统
CN106354833A (zh) * 2016-08-31 2017-01-25 广东京信软件科技有限公司 一种基于b\s架构实现数据管理与共享交换的平台
CN108229921A (zh) * 2017-09-05 2018-06-29 杭州孚嘉科技有限公司 国税地税联合数据采集系统及其操作方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2771869Y (zh) * 2005-03-10 2006-04-12 成都华立达电力信息系统有限公司 远方电能计量计费系统
CN103139251A (zh) * 2011-11-29 2013-06-05 神州数码信息系统有限公司 一种城市级数据共享交换平台技术的方法
CN102752289A (zh) * 2012-06-12 2012-10-24 上海市电力公司 一种用于用电信息采集系统的主站
CN104158844A (zh) * 2014-07-14 2014-11-19 上海东方延华节能技术服务股份有限公司 远程实时监测系统
CN105159951A (zh) * 2015-08-17 2015-12-16 成都中科大旗软件有限公司 一种开放式的旅游多源异构数据融合方法及系统
CN105225190A (zh) * 2015-09-30 2016-01-06 上海安技智能科技股份有限公司 一种仓储物流大数据共享平台
CN105930681A (zh) * 2016-05-30 2016-09-07 镇江市第人民医院 一种患者自我评估系统及方法
CN106209801A (zh) * 2016-06-28 2016-12-07 广东电网有限责任公司信息中心 移动应用平台与内外网数据安全交换平台集成系统
CN106354833A (zh) * 2016-08-31 2017-01-25 广东京信软件科技有限公司 一种基于b\s架构实现数据管理与共享交换的平台
CN108229921A (zh) * 2017-09-05 2018-06-29 杭州孚嘉科技有限公司 国税地税联合数据采集系统及其操作方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110519185A (zh) * 2019-08-28 2019-11-29 福建威盾科技集团有限公司 一种新型跨网络数据交换的方法
CN115242889A (zh) * 2022-05-19 2022-10-25 北京英沣特能源技术有限公司 一种数据中心不同数字化平台数据交互装置
CN116089501A (zh) * 2023-02-24 2023-05-09 萨科(深圳)科技有限公司 一种数字化共享平台订单数据统计查询方法
CN116089501B (zh) * 2023-02-24 2023-08-22 萨科(深圳)科技有限公司 一种数字化共享平台订单数据统计查询方法

Similar Documents

Publication Publication Date Title
CN112685385B (zh) 一种用于智慧城市建设的大数据平台
CN109145637A (zh) 一种基于网络通道的跨网络区域的数据自动流动的方法
Kang et al. Inferring properties and revealing geographical impacts of intercity mobile communication network of China using a subnet data set
CN106445556A (zh) 一种可视化代码生成方法及系统
CN105931168A (zh) 一种基于信息栅格服务的智慧城市服务架构
CN104820946A (zh) 一种面向农业信息一体化的云计算系统
CN103312826B (zh) 文件同步的方法、装置、客户端、服务器端及设备
CN109243551A (zh) 一种肿瘤登记随访网络直报系统
Jia et al. Early warning of epidemics: towards a national intelligent syndromic surveillance system (NISSS) in China
Tang et al. Urbanization and rural development in the Beijing–Tianjin–Hebei metropolitan region: Coupling-degree model
CN106846210A (zh) 一种基于患者诊疗信息的病友推荐系统
CN108984802A (zh) 一种在运维审计系统中的设备分类查找方法
Yang et al. Grid computing in China
AU2015309696A1 (en) Analysing medical data
Purohit et al. With whom to coordinate, why and how in ad-hoc social media communications during crisis response
Han Design and application of educational information management system based on SOA
Corkery International experience with institutional development and administrative reform: some pointers for success
CN106339970A (zh) 一种廉政文化建设及管理电子政务服务平台系统
Kyriakopoulos et al. FlowStats: An ontology based network management tool
KR20160087279A (ko) 스마트 워터 그리드 기반 정보 관리 방법 및 시스템
CN109840719A (zh) 组织域的管控方法、装置和服务器
CN109041079A (zh) 一种小区网络检查的方法及装置
Brock et al. Cacophony: Building a resilient Internet of things
Fu et al. Sensor application of mobile nursing integrated workstation measurement system based on SOA architecture model in nursing information management
Friesen et al. Community-oriented primary care (COPC) in the city of Tshwane (South Africa)—A web map application in support of responsive and dynamic health care

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190104