CN113032656B - 基于关键词组的云平台联合数据库管理方法及系统 - Google Patents
基于关键词组的云平台联合数据库管理方法及系统 Download PDFInfo
- Publication number
- CN113032656B CN113032656B CN202110444380.8A CN202110444380A CN113032656B CN 113032656 B CN113032656 B CN 113032656B CN 202110444380 A CN202110444380 A CN 202110444380A CN 113032656 B CN113032656 B CN 113032656B
- Authority
- CN
- China
- Prior art keywords
- content information
- cloud platform
- data
- information system
- cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了基于关键词组的云平台联合数据库管理方法及系统,管理方法包括:云平台归集所接入的各内容信息系统的关键词组,并构建云平台统一关键词组;云平台向各内容信息系统分发云平台统一关键词组,各内容信息系统根据云平台统一关键词组对自身所采集数据进行匹配;各内容信息系统将非自身需要且与云平台统一关键词组相匹配的有效网络内容信息数据共享至云平台;以及云平台归集各内容信息系统所提供的有效网络内容信息数据且形成云联合数据库,并根据各内容信息系统自身所对应的云平台统一关键词组向其分发所对应的内容信息数据。本发明将网络内容信息数据进行统一整合和交换共享,形成网络内容信息系统的综合运用和调度,提高数据利用率。
Description
技术领域
本发明涉及信息采集或数据管理领域,具体涉及一种基于关键词组的云平台联合数据库管理方法,还具体涉及一种基于关键词组的云平台联合数据库管理系统。
背景技术
目前国内的内容信息系统中,各个不同网络内容信息公司的内容信息系统都是独立运行;而在目前网络内容信息服务市场里由各个不同网络内容信息公司所研发运维的内容信息系统,由于缺乏一个行业性的数据资源和分析模型共享交换平台,使得行业整体运行效率较底,而且网络内容信息系统用户单位也难以更加有效地综合运用不同厂家所研发运维的多个内容信息监测系统。目前,各内容信息系统公司所研发运维的内容信息系统,都基本遵循“网页采集-关键词组匹配-网络数据分析-可视化展示及业务应用”四个主要环节,而且都需要对大量重复的网站进行反复的网页采集,以确保及时发现与预设关键词组匹配的网络内容信息信息,而上述这四个环节中“网页采集-关键词组匹配”环节是技术资源消耗的主要2个环节,所以大多数内容信息系统的计算存储和带宽资源都在重复冗余的采集过程中耗散掉了,而且每次采集的页面因为只配置本公司所服务的客户关注的关键词组,所以也只提取了本公司所服务的客户感兴趣的有用信息,大量非本公司所服务的客户的有效信息,因为未进行关键词配置而直接丢弃,导致大量有潜在价值的数据被浪费,从整个网络内容信息采集分析行业的视角来看,存在内耗严重的问题。
因此需要一种基于关键词组的云平台联合数据库管理方法及系统,将多个网络内容信息公司所研发运维的异构网络内容信息系统的各自采集网络内容信息数据进行充分的数据挖掘、统一整合和交换共享,形成基于网络内容信息关键词组为驱动的网络内容信息系统的综合运用和调度,从整体上提高数据利用率。
发明内容
本发明提供一种基于关键词组的云平台联合数据库管理方法及系统,将多个异构网络内容信息系统的网络内容信息数据进行统一整合和交换共享,形成基于网络内容信息关键词组为驱动的网络内容信息系统的综合运用和调度,提高数据利用率,从而解决现有技术中的不足。
具体地,一方面,本发明提供一种基于关键词组的云平台联合数据库管理方法,所述管理方法包括:
云平台归集所接入的各内容信息系统的关键词组,并构建云平台统一关键词组;
云平台向各内容信息系统分发云平台统一关键词组,各内容信息系统根据云平台统一关键词组对自身所采集数据进行匹配;
各内容信息系统将非自身需要且与云平台统一关键词组相匹配的有效网络内容信息数据共享至云平台;以及
云平台归集各内容信息系统所提供的有效网络内容信息数据且形成云联合数据库,并根据各内容信息系统自身所对应的云平台统一关键词组向其分发所对应的内容信息数据。
在本发明中,云平台会归集所接入的各个内容信息系统所需或者所提供的关键词组,并按一定规则构件云平台统一关键词组后,将云平台统一关键词组分发给各个内容信息系统,这样各个内容信息系统在原来采集数据的基础上,不仅对自身关注的关键词进行匹配,还会对云平台统一关键词组进行匹配,从而同时提取自身关键词所对应的数据信息和云平台统一关键词组所对应的数据信息,并将云平台统一关键词组所对应的数据信息共享至云平台,云平台对于各个接入内容信息系统提交上来的有效网络内容信息数据,第一时间根据其它内容信息系统自身所对应的云平台统一关键词组(即其它内容信息系统自身所需的关键词组)向其分发所对应的内容信息数据,从而便于其它内容信息系统从云平台接受所需的有效数据信息。在实际操作时,不会显著增大对各接入内容信息系统的资源消耗,但是可以使得各内容信息系统所采集的网页数据中的有内容信息价值的数据得以充分挖掘,从而对所有接入网络云平台的内容信息系统实现监测范围扩大和监测频率提高的有益作用。通过云平台和关键词组管理方法将网络内容信息数据进行统一整合和交换共享,形成网络内容信息系统的综合运用和调度,提高数据利用率。同时 根据各内容信息系统所提供的有效网络内容信息数据且形成云联合数据库,该云联合数据库所存储的数据均为云平台所分发,而且成功匹配了云平台统一关键词组的有效数据,通过向各个接入网络内容信息系统开放使用,提高云平台网络内容信息联合数据库的利用率,以及为后续的各类网络内容信息数据分析提供高质量的数据支撑保障。
各内容信息系统确定自身所需关键词组并标注后共享至云平台,云平台对关键词组进行合规性检查;若合规则进行归集并对关键词组进行去重和整合,并构建云平台统一关键词组;若不合规则反馈至相应内容信息系统并要求其进行调整或修改至合规。
在本发明中,云平台会对所接入的内容信息系统所提供的关键词组进行合规性检查,通过对各个接入内容信息系统的合规性检查,可以有效避免各个异构的内容信息系统在关键词组形式上的差异。并对关键词组进行去重和整合,确定云平台统一关键词组,从而使得各个内容信息系统有一个相对统一,而且包含了各个接入内容信息公司所服务的所有客户的关键词组,在保证数据匹配上全面覆盖的同时,又保证云平台的运行精准度和运行效率。
各内容信息系统自身所需关键词组的标注方式为:标注内容包括该内容信息系统的公司名称+用户名称,标注形式为唯一标识。
标注规则为XnYm,其中,Xn中的n为云平台对内容信息系统的唯一编码,Ym中的m为内容信息系统对自身用户的唯一编码。
内容信息系统还可以根据自身需求向云平台发送数据请求,云平台对数据请求进行审核后,将含有该内容信息系统所需关键词的内容信息数据打包并发送。
在本发明中,内容信息系统还可以根据自身需求的变化主动向云平台发送相关数据请求(以关键词组的方式),并在云平台审核后获得相关内容信息数据,这样使得各个接入网路内容信息系统能够充分利用网络云平台的联合数据库的获得多样的网络内容信息数据,有利于提高各个接入内容信息系统的服务质量和效率。
云平台根据实际需求构建特定应急网络事件的特定应急网络事件关键词组,将特定应急网络事件关键词组推送给部分或所有内容信息系统,内容信息系统收到特定应急网络事件关键词组后进行匹配并将匹配成功的数据打包共享至云平台。
在本发明中,当有关部门或实际需要对某一特定应急网络事件存在采集分析需求时,可以通过该云平台进行统一安排并分布相关需求任务,内容信息系统对该特定应急网络事件进行集体应急监测并向云平台集中反馈数据,从而实现在应急情况下,有效实现跨内容信息公司之间异构网络内容信息系统的数据的整合利用、提高应急情况下的监测效率。
所述特定应急网络事件关键词组的优先级高于常规的云平台统一关键词组,内容信息系统收到特定应急网络事件关键词组后进行优先匹配并第一时间将相关数据打包共享至云平台。在本发明中,可以通过该方法实现在发生紧急事件或重大突发事件等情况下,可以组织所有接入内容信息系统的资源提高监测的全面性和时效性。
进一步,本发明还提供一种基于关键词组的云平台联合数据库管理系统,其包括
关键词组归集模块,归集接入云平台的各内容信息系统的关键词组,并构建云平台统一关键词组;
关键词组分发模块,向各内容信息系统分云平台统一关键词组;
云数据存储模块,各内容信息系统将非自身需要且与云平台统一关键词组相匹配的有效网络内容信息数据共享至云平台,所述云数据存储模块对有效网络内容信息数据进行归集整理形成云联合数据库;以及
云数据分发模块,根据各内容信息系统自身所对应的云平台统一关键词组向其分发所对应的有效网络内容信息数据。
还包括特定应急网络事件关键词组模块,根据实际需求构建特定应急网络事件的特定应急网络事件关键词组,并将特定应急网络事件关键词组推送给部分或所有内容信息系统,内容信息系统收到特定应急网络事件关键词组后进行匹配并将匹配成功的数据打包共享至云平台。
所述特定应急网络事件关键词组的优先级高于常规的云平台统一关键词组,内容信息系统收到特定应急网络事件关键词组后进行优先匹配并第一时间将相关数据打包共享至云平台。
还包括云数据管理模块,其包括
数据资源整合,对云平台的数据归集的清洗与转换过程进行管理,对该过程提供标准化的流程和规范,确保清洗与转换后的数据可用;
数据资源目录,将云平台的数据进行数据分类,并形成数据资源目录,以便于数据的管理和查询;
数据标准管理,汇集整理数据资源管理所需的标准规范信息,使云联合数据库形成为标准数据库;以及
数据安全访问管理,对访问云联合数据库的过程设立分级分权管理,确保数据在访问的过程安全。
进一步地,本发明还提供一种网络云平台,其包括如上所述的基于关键词组的云平台联合数据库管理系统。
附图说明
图1为本发明所述的基于关键词组的云平台联合数据库管理方法流程图;
图2为本发明所述的网络云平台接入运行效能的评估方法流程图。
具体实施方式
显然,下面所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
如图1所示,本实施例提供一种基于关键词组的云平台联合数据库管理方法,所述管理方法包括:
云平台归集所接入的各内容信息系统的关键词组,并构建云平台统一关键词组;
云平台向各内容信息系统分发云平台统一关键词组,各内容信息系统根据云平台统一关键词组对自身所采集数据进行匹配;
各内容信息系统将非自身需要且与云平台统一关键词组相匹配的有效网络内容信息数据共享至云平台;以及
云平台归集各内容信息系统所提供的有效网络内容信息数据且形成云联合数据库,并根据各内容信息系统自身所对应的云平台统一关键词组向其分发所对应的内容信息数据。
在现有技术中,目前各网络内容信息系统所服务的用户单位都属于独立采购,自建自用的模式搭建的内容信息系统,都在独立进行“网页采集-关键词组匹配-网络数据分析-可视化展示及业务应用”4个环节。而且无论那种内容信息系统,都需要对大量重复的网站进行反复的网页采集,以确保及时发现与预设关键词组匹配的网络内容信息信息,而上述这4个环节中“网页采集-关键词组匹配”环节是技术资源消耗的主要2个环节,所以从全局层面来看,大多数内容信息系统的技术资源都在重复冗余的采集过程中耗散掉了,而且每次采集的页面因为只配置本单位关注的关键词组,所以也只提取了本单位感兴趣的有用信息。大量非本单位的有效信息,因为未进行关键词配置,而直接丢弃;从全局层面,由于缺乏覆盖多个内容信息公司所运营的异构内容信息系统的统一整合调度平台,各地各级各部门的用户单位所投入建设的内容信息系统的计算存储和网络带宽等技术资源处于较大的内耗状态。
在本实施例中,云平台会归集所接入的各个内容信息系统所需或者所提供的关键词组,并按一定规则构件云平台统一关键词组后,将云平台统一关键词组分发给各个内容信息系统,这样各个内容信息系统在原来采集数据的基础上,不仅对自身关注的关键词进行匹配,还会对云平台统一关键词组进行匹配,从而同时提取自身关键词所对应的数据信息和云平台统一关键词组所对应的数据信息,并将云平台统一关键词组所对应的数据信息共享至云平台,云平台对于各个接入内容信息系统提交上来的有效网络内容信息数据,第一时间根据其它内容信息系统自身所对应的云平台统一关键词组(即自身所需的关键词组)向其分发所对应的内容信息数据,从而便于其它内容信息系统从云平台接受所需的数据信息。不会显著增大对各接入内容信息系统的资源消耗,但是可以使得各内容信息系统所采集的网页数据中的有内容信息价值的数据得以充分挖掘.通过云平台和关键词组管理方法将网络内容信息数据进行统一整合和交换共享,形成网络内容信息系统的综合运用和调度,提高数据利用率。同时,根据各内容信息系统所提供的有效网络内容信息数据且形成云联合数据库,该云联合数据库所存储的数据均为云平台所分发,而且成功匹配了云平台统一关键词组的有效数据,通过向各个接入网络内容信息系统开放使用,提高云平台网络内容信息联合数据库的利用率,以及为后续的各类网络内容信息数据分析提供高质量的数据支撑保障。
具体地,各内容信息系统确定自身所需关键词组并标注后共享至云平台,云平台对关键词组进行合规性检查;若合规则进行归集并对关键词组进行去重和整合,并构建云平台统一关键词组;若不合规则反馈至相应内容信息系统并要求其进行调整或修改至合规。
在本实施例中,云平台会对所接入的内容信息系统所提供的关键词组进行合规性检查,通过对各个接入内容信息系统的合规性检查,可以有效避免各个异构的内容信息系统在关键词组形式上的差异。并对对关键词组进行去重和整合,确定云平台统一关键词组,从而使得各个内容信息系统有一个相对统一,而且包含了各个接入内容信息公司所服务的所有客户的关键词组,以保证数据匹配上的全面覆盖,保证云平台的运行精准度和运行效率。
在本实施例中,各内容信息系统自身所需关键词组的标注方式为:标注内容包括该内容信息系统的公司名称+用户名称,标注形式为唯一标识。例如,可以优选标注规则为XnYm,其中,Xn中的n为云平台对内容信息系统的唯一编码,Ym中的m为内容信息系统对自身用户的唯一编码,如X0001Y001表示接入云平台的第0001号内容信息系统自身的第001号用户。
内容信息系统还可以根据自身需求向云平台发送数据请求,云平台对数据请求进行审核后,将含有该内容信息系统所需关键词的内容信息数据打包并发送。在本实施例中,内容信息系统还可以根据自身需求的变化主动向云平台发送相关数据请求,并在云平台审核后获得相关内容信息数据,这样使得内容信息系统能够快速、便捷的获得多种多样的内容信息数据,有利于提供内容信息系统的服务质量和服务效率。
进一步,在本实施例中云平台根据实际需求构建特定应急网络事件的特定应急网络事件关键词组,将特定应急网络事件关键词组推送给部分或所有内容信息系统,内容信息系统收到特定应急网络事件关键词组后进行匹配并将匹配成功的数据打包共享至云平台。其中,所述特定应急网络事件关键词组的优先级高于常规的云平台统一关键词组,内容信息系统收到特定应急网络事件关键词组后进行优先匹配并第一时间将相关数据打包共享至云平台。
在本实施例中,当有关部门或实际需要对某一特定事件存在采集分析需求时,可以通过该云平台进行统一安排并分布相关需求任务,内容信息系统对该需求进行集体监测并反馈数据,实现数据的整合利用、提高监测效率;同时可将所述特定应急网络事件关键词组设为最高优先级,从而通过该方法实现在发生紧急事件或重大突发事件等情况下,可以组织所有接入内容信息系统的资源提高监测的全面性和时效性。
实施例2
在实施例1的基础上,本实施例进一步提供一种基于关键词组的云平台联合数据库管理系统,其包括
关键词组归集模块,归集接入云平台的各内容信息系统的关键词组,并构建云平台统一关键词组;
关键词组分发模块,向各内容信息系统分云平台统一关键词组;
云数据存储模块,各内容信息系统将非自身需要且与云平台统一关键词组相匹配的有效网络内容信息数据共享至云平台,所述云数据存储模块对有效网络内容信息数据进行归集整理形成云联合数据库;以及
云数据分发模块,根据各内容信息系统自身所对应的云平台统一关键词组向其分发所对应的有效网络内容信息数据。
在本实施例中,各个接入云平台的内容信息系统(内容信息公司)一方面是通过云平台来实现常规或应急状态的云平台统一关键词组的共享,另一方面也是通过云平台来实现所采集的有效网络内容信息数据在各接入的内容信息系统(内容信息公司)之间的直接交换共享。当云平台采集到各方提交的数据时,需对数据进行前期的清洗转换,对归集的数据需进行数据重排、数据清洗等过程,并在归集和分发的过程中积累形成云联合数据库。数据的归集流程为:
a、各接入的内容信息系统独立采集各互联网平台的网络数据;
b、各接入的内容信息系统根据云平台统一关键词组对网络数据进行匹配;
c、各接入的内容信息系统将非自身需要但匹配中的有效网络内容信息数据上传至云平台;
d、云平台根据原各接入的内容信息系统所提交的有效网络内容信息数据所对应的匹配关键词组所标注的“内容信息系统(内容信息公司)+用户单位”,对上传的有效网络内容信息数据向各个接入内容信息系统进行分发;
e、各接入的内容信息系统接受云分发的内容信息数据后,按照“内容信息系统(内容信息公司)+用户单位”中“用户单位”的标识,向其服务的相关用户单位的内容信息系统进行分析和展示;
f、云平台对所有转发的有效网络内容信息数据进行集中存储,形成云联合数据库的数据来源。
同时,在本实施例中,云平台对于各内容信息公司所需的数据,通过关键词、唯一标识、标签等形式,有针对性的打包,通过网络云数据分发模块分发各内容信息系统,数据交换平台设置安全交换权限,确保各内容信息系统请求的数据只能是自己权限范围内的数据。
各内容信息系统(内容信息公司)在推送数据给云平台时,网络云数据分发模块对各厂商交换数据过程进行权限分级分权管理,各内容信息系统(内容信息公司)发送数据请求后,云平台对数据请求进行审核,审核通过后才能将含有关键词组的数据打包,即各内容信息系统(内容信息公司)只能从云平台数据交换平台交换含有权限内的关键字组相关数据。
本实施例还包括特定应急网络事件关键词组模块,根据实际需求构建特定应急网络事件的特定应急网络事件关键词组,并将特定应急网络事件关键词组推送给部分或所有内容信息系统,内容信息系统收到特定应急网络事件关键词组后进行匹配并将匹配成功的数据打包共享至云平台。
所述特定应急网络事件关键词组的优先级高于常规的云平台统一关键词组,内容信息系统收到特定应急网络事件关键词组后进行优先匹配并第一时间将相关数据打包共享至云平台。
本实施例通过关键词组归集模块、关键词组分发模块和数据库存储模块使得各内容信息系统得以充分利用,通过云平台将网络内容信息数据进行统一整合和交换共享,形成网络内容信息系统的综合运用和调度,提高数据利用率。同时还可以通过该系统实现在发生紧急事件或重大突发事件等情况下,可以组织所有接入内容信息系统的资源提高监测的全面性和时效性。
进一步地,本实施例还包括云数据管理模块,其包括
数据资源整合,对云平台的数据归集的清洗与转换过程进行管理,对该过程提供标准化的流程和规范,确保清洗与转换后的数据可用;
数据资源目录,将云平台的数据进行数据分类,并形成数据资源目录,以便于数据的管理和查询;
数据标准管理,汇集整理数据资源管理所需的标准规范信息,使云联合数据库形成为标准数据库;以及
数据安全访问管理,对访问云联合数据库的过程设立分级分权管理,确保数据在访问的过程安全。
在本实施例中,考虑到云平台的数据汇聚了各论坛、网站、微博、微信、传统媒体信息等海量内容信息数据,数据结构比较复杂,数据类型比较多样,数据维护工作将会变得复杂和繁重,因此通过云数据管理模块建立一套便捷、高效、安全的数据管理体系。云平台从数据资源目录服务、数据资源整合过程、数据标准管理、数据安全访问管理、各内容信息系统数据关键词管理等不同层面提供数据管理与监控功能。
实施例3
在实施例2的基础上,本实施例进一步提供一种网络云平台,其包括如上所述的基于关键词组的云平台联合数据库管理系统。
如图2所示,本实施例的网络云平台还可以包括网络云平台接入运行效能的评估系统,其包括:
数据采集交换效能模块,对云平台中的各内容信息系统进行数据采集交换效能进行评估,所述数据采集交换效能根据该内容信息系统的共享数据和接受数据确定;
数据分析模型效能模块,对云平台中的各内容信息系统进行数据分析模型效能进行评估,所述数据分析模型效能根据该内容信息系统的数据分析模型被使用时长和次数确定;以及,
云平台接入运行效能模块,根据各内容信息系统的数据采集交换效能评估结果和/或数据分析模型效能评估结果,确定该内容信息系统的云平台接入运行效能。
还包括淘汰模块,对云平台中的内容信息系统设置数据采集交换效能的末位淘汰率S1、设置数据分析模型效能的末位淘汰率S2。
所述淘汰模块按一定时间周期根据S1计算出拟淘汰的内容信息系统集T1、根据S2计算出拟淘汰的内容信息系统集T2,求T1和T2的交集T3确定被淘汰内容信息系统。
还包括接入效能监测模块,对各内容信息系统通过云平台的共享或接受的数据、以及数据分析模型进行监测。
还包括警示模块,根据接入效能监测模块的异常监测结果对云平台及相关内容信息系统进行预警。
一方面,本实施例中的云平台可以通过关键词组归集模块、关键词组分发模块和数据库存储模块使得各内容信息系统得以充分利用,通过云平台将网络内容信息数据进行统一整合和交换共享,形成网络内容信息系统的综合运用和调度,提高数据利用率;同时还可以通过该系统实现在发生紧急事件或重大突发事件等情况下,可以组织所有接入内容信息系统的资源提高监测的全面性和时效性。
另一方面,本实施例中的云平台还可以通过数据采集交换效能模块、数据分析模型效能模块和云平台接入运行效能模块能够全面、有效且精确地评估各个内容信息系统的云平台接入运行效能,并对其做出评估分析,直观反映出其云平台接入运行效能的高低;所述接入效能监测模块对各个接入的内容信息系统所共享或接受的数据、以及数据分析模型进行监测,确保及时发现异常情况,并在发现异常情况时预警云平台及相关内容信息系统,确保异常情况得到及时解决。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.基于关键词组的云平台联合数据库管理方法,其特征在于,所述管理方法包括:
云平台归集所接入的各内容信息系统的关键词组,并构建云平台统一关键词组;
云平台向各内容信息系统分发云平台统一关键词组,各内容信息系统根据云平台统一关键词组对自身所采集数据进行匹配;
各内容信息系统将非自身需要且与云平台统一关键词组相匹配的有效网络内容信息数据共享至云平台;以及
云平台归集各内容信息系统所提供的有效网络内容信息数据且形成云联合数据库,并根据各内容信息系统自身所对应的云平台统一关键词组向其分发所对应的内容信息数据。
2.根据权利要求1中所述的基于关键词组的云平台联合数据库管理方法,其特征在于,各内容信息系统确定自身所需关键词组并标注后共享至云平台,云平台对关键词组进行合规性检查;若合规则进行归集并对关键词组进行去重和整合,并构建云平台统一关键词组;若不合规则反馈至相应内容信息系统并要求其进行调整或修改至合规。
3.根据权利要求2中所述的基于关键词组的云平台联合数据库管理方法,其特征在于,各内容信息系统自身所需关键词组的标注方式为:标注内容包括该内容信息系统的公司名称+用户名称,标注形式为唯一标识。
4.根据权利要求1中所述的基于关键词组的云平台联合数据库管理方法,其特征在于,内容信息系统还根据自身需求向云平台发送数据请求,云平台对数据请求进行审核后,将含有该内容信息系统所需关键词的内容信息数据打包并发送。
5.根据权利要求1中所述的基于关键词组的云平台联合数据库管理方法,其特征在于,云平台根据实际需求构建特定应急网络事件的特定应急网络事件关键词组,将特定应急网络事件关键词组推送给部分或所有内容信息系统,内容信息系统收到特定应急网络事件关键词组后,对其采集的网络原始数据进行匹配并将匹配成功的数据打包共享至云平台。
6.根据权利要求5中所述的基于关键词组的云平台联合数据库管理方法,其特征在于,所述特定应急网络事件关键词组的优先级高于常规的云平台统一关键词组,内容信息系统收到特定应急网络事件关键词组后进行优先匹配并第一时间将相关数据打包共享至云平台。
7.一种基于关键词组的云平台联合数据库管理系统,其特征在于,其包括
关键词组归集模块,归集接入云平台的各内容信息系统的关键词组,并构建云平台统一关键词组;
关键词组分发模块,向各内容信息系统分云平台统一关键词组;
云数据存储模块,各内容信息系统将非自身需要且与云平台统一关键词组相匹配的有效网络内容信息数据共享至云平台,所述云数据存储模块对有效网络内容信息数据进行归集整理形成云联合数据库;以及
云数据分发模块,根据各内容信息系统自身所对应的云平台统一关键词组向其分发所对应的有效网络内容信息数据。
8.根据权利要求7中所述的一种基于关键词组的云平台联合数据库管理系统,其特征在于,还包括特定应急网络事件关键词组模块,根据实际需求构建特定应急网络事件的特定应急网络事件关键词组,并将特定应急网络事件关键词组推送给部分或所有内容信息系统,内容信息系统收到特定应急网络事件关键词组后进行匹配并将匹配成功的数据打包共享至云平台。
9.根据权利要求8中所述的一种基于关键词组的云平台联合数据库管理系统,其特征在于,所述特定应急网络事件关键词组的优先级高于常规的云平台统一关键词组,内容信息系统收到特定应急网络事件关键词组后进行优先匹配并第一时间将相关数据打包共享至云平台。
10.根据权利要求7中所述的一种基于关键词组的云平台联合数据库管理系统,其特征在于,还包括云数据管理模块,其包括
数据资源整合,对云平台的数据归集的清洗与转换过程进行管理,对该过程提供标准化的流程和规范,确保清洗与转换后的数据可用;
数据资源目录,将云平台的数据进行数据分类,并形成数据资源目录,以便于数据的管理和查询;
数据标准管理,汇集整理数据资源管理所需的标准规范信息,使云联合数据库形成为标准数据库;以及
数据安全访问管理,对访问云联合数据库的过程设立分级分权管理,确保数据在访问的过程安全。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110444380.8A CN113032656B (zh) | 2021-04-23 | 2021-04-23 | 基于关键词组的云平台联合数据库管理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110444380.8A CN113032656B (zh) | 2021-04-23 | 2021-04-23 | 基于关键词组的云平台联合数据库管理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113032656A CN113032656A (zh) | 2021-06-25 |
CN113032656B true CN113032656B (zh) | 2023-09-26 |
Family
ID=76457882
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110444380.8A Active CN113032656B (zh) | 2021-04-23 | 2021-04-23 | 基于关键词组的云平台联合数据库管理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113032656B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104951447A (zh) * | 2014-03-25 | 2015-09-30 | 上海市玻森数据科技有限公司 | 全网舆情监控系统 |
CN105554070A (zh) * | 2015-12-09 | 2016-05-04 | 北京中科云集科技有限公司 | 一种基于警务大数据中心服务建设的方法 |
CN108197234A (zh) * | 2017-12-29 | 2018-06-22 | 北京数字通软件有限公司 | 一种数据挖掘系统 |
CN109067903A (zh) * | 2018-08-29 | 2018-12-21 | 郑州云海信息技术有限公司 | 一种云平台级联系统 |
CN109242431A (zh) * | 2018-09-04 | 2019-01-18 | 浙江蟠桃会网络技术有限公司 | 一种基于数据体系的企业管理方法及其系统 |
CN109978741A (zh) * | 2017-12-27 | 2019-07-05 | 上海宝康电子控制工程有限公司 | 基于云平台的智慧交通信息服务应用系统及方法 |
CN110795449A (zh) * | 2019-09-10 | 2020-02-14 | 紫光云技术有限公司 | 基于bs架构的环保舆情系统 |
CN110888856A (zh) * | 2018-09-08 | 2020-03-17 | 辽宁金晟科技股份有限公司 | 大数据分析系统 |
CN111274594A (zh) * | 2020-01-20 | 2020-06-12 | 上海市大数据中心 | 一种基于区块链的安全大数据隐私保护共享方法 |
CN112464071A (zh) * | 2020-11-25 | 2021-03-09 | 国家电网有限公司客户服务中心 | 一种基于大数据平台数据共享的管理系统 |
CN112633653A (zh) * | 2020-12-15 | 2021-04-09 | 北京高诚科技发展有限公司 | 一种基于北斗的综合交通调度与应急指挥的系统及方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9307006B2 (en) * | 2012-04-11 | 2016-04-05 | Salesforce.Com, Inc. | System and method for synchronizing data objects in a cloud based social networking environment |
-
2021
- 2021-04-23 CN CN202110444380.8A patent/CN113032656B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104951447A (zh) * | 2014-03-25 | 2015-09-30 | 上海市玻森数据科技有限公司 | 全网舆情监控系统 |
CN105554070A (zh) * | 2015-12-09 | 2016-05-04 | 北京中科云集科技有限公司 | 一种基于警务大数据中心服务建设的方法 |
CN109978741A (zh) * | 2017-12-27 | 2019-07-05 | 上海宝康电子控制工程有限公司 | 基于云平台的智慧交通信息服务应用系统及方法 |
CN108197234A (zh) * | 2017-12-29 | 2018-06-22 | 北京数字通软件有限公司 | 一种数据挖掘系统 |
CN109067903A (zh) * | 2018-08-29 | 2018-12-21 | 郑州云海信息技术有限公司 | 一种云平台级联系统 |
CN109242431A (zh) * | 2018-09-04 | 2019-01-18 | 浙江蟠桃会网络技术有限公司 | 一种基于数据体系的企业管理方法及其系统 |
CN110888856A (zh) * | 2018-09-08 | 2020-03-17 | 辽宁金晟科技股份有限公司 | 大数据分析系统 |
CN110795449A (zh) * | 2019-09-10 | 2020-02-14 | 紫光云技术有限公司 | 基于bs架构的环保舆情系统 |
CN111274594A (zh) * | 2020-01-20 | 2020-06-12 | 上海市大数据中心 | 一种基于区块链的安全大数据隐私保护共享方法 |
CN112464071A (zh) * | 2020-11-25 | 2021-03-09 | 国家电网有限公司客户服务中心 | 一种基于大数据平台数据共享的管理系统 |
CN112633653A (zh) * | 2020-12-15 | 2021-04-09 | 北京高诚科技发展有限公司 | 一种基于北斗的综合交通调度与应急指挥的系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113032656A (zh) | 2021-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8909641B2 (en) | Method for analyzing time series activity streams and devices thereof | |
CN110990664B (zh) | 一种大数据运营管理系统 | |
WO2017198227A1 (zh) | 一种交互式网络电视系统及用户数据实时获取方法 | |
WO2016004775A1 (zh) | 一种基于云计算的轨道交通信号综合运维方法及系统 | |
US7418695B2 (en) | System and method for providing integrated impact analysis data | |
CN101539931A (zh) | 一种航班动态信息数据整合器及处理方法 | |
CN103414608B (zh) | 快速的web流量采集统计系统和方法 | |
CN104993957B (zh) | 一种为使用Log4j的分布式应用提供云端日志服务的方法 | |
CN113094385B (zh) | 一种基于软件定义开放工具集的数据共享融合平台及方法 | |
CN102801805A (zh) | 基于移动互联网技术的现场数据采集系统及方法 | |
CN103493076A (zh) | 用于优化重复的搜索请求的改进预订系统的方法和系统 | |
CN101141370A (zh) | 基于网格服务的电力企业实时数据处理方法 | |
CN106446217A (zh) | 大数据高速整合系统 | |
CN112632129A (zh) | 一种码流数据管理方法、装置及存储介质 | |
CN100382075C (zh) | 基于硬件级的测试脚本自动生成系统及方法 | |
CN109829615B (zh) | 一种基于专有云的目标任务多级监控装置和方法 | |
CN113032656B (zh) | 基于关键词组的云平台联合数据库管理方法及系统 | |
CN110704280A (zh) | 一种主数据监控系统 | |
WO2010018637A1 (ja) | 業務フロー分散処理システム及び方法 | |
WO2017001887A1 (en) | Data processing system and data processing method | |
CN107147547A (zh) | 一种集群整体性能监控实现方法 | |
CN109242259B (zh) | 一种基于基础数据资源库的数据集成方法及系统 | |
JP2007193620A (ja) | 作業管理装置及びその方法。 | |
CN114428813A (zh) | 基于报表平台的数据统计方法、装置、设备及存储介质 | |
Lu | [Retracted] Data Protection Software for Civil Aviation Control Flight Information System Based on FPE Algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |