CN114491102A - 一种基于大数据的数据库监控方法及系统 - Google Patents

一种基于大数据的数据库监控方法及系统 Download PDF

Info

Publication number
CN114491102A
CN114491102A CN202210391606.7A CN202210391606A CN114491102A CN 114491102 A CN114491102 A CN 114491102A CN 202210391606 A CN202210391606 A CN 202210391606A CN 114491102 A CN114491102 A CN 114491102A
Authority
CN
China
Prior art keywords
news
data
information
existing
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210391606.7A
Other languages
English (en)
Other versions
CN114491102B (zh
Inventor
陈守红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Gelonghui Information Technology Co ltd
Original Assignee
Shenzhen Gelonghui Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Gelonghui Information Technology Co ltd filed Critical Shenzhen Gelonghui Information Technology Co ltd
Priority to CN202210391606.7A priority Critical patent/CN114491102B/zh
Publication of CN114491102A publication Critical patent/CN114491102A/zh
Application granted granted Critical
Publication of CN114491102B publication Critical patent/CN114491102B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/45Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/438Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/489Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using time information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明适用于数据处理技术领域,尤其涉及一种基于大数据的数据库监控方法及系统,所述方法包括:构建新闻资讯数据库,并获取已有新闻数据;对已有新闻数据中包含的新闻进行分类,并在同类新闻之间建立链接关系;按照预设的时间步长,对已有新闻数据进行周期性数据收集,得到主动收集新闻数据;对主动收集数据进行信息提取,生成补充新闻数据,并将其记录到新闻资讯数据库中,生成新闻更新报告。本发明通过对数据库中存储的新闻资讯进行分类,并按照新闻的发生时间对该新闻进行链式存储,并根据已有新闻进行数据的周期性检索,从而及时获取新闻的后续信息,从而形成新闻链,实现了对新闻的全周期记录,方便后续的数据查找。

Description

一种基于大数据的数据库监控方法及系统
技术领域
本发明属于数据处理技术领域,尤其涉及一种基于大数据的数据库监控方法及系统。
背景技术
数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。
数据库是存放数据的仓库。它的存储空间很大,可以存放百万条、千万条、上亿条数据。但是数据库并不是随意地将数据进行存放,是有一定的规则的,否则查询的效率会很低。当今世界是一个充满着数据的互联网世界,充斥着大量的数据。各行各业都会利用数据库完成对数据的存储,如对于新闻资讯类的需求,会对收集到的新闻资讯进行存储。
但是,当前新闻资讯在存储之后,工作人员针对新闻的后续发展或者变化无法及时进行捕捉,因此会造成新闻报道更新不及时的问题。
发明内容
本发明实施例的目的在于提供一种基于大数据的数据库监控方法,旨在解决背景技术第三部分中提出的问题。
本发明实施例是这样实现的,一种基于大数据的数据库监控方法,所述方法包括:
构建新闻资讯数据库,并获取已有新闻数据,所述已有新闻数据至少包括时间信息、人物信息和事件信息;
对已有新闻数据中包含的新闻进行分类,并在同类新闻之间建立链接关系;
按照预设的时间步长,对已有新闻数据进行周期性数据收集,得到主动收集新闻数据;
对主动收集数据进行信息提取,生成补充新闻数据,并将其记录到新闻资讯数据库中,生成新闻更新报告。
优选的,所述对已有新闻数据中包含的新闻进行分类,并在同类新闻之间建立链接关系的步骤,具体包括:
对已有新闻数据进行信息提取,得到时间信息、人物信息和事件信息;
根据时间信息、人物信息和事件信息生成相应的新闻标签;
根据新闻标签对新闻进行分类存储,并按照新闻标签建立索引。
优选的,所述按照预设的时间步长,对已有新闻数据进行周期性数据收集,得到主动收集新闻数据的步骤,具体包括:
确定各已有新闻数据的更新时间,并进行计时;
在计时时长达到预设值时,根据该已有新闻数据中的人物信息获取人物社交账号信息;
根据人物社交账号信息获取用户社交账户发布的信息,得到主动收集新闻数据。
优选的,所述对主动收集数据进行信息提取,生成补充新闻数据,并将其记录到新闻资讯数据库中,生成新闻更新报告的步骤,具体包括:
主动收集数据进行信息提取,提取其中包含的最新事件信息,并据此生成补充新闻数据;
根据时间的先后关系,对补充新闻数据进行存储,形成新闻链;
比较补充新闻数据与已有新闻数据之间的差异,生成新闻更新报告。
优选的,所述时间信息至少包括事件发生的时间以及事件进展时间。
优选的,所述新闻更新报告生成后,直接发送给预设的联系人。
本发明实施例的另一目的在于提供一种基于大数据的数据库监控系统,所述系统包括:
数据处理模块,用于构建新闻资讯数据库,并获取已有新闻数据,所述已有新闻数据至少包括时间信息、人物信息和事件信息;
数据分类模块,用于对已有新闻数据中包含的新闻进行分类,并在同类新闻之间建立链接关系;
主动收集模块,用于按照预设的时间步长,对已有新闻数据进行周期性数据收集,得到主动收集新闻数据;
数据更新模块,用于对主动收集数据进行信息提取,生成补充新闻数据,并将其记录到新闻资讯数据库中,生成新闻更新报告。
优选的,所述数据分类模块包括:
信息提取单元,用于对已有新闻数据进行信息提取,得到时间信息、人物信息和事件信息;
标签生成单元,用于根据时间信息、人物信息和事件信息生成相应的新闻标签;
索引建立单元,用于根据新闻标签对新闻进行分类存储,并按照新闻标签建立索引。
优选的,所述主动收集模块包括:
计时单元,用于确定各已有新闻数据的更新时间,并进行计时;
账号查询单元,用于在计时时长达到预设值时,根据该已有新闻数据中的人物信息获取人物社交账号信息;
信息收集单元,用于根据人物社交账号信息获取用户社交账户发布的信息,得到主动收集新闻数据。
优选的,所述数据更新模块包括:
信息生成单元,用于主动收集数据进行信息提取,提取其中包含的最新事件信息,并据此生成补充新闻数据;
信息存储单元,用于根据时间的先后关系,对补充新闻数据进行存储,形成新闻链;
报告生成单元,用于比较补充新闻数据与已有新闻数据之间的差异,生成新闻更新报告。
本发明实施例提供的一种基于大数据的数据库监控方法,通过对数据库中存储的新闻资讯进行分类,并按照新闻的发生时间对该新闻进行链式存储,并根据已有新闻进行数据的周期性检索,从而及时获取新闻的后续信息,从而形成新闻链,实现了对新闻的全周期记录,方便后续的数据查找。
附图说明
图1为本发明实施例提供的一种基于大数据的数据库监控方法的流程图;
图2为本发明实施例提供的对已有新闻数据中包含的新闻进行分类,并在同类新闻之间建立链接关系的步骤的流程图;
图3为本发明实施例提供的按照预设的时间步长,对已有新闻数据进行周期性数据收集,得到主动收集新闻数据的步骤的流程图;
图4为本发明实施例提供的对主动收集数据进行信息提取,生成补充新闻数据,并将其记录到新闻资讯数据库中,生成新闻更新报告的步骤的流程图;
图5为本发明实施例提供的一种基于大数据的数据库监控系统的架构图;
图6为本发明实施例提供的一种数据分类模块的架构图;
图7为本发明实施例提供的一种主动收集模块的架构图;
图8为本发明实施例提供的一种数据更新模块的架构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但除非特别说明,这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一xx脚本称为第二xx脚本,且类似地,可将第二xx脚本称为第一xx脚本。
数据库是存放数据的仓库。它的存储空间很大,可以存放百万条、千万条、上亿条数据。但是数据库并不是随意地将数据进行存放,是有一定的规则的,否则查询的效率会很低。当今世界是一个充满着数据的互联网世界,充斥着大量的数据。各行各业都会利用数据库完成对数据的存储,如对于新闻资讯类的需求,会对收集到的新闻资讯进行存储。但是,当前新闻资讯在存储之后,工作人员针对新闻的后续发展或者变化无法及时进行捕捉,因此会造成新闻报道更新不及时的问题。
本发明通过对数据库中存储的新闻资讯进行分类,并按照新闻的发生时间对该新闻进行链式存储,并根据已有新闻进行数据的周期性检索,从而及时获取新闻的后续信息,从而形成新闻链,实现了对新闻的全周期记录,方便后续的数据查找。
如图1所示,为本发明实施例提供的一种基于大数据的数据库监控方法的流程图,所述方法包括:
S100,构建新闻资讯数据库,并获取已有新闻数据,所述已有新闻数据至少包括时间信息、人物信息和事件信息。
在本步骤中,构建新闻资讯数据库,对于新闻资讯而言,很多新闻资讯的生命周期较长,需要进行持续跟踪报道,但是随着时间的推移,该新闻资讯的热度逐渐降低,因此,容易忽略对该新闻的跟踪,易导致错失最佳的报道时机,对于已经为公众所获知的新闻作为已有新闻数据,其包含时间信息、人物信息和事件信息,时间信息至少包括事件发生的时间以及事件进展时间,事件进展时间是指该新闻中指定的在未来内将要发生的事件的时间,如某新闻中,当事人A称将在十日后公布相关数据,那么十日则为事件进展时间,事件信息中则详细记录了整个新闻发生的原因、过程和结果,并且利用单独的事件关键字进行表征。
S200,对已有新闻数据中包含的新闻进行分类,并在同类新闻之间建立链接关系。
在本步骤中,对已有新闻数据中包含的新闻进行分类,由于每一个时间均设置有多个关键字,那么根据关键字就可以得到该新闻的归属,如在意外事件新闻中,则以“意外事件的类型”等关键字作为分类的依据,那么这样就能够为每一个新闻赋予多个标签,具有相同标签的新闻则可以划分为一类,当然,由于同一新闻可能会存在多个标签,因此同一个新闻可以归属至多个类别,在进行存储时,以每一个新闻作为一个独立的数据进行单独存储,并通过设置标签的方式,在具有相同标签的新闻之间建立链接关系,那么在检索时,可以通过标签提取相关的新闻报道,同样的,由于每个新闻都有标签,那么可以据此生成索引,从而提高数据检索的速度。
S300,按照预设的时间步长,对已有新闻数据进行周期性数据收集,得到主动收集新闻数据。
在本步骤中,按照预设的时间步长,对已有新闻数据进行周期性数据收集,在此过程中,对于没有得到最终结果的新闻进行实时监管,即对数据库中所存储的所有新闻进行分析,将其划分为已完成新闻和待跟踪新闻,对于已完成新闻直接进行存储即可,而对于待跟踪新闻则需要进行实时监控,根据其包含的信息主动进行数据收集,得到主动收集新闻数据,主动收集新闻数据中包含了事情的进展等情况。
S400,对主动收集数据进行信息提取,生成补充新闻数据,并将其记录到新闻资讯数据库中,生成新闻更新报告。
在本步骤中,对主动收集数据进行信息提取,通过内容识别的方式,提取其中包含的关键信息,从而生成补充新闻数据,并对主动收集新闻数据和补充新闻数据进行存储,此时,生成新闻更新报告,新闻更新报告生成后,直接发送给预设的联系人,该联系人可以是负责跟踪该新闻的工作人员,发送方式可以是短信或者邮件等方式。
如图2所示,作为本发明的一个优选实施例,所述对已有新闻数据中包含的新闻进行分类,并在同类新闻之间建立链接关系的步骤,具体包括:
S201,对已有新闻数据进行信息提取,得到时间信息、人物信息和事件信息。
在本步骤中,对已有新闻数据进行信息提取,按照预设的提取顺序,先提取时间信息和人物信息,上述信息相对单一,提取速度快,然后对事件信息进行提取,得到相应的关键字。
S202,根据时间信息、人物信息和事件信息生成相应的新闻标签。
在本步骤中,按照时间信息确定第一类标签,如深夜、清晨等,按照人物信息确定第二类标签,如老人、孕妇等,按照事件信息中包含的内容生成第三类标签,上述三类标签即为新闻标签。
S203,根据新闻标签对新闻进行分类存储,并按照新闻标签建立索引。
在本步骤中,根据新闻标签对新闻进行分类存储,在此过程中,可以按照时间顺序对每一个新闻进行单独存储,此时,由于新闻均具有自己的标签,因此可以通过标签建立索引,进一步的,在存储时,可以将同一人物相关的所有新闻存储在一起,也可以将同一分类下的新闻存储在一起。
如图3所示,作为本发明的一个优选实施例,所述按照预设的时间步长,对已有新闻数据进行周期性数据收集,得到主动收集新闻数据的步骤,具体包括:
S301,确定各已有新闻数据的更新时间,并进行计时。
在本步骤中,确定各已有新闻数据的更新时间,即确定新闻的发生时间,然后进行计时,计时的起始时间可以按照天计算,也可以按照小时或者分钟进行计算。
S302,在计时时长达到预设值时,根据该已有新闻数据中的人物信息获取人物社交账号信息。
在本步骤中,在计时时长达到预设值时,则开始进行信息的主动收集,该预设值即为预设的时间步长,根据该已有新闻数据中的人物信息获取人物社交账号信息,得到例如微博等社交账号信息,或者视频发布账号信息等。
S303,根据人物社交账号信息获取用户社交账户发布的信息,得到主动收集新闻数据。
在本步骤中,根据人物社交账号信息获取用户社交账户发布的信息,统计从计时开始的时间之后该账户所发布的信息,进行收集,收集时,包括对图片、文字和视频的收集。
如图4所示,作为本发明的一个优选实施例,所述对主动收集数据进行信息提取,生成补充新闻数据,并将其记录到新闻资讯数据库中,生成新闻更新报告的步骤,具体包括:
S401,主动收集数据进行信息提取,提取其中包含的最新事件信息,并据此生成补充新闻数据。
在本步骤中,主动收集数据进行信息提取,同样的,通过内容识别,确定主动收集数据对应的关键字,这些关键字则包含了最近事件信息的主要内容,从而生成补充新闻数据。
S402,根据时间的先后关系,对补充新闻数据进行存储,形成新闻链。
在本步骤中,根据时间的先后关系,对补充新闻数据进行存储,在存储时,根据事件发生的时间,对主动收集到的所有数据进行存储,此时,针对同一个新闻,则实现了长期跟踪报道,形成了链式新闻。
S403,比较补充新闻数据与已有新闻数据之间的差异,生成新闻更新报告。
在本步骤中,比较补充新闻数据与已有新闻数据之间的差异,将其中的差异提取出来,以此作为新闻更新报告发送至相应的联系人。
如图5所示,为本发明实施例提供的一种基于大数据的数据库监控系统,所述系统包括:
数据处理模块100,用于构建新闻资讯数据库,并获取已有新闻数据,所述已有新闻数据至少包括时间信息、人物信息和事件信息。
在本系统中,数据处理模块100构建新闻资讯数据库,对于新闻资讯而言,很多新闻资讯的生命周期较长,需要进行持续跟踪报道,但是随着时间的推移,该新闻资讯的热度逐渐降低,因此,容易忽略对该新闻的跟踪,易导致错失最佳的报道时机,对于已经为公众所获知的新闻作为已有新闻数据,其包含时间信息、人物信息和事件信息,时间信息至少包括事件发生的时间以及事件进展时间,事件进展时间是指该新闻中指定的在未来内将要发生的事件的时间,如某新闻中,当事人A称将在十日后公布相关数据,那么十日则为事件进展时间,事件信息中则详细记录了整个新闻发生的原因、过程和结果,并且利用单独的事件关键字进行表征。
数据分类模块200,用于对已有新闻数据中包含的新闻进行分类,并在同类新闻之间建立链接关系。
在本系统中,数据分类模块200对已有新闻数据中包含的新闻进行分类,由于每一个时间均设置有多个关键字,那么根据关键字就可以得到该新闻的归属,如在意外事件新闻中,则以“意外事件的类型”等关键字作为分类的依据,那么这样就能够为每一个新闻赋予多个标签,具有相同标签的新闻则可以划分为一类,当然,由于同一新闻可能会存在多个标签,因此同一个新闻可以归属至多个类别,在进行存储时,以每一个新闻作为一个独立的数据进行单独存储,并通过设置标签的方式,在具有相同标签的新闻之间建立链接关系,那么在检索时,可以通过标签提取相关的新闻报道,同样的,由于每个新闻都有标签,那么可以据此生成索引,从而提高数据检索的速度。
主动收集模块300,用于按照预设的时间步长,对已有新闻数据进行周期性数据收集,得到主动收集新闻数据。
在本系统中,主动收集模块300按照预设的时间步长,对已有新闻数据进行周期性数据收集,在此过程中,对于没有得到最终结果的新闻进行实时监管,即对数据库中所存储的所有新闻进行分析,将其划分为已完成新闻和待跟踪新闻,对于已完成新闻直接进行存储即可,而对于待跟踪新闻则需要进行实时监控,根据其包含的信息主动进行数据收集,得到主动收集新闻数据,主动收集新闻数据中包含了事情的进展等情况。
数据更新模块400,用于对主动收集数据进行信息提取,生成补充新闻数据,并将其记录到新闻资讯数据库中,生成新闻更新报告。
在本系统中,数据更新模块400对主动收集数据进行信息提取,通过内容识别的方式,提取其中包含的关键信息,从而生成补充新闻数据,并对主动收集新闻数据和补充新闻数据进行存储,此时,生成新闻更新报告,新闻更新报告生成后,直接发送给预设的联系人,该联系人可以是负责跟踪该新闻的工作人员,发送方式可以是短信或者邮件等方式。
如图6所示,作为本发明的一个优选实施例,所述数据分类模块200包括:
信息提取单元201,用于对已有新闻数据进行信息提取,得到时间信息、人物信息和事件信息。
在本模块中,信息提取单元201对已有新闻数据进行信息提取,按照预设的提取顺序,先提取时间信息和人物信息,上述信息相对单一,提取速度快,然后对事件信息进行提取,得到相应的关键字。
标签生成单元202,用于根据时间信息、人物信息和事件信息生成相应的新闻标签。
在本模块中,标签生成单元202按照时间信息确定第一类标签,如深夜、清晨等,按照人物信息确定第二类标签,如老人、孕妇等,按照事件信息中包含的内容生成第三类标签,上述三类标签即为新闻标签。
索引建立单元203,用于根据新闻标签对新闻进行分类存储,并按照新闻标签建立索引。
在本模块中,索引建立单元203根据新闻标签对新闻进行分类存储,在此过程中,可以按照时间顺序对每一个新闻进行单独存储,此时,由于新闻均具有自己的标签,因此可以通过标签建立索引,进一步的,在存储时,可以将同一人物相关的所有新闻存储在一起,也可以将同一分类下的新闻存储在一起。
如图7所示,作为本发明的一个优选实施例,所述主动收集模块300包括:
计时单元301,用于确定各已有新闻数据的更新时间,并进行计时。
在本系统中,计时单元301确定各已有新闻数据的更新时间,即确定新闻的发生时间,然后进行计时,计时的起始时间可以按照天计算,也可以按照小时或者分钟进行计算。
账号查询单元302,用于在计时时长达到预设值时,根据该已有新闻数据中的人物信息获取人物社交账号信息。
在本系统中,账号查询单元302在计时时长达到预设值时,则开始进行信息的主动收集,该预设值即为预设的时间步长,根据该已有新闻数据中的人物信息获取人物社交账号信息,得到例如微博等社交账号信息,或者视频发布账号信息等。
信息收集单元303,用于根据人物社交账号信息获取用户社交账户发布的信息,得到主动收集新闻数据。
在本系统中,信息收集单元303根据人物社交账号信息获取用户社交账户发布的信息,统计从计时开始的时间之后该账户所发布的信息,进行收集,收集时,包括对图片、文字和视频的收集。
如图8所示,作为本发明的一个优选实施例,所述数据更新模块400包括:
信息生成单元401,用于主动收集数据进行信息提取,提取其中包含的最新事件信息,并据此生成补充新闻数据。
在本模块中,信息生成单元401主动收集数据进行信息提取,同样的,通过内容识别,确定主动收集数据对应的关键字,这些关键字则包含了最近事件信息的主要内容,从而生成补充新闻数据。
信息存储单元402,用于根据时间的先后关系,对补充新闻数据进行存储,形成新闻链。
在本模块中,信息存储单元402根据时间的先后关系,对补充新闻数据进行存储,在存储时,根据事件发生的时间,对主动收集到的所有数据进行存储,此时,针对同一个新闻,则实现了长期跟踪报道,形成了链式新闻。
报告生成单元403,用于比较补充新闻数据与已有新闻数据之间的差异,生成新闻更新报告。
在本模块中,报告生成单元403比较补充新闻数据与已有新闻数据之间的差异,将其中的差异提取出来,以此作为新闻更新报告发送至相应的联系人。
应该理解的是,虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于大数据的数据库监控方法,其特征在于,所述方法包括:
构建新闻资讯数据库,并获取已有新闻数据,所述已有新闻数据至少包括时间信息、人物信息和事件信息;
对已有新闻数据中包含的新闻进行分类,并在同类新闻之间建立链接关系;
按照预设的时间步长,对已有新闻数据进行周期性数据收集,得到主动收集新闻数据;
对主动收集数据进行信息提取,生成补充新闻数据,并将其记录到新闻资讯数据库中,生成新闻更新报告。
2.根据权利要求1所述的基于大数据的数据库监控方法,其特征在于,所述对已有新闻数据中包含的新闻进行分类,并在同类新闻之间建立链接关系的步骤,具体包括:
对已有新闻数据进行信息提取,得到时间信息、人物信息和事件信息;
根据时间信息、人物信息和事件信息生成相应的新闻标签;
根据新闻标签对新闻进行分类存储,并按照新闻标签建立索引。
3.根据权利要求1所述的基于大数据的数据库监控方法,其特征在于,所述按照预设的时间步长,对已有新闻数据进行周期性数据收集,得到主动收集新闻数据的步骤,具体包括:
确定各已有新闻数据的更新时间,并进行计时;
在计时时长达到预设值时,根据该已有新闻数据中的人物信息获取人物社交账号信息;
根据人物社交账号信息获取用户社交账户发布的信息,得到主动收集新闻数据。
4.根据权利要求1所述的基于大数据的数据库监控方法,其特征在于,所述对主动收集数据进行信息提取,生成补充新闻数据,并将其记录到新闻资讯数据库中,生成新闻更新报告的步骤,具体包括:
主动收集数据进行信息提取,提取其中包含的最新事件信息,并据此生成补充新闻数据;
根据时间的先后关系,对补充新闻数据进行存储,形成新闻链;
比较补充新闻数据与已有新闻数据之间的差异,生成新闻更新报告。
5.根据权利要求1所述的基于大数据的数据库监控方法,其特征在于,所述时间信息至少包括事件发生的时间以及事件进展时间。
6.根据权利要求1所述的基于大数据的数据库监控方法,其特征在于,所述新闻更新报告生成后,直接发送给预设的联系人。
7.一种基于大数据的数据库监控系统,其特征在于,所述系统包括:
数据处理模块,用于构建新闻资讯数据库,并获取已有新闻数据,所述已有新闻数据至少包括时间信息、人物信息和事件信息;
数据分类模块,用于对已有新闻数据中包含的新闻进行分类,并在同类新闻之间建立链接关系;
主动收集模块,用于按照预设的时间步长,对已有新闻数据进行周期性数据收集,得到主动收集新闻数据;
数据更新模块,用于对主动收集数据进行信息提取,生成补充新闻数据,并将其记录到新闻资讯数据库中,生成新闻更新报告。
8.根据权利要求7所述的基于大数据的数据库监控系统,其特征在于,所述数据分类模块包括:
信息提取单元,用于对已有新闻数据进行信息提取,得到时间信息、人物信息和事件信息;
标签生成单元,用于根据时间信息、人物信息和事件信息生成相应的新闻标签;
索引建立单元,用于根据新闻标签对新闻进行分类存储,并按照新闻标签建立索引。
9.根据权利要求7所述的基于大数据的数据库监控系统,其特征在于,所述主动收集模块包括:
计时单元,用于确定各已有新闻数据的更新时间,并进行计时;
账号查询单元,用于在计时时长达到预设值时,根据该已有新闻数据中的人物信息获取人物社交账号信息;
信息收集单元,用于根据人物社交账号信息获取用户社交账户发布的信息,得到主动收集新闻数据。
10.根据权利要求7所述的基于大数据的数据库监控系统,其特征在于,所述数据更新模块包括:
信息生成单元,用于主动收集数据进行信息提取,提取其中包含的最新事件信息,并据此生成补充新闻数据;
信息存储单元,用于根据时间的先后关系,对补充新闻数据进行存储,形成新闻链;
报告生成单元,用于比较补充新闻数据与已有新闻数据之间的差异,生成新闻更新报告。
CN202210391606.7A 2022-04-14 2022-04-14 一种基于大数据的数据库监控方法及系统 Active CN114491102B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210391606.7A CN114491102B (zh) 2022-04-14 2022-04-14 一种基于大数据的数据库监控方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210391606.7A CN114491102B (zh) 2022-04-14 2022-04-14 一种基于大数据的数据库监控方法及系统

Publications (2)

Publication Number Publication Date
CN114491102A true CN114491102A (zh) 2022-05-13
CN114491102B CN114491102B (zh) 2022-06-28

Family

ID=81488309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210391606.7A Active CN114491102B (zh) 2022-04-14 2022-04-14 一种基于大数据的数据库监控方法及系统

Country Status (1)

Country Link
CN (1) CN114491102B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0112445D0 (en) * 2001-05-22 2001-07-11 News Omnimedia Ltd News services
CN102012917A (zh) * 2010-11-26 2011-04-13 百度在线网络技术(北京)有限公司 信息处理装置以及处理方法
CN102929977A (zh) * 2012-10-16 2013-02-13 浙江大学 一种面向新闻网站的事件跟踪方法
CN103177024A (zh) * 2011-12-23 2013-06-26 微梦创科网络科技(中国)有限公司 一种话题信息展现方法和装置
CN109284369A (zh) * 2018-08-01 2019-01-29 数据地平线(广州)科技有限公司 证券新闻资讯重要性的判定方法、系统、装置及介质
CN111460289A (zh) * 2020-03-27 2020-07-28 北京百度网讯科技有限公司 新闻资讯的推送方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0112445D0 (en) * 2001-05-22 2001-07-11 News Omnimedia Ltd News services
CN102012917A (zh) * 2010-11-26 2011-04-13 百度在线网络技术(北京)有限公司 信息处理装置以及处理方法
CN103177024A (zh) * 2011-12-23 2013-06-26 微梦创科网络科技(中国)有限公司 一种话题信息展现方法和装置
CN102929977A (zh) * 2012-10-16 2013-02-13 浙江大学 一种面向新闻网站的事件跟踪方法
CN109284369A (zh) * 2018-08-01 2019-01-29 数据地平线(广州)科技有限公司 证券新闻资讯重要性的判定方法、系统、装置及介质
CN111460289A (zh) * 2020-03-27 2020-07-28 北京百度网讯科技有限公司 新闻资讯的推送方法和装置

Also Published As

Publication number Publication date
CN114491102B (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
CN108563722B (zh) 文本信息的行业分类方法、系统、计算机设备和存储介质
AU2022201654A1 (en) System and engine for seeded clustering of news events
US6542881B1 (en) System and method for revealing necessary and sufficient conditions for database analysis
CN108388558B (zh) 问题匹配方法、装置、客服机器人和存储介质
Roddick et al. A survey of temporal knowledge discovery paradigms and methods
CN109165840A (zh) 风险预测处理方法、装置、计算机设备和介质
CN110751533B (zh) 产品画像生成方法、装置、计算机设备和存储介质
US20080040321A1 (en) Techniques for searching future events
CN110458324B (zh) 风险概率的计算方法、装置和计算机设备
CN103593371A (zh) 推荐搜索关键词的方法和装置
CN114998004A (zh) 一种基于企业金融贷款风控的方法及系统
CN112116168B (zh) 一种用户行为的预测方法、装置及电子设备
CN111078513A (zh) 日志处理方法、装置、设备、存储介质及日志告警系统
CN114139015A (zh) 基于关键事件识别的视频存储方法、装置、设备及介质
CN114491102B (zh) 一种基于大数据的数据库监控方法及系统
CN107590233A (zh) 一种文件管理方法及装置
CN112732927A (zh) 基于知识图谱的内容相似性分析方法和装置
CN114996402A (zh) 一种智能客服信息处理方法及装置
Sharmin et al. An investigation into crime forecast using auto arima and stacked lstm
CN116719840A (zh) 一种基于病历后结构化处理的医疗信息推送方法
CN115688759A (zh) 上报信息归类方法、系统、计算机设备及介质
Rajeswari Improved Apriori algorithm A comparative study using different objective measures
CN109145115B (zh) 产品舆情发现方法、装置、计算机设备和存储介质
CN105787075A (zh) 一种基于数据挖掘的事件预测方法和装置
CN116010588B (zh) 实时与离线结合的文档推荐方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant