CN112187623A - 一种信息发布管理系统 - Google Patents

一种信息发布管理系统 Download PDF

Info

Publication number
CN112187623A
CN112187623A CN202011043867.7A CN202011043867A CN112187623A CN 112187623 A CN112187623 A CN 112187623A CN 202011043867 A CN202011043867 A CN 202011043867A CN 112187623 A CN112187623 A CN 112187623A
Authority
CN
China
Prior art keywords
unit
information
wechat
data
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011043867.7A
Other languages
English (en)
Other versions
CN112187623B (zh
Inventor
王燕萍
徐洪伟
完泾平
周熠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Training Center of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
Training Center of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Training Center of State Grid Zhejiang Electric Power Co Ltd filed Critical Training Center of State Grid Zhejiang Electric Power Co Ltd
Priority to CN202011043867.7A priority Critical patent/CN112187623B/zh
Publication of CN112187623A publication Critical patent/CN112187623A/zh
Application granted granted Critical
Publication of CN112187623B publication Critical patent/CN112187623B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/214—Monitoring or handling of messages using selective forwarding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Strategic Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种信息发布管理系统，包括微信系统、存储单元、大数据单元、监控单元、QQ单元、微博单元和论坛单元；本发明信息发布管理系统将各个子系统进行连接，提升了信息推荐的高效性和及时性；信息发布管理系统的存储单元内存储了微信用户的注册信息、区域信息、用户行为和特征等，根据这些信息大数据单元会进行大数据分析，通过分析的结果来提高微信系统文章推送的针对性；然后再通过信息发布管理系统使微信与QQ单元、微博单元、论坛单元信息进行相互拓展交流，提高微信系统的功能性，并通过监控单元使用户在使用微信过程中更加安全，并且监控单元还能对微信系统进行智能监控，实现微信系统的运行平稳。

Description

一种信息发布管理系统
技术领域
本发明涉及管理系统技术领域，尤其涉及一种信息发布管理系统。
背景技术
随着网络和信息技术的高速发展，用户的网络规模在不断扩大，信息发布的途径也越来越多。现有的信息发布管理系统一般存在以下缺点：微信系统和其他单元之间无法进行信息共享和推送；无法根据用户的习惯推送针对性的内容，仅仅按热度推荐难以让用户产生兴趣；无法对微信系统的运行状况进行监控，微信系统运行不稳定；消息推送速度慢且存在明显的时延。
发明内容
本发明的目的在于针对现有技术的不足，提供一种信息发布管理系统，本发明能够对接多套系统，快速获取个人基本信息、地域信息，并根据用户的习惯进行精准推荐；能够对微信系统进行监控保证其运行稳定。
本发明的目的是通过以下技术方案来实现的：一种信息发布管理系统，该系统包括微信系统、存储单元、大数据单元、监控单元、QQ单元、微博单元和论坛单元；所述信息发布管理系统使用Python来实现，使用requests库请求微信的HTTP API接口，通过对微信的HTTP API进行封装来操作微信的各个功能；
所述存储单元使用Ceph作为底层的存储引擎，微信用户的注册信息、区域信息、用户行为和特征均存储在Ceph中；
所述大数据单元基于Spark进行数据的流计算，通过Spark的流计算功能，实时从Ceph存储引擎中获取用户的行为数据，运算出用户感兴趣的标签，将对应的带标签的文章推送给用户来实现个性化推荐；
所述监控单元对多个微信CDN节点进行解析和采集，然后对比24小时的水位线，根据系统内配置的策略进行告警；
所述QQ单元、微博单元和论坛单元作为信息交互系统，信息发布管理系统通过调用这些单元对外公开的API，将微信上的消息推送/分享到信息交互系统的指定单元上。
进一步地，所述大数据单元中，对用户进行个性化推荐的具体处理流程如下：
(a)对平台内的文章标题进行分词处理。
(b)查询用户点击过的文章标题，然后关联其分词的结果，统计各个分词出现的频率。
(c)将出现频率最高的若干种分词转换成文章的标签，推送给用户。
(d)当用户出现新的点击行为时，如果仍然在步骤(c)这几类中，则继续增加这些分词的权重，反之则降低其权重。
进一步地，所述大数据单元中，所述大数据单元中，初期点击行为较少时，利用文本相识度算法计算出类似的文章进行推送，从而引导用户提供更多的数据。
进一步地，所述大数据单元基于Spark进行数据的流计算，Spark启用了内存分布数据集，能够提供交互式查询外，且能够优化迭代工作负载。
进一步地，所述监控单元采用的监控框架共分四层：
数据收集层：位于最底层，用于收集微信CDN的多节点的延时、可用性、关键接口的状态码等信息，然后将收集到的数据范式化处理成结构化的数据，并传输到分布式的对象存储池中。
数据分析层：位于第二层，用于将数据收集层获取到的数据进行规则的匹配处理，根据系统内配置的告警规则，数据分析层会将分析到的告警转换成事件信息发送给告警生成层。
告警生成层：位于第三层，用于将报警事件进行实时记录，并将报警结果存入数据库以备调用，并将报警结果形成分析报表，以统计一段时间内的故障率和故障发生趋势。
全局展示层：位于最顶层，用于对数据收集、分析、告警的信息进行聚合并统一展示。
本发明的有益效果是：
本发明信息发布管理系统将各个子系统进行连接，提升了信息推荐的高效性和及时性；信息发布管理系统的存储单元内存储了微信用户的注册信息、区域信息、用户行为和特征等，根据这些信息大数据单元会进行大数据分析，通过分析的结果来提高微信系统文章推送的针对性；然后再通过信息发布管理系统使微信与QQ单元、微博单元、论坛单元信息进行相互拓展交流，提高微信系统的功能性，并通过监控单元使用户在使用微信过程中更加安全，并且监控单元还能对微信系统进行智能监控，实现微信系统的运行平稳。
附图说明
图1为信息发布管理系统结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
如图1所示，本发明提出的一种信息发布管理系统，包括微信系统、存储单元、大数据单元、监控单元、QQ单元、微博单元和论坛单元。
本发明使用Python来实现，使用requests库请求微信的HTTP API接口；通过对微信的HTTP API进行封装来操作微信的各个功能。
存储单元：使用Ceph作为底层的存储引擎，Ceph是一个可靠、自动重均衡、自动恢复的分布式存储系统；具体地，微信用户的注册信息、区域信息、用户行为和特征均存储在Ceph中。
大数据单元：基于Spark进行数据的流计算，Spark是一种与Hadoop相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使Spark在某些工作负载方面表现得更加优越，Spark启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。通过Spark的流计算功能，实时从Ceph存储引擎中获取用户的行为数据，运算出用户感兴趣的标签，将对应的带标签的文章推送给用户来实现个性化推荐；具体如下：
1.首先对平台内的文章标题进行分词处理。
2.查询用户点击过的文章标题，然后关联其分词的结果，统计各个分词出现的频率。
3.将出现频率最高的10种分词转换成文章的标签，推送给用户。
4.当用户出现新的点击行为时，如果仍然在上面这几类中，则继续增加这10种分词的权重，反之则降低其权重。
进一步地，初期点击行为较少时，利用文本相识度算法计算出类似的文章进行推送，从而引导用户提供更多的数据。
监控单元：使用自研的框架，本框架可以对多个微信CDN节点进行解析和采集，然后对比24小时的水位线，根据系统内配置的策略进行告警。
监控单元的自研框架架构共分四层：
1.数据收集层：位于最底层，主要收集微信CDN的多节点的延时、可用性、关键接口的状态码等信息，然后将收集到的数据范式化处理成结构化的数据，并传输到分布式的对象存储池中。
2.数据分析层：位于第二层，主要是将数据收集层获取到的数据进行规则的匹配处理，根据系统内配置的告警规则，数据分析层会将分析到的告警转换成事件信息发送给告警生成层。
3.告警生成层：位于第三层，主要是将报警事件进行实时记录，并将报警结果存入数据库以备调用，并将报警结果形成分析报表，以统计一段时间内的故障率和故障发生趋势。
4.全局展示层：位于最顶层，主要对数据收集、分析、告警的信息进行聚合并统一展示。
此外，本发明信息发布管理系统还包括QQ单元、微博单元和论坛单元等，通过调用这些单元对外公开的API，将微信上的消息推送/分享到指定单元上，这些单元会自动处理成对应系统的数据格式并转发出去；本发明支持一对一和一对多的消息发布。
以上所述仅是本发明的优选实施方式，虽然本发明已以较佳实施例披露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (5)

1.一种信息发布管理系统，其特征在于，包括微信系统、存储单元、大数据单元、监控单元、QQ单元、微博单元和论坛单元；所述信息发布管理系统使用Python来实现，使用requests库请求微信的HTTP API接口，通过对微信的HTTP API进行封装来操作微信的各个功能；
所述存储单元使用Ceph作为底层的存储引擎，微信用户的注册信息、区域信息、用户行为和特征均存储在Ceph中；
所述大数据单元基于Spark进行数据的流计算，通过Spark的流计算功能，实时从Ceph存储引擎中获取用户的行为数据，运算出用户感兴趣的标签，将对应的带标签的文章推送给用户来实现个性化推荐；
所述监控单元对多个微信CDN节点进行解析和采集，然后对比24小时的水位线，根据系统内配置的策略进行告警；
所述QQ单元、微博单元和论坛单元作为信息交互系统，信息发布管理系统通过调用这些单元对外公开的API，将微信上的消息推送/分享到信息交互系统的指定单元上。
2.根据权利要求1所述的一种信息发布管理系统，其特征在于，所述大数据单元中，对用户进行个性化推荐的具体处理流程如下：
(a)对平台内的文章标题进行分词处理。
(b)查询用户点击过的文章标题，然后关联其分词的结果，统计各个分词出现的频率。
(c)将出现频率最高的若干种分词转换成文章的标签，推送给用户。
(d)当用户出现新的点击行为时，如果仍然在步骤(c)这几类中，则继续增加这些分词的权重，反之则降低其权重。
3.根据权利要求1所述的一种信息发布管理系统，其特征在于，所述大数据单元中，所述大数据单元中，初期点击行为较少时，利用文本相识度算法计算出类似的文章进行推送，从而引导用户提供更多的数据。
4.根据权利要求1所述的一种信息发布管理系统，其特征在于，所述大数据单元基于Spark进行数据的流计算，Spark启用了内存分布数据集，能够提供交互式查询外，且能够优化迭代工作负载。
5.根据权利要求1所述的一种信息发布管理系统，其特征在于，所述监控单元采用的监控框架共分四层：
数据收集层：位于最底层，用于收集微信CDN的多节点的延时、可用性、关键接口的状态码等信息，然后将收集到的数据范式化处理成结构化的数据，并传输到分布式的对象存储池中。
数据分析层：位于第二层，用于将数据收集层获取到的数据进行规则的匹配处理，根据系统内配置的告警规则，数据分析层会将分析到的告警转换成事件信息发送给告警生成层。
告警生成层：位于第三层，用于将报警事件进行实时记录，并将报警结果存入数据库以备调用，并将报警结果形成分析报表，以统计一段时间内的故障率和故障发生趋势。
全局展示层：位于最顶层，用于对数据收集、分析、告警的信息进行聚合并统一展示。
CN202011043867.7A 2020-09-28 2020-09-28 一种信息发布管理系统 Active CN112187623B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011043867.7A CN112187623B (zh) 2020-09-28 2020-09-28 一种信息发布管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011043867.7A CN112187623B (zh) 2020-09-28 2020-09-28 一种信息发布管理系统

Publications (2)

Publication Number Publication Date
CN112187623A true CN112187623A (zh) 2021-01-05
CN112187623B CN112187623B (zh) 2022-07-22

Family

ID=73947157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011043867.7A Active CN112187623B (zh) 2020-09-28 2020-09-28 一种信息发布管理系统

Country Status (1)

Country Link
CN (1) CN112187623B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016145949A1 (zh) * 2015-03-19 2016-09-22 腾讯科技（深圳）有限公司 一种信息处理方法、终端、计算机存储介质
CN106411554A (zh) * 2015-08-03 2017-02-15 天脉聚源（北京）科技有限公司 一种微信信息统计分析方法和系统
WO2018076695A1 (zh) * 2016-10-31 2018-05-03 上海斐讯数据通信技术有限公司 一种智能推荐系统及智能推荐方法
CN109035051A (zh) * 2018-07-27 2018-12-18 广州诚效信息科技有限公司 一种微信epr管理系统
CN111161845A (zh) * 2019-12-31 2020-05-15 深圳信恳智能电子有限公司 一种基于智能移动终端的健康饮食监控系统及使用方法
CN111275563A (zh) * 2020-01-21 2020-06-12 深圳市比量科技传媒有限公司 基于微信动作的人脉关系的生成方法、系统及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016145949A1 (zh) * 2015-03-19 2016-09-22 腾讯科技（深圳）有限公司 一种信息处理方法、终端、计算机存储介质
CN106411554A (zh) * 2015-08-03 2017-02-15 天脉聚源（北京）科技有限公司 一种微信信息统计分析方法和系统
WO2018076695A1 (zh) * 2016-10-31 2018-05-03 上海斐讯数据通信技术有限公司 一种智能推荐系统及智能推荐方法
CN109035051A (zh) * 2018-07-27 2018-12-18 广州诚效信息科技有限公司 一种微信epr管理系统
CN111161845A (zh) * 2019-12-31 2020-05-15 深圳信恳智能电子有限公司 一种基于智能移动终端的健康饮食监控系统及使用方法
CN111275563A (zh) * 2020-01-21 2020-06-12 深圳市比量科技传媒有限公司 基于微信动作的人脉关系的生成方法、系统及存储介质

Also Published As

Publication number Publication date
CN112187623B (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN108416620B (zh) 一种基于大数据的画像数据的智能社交广告投放平台
US10262032B2 (en) Cache based efficient access scheduling for super scaled stream processing systems
CN111984499A (zh) 一种大数据集群的故障检测方法和装置
CN103838867A (zh) 日志处理方法和装置
CN102637178A (zh) 一种音乐推荐方法、装置及系统
CN110909182A (zh) 多媒体资源搜索方法、装置、计算机设备及存储介质
KR20150057322A (ko) 빅데이터 분석 기반의 위크시그널 도출 시스템 및 그 방법
CN105589974A (zh) 基于Hadoop平台的监控视频检索方法和系统
EP4172878A1 (en) Novelty detection system
KR101982756B1 (ko) 분산인메모리기반 복합형스트림 데이터처리시스템 및 방법
CN110795613A (zh) 商品搜索方法、装置、系统及电子设备
Kavitha et al. Discovering public opinions by performing sentimental analysis on real time Twitter data
CN106557483B (zh) 一种数据处理、数据查询方法及设备
CN114461792A (zh) 告警事件关联方法、装置、电子设备、介质及程序产品
CN111414355A (zh) 一种海上风电场数据监测存储系统及方法、装置
CN112115281A (zh) 数据检索方法、装置及存储介质
CN112187623B (zh) 一种信息发布管理系统
CN111026940A (zh) 一种面向电网电磁环境的网络舆情及风险信息监测系统、电子设备
CN116225848A (zh) 日志监测方法、装置、设备和介质
EP4002151A1 (en) Data tagging and synchronisation system
Jung Discovering social bursts by using link analytics on large-scale social networks
Girtelschmid et al. Near real-time detection of crisis situations
Kemp et al. Cloud big data application for transport
Nguyen et al. Pagerank-based approach on ranking social events: a case study with flickr
CN112948531A (zh) 海量轨迹查询方法、检索服务器及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant