CN106487886A - 大数据信息发布系统及方法 - Google Patents

大数据信息发布系统及方法 Download PDF

Info

Publication number
CN106487886A
CN106487886A CN201610875440.0A CN201610875440A CN106487886A CN 106487886 A CN106487886 A CN 106487886A CN 201610875440 A CN201610875440 A CN 201610875440A CN 106487886 A CN106487886 A CN 106487886A
Authority
CN
China
Prior art keywords
data
grouped
group
collecting
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610875440.0A
Other languages
English (en)
Inventor
晋彤
李永康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Special Road Mdt Infotech Ltd
Original Assignee
Guangzhou Special Road Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Special Road Mdt Infotech Ltd filed Critical Guangzhou Special Road Mdt Infotech Ltd
Priority to CN201610875440.0A priority Critical patent/CN106487886A/zh
Publication of CN106487886A publication Critical patent/CN106487886A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/2871—Implementation details of single intermediate entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及计算机技术领域，特别涉及一种大数据信息发布系统，包括：采集单元，用于根据预设的采集策略进行数据采集；分组单元，用于对采集得到的数据进行分组，得到多组数据；转换单元，用于分别对每一组数据进行格式转换，得到统一格式的数据；推送单元，用于将转化得到的同一格式的数据推送至不同的系统或平台，以便所述系统或平台对所述数据进行调用。本发明提供的大数据信息发布系统是一款通过云平台中间件进行互联网数据采集、格式转换，并根据统一的格式推送到移动平台或者其他平台中进行数据调用，增强了数据的利用率，使数据使用更加方便。

Description

大数据信息发布系统及方法
技术领域
本发明涉及计算机技术领域，特别涉及一种大数据信息发布系统及方法。
背景技术
随着移动应用市场竞争加剧，用户的选择增多，卸载成本也变得越来越低，这导致APP用户留存率普遍很低，用户活跃度不高，存在大量僵尸用户的情况。如何精准定位用户，并且通过有效的方式在恰当的时机进行沟通，从而提升用户留存率和活跃度，成为应用开发者的心头之痛。开发者之痛，是大数据处理能力之痛。
发明内容
为克服现有技术的缺陷，本发明提供一种大数据信息发布系统及方法。
本发明采用技术方案如下：
一种大数据信息发布系统，所述系统包括：
采集单元，用于根据预设的采集策略进行数据采集；
分组单元，用于对采集得到的数据进行分组，得到多组数据；
转换单元，用于分别对每一组数据进行格式转换，得到统一格式的数据；
推送单元，用于将转化得到的同一格式的数据推送至不同的系统或平台，以便所述系统或平台对所述数据进行调用。
优选地，所述系统还包括：
采集策略配置单元，用于配置采集策略。
优选地，所述采集策略配置单元，具体用于根据匹配关键词、不匹配关键词、时间段、分组、范围来进行采集策略的配置。
优选地，所述采集单元采集的数据包括文本、图片、音频、视频数据；
所述分组单元，具体用于根据数据性质和类型进行分组，并为每组数据标记推送标签。
优选地，所述系统还包括：
分析统计单元，用于对采集单元采集的数据和推送单元推送的数据进行分析统计，按照数据发生时间、数据类型进行分析，生成分析报告。
相应地，本发明还提供了一种大数据信息发布方法，所述方法包括：
根据预设的采集策略进行数据采集；
对采集得到的数据进行分组，得到多组数据；
分别对每一组数据进行格式转换，得到统一格式的数据；
将转化得到的同一格式的数据推送至不同的系统或平台，以便所述系统或平台对所述数据进行调用。
优选地，在根据预设的采集策略进行数据采集之前，还包括：
配置采集策略。
具体地，所述配置采集策略包括：
根据匹配关键词、不匹配关键词、时间段、分组、范围进行采集策略的配置。
优选地，所述采集得到的数据包括文本、图片、音频、视频数据；
所述对采集得到的数据进行分组，得到多组数据，包括：
根据数据性质和类型进行分组，并为每组数据标记推送标签。
优选地，所述方法还包括：
对采集得到的数据和推送的数据进行分析统计，按照数据发生时间、数据类型进行分析，生成分析报告。
本发明的有益效果是：
本发明提供的大数据信息发布系统是一款通过云平台中间件进行互联网数据采集、格式转换，并根据统一的格式推送到移动平台或者其他平台中进行数据调用，增强了数据的利用率，使数据使用更加方便。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本发明实施例一提供的大数据信息发布系统的结构示意图；
图2是本发明实施例二提供的大数据信息发布系统的结构示意图；
图3是本发明实施例三提供的大数据信息发布方法的流程示意图；
图4是本发明实施例四提供的大数据信息发布方法的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一：
参见图1，本实施例提供的一种大数据信息发布系统，包括：
采集单元110，用于根据预设的采集策略进行数据采集；
分组单元120，用于对采集得到的数据进行分组，得到多组数据；
转换单元130，用于分别对每一组数据进行格式转换，得到统一格式的数据；
推送单元140，用于将转化得到的同一格式的数据推送至不同的系统或平台，以便所述系统或平台对所述数据进行调用。
优选地，所述采集单元110采集的数据包括文本、图片、音频、视频数据；
所述分组单元120，具体用于根据数据性质和类型进行分组，并为每组数据标记推送标签。
在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
实施例二：
参见图2，本实施例提供的一种大数据信息发布系统，包括：
采集策略配置单元210，用于配置采集策略；
采集单元220，用于根据预设的采集策略进行数据采集；
分组单元230，用于对采集得到的数据进行分组，得到多组数据；
转换单元240，用于分别对每一组数据进行格式转换，得到统一格式的数据；
推送单元250，用于将转化得到的同一格式的数据推送至不同的系统或平台，以便所述系统或平台对所述数据进行调用；
分析统计单元260，用于对采集单元采集的数据和推送单元推送的数据进行分析统计，按照数据发生时间、数据类型进行分析，生成分析报告。
优选地，所述采集策略配置单元210，具体用于根据匹配关键词、不匹配关键词、时间段、分组、范围来进行采集策略的配置。
优选地，所述采集单元220采集的数据包括文本、图片、音频、视频数据；
所述分组单元230，具体用于根据数据性质和类型进行分组，并为每组数据标记推送标签。
实施例三：
图3是本发明实施例提供的大数据信息发布方法的流程示意图，参见图3，本发明提供的一种大数据信息发布方法包括：
S301：根据预设的采集策略进行数据采集；
S302：对采集得到的数据进行分组，得到多组数据；
S303：分别对每一组数据进行格式转换，得到统一格式的数据；
S304：将转化得到的同一格式的数据推送至不同的系统或平台，以便所述系统或平台对所述数据进行调用。
优选地，所述采集得到的数据包括文本、图片、音频、视频数据；
所述对采集得到的数据进行分组，得到多组数据，包括：
根据数据性质和类型进行分组，并为每组数据标记推送标签。
实施例四：
参见图4，本实施例提供的大数据信息发布方法包括：
S401：配置采集策略；
S402：根据预设的采集策略进行数据采集；
S403：对采集得到的数据进行分组，得到多组数据；
S404：分别对每一组数据进行格式转换，得到统一格式的数据；
S405：将转化得到的同一格式的数据推送至不同的系统或平台，以便所述系统或平台对所述数据进行调用；
S406对采集得到的数据和推送的数据进行分析统计，按照数据发生时间、数据类型进行分析，生成分析报告。
优选地，所述配置采集策略包括：
根据匹配关键词、不匹配关键词、时间段、分组、范围进行采集策略的配置。
优选地，所述采集得到的数据包括文本、图片、音频、视频数据；
所述对采集得到的数据进行分组，得到多组数据，包括：
根据数据性质和类型进行分组，并为每组数据标记推送标签。
本发明提供的大数据信息发布系统是一款通过云平台中间件进行互联网数据采集、格式转换，并根据统一的格式推送到移动平台或者其他平台中进行数据调用，增强了数据的利用率，使数据使用更加方便。
实施例四：
本发明提供的大数据信息发布系统具有以下功能设计：
1.自定义推送标签
系统可根据推送数据性质、类型自定义分组推送标签，将同一类型或者性质的数据推送到不同系统或者平台之上。此功能为用户对推送数据进行分组的作
2.配置采集策略
系统支持逻辑运算符(或、且、非等)进行关键词互联网采集。系统可以配置匹配关键词、不匹配关键词、时间段、分组、范围等数据进行配置，增强数据采集的精度，为数据推送提供基础。
3.多媒体信息推送
系统采用了分布式云平台技术，可实现对不同平台进行数据推送服务，大数据发布系统内置中间件平台可实现对不同格式数据进行转换，并进行统一推送。系统支持TXT、doc、PDF等格式文章，并支持图片、音频、视频等多媒体数据推送服务。
4.信息数据报表统计
系统以用户为统计基础，对每个用户采集数据、推送数据进行统计，并以时间维度对每个用户进行趋势统计。同时可按时间、数据类型进行分析，并生成分析报告，并可支持EXcel导出功能。
本发明提供的大数据信息发布系统是一款通过云平台中间件进行互联网数据采集、格式转换，并根据统一的格式推送到移动平台或者其他平台中进行数据调用，增强了数据的利用率，使数据使用更加方便。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种大数据信息发布系统，其特征在于，所述系统包括：
采集单元，用于根据预设的采集策略进行数据采集；
分组单元，用于对采集得到的数据进行分组，得到多组数据；
转换单元，用于分别对每一组数据进行格式转换，得到统一格式的数据；
推送单元，用于将转化得到的同一格式的数据推送至不同的系统或平台，以便所述系统或平台对所述数据进行调用。
2.根据权利要求1所述的系统，其特征在于，所述系统还包括：
采集策略配置单元，用于配置采集策略。
3.根据权利要求2所述的系统，其特征在于，
所述采集策略配置单元，具体用于根据匹配关键词、不匹配关键词、时间段、分组、范围来进行采集策略的配置。
4.根据权利要求1所述的系统，其特征在于，
所述采集单元采集的数据包括文本、图片、音频、视频数据；
所述分组单元，具体用于根据数据性质和类型进行分组，并为每组数据标记推送标签。
5.根据权利要求1所述的系统，其特征在于，所述系统还包括：
分析统计单元，用于对采集单元采集的数据和推送单元推送的数据进行分析统计，按照数据发生时间、数据类型进行分析，生成分析报告。
6.一种大数据信息发布方法，其特征在于，所述方法包括：
根据预设的采集策略进行数据采集；
对采集得到的数据进行分组，得到多组数据；
分别对每一组数据进行格式转换，得到统一格式的数据；
将转化得到的同一格式的数据推送至不同的系统或平台，以便所述系统或平台对所述数据进行调用。
7.根据权利要求6所述的方法，其特征在于，在根据预设的采集策略进行数据采集之前，还包括：
配置采集策略。
8.根据权利要求7所述的方法，其特征在于，所述配置采集策略包括：
根据匹配关键词、不匹配关键词、时间段、分组、范围进行采集策略的配置。
9.根据权利要求6所述的方法，其特征在于，
所述采集得到的数据包括文本、图片、音频、视频数据；
所述对采集得到的数据进行分组，得到多组数据，包括：
根据数据性质和类型进行分组，并为每组数据标记推送标签。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对采集得到的数据和推送的数据进行分析统计，按照数据发生时间、数据类型进行分析，生成分析报告。
CN201610875440.0A 2016-09-30 2016-09-30 大数据信息发布系统及方法 Pending CN106487886A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610875440.0A CN106487886A (zh) 2016-09-30 2016-09-30 大数据信息发布系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610875440.0A CN106487886A (zh) 2016-09-30 2016-09-30 大数据信息发布系统及方法

Publications (1)

Publication Number Publication Date
CN106487886A true CN106487886A (zh) 2017-03-08

Family

ID=58268477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610875440.0A Pending CN106487886A (zh) 2016-09-30 2016-09-30 大数据信息发布系统及方法

Country Status (1)

Country Link
CN (1) CN106487886A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451223A (zh) * 2017-07-17 2017-12-08 广州特道信息科技有限公司 一种高并发并行计算的大数据采集系统及方法
CN107465601A (zh) * 2017-08-18 2017-12-12 武汉斗鱼网络科技有限公司 推送信息处理方法及装置
CN108021434A (zh) * 2017-12-06 2018-05-11 浪潮软件集团有限公司 数据处理装置及其处理数据的方法、介质、存储控制器

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402592A (zh) * 2011-11-04 2012-04-04 同辉佳视（北京）信息技术股份有限公司 一种基于网页数据挖掘的信息采集方法
CN104820670A (zh) * 2015-03-13 2015-08-05 国家电网公司 一种电力信息大数据的采集和存储方法
CN104881424A (zh) * 2015-03-13 2015-09-02 国家电网公司 一种基于正则表达式的电力大数据采集、存储及分析方法
CN105046601A (zh) * 2015-07-09 2015-11-11 传成文化传媒（上海）有限公司 用户数据处理方法和系统
CN105069025A (zh) * 2015-07-17 2015-11-18 浪潮通信信息系统有限公司 一种大数据的智能聚合可视化与管控系统
US9256641B1 (en) * 2013-10-18 2016-02-09 Ca, Inc. Dynamic optimization of data aggregation
CN105938496A (zh) * 2016-05-27 2016-09-14 深圳市永兴元科技有限公司 网页内容提取方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402592A (zh) * 2011-11-04 2012-04-04 同辉佳视（北京）信息技术股份有限公司 一种基于网页数据挖掘的信息采集方法
US9256641B1 (en) * 2013-10-18 2016-02-09 Ca, Inc. Dynamic optimization of data aggregation
CN104820670A (zh) * 2015-03-13 2015-08-05 国家电网公司 一种电力信息大数据的采集和存储方法
CN104881424A (zh) * 2015-03-13 2015-09-02 国家电网公司 一种基于正则表达式的电力大数据采集、存储及分析方法
CN105046601A (zh) * 2015-07-09 2015-11-11 传成文化传媒（上海）有限公司 用户数据处理方法和系统
CN105069025A (zh) * 2015-07-17 2015-11-18 浪潮通信信息系统有限公司 一种大数据的智能聚合可视化与管控系统
CN105938496A (zh) * 2016-05-27 2016-09-14 深圳市永兴元科技有限公司 网页内容提取方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451223A (zh) * 2017-07-17 2017-12-08 广州特道信息科技有限公司 一种高并发并行计算的大数据采集系统及方法
CN107465601A (zh) * 2017-08-18 2017-12-12 武汉斗鱼网络科技有限公司 推送信息处理方法及装置
CN107465601B (zh) * 2017-08-18 2020-09-04 武汉斗鱼网络科技有限公司 推送信息处理方法及装置
CN108021434A (zh) * 2017-12-06 2018-05-11 浪潮软件集团有限公司 数据处理装置及其处理数据的方法、介质、存储控制器

Similar Documents

Publication Publication Date Title
WO2008133860A3 (en) Integrated messaging, contacts, and mail interface, systems and methods
CN103970736A (zh) 一种将Excel表格转换成数据库表的方法
CN106487886A (zh) 大数据信息发布系统及方法
CN108399203A (zh) 基于大数据平台的数据筛选系统
CN103546476A (zh) 页面组件之间的消息传递方法及系统
CN103414596A (zh) 基于简单管理网络协议识别所有厂商Trap及处理的方法
CN106814975A (zh) 一种用于多类型存储设备的存储管理方法及其系统
CN103092866B (zh) 数据监控方法及监控装置
CN101753984A (zh) 视频监控系统日志的处理方法、系统和服务器
CN102970244A (zh) 一种多cpu核间负载均衡的网络报文处理方法
CN110234080A (zh) 一种信息显示方法、装置和系统
CN103902389A (zh) 基于android平台的支持双向通信的设备管理方法
CN102625144A (zh) 基于局域网云网络的并行视频处理方法
CN106657099A (zh) 一种Spark数据分析服务发布系统
CN106599120A (zh) 基于流处理框架的数据处理方法及装置
CN103577469B (zh) 数据库连接复用方法和装置
CN106817262A (zh) 一种日志分析装置
CN107016128A (zh) 一种数据处理方法及装置
CN102685155B (zh) 内容传送的方法、内容传送服务器及内容传送代理服务器
CN104346337A (zh) 一种拦截垃圾信息的方法和装置
CN110517163A (zh) 一种配网馈线组分析方法
CN109857563A (zh) 任务执行方法、装置和任务执行系统
CN105159946A (zh) 一种基于jQuery的表格排序方法及系统
CN105551500B (zh) 一种音频信号处理方法及装置
CN107729579A (zh) 数据库分离设计方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination