CN106227729A - 一种基于采集筛选分发大数据管理分析系统 - Google Patents
一种基于采集筛选分发大数据管理分析系统 Download PDFInfo
- Publication number
- CN106227729A CN106227729A CN201610520179.2A CN201610520179A CN106227729A CN 106227729 A CN106227729 A CN 106227729A CN 201610520179 A CN201610520179 A CN 201610520179A CN 106227729 A CN106227729 A CN 106227729A
- Authority
- CN
- China
- Prior art keywords
- information
- data
- enterprise
- software
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012216 screening Methods 0.000 title claims abstract description 19
- 238000007405 data analysis Methods 0.000 title claims abstract description 10
- 238000013523 data management Methods 0.000 title claims abstract description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000007726 management method Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 claims description 6
- 230000032683 aging Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 2
- 210000004209 hair Anatomy 0.000 claims description 2
- 238000007873 sieving Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 abstract description 2
- 238000010030 laminating Methods 0.000 abstract 1
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/107—Computer-aided management of electronic mailing [e-mailing]
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Entrepreneurship & Innovation (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Game Theory and Decision Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于采集筛选分发大数据管理分析系统，对企业数据进行采集、筛选、分发、管理和分析。本发明系统中，企业的一整套需求都包括在里面，企业无需购买各种各样的软硬件来完成不同的功能，整体性好，价格不贵，系统兼容性强，性能稳定，维护起来比较简单，数据安全性比较高，具有很好的实用性，和企业的实际情况比较贴合。数据变化灵活，可自定义调整的地方比较多，对各种企业需求都可以获得满足，数据集中存储有利于数据保护和整理分析，对企业无论是在本地还是外地都可以发送信息完成，具有一定的便利性。
Description
技术领域
本发明涉及一种基于采集筛选分发大数据管理分析系统，属于数据分析技术领域。
背景技术
长期以来，很多企业依赖于信息咨询才能继续生存发展，而信息大多除了熟人关系获得以外，很多来源于互联网，互联网的网站很多，网站的数量数以百万，而这些网站信息的出现也时有时无，此系统首先解决的就是网站收集、分拣、识别信息咨询问题，及我们常说的信息采集。采集完成后，数据将进入一个庞大的数据湖来存储信息，这种信息对个人而言就算是一目百行也目不暇接，所以我们要进行筛选，在数据湖中进行筛选企业有用的及时信息，筛选完以后，然后会将信息发送到企业各个部门，每个部门不一定都在同一地点，很多分公司，子公司，合作公司未必都会及时查看邮箱，而信息的实效性又比较强，所以我们会通过不同途径发送给接受者者，比如邮件是基本的，同时我们还会发送qq，微信，短信等等，通知接受者及时打开，而打开以后系统将记录用户行为是否为真正的观看，因为里面我们加入了管理系统，接受者会对有用的信息进行标记，简单的是，否，待选或者为什么做的原因，几个不同的接受者会也许会获得同样的信息或者交叉的信息，而作为整个系统的管理者可以通过一个信息不同人的选择来辨别某一条信息是否真的有用，或者接受者的想法。最终管理者还可以通过一定时间积累的信息，分析采集信息的趋势或者接受信息执行者的信息情况。
发明内容
本发明的目的在于提供一种基于采集筛选分发大数据管理分析系统，便于更好地分析管理数据。
为了实现上述目的，本发明的技术方案如下。
一种基于采集筛选分发大数据管理分析系统，对企业数据进行采集、筛选、分发、管理和分析，其实现原理是：通过网站公开的信息对网站进行信息获取，对有搜索引擎的网站利用网站本身搜索引擎帮忙加以搜索企业想要的信息，信息采集通过信息采集服务器完成，通过顺序和计划任务对网站逐一信息收集，排版，将数据放置到excel里面和数据库里面，数据存放由专门放置数据的数据库服务器完成，数据库服务器中有大概几十个t的容量，通过mysql数据库进行数据湖的形成，形成后结果利用sql标准语言对多次筛选，筛选的时候需要通过运算服务器来完成多次筛选运算，由于是上亿次分解筛选，对该服务器的要求比较高，最终可以自定义筛选出企业想要的内容，这些内容会分发到企业各部门负责人的邮箱、qq、微信中；分发通过邮件服务器、qq分发服务器和微信分发服务器完成；分发完毕以后由管理服务器对分发的结果进行定时判断信息是否被充分利用，信息有一定时效性，当时对方打开了信息后会程序会自动判断在何时打开，打开后会有判断是否有用和原因的填写，这些都是由网站程序、html、php、c++语言来完成编写的；整个服务器群落为互联网分布式服务器和局域网分布式服务器组成。
该发明的有益效果在于：本发明系统中，企业的一整套需求都包括在里面，企业无需购买各种各样的软硬件来完成不同的功能，整体性好，价格不贵，系统兼容性强，性能稳定，维护起来比较简单，数据安全性比较高，具有很好的实用性，和企业的实际情况比较贴合。数据变化灵活，可自定义调整的地方比较多，对各种企业需求都可以获得满足，数据集中存储有利于数据保护和整理分析，对企业无论是在本地还是外地都可以发送信息完成，具有一定的便利性。
具体实施方式
下面结合实施例对本发明的具体实施方式进行描述，以便更好的理解本发明。
实施例
本实施例中的基于采集筛选分发大数据管理分析系统，对企业数据进行采集、筛选、分发、管理和分析，其实现原理是：通过网站公开的信息对网站进行信息获取，对有搜索引擎的网站利用网站本身搜索引擎帮忙加以搜索企业想要的信息，信息采集通过信息采集服务器完成，通过顺序和计划任务对网站逐一信息收集，排版，将数据放置到excel里面和数据库里面，数据存放由专门放置数据的数据库服务器完成，数据库服务器中有大概几十个t的容量，通过mysql数据库进行数据湖的形成，形成后结果利用sql标准语言对多次筛选，筛选的时候需要通过运算服务器来完成多次筛选运算，由于是上亿次分解筛选，对该服务器的要求比较高，最终可以自定义筛选出企业想要的内容，这些内容会分发到企业各部门负责人的邮箱、qq、微信中；分发通过邮件服务器、qq分发服务器和微信分发服务器完成；分发完毕以后由管理服务器对分发的结果进行定时判断信息是否被充分利用，信息有一定时效性，当时对方打开了信息后会程序会自动判断在何时打开，打开后会有判断是否有用和原因的填写，这些都是由网站程序、html、php、c++语言来完成编写的；整个服务器群落为互联网分布式服务器和局域网分布式服务器组成。
上述系统利用软件实现，具体软件操作分为软件前期布置、软件的采集规则和软件的计算规则三个部分操作，其中，软件前期布置部分操作具体包括：1)登录管理部分；2)进入员工列表部分；3)添加员工；4)查看员工；5)添加主管；6)查看主管；7)进入流程添加；8)进入环节添加系统添加环节系统；9)选择环节系统；10)选择企业邮箱，员工邮箱必须对此邮箱开放，不能禁用；软件的采集规则部分操作具体包括：1)看到界面后进行网站分类；2)双击进去以后进行网站规则采集化编程，此部分需要培训才能进行编程；3)进行范围确定，具体采集的数据细节和采集规则，按照自己需要的规则进行采集；4)通过nacicat软件查询数据是否进入了数据库；软件的计算规则部分操作具体包括：1)在界面中查看有哪些筛选的规律；2)新建一个筛选的规则；3)设置员工和主管；4)如果觉得自己不够明确，选择其他人的模版作为参考；5)在里面设置微信、qq和邮箱什么时候发送，间隔多长发一次；6)设置完成以后查看运行状态。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (2)
1.一种基于采集筛选分发大数据管理分析系统，对企业数据进行采集、筛选、分发、管理和分析，其特征在于：其实现原理是：通过网站公开的信息对网站进行信息获取，对有搜索引擎的网站利用网站本身搜索引擎帮忙加以搜索企业想要的信息，信息采集通过信息采集服务器完成，通过顺序和计划任务对网站逐一信息收集，排版，将数据放置到excel里面和数据库里面，数据存放由专门放置数据的数据库服务器完成，数据库服务器中有大概几十个t的容量，通过mysql数据库进行数据湖的形成，形成后结果利用sql标准语言对多次筛选，筛选的时候需要通过运算服务器来完成多次筛选运算，由于是上亿次分解筛选，对该服务器的要求比较高，最终可以自定义筛选出企业想要的内容，这些内容会分发到企业各部门负责人的邮箱、qq、微信中；分发通过邮件服务器、qq分发服务器和微信分发服务器完成；分发完毕以后由管理服务器对分发的结果进行定时判断信息是否被充分利用，信息有一定时效性，当时对方打开了信息后会程序会自动判断在何时打开，打开后会有判断是否有用和原因的填写，这些都是由网站程序、html、php、c++语言来完成编写的；整个服务器群落为互联网分布式服务器和局域网分布式服务器组成。
2.根据权利要求1所述的基于采集筛选分发大数据管理分析系统，其特征在于：上述系统利用软件实现，具体软件操作分为软件前期布置、软件的采集规则和软件的计算规则三个部分操作，其中，软件前期布置部分操作具体包括：1)登录管理部分；2)进入员工列表部分：3)添加员工；4)查看员工；5)添加主管；6)查看主管；7)进入流程添加；8)进入环节添加系统添加环节系统；9)选择环节系统；10)选择企业邮箱，员工邮箱必须对此邮箱开放，不能禁用；软件的采集规则部分操作具体包括：1)看到界面后进行网站分类；2)双击进去以后进行网站规则采集化编程，此部分需要培训才能进行编程；3)进行范围确定，具体采集的数据细节和采集规则，按照自己需要的规则进行采集；4)通过nacicat软件查询数据是否进入了数据库；软件的计算规则部分操作具体包括：1)在界面中查看有哪些筛选的规律；2)新建一个筛选的规则；3)设置员工和主管；4)如果觉得自己不够明确，选择其他人的模版作为参考；5)在里面设置微信、qq和邮箱什么时候发送，间隔多长发一次；6)设置完成以后查看运行状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610520179.2A CN106227729A (zh) | 2016-07-05 | 2016-07-05 | 一种基于采集筛选分发大数据管理分析系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610520179.2A CN106227729A (zh) | 2016-07-05 | 2016-07-05 | 一种基于采集筛选分发大数据管理分析系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106227729A true CN106227729A (zh) | 2016-12-14 |
Family
ID=57519135
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610520179.2A Pending CN106227729A (zh) | 2016-07-05 | 2016-07-05 | 一种基于采集筛选分发大数据管理分析系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106227729A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112069036A (zh) * | 2020-11-10 | 2020-12-11 | 南京信易达计算技术有限公司 | 基于集群计算的管理与监控系统 |
| CN112732802A (zh) * | 2021-04-02 | 2021-04-30 | 南京景特信息科技有限公司 | 一种基于大数据的企业数据挖掘系统及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101686425A (zh) * | 2008-09-27 | 2010-03-31 | 中兴通讯股份有限公司 | 一种向全网提供业务的方法及业务网络系统 |
| CN101729270A (zh) * | 2008-10-24 | 2010-06-09 | 华为技术有限公司 | 一种内容分发方法、装置及网络 |
| CN102647299A (zh) * | 2012-04-24 | 2012-08-22 | 网宿科技股份有限公司 | 基于内容分发网络的层次化报警分析方法和系统 |
| CN102710548A (zh) * | 2012-06-08 | 2012-10-03 | 上海东数信息技术有限公司 | 跟踪电子邮件各收件人对邮件进行的操作的方法与系统 |
| CN103024014A (zh) * | 2012-12-03 | 2013-04-03 | 北京京东世纪贸易有限公司 | 通过消息队列的海量数据分发处理的方法和系统 |
| US20150051929A1 (en) * | 2013-08-19 | 2015-02-19 | Microsoft Corporation | Ad hoc reporting with smart lists |
-
2016
- 2016-07-05 CN CN201610520179.2A patent/CN106227729A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101686425A (zh) * | 2008-09-27 | 2010-03-31 | 中兴通讯股份有限公司 | 一种向全网提供业务的方法及业务网络系统 |
| CN101729270A (zh) * | 2008-10-24 | 2010-06-09 | 华为技术有限公司 | 一种内容分发方法、装置及网络 |
| CN102647299A (zh) * | 2012-04-24 | 2012-08-22 | 网宿科技股份有限公司 | 基于内容分发网络的层次化报警分析方法和系统 |
| CN102710548A (zh) * | 2012-06-08 | 2012-10-03 | 上海东数信息技术有限公司 | 跟踪电子邮件各收件人对邮件进行的操作的方法与系统 |
| CN103024014A (zh) * | 2012-12-03 | 2013-04-03 | 北京京东世纪贸易有限公司 | 通过消息队列的海量数据分发处理的方法和系统 |
| US20150051929A1 (en) * | 2013-08-19 | 2015-02-19 | Microsoft Corporation | Ad hoc reporting with smart lists |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112069036A (zh) * | 2020-11-10 | 2020-12-11 | 南京信易达计算技术有限公司 | 基于集群计算的管理与监控系统 |
| CN112069036B (zh) * | 2020-11-10 | 2021-09-03 | 南京信易达计算技术有限公司 | 基于集群计算的管理与监控系统 |
| CN112732802A (zh) * | 2021-04-02 | 2021-04-30 | 南京景特信息科技有限公司 | 一种基于大数据的企业数据挖掘系统及方法 |
| CN112732802B (zh) * | 2021-04-02 | 2021-06-22 | 南京景特信息科技有限公司 | 一种基于大数据的企业数据挖掘系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Terres et al. | Farmland abandonment in Europe: Identification of drivers and indicators, and development of a composite indicator of risk | |
| CN106651392A (zh) | 一种智能商业选址方法、装置及系统 | |
| CN105989443A (zh) | 一种基于智能移动终端的通讯线路巡检系统 | |
| Leach et al. | Plantwise knowledge bank: delivering plant health information to developing country users | |
| CN113821777B (zh) | 权限控制方法、装置、计算机设备和存储介质 | |
| CN109857936A (zh) | 一种大数据采集分析与服务系统 | |
| KR20180086084A (ko) | 인공 지능 기술을 적용한 기계 학습 기반의 입력 특허 집합과 관계성 높은 특허 집합을 생성하는 방법 및 장치 | |
| CN109416684A (zh) | 分析平台的摄取管理器 | |
| CN108563675A (zh) | 基于目标体特征的电子档案自动生成方法及装置 | |
| Poratelli et al. | State-of-the-art on ecosystem-based solutions for disaster risk reduction: The case of gravity-driven natural hazards in the Alpine region | |
| CN106227729A (zh) | 一种基于采集筛选分发大数据管理分析系统 | |
| Brown et al. | Conservation biology and forest certification: Working together toward ecological sustainability | |
| CN109636351B (zh) | 一种基于大数据的工程招标管理系统 | |
| DE112018005424T5 (de) | Automatisches Verbinden von externen Daten mit einem Geschäftsanalyseprozess | |
| Memon et al. | Harvesting covert networks: a case study of the iMiner database | |
| Suarez-Pardo et al. | Resilience in agroecosystems: an index based on a socioecological systems approach | |
| CN112929404A (zh) | 一种校园楼宇自动化物联网系统 | |
| Poorahmad et al. | Good urban governance in urban neighborhoods (case: Marivan city) | |
| CN108055289A (zh) | 一种基于互联网的对用户生成内容进行审核的方法及系统 | |
| Goya | Marshallian and Jacobian externalities in creative industries | |
| CN112446425A (zh) | 一种用于自动获取疑似养卡渠道的方法和装置 | |
| Chilonga et al. | Application of Education Management Information System (EMIS) to Information and Knowledge Management in Academic Libraries | |
| Marcheggiani et al. | The characterisation of “living” landscapes: The role of mixed descriptors and volunteering geographic information | |
| Ibrahim et al. | Effect of technology intelligence on performance of selected manufacturing firms in FCT-Abuja, Nigeria | |
| Stevenson | Crime Analysis: The History and Development of a Discipline |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20181101 Address after: 410000 17 building, Yinhua building, 618 Wuyi Road, Furong district, Changsha, Hunan Applicant after: Sun Ting Address before: 518000 A 201, No. 1, Qian Wan Road, Shenzhen Qianhai cooperation zone, Shenzhen, Guangdong. Applicant before: Shenzhen Yun Chi Union Technology Co. Ltd. |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161214 |
|
| RJ01 | Rejection of invention patent application after publication |