CN106649516A - 一种教育资源大数据处理方法 - Google Patents
一种教育资源大数据处理方法 Download PDFInfo
- Publication number
- CN106649516A CN106649516A CN201610901611.2A CN201610901611A CN106649516A CN 106649516 A CN106649516 A CN 106649516A CN 201610901611 A CN201610901611 A CN 201610901611A CN 106649516 A CN106649516 A CN 106649516A
- Authority
- CN
- China
- Prior art keywords
- data
- educational
- processing method
- format
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000001914 filtration Methods 0.000 claims abstract description 7
- 238000005065 mining Methods 0.000 claims abstract description 7
- 230000015654 memory Effects 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims abstract description 3
- 238000013500 data storage Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000007596 consolidation process Methods 0.000 claims description 3
- 238000007418 data mining Methods 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims 1
- 239000013589 supplement Substances 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 4
- 238000006243 chemical reaction Methods 0.000 abstract description 3
- 238000005457 optimization Methods 0.000 abstract description 3
- 238000012216 screening Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
- G06F2216/03—Data mining
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- General Business, Economics & Management (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种教育资源大数据处理方法，其包括以下步骤：对筛选出的教育数据进行清洗；根据各教育关键词对筛选出的教育数据进行分类并存储；将所述存储在不同的数据存储器中的不同格式的数据转化为统一格式；检查所述统一格式的数据，将含有噪声数据、冗余的数据剔除，对缺省数据进行补充，同时对数据通过二进制数据编码进行标识；确定目标数据的特征值；根据目标数据的具体特征值采用挖掘算法对数据进行处理，将挖掘出的数据附加上标识后导出。本发明通过于教育有关的关键词搜索完成对网络云服务器中的数据筛选，并对数据进行相应的优化处理与格式转化使数据在搜索时的效率更高，本发明为互联网教育提供了很好的数据来源。
Description
技术领域
本发明涉及到教育技术领域，特别是一种教育资源大数据处理方法。
背景技术
近年来，互联网的发展越来越迅速，使用互联网的人也越来越普及，人们在使用互联网进行日常的活动的时候，例如网购，查看节目，信息，商品都会产生大量的数据，而这些数据对于电子商务网站或者互联网媒体类网站来说是非常宝贵的，利用这些大数据的处理分析能得到非常宝贵的商业价值。
大数据广泛应用于互联网各项应用中，对网站的价值意义重大，通过海量数据分析和云计算的实现，可以最大化帮助互联网媒体类网站广告系统和电子商务类网站大数据商品推送系统得到最大化的提升。互联网媒体类网站大数据广告根据用户阅读偏好推送，针对海量数据的云计算，通过各种广告形式推送到网站浏览用户，例如应用在商会网；电子商务类网站大数据商品推送给在线购买者，通过分析用户点击行为、购买行为、产品相关性、偏好及使用时间规律推送相应的商品及促销信息，例如应用在品得商城。
现有技术目前还没有一种用于教育资源大数据处理方法。
发明内容
为解决上述技术问题，本发明提供了一种教育资源大数据处理方法，其包括以下步骤：
教育数据清洗：在各网络云服务器中根据教育关键词筛选出教育数据，对筛选出的教育数据进行清洗；
数据分类：根据各教育关键词对筛选出的教育数据进行分类，并分别单独存储在不同的数据存储器中；
数据格式统一：将所述存储在不同的数据存储器中的不同格式的数据转化为统一格式；
数据预处理：检查所述统一格式的数据，将含有噪声数据、冗余的数据剔除，对缺省数据进行补充，同时对数据通过二进制数据编码进行标识；
数据搜索：确定要发现的数据关键词、数据名称、存储日期、数据长度作为目标数据的特征值；
数据挖掘：根据目标数据的具体特征值采用挖掘算法对数据进行处理，将挖掘出的数据附加上标识后导出。
较佳地，所述数据格式统一的具体方法为：
根据不同格式的数据所占据的存储空间大小依次排序，将占据最大存储空间的格式数据作为目标格式，并将其他格式的数据统一转化为所述目标格式。
较佳地，所述挖掘算法为k—means聚类算法或者基于层次的聚类分析算法。
较佳地，所述缺省数据的补充内容包括数据扩展名与系统存储路径。
较佳地，所述清洗的数据包括指源系统中的数据不在给定的范围内或对于实际业务毫无意义，数据格式非法，以及在源系统中存在不规范的编码和含糊的业务逻辑的数据。
本发明具有以下有益效果：
本发明通过于教育有关的关键词搜索完成对网络云服务器中的数据筛选，并对数据进行相应的优化处理与格式转化使数据在搜索时的效率更高，本发明通过对网络云服务器中的大数据作为源数据，并经过筛选为互联网教育提供了很好的数据来源。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
具体实施方式
下面将结合本发明实施例对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例提供了一种教育资源大数据处理方法，其包括以下步骤：
教育数据清洗：在各网络云服务器中根据教育关键词筛选出教育数据，对筛选出的教育数据进行清洗；
数据分类：根据各教育关键词对筛选出的教育数据进行分类，并分别单独存储在不同的数据存储器中；
数据格式统一：将所述存储在不同的数据存储器中的不同格式的数据转化为统一格式；
数据预处理：检查所述统一格式的数据，将含有噪声数据、冗余的数据剔除，对缺省数据进行补充，同时对数据通过二进制数据编码进行标识；
数据搜索：确定要发现的数据关键词、数据名称、存储日期、数据长度作为目标数据的特征值；
数据挖掘：根据目标数据的具体特征值采用挖掘算法对数据进行处理，将挖掘出的数据附加上标识后导出。
较佳地，所述数据格式统一的具体方法为：
根据不同格式的数据所占据的存储空间大小依次排序，将占据最大存储空间的格式数据作为目标格式，并将其他格式的数据统一转化为所述目标格式。
其中所述挖掘算法为k—means聚类算法或者基于层次的聚类分析算法。
本实施例中所述缺省数据的补充内容包括数据扩展名与系统存储路径。
所述清洗的数据包括指源系统中的数据不在给定的范围内或对于实际业务毫无意义，数据格式非法，以及在源系统中存在不规范的编码和含糊的业务逻辑的数据。
本发明通过于教育有关的关键词搜索完成对网络云服务器中的数据筛选，并对数据进行相应的优化处理与格式转化使数据在搜索时的效率更高，本发明通过对网络云服务器中的大数据作为源数据，并经过筛选为互联网教育提供了很好的数据来源。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (5)
1.一种教育资源大数据处理方法，其特征在于，包括以下步骤：
教育数据清洗：在各网络云服务器中根据教育关键词筛选出教育数据，对筛选出的教育数据进行清洗；
数据分类：根据各教育关键词对筛选出的教育数据进行分类，并分别单独存储在不同的数据存储器中；
数据格式统一：将所述存储在不同的数据存储器中的不同格式的数据转化为统一格式；
数据预处理：检查所述统一格式的数据，将含有噪声数据、冗余的数据剔除，对缺省数据进行补充，同时对数据通过二进制数据编码进行标识；
数据搜索：确定要发现的数据关键词、数据名称、存储日期、数据长度作为目标数据的特征值；
数据挖掘：根据目标数据的具体特征值采用挖掘算法对数据进行处理，将挖掘出的数据附加上标识后导出。
2.如权利要求1所述的教育资源大数据处理方法，其特征在于，所述数据格式统一的具体方法为：
根据不同格式的数据所占据的存储空间大小依次排序，将占据最大存储空间的格式数据作为目标格式，并将其他格式的数据统一转化为所述目标格式。
3.如权利要求1所述的教育资源大数据处理方法，其特征在于，所述挖掘算法为k—means聚类算法或者基于层次的聚类分析算法。
4.如权利要求1所述的教育资源大数据处理方法，其特征在于，所述缺省数据的补充内容包括数据扩展名与系统存储路径。
5.如权利要求1所述的教育资源大数据处理方法，其特征在于，所述清洗的数据包括指源系统中的数据不在给定的范围内或对于实际业务毫无意义，数据格式非法，以及在源系统中存在不规范的编码和含糊的业务逻辑的数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610901611.2A CN106649516A (zh) | 2016-10-18 | 2016-10-18 | 一种教育资源大数据处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610901611.2A CN106649516A (zh) | 2016-10-18 | 2016-10-18 | 一种教育资源大数据处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106649516A true CN106649516A (zh) | 2017-05-10 |
Family
ID=58856082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610901611.2A Pending CN106649516A (zh) | 2016-10-18 | 2016-10-18 | 一种教育资源大数据处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106649516A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107705653A (zh) * | 2017-10-24 | 2018-02-16 | 武汉览山科技股份有限公司 | 一种用于教育大数据处理的方法 |
| CN108108747A (zh) * | 2017-09-21 | 2018-06-01 | 西安交通大学 | 一种解决大数据聚类的基于视觉原理的聚类方法 |
| CN108921747A (zh) * | 2018-07-06 | 2018-11-30 | 重庆和贯科技有限公司 | 打造学生沉浸感的智慧教育系统 |
| CN111401889A (zh) * | 2019-01-03 | 2020-07-10 | 百度在线网络技术（北京）有限公司 | 基于区块链的信用数据处理方法、装置、设备和介质 |
| CN111651435A (zh) * | 2020-03-16 | 2020-09-11 | 杭州电子科技大学 | 基于容器的数据处理方法、装置、系统以及存储介质 |
| CN113343691A (zh) * | 2021-07-01 | 2021-09-03 | 浙江万里学院 | 一种大数据监测终端及其应用方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1783122A (zh) * | 2004-09-22 | 2006-06-07 | 国际商业机器公司 | 用于估计教育资源的方法 |
| CN101599161A (zh) * | 2009-07-17 | 2009-12-09 | 用友软件股份有限公司 | 营销支持系统 |
| CN104750813A (zh) * | 2015-03-30 | 2015-07-01 | 浪潮集团有限公司 | 一种基于数据归约模型的数据清洗方法 |
-
2016
- 2016-10-18 CN CN201610901611.2A patent/CN106649516A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1783122A (zh) * | 2004-09-22 | 2006-06-07 | 国际商业机器公司 | 用于估计教育资源的方法 |
| CN101599161A (zh) * | 2009-07-17 | 2009-12-09 | 用友软件股份有限公司 | 营销支持系统 |
| CN104750813A (zh) * | 2015-03-30 | 2015-07-01 | 浪潮集团有限公司 | 一种基于数据归约模型的数据清洗方法 |
Non-Patent Citations (1)
| Title |
|---|
| 韩旭: "《中国优秀硕士学位论文全文数据库信息科技辑》", 15 April 2014 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108108747A (zh) * | 2017-09-21 | 2018-06-01 | 西安交通大学 | 一种解决大数据聚类的基于视觉原理的聚类方法 |
| CN107705653A (zh) * | 2017-10-24 | 2018-02-16 | 武汉览山科技股份有限公司 | 一种用于教育大数据处理的方法 |
| CN108921747A (zh) * | 2018-07-06 | 2018-11-30 | 重庆和贯科技有限公司 | 打造学生沉浸感的智慧教育系统 |
| CN111401889A (zh) * | 2019-01-03 | 2020-07-10 | 百度在线网络技术（北京）有限公司 | 基于区块链的信用数据处理方法、装置、设备和介质 |
| CN111401889B (zh) * | 2019-01-03 | 2023-08-18 | 百度在线网络技术（北京）有限公司 | 基于区块链的信用数据处理方法、装置、设备和介质 |
| CN111651435A (zh) * | 2020-03-16 | 2020-09-11 | 杭州电子科技大学 | 基于容器的数据处理方法、装置、系统以及存储介质 |
| CN113343691A (zh) * | 2021-07-01 | 2021-09-03 | 浙江万里学院 | 一种大数据监测终端及其应用方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106649516A (zh) | 一种教育资源大数据处理方法 | |
| JP5897019B2 (ja) | 候補製品のリンクリストを判定する方法および装置 | |
| CN111125495A (zh) | 一种信息推荐方法、设备及存储介质 | |
| CN104102639B (zh) | 基于文本分类的推广触发方法和装置 | |
| Suresh | An unsupervised fuzzy clustering method for twitter sentiment analysis | |
| WO2016200828A1 (en) | Image and text data hierarchical classifiers | |
| WO2015165381A1 (zh) | 一种通用型互联网信息数据挖掘方法 | |
| CN107632984A (zh) | 一种聚类数据表的展现方法、装置和系统 | |
| CN103246980A (zh) | 信息输出方法及服务器 | |
| CN105718579A (zh) | 一种基于上网日志挖掘和用户活动识别的信息推送方法 | |
| CN105404699A (zh) | 一种搜索财经文章的方法、装置及服务器 | |
| CN104751354B (zh) | 一种广告人群筛选方法 | |
| US11561988B2 (en) | Systems and methods for harvesting data associated with fraudulent content in a networked environment | |
| CN107766323B (zh) | 一种基于互信息和关联规则的文本特征提取方法 | |
| CN110827112B (zh) | 深度学习的商品推荐方法、装置、计算机设备及存储介质 | |
| CN107544988B (zh) | 一种获取舆情数据的方法和装置 | |
| CN103823893A (zh) | 一种基于用户评论的产品检索方法及产品检索系统 | |
| CN104462336A (zh) | 信息推送方法和装置 | |
| JP2015525418A (ja) | 検索方法および装置 | |
| CN106372956B (zh) | 一种基于用户搜索日志进行意图实体识别的方法和系统 | |
| JP2018537768A (ja) | ソーシャルビジネス特性を持つユーザの識別 | |
| CN104123285B (zh) | 搜索结果的导航方法及装置 | |
| CN103577472A (zh) | 个人信息获得、推定、商品的分类、检索方法及系统 | |
| CN116739626A (zh) | 商品数据挖掘处理方法、装置、电子设备及可读介质 | |
| CN105550892A (zh) | 一种线上会员性别识别方法、系统及信息推荐系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170510 |
|
| RJ01 | Rejection of invention patent application after publication |