CN111898910A - 一种数据采集方法 - Google Patents
一种数据采集方法 Download PDFInfo
- Publication number
- CN111898910A CN111898910A CN202010756422.7A CN202010756422A CN111898910A CN 111898910 A CN111898910 A CN 111898910A CN 202010756422 A CN202010756422 A CN 202010756422A CN 111898910 A CN111898910 A CN 111898910A
- Authority
- CN
- China
- Prior art keywords
- data
- database
- school
- data acquisition
- acquisition method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000004458 analytical method Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000013075 data extraction Methods 0.000 claims abstract description 4
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 238000007726 management method Methods 0.000 claims description 14
- 238000013523 data management Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 7
- 238000007619 statistical method Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000006872 improvement Effects 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 238000005065 mining Methods 0.000 claims description 4
- 230000007547 defect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 210000001503 joint Anatomy 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 claims description 2
- 238000011161 development Methods 0.000 description 4
- 230000001755 vocal effect Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06395—Quality analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Educational Administration (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Tourism & Hospitality (AREA)
- Educational Technology (AREA)
- Probability & Statistics with Applications (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- Fuzzy Systems (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种数据采集方法,包括:步骤一:根据数据源信息,配置数据连接池,步骤二:根据步骤一中提供的数据连接池,建立私有的数据连接安全通道,步骤三:按照数据采集要求,通过步骤二的数据通道进行数据提取,提取过程中,遵循特定的逻辑与步骤,确保数据准确与完整,步骤四:将步骤三的数据按照标准化模型进行处理,入库,步骤五:对步骤四中入库数据进行特定的格式化处理、分解、合并。本发明有效的整合了原有数据或者新建业务系统的时候统一需要从数据底层规划,明确了数据如何入库、汇总、建立私有通道、挖掘、分析,建立有效分析模型,为科学决策、精准培养、高效管理提供技术保障。
Description
技术领域
本发明属于数据采集技术领域,具体涉及一种数据采集方法。
背景技术
当前,随着网络技术、云计算包括信息的搜索引擎和各种存储等一系列信息化的高速发展,大数据已成为服务决策、提高管理效益的趋势和途径,对教育管理、学校管理产生重大影响。对职业教育而言,要摸清职业学校基础,动态掌握职业学校发展变化,服务国家决策,服务地方发展,服务学校管理,亟需加强职业学校管理信息化,运用现代化管理手段和信息化管理工具,建设以应用为基础、以数据为支撑的学校管理信息系统,提供准确、实时、动态的大数据,为今后的数据钻取挖掘,职业教育趋势分析和发展方向研究奠定科学基础。
目前对于职业教育全貌了解缺乏历史数据的佐证材料,数据失真严重,盲目评价、主观管理等问题依然普遍存在,也没有建设统一的质量监测评价系统,严重影响了中职学校自主质量保障体系的建设的问题,为此我们提出一种数据采集方法。
发明内容
本发明的目的在于提供一种数据采集方法,以解决上述背景技术中提出的问题。
为实现上述目的,本发明提供如下技术方案:一种数据采集方法,包括:
步骤一:根据数据源信息,配置数据连接池;
步骤二:根据步骤一中提供的数据连接池,建立私有的数据连接安全通道;
步骤三:按照数据采集要求,通过步骤二的数据通道进行数据提取,提取过程中,遵循特定的逻辑与步骤,确保数据准确与完整;
步骤四:将步骤三的数据按照标准化模型进行处理,入库;
步骤五:对步骤四中入库数据进行特定的格式化处理、分解、合并,按照数据所代表的特定含义采用指定的挖掘算法进行处理和统计汇总,并将统计分析结果数据以指定的图表(如管理仪表盘、散点图、线形图、柱状图等)方式动态展现;
步骤六:将所述统计分析结果数据最终存储于数据中心库中。
进一步的,所述步骤一中数据源信息分别为中等职业学校人才培养工作状态数据管理系统数据库、高等职业学院人才培养工作状态数据管理系统数据库。
进一步的,所述步骤二中数据连接安全通道为加密式设计,通过特定的符号、数字或其组合进入通道内。
进一步的,所述步骤三中数据采集要求为使用者设定数据区域,用于短时间内将使用者设定区域数据从数据库中提取,供使用者筛选。
进一步的,所述步骤四中标准化模型用于对收集数据进行分析处理,处理方法包括:过滤残次、数据签名不符、业务数据前后逻辑冲突、超过合理取值范围的数据,对提取数据进行标准化分析后录入数据库。
进一步的,所述步骤六中数据中心库支持数据的查询和导出等功能,且所述数据中心库与国家诊改专委会中职数据中心的数据对接、融合交换,用于共享国家平台中允许公开和推送的数据。
进一步的,所述中职人才培养工作状态数据管理系统数据库包括:省级直属中职学校数据库、地市属中职学校数据库、技工类中职学校数据库、民办类中职学校数据库。
进一步的,所述高职人才培养工作状态数据管理系统数据库包括:省直属高职学校数据库、市属高职学校数据库、民办类高职学校数据库。
与现有技术相比,本发明的有益效果是:
本发明有效的整合了原有数据或者新建业务系统的时候统一需要从数据底层规划,明确了数据如何入库、汇总、建立私有通道、挖掘、分析,建立有效分析模型,为科学决策、精准培养、高效管理提供技术保障,实现大数据体系下的业务数据实时、分布式保存并分析应用,使得数据的采集更加便捷、真实,减少了盲目评价、主观管理等情况,建立了统一的质量检测评价方法,为管理则决策提供了服务,使得中职学校自主质量保障体系的建设更加迅速。
附图说明
图1本发明提出的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明提供一种技术方案:一种数据采集方法,包括:
步骤一:根据数据源信息,配置数据连接池;
步骤二:根据步骤一中提供的数据连接池,建立私有的数据连接安全通道;
步骤三:按照数据采集要求,通过步骤二的数据通道进行数据提取,提取过程中,遵循特定的逻辑与步骤,确保数据准确与完整;
步骤四:将步骤三的数据按照标准化模型进行处理,入库;
步骤五:对步骤四中入库数据进行特定的格式化处理、分解、合并,按照数据所代表的特定含义采用指定的挖掘算法进行处理和统计汇总,并将统计分析结果数据以指定的图表(如管理仪表盘、散点图、线形图、柱状图等)方式动态展现;
步骤六:将统计分析结果数据最终存储于数据中心库中。
本实施例中,步骤一中数据源信息分别为中等职业学校人才培养工作状态数据管理系统数据库、高等职业学院人才培养工作状态数据管理系统数据库。
本实施例中,步骤二中数据连接安全通道为加密式设计,通过特定的符号、数字或其组合进入通道内。
本实施例中,步骤三中数据采集要求为使用者设定数据区域,用于短时间内将使用者设定区域数据从数据库中提取,供使用者筛选。
本实施例中,步骤四中标准化模型用于对收集数据进行分析处理,处理方法包括:过滤残次、数据签名不符、业务数据前后逻辑冲突、超过合理取值范围的数据,对提取数据进行标准化分析后录入数据库。
本实施例中,步骤六中数据中心库支持数据的查询和导出等功能,且数据中心库与国家诊改专委会中职数据中心的数据对接、融合交换,用于共享国家平台中允许公开和推送的数据。
本实施例中,中职人才培养工作状态数据管理系统数据库包括:省级直属中职学校数据库、地市属中职学校数据库、技工类中职学校数据库、民办类中职学校数据库。
本实施例中,高职人才培养工作状态数据管理系统数据库包括:省直属高职学校数据库、市属高职学校数据库、民办类高职学校数据库。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.一种数据采集方法,其特征在于:包括:
步骤一:根据数据源信息,配置数据连接池;
步骤二:根据步骤一中提供的数据连接池,建立私有的数据连接安全通道;
步骤三:按照数据采集要求,通过步骤二的数据通道进行数据提取,提取过程中,遵循特定的逻辑与步骤,确保数据准确与完整;
步骤四:将步骤三的数据按照标准化模型进行处理,入库;
步骤五:对步骤四中入库数据进行特定的格式化处理、分解、合并,按照数据所代表的特定含义采用指定的挖掘算法进行处理和统计汇总,并将统计分析结果数据以指定的图表(如管理仪表盘、散点图、线形图、柱状图等)方式动态展现;
步骤六:将所述统计分析结果数据最终存储于数据中心库中。
2.根据权利要求1所述的一种数据采集方法,其特征在于:所述步骤一中数据源信息分别为中等职业学校人才培养工作状态数据管理系统数据库、高等职业学院人才培养工作状态数据管理系统数据库。
3.根据权利要求1所述的一种数据采集方法,其特征在于:所述步骤二中数据连接安全通道为加密式设计,通过特定的符号、数字或其组合进入通道内。
4.根据权利要求1所述的一种数据采集方法,其特征在于:所述步骤三中数据采集要求为使用者设定数据区域,用于短时间内将使用者设定区域数据从数据库中提取,供使用者筛选。
5.根据权利要求1所述的一种数据采集方法,其特征在于:所述步骤四中标准化模型用于对收集数据进行分析处理,处理方法包括:过滤残次、数据签名不符、业务数据前后逻辑冲突、超过合理取值范围的数据,对提取数据进行标准化分析后录入数据库。
6.根据权利要求1所述的一种数据采集方法,其特征在于:所述步骤六中数据中心库支持数据的查询和导出等功能,且所述数据中心库与国家诊改专委会中职数据中心的数据对接、融合交换,用于共享国家平台中允许公开和推送的数据。
7.根据权利要求2所述的一种数据采集方法,其特征在于:所述中职人才培养工作状态数据管理系统数据库包括:省级直属中职学校数据库、地市属中职学校数据库、技工类中职学校数据库、民办类中职学校数据库。
8.根据权利要求7所述的一种数据采集方法,其特征在于:所述高职人才培养工作状态数据管理系统数据库包括:省直属高职学校数据库、市属高职学校数据库、民办类高职学校数据库。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010756422.7A CN111898910A (zh) | 2020-07-30 | 2020-07-30 | 一种数据采集方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010756422.7A CN111898910A (zh) | 2020-07-30 | 2020-07-30 | 一种数据采集方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111898910A true CN111898910A (zh) | 2020-11-06 |
Family
ID=73183792
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010756422.7A Pending CN111898910A (zh) | 2020-07-30 | 2020-07-30 | 一种数据采集方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111898910A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102567493A (zh) * | 2011-12-22 | 2012-07-11 | 深圳市同洲视讯传媒有限公司 | 数据报表系统及具有动态数据源的报表生成方法 |
CN106447561A (zh) * | 2016-10-08 | 2017-02-22 | 华中师范大学 | 一种基于教育大数据的动态可视化方法与系统 |
CN110716960A (zh) * | 2019-10-22 | 2020-01-21 | 北京锐安科技有限公司 | 一种数据库查询方法、装置、设备及存储介质 |
CN110781236A (zh) * | 2019-10-29 | 2020-02-11 | 山西云时代技术有限公司 | 一种构建政务大数据治理体系的方法 |
CN111159277A (zh) * | 2019-12-02 | 2020-05-15 | 三盟科技股份有限公司 | 一种智能数据分析方法及系统 |
-
2020
- 2020-07-30 CN CN202010756422.7A patent/CN111898910A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102567493A (zh) * | 2011-12-22 | 2012-07-11 | 深圳市同洲视讯传媒有限公司 | 数据报表系统及具有动态数据源的报表生成方法 |
CN106447561A (zh) * | 2016-10-08 | 2017-02-22 | 华中师范大学 | 一种基于教育大数据的动态可视化方法与系统 |
CN110716960A (zh) * | 2019-10-22 | 2020-01-21 | 北京锐安科技有限公司 | 一种数据库查询方法、装置、设备及存储介质 |
CN110781236A (zh) * | 2019-10-29 | 2020-02-11 | 山西云时代技术有限公司 | 一种构建政务大数据治理体系的方法 |
CN111159277A (zh) * | 2019-12-02 | 2020-05-15 | 三盟科技股份有限公司 | 一种智能数据分析方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Gao | Analysis of enterprise financial accounting information management from the perspective of big data | |
CN110990585B (zh) | 构建行业知识图谱的多源数据和时间序列处理方法及装置 | |
CN105740335A (zh) | 一种基于titan的企业信息分析平台及其构建方法 | |
CN111090683A (zh) | 一种工程领域知识图谱构建方法及其生成装置 | |
CN105956125A (zh) | 专利监控系统及其方法 | |
CN111311190A (zh) | 一种便于数据收集的实验数据管理方法 | |
CN106022617A (zh) | 一种基于营销多系统数据中心的稽查管控系统 | |
CN113191497B (zh) | 一种面向变电站踏勘选址的知识图谱构建方法和系统 | |
CN114443854A (zh) | 多源异构数据的处理方法、装置、计算机设备及存储介质 | |
CN111475499A (zh) | 基于数据建模分析实现智慧监管服务控制的系统及其方法 | |
CN107911829A (zh) | 一种智能话单分析处理流程 | |
CN111898910A (zh) | 一种数据采集方法 | |
CN112199566A (zh) | 基于地产大数据的城市更新效果评估方法与系统 | |
Jiaofeng et al. | DIIS theory and methodology for multi-scale think tank issues | |
CN109711799A (zh) | 引导行政管理岗标准化办公的教学软件及其运行方法 | |
CN104850484A (zh) | 一种基于位图分析的字符终端交互状态自动判定方法 | |
CN112967759B (zh) | 基于内存堆栈技术的dna物证鉴定str分型比对方法 | |
CN110298585B (zh) | 一种变电站设备监控信息分层分级自动审核方法 | |
CN107330103A (zh) | 一种岩土工程钻探信息采集及处理方法和系统 | |
CN105630873B (zh) | 站场内揭示的图形化辅助编辑方法 | |
CN114116667A (zh) | 一种电力数据应用场景的数据治理系统 | |
CN110942354A (zh) | 一种基于大数据算法的轨道交通工程造价指标自动计算方法 | |
CN106933987B (zh) | 一种“多规合一”“一张图”的动态更新方法及装置 | |
CN111581303A (zh) | 一种基于男性家族关系的排查与图谱绘制方法 | |
CN111369116A (zh) | 一种基于可视化技术的项目前期和工程前期管理系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201106 |
|
RJ01 | Rejection of invention patent application after publication |