CN111898910A - 一种数据采集方法 - Google Patents

一种数据采集方法 Download PDF

Info

Publication number
CN111898910A
CN111898910A CN202010756422.7A CN202010756422A CN111898910A CN 111898910 A CN111898910 A CN 111898910A CN 202010756422 A CN202010756422 A CN 202010756422A CN 111898910 A CN111898910 A CN 111898910A
Authority
CN
China
Prior art keywords
data
database
school
data acquisition
acquisition method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010756422.7A
Other languages
English (en)
Inventor
陈燕群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pthink Info Tech Co ltd
Original Assignee
Pthink Info Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pthink Info Tech Co ltd filed Critical Pthink Info Tech Co ltd
Priority to CN202010756422.7A priority Critical patent/CN111898910A/zh
Publication of CN111898910A publication Critical patent/CN111898910A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance

Abstract

本发明公开了一种数据采集方法，包括：步骤一：根据数据源信息，配置数据连接池，步骤二：根据步骤一中提供的数据连接池，建立私有的数据连接安全通道，步骤三：按照数据采集要求，通过步骤二的数据通道进行数据提取，提取过程中，遵循特定的逻辑与步骤，确保数据准确与完整，步骤四：将步骤三的数据按照标准化模型进行处理，入库，步骤五：对步骤四中入库数据进行特定的格式化处理、分解、合并。本发明有效的整合了原有数据或者新建业务系统的时候统一需要从数据底层规划，明确了数据如何入库、汇总、建立私有通道、挖掘、分析，建立有效分析模型，为科学决策、精准培养、高效管理提供技术保障。

Description

一种数据采集方法
技术领域
本发明属于数据采集技术领域，具体涉及一种数据采集方法。
背景技术
当前，随着网络技术、云计算包括信息的搜索引擎和各种存储等一系列信息化的高速发展，大数据已成为服务决策、提高管理效益的趋势和途径，对教育管理、学校管理产生重大影响。对职业教育而言，要摸清职业学校基础，动态掌握职业学校发展变化，服务国家决策，服务地方发展，服务学校管理，亟需加强职业学校管理信息化，运用现代化管理手段和信息化管理工具，建设以应用为基础、以数据为支撑的学校管理信息系统，提供准确、实时、动态的大数据，为今后的数据钻取挖掘，职业教育趋势分析和发展方向研究奠定科学基础。
目前对于职业教育全貌了解缺乏历史数据的佐证材料，数据失真严重，盲目评价、主观管理等问题依然普遍存在，也没有建设统一的质量监测评价系统，严重影响了中职学校自主质量保障体系的建设的问题，为此我们提出一种数据采集方法。
发明内容
本发明的目的在于提供一种数据采集方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种数据采集方法，包括：
步骤一：根据数据源信息，配置数据连接池；
步骤二：根据步骤一中提供的数据连接池，建立私有的数据连接安全通道；
步骤三：按照数据采集要求，通过步骤二的数据通道进行数据提取，提取过程中，遵循特定的逻辑与步骤，确保数据准确与完整；
步骤四：将步骤三的数据按照标准化模型进行处理，入库；
步骤五：对步骤四中入库数据进行特定的格式化处理、分解、合并，按照数据所代表的特定含义采用指定的挖掘算法进行处理和统计汇总，并将统计分析结果数据以指定的图表(如管理仪表盘、散点图、线形图、柱状图等)方式动态展现；
步骤六：将所述统计分析结果数据最终存储于数据中心库中。
进一步的，所述步骤一中数据源信息分别为中等职业学校人才培养工作状态数据管理系统数据库、高等职业学院人才培养工作状态数据管理系统数据库。
进一步的，所述步骤二中数据连接安全通道为加密式设计，通过特定的符号、数字或其组合进入通道内。
进一步的，所述步骤三中数据采集要求为使用者设定数据区域，用于短时间内将使用者设定区域数据从数据库中提取，供使用者筛选。
进一步的，所述步骤四中标准化模型用于对收集数据进行分析处理，处理方法包括：过滤残次、数据签名不符、业务数据前后逻辑冲突、超过合理取值范围的数据，对提取数据进行标准化分析后录入数据库。
进一步的，所述步骤六中数据中心库支持数据的查询和导出等功能，且所述数据中心库与国家诊改专委会中职数据中心的数据对接、融合交换，用于共享国家平台中允许公开和推送的数据。
进一步的，所述中职人才培养工作状态数据管理系统数据库包括：省级直属中职学校数据库、地市属中职学校数据库、技工类中职学校数据库、民办类中职学校数据库。
进一步的，所述高职人才培养工作状态数据管理系统数据库包括：省直属高职学校数据库、市属高职学校数据库、民办类高职学校数据库。
与现有技术相比，本发明的有益效果是：
本发明有效的整合了原有数据或者新建业务系统的时候统一需要从数据底层规划，明确了数据如何入库、汇总、建立私有通道、挖掘、分析，建立有效分析模型，为科学决策、精准培养、高效管理提供技术保障，实现大数据体系下的业务数据实时、分布式保存并分析应用，使得数据的采集更加便捷、真实，减少了盲目评价、主观管理等情况，建立了统一的质量检测评价方法，为管理则决策提供了服务，使得中职学校自主质量保障体系的建设更加迅速。
附图说明
图1本发明提出的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：一种数据采集方法，包括：
步骤一：根据数据源信息，配置数据连接池；
步骤二：根据步骤一中提供的数据连接池，建立私有的数据连接安全通道；
步骤三：按照数据采集要求，通过步骤二的数据通道进行数据提取，提取过程中，遵循特定的逻辑与步骤，确保数据准确与完整；
步骤四：将步骤三的数据按照标准化模型进行处理，入库；
步骤五：对步骤四中入库数据进行特定的格式化处理、分解、合并，按照数据所代表的特定含义采用指定的挖掘算法进行处理和统计汇总，并将统计分析结果数据以指定的图表(如管理仪表盘、散点图、线形图、柱状图等)方式动态展现；
步骤六：将统计分析结果数据最终存储于数据中心库中。
本实施例中，步骤一中数据源信息分别为中等职业学校人才培养工作状态数据管理系统数据库、高等职业学院人才培养工作状态数据管理系统数据库。
本实施例中，步骤二中数据连接安全通道为加密式设计，通过特定的符号、数字或其组合进入通道内。
本实施例中，步骤三中数据采集要求为使用者设定数据区域，用于短时间内将使用者设定区域数据从数据库中提取，供使用者筛选。
本实施例中，步骤四中标准化模型用于对收集数据进行分析处理，处理方法包括：过滤残次、数据签名不符、业务数据前后逻辑冲突、超过合理取值范围的数据，对提取数据进行标准化分析后录入数据库。
本实施例中，步骤六中数据中心库支持数据的查询和导出等功能，且数据中心库与国家诊改专委会中职数据中心的数据对接、融合交换，用于共享国家平台中允许公开和推送的数据。
本实施例中，中职人才培养工作状态数据管理系统数据库包括：省级直属中职学校数据库、地市属中职学校数据库、技工类中职学校数据库、民办类中职学校数据库。
本实施例中，高职人才培养工作状态数据管理系统数据库包括：省直属高职学校数据库、市属高职学校数据库、民办类高职学校数据库。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种数据采集方法，其特征在于：包括：
步骤一：根据数据源信息，配置数据连接池；
步骤二：根据步骤一中提供的数据连接池，建立私有的数据连接安全通道；
步骤三：按照数据采集要求，通过步骤二的数据通道进行数据提取，提取过程中，遵循特定的逻辑与步骤，确保数据准确与完整；
步骤四：将步骤三的数据按照标准化模型进行处理，入库；
步骤五：对步骤四中入库数据进行特定的格式化处理、分解、合并，按照数据所代表的特定含义采用指定的挖掘算法进行处理和统计汇总，并将统计分析结果数据以指定的图表(如管理仪表盘、散点图、线形图、柱状图等)方式动态展现；
步骤六：将所述统计分析结果数据最终存储于数据中心库中。
2.根据权利要求1所述的一种数据采集方法，其特征在于：所述步骤一中数据源信息分别为中等职业学校人才培养工作状态数据管理系统数据库、高等职业学院人才培养工作状态数据管理系统数据库。
3.根据权利要求1所述的一种数据采集方法，其特征在于：所述步骤二中数据连接安全通道为加密式设计，通过特定的符号、数字或其组合进入通道内。
4.根据权利要求1所述的一种数据采集方法，其特征在于：所述步骤三中数据采集要求为使用者设定数据区域，用于短时间内将使用者设定区域数据从数据库中提取，供使用者筛选。
5.根据权利要求1所述的一种数据采集方法，其特征在于：所述步骤四中标准化模型用于对收集数据进行分析处理，处理方法包括：过滤残次、数据签名不符、业务数据前后逻辑冲突、超过合理取值范围的数据，对提取数据进行标准化分析后录入数据库。
6.根据权利要求1所述的一种数据采集方法，其特征在于：所述步骤六中数据中心库支持数据的查询和导出等功能，且所述数据中心库与国家诊改专委会中职数据中心的数据对接、融合交换，用于共享国家平台中允许公开和推送的数据。
7.根据权利要求2所述的一种数据采集方法，其特征在于：所述中职人才培养工作状态数据管理系统数据库包括：省级直属中职学校数据库、地市属中职学校数据库、技工类中职学校数据库、民办类中职学校数据库。
8.根据权利要求7所述的一种数据采集方法，其特征在于：所述高职人才培养工作状态数据管理系统数据库包括：省直属高职学校数据库、市属高职学校数据库、民办类高职学校数据库。
CN202010756422.7A 2020-07-30 2020-07-30 一种数据采集方法 Pending CN111898910A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010756422.7A CN111898910A (zh) 2020-07-30 2020-07-30 一种数据采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010756422.7A CN111898910A (zh) 2020-07-30 2020-07-30 一种数据采集方法

Publications (1)

Publication Number Publication Date
CN111898910A true CN111898910A (zh) 2020-11-06

Family

ID=73183792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010756422.7A Pending CN111898910A (zh) 2020-07-30 2020-07-30 一种数据采集方法

Country Status (1)

Country Link
CN (1) CN111898910A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567493A (zh) * 2011-12-22 2012-07-11 深圳市同洲视讯传媒有限公司 数据报表系统及具有动态数据源的报表生成方法
CN106447561A (zh) * 2016-10-08 2017-02-22 华中师范大学 一种基于教育大数据的动态可视化方法与系统
CN110716960A (zh) * 2019-10-22 2020-01-21 北京锐安科技有限公司 一种数据库查询方法、装置、设备及存储介质
CN110781236A (zh) * 2019-10-29 2020-02-11 山西云时代技术有限公司 一种构建政务大数据治理体系的方法
CN111159277A (zh) * 2019-12-02 2020-05-15 三盟科技股份有限公司 一种智能数据分析方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567493A (zh) * 2011-12-22 2012-07-11 深圳市同洲视讯传媒有限公司 数据报表系统及具有动态数据源的报表生成方法
CN106447561A (zh) * 2016-10-08 2017-02-22 华中师范大学 一种基于教育大数据的动态可视化方法与系统
CN110716960A (zh) * 2019-10-22 2020-01-21 北京锐安科技有限公司 一种数据库查询方法、装置、设备及存储介质
CN110781236A (zh) * 2019-10-29 2020-02-11 山西云时代技术有限公司 一种构建政务大数据治理体系的方法
CN111159277A (zh) * 2019-12-02 2020-05-15 三盟科技股份有限公司 一种智能数据分析方法及系统

Similar Documents

Publication Publication Date Title
Gao Analysis of enterprise financial accounting information management from the perspective of big data
CN110990585B (zh) 构建行业知识图谱的多源数据和时间序列处理方法及装置
CN105740335A (zh) 一种基于titan的企业信息分析平台及其构建方法
CN104966172A (zh) 一种用于企业经营数据分析的大数据可视化分析处理系统
CN111090683A (zh) 一种工程领域知识图谱构建方法及其生成装置
CN105956125A (zh) 专利监控系统及其方法
CN113191497B (zh) 一种面向变电站踏勘选址的知识图谱构建方法和系统
CN106022617A (zh) 一种基于营销多系统数据中心的稽查管控系统
CN111083662A (zh) 基于云计算的水质监测物联网系统
CN111311190A (zh) 一种便于数据收集的实验数据管理方法
CN114443854A (zh) 多源异构数据的处理方法、装置、计算机设备及存储介质
CN105761004A (zh) 巡视过程管理系统
CN111475499A (zh) 基于数据建模分析实现智慧监管服务控制的系统及其方法
CN107911829A (zh) 一种智能话单分析处理流程
CN112199566B (zh) 基于地产大数据的城市更新效果评估方法与系统
CN111898910A (zh) 一种数据采集方法
CN115186935B (zh) 一种机电设备非线性故障预测方法及系统
CN109711799A (zh) 引导行政管理岗标准化办公的教学软件及其运行方法
CN104850484A (zh) 一种基于位图分析的字符终端交互状态自动判定方法
CN115147086A (zh) 一种农民工工资支付监控预警平台系统及方法
CN110298585B (zh) 一种变电站设备监控信息分层分级自动审核方法
CN105630873B (zh) 站场内揭示的图形化辅助编辑方法
CN110942354A (zh) 一种基于大数据算法的轨道交通工程造价指标自动计算方法
CN106933987B (zh) 一种“多规合一”“一张图”的动态更新方法及装置
Zhang et al. Analysis of constraints on data management of intelligent platform for smart building in the era of big data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201106

RJ01 Rejection of invention patent application after publication