CN108509549A - 一种数据统计分析系统 - Google Patents

一种数据统计分析系统 Download PDF

Info

Publication number
CN108509549A
CN108509549A CN201810231253.8A CN201810231253A CN108509549A CN 108509549 A CN108509549 A CN 108509549A CN 201810231253 A CN201810231253 A CN 201810231253A CN 108509549 A CN108509549 A CN 108509549A
Authority
CN
China
Prior art keywords
data
module
analysis system
statistic analysis
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810231253.8A
Other languages
English (en)
Inventor
刘新鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Road To Easy Technology Co Ltd
Original Assignee
Beijing Road To Easy Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Road To Easy Technology Co Ltd filed Critical Beijing Road To Easy Technology Co Ltd
Priority to CN201810231253.8A priority Critical patent/CN108509549A/zh
Publication of CN108509549A publication Critical patent/CN108509549A/zh
Pending legal-status Critical Current

Links

Abstract

本发明涉及一种数据统计分析系统,包括数据采集模块、数据加工整合模块、数据统一标识模块以及数据共享交换模块,数据采集模块用于将企业内非结构化数据按所需格式通过信息化的技术手段采集到资料系统中;数据加工整合模块用于数据统计分析系统中对各类数据源或目标数据的抽取、转换、加载工作;统一标识模块用于建立统一标识符的语法规则、名称分派规则、解析规则、管理规则方面的内容;数据共享交换模块用于支撑数据统计分析系统中存在的数字资源移交、接收对数据交换的需求。本发明的有益效果在于,提供一种操作简单且效率高的数据统计分析系统。

Description

一种数据统计分析系统
技术领域
本发明涉及一种数据统计分析系统。
背景技术
数据统计,是互联网传媒行业或其他操作流程的数据统计的统称,用于历史资料、科学实验、检验、统计等领域。数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中,数据分析可帮助人们作出判断,以便采取适当行动。数据分析的数学基础在20世纪早期就已确立,但直到计算机的出现才使得实际操作成为可能,并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。在统计学领域,有些人将数据分析划分为描述性统计分析、探索性数据分析以及验证性数据分析;其中,探索性数据分析侧重于在数据之中发现新的特征,而验证性数据分析则侧重于已有假设的证实或证伪。探索性数据分析是指为了形成值得假设的检验而对数据进行分析的一种方法,是对传统统计学假设检验手段的补充。该方法由美国著名统计学家约翰·图基(JohnTukey)命名。定性数据分析又称为"定性资料分析"、"定性研究"或者"质性研究资料分析",是指对诸如词语、照片、观察结果之类的非数值型数据(或者说资料)的分析。
目前大多数企业或单位很早就已经进行信息化的建设了,但由于实际情况导致很多企业或单位中存在一个单位多个信息系统多套数据的情况。
发明内容
鉴于现有技术中存在的上述问题,本发明的主要目的在于提供一种操作简单且效率高的数据统计分析系统。
本发明的技术方案是这样的:
一种数据统计分析系统,包括数据采集模块、数据加工整合模块、数据统一标识模块以及数据共享交换模块,其中:
所述数据采集模块用于将企业内非结构化数据按所需格式通过信息化的技术手段采集到资料系统中;
所述数据加工整合模块用于数据统计分析系统中对各类数据源或目标数据的抽取、转换、加载工作;
所述统一标识模块用于建立统一标识符的语法规则、名称分派规则、解析规则、管理规则方面的内容;
所述数据共享交换模块用于支撑数据统计分析系统中存在的数字资源移交、接收对数据交换的需求。
所述数据统计分析系统还包括情报资料展示模块,所述情报资料展示模块用于将数据统计分析系统中所整合的各类资料数据按不同结构、不同呈现方式进行统计分析及数据展示,并提供基于数据统计分析系统的图形化综合查询功能。
所述非结构化数据包括图片类资料数据和非图片类资料数据。
所述数据共享交换模块通过双方约定的数据交换接口进行数据的获取和发布。
所述数据交换接口包括数据库接口、文件接口、API接口、邮件服务器接口以及设备接口。
本发明具有以下优点和有益效果:本发明的数据统计分析系统,包括数据采集模块、数据加工整合模块、数据统一标识模块以及数据共享交换模块,其中:所述数据采集模块用于将企业内非结构化数据按所需格式通过信息化的技术手段采集到资料系统中;所述数据加工整合模块用于数据统计分析系统中对各类数据源或目标数据的抽取、转换、加载工作;所述统一标识模块用于建立统一标识符的语法规则、名称分派规则、解析规则、管理规则方面的内容;所述数据共享交换模块用于支撑数据统计分析系统中存在的数字资源移交、接收对数据交换的需求;其具有操作简单且效率高的特点。
附图说明
图1为本发明实施例提供的数据统计分析系统的原理框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面将参照附图和具体实施例对本发明作进一步的说明。
如图1所示:本发明实施例的数据统计分析系统,包括数据采集模块、数据加工整合模块、数据统一标识模块以及数据共享交换模块,其中:
所述数据采集模块用于将企业内非结构化数据按所需格式通过信息化的技术手段采集到资料系统中;重点解决目前非结构化数据的信息化统一管理、综合检索、统一展示等问题。非结构化数据按呈现分为两类:图片类资料和非图片类资料。
图片类资料是指一切以图片样式呈现,例如:电子图片、纸质图片等;非图片类资料是指非图片样式之外的资料,例如图书、期刊等。
资料系统实现上述两类数据的数字化采集,通过OCR等技术手段识别两类资料文件,将所需的信息并存储到平台中。主要服务于纸质资料和图片资料数字化加工和管理人员,用于完成对纸质、图片数字化加工处理、加工过程的管理。从而达到规范加工过程、提高加工质量的目标,系统功能包括纸质资料数字化、图片资料数字化;
所述数据加工整合模块用于数据统计分析系统中对各类数据源或目标数据的抽取、转换、加载工作;使用数据加工整合模块中的数据采集规则、数据源连接器、采集任务等进行管理和监控,按照设定规则,对于采集的数据进行清洗转换,并最终将数据存储到系统上;
所述统一标识模块用于建立统一标识符的语法规则、名称分派规则、解析规则、管理规则等方面的内容。统一标识的作用在于提供标识符的生成、注册与服务,统一标识模块与其他系统模块关联,共同构成智能的数据分析体系;
所述数据共享交换模块用于支撑数据统计分析系统中存在的数字资源移交、接收对数据交换的需求,主要目标实现内部各系统之间、不同网络之间以安全、可靠、高效的方式进行数据交换;数据共享交换模块通过双方约定的接口进行数据的获取和发布。支持的数据交换接口包括:数据库接口、文件接口、API接口、邮件服务器接口、设备接口。
所述数据统计分析系统还包括情报资料展示模块,所述情报资料展示模块用于将数据统计分析系统中所整合的各类资料数据按不同结构、不同呈现方式进行统计分析及数据展示,并提供基于数据统计分析系统的图形化综合查询功能。
所述非结构化数据包括图片类资料数据和非图片类资料数据。
所述数据共享交换模块通过双方约定的数据交换接口进行数据的获取和发布。
所述数据交换接口包括数据库接口、文件接口、API接口、邮件服务器接口以及设备接口。
最后应说明的是:以上所述的各实施例仅用于说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或全部技术特征进行等同替换;而这些修改或替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (5)

1.一种数据统计分析系统,其特征在于:包括数据采集模块、数据加工整合模块、数据统一标识模块以及数据共享交换模块,其中:
所述数据采集模块用于将企业内非结构化数据按所需格式通过信息化的技术手段采集到资料系统中;
所述数据加工整合模块用于数据统计分析系统中对各类数据源或目标数据的抽取、转换、加载工作;
所述统一标识模块用于建立统一标识符的语法规则、名称分派规则、解析规则、管理规则方面的内容;
所述数据共享交换模块用于支撑数据统计分析系统中存在的数字资源移交、接收对数据交换的需求。
2.根据权利要求1所述的数据统计分析系统,其特征在于,还包括情报资料展示模块,所述情报资料展示模块用于将数据统计分析系统中所整合的各类资料数据按不同结构、不同呈现方式进行统计分析及数据展示,并提供基于数据统计分析系统的图形化综合查询功能。
3.根据权利要求1所述的数据统计分析系统,其特征在于,所述非结构化数据包括图片类资料数据和非图片类资料数据。
4.根据权利要求1所述的数据统计分析系统,其特征在于,所述数据共享交换模块通过双方约定的数据交换接口进行数据的获取和发布。
5.根据权利要求4所述的数据统计分析系统,其特征在于,所述数据交换接口包括数据库接口、文件接口、API接口、邮件服务器接口以及设备接口。
CN201810231253.8A 2018-03-20 2018-03-20 一种数据统计分析系统 Pending CN108509549A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810231253.8A CN108509549A (zh) 2018-03-20 2018-03-20 一种数据统计分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810231253.8A CN108509549A (zh) 2018-03-20 2018-03-20 一种数据统计分析系统

Publications (1)

Publication Number Publication Date
CN108509549A true CN108509549A (zh) 2018-09-07

Family

ID=63376841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810231253.8A Pending CN108509549A (zh) 2018-03-20 2018-03-20 一种数据统计分析系统

Country Status (1)

Country Link
CN (1) CN108509549A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463666A (zh) * 2014-12-22 2015-03-25 天津金审科技有限公司 一种审计分析系统
CN106066892A (zh) * 2016-06-20 2016-11-02 四川上略互动网络技术有限公司 一种基于多源数据融合的旅游信息数据处理方法
CN107256219A (zh) * 2017-04-24 2017-10-17 卡斯柯信号有限公司 应用于自动列车控制系统海量日志的大数据融合分析方法
CN107368576A (zh) * 2017-07-17 2017-11-21 广东交通职业技术学院 一种教育资源数据采集系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463666A (zh) * 2014-12-22 2015-03-25 天津金审科技有限公司 一种审计分析系统
CN106066892A (zh) * 2016-06-20 2016-11-02 四川上略互动网络技术有限公司 一种基于多源数据融合的旅游信息数据处理方法
CN107256219A (zh) * 2017-04-24 2017-10-17 卡斯柯信号有限公司 应用于自动列车控制系统海量日志的大数据融合分析方法
CN107368576A (zh) * 2017-07-17 2017-11-21 广东交通职业技术学院 一种教育资源数据采集系统

Similar Documents

Publication Publication Date Title
Azad et al. The role of structured and unstructured data managing mechanisms in the Internet of things
Rusyn et al. Model and architecture for virtual library information system
CN101202966B (zh) 一种用户信息的收集方法、系统及设备
Diaconita et al. Hadoop oriented smart cities architecture
CN102129479B (zh) 一种基于概率潜在语义分析模型的万维网服务发现方法
CN109446274B (zh) 大数据平台bi元数据管理的方法和装置
CN106408197A (zh) 一种基于app技术的工业巡检系统
Wu et al. A NOSQL–SQL hybrid organization and management approach for real-time geospatial data: A case study of public security video surveillance
CN111581393B (zh) 一种基于电力行业客户服务数据的知识图谱的构建方法
CN104199975A (zh) 一种基于可配置的word文档结构化提取方法
Gomes et al. Towards an infrastructure to support big data for a smart city project
CN107945092A (zh) 用于审计领域的大数据综合管理方法及系统
CN109829660A (zh) 基于电力企业级数据模型的数据处理系统及其设计方法
Seo et al. Big data framework for analyzing patents to support strategic R&D planning
CN104766240A (zh) 电子银行业务数据处理系统及方法
CN110196849B (zh) 基于大数据治理技术实现用户画像构建处理的系统及其方法
CN108256045A (zh) 实时流数据的结构化解析、流计算的方法及计算机设备
CN106383917A (zh) 一种基于用户日志的数据处理方法
Nagdive et al. Web server log analysis for unstructured data using apache flume and pig
CN106685707A (zh) 一种分布式基础设施系统中的资产信息控制方法
CN107679097A (zh) 一种分布式数据处理方法、系统和存储介质
CN109446167A (zh) 一种日志数据存储、提取方法及装置
CN102945270A (zh) 并行化分布式网络舆情数据管理方法及系统
CN107357919A (zh) 行为日志查询系统及方法
CN107291938A (zh) 订单查询系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180907

WD01 Invention patent application deemed withdrawn after publication