CN108021644A - 一种云数据整理方法 - Google Patents

一种云数据整理方法 Download PDF

Info

Publication number
CN108021644A
CN108021644A CN201711232699.4A CN201711232699A CN108021644A CN 108021644 A CN108021644 A CN 108021644A CN 201711232699 A CN201711232699 A CN 201711232699A CN 108021644 A CN108021644 A CN 108021644A
Authority
CN
China
Prior art keywords
data
server
database
file
data source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711232699.4A
Other languages
English (en)
Inventor
刘小兵
廖雅萍
王宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Mian Information Technology Co Ltd
Original Assignee
Guangzhou Mian Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Mian Information Technology Co Ltd filed Critical Guangzhou Mian Information Technology Co Ltd
Priority to CN201711232699.4A priority Critical patent/CN108021644A/zh
Publication of CN108021644A publication Critical patent/CN108021644A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/122—File system administration, e.g. details of archiving or snapshots using management policies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Abstract

本发明公开了一种云数据整理方法，它包括从数据源到服务器，再从服务器展现到数据库的过程。其中，从数据源到服务器的过程可根据数据源的不同分为从数据库到服务器以及从文本到服务器两类；从服务器展现到数据库的具体过程为：把入库的数据在服务器上进行展现，然后通过主子表的方式修改数据，修改完成后提交至数据库。本发明能有效的对原始数据进行系统化、规律化的整理，并且可以实现不同类型数据源的整理，具有适应范围广的优点。此外，本发明提供了直观的查看和修改方式，可以在原始数据不丢失的情况下保障数据的准确性，避免数据出现缺失或错误，为接下来的业务分析提供安全保障。

Description

一种云数据整理方法
技术领域
本发明涉及一种整理方法，尤其涉及一种云数据整理方法。
背景技术
随着数据的重要性日益突出，数据整理统计系统或方法对公司有着实质的帮助。每个公司对现有的数据以及历史数据可能有不同的承载方式，例如最常见的数据库(又可以分为多个不同的数据库)或文件，文件又包含了excel、txt、xml、svg等，因此处理起来在往往比较麻烦。以拿文件为例，解析文件需要借助代码去解决问题，可在很大可能上业务人员对代码并不熟悉，并且学习起来投入成本大、周期长，不能很好的解决实际问题。而直接从数据源整理的数据往往是有缺失的、错误的，因此使用直接拿取的数据源数据对接下来的业务分析会有致命的影响。
发明内容
为了解决上述技术所存在的不足之处，本发明提供了一种云数据整理方法。
为了解决以上技术问题，本发明采用的技术方案是：一种云数据整理方法，包括从数据源到服务器，再从服务器展现到数据库的过程。
从数据源到服务器的过程分为以下两类：
a、从数据库到服务器：在DPS数据处理系统中配置数据源以及对应的函数，直接获取到对应的数据；然后根据业务需要进行数据筛选生成序表，再次通过函数把序表数据插入到目的数据库中；
b、从文本到服务器：通过CRD报表制作工具制作的上传文件界面，把文件通过网页上传到服务器中；再通过DPS数据处理系统读取服务器中的文件并对文件进行解析，根据条件筛选生成序表，再次通过函数把序表数据插入到目的数据库中。文本包括excel、svg、txt、xml等格式的文本。
从服务器展现到数据库的具体过程为：把入库的数据在服务器上进行展现，然后通过主子表的方式修改数据，修改完成后提交至数据库。
本发明能有效的对原始数据进行系统化、规律化的整理，并且可以实现不同类型数据源的整理，具有适应范围广的优点。此外，本发明提供了直观的查看和修改方式，可以在原始数据不丢失的情况下保障数据的准确性，避免数据出现缺失或错误，为接下来的业务分析提供安全保障。
附图说明
图1为本发明的整体流程示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1所示的一种云数据整理方法，包括从数据源到服务器，再从服务器展现到数据库的过程，其具体步骤为：
(1)数据源的处理：
针对不同类型的数据源，将处理过程分为以下两类：
A、数据库处理：根据不同数据库类型以及不同的数据库，在云平台下建立不同驱动或者不同库名的数据连接，通过DPS数据处理系统抽取数据源；
b文件处理：通过CRD报表制作工具制作上传文件的界面，把文件上传到服务器中；然后通过DPS数据处理系统在服务器中获取文件并解析。
(2)在服务器中对取到的数据进行处理：
根据业务需要对步骤(1)获取到的数据进行处理，筛选出其中对业务有用的数据并整理生成序表。
(3)对整理出的序表入库处理：
通过调取DPS数据处理系统中简单的函数，将步骤(2)整理生成的符合业务需要的序表插入至数据库中；也可以选择自己手动创建序表，然后调用函数进行插入操作。
(4)在服务器中呈现筛选出的数据：
利用CRD报表制作工具制作的展现界面去数据库拉取数据，并展现在服务器中，该展现界面同时也是人工审查的界面。
(5)修改原始数据：
在服务器的展现界面中，采用主子表的结构对数据进行维护或修改，来保障元数据的准确性；修改完成后再提交至数据库中。
以excel文件为例，本发明的具体实施方法为：
1、在某个项目或是某个类别中通常excel结构是具有一定规律性的，所以在拿到excel文件时首先简单地对其类别进行划分；
2、利用CRD报表制作工具制作excel文件上传界面，展现到服务器上；
3、在网页端把excel上传到服务器，上传地址为数据库或者是指定的磁盘目录；上传后文件库中都会生成文件ID，上传控件选择是否上传到磁盘，默认为上传到数据库；
4、文件上传后，调用DPS数据处理系统制作一个处理excel的触发按钮，此处通过文件ID拿到excel文件，然后通过importxls()就可以直接将excel文件解析成序表；
5、在解析完之后可能有些数据是多余的，通过操作序表对数据进行删选，生成新的序表；
6、在服务器上建立一个数据源连接(指定数据存放的数据库)，在DPS数据处理系统中通过connect()函数连接数据源；然后手动建立数据库(根据序表的格式即业务需要建库)，再通过插入sql函数将序表插入进数据库中；
7、利用CRD报表制作工具制作的展现界面去数据库拉取数据，并展现在服务器中；展现界面可以满足业务人员对数据进行人工审核；
8、在展现界面上有多条记录，通过点击一条记录弹出该条记录详情，根据需要对该记录进行修改，删除等操作，提交后再次保存到数据库中，从而保障数据的准确性。
本发明能使数据源即原始数据系统化、规律化，并从中抽取符合业务的数据；同时为了避免原始数据的错误以及缺失，本发明提供了直观的查看和修改方式，可以在原始数据不丢失的情况下保障数据的准确性。此外，本发明可以实现不同类型数据源的整理，具有适应范围广的优点。
上述实施方式并非是对本发明的限制，本发明业并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。

Claims (4)

1.一种云数据整理方法，其特征在于：所述方法包括从数据源到服务器，再从服务器展现到数据库的过程。
2.根据权利要求1所述的云数据整理方法，其特征在于：从数据源到服务器的过程分为以下两类：
a、从数据库到服务器：在DPS数据处理系统中配置数据源以及对应的函数，直接获取到对应的数据；然后根据业务需要进行数据筛选生成序表，再次通过函数把序表数据插入到目的数据库中；
b、从文本到服务器：通过CRD报表制作工具制作的上传文件界面，把文件通过网页上传到服务器中；再通过DPS数据处理系统读取服务器中的文件并对文件进行解析，根据条件筛选生成序表，再次通过函数把序表数据插入到目的数据库中。
3.根据权利要求2所述的云数据整理方法，其特征在于：所述文本包括excel、svg、txt、xml格式的文本。
4.根据权利要求1所述的云数据整理方法，其特征在于：从服务器展现到数据库的具体过程为：把入库的数据在服务器上进行展现，然后通过主子表的方式修改数据，修改完成后提交至数据库。
CN201711232699.4A 2017-11-29 2017-11-29 一种云数据整理方法 Pending CN108021644A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711232699.4A CN108021644A (zh) 2017-11-29 2017-11-29 一种云数据整理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711232699.4A CN108021644A (zh) 2017-11-29 2017-11-29 一种云数据整理方法

Publications (1)

Publication Number Publication Date
CN108021644A true CN108021644A (zh) 2018-05-11

Family

ID=62077538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711232699.4A Pending CN108021644A (zh) 2017-11-29 2017-11-29 一种云数据整理方法

Country Status (1)

Country Link
CN (1) CN108021644A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719126A (zh) * 2009-12-07 2010-06-02 中国科学院新疆生态与地理研究所 地质矿产空间数据的快速转换技术方法
CN102520685A (zh) * 2011-12-06 2012-06-27 北京山竹科技有限公司 能够实现对工业现场进行监测与控制的数据采集系统及其采集方法
CN103455662A (zh) * 2013-08-05 2013-12-18 广东电网公司电力科学研究院 电网污区图分布式绘制系统及方法
CN103780700A (zh) * 2014-01-26 2014-05-07 长沙裕邦软件开发有限公司 一种实现多源异构系统之间兼容与共享的应用系统和方法
CN203933662U (zh) * 2014-01-02 2014-11-05 中安消技术有限公司 一种云存储服务器集群的运维装置及系统
CN107391695A (zh) * 2017-07-26 2017-11-24 温州市鹿城区中津先进科技研究院 一种基于大数据的信息提取方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719126A (zh) * 2009-12-07 2010-06-02 中国科学院新疆生态与地理研究所 地质矿产空间数据的快速转换技术方法
CN102520685A (zh) * 2011-12-06 2012-06-27 北京山竹科技有限公司 能够实现对工业现场进行监测与控制的数据采集系统及其采集方法
CN103455662A (zh) * 2013-08-05 2013-12-18 广东电网公司电力科学研究院 电网污区图分布式绘制系统及方法
CN203933662U (zh) * 2014-01-02 2014-11-05 中安消技术有限公司 一种云存储服务器集群的运维装置及系统
CN103780700A (zh) * 2014-01-26 2014-05-07 长沙裕邦软件开发有限公司 一种实现多源异构系统之间兼容与共享的应用系统和方法
CN107391695A (zh) * 2017-07-26 2017-11-24 温州市鹿城区中津先进科技研究院 一种基于大数据的信息提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王卫国等: "《农作物植保员》", 30 September 2004 *

Similar Documents

Publication Publication Date Title
CN107506451B (zh) 用于数据交互的异常信息监控方法及装置
CN106600105B (zh) 一种核电厂剂量数据精益化管理系统及方法
CN105765559B (zh) 交互式案件管理系统
CN109542733A (zh) 一种高可靠的实时日志收集及可视化检索方法
US11048715B1 (en) Automated file acquisition, identification, extraction and transformation
US20100161616A1 (en) Systems and methods for coupling structured content with unstructured content
CN102654874A (zh) 单据数据管理方法及系统
CN107818431A (zh) 一种提供订单轨迹数据的方法和系统
CN105786998A (zh) 数据库中间件系统及利用其处理数据的方法
CN104915262A (zh) 一种基于excel数据结构的校验系统及其方法
CN103077192B (zh) 一种数据处理方法及其系统
CN114218218A (zh) 基于数据仓库的数据处理方法、装置、设备及存储介质
CN108536435A (zh) 一种自动生成can通信代码的方法
CN110737630A (zh) 电子归档文件的处理方法、装置、计算机设备及存储介质
CN104008107A (zh) 运维知识库的实现方法
CN106528566A (zh) 日志文件的输出方法、服务器及客户端
CN106330661A (zh) 一种数据集中处理方法
CN107564582B (zh) 单病种质量监测系统及方法
CN108021644A (zh) 一种云数据整理方法
CN111177133A (zh) 一种对多元数据的处理插入方法
CN110660461A (zh) 一种基于人工智能的跨平台医疗数据信息上传系统
CN109426576B (zh) 容错处理方法以及容错组件
JP3176303U (ja) 介護情報収集システム
CN102063506B (zh) 业务系统主机的译码处理方法、业务系统主机及系统
CN110957016B (zh) 基于健康云管理平台的体检数据智能识别系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180511