CN110602049A

CN110602049A - 数据传输方法、服务器及存储介质

Info

Publication number: CN110602049A
Application number: CN201910750684.XA
Authority: CN
Inventors: 殷雄
Original assignee: Ping An Life Insurance Company of China Ltd
Current assignee: Ping An Life Insurance Company of China Ltd
Priority date: 2019-08-14
Filing date: 2019-08-14
Publication date: 2019-12-20

Abstract

本发明公开了一种数据传输方法，应用于服务器，该方法包括：从多个数据源中分别抽取多个第一数据，对每个第一数据进行预处理得到第二数据；将多个第二数据根据预设标识进行分组后加载到预先构建的数据结构，生成中间数据集；当接收客户端发出的数据传输请求后，生成与数据传输任务及用户操作界面供用户对中间数据集进行管理；当用户在用户操作界面完成操作后，根据每个中间数据集中的数据生成数据图表，利用客户端确定的数据图表推送方式向客户端推送数据图表。本发明通过将来自不同数据源中的第一数据经过预处理后进行分组，并加载到数据结构中生成中间数据集，利用多个独立的中间数据集进行数据传输，降低数据处理的复杂度，提高数据处理效率。

Description

数据传输方法、服务器及存储介质

技术领域

本发明涉及数据展示技术领域，尤其涉及一种数据传输方法、服务器及存储介质。

背景技术

随着信息技术的飞速发展和在各行业领域的深入应用，数据急速产生和累积，需要处理的数据量急剧增多，推动人类社会迈入大数据时代。大数据具有以下四个方面的典型特征：海量性(Volume)、多样性(Varity)、高速性(Velocity)和价值性(Value)，即所谓的“4V”。这些数据规模庞大、种类繁多，但蕴含价值丰富，如何从海量复杂数据中获取知识，即获取所需数据，然后生成相应的数据报表，已成为亟需解决的问题。

但是目前，无论是采用人工作业还是利用现有的数据管理系统来处理数据，都普遍存在效率低下、操作复杂、数据更新滞后等问题。

发明内容

本发明的主要目的在于提供一种数据传输方法、服务器及存储介质，旨在解决现有的数据传输过程存在效率低下、操作复杂、数据更新滞后的问题。

为实现上述目的，本发明提供的一种数据传输方法，应用于服务器，该方法包括：

数据获取步骤：实时或定时从多个数据源中分别抽取多个第一数据，对抽取到的每个所述第一数据进行预处理得到第二数据，将多个所述第二数据根据预设标识进行分组，并将每组第二数据加载到预先构建的数据结构，生成与所述预设标识对应的中间数据集；

条件设置步骤：接收客户端发出的数据传输请求，生成用户操作界面及所述数据传输请求对应的数据传输任务，所述用户操作界面供用户对生成的所述中间数据集进行操作，其中，所述数据传输请求中包括预设标识和预设数据展示形式；

图表生成步骤：当用户完成对所述用户操作界面的操作后，执行所述数据传输任务，根据所述预设标识从所述数据结构中找到对应的中间数据集，并按照所述预设数据展示形式将所述中间数据集中的数据生成数据图表存储至预先确定的存储路径；及

图表推送步骤：根据所述客户端确定的图表推送方式将所述数据图表推送至所述客户端。

优选地，所述对抽取到的每个所述第一数据进行预处理得到第二数据包括：对所述第一数据进行数据清洗处理与数据转换处理。

优选地，所述数据清洗处理包括：

对所述第一数据进行分析，利用逐行扫描方式找出并标记所述第一数据中的缺失值；及

将所述第一数据中标记的缺失值利用拉格朗日插值法进行修补填充。

优选地，所述用户操作界面包括对所述中间数据集进行立即开始任务操作、预约开始任务操作及删除任务操作。

优选地，所述推送方式包括第一推送方式及第二推送方式：

当所述确定的推送方式为第一推送方式时，响应所述客户端的数据图表下载请求，对所述客户端的用户进行身份验证，身份验证成功则从所述存储路径下载所述数据图表反馈给所述客户端；或

当所述确定的推送方式为第二推送方式时，主动获取所述客户端的地址信息，所述地址信息包括IP地址及端口，根据所述地址信息从所述存储路径下载所述数据图表推送至所述客户端。

为实现上述目的，本发明还进一步提供一种服务器，所述服务器包括存储器和处理器，所述存储器上存储有数据传输程序，所述数据传输程序被所述处理器执行时实现如下步骤：

所述数据传输程序被所述处理器执行时实现如下步骤：

优选地，所述数据清洗处理包括：

优选地，所述推送方式包括第一推送方式及第二推送方式：

为实现上述目的，本发明进一步提供一种计算机可读存储介质，所述计算机可读存储介质上存储有数据传输程序，所述数据传输程序可被一个或者多个处理器执行，以实现如上所述的数据传输方法的步骤。

本发明提出的数据传输方法、服务器及存储介质，通过从多个数据源中分别抽取第一数据，对抽取到的第一数据进行预处理得到数据密度更大、数据格式更加统一的第二数据，并加载到预先构建的数据结构，生成中间数据集。当接收到客户端发出的数据传输请求后将每个中间数据集中的数据生成数据图表并存储至预先确定的存储路径，根据数据表确定数据图表的推送方式后，向客户端推送数据图表。本发明通过引入中间数据集，将来自不同数据源中的第一数据经过预处理后根据预设标识进行分组，并加载到数据结构中生成中间数据集，利用多个独立的中间数据集进行数据传输，相比较原先将所有数据通过串行数据处理进行传输的方式，该发明具有降低了数据处理的复杂度，提高了数据处理效率的优点。

附图说明

图1为本发明服务器较佳实施例的应用环境图；

图2为图1中数据传输程序较佳实施例的程序模块示意图；

图3为本发明数据传输方法较佳实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参附图做进一步说明。

具体实施方式

为了使本发明的目的、技术本实施例及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术本实施例可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术本实施例的结合出现相互矛盾或无法实现时应当认为这种技术本实施例的结合不存在，也不在本发明要求的保护范围之内。

本发明提供一种服务器1。

所述服务器1包括，但不仅限于，存储器11、处理器12及网络接口13。

其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是服务器1的内部存储单元，例如该服务器1的硬盘。存储器11在另一些实施例中也可以是服务器1的外部存储设备，例如该服务器1上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。

进一步地，存储器11还可以既包括服务器1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于服务器1的应用软件及各类数据，例如数据传输程序10的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器12在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行数据传输程序10等。

网络接口13可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该服务器与其他电子设备之间建立通信连接。

客户端14可以是桌上型计算机、笔记本、平板电脑、手机等。

网络15可以为互联网、云网络、无线保真(Wi-Fi)网络、个人网(PAN)、局域网(LAN)和/或城域网(MAN)。网络环境中的各种设备可以被配置为根据各种有线和无线通信协议连接到通信网络。这样的有线和无线通信协议的例子可以包括但不限于以下中的至少一个：传输控制协议和互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、文件传输协议(FTP)、ZigBee、EDGE、IEEE 802.11、光保真(Li-Fi)、802.16、IEEE 802.11s、IEEE 802.11g、多跳通信、无线接入点(AP)、设备对设备通信、蜂窝通信协议和/或蓝牙(BlueTooth)通信协议或其组合。

可选地，该服务器1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以称为显示屏或显示单元，用于显示在服务器1中处理的信息以及用于显示可视化的用户界面。

图1仅示出了具有组件11-15以及数据传输程序10的服务器1，本领域技术人员可以理解的是，图1示出的结构并不构成对服务器1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

在本实施例中，图1的数据传输程序10被处理器12执行时，实现以下步骤：

条件设置步骤：接收客户端14发出的数据传输请求，生成用户操作界面及所述数据传输请求对应的数据传输任务，所述用户操作界面供用户对生成的所述中间数据集进行操作，其中，所述数据传输请求中包括预设标识和预设数据展示形式；

图表推送步骤：根据所述客户端14确定的图表推送方式将所述数据图表推送至所述客户端14。

关于上述步骤的详细介绍，请参照下述图2关于数据传输程序10实施例的程序模块示意图及图3关于数据传输方法实施例的方法流程示意图的说明。

参照图2所示，为图1中数据传输程序10实施例的程序模块示意图。数据传输程序10被分割为多个模块，该多个模块存储于存储器11中，并由处理器12执行，以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。

在本实施例中，所述数据传输程序10包括数据获取模块110、条件设置模块120、图表生成模块130及图表推送模块140。

数据获取模块110，用于抽取从多个数据源中抽取第一数据后进行预处理得到第二数据，并加载到预先构建的数据结构中，生成中间数据集。

在本实施例中，服务器1实时或定时(例如每隔一个月、一天或者一小时等)从多个数据源中分别抽取多个第一数据，对抽取到的每个所述第一数据进行预处理得到第二数据，将多个所述第二数据根据预设标识(例如id)进行分组，并将每组第二数据加载到预先构建的数据结构，生成与所述预设标识数量对应的中间数据集。

其中，所述数据源中的数据包括数据流。数据流是指一串具有时序性的，连续动态生成的数据，即数据流由一系列数据组成，且这些数据在时间上是连续的。

所述多个数据源可以来自不同设备、工具或数据系统，从数据源中抽取的第一数据可以是任何数据格式，包括但不限于二进制数据格式、明文格式、标记语言格式(例如XML)和图像格式，可以对应但不限于销售数据、观测数据、用户数据等及其组合。数据源中的第一数据可以存储在MySQL、SQL Server、Oracle等传统关系型数据库的数据库表中，也可以存储在MongoDB、Hbase等新兴NoSQL数据库的数据库表中，还可以是半结构化数据或非结构化数据，在此不再赘述。需要说明的是，由于各个数据源中的第一数据及其质量各不相同，因此针对每个数据源都可能需要建立各自独立的抽取流程。

对抽取到的所述第一数据进行预处理的操作包括数据清洗处理与数据转换处理。

所述数据清洗处理通常采用缺失值填充、噪声光华、无用属性删除、逻辑错误检查、数据标准化、数据规范化和数据离散化等常规数据清洗方法。

以缺失值填充为例解释说明：通过对所述第一数据进行分析，利用逐行扫描方式找出并标记所述第一数据中的缺失值后，利用拉格朗日插值法对所述第一数据中标记的缺失值进行修补填充，从而得到数据清洗处理后的第二数据。

所述数据转换处理包括表连接、字段选择、记录集合并等诸多数据转换方式。

所述第一数据经过数据清洗处理和数据转换处理后，具有数据密度更大、数据格式更加统一的优点，可以为后续的数据分析、数据挖掘以及图表生成提供强有力的支撑。

在一个实施例中，本发明用于处理一个直播平台在日常运行过程中生成的数据。在本实施例中，所述中间数据集可以包括观众信息表、主播信息表以及直播间信息表，中间数据集的对象包括观众、主播和直播间，中间数据集的关系包括观众与直播间的关系以及主播与直播间的关系。每个所述观众信息表、主播信息表和直播间信息表都可以包括至少一个事实表和至少一个维度表。所述事实表中记录的数据信息可以包括各主播累计获得赏金的金额、各直播间的实时在线人数、观众累计在线时长等，所述维度表包括记录主播等级的主播等级维度表、记录直播间主题类型的直播间主题类型维度表以及记录观众年龄段、地域分布等的维度表。

需要说明的是，维度表通常包含帮助汇总数据特性的层次结构，例如记录观众地域分布的维度表通常将观众地域分为国内、国外两类，每一类可进一步多次细分，直到达到预设的最低级别，如省级或市级的地域级别。

条件设置模块120，用于生成用户操作界面及数据传输任务。

在本实施例中，服务器1接收客户端14发出的数据传输请求，包括预设标识(例如id)，和预设数据展示形式(例如甘特图)，生成用户操作界面及所述数据传输请求对应的数据传输任务，所述用户操作界面供用户对生成的所述中间数据集进行操作，例如对中间数据集进行立即开始任务操作、预约开始任务操作及删除任务操作。用户可以根据自身需求通过在用户界面上对中间数据集进行操作，选择立即将生成的中间数据集转换成数据图表。或者自定义转换时间，实现预约功能。或者当中间数据集出现重复或者无用信息时，用户可以选择删除该中间数据集。

图表生成模块130，用于将接收到的所有中间数据集中的数据生成数据图表并存储至预先确定的存储路径。

在本实施例中，服务器1在用户完成对所述用户操作界面的操作后，执行所述数据传输任务，根据所述预设标识(例如id)从所述数据结构中找到对应的中间数据集，并按照所述预设数据展示形式将所述中间数据集中的数据生成数据图表存储至预先确定的存储路径。在将中间数据集中的数据生成数据图表之后，存储在预先确定的存储路径，例如SFTP服务器。SFTP是Se cure File Transfer Protocol的缩写，即安全文件传送协议，可以为传输文件提供一种安全的网络的加密方法，利用SFTP服务器可以提高数据的保密安全性。

图表推送模块140，用于将生成的数据图表推送给客户端14进行展示。

在本实施例中，服务器1根据所述客户端14确定的图表推送方式将所述数据图表推送至所述客户端14。

所述推送方式包括第一推送方式(客户端14主动获取)及第二推送方式(客户端14被动接收)。根据用户的习惯定制不同的推送方式，可以提升用户体验。

当所述确定的推送方式为第一推送方式时，响应客户端14的推送数据图表请求，对用户进行身份验证以确定用户的身份，若身份验证成功则从预先确定的存储路径(例如，SFTP服务器)下载预设数据图表反馈给客户端14；或

当确定的推送方式为第二推送方式时，获取用户的地址信息(包括IP地址及端口等信息)，根据所述地址信息，将预设数据图表从预先确定的存储路径(例如，SFTP服务器)调取并推送至客户端14。

此外，本发明还提供一种数据传输方法。参照图3所示，为本发明数据传输方法的实施例的方法流程示意图。服务器1的处理器12执行存储器11中存储的数据传输程序10时实现数据传输方法的如下步骤：

S110，抽取从多个数据源中抽取第一数据后进行预处理得到第二数据，并加载到预先构建的数据结构中，生成中间数据集。

S120，生成用户操作界面及数据传输任务。

S130，将接收到的所有中间数据集中的数据生成数据图表并存储至预先确定的存储路径。

S140，将生成的数据图表推送给客户端14进行展示。

此外，本发明实施例还提出一种计算机可读存储介质，计算机可读存储介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器等中的任意一种或者几种的任意组合。计算机可读存储介质中包括数据传输程序10，本发明之计算机可读存储介质的具体实施方式与上述数据传输方法以及服务器1的具体实施方式大致相同，在此不再赘述。

需要说明的是，上述本发明实施例序日仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

上述本发明实施例序日仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术本实施例本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种数据传输方法，应用于服务器，其特征在于，该方法包括：

2.如权利要求1所述的数据传输方法，其特征在于，所述对抽取到的每个所述第一数据进行预处理得到第二数据包括：对所述第一数据进行数据清洗处理与数据转换处理。

3.如权利要求2所述的数据传输方法，其特征在于，所述数据清洗处理包括：

利用拉格朗日插值法对所述第一数据中标记的缺失值进行修补填充。

4.如权利要求1所述的数据传输方法，其特征在于，所述用户操作界面包括对所述中间数据集立即开始任务操作、预约开始任务操作及删除任务操作的操作按钮。

5.如权利要求1-4任一项所述的数据传输方法，其特征在于，所述推送方式包括第一推送方式及第二推送方式：

当确定的所述推送方式为第一推送方式时，响应所述客户端的数据图表下载请求，对所述客户端的用户进行身份验证，身份验证成功则从所述存储路径下载所述数据图表反馈给所述客户端；或

当确定的所述推送方式为第二推送方式时，主动获取所述客户端的地址信息，所述地址信息包括IP地址及端口，根据所述地址信息从所述存储路径下载所述数据图表推送至所述客户端。

6.一种服务器，其特征在于，所述服务器包括存储器和处理器，所述存储器上存储有数据传输程序，所述数据传输程序被所述处理器执行时实现如下步骤：

7.如权利要求6所述的服务器，其特征在于，所述对抽取到的每个所述第一数据进行预处理得到第二数据包括：对所述第一数据进行数据清洗处理与数据转换处理。

8.如权利要求7所述的服务器，其特征在于，所述数据清洗处理包括：

9.如权利要求6-8任一项所述的服务器，其特征在于，所述推送方式包括第一推送方式及第二推送方式：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据传输程序，所述数据传输程序可被一个或者多个处理器执行，以实现如权利要求1-5中任一项所述的数据传输方法的步骤。